19.6.2015 | Von:

PISA & Co – eine kritische Bilanz

Seit dem PISA-Schock im Jahr 2001 erfahren die Ergebnisse internationaler Schulleistungsstudien große öffentliche Aufmerksamkeit. Häufig herrscht aber Unklarheit darüber, was genau das Ziel dieser Studien ist. Warum beteiligt sich Deutschland an ihnen? Was ist bei der Interpretation der Ergebnisse zu bedenken und was kann man mit ihnen anfangen?

Auf der Demonstration des Aktionsbündnisses "Bildungsstreik 2009" in Erfurt fordern SchülerInnen und StudentInnen mehr Investitionen in Bildung. (© Hendrik Schmidt, picture-alliance/ ZB )

Wenn in der Öffentlichkeit über "Pisa" gesprochen wird, ist seit fast 15 Jahren meist nicht mehr die italienische Stadt mit dem schiefen Turm gemeint, sondern eine internationalvergleichende Untersuchung über Schülerleistungen. PISA ist dabei die Abkürzung für "Programme for International Students Assessment". Diese Untersuchung wurde im Jahr 2000 das erste Mal durchgeführt und brachte für die deutschen Schülerinnen und Schüler in den Bereichen Lesen, Mathematik und Naturwissenschaften sehr schlechte Ergebnisse: In vielen Ländern, so etwa in Schweden, Kanada und Japan, waren die von PISA gemessenen Schülerleistungen weit besser. Zugleich zeigte sich, dass in Deutschland Schülerinnen und Schüler aus einfachen sozialen Verhältnissen so schlecht abschnitten wie in kaum einem anderen Land der Welt. Die Ergebnisse lösten hierzulande eine heftige öffentliche Debatte aus. Nicht nur in Zeitungen und im Fernsehen, auch auf Elternabenden und Parteiversammlungen wurden die Ergebnisse heftig diskutiert. Diese Reaktion der Jahre 2001/2002 wird als "PISA-Schock" bezeichnet. Er verband sich mit massiven Forderungen an die Bildungspolitik, durch schnelles und entschlossenes Handeln das Schulsystem und seine Leistungsergebnisse zu verbessern.

Leistungsvergleichsstudien: ein Überblick

In diesem Beitrag geht es um internationale Leistungsvergleichsstudien, davon ist PISA die bekannteste. Andere arbeiten nach den gleichen Prinzipien, aber zu anderen Schwerpunkten: IGLU für die Grundschulen, DESI für Fremdsprachen, TIMSS für Mathematik und Naturwissenschaften. In allen Fällen handelt es sich um empirische Untersuchungen, mit denen in einer größeren Zahl von Staaten die Leistungen von Schülerinnen und Schülern in bestimmten Fächern und Altersgruppen getestet werden. Dazu wird in jedem beteiligten Land eine vergleichbare Stichprobe (siehe Infobox) gezogen. Die Schülerinnen und Schüler, die dieser Stichprobe angehören, werden mit Fragebogen und Leistungstests untersucht. Der Vergleich der Testergebnisse erlaubt es dann, festzustellen, in welchen Ländern die Schülerleistungen besonders stark, in welchen sie hingegen besonders schwach ausgeprägt sind – und welches Land eher im Mittelfeld liegt.

Infobox

Stichprobe und Repräsentativität

Da man nicht alle Schülerinnen und Schüler eines Landes testen kann, weil ihre Zahl einfach zu groß ist, muss eine "Stichprobe" gezogen werden.

Dazu wird eine bestimmte Zahl von Schülerinnen und Schülern ausgewählt, die an der Untersuchung teilnimmt. Bei PISA sind es pro Land etwa 5.000 15-Jährige. Damit man von dieser kleineren Auswahlgruppe auf die Gesamtzahl aller Schülerinnen und Schüler des Landes schließen kann, muss diese Gruppe "repräsentativ" sein. Die Gruppe muss also in Bezug auf bestimmte wichtige Merkmale (z. B. Geschlecht, soziale Herkunft, Wohnort in der Stadt oder auf dem Land, besuchte Schulform) so zusammengesetzt sein, dass die Anteile denen in der Gesamtbevölkerung entsprechen. Die Stichprobe ist damit ein verkleinertes Abbild aller Schülerinnen und Schüler eines Landes. Wenn diese Stichprobe in allen beteiligten Ländern nach den gleichen Kriterien erstellt wird (z. B. nur Schülerinnen und Schüler des gleichen Altersjahrgangs, Schülerinnen und Schüler sowohl in öffentlichen wie in privaten Schulen), kann man die Ergebnisse der verschiedenen Länder miteinander vergleichen. Es lässt sich dann wissenschaftlich gesichert sagen, ob bei-spielsweise die Schülerinnen und Schüler in Italien im Lesen insgesamt besser sind als die in Deutschland.

Leistungsvergleichsstudien werden von internationalen Organisationen initiiert, die einzelnen Länder können sich dann daran beteiligen. So wird die TIMS-Studie ("Third International Mathematics and Science Study") von einer internationalen Wissenschaftlerorganisation, der "International Association for the Evaluation of Educational Achievements" (IEA) getragen. Die PISA-Studie wurde von der OECD ("Organization for Economic Co-operation and Development") entworfen – einer internationalen Organisation, die sich der wirtschaftlichen Entwicklung ihrer Mitgliedsländer verpflichtet fühlt. All diese vergleichenden Studien sind darauf ausgerichtet, Aussagen über die Schulsysteme der einzelnen Länder zu machen und auf diese Weise der Bildungspolitik und den Schulplanern zu helfen, die richtigen Entscheidungen zu treffen (vgl. OECD-PISA 2000).

Seit den 1960er Jahren arbeiteten Erziehungswissenschaftlerinnen und -wissenschaftler in einigen Ländern Westeuropas (vor allem in England, Frankreich, Schweden) daran, die fachlichen Leistungen von Schülerinnen und Schülern international-vergleichend zu untersuchen. Die Bundesrepublik Deutschland hat sich daran zunächst nur sporadisch beteiligt. Nach einer längeren Pause nahm sie erstmals wieder Anfang der 1990er Jahre an einer internationalen Lesestudie teil ("International Study of Reading Literacy", vgl. Lehmann u. a. 1995), die jedoch in der Öffentlichkeit kaum wahrgenommen wurde. Dies änderte sich dann mit der TIMS-Studie, deren erste Ergebnisse 1997 veröffentlicht wurden (vgl. Baumert/Lehmann u.a. 1997). Die deutschen Schülerinnen und Schüler der 8. Jahrgangsstufe lagen mit ihren Mathematikleistungen im internationalen Vergleich auf Platz 25 von 33 beteiligten Ländern (siehe Infobox). Deutsche Schülerinnen und Schüler im unteren Leistungsdrittel – dieses Ergebnis blieb weit hinter den Erwartungen der Bildungspolitikerinnen und -politiker, aber auch der Lehrkräfte zurück.

Infobox

Was ist ein Ranking?

Weist man den Ländern bei den Leistungswerten einen Rangplatz zu und vergleicht diese miteinander, spricht man von einem "Ranking". Dabei werden die Testergebnisse aller Schülerinnen und Schüler eines Landes zu einem mittleren Leistungswert zusammengefasst.

So erzielten im Jahr 2000 die finnischen Schülerinnen und Schüler im Lesen einen mittleren Leistungswert von 546 Punkten, die deutschen hingegen lediglich einen Wert von 484 Punkten. Damit lag Finnland unter 32 beteiligten Ländern auf Platz 1, Deutschland auf Platz 21 (vgl. Baumert u.a. 2001). Eine solche Rangliste von Ländern – also das Ranking – lässt sich präsentieren wie eine Fußball-Tabelle und ist deshalb in der Presse und bei Politikern besonders beliebt. Doch eine Diskussion, die sich allein auf solche Ranking-Plätze bezieht, bleibt kurzschlüssig. So wird bei den Ranking-Ergebnissen zur Leseleistung beispielsweise überhaupt nicht berücksichtigt, wie hoch in einem Land der Anteil der Kinder ist, die als Zuwanderer eine andere Muttersprache erlernt haben – und deshalb beim Lesen möglicherweise benachteiligt sind.

Außerdem ist zu beachten, dass schon kleine Differenzen bei den Mittelwerten zu unterschiedlichen Rangplätzen führen können. Hierzu ein Beispiel: Das Land A hat einen Lese-Mittelwert von 500 Punkten, das Land B einen Wert von 504 Punkten. A liegt auf Rangplatz 18, B auf Platz 21. Nun liegt aber der Unterschied von 4 Punkten im Bereich der statistischen Zufälligkeit; die Messergebnisse für beide Länder sind somit gleich. Kurz: Ein Land, das in der Rangliste einige wenige Plätze höher steht, ist nicht notwendig "besser".

Vor dem Hintergrund der soeben skizzierten TIMSS-Ergebnisse beschloss die Kultusministerkonferenz im Jahre 1997, sich künftig regelmäßig an internationalen Vergleichsstudien zu beteiligen, so auch an der PISA-Studie, die erstmals im Jahr 2000 durchgeführt wurde und seitdem alle drei Jahre wiederholt wird.

PISA 2000 und die bildungspolitischen Folgen

In der PISA-Studie geht es um die Kompetenz von 15-Jährigen in den drei Bereichen Lesen, Mathematik und Naturwissenschaften. Die mäßigen Ergebnisse, die die deutschen Schülerinnen und Schüler bei der ersten Untersuchung im Jahr 2000 erzielten, lösten den bereits angesprochenen "PISA-Schock" aus: In allen drei Leistungsbereichen lagen die deutschen Schülerinnen und Schüler jeweils unterhalb des OECD-Durchschnitts; sie landeten auf dem 20. oder 21. Rangplatz und waren damit weit entfernt von Spitzenländern wie Finnland, Japan oder Kanada. In keinem anderen westlichen Industrieland hingen zudem die Kompetenzen der Schülerinnen und Schüler so stark von ihrer sozialen Herkunft ab wie in Deutschland. Kurz: Zur Überraschung von Politik und Öffentlichkeit zeigte das deutsche Schulsystem im internationalen Vergleich unerwartet große Leistungs- und Gerechtigkeitsdefizite.

In den Jahren 2000, 2003 und 2006 wurden die internationalen PISA-Vergleiche jeweils durch einen bundesdeutschen Ländervergleich ergänzt. Die Ergebnisse verwiesen auf erhebliche Unterschiede in den Schülerleistungen zwischen den Bundesländern. Weil CSU- beziehungsweise CDU-geführte Länder wie Bayern und Sachsen eher besser, SPD-geführte Länder wie Nordrhein-Westfalen und Brandenburg eher schlechter abschnitten (vgl. Baumert u.a. 2002), entzündete sich daran eine heftige öffentliche Kontroverse zwischen CDU- und SPD-Vertretern, die in der Presse breit kommentiert wurde. Gestritten wurde dabei u.a. über den Ausbau von Gesamtschulen, der von der SPD befürwortetet, von der CDU/CSU aber abgelehnt wurde. Dass es zwischen diesen Ländern auch erhebliche sozialstrukturelle Unterschiede etwa hinsichtlich des Anteils von Migranten oder der in Armut lebenden Familien gibt, wurde dabei nicht selten ausgeblendet.

Die Ergebnisse dieser PISA-2000-Studie wurden auch von den Kultusministern der Länder aufgegriffen. Um die Leistungen deutscher Schülerinnen und Schüler zu verbessern, einigten sie sich in der Kultusministerkonferenz (KMK) darauf, in allen Bundesländern ein Bündel von sieben Maßnahmen umzusetzen:

KMK-Handlungskatalog vom Dezember 2001

1. Verbesserung der Sprachkompetenz in verschiedenen Bereichen

2. Bessere Verzahnung von Vor- und Grundschule; frühere Einschulung
3. Verbesserung der Grundschulbildung
4. Bessere Förderung benachteiligter Kinder
5. Qualitätssicherung durch verbindliche Standards und Evaluation
6. Stärkung der diagnostischen und methodischen Kompetenzen der Lehrkräfte
7. Ausbau schulischer und außerschulischer Ganztagsangebote

Quelle: KMK 2001

Außerdem setzte sich in den Ministerien zunehmend die Überzeugung durch, dass die empirische Bildungsforschung (siehe Infobox) zu verstärken sei, um Problemlagen im Bildungssystem besser zu erkennen und gesicherte Informationen darüber zu erhalten, ob und wie die zu ihrer Lösung angestrebten Maßnahmen wohl wirken werden. Damit verband sich die Absicht der Politik, auf Grundlage wissenschaftlicher Erkenntnisse das Bildungssystem besser als bisher zu organisieren.

Infobox

Was ist Empirische Bildungsforschung?

Die empirische Bildungsforschung untersucht Voraussetzungen, Prozesse und Ergebnisse von Bildung über die Lebensspanne. Forschungsgegenstand sind vor allem Bildungsprozesse innerhalb von Bildungseinrichtungen wie Kindergarten, Schule, Hochschule oder Weiterbildung.

Ansätze der empirischen Bildungsforschung sind meist disziplinenübergreifend und beziehen neben erziehungswissenschaftlichen, psychologischen und soziologischen Perspektiven auch fachdidaktische und bildungsökonomische Sichtweisen mit ein. Das übergeordnete Ziel der empirischen Bildungsforschung besteht darin, die Bildungswirklichkeit (besser) zu verstehen und durch Empfehlungen und Beratungen an Politik und Praxis (weiter) zu entwickeln.

In Anlehnung an: http://www.ebf.edu.tum.de/home/

Zugleich zeigte sich aber, dass an deutschen Universitäten zu wenig Fachkompetenz und zu wenig Kapazitäten vorhanden waren, um solche empirischen Großforschungsprojekte durchführen zu können. Deshalb rief das Bundesministerium für Bildung und Forschung (BMBF) das "Rahmenprogramm zur Förderung der empirischen Bildungsforschung" (2007) ins Leben und investierte in diesem Bereich so viel Geld wie noch nie: Mit mehreren hundert Millionen Euro wurden und werden Forschungsprojekte finanziert und zugleich Forschungskapazitäten geschaffen. Insgesamt hat es seitdem in der Bundesrepublik einen massiven Ausbau der Institutionen (und der Personalstellen) gegeben, die vor allem im Schulbereich eine umfassende empirische Bildungsforschung betreiben (siehe Infobox).

Infobox

Was hat die staatliche Förderung der empirischen Bildungsforschung bewirkt?

Die staatliche Förderung der empirischen Bildungsforschung zeigt Wirkung. Als wichtigste Resultate sind zu nennen:

Die großen Leistungsvergleichsstudien (PISA, IGLU) werden in regelmäßigen Abständen (Zeitreihen) wiederholt, sodass auch Entwicklungen über die Jahre beobachtet werden können.
In allen Bundesländern werden kontinuierlich Lernstandserhebungen durchgeführt: Die Leistungen aller Schülerinnen und Schüler (z. B. der 4. Klasse) werden getestet und an die Schulen und Lehrkräfte zurückgemeldet. Auf diese Weise erhalten die Schulen ein realis-tisches Bild des Leistungsstands „ihrer“ Klassen.
Eine dauerhafte Bildungsberichterstattung wurde etabliert: Alle zwei Jahre berichtet eine Expertengruppe, wie sich das deutsche Bildungssystem entwickelt hat (z. B. bei den Abschlüssen, beim Sitzenbleiben, beim Lehrer-Schüler-Verhältnis) (vgl. Arbeitsgruppe Bildungsberichterstattung 2012).
Durch langfristige ministerielle Förderung wurden innerhalb und außerhalb von Universitäten leistungsfähige Zentren der empirischen Bildungsforschung geschaffen. Zu nennen sind vor allem das Max-Planck-Institut für Bildungsforschung in Berlin, das Deutsche Institut für Internationale Pädagogische Forschung in Frankfurt am Main, das Institut für Schulentwicklungsforschung an der Technischen Universität Dortmund und das Institut für die Pädagogik der Naturwissenschaften an der Universität Kiel.
Auf Bundes- und auf Länderebene wurden Institute für Qualitätsentwicklung im Schulbereich gegründet. Dort werden unter anderem Lernziele („Standards“) für die verschiedenen Fächer formuliert und – davon ausgehend – Leistungstests entwickelt.