Zukunft Bildung

19.6.2015 | Von:
Klaus-Jürgen Tillmann

PISA & Co – eine kritische Bilanz

Vergleichsergebnisse und ihre Interpretation

Internationalen Leistungsvergleichsstudien sind so angelegt, dass an ihnen stets viele Staaten beteiligt sind. So haben an TIMSS 45 Länder teilgenommen (vgl. Baumert/Lehmann u.a. 1997, S. 34), bei PISA 2000 waren es 32 Staaten (vgl. Baumert u.a. 2001, S. 18) und bei PISA 2012 sogar 65 (vgl. Prenzel u.a. 2013, S. 4). Eine Gruppe von Ländern in Europa, Nordamerika und Asien ist mit großer Regelmäßigkeit dabei: Dazu gehören England, Frankreich, Österreich, Schweden, Kanada, die USA, Japan und Korea. Diese Länder befinden sich auf einem hohen Niveau der gesellschaftlich-ökonomischen Entwicklung und verfügen alle über ein gut ausgebautes Schulsystem. Es nehmen aber auch Staaten teil, die eher als Entwicklungsländer gelten können (so z. B. Südafrika, Thailand, Kolumbien, Brasilien) und in denen teilweise kein voll ausgebautes Schulsystem existiert. Sehr viele Heranwachsende gehen dort weniger als acht Jahre zur Schule. Werden die Ergebnisse dieser Länder mit den deutschen verglichen (etwa im Rahmen von Rankings), so dürfen diese Unterschiede im gesellschaftlichen Entwicklungsstand keinesfalls übersehen werden.

i

Infotool der OECD

PISA-Ergebnisse im Ländervergleich

Redaktionell empfohlener externer Inhalt von www.compareyourcountry.org.Ich bin damit einverstanden, daß externe Inhalte von www.compareyourcountry.org nachgeladen werden. Damit werden personenbezogenen Daten (mindestens die IP-Adresse) an den Drittanbieter übermittelt. Weiteres dazu finden Sie in unserer Datenschutzerklärung.

 Externen Inhalt einbinden


© OECD, http://www.oecd.org/berlin / CC BY-NC-SA 3.0 IGO

Zum weit verbreiteten bildungspolitischen Umgang mit solchen Vergleichsergebnissen gehört es auch, Leistungsunterschiede zwischen Ländern auf einige wenige oder nur einen angeblich besonders einflussreichen Faktor zurückzuführen, um auf diese Weise einen "Kronzeugen" für die eigene politische Position zu gewinnen. Im internationalen Vergleich werden dann bessere oder schlechtere Leistungen allein mit diesem einen Faktor erklärt – um von dort aus bildungspolitische Forderungen für das Inland zu begründen. Hierfür sind Argumentationen der folgenden Art typisch:

"Alle Länder, die bei PISA gut abschneiden, haben zentrale Abschlussprüfungen, also sollten wir auch hier in Deutschland zentrale Prüfungen einführen."

Es lohnt sich, hier genau hinzuschauen: Bei solchen Aussagen über Schulsysteme lassen sich unter 30 bis 40 Ländern immer auch Gegenbeispiele finden: So erzielen finnische Schülerinnen und Schüler hohe Leistungen ohne zentrale Prüfungen, und in Frankreich führen auch zentrale Prüfungen nicht zu überdurchschnittlich hohen Leistungen (vgl. Prenzel u.a. 2013). Grundsätzlich muss jedoch ein methodischer Einwand gegen solche Schlussfolgerungen aus PISA und Co. vorgebracht werden: Ein sicherer Rückschluss auf die Ursachen für (gute oder schlechte) Ergebnisse ist auf Basis solcher Studien prinzipiell nicht möglich (siehe Infobox).
Infobox

Warum PISA und Co. keine Ursachen ermitteln können

Ob sich ein bestimmte schulische Arbeitsform (z. B. Schulformgliederung, Gruppenunterricht, Sitzenbleiben) auf die Schulleistungen auswirkt, kann man nur sicher sagen, wenn die Leistungen bei den gleichen Schülerinnen und Schülern mindestens zwei Mal gemessen wurden:
einmal bevor der Einflussfaktor gewirkt hat und ein weiteres Mal danach. Daher müsste z.B. eine Studie, die verlässliche Aussagen darüber treffen kann, ob zentrale Prüfungen zu höheren Leistungen führen, wie folgt aussehen: Am Ende des 9. Jahrgangs wird in einer größeren Zahl von Klassen die Mathematikleistung der Schülerinnen und Schüler gemessen (Anfangsleistung). Der Hälfte der Klassen wird mitgeteilt, dass am Ende der 12. Klasse die Abiturnote durch eine zentrale Prüfung ermittelt wird ("Experimentalgruppe"). Die andere Hälfte wird informiert, dass die Prüfung am Ende der 12. Klasse durch Aufgaben erfolgt, die die Lehrkräfte ihrer Schule aufstellen werden ("Kontrollgruppe"). Am Ende der 12. Klasse wird dann durch einen erneuten Leistungstest ermittelt, ob sich zwischen diesen beiden Gruppen Unterschiede zeigen: Wo finden wir die größeren Leistungssteigerungen? Auf diese Weise könnte die Hypothese, zentrale Prüfungen würden leistungssteigernd wirken, statistisch überprüft werden. Nur auf Basis einer solchen Studie mit zwei Messzeitpunkten (Längsschnitt) lässt sich eine sichere Aussage darüber machen, ob der ins Auge gefasste Faktor auch tatsächlich eine "ursächliche" Wirkung entfaltet hat. Weil PISA und die anderen Leistungsvergleichsstudien die gleichen Schülerinnen und Schüler immer nur einmal untersuchen (Querschnittstudie), erlauben sie keinen sicheren Rückschluss auf verursachende Faktoren.

Wie haben sich die Schulleistungen in Deutschland entwickelt?

Werden Leistungsvergleichsstudien mit identischen Aufgaben in Zeitabständen regelmäßig wiederholt und beispielsweise immer wieder die jeweiligen Achtklässler befragt, können Aussagen über Veränderungen im Zeitverlauf getroffen werden: Sind die Fachleistungen in den 8. Klassen mit der Zeit besser oder schlechter geworden? Insbesondere die PISA-Studie erlaubt solche Trendaussagen, weil sie an vergleichbaren Stichproben seit 2000 alle drei Jahre (zuletzt 2012) durchgeführt wurde. Somit kann die Entwicklung der Schülerleistungen bei den 15-Jährigen über bisher zwölf Jahre abgebildet werden.

Im Jahr 2000 zeigten die deutschen Schülerinnen und Schüler in allen drei Bereichen (Lesen, Mathematik, Naturwissenschaften) Leistungen unterhalb des OECD-Durchschnitts. Die Gruppe der besonders schwachen Schülerinnen und Schüler ("Risikogruppe") war mit mehr als 20 Prozent aller 15-Jährigen sehr groß. Und schließlich ergab sich im internationalen Vergleich ein "Spitzenplatz" beim Ausmaß der sozialen Auslese: In keinem anderen westlichen Industrieland war der Bildungserfolg (oder genauer gesagt: waren die gemessenen Kompetenzen) der Schülerinnen und Schüler so stark von ihrer sozialen Herkunft abhängig.

Wie haben sich die Werte seitdem entwickelt (vgl. Klieme u.a. 2010, Prenzel u.a. 2013)? Beim Lesen ist der Leistungsmittelwert zwischen 2000 und 2012 langsam, aber kontinuierlich gestiegen (von 484 auf 508 Punkte). Dieser Anstieg um 24 Skalenpunkte entspricht in etwa dem Lernfortschritt eines Jahres und er ist statistisch "signifikant". Dass Deutschland 2012 besser abschnitt als 2000, ist also nicht dem Zufall geschuldet. Der Anteil der Schülerinnen und Schüler, die besonders schlecht lesen ("Risikogruppe"), reduzierte sich in dieser Zeit von 23 Prozent auf 15 Prozent. In Mathematik lagen die deutschen Schülerinnen und Schüler im Jahr 2000 mit 494 Punkten deutlich unter dem OECD-Durschnitt, inzwischen (2012) haben sie mit 514 Punkten einen Wert oberhalb des OECD-Durchschnitts erreicht. Auch dieser Leistungszuwachs von insgesamt 20 Punkten ist statistisch signifikant. Zugleich hat sich die "Risikogruppe" von 22 Prozent (2003) auf 18 Prozent (2012) verringert. Ähnlich stellt sich die Leistungsentwicklung im Bereich der Naturwissenschaften dar. Allerdings gilt für alle drei Domänen, dass der Abstand zu den "Spitzenländern" wie Finnland, Irland, Kanada oder Korea nach wie vor sehr groß ist: In Mathematik beträgt der Abstand zum Erstplatzierten (Korea) immer noch 40 Punkte (vgl. Prenzel u.a. 2013). Bedeutsam ist außerdem, dass die Koppelung zwischen der sozialen Herkunft und den erworbenen Kompetenzen seit 2000 deutlich abgenommen hat. In deutschen Schulen besteht zwar nach wie vor eine hohe soziale Selektivität, doch sie übersteigt inzwischen nicht mehr den OECD-Durchschnitt.

Strittig – und von den PISA-Daten selbst nicht zu beantworten – ist die Frage, was genau zu diesen Verbesserungen geführt hat. Bildungspolitikerinnen und -politiker verweisen hier gern auf die von ihnen angestoßenen Reformmaßnahmen wie die Einführung zentraler Prüfungen oder die Verbesserung der Sprachförderung in der Grundschule. Doch erziehungswissenschaftliche Analysen zeigen, dass dies vorschnell sein dürfte. Denn in den Jahren, die seit der ersten PISA-Studie vergangen sind, hat sich auch die Zusammensetzung der Schülerschaft in Deutschland in mancher Hinsicht verändert: Der repräsentative Querschnitt der 15-Jährigen, die bei PISA getestet werden, umfasst dadurch nun mehr Gymnasiasten und weniger Sitzenbleiber, und auch bei den verschiedenen Migrantengruppen hat es Verschiebungen gegeben. Forscher haben berechnet, dass 88 Prozent des Leistungszuwachses auf diese "strukturellen" Veränderungen zurückgeführt werden können (vgl. Ehmke u.a. 2013). Auch dieses Beispiel zeigt, dass bei der Interpretation der Ergebnisse von Schulleistungsstudien stets große Vorsicht geboten ist.

Wem nutzen die internationalen Leistungsvergleiche?

Welcher Erkenntniswert und welcher Nutzen ist nun mit diesen internationalen Leistungsvergleichsstudien verbunden? Um diese Frage zu beantworten, müssen wir die die verschiedenen Akteure einzeln in den Blick nehmen: die Bildungspolitikerinnen und -politiker, die Lehrkräfte, aber auch die Bildungsforscherinnen und -forscher selbst.

Politik und Administration
Internationale Leistungsvergleiche verfolgen als Hauptziel, der Administration und den politisch Verantwortlichen Daten und Erkenntnisse über ihr Schulsystem zu liefern, damit diese dann die "richtigen" politischen Entscheidungen und die angemessenen Regelungen treffen können (vgl. OECD-PISA 2000). Nun ist unbestritten, dass solche Studien in empirisch gesicherter Weise Defizite eines Bildungssystems – so etwa den extrem starken Zusammenhang zwischen Bildungserfolg und sozialer Herkunft – aufzeigen können. Damit machen sie klar, welche Probleme von der Bildungspolitik angegangen werden müssen. Doch können sie auch Hinweise auf die "richtigen" Maßnahmen geben? Teilweise wird hier von den Akteuren eine enge Beziehung zwischen Forschung und Politik angestrebt und dies als "evidenzbasierte Bildungspolitik" bezeichnet: Die Forschung liefert den Politikern nicht nur die Problemanalysen, sondern auch die passenden Lösungsvorschläge.

Nun gibt es gut begründete Zweifel daran, ob ein solche Zusammenarbeit zwischen Forschung und Politik überhaupt funktionieren kann (vgl. Bellmann/Müller 2011). Denn zum einen muss man sich immer wieder vor Augen führen, dass Studien wie PISA zwar aufzeigen können, welche Probleme im Schulsystem existieren. Doch aus der Diagnose dieser Probleme erfolgt noch nicht die Therapie: Denn was politisch und was pädagogisch zu tun ist, um beispielsweise die Sprachförderung zu verbessern, bedarf sehr komplexer Überlegungen, in die auch Aspekte der Deutschdidaktik, der Migrationspädagogik und der Frühförderung mit einbezogen werden müssen. Zu all dem liefert PISA aber keine Informationen.

Ein weiterer Punkt kommt hinzu: PISA beliefert mit ihren Erkenntnissen keineswegs bevorzugt Politiker und Fachplaner, sondern bedient vor allem eine hochaktive Medienöffentlichkeit. Wenn dann die Forschungsergebnisse zu einer massiven öffentlichen Kritik führen wie bei PISA 2000, dann müssen Politikerinnen und Politiker durch rasches politisches Handeln verdeutlichen, dass sie die Probleme bewältigen werden: Sie können die vorliegende Forschung nicht lange analysieren, um "evidenzbasierte" Maßnahmen zu ergreifen, sondern sie müssen möglichst schnell populäre Vorschläge machen und umsetzen. Ein Beispiel hierfür: Obwohl im Jahr 2001 die vorliegende Forschung keine gesicherten Erkenntnisse über gesteigerte Leistungen in Ganztagsschulen vorweisen konnte, wurden mit dem Verweis auf PISA dennoch viele neue Ganztagsschulen eingerichtet (vgl. Tillmann u.a. 2008).

Lehrkräfte und Schulen
Welchen Nutzen haben nun aber Lehrkräfte und Schulen von solchen Studien? Die erste und systematisch zwingende Antwort lautet: Internationale Leistungsvergleichsstudien formulieren ausschließlich Aussagen auf der Ebene von Schulsystemen und den dort bestehenden Zusammenhängen. Die Anlage der Untersuchungen lässt es nicht zu, entsprechende Aussagen auch auf der Ebene einer einzelnen Schule oder gar einer Klasse zu treffen. Dazu ist die gewählte Stichprobe zu schmal, und die eingesetzten Tests sind für eine Individualdiagnostik nicht geeignet. So zeigt PISA beispielsweise auf, dass bundesweit in Grundschulen Migrantenkinder besonders häufig sitzenbleiben (vgl. Krohne u.a. 2004). Sie macht aber keine Aussage darüber, welche Faktoren in einer einzelnen Grundschule das Sitzenbleiben reduzieren können. Und sie kann auch kein individuelles Sitzenbleiber-Risiko ermitteln.

Aufgrund dieser Begrenzung darf die Beteiligung einer Schule an PISA (oder anderen internationalen Vergleichsstudien) auch nicht mit einer Evaluation dieser Schule verwechselt werden. Auf der Basis internationaler Leistungsvergleiche werden deshalb auch keine Schulrankings erstellt und keine Aussagen über die Qualität einzelner Schulen oder Klassen getroffen. Dies wird von anders angelegten Studien geleistet: Bei den Lernstandserhebungen, die in einem Bundesland bei allen Schülerinnen und Schülern eines Jahrgangs durchgeführt werden (z. B. VERA), werden die Ergebnisse an die Schulen und die Lehrkräfte zurückgemeldet. Diese Ergebnisse über die eigenen Klassen bieten dann einen sehr guten Ausgangspunkt, um in eine konkrete Unterrichtsentwicklung einzusteigen.

Allerdings ist es sehr wohl möglich (und auch empfehlenswert), die übergreifenden Ergebnisse von PISA als kritische Anfrage an die Praxis der eigenen Schule zu richten. Dazu zwei Beispiele: Weil Mädchen in Mathematik bei PISA vergleichsweise schlechtere Ergebnisse erzielen als Jungen, wäre zu fragen: Wie ist an unserer Schule beziehungsweise in meiner Klasse die Situation der Mädchen im Mathematikunterricht? Mit Blick auf die verhältnismäßig große Gruppe von Schülerinnen und Schülern, die über sehr geringe Lesefähigkeiten verfügen, wäre zu fragen: Wie viele besonders schwache Leserinnen und Leser haben wir, was tun wir zu ihrer Unterstützung?

Erziehungswissenschaftliche Forschung und Theoriebildung
Seit die Ergebnisse von internationalen Leistungsvergleichsstudien diskutiert werden, lässt sich ein ganz erheblicher öffentlicher Bedeutungsgewinn der empirischen Bildungsforschung feststellen. Bildungspolitikerinnen und -politiker beziehen sich bei der Begründung ihrer Positionen und Vorschläge immer häufiger auf PISA und andere Studien. Empirische Bildungsforscherinnen und -forscher werden viel häufiger als früher in die öffentliche Diskussion um das Bildungswesen einbezogen, indem sie beispielsweise in den Medien interviewt werden, und wirken bei der Fortentwicklung des Bildungssystem mit, indem sie von der Politik in beratende Kommissionen berufen werden. Doch es geht nicht nur um einen Zuwachs an Einfluss und Bedeutung, sondern auch um einen massiven institutionellen Ausbau. Seit Ende der 1990er Jahre wurde mit erheblichen öffentlichen Mitteln ein international konkurrenzfähiger Forschungsschwerpunkt auf Dauer eingerichtet. Zugleich ist es zu einem erheblichen Wachstum des empirischen Wissens sowohl über unser Schulsystem als auch über die Kompetenzstrukturen in bestimmten Bereichen gekommen. Allein auf Basis des ersten PISA-Tests 2000 wurden differenzierte Ergebnisse in mehr als zehn Büchern und in unzähligen Fachartikeln veröffentlicht. Dieses Wissen fließt vor allem ein in den wissenschaftlichen Diskurs, und es befördert die wissenschaftliche Karriere der Autorinnen und Autoren. Es kann also gut sein, dass weder die Bildungspolitik noch die Schulpraxis, sondern vor allem die Bildungsforschung selbst (und die darauf bezogene erziehungswissenschaftliche Theoriebildung) die große Gewinnerin der hier geschilderten Entwicklung ist.

Abschließende Einordnung

Die Leistungsvergleichsstudien, die das deutsche Schulwesen national und international in den empirisch-vergleichenden Blick genommen haben, haben zu einem erheblichen Zuwachs an gesichertem Wissen über Ergebnisse und Abläufe in unserem Schulsystem geführt. Wir sind viel besser als vor zehn oder fünfzehn Jahren informiert über fachliche Leistungen und soziale Auslese, über Probleme bestimmter Schülergruppen (z. B. Migranten) und Schulformen (z. B. Hauptschulen) sowie über die Situation in verschiedenen Bundesländern. Dabei wurden insbesondere nach dem "PISA-Schock" des Jahres 2001 etliche Reformmaßnahmen in allen Bundesländern angegangen.

Bei dieser positiven Bewertung dürfen jedoch die Grenzen solcher Studien nicht übersehen werden: Sie untersuchen nicht schulische Bildung insgesamt, sondern lediglich die Kompetenzen in ausgewählten Bereichen (meist Lesen, Mathematik, Naturwissenschaften). Sie ermitteln den bei Schülerinnen und Schülern erreichten Lernstand, aber sie untersuchen nicht die Prozesse, die dahin führen (z. B. Qualität von Unterricht). Sie machen die Defizite deutlich, die in unserem Schulsystem bestehen (z. B. schlechte Leseleistungen), ohne dass sich daraus aber gleich konkrete Verbesserungs-Programme ableiten lassen. Sie liefern für Politik und Praxis Hintergrundinformationen, aber eben keine unmittelbaren Handlungshilfen.

Kurz: Leistungsvergleichsstudien haben – wie andere Forschungsansätze auch – Stärken und Begrenzungen. Ein differenzierter Umgang mit ihren Ergebnissen setzt voraus, dass man beide Seiten sieht und berücksichtigt.

Creative Commons License

Dieser Text ist unter der Creative Commons Lizenz veröffentlicht. by-nc-nd/3.0/ Der Name des Autors/Rechteinhabers soll wie folgt genannt werden: by-nc-nd/3.0/
Autor: Klaus-Jürgen Tillmann für bpb.de
Urheberrechtliche Angaben zu Bildern / Grafiken / Videos finden sich direkt bei den Abbildungen.


Kongress

14. Bundeskongress Politische Bildung 2019
Was uns bewegt. Emotionen in Politik und Gesellschaft

Der 14. Bundeskongress Politische Bildung findet vom 07.-09. März 2019 in Leipzig statt und steht unter dem Titel "Was uns bewegt. Emotionen in Politik und Gesellschaft". Veranstaltungsorte sind die Kongresshalle am Zoo sowie die Volkshochschule Leipzig.

Mehr lesen

Doktorhut auf einem Bücherstapel

Meist gelesen im Dossier Bildung

Interaktive Grafik:
Das Bildungssystem in Deutschland
Bildungseinrichtungen, Übergänge und Abschlüsse

Zukunft Bildung:
Was ist Bildung?

Zeitleiste:
Deutsche Bildungsgeschichte – eine Zeitleiste
Unsere interaktive Zeitleiste führt durch die deutsche Bildungsgeschichte

Als Meta-Server und zentraler Wegweiser zum Bildungssystem in Deutschland bietet der Deutsche Bildungsserver Zugang zu hochwertigen Informationen und Internetquellen – umfassend und kostenfrei. Er verweist auf Internet-Ressourcen von Bund und Ländern, der Europäischen Union, von Hochschulen, Schulen, Landesinstituten sowie Forschungs- und Serviceeinrichtungen.

Mehr lesen auf bildungsserver.de

Ihr Feedback

Wir freuen uns über Ihre Anregungen, Kommentare und Themenvorschläge. Schreiben Sie uns: idee@dossierbildung.bpb.de

Kulturelle Bildung

Bildung für nachhaltige Entwicklung und kulturelle Bildung

Wie können kulturelle und politische Bildung Menschen zu nachhaltigem Denken und Handeln anregen? Wie der Themenschwerpunkt zeigt, arbeiten zahlreiche Akteurinnen und Akteure bereits sehr engagiert an tragfähigen Ansätzen.

Mehr lesen

In eigener Sache

Das Dossier "Bildung" soll wachsen. Im Laufe der nächsten Wochen und Monate finden Sie hier weitere Texte, Videos und Grafiken rund um das Thema Bildung.