Schiefer als der schiefe Turm

Die Pisa-Studie weist schwerwiegende Mängel auf.

Von Rainer Bölling, Düsseldorf

Dr. Rainer Bölling ist Pädagoge, Historiker und Bildungsforscher. Er hält Vorträge zum deutschen Bildungswesen und ist Autor verschiedener bildungspolitischer Beiträge.

Anfang Dezember 2019 kam eine neue Ausgabe der Pisa-Studie heraus. Wenig überraschend fielen die Ergebnisse für Deutschland etwas schlechter aus als bei den letzten beiden Erhebungen. Schon im Januar 2018 wies der Präsident des Deutschen Lehrerverbandes, Heinz-Peter Meidinger, warnend darauf hin, dass seit 2015 durch die Zuwanderung von Flüchtlingen mit über 200 000 schulpflichtigen Kindern die Zahl der Familien zunehme, in denen zu Hause kein Deutsch gesprochen werde. Sprachkenntnisse aber sind für das Abschneiden im Pisa-Test von zentraler Bedeutung. Doch auch methodische Probleme der Studie können sich stark auf das nationale Pisa-Ergebnis auswirken.

Das Programme for International Student Assessment (Pisa) der OECD untersucht seit der Jahrtausendwende alltags- und berufsrelevante Kompetenzen fünfzehnjähriger Schülerinnen und Schüler in den Bereichen Leseverständnis, Mathematik und Naturwissenschaften. Dabei arbeitet es mit Stichproben, die weniger als ein Prozent der Zielgruppe umfassen. Das ist in der Statistik üblich, birgt aber gleichwohl seine Tücken. Denn wenn eine Stichprobe nicht korrekt gezogen wird, kommt es zu falschen Ergebnissen. So etwa in Österreich, wo der Pisa-Test 2003 deutlich schlechter ausfiel als in der ersten Runde drei Jahre zuvor. Nachdem für diesen vermeintlichen Niedergang die neue Regierung verantwortlich gemacht worden war, förderte eine Überprüfung durch versierte Statistiker Ungereimtheiten bei der Stichprobenziehung und Datenauswertung des Jahres 2000 zutage. Daher mussten die früheren Werte nach unten korrigiert werden. Auch die Stichprobe der Vereinigten Staaten von 2009 wurde von amerikanischen Forschern als unzuverlässig kritisiert. Nach ihren korrigierten Punktzahlen hätten die amerikanischen Schüler im Ranking um zehn und mehr Plätze besser abgeschnitten. Derartige Fehler sind auch für andere Länder und Testrunden nicht auszuschließen.

Ein weiteres Problem besteht darin, dass nicht alle für den Test vorgesehenen Schüler an der Erhebung teilnehmen. Zur Begrenzung des dadurch entstehenden Schätzfehlers gilt bei Pisa eine Mindestbeteiligungsquote von 80 Prozent. Als Großbritannien diese Quote 2003 knapp verfehlte, wurde es in internationalen Vergleichen nicht berücksichtigt. Doch als Schanghai 2012 ebenfalls diese Hürde riss, setzte sich die OECD über ihre eigenen Regeln hinweg und präsentierte Schanghai als Sieger und Vorbild für die Welt. Das war umso fragwürdiger, als dort die Kinder von Millionen Wanderarbeitern von vornherein außen vor blieben, weil sie gar nicht die höheren Schulen besuchen durften, an denen der Pisa-Test stattfand.

Ungeachtet dessen erklärte Pisa-Koordinator Andreas Schleicher im Dezember 2013, in Schanghai gebe es in Mathematik keinen leistungsschwachen Schüler, und folgerte daraus: „Mathematik ist etwas, das jeder Schüler aus jeder Schicht lernen kann.“ Hätte er die einschlägigen Pisa-Daten zur Kenntnis genommen, dann wäre ihm vielleicht aufgefallen, dass selbst in dieser unvollständigen Stichprobe 3,8 Prozent der Getesteten die Kompetenzstufe 2 verfehlt hatten, also als sogenannte Risikoschüler gelten. Schleichers Aussage zeigt, dass seine bildungspolitischen Wunschvorstellungen und Ratschläge oft nur vorgeblich auf den von der OECD publizierten Daten beruhen.

Bei Pisa 2015 erscheint Schanghai nicht mehr allein, sondern zusammen mit Peking, Jiangsu und Guangdong als Teil einer neuen Einheit (P-S-J-G) mit 223 Millionen Einwohnern, die China repräsentiert. Sie wird auf Platz 10 des offiziellen Rankings geführt, obwohl ihre Erfassungsquote nur 64 Prozent beträgt. Dennoch lag der Anteil der Risikoschüler in Mathematik hier gut viermal so hoch wie 2012 in Schanghai. Noch krasser ist der Fall Vietnam, das 2015 im Ranking wegen seiner 525 Punkte in Naturwissenschaften auf Platz 8 steht, obwohl es mit 48,5 Prozent die Mindestbeteiligungsquote von 80 Prozent bei weitem verfehlt hat.

Länder mit niedriger Beteiligung sind im Vorteil

Die OECD räumt ein: „Wenn man annimmt, dass aus der Pisa-Stichprobe ausgeschlossene Schülerinnen und Schüler wahrscheinlich schlechtere Ergebnisse erzielt hätten als die in den Stichproben vertretenen Schülerinnen und Schüler, dürften Länder mit niedrigen Erfassungsraten in Vergleichen favorisiert sein.“ Eben deshalb aber hätten beide Länder vom internationalen Vergleich ausgeschlossen werden müssen. Man fragt sich, warum die OECD bei bestimmten asiatischen Ländern ihre eigenen Regeln über Bord wirft.

Kritik an diesem Vorgehen tut die OECD auf ihrer Website als Mythen ab: „Alle Pisa-Proben sind repräsentativ für die 15-Jährigen, die an Schulen angemeldet sind“, heißt es dort. „Sie werden auf einer wissenschaftlich fundierten Basis ausgewählt, um sicherzustellen, dass alle Schülerinnen und Schüler gleichmäßig repräsentiert werden. Dabei werden 89 Prozent der 15-Jährigen von Pisa abgedeckt.“ Doch das ist wohlgemerkt der OECD-Durchschnitt, der eben klare Erfassungsdefizite einzelner Teilnehmerländer verschleiert. Übrigens erreichen auch Länder wie Großbritannien, die Vereinigten Staaten oder Kanada nur Erfassungsquoten unter 85 Prozent, während Deutschland mit 96 Prozent in der Spitzengruppe liegt. Solche Unterschiede wirken sich durchaus auf die nationalen Durchschnittswerte aus.

Wenn die OECD Meldungen über die Defizite schwächerer Schüler veranschaulichen will, rechnet sie gern Pisa-Punkte in Schuljahre um. So war im Oktober 2018 in der Studie „Equity in Education“ zu lesen, der Bildungsrückstand sozial benachteiligter Schüler betrage im OECD-Durchschnitt 88 Punkte beziehungsweise etwa drei Schuljahre. Das wirkt noch dramatischer als zuvor. 2009 und 2012 galten bei Pisa ca. 125 Punkte als Äquivalent für drei Schuljahre, 2015 waren es noch 100. Wie unsinnig all diese Umrechnungen sind, wird dann deutlich, wenn man sie auf die Unterschiede innerhalb der Länder anwendet. Zwischen den leistungsstärksten und den leistungsschwächsten Schülern eines OECD-Landes (obere und untere 5 Prozent) lagen 2015 im Durchschnitt der drei Kompetenzbereiche fast überall 300 und mehr Punkte. Nimmt man das mittlere Maß von 2015 als Umrechnungsfaktor, so würde das einen Bildungsrückstand der Leistungsschwächsten von neun bis zehn Schuljahren bedeuten. Demnach wären beispielsweise die schwächsten finnischen Fünfzehnjährigen nach acht Jahren Schulbesuch schon neun Jahre in Rückstand geraten. Offensichtlich dient dieses unbrauchbare Umrechnungsverfahren nur der Skandalisierung des Unspektakulären und gehört daher auf den Müllhaufen der empirischen Bildungsforschung.

Viele Länder haben eine selektive Einwanderungspolitik

Unabhängig von der Größe des Umrechnungsfehlers zeigt diese Betrachtung, dass es auch Pisa-Musterländern nicht annähernd gelingt, „kein Kind zurückzulassen“ und alle zu guten Leistungen zu führen. Besonders groß ist der Abstand zwischen den besten und den schwächsten Schülern in den chinesischen Provinzen, aber auch in Singapur. Dennoch behauptet Schleicher, seine zahlreichen Reisen nach Asien hätten ihm gezeigt, „dass man praktisch alle Schüler zu wirklich guten Leistungen motivieren kann“. Die Pisa-Daten sprechen für das Gegenteil.

Im Übrigen liegt die Gruppe der besten Schüler (obere 5 Prozent) im internationalen Vergleich auf einem ähnlichen Niveau. Abgesehen von asiatischen Ländern mit teils fragwürdigen oder sehr speziellen Voraussetzungen gibt es eine Spitzengruppe mit durchschnittlichen Punktwerten zwischen 667 und 652. Dazu gehören (in dieser Reihenfolge) Kanada, Finnland, Deutschland (661), die Niederlande, Schweiz, Belgien und Frankreich. Wenn die Durchschnittswerte dieser Ländergruppe stärker voneinander abweichen, so liegt das nicht zuletzt am unterschiedlichen Anteil geringer qualifizierter Zuwanderer in der jeweiligen Stichprobe. Es wäre daher geboten, die sprachlichen, kulturellen und sozialen Voraussetzungen von Migrantenkindern genauer in den Blick zu nehmen.

Den Pisa-Machern ist durchaus bekannt, dass Länder wie Kanada, Australien und Neuseeland eine selektive Einwanderungspolitik betreiben, so dass es sich bei den Einwanderern weitgehend um Hochqualifizierte handelt, die zudem die Landessprache beherrschen. Dagegen weisen etwa Deutschland, Österreich, Belgien und Frankreich einen hohen Anteil an dauerhaft ansässigen geringqualifizierten Zuwanderern auf. Zwar heißt es bei Pisa, dass die im Ländervergleich bestehenden Unterschiede „auch unter dem Aspekt der Selektivität der Zuwanderungspolitik der Aufnahmeländer sowie der relativen kulturellen und sprachlichen Verwandtschaft der Herkunfts- und Aufnahmeländer betrachtet werden“ müssen. Doch eine solche Differenzierung findet tatsächlich nicht statt. Man erfährt lediglich, „dass der durchschnittliche Leistungsabstand zwischen Schülerinnen und Schülern mit und ohne Migrationshintergrund und gleichem sozioökonomischem Profil 31 Punkte beträgt“. Wie sich Anteil und Qualifikationsniveau von Migrantenkindern konkret auf die nationalen Pisa-Ergebnisse auswirken, wird jedoch nicht thematisiert.

Offensichtlich handelt es sich hier um ein Tabu, wie die Reaktion der deutschen Pisa-Koordinatorin Kristina Reiss in einem Interview mit der „Zeit“ im Dezember 2016 zeigt. Als sie mit der These konfrontiert wurde, ohne Einwandererkinder wäre Deutschland auf dem Niveau von Europas Schulprimus Finnland, entgegnete sie: „Diese Argumentation ist gefährlich. Zum einen stammt ein gutes Viertel der Risikoschüler aus deutschstämmigen Familien. Zum anderen schaffen es Länder wie Kanada durchaus, Kinder aus Einwandererfamilien zu guten Leistungen zu führen.“ Doch Kanada verdankt seine guten Pisa-Ergebnisse ja nicht zuletzt seiner selektiven Einwanderungspolitik. Dass dies hartnäckig unterschlagen wird, verstößt eklatant gegen wissenschaftliche Regeln.

Wenn hingegen die Pisa-Ergebnisse Deutschlands Fortschritte erkennen lassen, ist die OECD schnell dabei, diese für sich zu reklamieren. So führte sie das gute Abschneiden 2012 auch auf den von ihr befürworteten Ausbau der frühkindlichen Förderung zurück. Ihr stellvertretender Generalsekretär behauptete sogar, man könne „in den Pisa-Zahlen ganz deutlich messen, dass bereits ein Jahr frühkindliche Bildung nachher die Ergebnisse im Pisa-Test deutlich verbessert“. Doch die Pisa-Zahlen geben nichts dergleichen her, denn die 2012 getesteten Fünfzehnjährigen wurden ja spätestens 2003 eingeschult, also vor dem Ausbau der frühkindlichen Bildung in Deutschland. Sie kann also nicht der Grund für die Verbesserung sein.

Die hier aufgezeigten methodischen Probleme und irreführenden Interpretationen der Pisa-Studie sollten Grund genug sein, der Präsentation der neuen Ausgabe nicht blind zu vertrauen, sondern ihr kritisch zu begegnen. Auf eine konstruktive Diskussion mit den Pisa-Machern zu hoffen erscheint allerdings unrealistisch, müssten diese dann doch ihren latenten Unfehlbarkeitsanspruch aufgeben.

Dieser Beitrag erscheint mit freundlicher Genehmigung des Autors auf Schulforum-Berlin. Einfügung der Grafik durch Schulforum-Berlin.

Zur Homepage des Autors: Presseveröffentlichungen, Vorträge und Publikationen