Wer ist schiefer? Die Studie oder der Turm?

Die Berichte über die PISA-Studie hatten einen eindeutigen Tenor: Die Leistungen der österreichischen Schüler sind eingebrochen. Forderungen nach rascher Veränderung des Schulsystems, aber auch Vorwürfe gegen die Lehrer ließen nicht lange auf sich warten. Was jedoch in der öffentlichen Debatte zu kurz kam, war eine sorgfältige Analyse der PISA-Studie, ihrer Ziele, Methoden und Ergebnisse.

41 statt 32 Länder

Richtig ist, dass die Leistungen im Lesen und in den Naturwissenschaften gesunken sind, allerdings nicht so dramatisch, wie immer wieder behauptet wurde. Diesen scheinbaren Absturz über ein Ranking festzumachen, ist eine zu starke Vereinfachung der Tatsachen. Die Anzahl der teilnehmenden Länder an PISA ist nämlich von 32 Ländern im Jahr 2000 auf 41 Länder im Jahr 2003 gestiegen. Ein reiner Vergleich der Plätze ist daher nur bedingt aussagekräftig. Auch bei gleicher Punkteleistung könnte man den einen oder anderen Platz verlieren.

Zudem arbeiten die mit der Auswertung betrauten Statistiker nicht mit einer Rangfolge. Die Ergebnisse werden vielmehr in drei Gruppen geteilt, die beste, eine mittlere und eine untere Gruppe. Solange sich die Leistungen eines Landes innerhalb der selben Gruppe bewegen, geht man von relativ stabilen Ergebnissen aus. Leichte Verschiebungen innerhalb der selben Gruppe werden nicht als kritisch angesehen.

Lesetest per Hochrechnung

Als alarmierende Botschaft der PISA-Studie 2003 gilt die Verschlechterung der Leistungen in den Naturwissenschaften und im Lesen im Vergleich zu PISA 2000.

Bei PISA 2003 gab es aus den insgesamt 13 Testblöcken nur zwei Blöcke zur Ermittlung der Lesekompetenz. Aufgrund der Zusammenstellung der Fragebögen haben so überhaupt nur rund 50 Prozent aller insgesamt etwa 260.000 Fragebögen die Lesekompetenz der Schüler getestet. Um volle Datensätze zu bekommen, wurde für die verbleibenden 50 Prozent die Leseleistung simuliert. Dabei hat man, ausgehend von der jeweiligen Mathematikleistung, die Leseleistung hochgerechnet. Das heißt nichts anderes, als dass schlechte Testergebnisse eines Schülers in Mathematik für seinen Datensatz auch automatisch schlechte Leseleistungen ergeben - nicht, weil der Schüler wirklich schlecht liest, was ja in fast 50 Prozent der Fälle nicht erhoben wurde, sondern weil dies so errechnet wurde.

Je nach Zielsetzung eines Schulsystems gibt es unterschiedliche Zugänge hinsichtlich der Art des vermittelten Wissens und der Fähigkeiten. In Österreich steht sehr oft ein relativ isoliert vermitteltes Wissen im Vordergrund, welches abgeprüft und dann, so wird behauptet, allzu leicht vergessen wird. Der Anwendungsbezug wird in vielen Fällen, sicher mit Unterschieden zwischen den Schultypen, als eher nachrangig angesehen. Dies scheint aber in Übereinstimmung mit den Zielen der Lehrpläne zu sein.

Kompetenzen, nicht Lehrplan

Bei den PISA-Untersuchungen steht aber nicht diese Art von Lehrplan-Wissen im Vordergrund. Zentral sind vielmehr die Basiskompetenzen für den lebenslangen Wissenserwerb. Je anwendungsorientierter, und nicht auf reines Faktenwissen ausgerichtet ein Schulsystem ist, umso größer sind die Chancen, beim Test gut abzuschneiden. Diese Ausrichtung der Tests erklärt sich zum Teil auch daraus, dass die OECD der Auftraggeber der Studie ist.

Werden nun 41 Länder verglichen, so vergleicht man automatisch auch unterschiedlichste Zielsetzungen der Schulsysteme. Werden die Ergebnisse allerdings ohne explizite Einbeziehung der Zielsetzungen gegenübergestellt, so unterstellt man automatisch, dass es Übereinstimmung dazu gibt, welche Zielsetzungen ein Schulsystem eigentlich haben sollte.

Da die Zielsetzungen bei PISA aber nicht neu sind, so erscheint es umso verwunderlicher, dass nun erstmals von einem Desaster des österreichischen Schulsystems gesprochen wird. Solange Österreich durch die Leistungen seiner Schüler im Vorderfeld war, gab es keinen Anlass zur Klage über das Schulsystem.

Die nach PISA entbrannte Diskussion über Gesamtschule beziehungsweise Ganztagsschule kann nicht als ernsthafte Debatte über die Zielsetzungen des Schulsystems betrachtet werden, sondern scheint vielmehr eine parteipolitisch-ideologisch gefärbte Diskussion zu sein. Ob damit eine Verbesserung bei PISA 2006 zu erzielen ist, darf bezweifelt werden.

Beispiele

Ein besonderes Problem bei PISA stellt die Übersetzung der Fragetexte dar. Dies sollen zwei Beispiele zeigen:

Beispiel 1: "Growing up"

Question 1: Since 1980 the average height of 20-year-old females has increased by 2.3 cm, to 170.6 cm. What was the average height of a 20-year-old female in 1980?

Question 2: Explain how the graph shows that on average the growth rate for girls slows down after 12 years of age.

Beispiel 1: "Größer werden"

Frage 1: Seit 1980 hat die Durchschnittsgröße 20-jähriger Frauen um 2,3 cm auf 170,6 cm zugenommen. Was war die durchschnittliche Größe einer 20-jährigen Frau im Jahr 1980?

Frage 2: Erkläre anhand des Graphen, dass im Durchschnitt die Wachstumsrate für Mädchen über 12 Jahre abnimmt.

Hier hat zweifelsohne jemand sein Fachwissen eingebracht, dadurch aber die Übersetzung verkompliziert.Beispiel 2: "Earthquake"

A documentary was broadcast about earthquakes and how often earthquakes occur. It included a discussion about the predictability of earthquakes.

A geologist stated: "In the next twenty years, the chance that an earthquake will occur in Zed City is two out of three".

Which of the following best reflects the meaning of the geologist's statement?

A)2/3 x 20 = 13.3, so between 13 and 14 years from now there will be an earthquake in Zed City.

B)2/3 is more than 1/2, so you can be sure there will be an earthquake in Zed City at some time during the next 20 years.

C)The likelihood that there will be an earthquake in Zed City at some time during the next 20 years is higher than the likelihood of no earthquake.

D)You cannot tell what will happen, because nobody can be sure when an earthquake will occur.

Beispiel 2: "Erdbeben"

Ein Dokumentarfilm über Erdbeben und darüber, wie oft Erdbeben auftreten, wurde gesendet. Er enthielt eine Diskussion über die Vorhersagbarkeit von Erdbeben. Ein Geologe erklärte: "In den nächsten zwanzig Jahren liegt die Wahrscheinlichkeit, dass in Zedstadt ein Erdbeben auftritt, bei zwei zu drei."

Welche der folgenden Aussagen gibt die Bedeutung der Aussage des Geologen am besten wieder?

A)2/3 x 20 =13,3, deshalb wird es in 13 bis 14 Jahren von jetzt an gerechnet in Zedstadt ein Erdbeben geben.

B)2/3 ist mehr als 1/2, deshalb kann man sicher sein, dass es in Zedstadt irgendwann während der nächsten 20 Jahre ein Erdbeben geben wird.

C)Die Wahrscheinlichkeit, dass es in Zedstadt irgendwann während der nächsten 20 Jahre ein Erdbeben geben wird, ist höher als die Wahrscheinlichkeit für kein Erdbeben.

D)Man kann nicht sagen, was passieren wird, weil niemand sicher sein kann, wann ein Erdbeben auftritt.

Während der englische Text von "zwei aus drei" spricht, was einer Wahrscheinlichkeit von etwa 66,6 Prozent entspricht, wurde in der deutschen Übersetzung daraus ein "zwei zu drei". Dies bedeutet aber eine Wahrscheinlichkeit von 40 Prozent.

Die Ergebnisse der österreichischen Schüler sind bei beiden Fragen deutlich schlechter als bei Ländern mit ansonsten vergleichbaren Leistungen. Wird nun das Schulsystem für die schlechten Leistungen beschuldigt, so ist in diesem Vorwurf wohl auch jenes System eingeschlossen, das für die Ausbildung der Übersetzer zuständig ist.

Quelle

Der Artikel beruht auf statistischen Unterlagen einer Studie von Erich Neuwirth et al. Mehr Infos unter der Homepage der Österreichischen Statistischen Gesellschaft .