Bereits in den verfügbaren Teilen der Daten ließen sich (mit relativ großer Mühe und statistischer Detektivarbeit) Inkonsistenzen und schwere Fehler nachweisen. Nach Veröffentlichung dieser Kritik wurden einige der medizinischen Arbeiten zurückgezogen und Anil Potti von der Universität entlassen. Die publizierten Ergebnisse waren nicht nachvollziehbar.

Auch in Österreich gab es ein Problem mit unvollständig publizierten Daten. Nach Pisa 2003 war in der gesamten Medienlandschaft von einem Absturz die Rede. Im Nachhinein stellte sich heraus, dass es bei Pisa 2000 eine systematische Verzerrung der österreichischen Ergebnisse durch falsche Gewichtung der Untergruppen nach Schultyp und Geschlecht gegeben hatte. Pisa publiziert sehr viele Daten, aber es war mit den veröffentlichten Daten nicht möglich, den Fehler zu entdecken und zu korrigieren, weil die Information über den Schultyp in diesen Daten "geschwärzt" war. Erst in einem aufwendigen Prozess konnten andere Forscher Zugang zu diesen Daten bekommen und die Fehler und ihre Ursachen so genau identifizieren, dass eine Korrektur möglich war.

In allen drei Fällen waren die behandelten Forschungsfragen von großem öffentlichen Interesse. Wären die Ergebnisse richtig gewesen, dann hätten sie entweder zu weitreichenden politischen Folgerungen oder zu einigermaßen dramatischen medizinischen Fortschritten führen können.

Wer hat geprüft?

Welche Daten lagen vor?

In allen drei Fällen war es für andere Forscher zunächst immens schwierig, die Ergebnisse zu überprüfen oder gar zu korrigieren. Man sollte daher in Zukunft bei Forschungsergebnissen von großer Tragweite immer zwei Fragen stellen: Wer hat das überprüft und welches Material stand dabei zur Verfügung? Und besser noch: Kann ich die Daten bekommen, damit ich mich selbst davon überzeugen kann, dass das, was da gesagt wird, auch stimmt?

Zur Person

Erich

Neuwirth (65)

ist außerordentlicher Universitätsprofessor im Ruhestand für Statistik und Informatik an der Universität Wien. Kerngebiete seiner Forschung sind Wählerstromanalysen, Kombinatorik, Mathematik und Musik und die Verwendung von Spreadsheets im Unterricht. Bei der Auswertung der Pisa-Studie aus dem Jahr 2003 zeigte er wesentliche Fehler auf. Seine Korrekturen wurden nachträglich übernommen.