Das Karriereportal für Wissenschaft & Forschung von In Kooperation mit DIE ZEIT Forschung und Lehre

Forscher ohne Schiedsrichter

von STEFAN SCHMITT

Viel zu wenige Studien werden überprüft. Warum das schlecht ist.

Forscher ohne Schiedsrichter© aremac - photocase.deIn der Wissenschaft werden zu wenige Studien wiederholt und überprüft
In der Wissenschaft wird mit Fouls gespielt. Das ist wörtlich gemeint. Denn die Forschungsfrage lautete: Zeigen Schiedsrichter dunkelhäutigen Spielern häufiger Rote Karten als hellhäutigen? Die Spielmasse war eine Datei mit Fußballstatistiken aus den ersten Ligen Englands, Deutschlands, Frankreichs und Spaniens. Was für eine außergewöhnliche Trainingseinheit! Die Initiatoren der Untersuchung ließen 29 Teams aus aller Welt rechnen, die zudem auch noch die Methode frei wählen konnten. Heraus kamen 29 verschiedene Antworten, von »eher nicht« bis »ja, klar«.

Wie das sein kann? Ganz einfach: Weil so Forschung funktioniert. Die Spreizung »mache transparent, wie Unterschiede in der Analyse die Resultate beeinflussen«. So drückt es Brian Nosek aus, der Initiator des Fußballdatenspiels. Anders gesagt, auf viele Fragen gibt es nicht die eine Antwort (erst recht gibt es nicht die eine »Wahrheit«). Das Ergebnis hängt von der Auswertung ab, vielleicht auch vom Auswertenden.

Diese Erkenntnis irritiert. Vor allem deswegen, weil es hier nicht um Pfusch oder Betrug geht. Den gibt es natürlich auch. So zog in der vergangenen Woche der Springer-Wissenschaftsverlag aus seinen Fachzeitschriften mehr als 60 Aufsätze zurück, deren Autoren tatsächlich gefoult hatten, indem sie unter falschem Namen ihre eigenen Arbeiten begutachteten. Andere Foulspieler manipulieren experimentelle Ergebnisse nachträglich per Photoshop. Und immer wieder fliegt ein Forscher auf, der Zahlen frisiert hat. Jedes einzelne Fehlverhalten mindert den - überwiegend steuerfinanzierten - Erkenntnisfortschritt.

Verheerender für die Güte von Forschung im Allgemeinen dürfte aber jene Verzerrung sein, die innerhalb der akademischen Spielregeln geschieht. Das führen Nosek und sein Team vom Center for Open Science nun an einem weiteren Beispiel vor. In der Fachzeitschrift Science stellen sie die Ergebnisse ihres Reproducibility Project vor. Unabhängige Forscher haben dafür 100 psychologische Studien nachgerechnet. Und schon im Verlauf kamen die Kontrolleure häufig zu schwächeren Resultaten als die Autoren. Das verdeutlicht, wie wenig ein Ergebnis zählt, solange es nicht wiederholt und überprüft wurde - was viel zu selten geschieht.

Diskutiert wird das Problem schon lange, mehr aber auch nicht: Fachjournale drucken lieber neue Forschung, Reproduktionen zählen im Lebenslauf kaum, Forschungsgelder gibt es auch nicht. Groß ist hingegen die Verlockung, im Rahmen des analytischen Spielraums alles für ein möglichst klares Ergebnis zu tun (wir erinnern uns: »Unterschiede in der Analyse ...«).

Was dagegen hilft? Sich festzulegen. Es wird diskutiert, ob jeder Autor vorab angeben sollte, wie er seine Daten auswerten will - und dass er dann auch nicht mehr davon abweichen darf. Das wäre eine Art statistisches Fairplay.

Aus DIE ZEIT :: 27.08.2015

Ausgewählte Stellenangebote