Das Karriereportal für Wissenschaft & Forschung von In Kooperation mit DIE ZEIT Forschung und Lehre

Die Fehler der Fehlerkultur

VON STEFANIE SCHRAMM

Zwei Forscher glauben, in einer Studie über Lebenseinstellungen einen gravierenden Mangel gefunden zu haben. Sie versuchen, ihre Kritik zu veröffentlichen. Doch die verschwindet in der Schublade - das mutmaßlich falsche Forschungsergebnis kursiert weiter.

Die Fehler der Fehlerkultur© Yeko Photo Studio - Fotolia.com"Pessimisten leben länger" - Wieder eine Studie, die lügt?
Lange Zeit hatte die Forschung propagiert, wer optimistisch in die Zukunft blicke, sei gesünder und würde dementsprechend älter. Umso überraschender, als es vor zwei Jahren hieß: »Pessimisten leben länger.«

Zu diesem Ergebnis gelangte jedenfalls eine Untersuchung, die von vielen Medien genüsslich aufgegriffen wurde: Schwarzmaler durften sich wissenschaftlich bestätigt fühlen. Selbst im Streiflicht der "Süddeutschen Zeitung" tauchte die Studie auf - natürlich im Rahmen einer ironischen Würdigung des Pessimismus.

Doch stimmt die Sache überhaupt? Oder haben die Forscher unsauber gearbeitet? Diesen Vorwurf erheben jedenfalls jetzt zwei Wissenschaftler: Das aufsehenerregende Ergebnis beruhe auf einem Mangel in der Statistik, die Autoren der Studie hätten einen wichtigen Faktor übersehen.

Von einem Langlebigkeitseffekt für Pessimisten, so die Kritiker, könne keine Rede sein. So weit, so schlecht. Das ist eben der Gang der Wissenschaft, könnte man sagen: Ein Ergebnis wird veröffentlicht und daraufhin von der Forschergemeinde kritisch diskutiert. Dumm nur, dass diese Debatte gar nicht stattfinden kann. Denn keine Fachzeitschrift fand sich bisher bereit, die kritische Gegenmeinung zu publizieren. Widerspruch scheint nicht erwünscht zu sein.

Damit wirft dieser Fall wieder einmal die grundsätzliche Frage auf: Wie geht die Forschung mit Kritik und abweichenden Ergebnissen um? Wie ist es um die »Selbstreinigungskraft« der Wissenschaft bestellt, die so gern zitiert wird? In den vergangenen Jahren bekam das Idealbild der sich selbst korrigierenden Erkenntnismaschine immer mehr Kratzer: Es häuften sich die Belege, dass Gutachter von Fachzeitschriften viele Fehler übersehen und dass Forscher, die auf Mängel aufmerksam machen, als Nervensägen gelten. Fehlerhafte Studien werden, wenn überhaupt, möglichst diskret zurückgezogen. Überholte Erkenntnisse kursieren deshalb munter weiter.

Insbesondere in der Psychologie ist die Qualität der Forschung derzeit ein heißes Thema. Der Skandal um den Sozialpsychologen Diederik Stapel, der Dutzende Publikationen manipulierte und in vielen Fällen sogar Daten frei erfand, entzündete die Debatte. Angefacht wurde sie, als sich eine Reihe von Ergebnissen aus wichtigen Studien des Feldes nicht bestätigen ließen. Der Nobelpreisträger Daniel Kahneman warnte daraufhin, die gesamte Fachrichtung werde »gegen die Wand fahren«. Gerade in der Psychologie müssten also Forscher und Herausgeber von Fachzeitschriften besonders sensibilisiert sein - sollte man meinen. Der Streit um die Lebensdauer von Pessimisten weckt daran allerdings Zweifel. Doch von Anfang an:

Die Behauptung

Frieder Lang hat eine Hypothese: Weil Pessimisten weniger zuversichtlich in die Zukunft blicken, geben sie mehr auf sich acht und leben daher auf lange Sicht gesünder als Optimisten. Ein interessanter Gedanke. Um ihn zu prüfen, nimmt der Leiter des Instituts für Psychogerontologie an der Universität Erlangen-Nürnberg eine Studie in Angriff. Dazu tut er sich mit Kollegen des Deutschen Instituts für Wirtschaftsforschung zusammen, die das sogenannte Sozio-oekonomische Panel (Soep) erheben. Seit 1983 werden dazu jedes Jahr dieselben Teilnehmer befragt - etwa wie zufrieden sie mit ihrem Leben sind und welche Zufriedenheit sie in fünf Jahren erwarten. Ebenso werden Alter, Geschlecht, Bildung, Einkommen und der selbst eingeschätzte Gesundheitszustand erfasst sowie das Sterbealter. Das Soep liefert damit einen wertvollen Datenschatz für Forscher aller Fachrichtungen.

Frieder Lang nutzt ihn, um die Befragten in Optimisten und Pessimisten einzuteilen. Die Ersteren überschätzen ihre zukünftige Zufriedenheit, die Letzteren unterschätzen sie. Als er dies mit dem Sterbealter vergleicht, zeigt sich: Pessimisten leben offenbar länger. Ein schönes Ergebnis, das im Fachjournal Psychology and Aging veröffentlicht und in einer Pressemitteilung medienwirksam verkündet wird.

Die Kritik

Die Brüder Björn und Sören Christensen glauben nicht so recht an das Resultat. Björn ist Statistiker an der Fachhochschule Kiel, Sören lehrt an der Kieler Uni Wahrscheinlichkeitstheorie. Aus ihrer Sicht legt Langs Studie eine andere Lesart nahe: Womöglich habe das Ergebnis vor allem damit zu tun, dass sich bei vielen Befragten der selbst eingeschätzte Gesundheitszustand im Laufe der Studie verändert.

»Wenn jemand während dieser fünf Jahre schwer krank wird, dann wirkt sich das wahrscheinlich sowohl auf seine Lebenszufriedenheit als auch auf sein Sterberisiko aus«, erklärt Björn Christensen. Es sei anzunehmen, dass die Zufriedenheit sinke, womöglich so weit, bis sie unter der Erwartung liege. Das macht einen Teilnehmer in der Logik dieser Studie rückblickend zum Optimisten. Umgekehrt sei jemand, dessen Gesundheit sich überraschend verbessere, am Ende wohl zufriedener als erwartet, und er sterbe mit höherer Wahrscheinlichkeit später - der Pessimist lebt länger.

Die Veränderung des selbst eingeschätzten Gesundheitszustands hätten Lang und seine Kollegen jedoch gar nicht berücksichtigt, kritisieren die beiden Christensens. Wenn man sie in die Analyse einbeziehe, ergebe sich ein ganz anderes Ergebnis: Ob jemand seine zukünftige Zufriedenheit über- oder unterschätze, habe nun keinen signifikanten Einfluss mehr auf sein Sterberisiko. »Ich denke, die beiden Christensens haben recht«, pflichtet der Statistiker Walter Krämer von der Technischen Universität Dortmund bei. »Die Originalautoren haben einfach eine ganz wichtige erklärende Variable vergessen.« So etwas passiere häufig in statistischen Analysen.

Frieder Lang hingegen sagt heute, dass die selbst eingeschätzte Gesundheit gar kein geeignetes Maß für eine solche Analyse sei. Und weil das Soep den tatsächlichen Gesundheitszustand gar nicht erhebe, wiederhole er gerade die Analyse mit einem Datensatz aus den USA, der auch objektive Gesundheitsdaten enthalte. Die ersten Ergebnisse dieser Analyse, sagt Lang, bestätigten seine ursprünglichen Resultate. Publiziert ist davon allerdings noch nichts.

Wer lebt länger?

Optimisten
Ihnen bescheinigen mehrere große Studien der vergangenen Jahre eine höhere Lebenserwartung. Dabei wurde die Zuversichtlichkeit (anders als in der Soep-Analyse) jeweils mit Persönlichkeitstests ermittelt. Optimisten erholen sich auch besser nach Operationen, Pessimisten sind insgesamt kränker.

Pessimisten
Wenn es um das Vermeiden konkreter Leiden geht, ist übertriebener Optimismus jedoch nicht hilfreich: Wer etwa sein Risiko für Herz-Kreislauf-Krankheiten lange Zeit unterschätzt hat, leidet häufiger an Arteriosklerose.

Gewissenhafte
Nicht nur Zuversicht, sondern auch Umsicht verspricht ein längeres Leben, fand der Psychologe Howard Friedman heraus. Ihm zufolge leben gewissenhafte Menschen besonders gesund.

Das Schweigen

Die entscheidende Frage aber lautet: Wie geht die Wissenschaft nun mit dem Streit um? Zunächst findet die Diskussion nur in ein paar E-Mails zwischen den Kritikern und den Autoren der Originalstudie statt. Damit sie jedoch allgemein zugänglich ist, muss die Kritik in einer Fachzeitschrift veröffentlicht werden. Daher schicken Björn und Sören Christensen im Mai 2013 eine »Note« mit ihrer Analyse an die Zeitschrift Psychology and Aging. Doch das Journal lehnt die Veröffentlichung ab. Die Gutachter bemängeln, dass die Statistiker keinen theoretischen Hintergrund zum Zusammenhang von selbst eingeschätzter Gesundheit und tatsächlichem Wohlbefinden geliefert hätten.

Dieses Ansinnen wundert die Christensens. »Natürlich sind wir keine Psychologen«, sagt der Statistiker Björn. »Aber schon der Originalartikel macht ja Annahmen über diese Beziehungen. Und er enthält bereits Daten zum selbst eingeschätzten Gesundheitszustand. Wir haben das nur um dieselben Daten zum Ende des Studienzeitraums ergänzt. Deshalb fanden wir die Absage irritierend.«

Außerdem kritisieren die Gutachter, dass aus der statistischen Analyse der Christensens nicht hervorgehe, wie sich der selbst eingeschätzte Gesundheitszustand genau auf die Entwicklung der Zufriedenheit auswirke. Dass er eine Rolle spielen könnte, halten sie aber durchaus für möglich. Widerlegt ist die Hypothese der Christensens mit der Ablehnung also keineswegs. Kurz darauf nehmen die beiden einen neuen Anlauf und reichen ihre Notiz bei der Zeitschrift für Gesundheitspsychologie ein. Dann warten sie, über ein halbes Jahr lang. Im Juli 2014 erhalten sie eine Antwort der damaligen Herausgeberin Britta Renner: Sie habe nur einen einzigen Wissenschaftler gefunden, der bereit sei, den kritischen Artikel zu begutachten. Ein Gutachter nach dem anderen habe abgesagt, einige Anfragen liefen noch immer.

»Das war einfach absurd«, sagt Björn Christensen. Wenn man als Autor ein Gutachten bekomme, mit dem man inhaltlich nicht einverstanden sei, dann sei das normal. »Aber wenn die Gutachter gar nicht bereit sind, ein Gutachten zu schreiben, dann lässt das vermuten, dass Kritik nicht erwünscht ist, entweder allgemein oder an dieser konkreten Studie dieser Autoren.« Die Christensens warten weiter, wieder fast ein halbes Jahr lang. Von der Zeitschrift für Gesundheitspsychologie hören sie nichts mehr. Ihre sechs Nachfragen bleiben unbeantwortet. Im Dezember 2014 ziehen sie ihren Artikel aus Protest zurück.

Die damalige Herausgeberin Britta Renner verteidigt sich mit dem Argument, sie habe »zu der Zeit extrem viel Arbeit« gehabt. »Es ist einfach sehr aufwendig, das alles nebenher zu machen.« Denn Herausgeber wie Gutachter von Fachzeitschriften forschen und lehren im Hauptberuf selbst. »Teilzeitputzmänner und -frauen«, nennt sie daher der Mathematiker Ulrich Berger: Sie sollen die Selbstreinigungskraft der Wissenschaft gewährleisten, aber bitte nach Feierabend.

Zeitmangel sei aber nicht der einzige Grund für die Absagen der Gutachter gewesen, erklärt Renner: »Manche haben abgesagt, weil diese statistischen Fragen nicht in ihr Fachgebiet fielen. Andere, weil sie befangen waren. Sie hatten selbst schon einmal mit den Originalautoren zusammen publiziert.« Das zeigt das ganze Dilemma des sogenannten Peer-Review: Ein Gutachter und Experte hat mit den meisten Autoren seines Fachgebiets schon zusammengearbeitet. Man kennt sich. Und wer nicht befangen ist, ist oft kein Experte.

Der Fall offenbart aber noch ein weiteres Problem. Auf der einen Seite fordern die Gutachter von den Statistikern psychologische Grundlagen, auf der anderen Seite erklären sich die Psychologen für die statistischen Fragen nicht zuständig. So wird der Schwarze Peter zwischen den Disziplinen hin und her geschoben - die Kritik bleibt in der Schublade und die Erkenntnis auf der Strecke. Möglicherweise spielt auch die aktuelle Stimmung in der Psychologie eine Rolle.

Nach den großen Fälschungsfällen sei die Atmosphäre aufgeheizt, sagt eine Kennerin des Feldes. »Da kann ich mir schon vorstellen, dass es schwer wird, Gutachter zu finden.« Noch schwieriger werde es, wenn die Autoren sehr renommiert und gut vernetzt seien. »Da will man nicht unbedingt ran.« Björn und Sören Christensen betonen indes, sie wollten keinesfalls einen Forscher persönlich angehen. »Es ist ja noch nicht einmal ein echter Fehler. Wir haben einfach eine zusätzliche Erkenntnis gewonnen«, sagt Björn Christensen. »Genau das ist doch Wissenschaft, dachte ich immer.«

Doch ob Langs Studie nun stimmt oder nicht, ist noch immer unklar. Denn mit der Kritik der Christensens, die vor fast zwei Jahren formuliert wurde, hat sich schlicht niemand auseinandergesetzt. Pessimisten dürfen sich bestätigt fühlen.

Aus DIE ZEIT :: 05.02.2015