Das Karriereportal für Wissenschaft & Forschung von In Kooperation mit DIE ZEIT Forschung und Lehre

Heißt "gut" publiziert auch "gute" Publikation?


von Margit Osterloh und Bruno Frey

Die Qualitätsbeurteilung in der Wissenschaft geschieht vorwiegend über Publikationslisten. Je mehr Beiträge jemand in Zeitschriften mit hohem Impact Factor hat, umso besser für die Karriere. Aber was sagt ein hoher Impact Factor einer wissenschaftlichen Zeitschrift wirklich über die Qualität einer publizierten Arbeit aus?

Heißt "gut" publiziert auch "gute" Publikation?© zettberlin - photocase.comDie Qualität einer wissenschaftlichen Publikation wird häufig von der Zahl ihrer Veröffentlichungen abgeleitet
Wenn sich heutzutage Wissenschaftler treffen, dreht sich nach kurzer Zeit das Gespräch meist um das Publizieren in wissenschaftlichen Fachzeitschriften. Dabei wird als selbstverständlich unterstellt, dass ein in einer "guten" Zeitschrift veröffentlichter Artikel auch eine gute Publikation und einen wertvollen Beitrag zur Forschung darstellt. Wer in einer Top-Zeitschrift veröffentlicht, findet unter Fachkolleginnen und Fachkollegen große Anerkennung.

Was eine "gute" Zeitschrift ist, wird üblicherweise durch den Impact Factor bestimmt, d. h. danach, wie oft im Durchschnitt die Aufsätze in einer Zeitschrift im Zeitraum von zwei Jahren nach deren Veröffentlichung zitiert werden. Die entsprechenden Daten werden vom Institute for Scientific Information (ISI) Web of Knowledge erhoben. Der Impact Factor wird von ISI als verlässlich dargestellt: "a systematic and objective means to critically evaluate the world's leading journals". Entsprechend wird eine wissenschaftliche Zeitschrift mit einem hohen Impact Factor als "gut" taxiert, eine solche mit tiefem Impact Factor als wenig bedeutend. Diese Interpretation hat sich international durchgesetzt.

Diese Art der Qualitätsbewertung entscheidet heute maßgeblich über die Verteilung der staatlichen Mittel und über die Karrieren von Wissenschaftlern. An manchen Universitäten werden die Zeitschriften anhand des Impact Factors mit Punkten bewertet, so gibt zum Beispiel eine A+ Publikation sieben Punkte, eine A Publikation vier Punkte, eine B Publikation drei Punkte und eine C Publikation einen Punkt. Eine Habilitation ist weitgehend Formsache, wenn entsprechend diesen Rankings genügend Punkte erreicht werden. Ganz ähnlich wird bei Berufungen auf Professuren vorgegangen. Einige Universitäten zahlen auch Geldbeträge für Publikationen in "guten" Journals.

Extremer Fall von Trittbrettfahrern

Einer sorgfältigen empirischen Forschung folgend erweist sich die Vorstellung, eine Publikation in einer "guten" Zeitschrift sei auch eine "gute" Publikation, als schlicht verfehlt.

Der Grund ist die extrem ungleiche Zahl von Zitierungen einzelner Artikel in einer Zeitschrift. Die mittels Zitaten gemessene Bedeutung eines wissenschaftlichen Journals hängt maßgeblich von sehr wenigen Beiträgen ab. Aus diesem Grund kann nicht von der durchschnittlichen Zahl von Zitaten - dem Impact Factor - auf die Qualität einzelner Beiträge geschlossen werden. Die allermeisten Artikel, die in einer als "gut" gerankten Zeitschrift publiziert werden, profitieren als Trittbrettfahrer von den wenigen Artikeln, die eine große Zahl von Zitaten auf sich ziehen. Die meisten Artikel werden hingegen selten oder überhaupt nie zitiert.

Wer auch nur eine Grundausbildung in Statistik genossen hat, weiß, dass bei einer stark schiefen Verteilung nicht auf Eigenschaften einzelner Werte geschlossen werden darf - und dennoch werden "gut" publizieren und "gute" Publikationen weitgehend gleich gesetzt und entscheiden über Auswahl, Karriere und Einkommen in der Wissenschaft.

Empirische Evidenz

Mehrere Studien, die sich mit wirtschaftswissenschaftlichen Publikationen beschäftigen, vergleichen Top-Zeitschriften mit weniger hoch eingeschätzten Zeitschriften. Die Daten einer Studie verfolgen die Zitierhäufigkeit sogar über ein Vierteljahrhundert hin und berücksichtigen damit auch stark verzögerte Zitierungen der Artikel. Die Studie findet, dass die durchschnittliche Zahl von Zitationen wegen der extremen Schiefe der Verteilung wesentlich oberhalb des Medians liegt. Eine sehr kleine Zahl von Aufsätzen generiert die größte Zahl der Zitate. Viele Artikel wurden hingegen in 25 Jahren überhaupt nie zitiert. In der wichtigsten Zeitschrift sind mehr als ein Drittel der Aufsätze im Verlauf des Vierteljahrhunderts weniger als 20 Mal von anderen Wissenschaftlern erwähnt worden. Eine beträchtliche Zahl von vielzitierten Beiträgen wurde in "weniger guten" Zeitschriften, und eine solche mit wenig Zitationen wurde in "besonders guten" Zeitschriften veröffentlicht. Aus dem Impact Factor eines Journals lässt sich somit nicht ohne erhebliche Fehler auf die Qualität eines Beitrags schließen.

Die in der Wirtschaftswissenschaft beobachtete extrem schiefe Verteilung der Zitate gilt auch für andere Wissenschaften: Aus einem 2005 geschriebenen Editorial in der Zeitschrift Nature wird deutlich, wie ungleich die Verteilung auch in den Naturwissenschaften ist. 89 Prozent des Impact Factors für das Jahr 2004 wurde durch gerade 25 Prozent der in diesem Jahr in Nature veröffentlichten Aufsätze generiert.

Eine von der International Mathematical Union in Auftrag gegebene Studie vergleicht zwei Zeitschriften, die Proceedings of the American Mathemathical Society (mit einem Impact Factor von 0.434) und die Transactions of the American Mathematical Society (mit einem fast doppelt so hohen Impact Factor von 0.846). Die Wahrscheinlichkeit, dass ein zufällig ausgewählter Artikel in der ersten Zeitschrift öfter zitiert wird als in der weit "besseren" zweiten Zeitschrift ist nicht weniger als 62 Prozent! Wir irren uns somit in 62 Prozent der Fälle: "We are more often wrong than right". Ein zufällig ausgewählter Artikel in den "schlechten" Proceedings ist in deutlich mehr als der Hälfte der Fälle mindestens ebenso gut oder sogar besser als ein zufällig ausgewählter Artikel in den "guten" Transactions. Viele Leute überrascht diese Folgerung. Sie ist die Folge einer extrem schiefen Verteilung und eines kurzen zweijährigen Zeitfensters.

Der Chefredakteur von Science stellt jüngst in einem im Mai 2013 publizierten Leitartikel unmissverständlich fest: "As frequently pointed out by leading scientists, this impact factor mania makes no sense ..... Such metrics ... block innovation". Darin wird auch positiv zur im Dezember 2012 erschienenen "San Francisco Declaration on Research Assessment" (DORA) Stellung genommen. Darin wird gefordert: "Do not use journal-based metrics, such as journal impact factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist's contribution, or in hiring, promotion or funding decisions. ..the scientific content of a paper is much more important than publication metrics..."

Schädigung der Wissenschaft

Inhaltlich gute Beiträge mit Publikationen in den besten Fachzeitschriften zu identifizieren ist wegen der stark schiefen Verteilung der Zitierungen unstatthaft; in mehr als der Hälfte der Fälle ist diese Folgerung verfehlt - und trotzdem wird es heute in hohem Ausmaß getan! Der Fehler geht nicht auf eine unzureichende Messung zurück, sondern ist grundsätzlich. Jedem in der gleichen Zeitschrift veröffentlichten Artikel den gleichen Wert zuzuordnen verbirgt die extreme Ungleichheit in den Zitierungen.

Viele Autoren sind Trittbrettfahrer von Verfassern einer kleinen Anzahl oft zitierter Beiträge, die den Impact Factor einer Zeitschrift bestimmen. Die Wissenschaft wird dadurch in mehrfacher Hinsicht geschädigt. Die Auswahl der zukünftigen Forscherinnen und Forscher wird verzerrt zugunsten derjenigen, die das Glück hatten, einen oder mehrere Aufsätze in Spitzenzeitschriften zu veröffentlichen. Das Abstellen auf Impact Factors kann in keiner Weise eine sorgfältige inhaltliche Analyse der einzelnen Beiträge ersetzen. Setzen die Entscheidungsträger - wie heute vielfach üblich - Publikationen in "guten" Zeitschriften mit der Qualität der einzelnen Artikel gleich, werden in erheblichem Ausmaß ungeeignete Habilitanden und Bewerber auf Professuren ausgewählt und belohnt.

Den Forschenden werden falsche Anreize gesetzt. Die harten Einschätzungen einer solchen Politik, etwa durch die International Mathematical Union ("vague and misleading"), sollten zu denken geben. Zumindest in Australien scheint ein Umdenken in Gang gekommen zu sein. Der National Health and Medical Research Council nennt die Bewertung von Beiträgen aufgrund des Impact Factors der Zeitschrift "unfair and unscholarly" und verbietet deren Verwendung in Anträgen. Ein solcher Lernprozess wäre auch bei uns zu wünschen.

*Dieser Beitrag ist die veränderte Fassung des Aufsatzes "Gut publizieren = gute Publikation", der am 16. Mai 2013 in den Oekonomenstimmen (©KOF ETH Zürich) veröffentlicht wurde. Dort finden sich auch ausführliche Literaturhinweise.


Über die Autoren
Margit Osterloh ist Professor of Management Science an der University of Warwick, UK und Professor (em.) an der Universität Zürich. Bruno Frey ist Distinguished Professor of Behavioural Science an der University of Warwick UK und Professor an der Zeppelin Universität Friedrichshafen. Beide sind Forschungsdirektoren von CREMA - Center for Research in Economics, Management and the Arts, Switzerland.

Aus Forschung & Lehre :: Juli 2013