Das Karriereportal für Wissenschaft & Forschung von In Kooperation mit DIE ZEIT Forschung und Lehre

Wahrheit und Klarheit - für die Forschungsevaluation


von Lutz Bornmann, Werner Marx und Matthias Winterhagen

Die Bewertung von Forschungsleistungen durch Universitätsrankings ist inzwischen weit verbreitet. Die Ergebnisse von Rankings können jedoch maßgeblich durch uneinheitliche (und inkorrekte) Autorenadressen bzw. Namen von Universitäten beeinflusst werden. In diesem Beitrag werden Vorschläge unterbreitet, wie diesem Problem begegnet werden kann.

Wahrheit und Klarheit© biloba - photocase.comUneinheitliche Namen von Universitäten und ihre Folgen für die Forschungsevaluation
Universitäten, wie auch andere Forschungseinrichtungen, sehen sich zunehmend mit öffentlich verbreiteten bibliometrischen Analysen konfrontiert, die sie nicht selbst initiiert haben und bei deren Durchführung sie nicht beteiligt sind. Die Ergebnisse solcher Analysen, insbesondere wenn sie in Form von Ranglisten wie im Leiden-Ranking, dem Shanghai-Ranking oder dem THES-Ranking publiziert werden, können für die betroffenen Institutionen erhebliche forschungspolitische Wirkung entfalten. Den Rankings liegen (wie in vielen bibliometrischen Analysen) Daten aus dem Web of Science (WoS, Thomson Reuters) zugrunde. Die Daten bestehen aus einem Publikationsset, in dem zu jeder Publikation der Titel der Arbeit, die Zeitschrift, die Adressen aller Autoren und weitere Informationen verzeichnet sind. Um für ein Ranking die Ergebnisse zum Publikations-Output und Citation Impact der Universitäten erzeugen zu können, ordnen die Produzenten der Rankings jede Publikation anhand der Angaben im Adressfeld der Datenbank den Universitäten zu.

Nicht erkannte Varianten

Ein Problem bei der Zuordnung der Publikationen zu den Universitäten (oder auch anderen Forschungseinrichtungen) besteht darin, dass die Autorenadressen und insbesondere die darin enthaltenen Namen der Universitäten in ganz unterschiedlichen Varianten im Adressfeld der Datenbanken verzeichnet sind. Hauptursache hierfür sind die sehr unterschiedlichen (und teilweise fehlerhaften) Angaben der institutionellen Namen und Adressen auf den Veröffentlichungen, die von den Mitarbeitern einer Universität publiziert werden. Da diese Varianten nur zum geringen Teil von Thomson Reuters (und anderen Datenbankherstellern) erkannt und für das WoS vereinheitlicht werden, kann die korrekte und einigermaßen vollständige Zusammenführung der Arbeiten einer Universität für bibliometrische Studien sehr aufwändig sein. Die Zusammenführung setzt genaue Kenntnisse über die Universität (Namensänderungen, Namensabkürzungen, Alternativnamen, Außenstellen usw.) voraus. Besonders fehleranfällig sind in Deutschland Standorte, an denen mehrere Universitäten und eine Vielzahl außeruniversitärer Forschungseinrichtungen angesiedelt sind (z.B. Berlin, Hamburg und München). Die Rankingproduzenten weisen manchmal in Methodenberichten auf die Schwierigkeiten bei der Adresszuordnung hin.

In der nachfolgenden Tabelle sind beispielhaft die zwölf häufigsten Varianten des Namens der Eidgenössischen Technischen Hochschule Zürich (abgekürzt als ETH Zürich oder auch ETHZ) im Suchfeld der Autorenadressen des WoS auf der Basis der seit Anfang 2000 erschienenen Publikationen aufgelistet. Es handelt sich um die von Thomson Reuters erzeugten Kurzfassungen der Namen. Der häufigste Eintrag "ETH" resultiert beispielsweise aus im WoS abgelegten Autorenadressen, wie der folgenden: "ETH, Inst Theoret Comp Sci, CH-8092 Zurich, Switzerland". Die entsprechende Originaladresse auf der Publikation lautet: "Inst. of Theoretical Computer Science, ETH Zürich, Uni- versitätstr. 6 - 8092 Zürich, Switzerland". Wie die Tabelle zeigt, haben einige Autoren ETH und Universität Zürich innerhalb ein und derselben Adresse aufgeführt, z. B. "Institute for Biomedical Engineering, University and ETH Zurich, Switzerland" (das Institut ist an beide Universitäten angebunden). Im WoS wird in solchen Fällen "UNIV & ETH" als Name der Institution abgelegt. Die dritte und vierte Spalte in der Tabelle gibt jeweils die Anzahl und den Prozentanteil der Publikationen an. Die Tabelle zeigt, dass die ETH (wie die meisten Institutionen) mit einer Vielzahl von Varianten im WoS vertreten ist.

Aufwändige Datenbereinigung

Inwieweit für bibliometrische Analysen alle Adressvarianten einer Universität berücksichtigt werden, hängt vor allem vom Aufwand ab, mit dem die Datenbereinigung durchgeführt wird. Die nachträgliche Bereinigung der deutschen Adressdatensätze im WoS ist derzeit Gegenstand eines vom Bundesministerium für Bildung und Forschung geförderten Projekts. Ziel ist die Bereitstellung einer möglichst aktuellen und vollständigen Zuordnung des deutschen Publikationsoutputs in den international führenden Fachzeitschriften zu den relevanten Hauptinstitutionen der großen Sektoren (Hochschulen, Max- Planck-Gesellschaft, Helmholtz-Gemeinschaft Deutscher Forschungszentren, Fraunhofer-Gesellschaft, Leibniz- Gemeinschaft). Das Zuordnungssystem kann im Kern auf Relationen von Identifiern zurückgeführt werden und ist somit anschlussfähig an andere Datenbestände. Es ermöglicht einen Austausch mit interessierten Universitäten (und anderen Forschungseinrichtungen) zu den jeweils sie selbst betreffenden Zuordnungsdaten, etwa zum Abgleich mit hauseigenen Publikationsverzeichnissen. Auf diese Weise können die betroffenen Institutionen (auf Wunsch) in den Prozess der Qualitätsverbesserung einbezogen werden. Eine derart aufwändige Aufbereitung von Adressdaten kann bei Rankings im globalen Maßstab kaum vorausgesetzt werden, da sie schon aus ökonomischen Gründen nicht ohne weiteres realisierbar ist.

Wegen der schiefen Verteilung von Zitierungen auf Publikationen (einige wenige Arbeiten tragen wesentlich und viele Arbeiten kaum zur Gesamtzahl der Zitierungen bei) kann das Fehlen von verhältnismäßig wenigen Publikationen mit weniger üblichen Adressvarianten in einem Publikationsset, das im Rahmen eines Rankings für eine Universität zusammengestellt wurde, zu deutlichen Einbußen beim Citation Impact führen.

Wahrheit und Klarheit - für die Forschungsevaluation © Forschung & Lehre Die zwölf häufigsten Varianten des Namens der Eidgenössischen Technischen Hochschule (ETH) Zürich im Adressfeld des WoS

Einheitliche Vorgaben und Kontrolle wichtig

Unübliche oder fehlerhafte Adressen bzw. Namen von Universitäten, die früher lediglich ein Schönheitsfehler in einer für den Leser beigefügten Herkunftsinformation der Autoren waren, stellen also eine ernst zu nehmende Gefahr im Rahmen von Evaluierungen auf der Basis bibliometrischer Indikatoren (wie Rankings) dar. Dem versuchen einige Institutionen entgegenzuwirken, indem sie für ihre Mitglieder einheitliche Regeln zur Angabe der Adressen in wissenschaftlichen Publikationen aufstellen. Beispiele dafür sind die Max- Planck-Gesellschaft, die Universität Oslo und das Karolinska-Institut (Stockholm). Eine flächendeckende Durchsetzung solcher Regeln könnte erheblich dazu beitragen, Fehlurteile in bibliometrischen Analysen zu reduzieren. Jede Universität, die den eigenen Publikationsoutput in internationalen Literaturdatenbanken angemessen repräsentiert sehen will, sollte ihren Mitgliedern im Sinne einer corporate identity einheitliche Vorgaben für entsprechende deutsch- und englischsprachige Namensvarianten machen. Die Empfehlung sollte sich durchaus auch auf die vollständige Adresse und vor allem nicht nur auf den Namen der Hauptinstitution (einer Universität) beziehen. Neben der Vorgabe von Namensvarianten ist auch deren effektive Umsetzung und Kontrolle innerhalb der Universitäten entscheidend. In einigen Universitäten werden zentrale Dienstleister aus dem eigenen Haus (z.B. die Bibliothek) in den Vorgang des Einreichens von Manuskripten bei Zeitschriften einbezogen. Dabei kann die routinemäßige Überprüfung der korrekten Adressangaben gemäß den vereinbarten Regeln ohne weiteres mit berücksichtigt werden. Dies ist ein guter Ansatzpunkt bereits im Vorfeld der Veröffentlichung, um die angemessene Sichtbarkeit der eigenen Institution bis in die Literaturdatenbanken hinein nachhaltig sicherzustellen. Einheitliche Namen bzw. Adressen der Universitäten auf den Manuskripten der Mitarbeiter können maßgeblich dazu beitragen, dass die betreffende Universität bei Rankings bzw. ganz generell bei bibliometrischen Studien zur Forschungsbewertung der tatsächlichen Leistung entsprechend dargestellt wird.


Über die Autoren
Dr. Lutz Bornmann arbeitet im Stabsreferat für Wissenschafts- und Innovationsforschung sowie Forschungsanalyse in der Generalverwaltung der Max-Planck-Gesellschaft in München.
Dr. Werner Marx ist zuständig für den Zentralen Informationsservice für die Max-Planck-Institute der Chemisch-Physikalisch-Technischen Sektion am Max-Planck-Institut für Festkörperforschung in Stuttgart.
Matthias Winterhager ist wissenschaftlicher Mitarbeiter am Institut für Wissenschafts- und Technikforschung (IWT) der Universität Bielefeld. Er leitet dort das in dem Beitrag erwähnte Projekt zur Bereinigung deutscher Adressdaten, das im Rahmen des Kompetenzzentrums Bibliometrie für die deutsche Wissenschaft durchgeführt wird.

Aus Forschung & Lehre :: August 2012

Ausgewählte Artikel
Ausgewählte Stellenangebote