Das Karriereportal für Wissenschaft & Forschung von In Kooperation mit DIE ZEIT Forschung und Lehre

Neue Zahlenspiele - internationale Rankings von Universitäten

von Horst Albert Glaser

Der Rankingplatz einer Universität hat nicht selten erhebliche Konsequenzen: für die Hochschullehrer, für die Studierenden, für die gesamte Institution. Wen wunderts, wenn Universitätsrankings inzwischen - weltweit - nahezu quasi-religiösen Charakter besitzen. Welche Kriterien liegen diesen internationalen Rankings zugrunde? Ein Vergleich der amerikanischen, englischen, chinesischen, taiwanesischen und holländischen Rankings gibt hier Aufschluss.

Neue Zahlenspiele© kickers - iStockphoto.comInternationale Rankings von Universitäten funktionieren nach eigenen Regeln - in der Kritik steht fehlende Transparenz und die Vielzahl der Listen
Als unlängst die Rankinglisten für 2011/12 publiziert wurden, rieb sich der ahnungslose Leser die Augen. In den amerikanischen, englischen, chinesischen, taiwanesischen und holländischen Listen purzelten die Plätze von deutschen Universitäten nur so durcheinander. Konnte in einer holländischen Liste Göttingen auf Platz 2 stehen, erreichte es in der taiwanesischen Liste nur Platz 159. Noch grotesker muteten die Platzverteilungen für die Universität Konstanz an. Den besten - wenngleich dürftigen - 194. Platz erreichte sie in der englischen Liste. Die taiwanesische Rankingliste wollte für das deutsche Cambridge aber nur den Platz 444 vergeben. Für die - nach der englischen Liste - zwölf besten deutschsprachigen Universitäten (wozu auch die ETH Zürich und die Universität Wien gehören) sieht das verwirrende Puzzle folgendermaßen aus (siehe Grafik). Zum Trost der deutschen Universitäten sei gesagt, dass sie zusammen mit den amerikanischen, englischen und französischen Universitäten zu den besten der Welt gehören - nach Meinung der Rankingproduzenten.

Nicht unwichtig ist hier zu bemerken, dass die amerikanische und die englische Liste, die die Gesamtqualität von Universitäten messen, von zwei privaten Zeitschriften präsentiert werden: U.S. News & World Report (US NWR) und Times Higher Education (THE). Sie produzieren ihre Listen vor allem für internationale Studenten und deren Eltern, die sich über die Reputation von Universitäten informieren wollen. Die Entscheidung über den Studienort wird dann anhand der Reputation gefällt, denn nur von Zeugnissen angesehener Universitäten erwarten etwa chinesische oder indische Studenten später Beschäftigungschancen. Insbesondere liegt den amerikanischen und englischen Universitäten daran, gute Plätze in den Rankinglisten zu ergattern, da nur diese ein hohes Einkommen aus Studiengebühren garantieren. Im Unterschied zu den kontinentaleuropäischen Universitäten finanzieren sich amerikanische und englische Universitäten zu einem großen oder sogar überwiegenden Teil aus Studiengebühren. Sie variieren zwischen 10 000 und 40 000 EUR im Jahr.

Neue Zahlenspiele © Forschung & Lehre Plätze deutschsprachiger Universitäten

Die Indikatoren

Die Listenplätze hängen von den Indikatoren (Parametern) ab, die als Maßeinheiten beim Ranking benutzt werden. Das sind in der amerikanischen und englischen Liste vor allem Meinungsumfragen unter Wissenschaftlern aus aller Welt, die Zahl von Publikationen und deren Zitathäufigkeit oder das Zahlenverhältnis zwischen Dozenten und Studenten. Dem Ranking von THE liegen 13 verschiedene Indikatoren mit unterschiedlicher Gewichtung zugrunde, dem amerikanischen nur 7. Schon aufgrund dieser Vielzahl von Indikatoren ließe sich sagen, dass das THE-Ranking breiter angelegt ist und verlässlichere Ergebnisse produziert als das Ranking von US NWR.

Die Europäische Rektorenkonferenz (European Universities Association - EUA) bemängelt in ihrem kritischen Bericht über die diversen Rankinglisten ("Global University Rankings and their Impact", 2011) mit gewissem Recht, dass die Rankingproduzenten zwar "Transparenz" der Universitäten für Studenten verheißen, diese Transparenz in ihren Kalkulationen für die einzelnen Indikatoren aber selbst schuldig bleiben.

Des Weiteren wird von der EUA moniert, dass die Indikatoren weithin nur "proxies" seien - also Stellvertreter für die Qualität, die eigentlich gemessen werden soll. So könne z.B. die "staff/student ratio" kaum als korrekte Angabe der "teaching quality" einer Hochschule gewertet werden. Viele schlechte Dozenten machen eine Hochschule nicht besser als wenige gute. Wie grundlegend sich das Ranking einzelner Universitäten verändern kann, lässt sich am Leidener Ranking beobachten. Die holländische Liste bietet verschiedene Indikatoren an, die jeweils verschiedene Plätze für einzelne Universitäten ergeben. Benutzt der Leser den "Mean Normalized Citation Score" (MNCS)-Indikator, der die Zitathäufigkeit von Publikationen relativiert im Hinblick auf unterschiedliche Publikationsfrequenz einzelner Fächer, dann verlieren etwa die englischen Universitäten einen großen Teil der guten Plätze, die sie zusammen mit den amerikanischen Universitäten in THE und US NWR behaupten. Die dort gleichfalls gut platzierten (aber eher schlechten) Universitäten Australiens verschwinden bei den Holländern nahezu aus dem Blickfeld. Hingegen steigt Göttingen auf Platz 2 hoch, während es doch in THE auf Platz 69 landet. Göttingen rangiert dann vor Harvard, das bei den Holländern nur Platz 8 erreichen kann, während es bei den Amerikanern und Engländern jeweils den zweiten Platz belegt. Nimmt man die Zitathäufigkeit von Publikationen als "proxy" für "research impact" (also Qualität der Forschung), dann ist seltsamerweise die Zahl von 33 511 Publikationen, die Harvard-Forscher in den Jahren 2005-2009 vorgelegt haben, weniger relevant als die 4 776 Artikel, die Göttinger Forscher publiziert haben.

Wie das Leidener Ranking konzentrieren sich ARWU und HEEACT (das chinesische und taiwanesische Ranking) mehr oder minder auf den "research impact", d.h. die Zahl von Publikationen und deren Zitathäufigkeit. ARWU reichert diesen Indikator noch mit allerlei Sonderbarkeiten an - etwa Nobelpreisen und Fields Medals von gegenwärtig an Universitäten tätigen Forschern oder früher dort studierenden Forschern. Hierbei gehen die Chinesen sogar zurück bis ins Jahr 1901.

Abgesehen vom Leidener Ranking, das strikt nur Zitathäufigkeiten misst, diese aber hie und da relativiert je nach Zahl der Gesamtpublikationen oder deren Alter, rangieren in den Rankinglisten stets die 'usual suspects' auf den vorderen Plätzen: Harvard, Princeton, Caltech oder Stanford für die USA und Cambridge, Oxford, Imperial College London oder University College London für das UK.

Weltweite Rankings?

Ob die World University Rankings wirklich welche sind, kann für alle Listen bezweifelt werden. Die EUA erinnert daran, dass es weltweit ca. 17 000 Universitäten gebe, aber in den Listen regelmäßig nur 200 bis 500 berücksichtigt werden - also ca. ein bis drei Prozent.

Dass die angelsächsischen Universitäten gerade in den angelsächsischen Rankinglisten an erster Stelle stehen, beruht weniger auf ihrem "research impact", wie er in den "citation scores" gezählt wird, als vielmehr auf dem "reputation score". In US NWR machen die "reputation scores" von academics und employers 50 Prozent des Gesamtgewichts aller Indikatoren aus, in THE nur 33 Prozent, da die englische Rankingliste auf einen fragwürdigen "employer review" verzichtet. An den "reputation surveys" bemängelt die EUA, dass das Sample der Antworten auf 180 000 bis 200 000 angefragte Wissenschaftler zu gering sei, um überhaupt verlässliche Aussagen über das internationale Ansehen von Universitäten machen zu können. Es antworteten nämlich für THE nur 17 500 der Befragten, für US NWR werden allerdings ca. 34 000 angegeben. Letztere Zahl ist aber aus mehreren Jahren akkumuliert worden, dürfte also für das letzte, relevante Jahr eher bei 10 000 liegen. Das seien für THE nur zehn Prozent der Befragten, für US NWR fünf Prozent. Jeder professionelle Statistiker dürfte sagen, dass auf Grund solch eines kleinen Samples von Antworten keine Aussagen über das internationale Ansehen von ca. 17 000 Universitäten gemacht werden können. THE hat von vornherein eine Liste von nur 6 000 Universitäten erstellt, aus der die Befragten maximal 30 Universitäten als beste in ihrem Fachgebiet nennen dürfen. Wie die Zahlen für Fachgebiete in "overall scores" umgerechnet werden, bleibt allerdings ungesagt. Auch darf der Leser der Rankinglisten nicht erfahren, nach welchen Kriterien dieses Drittel aller Universitäten ausgewählt wurde.

Basislose Meinungsumfragen?

Der entscheidende Einwand gegen die "reputation surveys" dürfte der sein, dass sie sich nicht auf "peer reviews" stützen, wie wiederholt behauptet, sondern nach Meinung der EUA nur fragwürdige internet opinion polls seien - also basislose Meinungsumfragen. "Peer reviews" bestünden - zumindest an englischen Universitäten - aus sog. Quality Assurance-Verfahren. Ähnlich wie bei der Begutachtung von Sonderforschungsbereichen der Deutschen Forschungsgemeinschaft müssten die "peers" die einschlägigen Forschungsberichte, Aufsätze und Dokumentationen der zu begutachtenden Hochschulen lesen und diese auch persönlich besuchen und befragen. Nur dann könne von "peer reviews" gesprochen werden. Was an den "reputation surveys" weiterhin auffällt, ist die Verteilung der Antwortenden auf die verschiedenen Weltregionen. Bei der amerikanischen Rankingliste kamen die meisten Antworten (3 700) aus den USA, die zweithöchste Zahl (2 400) aus UK. Die übrigen Länder sind mit weitaus weniger Antworten vertreten.

Es kann infolgedessen nicht verwundern, wenn in US NWR die angelsächsischen Universitäten die vorderen Plätze belegen. Nicht viel anders stellt sich die Verteilung der Antworten für die Rankingliste von THE dar. Von den insgesamt 17 500 Antworten kamen 36 Prozent aus Nordamerika (USA und Kanada), obwohl - global betrachtet - dort nur 22,2 Prozent aller Wissenschaftler tätig sind. Man vergleiche hierzu die Zahlen der UNESCO im "Global Perspective on Research and Development Report". Von den Antworten der Europäer kommen 17 Prozent aus Westeuropa, und hierbei dürften die Antworten aus England zahlreicher gewesen sein als aus jedem anderen Land Westeuropas. Das bedeutet, dass ein großer Teil der englischen Antworten amerikanischen und englischen Universitäten zugute gekommen sein wird (wie auch umgekehrt).

Die statistische Aufteilung der Antworten in verschiedene Weltregionen (Nordamerika und Europa) verdeckt nämlich die reale Existenz eines angelsächsischen Universitätssystems, dessen Angehörige enger zusammenarbeiten und stärker fluktuieren als zwischen Universitäten, die nicht zur englischsprachigen Welt gehören. Sie werden infolgedessen ihre Stimmen in der Regel auf Universitäten des ihnen bestens bekannten angelsächsischen Systems verteilen, zu dem noch Irland, Australien und Neuseeland zu rechnen sind. Hieraus erklärt sich wieder die Dominanz der angelsächsischen Universitäten in der amerikanischen und englischen Liste, die den "reputation surveys" das größte Gewicht unter allen Indikatoren geben. Notabene: die chinesischen, taiwanesischen und holländischen Listen verzichten auf solche "reputation surveys". Mit anderen Worten: es beteiligen sich einfach zu wenige der befragten Wissenschaftler aus kontinentaleuropäischen Universitäten an den Umfragen der angelsächsischen Zeitschriften und können infolgedessen ihre Stimmen nicht den sicher keineswegs schlechteren Universitäten ihrer Länder geben.

Fairerweise sei erwähnt, dass Thomson Reuters (TR), der data provider für THE, die Disparität zwischen der Herkunft der Antwortenden und der weltweiten Verteilung der Wissenschaftler (nach der UNESCO-Statistik) zugibt. Erklärt wird, dass man versuche, diese Disparität durch statistische Gewichtungen auszugleichen. Bislang haben letztere jedenfalls nicht dazu geführt, dass die Präponderanz angelsächsischer Universitäten in der Rankingliste von THE geringer geworden wäre. Phil Baty, der Herausgeber der Liste von THE, würde das dann so erklären, dass die angelsächsischen Universitäten eben einfach die besseren seien. Sei's drum! Nach den "reputation surveys" besitzt der Indikator "citations" das höchste Gewicht. Mit ihm wird - je nach Rankingliste - die Zahl der Zitationen pro Autor oder pro Artikel gezählt. Ergänzt wird dieser Indikator gelegentlich um einen weiteren, der nur die besonders oft zitierten Artikel oder Autoren zählt. In der Liste von THE macht der "citation score" 30 Prozent vom Gesamtgewicht aller 13 Indikatoren aus.

Die Zahlen der einzelnen Fächer sind nach deren Publikationsfrequenz normalisiert (relativiert). US NWR misst simpel die Zahl von Zitationen pro Autor - ohne weitere Berücksichtigung von Publikationsfrequenzen. Infolgedessen wird dem "citation score" wohl vorsichtshalber nur ein Gewicht von 20 Prozent gegeben. Am höchsten werden die "citations" im chinesischen Ranking von ARWU und im taiwanesischen von HEEACT gewichtet. Sie belaufen sich auf 40 Prozent bei ARWU und 65 Prozent bei HEEACT. Das Leidener Ranking beruht ausschließlich auf der verschieden gewichteten Anzahl von "citations".

Amüsant ist zu sehen, dass alle Rankinglisten dieselben internationalen Datenbanken benutzen. Zu diesen gehören insbesondere Thomson Reuters' amerikanische Datenbank "Web of Science" und Elseviers holländische Datenbank "Scopus". Bei Thomson Reuters sind aus den Jahren 2005-2009 ca. sechs Millionen Zeitschriftenartikel mit ca. 50 Millionen Zitationen gespeichert. Geht man tiefer hinein in das Datenmaterial, so stellt sich alsbald heraus, dass die 21 wissenschaftlichen Disziplinen, aus denen Zeitschriften berücksichtigt werden, ausschließlich Unterdisziplinen der Naturwissenschaften und der Medizin sind.

Die Social Sciences sind unterrepräsentiert und die Humanities kaum vertreten. Mit anderen Worten: die "citation scores" geben ein sehr schiefes Bild von den Forschungsleistungen einzelner Universitäten, wenn überwiegend nur Publikationen einzelner Fächergruppen berücksichtigt werden. Das Bild wird geradezu windschief, wenn man weiß (was nicht immer gesagt wird), dass Bücher und die dort vorhandenen Zitate nicht gezählt werden. Das dürfte auf den Umstand zurückzuführen sein, dass man Bücher wirklich in die Hand nehmen und vielleicht auch in ihnen lesen muss, um sagen zu können, welche Artikel welchem Fach und welcher Hochschule anzurechnen sind. Das so beliebte "number crunching" der Statistiker reicht da nicht aus. Thomson Reuters scheint unterdessen eingesehen zu haben, dass Bücher nicht länger vernachlässigt werden können, da sie insbesondere in den Humanities und den Social Sciences das bevorzugte Publikationsmedium sind. Auf Nachfrage teilte der "data provider" dem Autor am 3. Januar 2012 mit, dass man an einem "book citation index" arbeite. Dominanz der englischen Sprache Faktum ist, dass der weit überwiegende Teil aller verarbeiteten Zeitschriften, Artikel und Zitationen in englischer Sprache ist.

Deutsche, französische oder gar italienische Artikel werden nur am Rande berücksichtigt. Die Publikationen in englischer Sprache dominieren, da die große Zahl angelsächsischer Wissenschaftler die kleinere Zahl kontinentaleuropäischer Wissenschaftler nachgerade erdrückt. Zur Flut angelsächsischer Publikationen kommt noch ein Zustrom asiatischer Publikationen, da chinesische und japanische Wissenschaftler oft auf Englisch publizieren, um ihre Forschungsresultate außerhalb des eigenen Landes zur Geltung zu bringen.

Was auf der Autorenseite zu beobachten ist, wiederholt sich auf der Leserseite. Konsultiert und zitiert werden wissenschaftliche Zeitschriften weltweit vor allem dann, wenn sie in englischer Sprache erscheinen. Denn auch Wissenschaftler aus nichtenglischsprachigen Ländern lesen zumeist englischsprachige Zeitschriften (und zitieren daraus), da Englisch unterdessen die universale Wissenschaftssprache geworden und oft die einzige Fremdsprache ist, die (nicht nur) asiatische Autoren kennen. Wenn keine Normalisierungen hinsichtlich der Herkunftsländer und der Verbreitung einzelner Sprachen vorgenommen werden (THE macht tastende Versuche), entfallen die meisten Zitate auf englischsprachige Wissenschaftler resp. Universitäten und erhalten letztere insoweit den Rang besonders forschungsintensiver Institute.

Was die Messung des "research impact" nach Zitationen völlig der Absurdität preisgibt, ist der sonderbare Umstand, dass jedes Zitat eines Artikels als anrechnenswerte Forschungsleistung des Autors und seiner Universität gewertet wird. Es ist offenkundig den ewig nur zählenden Statistikern noch nicht aufgegangen, dass Zitate nicht nur positiver, sondern auch negativer (kritischer) Natur sein können.

Wie der "reputation survey" kein "peer review" darstellt, also keine Auskunft über den wissenschaftlichen Rang einer Hochschule gibt, so spiegeln eben auch die "citation scores" wegen des 'language bias' nicht die reale Forschungsleistung wider. Wenn diese zwei Indikatoren aber die wichtigsten und gewichtigsten aller Rankinglisten sind, fällt es schwer, letztere ganz ernst zu nehmen. Quantitäten (sprich Zahlen) lassen sich nicht in Qualitäten (sprich Forschungsleistungen) umrechnen. Der Europäischen Kommission ist es - trotz ihrer vehementen Kritik - bislang nicht gelungen, den angelsächsischen Rankinglisten eine bessere Alternative entgegenzuhalten.

Seit Jahren wird zwar an einem "U-Multirank" gearbeitet, doch kommen die hiermit beauftragte Universität Twente (Holland) und das CHE (Deutschland) damit nur langsam voran. Zu groß scheinen die mathematischen Schwierigkeiten zu sein, wenn man eine größere Zahl von Indikatoren als THE angeben, stärker differenzierte Gewichtungen der diversen Daten kalkulieren oder gar mehrere Kombinationsmöglichkeiten für alle Indikatoren vorsehen will. Denn eine internationale Fußball-Liga von Universitäten soll nicht produziert werden. Es würde der egalitären Politik der Europäischen Kommission strikt zuwiderlaufen, wenn sie eine Rankingliste vorlegte, an der jedermann sogleich ablesen könnte, welche Länder der EU etwa bessere Universitäten hätten als andere.

Über den Autor
Horst Albert Glaser ist em. Professor für Allgemeine und Vergleichende Literaturwissenschaft an der Universität Duisburg- Essen.

Aus Forschung & Lehre :: März 2012

Ausgewählte Artikel
Ausgewählte Stellenangebote