Das Karriereportal für Wissenschaft & Forschung von In Kooperation mit DIE ZEIT Forschung und Lehre

Forschungsrating: Es geht um die Qualität

Von Jürgen Gerhards und Gert G. Wagner

Rankings in jeder Form sind in Mode. Während die Gutplazierten sich gerne feiern lassen, halten die Verlierer sie meist für unwissenschaftlich und unseriös. Grund genug für einen alternativen Versuch - ein Forschungsrating, wie es der Wissenschaftsrat an einzelnen Fächern erprobt. Worum geht es dabei?

Forschungsrating: Es geht um die Qualität© ilco - stock.xchng
Die Beurteilung wissenschaftlicher Leistungen von Universitäten und außeruniversitären Einrichtungen, die dann in Rankings und Ratings der breiten Öffentlichkeit offeriert werden, hat in den letzten 15 Jahren geradezu dramatisch zugenommen. Die Kriterien, nach denen die häufig kommerziell organisierten Evaluationen durchgeführt wurden und werden, sind sehr unterschiedlich und zum Teil recht fragwürdig. Der Wissenschaftsrat hat deswegen 2004 beschlossen, sich selbst der systematischen Bewertung wissenschaftlicher Fächer anzunehmen, um damit dem Wildwuchs der "Evaluitis" Einhalt zu gebieten und möglichst ein seriöses und transparentes Verfahren zur Beurteilung und dann Standardisierung wissenschaftlicher Leistungen zu entwickeln. Dazu wurden in einer Pilotstudie die beiden Fächer Chemie und Soziologie genauer unter die Lupe genommen.

Der Wissenschaftsrat hat nun beschlossen, zwei weitere Fächer einem Leistungsvergleich im Bereich der Forschung zu unterziehen: Geschichtswissenschaft und eine Ingenieurswissenschaft (vgl. Forschung Lehre 6/2008: 364). Wir möchten im Folgenden auf wichtige Erfahrungen der ersten Pilotstudie hinweisen. Zuvor gilt es aber unsere Befangenheit offen zu legen: Unsere eigenen Forschungseinheiten waren auch Gegenstand des Ratings der Soziologie, und wir haben bei der Beurteilung der Forschungsqualität nicht schlecht abgeschnitten. Obwohl man uns also unterstellen könnte, wir möchten das Rating aus Eigeninteresse loben, sind wir davon überzeugt, dass unabhängig von einer möglichen eigenen Befangenheit viele Argumente für das Ratingverfahren des Wissenschaftsrates sprechen.

Das Rating des Faches Soziologie könnte Maßstäbe für die zukünftige Bewertung der geisteswissenschaftlichen Fächer setzen, deren Forschungsqualität in der Tat schwerer messbar ist als die von naturwissenschaftlichen Fächern. Was ist das Besondere des sehr aufwendigen Bewertungsverfahrens des Wissenschaftsrats?

1. In der Evaluation der Bewertungsgruppe des Wissenschaftsrates unter dem Vorsitz von Friedhelm Neidhardt wurden insgesamt 57 Standorte der Soziologie in Deutschland (54 Universitäten und drei außeruniversitäre Einrichtungen) begutachtet. Da die Qualitätsunterschiede innerhalb der Standorte enorm sind (und dies vorab auch vermutet wurde), wurden nicht nur die einzelnen Standorte bewertet, sondern auch die verschiedenen Abteilungen und Forschungseinheiten - meist aus einem Lehrstuhl bestehend - innerhalb einer Universität. An 57 Standorten wurden so 254 Soziologie-Forschungseinheiten einer Begutachtung unterzogen.

Die Berücksichtigung von Forschungseinheiten und nicht nur von ganzen Standorten ist bereits eine der Neuerungen der Evaluation des Wissenschaftsrats, was das Rating von anderen Verfahren der Gütebeurteilung von Forschungseinrichtungen unterscheidet. Im Unterschied zu vielen Großforschungseinrichtungen der Naturwissenschaften ist die Soziologie - und dies teilt sie sicherlich mit anderen Sozialwissenschaften und erst recht mit den Geisteswissenschaften - in aller Regel kleinteilig organisiert. In einer wissenschaftspolitischen Landschaft, die immer mehr auf Zusammenschluss, Clusterbildung und Vernetzung drängt und dies mit dem Zauberwort "Synergie" zu begründen sucht, ist die Würdigung der dezentralen Einheiten etwas Besonderes und dem Gegenstandsbereich der Geistes- und Sozialwissenschaften wohl angemessen.

Das Rating des Wissenschaftsrats zeigt, dass die aggregierte Ebene von ganzen Universitätsstandorten in der Regel keine sinnvolle Erhebungseinheit darstellt. Häufig sind es einzelne Lehrstühle, die die Motoren von Ideen und Innovationen und die produktiven Einheiten sind. Evaluationen müssen sich, wollen sie für das Feld der Geistes- und Sozialwissenschaft angemessen sein, schon die - kostspielige - Mühe machen, die fein differenzierte Binnenstruktur der einzelnen Standorte genauer unter die Lupe zu nehmen.
2. Viele der herkömmlichen Evaluationen orientieren sich an absoluten Leistungsindikatoren einer Forschungseinheit, ohne zu berücksichtigen, mit wie viel Personalaufwand die Leistung erbracht wurde. Es macht aber einen Unterschied, ob z.B. in einem Zeitraum von vier Jahren sechs veröffentlichte Bücher auf die Kappe von sechs Professoren gehen oder von nur zwei Professoren geschrieben wurden. Wenn für die Physik gilt, dass sich Leistung aus Arbeit dividiert durch Zeit berechnet, dann gilt für die Wissenschaft sicherlich, dass man die erbrachten Leistungen im Verhältnis zum Personaleinsatz bewerten muss. Der Wissenschaftsrat hat in seiner Evaluation nicht nur das jeweilige Personal einer Einheit berücksichtigt, sondern sogar genauer analysiert, wie hoch die "Belastung" in der Lehre ist und dies bei der Leistungsbeurteilung der Forschung zu Grunde gelegt. Nur durch eine solche relationale und nicht absolute Messung von Leistungen kommt man zu validen Ergebnissen und vermeidet eine Belohnung von Größeneffekten.

3. Eine weitere Besonderheit, die aber zum Standard gemacht werden sollte, zeichnet das Evaluationsverfahren des Wissenschaftsrats für das Fach Soziologie aus. Die meisten Evaluationen von Forschungsleistungen orientieren sich an der Summe der eingeworbenen Drittmittel. Drittmittel sind aber insofern nur begrenzt ein guter Indikator zur Messung von Forschungsleistungen, als sie in erster Linie eine Input-Größe darstellen; die Qualität von Forschung hängt aber ganz entscheidend davon ab, "was hinten rauskommt". Zur Messung der Produktivität eines Unternehmens käme auch niemand auf die Idee, die Menge des ausgegebenen Geldes als Leistungsindikator zu berücksichtigen. Ähnliches gilt für die Wissenschaft: Entscheidend sind nicht eingeworbene und dann verausgabte Mittel, sondern wissenschaftliche Publikationen. Nicht Geld, sondern Veröffentlichungen sind das Medium wissenschaftlicher Kommunikation. Das Rating des Wissenschaftsrats lässt zwar die Drittmittel nicht völlig unberücksichtigt, hat aber den Fokus seiner Evaluation auf eine Beurteilung der Publikationen gelegt. Auch dies sollte Schule machen, gerade in den Bundesländern und Universitäten, in denen die Leistungsmessung für Forschung allein dem Fetisch Drittmittel aufsitzt.

4. Der schwierigste Punkt jeder Forschungsevaluation ist sicherlich die Bestimmung der Qualität wissenschaftlicher Publikationen. Auch hier hat der Wissenschaftsrat versucht, neue Wege zu gehen. In einem sehr aufwendigen Verfahren wurden die 254 Soziologie- Forschungseinheiten einem ausführlichen Bewertungsprozess durch eine Gutachtergruppe im sogenannten "Informed Peer Review"-Verfahren unterzogen. Die Bewertungen sind nicht vom Computer automatisiert aus quantitativen Daten errechnet worden, sondern spiegeln das Urteil einer Gutachtergruppe wider, die verschiedene quantitative Indikatoren sowie Rahmeninformationen zu jeder Einrichtung zugrunde gelegt und zusätzlich - und das ist entscheidend - pro Forschungseinheit von den Einheiten selbst ausgewählte Publikationen gelesen und bewertet hat. In dieser Vorgehensweise liegt die Stärke des sehr aufwendigen, für die Sozialund Geisteswissenschaften aber adäquaten Verfahrens, weil hier - im Unterschied zu den Naturwissenschaften - die Gütekriterien guter wissenschaftlicher Forschung weniger standardisierbar sind. Das zeigt sich auch in den Ergebnissen.

Zu den neun der 254 Forschungseinheiten, die das Gütesiegel "exzellent" bekamen und damit als international führend eingestuft wurden, schreibt der Wissenschaftsrat in seinem Abschlussbericht: "Bemerkenswert ist, dass die im Forschungsrating als exzellent ausgewiesenen Forschungseinheiten ein breites Spektrum an methodischen Ausrichtungen und theoretischen Orientierungen abdecken. Herausragende Bewertungen werden von vornehmlich qualitativen wie auch von streng quantitativen Methodologien erzielt.

Und sowohl hermeneutische, konstruktivistische, systemtheoretische und "rational-choice"- Theoretiker als auch eher pragmatisch orientierte Synkretisten sind an der Spitze vertreten. Die deutsche Soziologie wird an der Spitze in einem weitgespannten Spektrum repräsentiert. Dieser Befund des Forschungsratings erlaubt auch die Folgerung, dass das Bewertungsverfahren keine methodische oder theoretische Ausrichtung systematisch bevorzugt oder benachteiligt hat."

Einem inhaltlich so differenzierten Feld wie der Soziologie - oder der Geschichtswissenschaft - wird man in Evaluationsverfahren nur gerecht, wenn die Gutachter sich die Mühe machen, sich nicht nur auf quantitative Daten zu verlassen, sondern die Qualität der Publikationen selbst beurteilen. Das ist ein mühsames und zeitaufwendiges Unterfangen. Nach Einschätzung der Bewertungsgruppe Soziologie hat es dazu geführt, dass die unvermeidlichen Fehler bei der "Notenvergabe" nur maximal eine einzige Notenstufe betragen. Dieses aufwendige Verfahren könnte richtungsweisend gerade für die geisteswissenschaftlichen Fächer sein, die in einem noch höheren Maße multiparadigmatisch organisiert sind als die Soziologie.


Autoren: Jürgen Gerhards und Gert G. Wagner
Jürgen Gerhards (Lehrstuhl für Makrosoziologie an der FU Berlin) war Mitglied der unabhängigen Bewertungsgruppe des Wissenschaftsrats für das Fach Soziologie.

Gert G. Wagner (Leiter des sozio-oekonomischen Panels (SOEP) am DIW Berlin, Foto rechts) war Mitglied des Wissenschaftsrats und der Steuerungsgruppe, die die Evaluation der Fächer Chemie und Soziologie organisiert hat. Beide waren an der Bewertung ihrer eigenen Forschungseinheiten nicht beteiligt.

Aus Forschung und Lehre :: August 2008

Ausgewählte Artikel
Ausgewählte Stellenangebote