Evaluation ist aus der Hochschulwelt des frühen 21. Jahrhunderts nicht mehr wegzudenken. Forschungsprofile, Studienprogramme, sogar die Arbeit von Hochschulleitungen wird evaluiert. Und in einem Ausmaß wie nie zuvor gibt es Lehrveranstaltungsevaluation, das Feedback von Studierenden für Lehrende zu einzelnen Lehrveranstaltungen und Modulen. Studierende äußern sich, zumeist gegen Ende des Semesters, per Fragebogen zum Ablauf und zum „Outcome“ einer Veranstaltung oder eines Moduls. Die Ergebnisse dieser Befragung werden schriftlich aufbereitet und den Lehrenden zur Kennnis gebracht, manchmal von diesen ausgehängt oder ins Internet gestellt, manchmal direkt den Studierenden vorgestellt. Und dann?
Um Lehrveranstaltungsevaluation ranken sich zahllose Mythen
Um Lehrveranstaltungsevaluation ranken sich zahllose Mythen. Die einen sind überzeugt, Studierende können mangels Reife und mangels fachlicher Qualifikation überhaupt keine sinnvolle Einschätzung abgeben und glauben, dass Lehrveranstaltungsevaluation deswegen generell nicht zu Verbesserungen der Lehre führen könne. Andere sagen, dass die Studierenden die neuen Kunden der Hochschule sind und daher als allererste über die Qualität urteilen dürfen. Dieser Ansicht folgend, sollten Lehrendengehälter möglichst direkt an das Abschneiden in der Evaluation gekoppelt werden.
Der vielleicht erstaunlichste Mythos von allen besagt, dass schon die bloße Durchführung von Lehrveranstaltungsevaluation die erhoffte Weiterentwicklung der Lehre quasi automatisch nach sich ziehen werde: Weil die Befragungen durchgeführt werden, steige die Aufmerksamkeit für „gute Lehre“, und Lehrende fangen wie von selbst an, Curricula zu überarbeiten, innovative Lehrkonzepte einzusetzen und ihre didaktischen Kompetenzen zu erweitern. Dieser Mythos, oder wissenschaftlich formuliert: die so genannte Sensibilisierungs-Hypothese ist vergleichbar mit der Idee, dass ein gelegentlicher Blick in den Spiegel allein schon zu schönerem Aussehen verhelfen werde.
In einer kürzlich durchgeführten Studie wurde versucht, einigen dieser Hypothesen auf den Grund zu gehen. Auf der einen Seite wurden Lehrende an verschiedenen Hochschulen als Nutzer von Lehrveranstaltungsevaluation befragt. Ihre Einschätzungen wurden kontrastiert mit jenen der Anbieter von Lehrveranstaltungsevaluation, welche das Verfahren organisieren, Fragebögen entwickeln, über Erfahrungen mit der Wirkung von Evaluationsverfahren verfügen (z.B. Evaluationsbeauftragte, Fachschaften, Bologna-Berater/-innen). Insgesamt 150 Personen gaben zu jeder von sechs kurz erläuterten Hypothesen an, für wie zutreffend sie diese als Beschreibung der Wirkungsweise von Lehrveranstaltungsevaluation halten.
Lehrende glauben neben der Sensibilisierungs-Hypothese vor allem daran, dass die im studentischen Feedback enthaltene Information per se Verbesserungen nach sich zieht (Analogie: „Wer sich das Spiegelbild genau genug ansieht, wird schöner!“). Die Evaluationsanbieter halten die Sensibilisierungs- und die Feedback-Hypothese zwar ebenfalls für recht zutreffend. Aber darüber hinaus sehen die Wirkungsweise von Lehrveranstaltungsevaluation auch auf einigen weiteren Wegen, die den Lehrenden bislang deutlich weniger vertraut scheinen.
Das von den Evaluationsanbietern favorisierte Diskursmodell bedeutet, die Ergebnisse der Befragung nicht in der Schublade verschwinden zu lassen, sondern beispielsweise mit den eigenen Studierenden zu diskutieren und mit ihnen gemeinsam herauszufinden, was verbessert werden könnte („In den Spiegel schauen und mit jemandem über eine neue Frisur oder eine andere Brille reden.“). Der Beratungsansatz läuft darauf hinaus, mit einer besonders lehrerfahrenen oder (hochschul-)didaktisch versierten Person über Entwicklungsmöglichkeiten zu beraten („Mit dem Spiegelbild zu einem Stilberater gehen.“). Das Kompetenzentwicklungsmodell besagt, im Anschluss an die Lehrveranstaltungsevaluation an hochschuldidaktischen Trainings oder vergleichbaren Angeboten teilzunehmen („Lernen, wie man das Beste aus dem eigenen Typ machen kann.“).
Beim verbleibenden sechsten Modell besteht hingegen wieder weitgehende Einigkeit zwischen den Anbietern und den Nutzern: Der institutionellen Verankerung wird nur eine geringe Wirksamkeit beigemessen – weder Lehrende noch Evaluationsanbieter sind überzeugt, dass eine Kopplung zwischen Evaluationsergebnissen und vertraglichen Entscheidungen oder der Vergütung eine wesentliche Verbesserung der Lehrqualität bewirken kann („Eine Prämie in Aussicht stellen, wenn das Spiegelbild schöner wird.“).
Wieviel Mythos, wieviel Wahrheit?
Aber wer hat denn nun Recht? Wieviel Mythos, wieviel Wahrheit sind im Spiel? Niemand kann dies mit Sicherheit sagen, die „Wahrheit“ über Lehrveranstaltungsevaluation gibt es nicht. Die Studie hat jedoch gezeigt, dass es ganz unterschiedliche Arten und Weisen gibt, sich die Wirkung eines Verfahrens wie der Lehrveranstaltungsevaluation zu erklären. Und je nachdem, welcher Hypothese jemand den Vorzug gibt, wird sich auch die Art und Weise unterscheiden, was er oder sie aus den Ergebnissen macht. Das gilt nicht nur für Lehrveranstaltungsevaluation, sondern auch für die vielen anderen Evaluationsverfahren, die zurzeit in der Hochschule Einzug halten.
Fazit: Die eigenen Mythen entdecken
Tipp für Nachwuchswissenschaftler/-innen: Viele von Ihnen sind mit Lehraufgaben betraut, und die meisten haben schon Bekanntschaft mit Lehrveranstaltungsevaluation gemacht. Kommen Sie Ihren eigenen Mythen auf die Schliche und überlegen Sie – an welche Hypothesen glauben Sie selbst, an welche nicht? Und was sind die Auswirkungen davon, wenn Sie an die eine Hypothese glauben, an die andere aber nicht? Und schließlich: Was denken Sie, erhoffen sich Ihre Studierenden von Ihnen?
Vieles an der Hochschule wird als Mythos von Generation zu Generation weitergetragen. Machen Sie sich bewusst, welchen Mythen Sie schon begegnet sind, welchen davon Sie in Zukunft gerne wieder begegnen würden – und welche Sie selber weitererzählen werden.
Und wagen Sie gelegentlich Ihren ganz persönlichen Blick in den Spiegel.
Die nächste Nachricht aus Schmidts kleiner Elfenbeinwelt erscheint am 15. März 2009 voraussichtlich zum Thema “Netzwerke von Nachwuchswissenschaftlern/innen: konstruktive kollegiale Unterstützung oder planlose Selbsthilfegruppe?”.
RSS Feed
Kommentare (10)
Ja, warum soll der Blick in der Spiegel nicht schöner machen? Er geht ja darauf zurück, dass man sich überhaupt erst mal für die Schönheit interessiert. Der Holzfäller, der keinen Spiegel hat, würde, bekäme er einen, vielleicht doch das Eine oder Andere an sich ändern.
Ich denke, alle genannten Ansätze bringen etwas, außer der institutionellen Verankerung: Wer gezwungen wird, hat schon gar keine Lust, etwas zu verbessern.
Guten Tag Herr Schmidt,
großes Kompliment für diesen grandiosen, stark sensiblisierenden Artikel!
Ich unterrichte an einer Universität Musik-Lehramtsstudierende. Die Evaluationsbögen zeigen natürlich, wie ich als Dozent “ankomme”, ich nehme das ernst.
Auf jeden Fall aber auch nicht zu ernst. Die meisten meiner Studierenden – so mein Eindruck – haben keine Vergleichsmöglichkeiten, können die Qualität meiner Seminare also nur bedingt einschätzen. In der freien Wirtschaft, bei von mir geleiteten Trainings im Radio oder beim Unterrichten privater Klienten bekomme ich durchweg anderes, positiveres Feedback.
Sicherlich liegt das daran, dass sich meine Privatklienten mich als Lehrer selbst gewählt haben, dafür auch direkt selbst bezahlen, während meine Studierenden – frisch vom Abitur – die Relevanz meines Unterrichts für das spätere Berufsleben noch nicht recht einzuschätzen wissen.
Ihre Fragen sind meisterhaft formuliert, deswegen wiederhole ich sie gleich: “An welche Hypothesen glauben Sie selbst, an welche nicht? Und was sind die Auswirkungen davon, wenn Sie an die eine Hypothese glauben, an die andere aber nicht? Und schließlich: Was denken Sie, erhoffen sich Ihre Studierenden von Ihnen?”
Wenn jeder Lehrende sich diese Fragen vor Augen führt und ehrlich sich selbst gegenüber beantwortet – wie sehr könnte sich die Qualität der Lehre verändern?
Freundliche Grüße,
Erik.
Ich denke, Kai hat in der Tat recht: Allein der Blick in den Spiegel ist schon einmal hilfreich sein & hat, glaube ich, das Ansehen des Themas Lehre in Deutschland verändert. Allerdings muss man sicher auch sagen, dass es sich dabei um einen Einmal-Effekt handelt — Erkenntnis ist ein Schritt zu Besserung, aber bekanntlich nur der erste…
Das große Problem ist m.E., dass der Nachwuchs im Bereich der Lehre vielfach genauso alleine gelassen wird wie im Bereich der Forschung. Feedback oder Hilfe bekam ich jedenfalls von meinen Chefs selten oder nie, eher schon von senioren Kollegen, aber das funktioniert naturgemäß nur bei genügend großen Professuren oder Instituten.
Grundsätzlich verlässt sich die Wissenschaft in diesem Bereich m.E. auf a) Lernen von Vorbildern & b) Lernen durch Selbststudium. Variante a) muss gar nicht mal schlecht funktionieren, zumal jeder aus eigener Erfahrung (hoffentlich) großartige akademische Lehrer kennt. Variante b) ist durchaus eine wichtige Ergänzung — bzw. könnte es sein, bis ich mal in der Bibliothek nach Hochschuldidaktik suchte: Die Ausbeute war dürftig, wenn man von E-Learning-Kompendien im Dutzend absieht, die sich vielfach viel mit Technologie & wenig mit Technik beschäftigen.
Wenn ich aber mal Werbung machen darf: Ich finde das Buch “Lehren an der Hochschule” von Alexander Wörner nützlich — wenig Überbau (den gibt’s anderswo), aber viele Troubleshooting-Tips zum Umgang mit schwierigen Lehrsituationen & der entlastenden Message: Dass Lehre auch mal mißlingt, gehört dazu, insb. für Rookies im Geschäft…
Ich habe im Rahmen einer Didaktikausbildung Bekannstschaft mit dem sogenanten Peer-Review gemacht, bei der Kollegen auf der gleichen Karrierestufe sich gegenseitig im Unterricht (Seminar, Vorlesung etc.) besuchen, und danach Feedback geben. Das fand ich extrem hilfreich, weil die Kollegen die Probleme ja genau kennen und so auch Tipps etc. weitergeben können (mal abgesehen davon, dass es Diskussionen über Lehre generell fördert). Die Kollegen sind in der Regel auch sehr konstruktiv und können spezifische Beispiele für Probleme/gute Lösungen aus der besuchten Unterrichtseinheit hinweisen, anstatt pauschale Aussagen zu machen wie “Sie erklären gut/schlecht.” Wir waren völlig frei, selber auszusuchen, wer uns im Unterricht besucht (möglich waren z.B. auch fachfremde Kollegen), was das Vertrauensverhältnis stark gefördert hat. Wir haben trotzdem Studierendenevaluationen durchgeführt, diese konnten aber durch den Peer-Review besser in den Kontext gesetzt werden.
Denjenigen, die partout nicht in den Spiegel schauen wollen, wird auch das nichts nützen. Diejenigen, die durchaus daran interessiert sind, bekommen gleich praktikable “Schönheitstipps” mitgeliefert.
…tja, der Glaube allein an die eine oder andere Theorie über die Auswirkungen der Evaluation ist sicher wenig hilfreich für die Verbesserung der Lehre. Aus eigener Erfahrung in der biochemischen vorklinischen Ausbildung von Medizinstudenten im In- und Ausland kann ich nur feststellen, dass insbesondere die schlechtesten Studenten auch die schlechteste Evaluationen abgeben. Es ist unter den Kollegen ein offenes Geheimnis, dass je niedriger das Niveau der Lehrveranstaltung gehalten wird, umso besser wird die Evaluation. Das kann allerdings nicht das Ziel einer Evaluation sein und schon gar nicht das einer universitären Ausbildung. Obwohl ich inzwischen die eigenen Lehrveranstaltungen evaluiere, da mich das Feedback interessiert, habe ich aus der geschilderten Erfahrung erhebliche Zweifel an der der Evaluation zugemessenen Bedeutung für die Qualität der Lehre. Übrigens: an einer Universität darf man durchaus auch eine anspruchsvolle Vorlesung halten. Als Student habe ich mich mit den entsprechenden Büchern zurückgezogen, wenn ich in der Vorlesung nicht mitgekommen bin. Heute ist es vermutlich einfacher eine schlechte Evaluation abzugeben. Das Niveau von Lehrveranstaltungen wird hierdurch ganz sicher nicht höher. Als geradzu kurios muss man auch feststellen, dass es an den dt. Universitäten inzwischen Lehrveranstaltungen gibt, in denen nur der Dozent einer Bewertung unterzogen wird.
Noch ein Tipp für die ideologiefreie aber wesentliche Verbesserung der Lehre: Mehr Personal an den Universitäten wäre viel wichtiger als aufwändige Evaluationsverfahren. Es sei auch daran erinnert, dass ein erheblicher Anteil der Lehre von ehrenamtlichen (!) Dozenten geleistet wird (Man stelle sich ein Gymnasium oder ein Unternehmen vor, das so organisiert wäre). Wir streiten offenbar daher mal wieder über die allerbilligste Lösung zur Verbesserung der Lehre. Die wirklichen Probleme an den dt. Universitäten werden so ganz sicher nicht gelöst.
Noch ein Letztes: Ihr Vergleich mit einem Spiegelbild suggeriert, dass sich Dozenten aufgrund von Eitelkeiten nur ungern evaluieren lassen. Schade, dass das so rüberkommt. Ich kann Ihnen nur versichern. Lehre mit engagierten Studenten macht richtig Spass. Mit Schönheit und Eitelkeiten hat das aber nun wirklich gar nichts zu tun…
Ich bin über die Bandbreite der Kommentierungen begeistert und versuche einmal, einige der geäußerten Hinweise in Form von Hypothesen (oder Mythen, je nach Geschmack) zu übersetzen:
a. “Lehrbezogenes Feedback auf kollegialer Ebene ist differenziert und hilfreich.” (vgl. Vorschläge zur “kollegialen Hospitation”, entsprechende Vorhaben erweisen sich auch in der Praxis als hochwirksam – einige Lehrende finden es aber völlig abstrus, Kollegen/innen zur Kommentierung ihres Lehrverhaltens einzuladen).
b. “Studierende können die Qualität von Lehre nicht einschätzen, weil ihnen der Erfahrungshintergrund dazu fehlt.” (aber sie können einschätzen, ob sie sich angesprochen fühlten, den Unterricht gut strukturiert und verständlich wahrgenommen haben, wussten worum es geht, Ziele und Struktur erkenbar waren etc.).
c. “Wer sich nicht für Lehre interessiert, wird auch durch Lehrveranstaltungsevaluation nicht besser.” (es ist sehr schwierig, dies zu untersuchen, zu beweisen oder zu widerlegen – weil die entsprechenden Personen ausgesprochen seltene Fälle sind und sich dann auch nicht für derartige Studien interessieren…).
d. “Die Lehre wird erst dann besser, wenn umfassende strukturelle Maßnahmen getroffen werden.” (Und was ist, wenn diese noch auf sich warten lassen – sind wir dann von der Verantwortung befreit, aus den gegebenen Ressourcen das Beste zu machen?).
e. “Schlechte Studierende geben in der Lehrveranstaltungsevaluation schlechtere Bewertungen ab.” (Was war zuerst? Die schlechte Lehre oder der schlechte Student? Und welche Auswirkungen hat es, wenn man an so eine Gesetzmäßigkeit glaubt?).
Und so weiter. Lernen Sie Ihre Hypothesen, Mythen und Überzeugungen kennen. Sie sind nicht böse oder gut, sondern sie existieren einfach und führen ein fröhliches, zumeist unbeschwertes und unbehelligtes Dasein in Ihrem Kopf. Sie sind aus Erfahrung entstanden, sie haben große Vorteile bei der Erklärung und Gestaltung Ihrer ganz persönlichen Hochschulwelt, aber sie haben auch Begrenzungen, indem sie manchmal den Blick verstellen auf etwas, was beachtenswert wäre.
Ich freue mich auf weitere Mythen und Hypothesen!
Öhm… bei einer anonymen Befragung ist es eigentlich nicht so trivial, das Leistungsniveau einzelner _Studenten_ mit deren Evaluation zu korrelieren…
Bei freiwilliger Teilnahme an der Evaluation ist eher zu vermuten, dass die Response U-förmig verläuft & jeweils Studenten Feedback geben, die mit der Veranstaltung besonders unzufrieden, aber auch besonders zufrieden waren.
Was aber natürlich stimmt: Schwierige Veranstaltungen mit weniger attraktiven wirken sich im Mittel eher negativ auf die Bewertung aus. Insofern freue ich mich über eine überdurchschnittliche Bewertung einer Pflichtveranstaltung mehr als über eine Top-Bewertung einem Wahlkurs mit sexy Themen.
Insgesamt finde ich Evaluationsergebnisse beim Kollegenvergleich aber insgesamt eher erstaunlich plausibel. Allerdings wird natürlich zum Großteil auch die Dozentenperformance gemessen, das kurzfristige Gelernte schon weniger, der langfristigen Erkenntnisgewinn eher gar nicht…
Hallo Herr Schmidt,
Als Evaluatorin habe ich Ihren Artikel mit großem Interesse gelesen. Ich kann mich auch noch gut an meine eigene Studienzeit und das regelmäßige Ausfüllen der Evaluationsbögen erinnern.
Meines Erachtens ergeben sich mehrere Schwierigkeiten bei der Lehrveranstaltungsevaluation.
– Es erscheint immer wieder das Argument, die Studierenden können nichts über die Lehrveranstaltungen aussagen, da sie zu wenig Vergleichsmöglichkeiten haben. Hier tritt der erste Fehler in den meisten Untersuchungsdesigns auf – die betroffene Zielgruppe ist ein sehr wichtiger Stakeholder, der befragt werden muss, allerdings nicht der Einzige, eine Stakeholderanalyse scheint hier unzulänglich gemacht worden zu sein.
Die direkt betroffene Zielgruppe – hier die Studierenden – kann immer Aussagen über ihre subjektiven Eindrücke machen, dies sollte aber nicht die einzige Methodik sein. Peer Reviews wie von sw vorgeschlagen sind nur eine von vielen weiteren möglichen Methoden.
Außerdem – wenn es auf den Universitäten “gute” und “schlechte” Vorlesungen gibt sind doch schon Vergleichsmöglichkeiten vorhanden
– Wichtiger als die Befragung selbst bei einer Evaluation ist es, schon im Vorfeld klarzustellen, was mit den Ergebnissen passieren soll. Nur so kann die Befragung selbst so ausgerichtet werden, dass die Ergebnisse nutzbar werden. Sie sollte darauf ausgerichtet sein, dass auf Basis der Befragung Empfehlungen und weitere Vorgehensweisen erarbeitet werden können. Es ist wichtig, die Befragung ernst zu nehmen und selbstkritisch zu betrachten, was verändert werden sollte (siehe z.B. Diskursmodell). Und ja, es kann sein, dass im Hörsaal ein schlechteres Ergebnis herauskommt als in einem kleineren Rahmen – auch ich hatte so einen Dozenten an der Uni.
– Ein weiterer wichtiger Punkt ist die Kommunikation sowie der Stellenwert der Evaluation. Die Fragebögen werden am Ende des Semesters ausgeteilt, es ist für die Studierenden also kein Vorteil der Vorlesungsoptimierung offensichtlich. Auch wurden während meiner Studienzeit die Fragebögen meist mit dem Kommentar “das kennen Sie ja schon – bitte füllen Sie die Bögen aus” durchgegeben. Für eine gelungene Evaluation sollte der Dozierende vermitteln, dass die Befragung von ihm sowie der Universität ernst genommen wird. Außerdem sollte transparent gemacht werden, was mit den Fragebögen passiert und in welchen Bereichen Veränderungen stattfinden werden oder in der Vergangenheit stattgefunden haben.
Ich bin schon gespannt auf Ihre weiteren Artikel!
[...] Sie weiter bei academics.de Diese Seite [...]
Hallo VFolie,
vielen Dank für Ihr Interesse. Die drei von Ihnen genannten Punkte sind auch nach meiner Erfahrung zentral: (1) Studierende als wichtige, auskunftskompetente, aber nicht einzige “Stakeholder”-Gruppe, (2) Ziele der Befragung, wozu eigentlich das Ganze? und (3) Was danach geschieht.
Zum Teil sind es wirklich kleine Possenstücke, die da an unseren Hochschulen aufgeführt werden – Fragebögen sind auszufüllen, mit zum Teil abstrus formulierten Fragen (z.B. eine “ja/nein”-Frage – mit fünf Antwortkringeln dabei: Ist in Ihrem Kopf etwa “ja/nein” ein fünfstufiges Konzept? Sind Fußgängerampeln womöglich neuerdings auch fünfstufig? Echtgrün, fastgrün, gleichgrün, nochrot, echtrot?”). Wieso das Ganze passiert, weiß oftmals auch keiner (außer der allgemeinen Qualitätsentwicklungs-Rhetorik), und einen Bericht hat am Ende auch keiner gesehen. Verrückt, aber wahr. Und das gehört ausgesprochen oder hingeschrieben.
Ich bin ebenso gespannt wie Sie auf meine weiteren Artikel. Es kann gut sein, dass ich das Thema “Lehrveranstaltungsevaluation” nochmals aufgreife und einen Blick auf die Gestaltung, besonders in puncto “Wozu eigentlich?” oder “Was geschieht danach?” werfe. Dazu haben wir nämlich weitere Ergebnisse aus, wie ich finde, spannenden Studien. Und es gibt noch eine Menge mehr dazu zu sagen…
Kommentar schreiben