Die Evaluation universitärer Lehrveranstaltungen

Werner Stangl

Thesen zur Evaluation universitärer Lehre

In the beginning, God created the heaven and the earth. And God saw everything that he made. "Behold," God said, "it is very good." And the evening and the morning were the sixth day. And on the seventh day God rested from all His work. His archangel came then unto Him asking, "God, how do you know that what you have created is 'very good'? What are your criteria? On what data do you base your judgment? Just exactly what results were you expecting to attain? And aren't you a little close to the situation to make a fair and unbiased evaluation?"
God thought about these questions all that day and His rest was greatly disturbed. On the eighth day God said, "Lucifer, go to hell." Thus was evaluation born in a blaze of glory.

From Halcolm's The Real Story of Paradise Lost 1
Patton, Michael Quinn (1997). Utilization Focused Evaluation. The New Century Text. Thousand Oaks: Sage.

Ludwig Grillich (forum-evaluation@uni-koeln.de 00-03-19)



Eine Gegenüberstellung von 10 Thesen und entsprechenden Antithesen zur Messung wissenschaftlicher Leistung im Algemeinen findet sich bei Cirpka, Schilling & Hartwig (http://www.academics.de/portal/action/magazine?page=0&nav=11072), die trefflich die oben genannten Dilemmata zusammenfasst:

These 1: Leistungskontrolle ist unerläßlich

Leistungskontrolle ist ein Gebot der Fairneß gegenüber dem Steuerzahler und gegenüber denjenigen Wissenschaftlern, deren Forschungsanträge abgelehnt wurden. Wenn Forschungsmittel völlig frei jeglicher Leistungsverpflichtung und vor allen Dingen frei der abschließenden Kontrolle vergeben werden, setzt sich höchstwahrscheinlich nicht Spitzenleistung durch.

Antithese 1: Evaluitis kann Leistung sogar hemmen.

Forschung, die auf das Erreichen von Kennziffern optimiert ist, ist risikoarm: Man traut sich nur an solche Themen heran, bei denen man von Anfang an weiß, daß am Ende ein meßbarer Erfolg steht. Evaluationen könnten sich als kontraproduktiv erweisen, wenn sie dem Sicherheitsdenken Vorschub leisteten. Unklare - und daher in der Evaluation weniger attraktive - Ideen sind oftmals Motoren beim Vorantasten auf noch unbekanntes Gebiet. Ausufernde Evaluationen beanspruchen zudem Zeit für die Abfassung von Leistungsvereinbarungen und Rechenschaftsberichten, die der Leistungserbringung dann fehlt.

These 2: Grundsätzlich sind Leistungskomponenten in der Entlohnung starren Regeln vorzuziehen.

Das alte Gehaltssystem von C-Besoldung und BAT sieht automatische zweijährliche Erhöhungen der Bezüge vor, unabhängig vom Einsatz und von der Leistung. Außerordentliche Leistungen wurden nicht prämiert. Leistungsbezüge beheben diesen Mißstand.

Antithese 2: Die motivierende Wirkung leistungsabhängiger Entlohnung wird gemeinhin über-, die demotivierende unterschätzt.

Hauptantrieb eines Wissenschaftlers sollte die Neugierde sein. Wissenschaftliche Arbeiten werden veröffentlicht, weil die Anerkennung durch andere Wissenschaftler lockt, nicht wegen besserer Chancen auf Leistungsbezüge. Leistungsbezüge sind als Anerkennung und damit als Anreiz zu neuer Leistung zu verstehen. Hochgradig frustrierend ist daher ein System, in dem angeblich Leistungsbezüge vergeben werden, es leider aber kein Geld zu verteilen gibt. Selbst in einem grundsätzlich funktionierenden System mit Leistungsprimat wirkt die Nichtgewährung eines Leistungsbezuges demotivierend, wenn sie schlecht vermittelt wird und vom Betroffenen nicht nachvollzogen werden kann.

These 3: Kriterien der Leistungsbewertung müssen nachhaltig sein.

Ein fairer Wettbewerb erfordert, daß Leistungskriterien über einen ausreichenden Zeitraum Gültigkeit haben. Sie müssen langfristigen Erfolg garantieren und dürfen nicht momentanen Schwankungen in der Hochschulpolitik unterliegen.

Antithese 3: Kriterien der Leistungsbewertung müssen flexibel sein.

Es liegt im Wesen der Forschung, daß sich Projekte, ja ganze Fachgebiete anders entwickeln als vorausgesagt. Auch im Hinblick auf eine internationale Vernetzung der Forschung muß es möglich sein, Ziele und Vorgehensweisen im Verlaufe einer Rechenschaftsperiode den veränderten Gegebenheiten anzupassen.

These 4: Leistungskriterien müssen klar formuliert sein.

Wenn die Vergabe von Mitteln und Gehaltsanteilen an messbare Kriterien geknüpft wird, sind alle Beteiligten in der Lage, die Erfüllung dieser Kriterien eindeutig festzustellen.

Antithese 4: Quantität kann Qualität nicht ersetzen.

Die Größe einer Arbeitsgruppe sagt nichts darüber aus, ob gute Arbeit geleistet wird. Die Veröffentlichung "kleinster publizierbarer Einheiten" und Mehrfachpublizierung der gleichen Gedanken unter leicht geänderten Titeln sind die direkte Folge einer Bewertungskultur, die sich aufs Zählen reduziert.

These 5: Es gibt keine Alternative zum Peer-Review System.

Die Qualität wissenschaftlicher Arbeiten läßt sich nur äußerst eingeschränkt durch Kennziffern ermitteln, sowohl im Hinblick auf die Beurteilung von Projektideen als auch auf die Bewertung von Wissenschaftspersönlichkeiten und Originalität. Es wird niemals möglich sein, absolute Objektivität zu erreichen. Aber die gegenseitige anonyme Kontrolle ist jeder starr vorgegebenen Kriterienliste vorzuziehen.

Antithese 5: Die Befangenheit einer Peer-Group gefährdet eine faire Leistungsbewertung.

Das Begutachtungssystem ist auf die Integrität der Gutachter angewiesen. Gefälligkeitsgutachten und persönliche Voreingenommenheit gegenüber bestimmten Denkrichtungen zerstören das Vertrauen in das System. Die Konkurrenz zwischen Gutachtern und Begutachteten um Mittel und Anerkennung kann den Peer-Review Prozeß gefährden. Dieses Problem wird durch den Rückgriff auf Gutachten ausländischer Peers nicht behoben, höchstens gemildert.

These 6: Wissenschaftliche Exzellenz mißt sich nicht am Drittmittelaufkommen

...sondern an der Tiefe der gewonnenen Erkenntnisse. Die Summe der eingeworbenen Mittel ist einfach meßbar, sagt aber noch nichts darüber aus, ob die Mittel wissenschaftlich effizient eingesetzt werden. Deswegen ist es fragwürdig, das Gehalt von Wissenschaftlern bevorzugt an das Drittmittelaufkommen zu koppeln.

Antithese 6: Drittmittel sind ein Indikator für Exzellenz und sollten als solcher behandelt werden.

Wer sich mehrfach im Wettbewerb um Drittmittel durchgesetzt hat, hat bewiesen, daß seine Forschungsprojekte kritischer Begutachtung standhalten. Deshalb sollte er einen höheren Vertrauensbonus erhalten.Wer über Jahre hinweg vorzügliche Anträge eingebracht hat und/oder kontinuierliche Leistungen in der Forschung nachweisen kann, sollte weitere Gelder über größere Zeiträume und mit einem verschlankten Auswahlverfahren erhalten. Zudem sollten die mit Drittmitteln verbundenen erhöhten Verwaltungskosten nicht aus der Grundausstattung bezahlt werden, da ansonsten die Forschungsgeber diejenigen bestrafen, die Drittmittel einwerben.

These 7: Die unterschiedlichen Fachkulturen sind gebührend zu berücksichtigen.

Veröffentlichungen in internationalen Zeitschriften sind ein angemessener Leistungsnachweis in den meisten Naturwissenschaften (wobei über die Aussagekraft des Impact Factors bereits zu streiten wäre). In den Geisteswissenschaften werden Monographien höher eingestuft und in der Informatik Einladungen zu Konferenzen. Dies muß bei der Leistungsbewertung berücksichtigt werden. Zudem sollte von Fach zu Fach verschieden über die Reichweite des Begriffes "Forschung" außerhalb von Buch und Labor nachgedacht werden.

Antithese 7: Fachkulturen können anhand interdisziplinärer und internationaler Vergleiche bewertet und verändert werden.

"Bei uns zählen Veröffentlichungen weniger" gilt für manche Fächer nur im deutschsprachigen Raum. Wichtig sind jedoch auch internationale Fachstandards. Daß vermeintliche Fachkulturen auch in Frage gestellt werden können, erfordert offensichtlich einen internationalen Begutachtungsprozeß. Der Rückzug in eine Fachkultur fördert nicht die interdisziplinäre Vernetzung.

These 8: Die Profilbildung der Institution beeinflußt die Leistungsbewertung ihrer Angehörigen.

Das Hochschulsystem Deutschlands wird sich in den nächsten Jahren stärker ausdifferenzieren. Die Profilbildung umfaßt sowohl den Stellenwert von Forschung, Lehre und Beratung für die einzelnen Hochschulen als auch deren fachliche Ausrichtung; sie ist die Grundlage der Leistungsvereinbarungen zwischen den Hochschulen und ihren Ministerien. Damit eine Hochschule sich ihrem Profil entsprechend entwickelt, wird sie die Kriterien für Leistungsbewertung ihrer Wissenschaftler entsprechend gewichten. Um so wichtiger ist es, daß die Profilbildung transparent und partizipativ erfolgt.

Antithese 8: Zu enge Profile gefährden die Zukunft der Hochschulen.

Die Hochschulen im In- und Ausland setzen zurzeit zu einem großen Anteil dieselben fachlichen Schwerpunkte. Es steht zu befürchten, daß Fächer außerhalb der Hot Topics (z.B. Nano-, Bio-, Informationstechnologie, Materialwissenschaften, kulturwissenschaftliche Modethemen) vernachlässigt werden. Wer die leistungsorientierte Mittelvergabe nutzen möchte, um Hochschulen auf aktuelle Themen zu beschränken, nimmt ihnen die Chance, zukünftige Themen aufgreifen zu können. Entsprechend gilt, daß Leistungsnachweise eines Wissenschaftlers unabhängig vom Profil der Hochschule anhand des internationalen Stands seines Forschungsgebietes in der Bewertung zu berücksichtigen sind.

These 9: Lehrleistungen müssen gebührend berücksichtigt werden.

Die Lehre gehört zu den Kernaufgaben der Universitäten und ihrer Angehörigen. Lehre darf nicht zur Last verkommen, sondern sollte Motivation für eine akademische Karriere sein. Entsprechend muß die Qualität der Lehre bei der Leistungsbewertung von Hochschullehrern einen hohen Stellenwert einnehmen.

Antithese 9: Lehrevaluation kann nicht durch Studierende allein erfolgen.

Evaluationen von Lehrveranstaltungen durch Studierende sind gute Indikatoren für die didaktischen Fähigkeiten von Lehrenden. Den fachlichen Wert von Lehrveranstaltungen können Studierende jedoch oft erst mit zeitlichem Abstand erkennen. Ein Tauschgeschäft ("Ich gebe Euch gute Noten, wenn Ihr mich gut bewertet") muß verhindert werden.

These 10: Wissenschaft ist kein Selbstzweck.

Wissenschaft wird durch die Gesellschaft finanziert. Deshalb muß sie darauf gerichtet sein, das Wohl der Gesellschaft zu fördern.

Antithese 10: Wissenschaft braucht Spinner und Orchideen.

Eine wissenschaftliche Leistung kann großartig sein, obwohl sie keinerlei ökonomischen oder humanitären Gebrauchswert hat; ihr Sinn kann im gewagten Denken selbst liegen. Dieses hängt auch nicht davon ab, ob das betroffene Fachgebiet gerade in Mode ist. Bei allem Verständnis für den Wunsch nach Verwertbarkeit wissenschaftlicher Erkenntnisse und nach Beratung politischer Entscheidungsträger durch die Wissenschaft müssen Hochschulen die Freiheit bewahren, Dinge zu erforschen, deren Ziel (noch) nicht benannt werden kann; nur so schaffen sie Raum für wirklich neue und unkonventionelle Ideen.

Inhalt

Theoretische Vorbemerkungen

Methoden und Materialien

Diskussion und Ausblick

Thesen

Praktikable Vorschläge

Literatur


©opyright p@psych Linz 1998-2000.
This pages belong to "
p@psych e-zine". Permission is hereby granted to use these documents for personal use and in courses of instruction at educational institutions provided that the articles are used in full and this copyright statement is reproduced. Permission is also given to mirror these documents on WorldWideWeb servers. Any other usage is prohibited without the written permission of the author. Please mail: werner.stangl@jku.at