Evaluierung der Lehre - Ergebnisse der Pilotphase

Im Verlauf des Studienjahres 1997/98 wurden vom Vizestudiendekanat für Evaluierung der Lehre jene Instrumente entwickelt, mit denen an der Wirtschaftsuniversität

  1. die Evaluierung der Lehrprogramme und
  2. die Evaluierung der Lehr-/Lernprozesse
erfolgen sollen. Mit Beginn des Sommersemesters 1998 wurde die Pilotphase zur Erprobung dieser Instrumente begonnen. Zielsetzung der Pilotphase war es,
  1. die entwickelten Instrumente zu überprüfen und
  2. sie auf die routinemäßige Anwendung vorzubereiten, und
  3. Erfahrungen darin zu sammeln, mit welchem Aufwand die Anwendung der Instrumente für die evaluierten Institutionen und für das Vizestudiendekanat verbunden ist, und damit Planungsgrundlagen für die routinemäßige Anwendung zu bekommen.
Obwohl die im Rahmen dieser Pilotphase durchgeführten Evaluierungen noch nicht alle abgeschlossen sind, können doch die wesentlichen Ergebnisse bereits berichtet werden.

Evaluierung der Lehrprogramme

Im Rahmen der Pilotphase werden die folgenden vier Lehrprogramme evaluiert:

Aus dem Fachbereich Betriebswirtschaftslehre wurde mit der Speziellen BWL "Tourismus" ein nach der Zahl der Studierenden kleineres Lehrprogramm gewählt, das derzeit etwa 50 Studierende pro Jahr absolvieren. Die Spezielle BWL "Unternehmensführung" gehört zu den größten Spezialisierungsfächern und wird derzeit von etwa 250 Studierenden pro Jahr absolviert. Das Wahlfach "Finanzrecht" aus dem Fachbereich Rechtswissenschaft zählt mit jährlich etwa 200 Absolventinnen und Absolventen zu den größten Wahlfächern der WU. Mit der "Wirtschaftssprache Englisch" aus dem Fachbereich Sozial-, Geistes- und Formalwissenschaften wurde ein Vor-/Diplomprüfungsfach aus dem ersten Studienabschnitt ausgesucht, das als weiterführendes Fach auch im 2. Studienabschnitt belegt werden kann.

Die Phasen des bei der Evaluierung von Lehrprogrammen eingesetzten Verfahrens sind

  1. die Analyse des bestehenden Lehrprogramms durch die für das Lehrprogramm Verantwortlichen (interne Evaluierung) und seine Darstellung im Selbstreport,
  2. die Beurteilung des Lehrprogramms durch externe Gutachter auf Basis des Selbstreports und eines Vor-Ort-Besuches (externe Evaluierung),
  3. die Veröffentlichung des Evaluierungsberichts der externen Gutachter, der auch konkrete Verbesserungsmaßnahmen empfiehlt.
Objekt der Evaluierungen sind die jeweiligen Lehrprogramme. Mit jedem der vier an der Pilotphase teilnehmenden Institute und Abteilungen wurden zu Beginn ausführliche Vorbereitungsgespräche geführt, in denen die Zielsetzung der Evaluierung und die konkreten Aufgaben ausführlich diskutiert wurden. Als Kriterien, nach denen die Qualität eines Lehrprogramms beurteilt werden soll, werden die Übereinstimmung zwischen und schließlich definiert. Das Kriterium, nach dem sich mittelfristig der Erfolg eines Lehrprogramms entscheiden wird, ist die Güte, mit der die Absolventinnen und Absolventen auf ihre berufliche Praxis in Wissenschaft oder Anwendung vorbereitet werden.

Der größte Aufwand, den die für das Lehrprogramm Verantwortlichen zu leisten haben, ist die interne Evaluierung und das Erstellen des Selbstreports: Darstellungen der Ziele, Eingangsvoraussetzungen, Inhalte des Lehrprogramms und seine Koordinierung mit den sonstigen an der Wirtschaftsuniversität angebotenen Studien, Daten und Meinungen zur Realität des Lehrprogramms, die Ressourcenlage und die kritische Analyse des Bestehenden mit der Angabe von Verbesserungspotentialen sollen die Basis für die Evaluierung durch externe Gutachter abgeben. Von besonderer Wichtigkeit sind Befragungen der Studierenden und Absolventinnen bzw. Absolventen, die von den Instituten durchgeführt werden müssen; diese vom Arbeits- und Zeitaufwand ziemlich aufwendigen Erhebungen wurden bei den Evaluierungen der Pilotphase im Rahmen von Diplomarbeiten oder von den Mitarbeiterinnen bzw. Mitarbeitern selbst durchgeführt.

Das Vizestudiendekanat übernimmt im Zusammenhang mit der praktischen Durchführung von solchen Erhebungen eine beratende Funktion. Zum Prozedere des Evaluierungsverfahrens und als Hilfe beim Erstellen des Selbstreports wird vom Vizestudiendekanat ein "Handbuch zur Evaluierung der Lehrprogramme" zu Verfügung gestellt. Dieses Handbuch enthält neben einer Beschreibung des Verfahrens einen Leitfaden, der die Themen und entsprechende Fragestellungen für die interne Evaluierung vorgibt: Die Kernthemen und Fragen des Leitfadens sollen Anregung zum Überdenken des Bestehenden und zum Suchen nach Verbesserungspotentialen sein.

Die externe Evaluierung erfolgt in Form eines Vor-Ort-Besuches der externen Gutachter. Das Evaluierungsteam bilden jeweils ein habilitierter Vertreter des evaluierten Faches von einer anderen Universität, ein hochrangiger Vertreter aus der Berufspraxis und eine Absolventin oder ein Absolvent des zu evaluierenden Lehrprogramms mit mindestens zwei und höchstens fünf Jahren einschlägiger Berufserfahrung. Die Gutachter leisten im Rahmen der Evaluierung eine wichtige Arbeit: (1) das sorgfältige Lesen der vom Vizestudiendekanat erhaltenen Materialien, insbesondere des Selbstreports, (2) den Vor-Ort-Besuch und (3) das gemeinsame Erstellen des Evaluierungsberichts. Vom Evaluierungsteam und seinem Engagement hängt viel vom Erfolg des Verfahrens ab. Der Evaluierungsbericht wird veröffentlicht.

Die Bereitschaft der für die evaluierten Lehrprogramme Verantwortlichen und ihrer Mitarbeiterinnen und Mitarbeiter, an der Evaluierung teilzunehmen und sie als Impuls für Verbesserungen des Lehrprogramms zu nutzen, war sehr hoch. Für zwei von den vier im Rahmen der Pilotphase evaluierten Lehrprogramme liegen inzwischen die Evaluierungsberichte vor. Die Betroffenen bezeichneten das Evaluierungsverfahren als Basis für einen wichtigen Erkenntnisgewinn für die Weiterentwicklung und Verbesserung der Lehrprogramme.

Der als Ergebnis der Evaluierung und auf Grund der Empfehlungen der Gutachter zu erarbeitende Maßnahmenkatalog und das Umsetzen der geplanten Verbesserungsmaßnahmen sind für den Erfolg des Verfahrens entscheidend. Unser Instrument hat in der Pilotphase und wird auf Grund eigener Erfahrungen und als Folge von Erfahrungsaustausch im Laufe der Zeit noch Modifizierungen erfahren. Die derzeitige Konzeption des Instruments, die auch dem internationalen Standard für die Evaluierung von Lehrprogrammen entspricht, soll künftig routinemäßig angewendet werden.

Evaluierung der Lehr-/Lernprozesse

Die Evaluierung der Lehr-/Lernprozesse soll zur Verbesserung der Lehr- und Lernqualität der Lehrveranstaltungen an der Wirtschaftsuniversität und zur Entwicklung der didaktischen Fähigkeiten und Qualifikation ihrer Lehrenden beitragen. Stärker als ursprünglich konzipiert werden die Funktionen der Evaluierung (i) als Entwicklungsinstrument und (ii) als Bewertungsinstrument getrennt. Letztere Funktion kommt der Evaluierung insoferne zu, als der Studiendekan (1) im Rahmen von Karriereverfahren für den Mittelbau Gutachterfunktion hat und zu der didaktischen Qualifikation und pädagogischen Eignung Stellung nehmen soll und (2) studentische Bewertungen der Lehrveranstaltungen durch die Evaluierungsverordnung vorgeschrieben sind.

Im Sommersemester 1998 wurde im Rahmen der Pilotphase ein Instrument zur Evaluierung der Lehr-/Lernprozesse erprobt, das im wesentlichen das Verfassen eines ausführlichen Lehrberichtes durch den Lehrenden oder die Lehrende vorsieht, der eine kritische Darstellung der im laufenden Semester abgehaltenen Lehrveranstaltungen und Vorschläge zur Verbesserung enthält. Die Gespräche mit den dreizehn freiwilligen Teilnehmerinnen und Teilnehmern, darunter drei Professoren, sowie eigene Analysen und Überlegungen haben wesentliche Änderungen und zur Entwicklung eines praktikablen Instruments geführt, das im folgenden dargestellt wird.

Die Entwicklung didaktischer Fähigkeiten und Qualifikation des oder der Lehrenden wird durch die Einbindung des oben skizzierten aber vereinfachten Lehrberichtes in das Karrieregespräch gefördert. Das Karrieregespräch, das nach Universitätsrecht einmal pro Jahr zwischen dem Assistenten oder der Assistentin und dem oder der jeweiligen Vorgesetzten geführt werden soll, ist ein idealer Platz, Aspekte der Lehr-/Lernprozesse auf der Basis des Lehrberichtes und nach einem vom Studiendekan vorgegebenen Leitfaden zu besprechen und dabei Verbesserungspotentiale zu identifizieren und Verbesserungsmaßnahmen zu planen. Dieses als Entwicklungsinstrument verstandene Verfahren soll zumindest auf alle nichthabilitierten Lehrenden angewendet werden.

Als zweites Instrument werden den Lehrenden über ihre Lehrveranstaltungen Informationen (Erfolgsstatistiken, studentische Bewertungen, Meinungen und Empfehlungen der Studierenden) zur Stellungnahme vorgelegt. Erfolgsstatistiken und studentische Bewertungen und Stellungnahme werden veröffentlicht, wobei der oder die Betroffene durch Verweigerung der Zustimmung die Veröffentlichung verhindern kann. Auch diese Maßnahme zielt darauf ab, daß der oder die Betroffene sich mit den bestehenden Lehr-/Lernprozessen seiner oder ihrer Lehrveranstaltungen auseinandersetzt. Diese Informationen sollen jüngeren Lehrenden einmal pro Jahr, anderen in größeren zeitlichen Intervallen vorgelegt und veröffentlicht werden.

Abschließende Anmerkungen

Als Ergebnis der Pilotphase verfügen wir über ein erfolgreich erprobtes Instrument zur Evaluierung der Lehrprogramme und ein definitives Konzept zur Evaluierung der Lehr-/Lernprozesse. Wir können nun auch eine realistische Abschätzung der benötigten budgetären Ressourcen und eine realistische Spezifikation der Anforderungen an die personelle Ausstattung des Vizestudiendekanates geben. Wir können auch ganz gut den Aufwand angeben, der auf die Verantwortlichen eines zu evaluierenden Lehrprogramms zukommt und der mit dem Erstellen eines Lehrberichtes als Vorbereitung des Karrieregespräches und mit der Stellungnahme des oder der Lehrenden zur Information über seine oder ihre Lehrveranstaltungen verbunden sind.

Die aufwendigste Arbeit beim Erstellen des Selbstreports besteht im Einholen der Meinung der Absolventinnen und Absolventen und auch der Studierenden; die entsprechende Befragung war bei allen Evaluierungen der Pilotphase jener Engpaß, der die Dauer der Evaluierung bestimmt hat. Abgesehen davon war das Erstellen des Selbstreports bei jenen Lehrprogrammen relativ einfach, deren betreuendes Institut sich schon früher die Arbeit gemacht hat, einen Institutsbericht zu verfassen, der auch die Lehraktivitäten behandelt.

An dieser Stelle soll allen jenen herzlich gedankt werden, die durch ihre Bereitschaft zur Teilnahme an den Pilotphase und durch ihren Aufwand zu deren Erfolg beigetragen haben.

Quelle: http://exai1.wu-wien.ac.at/~sedlacek/Pilotphase.htm (98-10-24)