Die Evaluation universitärer Lehrveranstaltungen
Werner Stangl

Methoden und Materialien zur Evaluation

 

Die via regia der Evaluation ist die Methode der Beobachtung. Sie ist Grundlage und Ausgangspunkt aller Evaluationsmethoden. Keines der im folgenden angeführten Instrumentarien kann darauf verzichten und standardisiert bzw. rastert mehr oder minder ihre Ergebnisse. Daher ist die systematische Selbst- und Fremdbeobachtung der erste Zugang zur Evaluation universitärer Lehrveranstaltungen. Alle anderen Instrumentarien können nur als Unterstützung dieser Selbst- bzw. Fremdevaluation gesehen werden.

Alle Daten, die mit den genannten Evaluationsmethoden erhoben werden werden, sind rein deskriptiv und geben in den meisten Fällen nur subjektive Bewertungen wieder, die in ihrer Durchschnittlichkeit keine begründbare Objektivität erlangen. Des weiteren haben solche Evaluationsdaten keinen Erklärungswert im Hinblick auf die verschiedenen Formen der Kausalität , d.h., es müssen stets andere Faktoren zur Aufklärung der Varianz herangezogen werden.

Der oben angesprochene Aspekt der Selbstbeobachtung soll hier von der methodischen Problematik her explizit ausgeklammert bleiben, da eine systematische Selbstevaluation der Lehre ohnehin selbstverständlich ist. Alle hier diskutierten Methoden stellen ohnehin nur eine Unterstützung (sensu Objektivierung oder Überprüfung) der Selbstevaluation dar.

Zwei verschiedene Gruppen von Evaluationsinstrumentarien lassen sich unterscheiden:

Eine ähnliche Einteilung findet sich bei Schratz (1992, S. 237), der diese beiden Formen als formative bzw. summative Evaluation bezeichnet. Während die summative Evaluation eher nur zu einer Bestimmung eines Zustandes führen wird, wird die formative Evaluation unmittelbar darauf gerichtet sein, zu einer aktuellen Verbesserung der Lehre zu führen (vgl. auch Rindermann 1997a). Daher sollte im Interesse aller Beteiligten der formativen Variante immer der Vorzug gegeben werden.

Schratz weist an dieser Stelle auch darauf hin, daß jede Evaluation nur gemeinsam und im Wechselspiel von Lehrenden und Lernenden zielführend sein wird (vgl. auch Stangl 1996b). Notwendigerweise finden sich in beiden Methodengruppen vielfach ähnliche Fragen und es kann daher von einer weitgehenden Austauschbarkeit in diesen beiden Kategorien ausgegangen werden. Differenzierend sind auch hier letztlich die Ziele, die mit der Evaluation verbunden werden.

Auch wenn es manchen nicht bewußt ist: Jede Form der Prüfung von angestrebten Lehr- und Lernzielen stellt eine Form der Evaluation der Lehre dar, da natürlich jede Lehrveranstaltungsprüfung neben der Bewertung der Leistung der Lernenden immer auch eine Bewertung der Lehrenden darstellt. Ohne Polemik sollten daher jene "Knock-out-Lehrveranstaltungen", die oft mehr als 50% negative Zensuren verteilen, unter diesem Aspekt überprüft werden.

Wie Rindermann (1997a) zusammenfassend demonstriert, muß ein sinnvoll konstruiertes Evaluationsinstrument zahlreiche Dimensionen erfassen. Denn jede studentische Lehrbeurteilung setzt sich in der Regel aus mehreren Dimensionen zusammen, die von einem ernstzunehmenden Verfahren auch gemessen werden müßten.

Lehrbeurteilung =
Dozent + Studenten + Rahmenbedingungen + Interaktionsprodukte

(Rindermann 1997b, S. 231)

Diese Mehrdimensionalität wird nur von wenigen Verfahren explizit berücksichtigt, vor allem nicht von den häufig kursierenden "selbstgestrickten" Fragebögen. Es ist daher bei allen hier angeführten strikt zu beachten, für welchen Zweck sie konstruiert wurden bzw. welche Dimensionen in welcher teststatistischen Qualität auch erfaßt werden.

Materialien für Lehrveranstaltungseinheiten

Ein neben der Quellenangabe ist eine direktes link zum Verfahren!

1. FAKTOR:
"Kognitive" Qualität der LV-LeiterInnen

2. FAKTOR:
Kognitive und emotionale "StudentInnenqualität" -

3. FAKTOR:
Qualität der Lehrveranstaltungsorganisation

4. FAKTOR:
Soziale Qualität der KommilitonInnen - Lehrveranstaltungsklima

5. FAKTOR:
Didaktische Qualität der Lehrveranstaltung

6. FAKTOR:
"Angepaßtheit der Schwierigkeit"

Besonders hingewiesen sei hier auf den meist unterschätzten 4. Faktor des Lehrveranstaltungsklimas, denn in der Diskussion um die Evaluation der Lehre wird der Einfluss der studentischen "peers" auf die Wahrnehmung und Beurteilung der Lehre, insbesondere derjenigen, die im selben Hörsaal sitzen, nicht berücksichtigt. Dazu Kromrey (1999): "Wird eine Veranstaltung überwiegend von desinteressierten Studierenden besucht, werden alle Teilnehmer negativ beeinflusst. Im Gegenzug findet sich ein deutlicher "positiver Ansteckungseffekt", sofern die Mehrheit der Teilnehmer Interesse zeigt. Dies gilt für Urteile über die Lehrdarbietung ebenso wie für die Selbsteinschätzung des eigenen Lernerfolgs oder die Bereitschaft, sich mit dem behandelten Stoff intensiver selbstständig zu beschäftigen. In Veranstaltungen mit negativer Grundstimmung hat die Lehrperson &emdash; wie Befragungen belegen &emdash; kaum Chancen, durch eigene Bemühungen 'Interesse zu wecken'."
Spiel & Gössler (2000) bestätigen in einer neueren Studie an Studierenden der Universität Wien (Sommersemestern 1994-1995, 756 Studierende, 66 Lehrveranstaltungen) übrigens den deutlichen Einfluß von Biasvariablen auf die Bewertung universitärer Lehre durch Studierende. Sie untersuchten, inwieweit Studierende in ihren Lehrveranstaltungsbeurteilungen durch Variablen beeinflußt werden, die in keinem Zusammenhang mit dem Lehrgeschehen stehen (biographische Merkmale von Studierenden und Lehrenden, Umgebungsbedingungen wie Lichtverhältnisse). In einem komplexen Versuchsplan konnten unterschiedlich hohe Varianzanteile durch die potentiellen Biasvariablen aufgeklärt werden. Speziell auf frei gewählte Seminare und Ubungen hatten diese Variablen nur geringe Effekte, d.h., sie konnten die oben angeführten Vermutungen bestätigen, daß Interesse die einzige Variable ist, die über alle Substichproben hinweg systematisch mit den Urteilen der Studierenden kovariiert. Daraus läßt sich der Schluß ziehen, daß bei der Beurteilung einer Lehrveranstaltungsevaluierung in jedem Fall das Interesse der Studierenden an der Lehrveranstaltung kontrolliert werden sollte.

Inhalt

Theoretische Vorbemerkungen

Methoden und Materialien

Diskussion und Ausblick

Thesen

Praktikable Vorschläge

Literatur

Materialien für gesamte Lehrveranstaltungen

Soll eine Serie von Lehrveranstaltungen von den Teilnehmern bewertet werden, dann handelt es sich in der Regel um "gemittelte" globale Urteile. Die oben genannten Verfahren für einzelne Lehrveranstaltungen lassen sich hier in modifizierter Weise ebenfalls einsetzen.

Lehrveranstaltungsspezifische Verfahren

Matrix zur Evaluation von Lehr-Lern-Prozessen

Ein interessantes Evaluationsverfahren wird von Jane Kirchner (1996) vorgestellt. Es besteht im Wesentlichen aus zwei Erhebungsinstrumenten, die eine Kombination quantitativer und qualitativer Daten ermöglichen. Es handelt sich um zwei Antwort-Matrizen, die durch Unterrichtsbeobachtungen und Lehrerinterviews begleitet werden.

Matrix I enthält einen Fragebogen für die Lernenden und umfaßt zwölf Fragen, die die Lernenden mit "Ja", "Nein" oder "Unentschieden" schriftlich beantworten.

Matrix I: Fragebogen für Studierende über Erfüllung von vier Funktionen guten Unterrichts

klare Information 

sinnvolle Praxis 

informative Rückkoppelung 

starke  Motivation 

Methoden

1. Glaubst Du, daß alle Aktivitäten für die Erreichung der Kursziele wichtig sind? 

2. Steht Dir genug Zeit zum Erlernen und Anwenden des Neuen zur Verfügung? 

3. Wirst Du über Deinen Lern-fortschritt informiert und beraten? 

4. Lernst Du gern in dieser Veranstaltung? 

Bewertung

5. Prüfen Tests das, was Du Dir tatsächlich angeeignet hast? 

6. Geben Dir Bewertungssituationen Raum zum Lernen? 

7. Informieren Dich Prüfungsergebnisse über Deine Lern-tärken und Lern- schwächen? 

8. Motivieren Prüfungsergebnisse Dein weiteres Lernen? 

Inhalt

9. Findest Du die Lehrinhalte für Deine spätere Laufbahn wichtig? 

10. Gibt Dir die Lehrveranstaltung Raum für sinnvolle Praxis? 

11. Stellst Du im bisherigen Verlauf der Lehrveranstaltung Deinen eigenen Lernzuwachs fest? 

12. Fühlst Du Dich ermuntert, eigene Erfahrungen in die Lehrveranstaltung einzubringen? 

 

Matrix II besteht aus einem Leitfrageninterview und zielt auf das Rückkoppelungsverhalten der Lernenden im Hinblick auf die drei Komponenten des Lehr-Lern-Prozesses (Methoden,Bewertung, Inhalt) ab. Die Interviews geben Einsicht in die Rückkoppelungssituation der Lehrveranstaltung aus studentischer Sicht. Die Entwicklung der Interviewleitfragen beruht auf der Einsicht, daß Lernen dann eintritt und effektiv ist, wenn die Lernenden selbst aktiv am Lehr-Lern-Prozes teilnehmen. Das schließt ihr aktives Rückkoppelungsverhalten über das, was in der Lehrveranstaltung geschieht, ein.

Matrix II: Rückkoppelungsverhalten der Studierenden

informative  Rückkoppelung 

rechtzeitige  Rückkoppelung 

motivierende  Rückkoppelung 

ergebnis-orientierte Rückkoppelung 

auf Verbesserung abzielende Rückkoppelung 

Methoden 

1. Fragst Du die Lehrkraft, was von Dir erwartet wird? 

2. Teilst Du der Lehrkraft mit, daß Du bereit bist, im Stoff weiterzugehen? 

3. Sagst Du der Lehrkraft, wie Du am besten lernst und welche Aktivitäten Dir besonders gefallen? 

4. Beschwerst Du Dich, wenn Du denkst, daß die Aktivitäten nicht wichtig für die Entwicklung Deiner Kompetenzen sind? 

5. Schlägst Du der Lehrkraft vor, wie der Unterricht verbessert werden könnte? 

Bewertung 

6. Versuchst Du zu erfahren, was Prüfungsergebnisse Dir über Dein Lernen sagen? 

7. Signalisierst Du der Lehrkraft, daß Du bereit bist, Dich einer Leistungsüberprüfung zu unter-ziehen? 

8. Akzeptierst Du Prüfungsergebnisse und ziehst sie für Dein weiteres Lernen in Betracht? 

9. Fragst Du die Lehrkraft, inwiefern sich Dein Leistungs-vermögen in den Noten wider-spiegelt? 

10. Versuchst Du, Auskünfte über Deine Lernleistungen über Tests hinaus zu bekommen? 

Inhalt

11. Fragst Du die Lehrkraft, warum Du bestimmte Inhalte aneignen sollst? 

12. Forderst Du von der Lehrkraft, daß sie Dir genug Zeit zum Lernen ein-

13. Bringst Du Deine Motivation zum Ausdruck, wenn neue Inhalte behandelt werden? 

14. Fragst Du, inwiefern die Lehrveranstaltung Fortschritte macht? 

15. Schlägst Du der Lehrkraft inhaltliche Veränderungen oder Anpassungen vor? 

Kritische Anmerkung

Alle angeführten Verfahren sind sinnvollerweise nur in Zusammenhang mit anderen Maßnahmen der begleitenden Evaluation zu betrachten, denn letztlich ersetzt kein noch so ausgeklügeltes Instrumentarium das interaktive Entwickeln optimaler Lehr- und Lernformen. Wawrzinek (1995) zeigt in seinem dialogischen Modell der Evaluation, welches auf Reziprozität beruht, daß im universitären Lehrbetrieb auf Dauer nur die (Re?)Etablierung egalitäre Elemente zu einer Verbesserung führen kann. Alle hier beschrieben Verfahren können letztlich nur als bescheidenes Hilfsmittel dazu dienen, das Sensorium der Lehrenden und Lernenden für Unterrichtsprozesse zu verfeinern.

Auch wenn hier vorwiegend schriftliche Verfahren dargestellt wurden, ist die Fragebogenmethode letztlich nur ein oft notwendiger Kompromiß. Haake & Fischer (1993, S 161) schreiben aus studentischer Sicht dazu: "Evaluation, die nicht ins Leere greifen will, darf sich methodisch nicht auf Fragebogenaktionen beschränken, sondern sollte qualitative Methoden bevorzugen. Inhaltlich dürfen nicht nur Lehrveranstaltungen thematisiert werden (...) Ziel sollte sein, Lehre als Ganzes zum Thema zu machen."

Inhalt

Theoretische Vorbemerkungen

Methoden und Materialien

Diskussion und Ausblick

Thesen

Praktikable Vorschläge

Literatur


©opyright p@psych Linz 1996-2000.
This pages belong to "
p@psych e-zine". Permission is hereby granted to use these documents for personal use and in courses of instruction at educational institutions provided that the articles are used in full and this copyright statement is reproduced. Permission is also given to mirror these documents on WorldWideWeb servers. Any other usage is prohibited without the written permission of the author. Please mail: werner.stangl@jku.at