Die Evaluation universitärer Lehrveranstaltungen
|
Die via regia der Evaluation ist die Methode der Beobachtung. Sie ist Grundlage und Ausgangspunkt aller Evaluationsmethoden. Keines der im folgenden angeführten Instrumentarien kann darauf verzichten und standardisiert bzw. rastert mehr oder minder ihre Ergebnisse. Daher ist die systematische Selbst- und Fremdbeobachtung der erste Zugang zur Evaluation universitärer Lehrveranstaltungen. Alle anderen Instrumentarien können nur als Unterstützung dieser Selbst- bzw. Fremdevaluation gesehen werden.Alle Daten, die mit den genannten Evaluationsmethoden erhoben werden werden, sind rein deskriptiv und geben in den meisten Fällen nur subjektive Bewertungen wieder, die in ihrer Durchschnittlichkeit keine begründbare Objektivität erlangen. Des weiteren haben solche Evaluationsdaten keinen Erklärungswert im Hinblick auf die verschiedenen Formen der Kausalität , d.h., es müssen stets andere Faktoren zur Aufklärung der Varianz herangezogen werden.
Der oben angesprochene Aspekt der Selbstbeobachtung soll hier von der methodischen Problematik her explizit ausgeklammert bleiben, da eine systematische Selbstevaluation der Lehre ohnehin selbstverständlich ist. Alle hier diskutierten Methoden stellen ohnehin nur eine Unterstützung (sensu Objektivierung oder Überprüfung) der Selbstevaluation dar.
Zwei verschiedene Gruppen von Evaluationsinstrumentarien lassen sich unterscheiden:
Eine ähnliche Einteilung findet sich bei Schratz (1992, S. 237), der diese beiden Formen als formative bzw. summative Evaluation bezeichnet. Während die summative Evaluation eher nur zu einer Bestimmung eines Zustandes führen wird, wird die formative Evaluation unmittelbar darauf gerichtet sein, zu einer aktuellen Verbesserung der Lehre zu führen (vgl. auch Rindermann 1997a). Daher sollte im Interesse aller Beteiligten der formativen Variante immer der Vorzug gegeben werden.
Schratz weist an dieser Stelle auch darauf hin, daß jede Evaluation nur gemeinsam und im Wechselspiel von Lehrenden und Lernenden zielführend sein wird (vgl. auch Stangl 1996b). Notwendigerweise finden sich in beiden Methodengruppen vielfach ähnliche Fragen und es kann daher von einer weitgehenden Austauschbarkeit in diesen beiden Kategorien ausgegangen werden. Differenzierend sind auch hier letztlich die Ziele, die mit der Evaluation verbunden werden.
Auch wenn es manchen nicht bewußt ist: Jede Form der Prüfung von angestrebten Lehr- und Lernzielen stellt eine Form der Evaluation der Lehre dar, da natürlich jede Lehrveranstaltungsprüfung neben der Bewertung der Leistung der Lernenden immer auch eine Bewertung der Lehrenden darstellt. Ohne Polemik sollten daher jene "Knock-out-Lehrveranstaltungen", die oft mehr als 50% negative Zensuren verteilen, unter diesem Aspekt überprüft werden.
Wie Rindermann (1997a) zusammenfassend demonstriert, muß ein sinnvoll konstruiertes Evaluationsinstrument zahlreiche Dimensionen erfassen. Denn jede studentische Lehrbeurteilung setzt sich in der Regel aus mehreren Dimensionen zusammen, die von einem ernstzunehmenden Verfahren auch gemessen werden müßten.
Lehrbeurteilung = (Rindermann 1997b, S. 231) |
Diese Mehrdimensionalität wird nur von wenigen Verfahren explizit berücksichtigt, vor allem nicht von den häufig kursierenden "selbstgestrickten" Fragebögen. Es ist daher bei allen hier angeführten strikt zu beachten, für welchen Zweck sie konstruiert wurden bzw. welche Dimensionen in welcher teststatistischen Qualität auch erfaßt werden.
Ein neben der Quellenangabe ist eine direktes link zum Verfahren!
Der Nachteil ist bei dieser wie der vorigen Methode, daß eine gründliche inhaltsanalytische Auswertung komplizierter und aufwendiger ist, auch wenn die Interpretation in vielen Fällen einfacher ist und ein grundlegendes Problem aller Befragungen, das "Hineinfragen" bzw. "ad hoc-Meinungsgenerieren", vermieden wird. Kromrey (1999) meint, daß solche Kurzverfahren zwar keine Evaluation im strengen Sinne darstellen, "sondern der Kommunikation über Lehre (dienen) und ... vor allem in größeren Veranstaltungen hilfreich (sind), in denen eine direkte Interaktion zwischen Lehrenden und Lernenden nicht mehr ohne weiteres möglich ist. Im Unterschied zu Befragungen als Evaluationsverfahren sind der Differenzierungsgrad und die methodische Qualität der Fragebögen ebenso wie die Form der Erhebung zweitrangig. Die Ergebnisse sollen der Lehrperson einen Eindruck von der Sichtweise der Teilnehmer vermitteln, und sie sollen der Ausgangspunkt für die Diskussion zwischen Lehrenden und Studierenden über die Lehre sein. Für diesen Zweck sind kurze Fragebögen mit durchaus auch groben Kategorien und zusammenfassend vorzunehmenden Bewertungen sogar von Vorteil: Sie bieten mehr Raum für die Interpretationsphantasie und damit auch mehr Ansatzpunkte für eine engagierte Diskussion. (...) Regelmäßig eingesetzt und am Ende von Veranstaltungen eingesammelt, ist ein solches Mini-Rückmeldeinstrument selbst in großen Vorlesungen ein wertvoller Seismograph, der sofort anzeigt, was im Auditorium ansonsten vom Lehrenden unbemerkt abläuft. Wichtig ist jedoch bei jeder Form eingesetzter Rückmeldeinstrumente, dass sie tatsächlich für das Ingangsetzen einer Diskussion über die Lehre genutzt werden und nicht lediglich als eine lästige Pflicht erscheinen."
Ein wesentlich umfangreicheres Verfahren ist der "Feedback-Fragebogen für Referate (FFfR1-S) - StudentInnen" (ohne Autor 1997 ), der an der Universität Regensburg zum Einsatz kommt. In diesem detailreichen Verfahren werden zahlreiche Aspekte einer Referatspräsentation erfaßt, die den ReferentInnen konstruktive Verbesserungen des Vortragsstils ermöglichen.Einen solchen umfangreichen Feedbackbogen gibt es auch für DozentInnen (ohne Autor 1997 ).
1. FAKTOR: |
2. FAKTOR: |
3. FAKTOR: |
4. FAKTOR: |
5. FAKTOR: |
6. FAKTOR: |
Besonders hingewiesen sei hier auf den meist unterschätzten 4. Faktor des Lehrveranstaltungsklimas, denn in der Diskussion um die Evaluation der Lehre wird der Einfluss der studentischen "peers" auf die Wahrnehmung und Beurteilung der Lehre, insbesondere derjenigen, die im selben Hörsaal sitzen, nicht berücksichtigt. Dazu Kromrey (1999): "Wird eine Veranstaltung überwiegend von desinteressierten Studierenden besucht, werden alle Teilnehmer negativ beeinflusst. Im Gegenzug findet sich ein deutlicher "positiver Ansteckungseffekt", sofern die Mehrheit der Teilnehmer Interesse zeigt. Dies gilt für Urteile über die Lehrdarbietung ebenso wie für die Selbsteinschätzung des eigenen Lernerfolgs oder die Bereitschaft, sich mit dem behandelten Stoff intensiver selbstständig zu beschäftigen. In Veranstaltungen mit negativer Grundstimmung hat die Lehrperson &emdash; wie Befragungen belegen &emdash; kaum Chancen, durch eigene Bemühungen 'Interesse zu wecken'."
Spiel & Gössler (2000) bestätigen in einer neueren Studie an Studierenden der Universität Wien (Sommersemestern 1994-1995, 756 Studierende, 66 Lehrveranstaltungen) übrigens den deutlichen Einfluß von Biasvariablen auf die Bewertung universitärer Lehre durch Studierende. Sie untersuchten, inwieweit Studierende in ihren Lehrveranstaltungsbeurteilungen durch Variablen beeinflußt werden, die in keinem Zusammenhang mit dem Lehrgeschehen stehen (biographische Merkmale von Studierenden und Lehrenden, Umgebungsbedingungen wie Lichtverhältnisse). In einem komplexen Versuchsplan konnten unterschiedlich hohe Varianzanteile durch die potentiellen Biasvariablen aufgeklärt werden. Speziell auf frei gewählte Seminare und Ubungen hatten diese Variablen nur geringe Effekte, d.h., sie konnten die oben angeführten Vermutungen bestätigen, daß Interesse die einzige Variable ist, die über alle Substichproben hinweg systematisch mit den Urteilen der Studierenden kovariiert. Daraus läßt sich der Schluß ziehen, daß bei der Beurteilung einer Lehrveranstaltungsevaluierung in jedem Fall das Interesse der Studierenden an der Lehrveranstaltung kontrolliert werden sollte.
Soll eine Serie von Lehrveranstaltungen von den Teilnehmern bewertet werden, dann handelt es sich in der Regel um "gemittelte" globale Urteile. Die oben genannten Verfahren für einzelne Lehrveranstaltungen lassen sich hier in modifizierter Weise ebenfalls einsetzen.
Die Antworten auf diese Fragen können inhaltsanalytisch bearbeitet zur Verbesserung von Lehrveranstaltungen eingesetzt werden. Allerdings gilt hier ähnliches wie für die im vorigen Abschnitt angeführten anderen offenen Erhebungsmethoden.
Ein interessantes Evaluationsverfahren wird von Jane Kirchner (1996) vorgestellt. Es besteht im Wesentlichen aus zwei Erhebungsinstrumenten, die eine Kombination quantitativer und qualitativer Daten ermöglichen. Es handelt sich um zwei Antwort-Matrizen, die durch Unterrichtsbeobachtungen und Lehrerinterviews begleitet werden.
Matrix I enthält einen Fragebogen für die Lernenden und umfaßt zwölf Fragen, die die Lernenden mit "Ja", "Nein" oder "Unentschieden" schriftlich beantworten.
Matrix I: Fragebogen für Studierende über Erfüllung von vier Funktionen guten Unterrichts
klare Information |
sinnvolle Praxis |
informative Rückkoppelung |
starke Motivation |
|
Methoden |
1. Glaubst Du, daß alle Aktivitäten für die Erreichung der Kursziele wichtig sind? |
2. Steht Dir genug Zeit zum Erlernen und Anwenden des Neuen zur Verfügung? |
3. Wirst Du über Deinen Lern-fortschritt informiert und beraten? |
4. Lernst Du gern in dieser Veranstaltung? |
Bewertung |
5. Prüfen Tests das, was Du Dir tatsächlich angeeignet hast? |
6. Geben Dir Bewertungssituationen Raum zum Lernen? |
7. Informieren Dich Prüfungsergebnisse über Deine Lern-tärken und Lern- schwächen? |
8. Motivieren Prüfungsergebnisse Dein weiteres Lernen? |
Inhalt |
9. Findest Du die Lehrinhalte für Deine spätere Laufbahn wichtig? |
10. Gibt Dir die Lehrveranstaltung Raum für sinnvolle Praxis? |
11. Stellst Du im bisherigen Verlauf der Lehrveranstaltung Deinen eigenen Lernzuwachs fest? |
12. Fühlst Du Dich ermuntert, eigene Erfahrungen in die Lehrveranstaltung einzubringen? |
Matrix II besteht aus einem Leitfrageninterview und zielt auf das Rückkoppelungsverhalten der Lernenden im Hinblick auf die drei Komponenten des Lehr-Lern-Prozesses (Methoden,Bewertung, Inhalt) ab. Die Interviews geben Einsicht in die Rückkoppelungssituation der Lehrveranstaltung aus studentischer Sicht. Die Entwicklung der Interviewleitfragen beruht auf der Einsicht, daß Lernen dann eintritt und effektiv ist, wenn die Lernenden selbst aktiv am Lehr-Lern-Prozes teilnehmen. Das schließt ihr aktives Rückkoppelungsverhalten über das, was in der Lehrveranstaltung geschieht, ein.
Matrix II: Rückkoppelungsverhalten der Studierenden
informative Rückkoppelung |
rechtzeitige Rückkoppelung |
motivierende Rückkoppelung |
ergebnis-orientierte Rückkoppelung |
auf Verbesserung abzielende Rückkoppelung |
|
Methoden |
1. Fragst Du die Lehrkraft, was von Dir erwartet wird? |
2. Teilst Du der Lehrkraft mit, daß Du bereit bist, im Stoff weiterzugehen? |
3. Sagst Du der Lehrkraft, wie Du am besten lernst und welche Aktivitäten Dir besonders gefallen? |
4. Beschwerst Du Dich, wenn Du denkst, daß die Aktivitäten nicht wichtig für die Entwicklung Deiner Kompetenzen sind? |
5. Schlägst Du der Lehrkraft vor, wie der Unterricht verbessert werden könnte? |
Bewertung |
6. Versuchst Du zu erfahren, was Prüfungsergebnisse Dir über Dein Lernen sagen? |
7. Signalisierst Du der Lehrkraft, daß Du bereit bist, Dich einer Leistungsüberprüfung zu unter-ziehen? |
8. Akzeptierst Du Prüfungsergebnisse und ziehst sie für Dein weiteres Lernen in Betracht? |
9. Fragst Du die Lehrkraft, inwiefern sich Dein Leistungs-vermögen in den Noten wider-spiegelt? |
10. Versuchst Du, Auskünfte über Deine Lernleistungen über Tests hinaus zu bekommen? |
Inhalt |
11. Fragst Du die Lehrkraft, warum Du bestimmte Inhalte aneignen sollst? |
12. Forderst Du von der Lehrkraft, daß sie Dir genug Zeit zum Lernen ein- |
13. Bringst Du Deine Motivation zum Ausdruck, wenn neue Inhalte behandelt werden? |
14. Fragst Du, inwiefern die Lehrveranstaltung Fortschritte macht? |
15. Schlägst Du der Lehrkraft inhaltliche Veränderungen oder Anpassungen vor? |
Alle angeführten Verfahren sind sinnvollerweise nur in Zusammenhang mit anderen Maßnahmen der begleitenden Evaluation zu betrachten, denn letztlich ersetzt kein noch so ausgeklügeltes Instrumentarium das interaktive Entwickeln optimaler Lehr- und Lernformen. Wawrzinek (1995) zeigt in seinem dialogischen Modell der Evaluation, welches auf Reziprozität beruht, daß im universitären Lehrbetrieb auf Dauer nur die (Re?)Etablierung egalitäre Elemente zu einer Verbesserung führen kann. Alle hier beschrieben Verfahren können letztlich nur als bescheidenes Hilfsmittel dazu dienen, das Sensorium der Lehrenden und Lernenden für Unterrichtsprozesse zu verfeinern.
Auch wenn hier vorwiegend schriftliche Verfahren dargestellt wurden, ist die Fragebogenmethode letztlich nur ein oft notwendiger Kompromiß. Haake & Fischer (1993, S 161) schreiben aus studentischer Sicht dazu: "Evaluation, die nicht ins Leere greifen will, darf sich methodisch nicht auf Fragebogenaktionen beschränken, sondern sollte qualitative Methoden bevorzugen. Inhaltlich dürfen nicht nur Lehrveranstaltungen thematisiert werden (...) Ziel sollte sein, Lehre als Ganzes zum Thema zu machen."