Lehrveranstaltungsbegleitende Evaluation
(LVBE)

Faktorenstruktur des LVBE-Fragebogens

In der wissenschaftlichen Literatur (zusammenfassend vgl. Rindermann 1997a) wird häufig von der Mehrdimensionalität der Beurteilungen von LV-Analysen berichtet. Insbesondere zeigte (Rindermann 1997b, S. 231) anhand seiner zahlreichen Studien mit dem HILVE, daß bei einer Lehrbeurteilung zumindest folgende Komponenten in Betracht gezogen werden müssen:

Lehrbeurteilung =
Dozent + Studenten + Rahmenbedingungen + Interaktionsprodukte

Um nun die Dimensionalität des LVBE-Fragebogens auf Angemessenheit zu überprüfen, wurde anhand der Daten von 127 Beurteilungen des Lehrverhaltens in 9 verschiedenen Lehrveranstaltungen (davon 6 des Autors) eine nach der klassischen Testtheorie übliche Faktorenanalyse berechnet. Die Daten wurden dabei in einem Zeitraum von zwei Jahren erfaßt.

Dabei müssen aus sozialwissenschaftlich-empirischer Sicht diese Ergebnisse vorsichtig betrachtet werden, da die meisten Variablen einseitig verteilt sind und auch nur eine äußerst geringe Varianz aufweisen.

Alle untersuchten Lehrveranstaltungen hatten seminaristischen Charakter und erforderten eine aktive Beteiligung der Teilnehmer. Alle Dozenten waren aus dem Bereich der Pädagogik oder Psychologie und daher ist die überdurchschnittlich gute Bewertung zu erklären.

Um nun die Dimensionalität des LVBE zu überprüfen, wurde eine Faktorenanalyse (Hauptkomponenten, Varimax, Eigenwertkriterium) berechnet, die nach Extraktion von 6 Faktoren (es hatten zwar 7 Faktoren einen Eigenwert größer 1, jedoch waren dabei zwei Items isoliert) folgende rotierte Ladungsmatrix ergab:

Unter Berücksichtigung der Nebenladungen, die einige interessante Aufschlüsse über die Interdependenz der an einer Lehrveranstaltung beteiligten Faktoren geben, kommt es zu einer weitgehenden Bestätigung der bei der Konstruktion vermuteten zentralen Merkmale einer Lehrveranstaltungsbeurteilung. In der folgenden tabellarischen Übersicht sind die Items mit Ladungen größer .40 angeführt, wobei die fettgedruckten die rein statistisch zugewiesene Faktorenzugehörigkeit kennzeichnen:

1. FAKTOR:
"Kognitive" Qualität der LV-LeiterInnen

1.Klarheit der Informationen

6.Informationen, Arbeitsunterlagen

11.Kompetenz LV-LeiterIn

13.Präsentation, Erklärungen LV-LeiterIn

16.Auftreten, Engagement LV-LeiterIn

18.Eingehen auf Fragen LV-LeiterIn

14.Verständlichkeit LV-LeiterIn

29.allgemeine Zufriedenheit

2.Hörsaal, Seminarraum, Raumklima

8.Stoffauswahl,Informationsmenge, Komplexität

3.Studienplanstellung,Zielvorgaben

15.Vorkenntnisse berücksichtigen

25.persönliches Wohlfühlen

In diesem Faktor sind alle jene Variablen versammelt, die sich auf die von LV-LeiterInnen erwartete Unterrichtskompetenzen beziehen, wobei in diesem Faktor zwar die fachliche Seite des Unterrichts zentral ist, in einigen Items aber auch die emotionale Komponente (16, 29,25) angesprochen wird.
Dieser Faktor ist wohl der klassische Kompetenzfaktor, der in zahlreichen Untersuchungen über eine notenähnliche Skala erfaßt wird, was aber im Hinblick auf eine sinnvolle Evaluation relativ nutzlos ist, da in diesem simplifizierten feedback immer unklar bleibt, wo die DozentInnen nun bei der Verbesserung ansetzen müßten.

2. FAKTOR:
Kognitive und emotionale "StudentInnenqualität" -

24.Stoff-, Inhaltsbewältigung

25.persönliches Wohlfühlen

26.Motivation, Interesse

27.Konzentration, Aufmerksamkeit

28.Beteiligung

29.allgemeine Zufriedenheit

4.Organisation,Strukturierung

10.Relevanz,Sinn

13.Präsentation, Erklärungen LV-LeiterIn

16.Auftreten, Engagement LV-LeiterIn

17.Hilfsbereitschaft, Kritik LV-LeiterIn

23.Anforderungen, Schwierigkeit

In diesem Faktor sind alle Items versammelt, die unter dem Aspekt der Messung der Beteiligung der TeilnehmerInnen in den Fragbogen aufgenommen worden sind.
Dieser Faktor ist in gewissem Sinn als komplementär zum ersten aufzufassen, da erst im interaktionistischen Wechselspiel der Komponenten Leitung und TeilnehmerInnen das zu entstehen vermag, was gemeinhin als gute Lehre bezeichnet wird.

3. FAKTOR:
Qualität der Lehrveranstaltungsorganisation

3.Studienplanstellung,Zielvorgaben

4.Organisation,Strukturierung

9.Anwendungsbezug

10.Relevanz,Sinn

15.Vorkenntnisse berücksichtigen

8.Stoffauswahl,Informationsmenge, Komplexität

24.Stoff-, Inhaltsbewältigung

29.allgemeine Zufriedenheit

5.Medieneinsatzvariation

12.Aktualitätsbezug LV-LeiterIn

Die Variablen dieses Faktors beziehen sich einerseits auf die Abstimmung der Lehrveranstaltung im Rahmen des Studiums - teilweise auch auf deren Nachvollziehbarkeit für die StudentInnen. Da es sich bei den beurteilten Lehrveranstaltungen teilweise um solche handelt, die eine Einführung in das Studium bieten, ist dieser Faktor wohl auch als eine validitative Bestätigung zu interpretieren.
Dieser Faktor könnte im Sinne der Rindermannschen Formel (s.o.) den Rahmenbedingungen zugerechnet werden.

4. FAKTOR:
Soziale Qualität der KommilitonInnen - Lehrveranstaltungsklima

19.Mitarbeit, Zusammenarbeit TeilnehmerInnen

20.Mitbestimmung TeilnehmerInnen

21.Atmosphäre, Diskussionen TeilnehmerInnen

22.Solidarität, Kooperation TeilnehmerInnen

17.Hilfsbereitschaft, Kritik LV-LeiterIn

5.Medieneinsatzvariation

15.Vorkenntnisse berücksichtigen

In diesem Faktor finden sich alle jene Merkmale, die man in im schulischen Kontext wohl als Merkmale des Klassenklima bezeichnen würde. Da in der Datenbasis vorwiegend interaktionsreiche Lehrveranstaltungen aufscheinen, ist der gefundene Faktor als Validierungskriterium des Verfahrens zu betrachten.
Auch dieser Faktor ist einerseits wohl den Rahmenbedingungen zurechenbar, betrifft allerdings eher den emotional-sozialen Bereich und ist somit auch ein Aspekt der Interaktion.

5. FAKTOR:
Didaktische Qualität der Lehrveranstaltung

5.Medieneinsatzvariation

7.Arbeits-, Sozialformenvariationen

12.Aktualitätsbezug LV-LeiterIn

8.Stoffauswahl,Informationsmenge, Komplexität

20.Mitbestimmung TeilnehmerInnen

28.Beteiligung

14.Verständlichkeit LV-LeiterIn

17.Hilfsbereitschaft, Kritik LV-LeiterIn

27.Konzentration, Aufmerksamkeit

In diesem Faktor sind jene Merkmale zusammengefaßt, die die didaktische Qualität der LeiterInnen betreffen, also die pädagogisch adäquate Umsetzung der inhaltlichen Aspekte der Veranstaltung betreffen.
Dieser Faktor kann zwar durch die Lehrveranstaltungsleitung beeinflußt werden, ist aber auch teilweise durch Vorgaben im Studienplan (Übung, Seminar, Vorlesung) festgelegt.

6. FAKTOR:
Angepaßtheit der Schwierigkeit

23.Anforderungen, Schwierigkeit

14.Verständlichkeit LV-LeiterIn

17.Hilfsbereitschaft, Kritik LV-LeiterIn

16.Auftreten, Engagement LV-LeiterIn

1.Klarheit der Informationen

4.Organisation,Strukturierung

24.Stoff-, Inhaltsbewältigung

In diese Items sind vor allem Probleme der Schwierigkeit und Komplexität der Lehrveranstaltungsinhalte angesprochen, wobei auch einige Leiter-Variablen laden, die bei der Bewältigung wohl hilfreich für StudentInnen sein können (diese Ladungen sind erwartungsgemäß die einzigen negativen der gesamten Ladungsmatrix).
Dieser Faktor hebt letztlich ein weiteres interaktionistisches Merkmal einer Lehrveranstaltung hervor, da Schwierigkeit im Zusammenspiel von Studium, Lehrenden und Lernenden wahrgenommen und definiert wird.

Die Ergebnisse zeigen, daß der LVBE-Fragebogen annähernd dieselben Dimensionen wie andere testtheoretisch sauber konstruierten Verfahren aufweist. Insbesondere scheinen die von Rindermann (1997b) genannten vier zentralen Merkmale für die Beurteilung der universitären Lehre gut abgedeckt.

Die derzeitige Länge des Verfahrens sollte aber auf dem Hintergrund dieser Dimensionsanalyse überdacht werden, zumal einige Faktoren zumindest eine Zusammenfassung mancher Items nahelegen. Allerdings wird vorläufig auf eine Variablenreduktion verzichtet, da die Datenbasis dafür m.E. noch zu schmal ist - insbesondere müßten auch eher schlecht beurteilte Veranstaltungen einbezogen werden, um vor allem die diskriminative Validität des Verfahrens zu überprüfen. Da die LVBE derzeit vorwiegend im Rahmen pädagogischer Lehrveranstaltungen eingesetzt und auch für eine inhaltliche Auseinandersetzung verwendet wird, mögen einige Redundanzen wohl weniger problematisch sein.

©opyright Linz 1998 Werner Stangl.
Permission is hereby granted to use this document for personal use and in courses of instruction at educational institutions provided that the article is used in full and this copyright statement is reproduced. Permission is also given to mirror this document on WorldWideWeb servers. Any other usage is prohibited without the permission of the author. Please mail: werner.stangl@jku.at