Österreichische Gesellschaft für Psychologie (ÖGP) |
|
Vorbemerkungen
Intentionen
Der anhaltende Diskussionsprozeß zur Evaluationsthematik ist vielfach durch Informationsmängel und Unsicherheit geprägt. Dies hat die Österreichische Gesellschaft für Psychologie (ÖGP) veranlaßt, das vorliegende Papier zu verfassen. Es verfolgt im wesentlichen drei Intentionen:
Erstens wird eine kurze allgemeine Einführung in Evaluation unter Berücksichtigung des aktuellen Forschungsstandes gegeben, die eine Basis für die Bewertung von Evaluationsmaßnahmen liefern soll.
Zweitens werden die Unterschiede zwischen der Evaluierung von Lehre und der Evaluierung von Lehrveranstaltungen herausgearbeitet.
Drittens werden Empfehlungen für die Durchführung der gesetzlich vorgeschriebenen Bewertung von Lehrveranstaltungen durch Studierende formuliert. Dabei werden Möglichkeiten und Grenzen dieses Evaluierungsansatzes aufgezeigt. Diese Empfehlungen sind nicht als Handanweisungen konzipiert, sondern dienen als Informationsgrundlage.
Abschließend wird ein Resümee gezogen.
Obwohl wir die Evaluierung des gesamten Aufgabenprofils von Lehrenden und Institutionen für höchst wichtig erachten, gehen wir hier, um das Papier nicht zu überfrachten, nicht auf die Evaluierung von Forschung- und Verwaltungstätigkeiten ein, sondern beschränken uns in unseren Ausführungen auf den Lehraspekt.
Aus Gründen der Übersichtlichkeit und der angestrebten
Kürze sind die Formulierungen teilweise schlagwortartig. An
manchen Stellen wird ergänzend auf die Ergebnisse empirischer
Studien Bezug benommen.
Präsident: Univ.-Prof. Dr. Gerold Mikula |
Schriftführer: Univ.-Prof. Dr. Urs Baumann |
Kassierin: Univ.-Prof. DDr. Christiane Spiel |
Rahmenbedingungen
Im österreichischen Bundesgesetz über die Organisation von Universitäten (UOG 1993, BGBl. Nr. 805, § 18 Abs. 2 und 7 in Verbindung mit § 8 Abs. 2), konkretisiert in der Evaluierungsverordnung (EvalVO; BGBl. Nr. II 224/1997), ist die Evaluierung der österreichischen Universitäten, im speziellen die Bewertung von Lehrveranstaltungen durch Studierende, gesetzlich vorgeschrieben. In den letzten Jahren hat sich auch für Bildungsinstitutionen zunehmend mehr abgezeichnet, daß eine nachhaltige Qualitätssteigerung nur im Rahmen eines systematischen Qualitätsmanagements erreichbar ist, in dem evaluationsgestütztes Controlling einen integraler Bestandteil darstellt. In den Erläuterungen zur EvalVO wird auch darauf hingewiesen.
Bemerkungen zu den gesetzlichen Bestimmungen
Die Einführung einer Evaluierung an Universitäten und deren Ziele (siehe EvalVO) werden von der Österreichischen Gesellschaft für Psychologie grundsätzlich begrüßt. Allerdings erfüllen die vorliegenden Gesetzestexte nicht den gestellten Anspruch. Die gesetzlich festgeschriebenen Evaluierungen sind nach Gegenständen gegliedert (Lehrtätigkeiten, Forschungstätigkeiten, etc.) und sehen keine integrative Betrachtung aller Leistungen einer evaluierten Einrichtung vor. Sie berücksichtigen nicht, daß diese Gegenstände durch die Person des/der Lehrenden eine Einheit darstellen, die auch in der Form der Evaluation ihren Niederschlag finden sollte. Eine faire und sinnvolle Beurteilung universitärer Leistungen ist nur im Kontext des gesamten Aufgabenprofils (Lehre, Forschung, Selbstverwaltung, etc.) inklusive der vorhandenen Rahmenbedingungen möglich. In den derzeit vorliegenden Gesetzesvorgaben fehlt die Integrierung der Evaluierung in ein systematisches Qualitätsmanagement an Universitäten und damit auch in Personalenwicklungsmaßnahmen.
Weiters sieht der Gesetzestext zwei Evaluierungsinstrumente
ausdrücklich vor (Arbeitsberichte der Institutsvorstände
und Lehrveranstaltungsbewertungen durch Studierende), ohne diese zu
begründen und ohne auf ihre Aussagekraft bzw. ihren Stellenwert
im Kontext anderer Evaluierungsmethoden einzugehen.
Inhalt
1 |
Allgemeines zu Evaluation ......................................................................................... |
4
|
1.1 |
Was ist Evaluation?........................................................................................................ |
4
|
1.2 |
Welche Arten von Evaluationsvorhaben werden unterschieden? (Begriffsklärung) ........... |
4
|
1.3 |
Welche generellen Voraussetzungen sollten bei Evaluierungen erfüllt sein?....................... |
5
|
1.4 |
Welche Fragen sind vor der konkreten Durchführung von Evaluierungen zu klären? |
6
|
2 |
Evaluierung von Lehre ............................................................................................... |
7
|
2.1 |
Die entscheidende Frage: Was ist gute Lehre? .............................................................. |
7
|
2.2 |
Welche Indikatoren gibt es für die Bewertung von Lehre? .............................................. |
7
|
2.3 |
Was kann die gesetzlich vorgeschriebene Bewertung von
Lehrveranstaltungen |
8
|
2.4 |
Welche Indikatoren gibt es für die Bewertung von Lehrveranstaltungen? ........................ |
8
|
3 |
Empfehlungen für die Durchführung der gesetzlich vorgeschriebenen Bewertung von Lehrveranstaltungen durch Studierende .................................................................. |
9
|
3.1 |
Worauf ist bei der Erstellung eines Fragebogens zu achten? ........................................... |
9
|
3.1.1 |
Informationsquellen ...................................................................................................... |
9
|
3.1.2 |
Inhalte des Fragebogens ............................................................................................... |
9
|
3.1.3 |
Bewährte Instrumentformen ......................................................................................... |
10
|
3.2 |
Welche praktischen Aspekte sind zu berücksichtigen? .................................................. |
10
|
3.3 |
Wovon werden die Bewertungen der Studierenden beeinflußt? ..................................... |
11
|
3.4 |
Was kann man tun, um den Einfluß von Störfaktoren auf die studentische Lehrveranstaltungsbewertung möglichst gering zu halten? ................................................ |
11
|
4 |
Resümee ...................................................................................................................... |
12
|
4.1 |
Was können Beurteilungen von Lehrveranstaltungen durch Studierende leisten? ............... |
12
|
4.1.1 |
Informationswert für Lehrende ....................................................................................... |
12
|
4.1.2 |
Informationswert für die Studienrichtung (das Institut) .................................................... |
12
|
4.2 |
Ist eine Qualitätssteigerung der Lehre aufgrund der Beurteilung der Lehrveranstaltungen durch Studierende zu erwarten? ................................................................................... |
13
|
4.3 |
Wie kann Evaluierung zu Qualitätssteigerung führen? ................................................... |
13
|
1 Allgemeines zu Evaluation
1.1 Was ist Evaluation?
Unter Evaluation wird die systematische Analyse und empirische Untersuchung von Konzepten, Bedingungen, Prozessen und Wirkungen zielgerichteter Aktivitäten verstanden. Dabei werden sowohl Effektivität (Grad der Zielerreichung) als auch Effizienz (Verhältnis von Nutzen und Kosten) bewertet. Gegenstände von Evaluierungen sind Programme, Interventionsmaßnahmen, Produkte, Institutionen, Personen, etc.
Evaluation
Die Ableitung von Konsequenzen aus den Ergebnissen von Evaluierungen impliziert eine große Verantwortung der Evaluatoren. Umso mehr ist zu fordern, daß Evaluierungen durch Experten und Expertinnen durchgeführt werden, damit sie den Standards wissenschaftlicher Erkenntnisprozesse genügen.
Evaluation ist als Prozeß zu verstehen, wobei auch das Evaluationssystem, d.h. die eingesetzten Methoden und Instrumente, offen und "lernfähig" sein sollte. Ebenso ist zu berücksichtigen, daß auch der Qualitätsbegriff nicht statisch ist, sondern Wandlungen unterliegt.
1.2 Welche Arten von Evaluationsvorhaben werden unterschieden? (Begriffsklärung)
Evaluationsvorhaben können nach den folgenden Gesichtspunkten eingeteilt werden:
(1) Einteilung nach dem Gegenstand der Evaluation in
Implementations- oder
Wirkungsforschung;
(2) Einteilung nach Zeitpunkt und Zweck der Evaluation in
formative oder summative
Evaluation;
(3) Einteilung nach der Herkunft der Evaluatoren in Selbst- oder Fremdevaluation;
(4) Einteilung nach der Bewertungsinstanz in intern oder extern konzipierte Evaluation.
1.3 Welche generellen Voraussetzungen sollten bei Evaluierungen erfüllt sein?
(1) Festlegung erreichbarer Ziele
(2) Kenntnisse über die angemessene Vorgehensweise zur Erreichung der Ziele
(3) Kriterien zur Bewertung der Zielerreichung
(4) Vorhandensein von Ressourcen
(5) Akzeptanz der Evaluierung durch die zu evaluierenden Personen
(6) Bereitschaft zur Akzeptanz der Evaluierungsergebnisse durch Entscheidungsträger (Auftraggeber der Evaluierung)
Zur Prüfung, inwieweit diese Voraussetzungen gegeben sind, ist das gedankliche Durchspielen verschiedener Evaluationsvarianten inklusive entsprechender Konsequenzen zu empfehlen.
1.4 Welche Fragen sind vor der konkreten Durchführung von Evaluierungen zu klären?
Die Beantwortung dieser Fragen ist nicht unabhängig voneinander möglich.
2 Evaluierung von Lehre
Evaluierung von Lehre, die den vielen Facetten von Lehre gerecht wird, ist veranstaltungs- und dozentenübergreifend. Sie inkludiert ebenso die Evaluierung der Ausbildungsinhalte, der Studienpläne bzw. Curricula, der Qualifikationsprofile von Absolventen, wie die Evaluierung der Ausstattung (z.B. hinsichtlich EDV, Bibliothek, Hörsälen etc.) und einzelner Lehrveranstaltungen. Die Evaluierung von Lehre umfaßt jedoch auch die Evaluierung von Studienzeiten, Absolventenchancen, etc.
2.1 Die entscheidende Frage: Was ist gute Lehre?
Voraussetzung für die Evaluierung von Lehre ist die Klärung der Fragen
(Diese Diskussion wurde bisher nicht oder nicht ausreichend geführt.)
2.2 Welche Indikatoren gibt es für die Bewertung von Lehre?
Es gibt eine Vielzahl von Indikatoren für die Bewertung von Lehre, jedoch keinen, der für sich genommen, alle Aspekte ausreichend abdeckt. Außerdem weisen alle Indikatoren gewissen Vor- und Nachteile auf.
Die folgende Aufzählung der Indikatoren ist exemplarisch und erhebt keinen Anspruch auf Vollständigkeit:
2.3 Was kann die gesetzlich vorgeschriebene Bewertung von Lehrveranstaltungen durch Studierende leisten?
Die in der Evaluierungsverordnung konkretisierte Bewertung von Lehrveranstaltungen durch Studierende (§ 6 (1)) ist nicht gleichzusetzen mit der Evaluierung von Lehre, denn sie bezieht sich nur auf einen Teilaspekt davon.
Die Beurteilung von Lehrveranstaltungen durch Studierende ist auch nur bedingt eine Evaluierung im Sinne der gängigen Definition von Evaluation. Denn eine wesentliche Vorraussetzung dafür ist die Festlegung von Zielen, deren Erreichung überprüft und bewertet wird. Dies könnte z.B. dadurch geschehen, daß zu Beginn der Lehrveranstaltung didaktische Kriterien festgelegt werden, deren Einhaltung bewertet wird. In den meisten Fällen stellt die Bewertung von Lehrveranstaltungen durch Studierende jedoch analog zur Meinungsforschung die Erhebung, Aufbereitung und Auswertung bewertender (= evaluierender) Aussagen dar. Dennoch kommt ihr aus der Perspektive des Qualitätsmanagements ein durchaus relevanter Stellenwert zu (siehe auch später).
Empirische Studien zeigten, daß Studierende organisatorische und motivationale Aspekte recht gut beurteilen können, weniger jedoch wissenschaftliche Aspekte.
2.4 Welche Indikatoren gibt es für die Bewertung von Lehrveranstaltungen?
Die folgende Aufzählung ist exemplarisch und erhebt keinen Anspruch auf Vollständigkeit:
Diese Indikatoren sind zum Teil prozeß- bzw. verhaltensorientiert (z.B. Selbsteinschätzung der Lehrenden, Bewertung durch TeilnehmerInnen), zum Teil outputorientiert (z.B. Lernerfolg der Studierenden).
Aufgrund der Einfachheit der Erfassung wird die Beurteilung von Lehrveranstaltungen durch Studierende (TeilnehmerInnen) als häufigster (und oft einziger) Indikator für die Qualität von Lehre herangezogen.
Einige Bereiche (z.B. Struktur, Engagement, Klarheit) konnten in einer Reihe von Studien repliziert werden; in anderen Bereichen zeigten sich Unterschiede zwischen verschiedenen Wissenschaftsdisziplinen. Das heißt, man kann nicht davon ausgehen, daß ein allgemeingültiger Konsens darüber besteht, was gute Lehre ist und welche Relevanz den verschiedenen Bereichen zukommt. Die Wirksamkeit unterschiedlicher Lehraspekte gilt auch für verschiedene Veranstaltungstypen (Seminare, Vorlesungen, Praktika, etc.) und zum Teil auch innerhalb von Studienfächern (z.B. bestehen Unterschiede zwischen methoden- und praxisorientierten Lehrveranstaltungen).
3 Empfehlungen für die Durchführung der gesetzlich vorgeschriebenen Bewertung von Lehrveranstaltungen durch Studierende
Die folgenden Empfehlungen basieren auf den Ergebnissen vieler empirischer Studien. Sie sind, wie bereits einleitend ausgeführt, nicht als Handanweisungen, sondern als Informationsgrundlage zu verstehen.
3.1 Worauf ist bei der Erstellung eines Fragebogens zu achten?
3.1.1 Informationsquellen
Um eine Wissensbasis für die Erstellung von Fragen und Skalen zu gewinnen, sollten zumindest folgende drei Informationsquellen herangezogen werden:
3.1.2 Inhalte des Fragebogens
Mit dem Fragebogen sollten Informationen über zumindest folgende Bereiche erhoben werden:
3.1.3 Bewährte Instrumentformen
Am günstigsten haben sich Instrumente erwiesen, die aus folgenden Elementen bestehen:
3.2 Welche praktischen Aspekte sind zu berücksichtigen?
3.3 Wovon werden die Bewertungen der Studierenden beeinflußt?
Zur Frage, inwieweit Studierende Lehrveranstaltungen valide bewerten, d.h. das Geschehen in diesen adäquat beschreiben können, liegen eine Vielzahl empirischer Studien vor. Als mögliche Einflußfaktoren auf die Bewertungen der Studierenden wurden u.a. Merkmale der Lehrenden, der Studierenden, Fach- und Veranstaltungscharakteristika und Charakteristika der Studienrichtung untersucht.
Die Ergebnisse zeigten über alle Studien hinweg, daß das Interesse der Studierenden am Inhalt der Veranstaltung diejenige Einflußgröße ist, die den höchsten Zusammenhang mit der Bewertung aufweist (je größer das Interesse, desto besser die Bewertung). Ebenfalls Zusammenhänge (jedoch nicht in allen Untersuchungen und weniger hoch) wurden auch für den Besuchsgrund gefunden (Pflichtveranstaltungen werden schlechter bewertet).
Des weiteren konnte beobachtet werden, daß ein Kernmerkmal die anderen Bewertungen beeinflußt (z.B. können aufgrund hohen Interesses am Thema alle Aspekte von Lehrveranstaltungen und alle Merkmale von Lehrenden positiv bewertet werden bzw. umgekehrt).
Außerdem zeigte sich, daß verschiedene Studierende dieselbe Lehrveranstaltung sehr unterschiedlich beurteilen, d.h nur geringe Übereinstimmung zwischen ihren Urteilen bestehen. Die Bewertungen der Studierenden unterscheiden sich auch systematisch. Sie sind z.B. umso besser, je besser der Lernerfolg ist und je häufiger die Studierenden in der LV anwesend sind.
3.4 Was kann man tun, um den Einfluß von Störfaktoren auf die studentische Lehrveranstaltungsbewertung möglichst gering zu halten?
4 Resümee
4.1 Was können Beurteilungen von Lehrveranstaltungen durch Studierende leisten?
Auch wenn Beurteilungen von Lehrveranstaltungen durch Studierende nur bedingt den Kriterien einer Evaluierung genügen, so bilden sie doch die Basis für eine sachliche Diskussion über Lehre und Studium zwischen Lehrenden und Studierenden. Sie liefern nicht nur für Studierende (Veröffentlichung der Evaluierungsergebnisse), sondern auch für Lehrende und die Studienrichtung (das Institut) bzw. die Fakultät wichtige Informationen.
Die folgenden Aufzählungen sind exemplarisch und erheben keine Anspruch auf Vollständigkeit.
4.1.1 Informationswert für Lehrende
4.1.2 Informationswert für die Studienrichtung (das Institut)
4.2 Ist eine Qualitätssteigerung der Lehre aufgrund der Beurteilung der Lehrveranstaltungen durch Studierende zu erwarten?
Die Ergebnisse einer großen Zahl empirischer Untersuchungen zeigten, daß die bloße Rückmeldung der studentischen Bewertung an die Lehrenden im Mittel zu keiner Verbesserung der Lehre führt.
Diese kann nur erreicht werden durch ein zusätzliches ausführliches, individuelles Beratungsgespräch oder, noch besser, durch Fortbildungsangebote. (Einbindung der Evaluierung an Universitäten in Personalentwicklungsmaßnahmen; fehlt bisher leider gänzlich).
4.3 Wie kann Evaluierung zu Qualitätssteigerung führen?
Sofern die Evaluierung von Lehre an Universitäten nicht Selbstzweck sein soll, sondern eine Maßnahme zur Qualitätssteigerung, müssen zumindest folgende Punkte berücksichtigt werden:
________________________________________________________________________
Für den Inhalt hauptverantwortlich: Univ.-Prof. DDr. Christiane Spiel
Wir bitten um Verständnis, daß der Vorstand der Österreichischen Gesellschaft für Psychologie aus Mangel an finanziellen und personellen Ressourcen über das vorliegende Papier hinaus keine Unterstützung hinsichtlich Evaluation anbieten kann.