Methode und technische Realisierung
Da sich die Universität Linz im Zusammenhang mit der Entwicklung eines neuen Leitbildes auch im Bereich der elektronischen Medien (Linzer Rechtsstudien via Internet, KUSSS) profilieren möchte, und auch im Bereich der Evaluations schon einige Anstrengungen in dieser Richtung unternommen hatte (Lehrveranstaltungsevaluation LIQUIS, Leistungsüberprüfung in Lehrveranstaltungen via Moodle, Lehrveranstaltungsevaluation an der Abteilung PPP), sollte sich diese Studie des Mediums Internet bedienen, wobei auf Grund der geringen Anzahl der Studierenden der gegenständlichen Abteilung kein aufwändiges Erhebungsszenario - etwa via Datenbank - sinnvoll schien. Die Wahl fiel auf eine auch im Zusammenhang mit der eigenen Forscchung zur Evaluation von Lehrveranstaltungen (Stangl 1996) und im Rahmen des Projekts BWL 2000 (Stangl 1999) erprobte Form eines Online-Formulars, das über die Homepage der Abteilung PPP zugänglich war.
Technisch realisiert wird der Test über ein Online-Formular, das nach der Bearbeitung des Fragebogens die Daten über ein PHP-Script ohne Hinweis auf den Absender an eine Mailadresse weiterleitet. Ein Datensatz stellt sich im Body der mail in folgender Form verschlüsselt dar:
UserBrowser=Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.0.3705; .NET CLR 1.1.4322)& UserTime=Montag, 16. Mai 2005 20:48:12& FRAGE1=3&FRAGE2=0&FRAGE3=2&FRAGE4=2&FRAGE5=3&FRAGE6=0&FRAGE7=0&FRAGE8=0&FRAGE9=3&FRAGE10=0& FRAGE11=0&FRAGE12=2&FRAGE13=0&FRAGE20=Für ganztätgig berufstätige Studentinnen ist es sehr schwer manche Lehrveranstaltungen zu besuchen, da sehr selten Tages- / Wochenrandtermine angeboten werden.&FRAGE21=1&FRAGE22=3&FRAGE23=1&Name= Abschicken &
Diese Datensätze werden via Mail-Client in einem Ordner gesammelt und als Text-Datei in ein Excel-Formular übertragen, wobei das "&" als Trennzeichen für die einzelnen Variablen dient. Mittels eines dafür entwickelten Makros werden die Mail-Daten von den Headerzeilen und den Variablenbezeichnungen "gereinigt", sodass eine Datenmatrix übrig bleibt, die direkt in SPSS oder ein anderes Statistikprogramm übernommen und statistisch verarbeitet werden kann.
Population
Um eine Gesamterhebung aller StudentInnen der Abteilung durchzuführen, wurden zwei Listen von Mailadressen der StudentInnen erstellt: Die erste enthielt alle StudentInnen, die im Sommersemester 2005 eine oder mehrere Lehrveranstaltungen an der Abteilung PPP besuchten. Sie umfasste 557 Adressen. Die zweite Liste umfasste mit 881 all jene StudentInnen der Abteilung, die jemals im Lehrveranstaltungsverwaltungssystem KUSSS registriert worden waren. Die erste Liste ist daher eine Teilmenge der zweiten, sodass sich eine Grundpopulation von 881 Personen ergibt, die zu dieser Erhebung vollständig eingeladen wurde.
Erhebungsablauf
Das Mail-Formular wurde zunächst Anfang April 2005 ohne jegliche Werbemaßnahme unter dem Header der Homepage der Abteilung angekündigt, wobei diese gleichzeitig mit der Ankündigung der Herbsttagung des ÖFEB "Schauen, was 'rauskommt - ÖFEB-Jahrestagung '05 vom 29.9. bis 1.10.2005" online ging. Daneben wurde auf die Neuerscheinung des Buches von Herbert Altrichter, Elgrid Messner & Peter Posch "Schulen evaluieren sich selbst" hingewiesen, welches sich mit dem Thema der Evaluation von Bildungseinrichtungen beschäftigt.
Nach dieser ersten "Freiwilligenphase" - die erwartungsgemäß eher schleppende Rückmeldungen erbrachte (siehe dazu Ergebnisse: Rücklauf) - wurden jene StudentInnen via mail angeschrieben, die in diesem Semester eine Lehrveranstaltung besuchen (Liste 1):
Von: werner stangl <west@jku.at> Datum: 13. April 2005 14:48:01 GMT+02:00 An: werner.stangl@jku.at Betreff: Evaluation der Abteilung PPP Liebe Kollegin, lieber Kollege, Sie erhalten diese Nachricht, da Sie derzeit eine Lehrveranstaltung der Abteilung „Pädagogik und Pädagogische Psychologie" besuchen. Zur Verbesserung unserer Serviceleistungen führen wir eine kleine Evaluationsstudie durch, bei der Sie das Angebot unserer Abteilung benoten können. Neben der Bewertung bitten wir Sie auch um Vorschläge zur Verbesserung. Der kurze Fragebogen wird bis Ende April online zugänglich sein und ist in ca. 5 Minuten zu beantworten. Die Ergebnisse dieser Evaluationsstudie werden gegen Ende des Semesters auf der Abteilungshomepage veröffentlicht. Sie kommen zum Fragebogen über die Titelseite der Abteilung bzw. mit einem Klick auf den folgenden URL: http://paedpsych.jku.at/evaluation/institut.html Vielen Dank für Ihre Mitarbeit! 8-}) Werner Stangl mailto:werner.stangl@jku.at w3: http://paedpsych.jku.at/
Nach der Frist von einer Woche wurden alle StudentInnen der Liste 2 angemailt, durch welche die Datenbasis durch die Einbeziehung früherer Semester erweitert werden sollte. Diese zweite Einladung war daher explizit nicht als Erinnerungsmail konzipiert. Da nach der ersten Einladung relativ wenige ProbandInnen die Möglichkeit zur verbalen Konkretisierung ihrer Kritik genutzt hatten, wurde in dieser zweiten mail darauf explizit hingewiesen.
Von: werner stangl <west@jku.at> Datum: 19. April 2005 11:11:28 GMT+02:00 An: werner.stangl@jku.at Betreff: Evaluation PPP - 2. mail Liebe Kollegin, lieber Kollege, wie Sie vielleicht wissen, führen wir zur Verbesserung unserer Serviceleistungen eine kleine Evaluationsstudie durch, bei der Sie das Angebot unserer Abteilung benoten können. Neben der Bewertung bitten wir Sie auch um Vorschläge zur Verbesserung. Begründen Sie nach Möglichkeit auch Ihre Kritikpunkte. Der kurze Fragebogen ist bis Ende April online zugänglich und kann in ca. 5 Minuten beantwortet werden. Da die Evaluation anonym erfolgt und wir die KollegInnen nicht feststellen können, die sich schon beim ersten Durchlauf beteiligt haben, bitten wir alle, die den Fragebogen bereits online ausgefüllt haben, diese Mail zu ignorieren. Die Ergebnisse der Evaluationsstudie werden gegen Ende des Semesters auf der Abteilungshomepage veröffentlicht. Sie kommen zum Fragebogen über die Titelseite der Abteilung bzw. mit einem Klick auf den folgenden URL: http://paedpsych.jku.at/evaluation/institut.html Vielen Dank für Ihre Mitarbeit! 8-}) Werner Stangl mailto:werner.stangl@jku.at w3: http://paedpsych.jku.at/
Am 28. April wurde eine dritte Einladung - dieses Mal explizit als letzte Erinnerungsmail - abgesandt.
Liebe Kollegin, lieber Kollege, die zur Verbesserung unserer Serviceleistungen durchgeführte Evaluationsstudie, bei der Sie das Angebot unserer Abteilung benoten können, ist nur noch bis zum 30. April 2005 online. Falls Sie den Fragebogen bereits online ausgefüllt haben, ignorieren Sie diese Mail. Alle anderen werden zum letzten Mal eingeladen, den kurzen Fragebogen auf http://paedpsych.jku.at/evaluation/institut.html auszufüllen und Verbesserungsvorschläge zu machen. Die Ergebnisse der Evaluationsstudie werden gegen Ende des Semesters auf der Abteilungshomepage veröffentlicht. Vielen Dank für Ihre Mitarbeit! 8-}) Werner Stangl mailto:werner.stangl@jku.at w3: http://paedpsych.jku.at/
Diese dritte Mail erbrachte nur mehr einen geringen Nachlauf von Fragebogenformularen bzw. -daten. Der Link zum Fragbogen wurde am 1. Mai vom Netz genommen. Hinweis: Der im Rahmen dieser Arbeit präsentierte Fragebogen ist ein 1:1 Mirror des verwendeten Originals, das vom Netz genommen wurde.
Die Gesamtdauer der Datenerhebung umfasste daher einen Monat, wobei die gezielte Einbeziehung der StudentInnen der Abteilung über den Zeitraum von zwei Wochen lang erfolgte. Diese Dauer sollte auch bei einer Übertragung auf andere Institutionen in Erwägung gezogen werden.
Der Fragebogen
Das Online-Formular enthielt 12 geschlossene Fragen, die sich jeweils auf einen speziellen Arbeitsbereich der Abteilung bezogen, eine geschlossene Frage bezog sich auf die Abteilungs insgesamt. Diese Fragen erhielten Alternativen nach dem Prinzip der Schulnoten, wobei explizit darauf hingewiesen wurde, nur jene Bereiche zu benoten, von denen eine genauere Kenntnis vorlag. Anmerkung: Die aus methodischen Gründen problematische Verwendung von Noten - besonders was die Skalenqualität für eine statistische Verarbeitung der Daten betrifft - wurde bewusst in Kauf genommen. In der Folge werden die Notendaten als intervallskaliert betrachtet.
Zur Unterstützung der Beurteilung und um zu verhindern, dass sich die Bewertungen möglicherweise auf eine andere Abteilung oder einen anderen Bereich des Studienalltags beziehen, wurden in die Statements nach Möglichkeit Links zu den jeweiligen Webseiten des zu beurteilenden Bereiches eingefügt, die sich beim Anklicken in einem Zusatzfenster öffneten. Aus den Logfiles bzw. den Referrern zu der Testseite ließ sich jedoch entnehmen, dass davon kaum Gebrauch gemacht wurde.
Eine offene Frage bat um zusätzliche Anmerkungen, Kritik oder Verbesserungsvorschläge, wobei auf diese in der 2. Einladung besonders hingewiesen worden war.
Drei Fragen richteten sich auf für die Befragung relevante demoskopischer Merkmale (Studienrichtung, Anzahl der bisher besuchten Lehrveranstaltungen der Abteilung, Geschlecht)
Nach dem Absenden des Online-Formulars erhielten die TeilnehmerInnen eine kurze Dankesmeldung, die über das PHP-Übermittlungsskript programmiert wird.
Das feedback an die TeilnehmerInnen
Früher als vorgesehen konnte das geplante Feedback zur Evaluation den TeilnehmerInnen in Form dieses Textes zur Verfügung gestellt werden, was mit folgender Mail an 881 StudentInnen (Liste 2) geschah:
Liebe KollegInnen, die Evaluierung der Abteilung PPP wurde ausgewertet und liegt nun im Internet zur gefälligen Lektüre vor: <http://paedpsych.jku.at/ezine/2005/stangl05/default.shtml> Die Ergebnisse der Evaluation können im neu eröffneten Thread im Diskussionsboard der Abteilung diskutiert werden: <http://www.forumromanum.de/member/forum/forum.php?action=std_tindex&USER=user_75287&threadid=2> Dafür ist eine einfache Registrierung notwendig. 8-}) Werner Stangl Institut fuer Paedagogik und Psychologie der Universitaet Linz mailto:werner.stangl@jku.at w3: http://paedpsych.jku.at/
Über die Diskussion - falls eine zu Stande kommt - wird ebenfalls hier zu berichten sein.
Interesse der StudentInnen am Ergebnis der Evaluation
Nach der Veröffentlichung der Studie am 16. Juni 2005 kam es in den folgenden Tagen zu einem leicht erhöhten Zugriff auf das e-zine p@psych. Schätzt man auf Grund der Zuwächse das Interesse der StudentInnen an den Ergebnissen der Evaluation, so findet man etwa 300 KollegInnen, die auf diese Seite zugegriffen haben. Eine Diskussion im Forum PPP kam bisher nicht zustande (Stand Mittwoch, 29. Juni 2005).
<-- Ausgangssituation | Ergebnisse -->
