Effektive Evaluation - quasiexperimentelle Studie zur Nutzung und zum Nutzen von Fortbildungsevaluationen

Informationen Datum

Effektive Evaluation - quasiexperimentelle Studie zur Nutzung und zum Nutzen von Fortbildungsevaluationen

Effektive Evaluation - eine Quasi-Experimentelle Studie zum Nutzen und zur Nutzung von Evaluationen durch Fortbildner_innen

Septermber 2015, Jochen Weißenrieder

Humboldt-Universität zu Berlin, 030 2093 47978 | jochen.weissenrieder@hu-berlin.de

Die Evaluation von Fortbildungen geht häufig mit einem hohen Aufwand für Lehrende und Teilnehmende einher, jedoch selten mit hohem Nutzen in Form von Weiterentwicklung der Fortbildung. Bisher weitestgehend getrennte Forschungslinien befassen sich mit dem Nutzen aus Programm-, Hochschul- oder Schulevaluationen, diese werden im Beitrag zusammengeführt und ein Wirkungsmodell für Fortbildungen abgeleitet. Vielen der bestehenden Ansätze und Theorien heben die Bedeutung der Einbindung aller Beteiligten hervor (z.B. Henry und Mark, 2003). Empirische Befunde belegen diese Annahme und verweisen zudem auf eine notwendige Unterstützung der Evaluierten, damit Rezeption und Reflexion gelingen kann und Veränderungen resultieren (z.B. Marsh & Roche, 1997; Groß Ophoff, Koch, Helmke & Hosenfeld, 2006). Auf die Evaluation von Fortbildungen wurden diese Erkenntnisse bislang nur selten angewandt oder empirisch untersucht.

Dieses Desiderat greift die quasiexperimentelle Studie mit folgender Forschungsfrage auf: Führt Einbindung der Fortbildnerinnen in die Evaluationsgestaltung und eine eng geführte schriftliche Reflexion zu besseren Ergebnissen, positiveren Einstellungen und Bewertungen sowie weitreichenderen Veränderungsabsichten?

20 Lehrende von Berliner Lehrerfortbildungen werden in einem 2*2 Design in Kontroll- und Interventionsgruppen eingeteilt. Dabei werden zwei Interventionen untersucht: Erstens die Einbindung in die Gestaltung der Evaluation und zweitens die schriftliche Anleitung im Reflexionsprozess. Die Einbindung der Lehrenden erfolgt über eine Mitsprache beim Fragebogendesign. Die Lehrenden wählen Befragungsschwerpunkte aus und formulieren fortbildungsspezifische Ziele und Fragen. Die schriftliche Anleitung im Reflexionsprozess erfolgt in Anlehnung an die FiWe Methode von Beywl et al. und den Evaluation to Change Ansatz von Adams et al. (2014).

Drei Hypothesen stehen im Fokus der Studie:

H1: Die Einbindung führt zu besseren Evaluationsergebnissen der Fortbildung, da sich die Lehrenden im Rahmen der Einbindung ihre Lehr-Lern-Ziele bewusst machen (Sensibilisierungshypothese, Rindermann 2001; bzw. Prozess-Nutzen, Patton, 1998).

H2: Beide Interventionsgruppen bewerten aufgrund der Einflussmöglichkeiten (Einbindung und Deutungshoheit) die spezifische Evaluation besser als die jeweiligen Kontrollgruppen (konzeptioneller Nutzen, Weiss und Buccavalas, 1980).

H3: Die Interventionen führen zu mehr und intensiveren Veränderungsabsichten (Beratungsansatz, z.B. Marsh und Roche, 1997; bzw. Instrumenteller Nutzen, Weiss und Buccavalas,  1980; Kontrollmöglichkeitshypothese, Balk 2000).   

Es wurden standardisierte, schriftliche Befragungen der Fortbildnerinnen und Fortbildner (N=20) vor und nach den Fortbildungen sowie standardisierte Veranstaltungsevaluationen (N=354 Fortbildungsteilnehmende) direkt nach den Fortbildungen durchgeführt. Die Skalen und Items sind aus der Literatur übernommen und wurden z.T. auf die Spezifika der Studie angepasst. Die Pilotierung der Fragebögen fand im Mai 2014 statt und alle Skalen wurden auf Reliabilität geprüft.

Als erste analytische Annäherung an die Daten erfolgt aufgrund der geringen Stichprobengröße (N=20 Fortbildungen) durch Rangkorrelationen. Die beiden Interventionen wurden dabei bisher getrennt untersucht, da für eine Unterscheidung nach vier Gruppen (Beide Interventionen, jeweils eine Intervention, keine Intervention) die realisierte Stichprobe zu klein ist.

 

 

Adams, A. E., Nnawulezi, N. A., & Vandenberg, L. (2014). Expectations to Change (E2C): A Participatory Method for Facilitating Stakeholder Engagement With Evaluation Findings. American Journal of Evaluation, Online First Version, (5.11.2014), 1–13. doi:10.1177/1098214014553787

Balk, M. (2000). Evaluation von Lehrveranstaltungen : Die Wirkung von Evaluationsrückmeldung. Frankfurt am Main: Lang.

Beywl, W., & Schepp-Winter, E. (2000). Zielgeführte Evaluation von Programmen – ein Leitfaden. Berlin: Bundesministerium für Familie, Senioren, Frauen und Jugend.

Groß Ophoff, J., Koch, U., Helmke, A., & Hosenfeld, I. (2006). Vergleichsarbeiten für die Grundschule–und was diese daraus machen (können). Journal für Schulentwicklung, 10(4), 7-12.

Henry, G. T., & Mark, M. M. (2003). Beyond Use: Understanding Evaluation’s Influence on Attitudes and Actions. American Journal of Evaluation, 24(3), 293–314.

Marsh, H. W., & Roche, L. A. (1997). Making Students’ Evaluations of Teaching Effectiveness Effective. American Psychologist, 52(11), 1187–1197.

Patton, M. Q. (1998). Discovering process use. Evaluation, 4(2), 225-233.

Rindermann, H. (2001). Verbesserbarkeit der Lehre durch den Einsatz von Lehrevaluation. In Heiner (Ed.), Lehrevaluation. Einführung und Überblick zu Forschung und Praxis der Lerveranstaltungsevaluation an Hochschulenen mit einem Beitrag zur Evaluation compputerbasierten Unterrichts. (Psychologie 42) (pp. 225–268). Landau: Verlag Empirische Pädagogik.

Schlömerkemper, J. (2002). „Schulprogramme und Evaluation“ in Hessen. Werkstattbericht über die wissenschaftliche Begleitung eines Vorhabens des Hessischen Kultusministeriums. Teil 2: Materialien. Frankfurt am Main, 263 S.

Weiss, C. H., & Bucuvalas, M. J. (1980). Truth test and utility tests: Decisions-Makers’ frames of reference for social science research. American Sociological Review, 45(2), 302–313.

 



GEBF-Tagung 2016, bundesweit (Berlin)
Deutschland

Evaluation, Forschung zu Evaluation, Fortbildung, Lehrerfortbildung, Quasiexperimentell, Emperie, Dissertation
11.03.2016