Effektive Evaluation - eine quasiexperimentelle Studie zum Nutzen und zur Nutzung von Fortbildungsevaluation

ID FP1019
Titel

Effektive Evaluation - eine quasiexperimentelle Studie zum Nutzen und zur Nutzung von Fortbildungsevaluation

Forschungsziel/Forschungsfrage Lässt sich der Nutzen einer Evaluation von Fortbildung für deren Referentinnen und Referenten durch Einbeziehung und angeleitete Reflexion steigern? Ziel ist es, Hinweise für die effektive und effiziente Gestaltung eines Evaluationssystems für Fortbildungen zu erhalten. Dabei soll zum einen die Belastung von Teilnehmenden wie Referentinnen und Referenten möglichst gering gehalten werden. Zum anderen sollen die Ergebnisse der Evaluation aber auch im Sinne des Design-Based Research-Ansatzes für die weitere Gestaltung der/einer Fortbildung von Nutzen sein.
Vorarbeiten Erste theoretische und empirische Forschungsergebnisse zum Thema Evaluation wurden in den 1970er Jahren veröffentlicht (z. B. Weiss, 1977; Stufflebeam, 1974). Die Frage, inwieweit Evaluationen einen Nutzen erzielen, führten zu ganz unterschiedlichen Ergebnissen. Zum einen wurden zahlreiche Evaluationsansätze entwickelt, wie größtmöglicher Nutzen erzielt werden könnte (z. B. Partizipative Evaluation, Patton, 2012; Integrative Evaluation, Henninger und Balk, 2003). Des Weiteren wurde der Nutzenbegriff erweitert. Die ursprünglich vorhandene, naive Vorstellung des instrumentellen, direkten Nutzens von Evaluationen wurde zunächst um die Komponenten konzeptioneller und symbolischer Nutzen (Weiss, 1980) und Prozessnutzen (Patton, 1997) ergänzt. Kirkhart (2000) plädierte für eine breitere Betrachtung und führte den Begriff des Evaluationseinflusses an. Als dritte Folge können die deskriptiven Theorien zum Nutzen bzw. Einfluss von Evaluationen angeführt werden. Für die Arbeit grundlegende Theorien sind das Rahmenmodell von Helmke und Hosenfeld (2005) sowie das Rahmenmodell von Henry und Marsh (2004). Empirische Arbeiten zum Nutzen/Einfluss von Evaluationen sind wie Evaluationen selbst meist gegenstandsbezogen und wurden auch nur im jeweiligen Handlungsfeld diskutiert (vgl. Hense & Widmer, 2013). Während bislang nur wenig zum Einfluss von Fortbildungsevaluationen bekannt ist, gibt es Arbeiten aus angrenzenden Handlungsfeldern: Zur Programmevaluation (z. B. Weiss, 1982; einen Forschungsüberblick gibt Johnson et al., 2009), zu studentischer Evaluation (Marsh, 1997; Forschungsüberblick von Rindermann, 2001) oder schulischer Evaluation (z. B. Hosenfeld & Groß Ophoff, 2007). Bisherige Befunde zeigen, dass durch Veränderung des Evaluationsprozesses (z. B. Einbindung der Beteiligten, Beratung) der Nutzen für die Beteiligten gesteigert werden kann. Diese Erkenntnisse wurden bislang noch kaum auf Fortbildungsevaluation angewandt und so gut wie gar nicht beforscht.
Mehrwert Erkenntnisse aus dem Forschungsprozess können wie im Ansatz von DesignBased Research direkt wieder in die Evaluationspraxis des DZLM einfließen. Zudem ist die Arbeit für andere Fortbildungsevaluierende und auch andere Evaluierende praxisrelevant. Darüber hinaus liefert die Arbeit einen Mehrwert aus theoretischer Sicht, da Einflussmechanismen auf verschieden Nutzentypen (instrumenteller Nutzen, Prozessnutzen, z. T. auch konzeptioneller Nutzen) untersucht werden.
(DZLM-) Typus Methodenforschung
Art des Projektes Dissertation
Erstgutachter: 
Prof. Dr. Blömeke
Forschungsgegenstand Evaluationsansätze für Fortbildungen anhand Evaluationen von Berliner Fortbildungen für Lehrpersonen
Kompetenzfacetten
Teil der Wirkungskette von Fortbildung Multiplikatoren
Teil der Wirkungskette bis Fortbildung Multiplikatoren
Bemerkung Die Forschung steht außerhalb der Wirkungskette.
Design/Methode

Stichprobe: ca. 50 Multiplikatorinnen und Multiplikatoren im Berliner Fortbildungssystem

Untersuchungsplan: Kontrollgruppendesign. In einem zwei-mal-zwei-mal-zwei-Design
werden drei unterschiedliche Interventionen in Form von Prozessver-
änderungen untersucht. Die erste Veränderung/Intervention betrifft die Einbindung
der Beteiligten in die Fragebogenkonzeption und genaue Zielformulierung.
Die zweite Veränderung/Intervention betrifft den Zeitpunkt der
Ergebnisrückmeldung – vor oder nach der eigenen Reflexion. Die dritte Ver-
änderung/Intervention besteht in einem ausführlicheren und konzeptionell
anderen Reflexionsbogen für die Multiplikatorinnen und Multiplikatoren.

Instrumente

Untersuchungsinstrumente: (Unterschiedliche) Voraberhebung bei Multiplikatorinnen
und Multiplikatoren, (teilweise angepasster) Fragebogen für Fortbildungsteilnehmende,
Nacherfassung und (unterschiedliche) Reflexionsbögen
für Multiplikatorinnen und Multiplikatoren.
Skalen: Einstellung zur Evaluation (Eigenentwicklung in Anlehnung an
verschiedene Instrumente), Veränderungspläne (Eigenentwicklung in Anlehnung
an Michael Balk)

Status angelaufen
Laufzeit
05.2014 bis 09.2015
geplante Veröffentlichung(en)
  • Vortrag zur Pilotstudie auf der DEGEVAL Konferenz in Zürich, September 2014
  • Vortrag zum Instrumentarium auf der GEBF 2015
  • Vortrag zu Ergebnissen auf der DEGEVAL 2015
  • Dissertation 
Anschluss zu anderen (DZLM-) Forschungsprojekten Evaluation im DZLM
Verantwortliche Person für Forschung Jochen Weißenrieder
DZLM beteiligte Abteilung(en) Abteilung C: Begleitforschung und Evaluation
DZLM beteiligte Person(en) Jochen Weißenrieder
externe Kooperationspartner Regionale Fortbildung Berlin - Feldzugang
Forschungsprojekt ist bereits in öffentlichen Datenbanken erfasst nein
XLS