Wie wir die Wirkung von BUNTER BALL messen
Die begleitende Evaluation ist bereits seit den Anfängen von BUNTER BALL im Oktober 2018 elementarer Baustein des Programms. Während der Entwicklungs- und Testungsphase des Programms 2019 – 2023 wurden jährlich in Einzelinterviews zwei Tests mit den Kindern durchgeführt. Einerseits beantworteten die Kinder Fragen, die an die beiden Teilgebiete „Klassenklima“ und „Soziale Integration“ des Fragebogens zur Erfassung emotionaler und sozialer Schulerfahrungen (FEESS) angelehnt sind (Rauer und Schuck, 2004). Darüber hinaus beantworteten sie Fragen, die an die Teilbereiche „Identifikation von Emotionen“, „Regulation von Emotionen“ und „Sozial kompetentes Handeln“ der Intelligence and Development Scales – 2 (IDS-2) angelehnt sind (Grob und Hagmann-von Arx, 2018). Wissenschaftliche Kooperationspartner waren hierbei das Psychologische Institut der Deutschen Sporthochschule Köln sowie der Lehrstuhl für Erziehungshilfe und sozial-emotionale Entwicklungsförderung der Universität Köln. Im Juni 2023 wurde diese erste Längsschnittbetrachtung abgeschlossen. Insgesamt wurden 330 Kinder an drei Grundschulen wissenschaftlich begleitet.
Die Untersuchung soll die zentralen Fragestellungen beantworten:
Um die Ergebnisse dieser Studie zu validieren und die positiven Effekte eindeutig der Teilnahme an BUNTER BALL zuzuordnen, wurde 2022 eine Kontrollgruppe von insgesamt 182 Kindern an zwei Grundschulen mit dem gleichen Testdesign befragt.
2022 erfolgte die strategische Umstellung des Programms vom AG-Betrieb in den curricularen Sportunterricht. Die bisherigen Evaluationsschulen schieden damit für zukünftige Erhebungen aus. Für die wissenschaftliche Evaluation wurde eine neue Kohorte von Erstklässlern ausgewählt. Die Kinder stammen aus drei verschiedenen Schulen, an denen jeweils Interventionsgruppen und Kontrollgruppen erhoben wurden. Insgesamt wurden 54 Kinder, die am Programm teilnehmen (Interventionsgruppe), und 62 Kinder, die nicht am Programm teilnehmen (Kontrollgruppe), getestet. Diese Erhebung wurde von Prof. Dr. Sven Lindberg vom Fachbereich für Klinische Entwicklungspsychologie an der Universität Paderborn begleitet.
Zusätzlich wurde im Mai/Juni 2023 erstmals der MOBAK (Herrmann, 2018) eingesetzt, um motorische Basiskompetenzen zu testen. Wir erheben damit zwar keine Indikatoren der Wirkungslogik, dennoch braucht es für die Skalierung des Programms im curricularen Sportunterricht den Nachweis, dass die Förderung der motorischen Kompetenzen sichergestellt ist.
Um die intendierte Wirkung auf Seiten der Kinder als Kernzielgruppe zu erzielen, müssen die Wirkungen auf Seiten der Lehrkräfte als Voraussetzung mitberücksichtigt werden. Dementsprechend denkt das Design zur begleitenden Evaluation der Skalierung beide Zielgruppen mit. Ein kontinuierliches Outcome Reporting erhebt über Fragebögen und qualitative Daten Wirkungen bei den Lehrkräften sowie bei den Kindern, die nicht zur wissenschaftlichen Evaluationskohorte gehören (Ulrich, 2019).
Das Outcome Reporting misst die Wirkung des Programms auf die Kinder während der vier Programmjahre an fünf Erhebungszeitpunkten. Von allen Kindern wird ein durch In safe hands entwickelter Fragebogen ausgefüllt. Dieser Fragebogen orientiert sich zum einen an den erprobten Untertests aus FEESS und IDS-2. Außerdem fragt dieser Fragebogen weitere Stufen der Wirkungslogik ab, z. B. die Programmzufriedenheit der Kinder. Der Fragebogen wird in einem jährlichen Review durch qualitative Daten aus Fokusgruppen- und Einzelinterviews mit Kindern abgeglichen und angereichert.
Um Effekte auf Ebene der Lehrkräfte untersuchen zu können, kommen in allen Begleitveranstaltungen Feedbackbögen zum Einsatz. Zudem werden kontinuierlich im Verlauf des Schuljahres qualitative Daten in verschiedenen Formaten des Begleitkonzepts gesammelt. Auch hier ist ein jährliches Review der Bögen unter Einbezug der qualitativen Daten vorgesehen.
Zentrale Erkenntnisinteressen sind:
Grob, Alexander; Hagmann-von Arx, Priska (2018): Intelligence and Development Scales – 2. Göttingen: Hogrefe.
Herrmann, C. (2018): MOBAK 1-4: Test zur Erfassung motorischer Basiskompetenzen für die 1-4. Hogrefe Schultests. Göttingen: Hogrefe.
Rauer, Wulf; Schuck Karl Dieter (2004): FEESS 1-2 – Fragebogen zur Erfassung emotionaler und sozialer Schulerfahrungen von Grundschulkindern erster und zweiter Klasse. Göttingen: Hogrefe.
Ulrich, Sarah (2019): Outcome Reporting. Schritt für Schritt. Wirkung sichtbar machen. 2018_leitfaden_outcomreporting.pdf (education-y.de) (zuletzt abgerufen am: 03.03.2023).