Zur Wirkungsmessung arbeitet In safe hands e.V. mit dem Psychologischen Institut der Deutschen Sporthochschule Köln sowie mit dem Lehrstuhl für Erziehungshilfe und sozial-emotionale Entwicklungsförderung der Universität zu Köln zusammen. Die beiden wissenschaftlichen Einrichtungen unterstützen unser Team insbesondere bei der Konzeption des Evaluationsdesigns, bei der Auswahl geeigneter standardisierter Tests sowie bei der Datenanalyse.  

Die Wirkungmessung im Projekt „Bunter Ball“ zielt insbesondere darauf ab, die konkreten Veränderungen auf der Outcome-Ebene der Wirkungslogik (Stufe 4 – 6), also die Veränderungen der Kompetenzen, des Bewusstseins, des Handelns und der Lebenswelt der am Projekt teilnehmenden Kinder zu analysieren. Zur Datenerhebung hat In safe hands e.V. bisher ausschließlich auf quantitative Methoden zurückgegriffen. Daten zur Veränderung der sozialen und emotionalen Kompetenzen der Kinder wurden beispielsweise direkt bei den Kindern mit Hilfe der standardisierten Intelligent and Development Scales II (kurz: IDS II) erhoben, Daten zur sozialen Integration der Kinder in der Klasse mit Hilfe des standardisierten Fragebogens zur Erfassung emotionaler und sozialer Schulerfahrungen (kurz: FEESS). Die Datenerhebungen, die im Oktober 2018 erstmalig stattfanden, werden in jedem Schuljahr jeweils zu Beginn sowie zum Ende durchgeführt und begleiten die Kinder ebenso wie die sportpädagogischen AGs durch die gesamte Grundschulzeit. Seit November 2019 werden neben den an Bunter Ball teilnehmenden Klassen (Interventionsgruppen) auch Klassen in die Evaluation einbezogen, die nicht an Bunter Ball teilnehmen (Kontrollgruppen), um die Aussagekraft der Wirkungsmessung noch einmal deutlich zu erhöhen.  

GER, Bochum
Evaluation in der AG an der OGS „In der Voede“ mit Schueler:innen,
Foto © Sarah Rauch

Die Corona – Pandemie hat die Datenerhebung ab Januar 2020 erheblich erschwert bzw. im geplanten Evaluationsdesign unmöglich gemacht. Zwar konnten mit dem FEESS in leicht veränderter Form Daten erhoben und die Datenreihen fortgeführt werden, der IDS II konnte jedoch nicht angewandt werden. 

Aufgrund dieser Einschränkungen können noch keine umfangreichen Aussagen zur ganzheitlichen Wirkung von Bunter Ball getroffen werden, erste Analyseergebnisse für den Evaluationszeitraum November 2018 bis Oktober 2019 indizieren jedoch, dass sich die Kompetenzen der Kinder der beiden Pilotklassen zur Emotionsidentifikation signifikant verbessert haben. Zudem wurde im Rahmen der erstmaligen Datenerhebung mit dem FEESS im Oktober 2019 die Homogenität von Interventions- und Kontrollgruppen festgestellt, sodass die Voraussetzungen für eine kontrollierte Studie in diesem Punkt erfüllt sind.  

Die beschriebenen Aktivitäten zur Wirkungsmessung sollen zukünftig fortlaufend intensiviert werden. Neben der Erweiterung der quantitativen Methoden um Online-Umfragen mit Lehr- und Erziehungskräften (Qualität des Konzept, der Übungen, Durchführung und Wirkung auf die Kinder) sowie den Trainer:innen (Qualität der Ausarbeitungen, Fortbildungsaktivitäten, Vorbereitung auf Aufgaben, Wirkung auf persönliche Entwicklung, etc.) ist auch der Einbezug von qualitativen Methoden in Form von Beobachtungen und Gruppeninterviews mit den Kindern geplant.  

Auf Basis der von In safe hands e.V. eigenständig erhobenen Daten zu der Entwicklung der sozialen und emotionalen Kompetenzen der Kinder können unter Einbezug verschiedener bereits veröffentlichter Studien Schlussfolgerungen hinsichtlich der Wirkung von Bunter Ball auf Stufe 5 und 6 gezogen werden. So kam eine Meta-Analyse von mehr als 300 Studien der Collaborative for Academic, Social and Emotional Learning (CASEL) zum Ergebnis, dass Programme, die dem Ansatz des sozial-emotionalen Lernens folgen, nicht nur die sozial-emotionalen Kompetenzen der teilnehmenden Kinder und Jugendliche fördern. Sie zeigen  zudem signifikant positive Wirkungen auf beispielsweise die akademischen Leistungen, das Sozialverhalten sowie das Stressmanagement der Teilnehmenden und wirken damit den Folgen aus einer psychosozialen Risikobelastung entgegen.  

 

CASEL, 2008: The Positive Impact of Social and Emotional Learning for Kindergarten to Eighth-Grade Students