Die Frage, was als ‚Wirkung‘, das heißt als unmittelbar auf eine Maßnahme rückführbare Veränderung, erfasst werden kann, ist für viele Arbeitsfelder nach wie vor in der Diskussion – so auch für die entwicklungspolitische Bildungsarbeit. Hier wird seit ca. zehn Jahren darum gerungen, Wirkungen angemessen zu beschreiben und Wege zu finden, diese Wirkungen valide zu evaluieren (vgl. weiterführend Bergmüller u. a. 2013; Caspari 2012; Jungk 2010). Was Wirkungsevaluation in diesem Arbeitsfeld so anspruchsvoll gestaltet, ist die hohe werte- und verhaltensbezogene Normativität der anvisierten Wirkungen: Mit entwicklungspolitischer Bildungsarbeit wird darauf abgezielt, zu einer global orientierten, verantwortlichen Teilhabe zu motivieren und Menschen zu befähigen, einen eigenen Beitrag zu nachhaltiger und sozial gerechter Entwicklung zu leisten. 

Diese Perspektive hat seit Veröffentlichung der Sustainable Development Goals (SDGs) 2015 weiter an Relevanz gewonnen: Mit der Agenda 2030 (UN 2015) wurde ein Entwicklungsprogramm vorgelegt, welches im Sinne einer ‚großen weltgesellschaftlichen Transformation‘ auf weitreichende Veränderungen fokussiert – angefangen bei Produktions- und Konsummustern über rechtliche und organisationsbezogene Neuorientierungen bis hin zur Ermöglichung neuer global-gesellschaftlicher Partizipationsperspektiven. Entwicklungspolitische Bildungsarbeit soll diese (welt-) gesellschaftliche Transformation über eine entsprechende ‚transformative Bildung‘ des Individuums befördern (vgl. u. a. BMBF 2017; UNESCO 2021; sowie reflektierend dazu u. a. Grobbauer 2016; Lingenfelder 2020) und es liegen mittlerweile auch verschiedene Kompetenzmodelle vor, die diesen Anspruch für die konkrete Bildungsarbeit operationalisieren (vgl. u. a. den von der Kultusministerkonferenz (KMK) verabschiedeten Orientierungsrahmen für den Lernbereich Globale Entwicklung; https://ges.engagement-global.de/ orientierungsrahmen.html). Doch wie kann der ‚Erfolg‘ entwicklungspolitischer Bildungsarbeit – auch jenseits solcher Modelle – erfasst werden?

Um etwas als ‚Wirkung‘ beschreiben zu können, muss sichergestellt sein, dass eine sich zeigende Veränderung zweifelsfrei auf einen bestimmten Impuls zurückgeführt werden kann. In der Planung von Bildungsarbeit wird in der Regel ein unmittelbarer kausaler Zusammenhang zwischen Lernimpuls und Lernerfolg unterstellt. Eine solche ‚Lerntechnologie‘ scheint auch sehr funktional: Sie ermöglicht eine Reduktion der Komplexität von Lernprozessen, die die Konzeption von Lernangeboten letztlich überhaupt erst ermöglicht. Für Evaluationen im Bereich entwicklungspolitischer Bildungsarbeit kann diese Reduktion jedoch schnell dysfunktional werden, dann nämlich, wenn z. B. die Ablehnung einer entwicklungspolitischen Option (wie z. B. eines fairen Konsumverhaltens), die ggf. ja auch das Ergebnis eines intensiven Lernprozesses sein kann (und im Übrigen im Sinne der Erziehung zur Mündigkeit auch sein darf), als negatives statt als positives Ergebnis gesehen wird. In der Konzeption von Wirkungsevaluation gilt es somit ernst zu nehmen, dass …

a) Lernen ein konstruktiver, selbstreferentieller Vorgang ist, der durch kognitive, emotionale oder soziale Kontextfaktoren beeinflusst wird. Was jemand lernt, hängt also nicht nur vom jeweiligen Input, sondern auch von den individuellen Vorerfahrungen, Werten, Deutungsmustern und Nutzungsinteressen sowie der Lernumgebung ab, in welche der/die Lernende eingebettet ist.

b) Lernen häufig zeitversetzt und kumulativ erfolgt. Lerneffekte können sich somit ggf. erst nach dem Evaluationszeitraum einstellen und jenseits des zu evaluierenden Bildungsangebots von vorhergehenden oder auch parallel erfolgenden Impulsen mitbedingt sein.

c) Lernen nicht immer von außen beobachtbar ist bzw. von den Befragten selbst in Erhebungssituationen auch zum Teil nur schwer versprachlicht werden kann. Dies gilt in besonderer Weise für wertebezogenes Lernen, von welchem auch Implikationen für ein bestimmtes Verhalten bzw. Handeln erwartet werden.

In Wirkungsmodellen zur entwicklungspolitischen Bildungsarbeit, die wir im Rahmen eines Ressortforschungsvorhabens des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) sowohl für individuelles als auch organisationales Lernen in der entwicklungspolitischen Bildungsarbeit entwickelt haben (vgl. Bergmüller u. a. 2019), können diese Zusammenhänge nachvollzogen werden: Abhängig von ihrer Häufigkeit, Intensität und Nachhaltigkeit unterscheiden wir hier drei Ordnungen von Wirkungen (vgl. beispielhaft Abb. 1), von denen sich Wirkungen erster Ordnung wie z. B. der Zuwachs an Wissen zu entwicklungspolitischen Zusammenhängen, ein gesteigertes Interesse an globalen Problemlagen und Lösungsansätzen, eine entsprechende Sensibilisierung und Reflexionsfähigkeit für die eigene Eingebundenheit in weltgesellschaftliche Zusammenhänge oder auch Erfahrungen von Selbstwirksamkeit entwicklungspolitischen Handelns, die in didaktisierten Erprobungsräumen gemacht werden können, sehr eng mit der Qualität von Bildungsarbeit in Beziehung setzen lassen. 

Wirkungen erster Ordnung eignen sich daher – vor allem in Selbstevaluationen – gut als Evaluationsgegenstand. Sie stellen sich häufig bereits unmittelbar nach einer Infoveranstaltung, einem Workshop oder einer Projektwoche zu entwicklungspolitischen Themen ein, lassen sich methodisch relativ ‚einfach‘ erfassen und ermöglichen substanzielle Schlussfolgerungen, um die Qualität der (eigenen) Bildungsarbeit weiterentwickeln zu können, denn: Für diese Wirkungen kann sich Bildungsarbeit redlich verantwortlich zeigen, während die Übernahme wertebezogener Überzeugungen oder Verhaltensweisen letztlich nicht nur deutlich stärker von Kontextfaktoren wie z. B. dem regionalen und sozialen Umfeld abhängig ist, sondern auch im Verfügungs- und Entscheidungsrahmen der Lernenden selbst bleiben muss und damit nicht unmittelbar zur Qualitätsbeurteilung einer Bildungsmaßnahme herangezogen werden kann.

In Selbstevaluationen agieren Bildungsakteur*innen sowohl als durchführende Praktiker*innen als auch als Praxisbeobachter* innen. Diese ‚Personalunion‘ hat sowohl Nachteile (Arbeitsbelastung, Rollenkonfusion, Betriebsblindheit, Befangenheit) als auch – und darauf wollen wir den Fokus legen – Vorteile: Bildungspraktiker*innen kennen die Rahmenbedingungen ihrer Arbeit und können damit in der Regel gut einschätzen, wann welche Evaluationsmethoden sinnvoll eingesetzt werden können. Zudem haben sie die Möglichkeit, sich nicht nur genuiner Evaluationszugänge zu bedienen (vgl. unten), sondern auch ‚mitgängig‘ in ihrer Handlungspraxis zu evaluieren und z. B. didaktische Tools so zu nutzen, dass diese nicht nur Lernprozesse anmoderieren, sondern gleichzeitig auch Datenmaterial für die Evaluation generieren. Hierzu drei Beispiele:

Neben diesen Synergieeffekten didaktischer Tools kann auf die gesamte Bandbreite sozialwissenschaftlicher Datenerhebungsmethoden zurückgegriffen werden. Diese Methoden lassen sich letztlich auf drei Basisformate engführen: 1) Befragungen, 2) Beobachtungen und 3) die Nutzung bereits vorhandener Daten. Befragungen können sowohl mündlich in Form von (Gruppen- oder Einzel-)Interviews als auch schriftlich erfolgen. Für schriftliche Befragungen steht mittlerweile ein umfassendes Online-Instrumentarium zur Verfügung, das bei der Planung schriftlicher Befragungen unterstützen kann – von einfachen Feedback-Tools (z. B. oncoo, Mentimeter) über die Nutzung von Quiz-Tools wie Kahoot bis hin zu komplexeren Software-Programmen (z. B. Lime-Survey, soSci, Survey Monkey), welche auch einen Teil der Auswertungsarbeit abnehmen können. Beobachtungen bieten sich gerade für Selbstevaluationen ebenfalls an. Dabei muss u. a. entschieden werden, ob teilnehmend oder nicht teilnehmend sowie offen oder geschlossen, d. h. anhand vorher festgelegter Beobachtungskategorien, beobachtet wird. Hinsichtlich knapper zeitlicher Ressourcen hat sich in der (Selbst-)Evaluationspraxis zudem bewährt, zu überprüfen, inwiefern auch bereits vorhandene Daten (z. B. Protokolle, Anträge, Teilnehmende-Statistiken, Anfragedokumentationen oder im Rahmen von Maßnahmen entstandene Audio- und Videodokumente) als mögliche Datenquellen genutzt werden können. Im Nachgang des o. g. Ressortforschungsvorhabens wurden von VENRO, dem Dachverband der deutschen entwicklungspolitischen Nichtregierungsorganisationen, bezogen auf die von uns entwickelten Wirkungsmodelle Evaluationstools zusammengestellt, die weiterführende methodische Anregungen bieten können (vgl. weiterführend VENRO: Bildung wirkt. Aber wie? https://bildungwirkt.de/).

(Selbst-)Evaluation ist kein Selbstzweck, sondern möchte Perspektiven für die Weiterentwicklung der (eigenen) pädagogischen Arbeit bereitstellen. Die Interpretation von Wirkungsbefunden sollte daher so angelegt sein, dass Fehleinschätzungen der Ergebnisse sowie eine voreilige Bewertung vermieden werden. Hierfür können drei Herangehensweisen hilfreich sein:

Last but not least noch ein Hinweis: Im Feld der Evaluation entwicklungspolitischer Bildungsarbeit existieren auch niedrigschwellige Beratungs- und Unterstützungsangebote für die Planung, Umsetzung und Auswertung von Selbstevaluation (Anfrage hierzu z. B. beim Netzwerk „Evaluation entwicklungsbezogener Inlandsarbeit“).