In diesem Artikel werden die wesentlichen Grundannahmen und Ergebnisse der Evaluation der beiden Fortbildungskonzepte "Multiplikatorenqualifizierung Rechtsextremismus (MQ Rex)" des DGB Bildungswerk Bund und "Wir beteiligen uns." der Evangelischen Akademien in Deutschland dargestellt und Hinweise zu den Gelingensfaktoren von Formaten der politischen Bildung gegeben. Dabei wird ein Evaluationsverständnis entfaltet, das Partizipation und Perspektivvielfalt ermöglicht und sich gleichzeitig zwischen Anschlussfähigkeit und Irritation bewegt.
Programmsteuernde Evaluationen zur Optimierung von Konzepten der politischen Bildung
Unter Evaluation wird ein systematisches und transparentes Vorgehen der Datenerhebung und interpretation zu einem definierten Gegenstandsbereich mittels intersubjektiver und gültiger Erhebungsverfahren verstanden, das auf der Basis vorher formulierter Kriterien und Forschungsfragen eine genauere Bewertung des betrachteten Evaluationsobjekts ermöglicht und in der Praxis verwertbare Diskussions- und Entscheidungshilfen zur Verbesserung bzw. Weiterentwicklung des untersuchten Gegenstands liefern soll.
Konzeptklärungsstudien zur Präzisierung und Klärung von Zielen und Erfolgskriterien (explikative Funktion der Evaluation);
Projekterprobungsstudien zur Erprobung neuer Angebote oder Angebotsformen (innovative Funktion);
Programmsteuerungsstudien zur organisationsinternen Überprüfung der Umsetzung der Konzeptionen (regulative Funktion) und
Programm- oder Projektdarstellungsstudien zur Präsentation gegenüber Klientel und (fach-)politischem Umfeld (demonstrative Funktion).
Die Evaluationen der Programme "MQ Rex" und "Wir beteiligen uns." gehören nach dieser Differenzierung zu den Programmsteuerungsstudien mit regulativer Funktion (3), da beide Fortbildungen zum Zeitpunkt der Evaluationen bereits seit mehreren Jahren angeboten wurden und die Evaluationen inhaltlich-konzeptionelle Faktoren erforschen sollten.
Evaluationen sind "Formen der Fremd- oder der Selbstbeobachtung von Organisationen [und deren Angeboten, Anm. d. Verf.], mit denen sie intern oder extern kommunizierte Irritationen abarbeiten und sich gegebenenfalls Möglichkeiten verschaffen können, wie sie – bis zu den nächsten Irritationen – in anderer (oder auch gleicher) Weise weitermachen können".
Multiperspektivisches, partizipatives Evaluationsverständnis sichert Gegenstandsangemessenheit
Auch wenn Evaluationen möglichst unparteiisch oder besser ausgedrückt allparteilich durchgeführt werden sollten,
Bei den Evaluationen der genannten Fortbildungen sind wir einem multiperspektivischen, partizipativen Evaluationsverständnis gefolgt, das dem Evaluationsgegenstand der politischen Bildung besonders angemessen ist, da Perspektivvielfalt und Partizipation auch Vermittlungsprozesse politischer Bildung prägen sollten.
Um größtmögliche Transparenz darüber herzustellen, wie die auf der Basis der Evaluationen entwickelten Handlungsempfehlungen zustande gekommen sind, wurde das Datenmaterial in den Evaluationsberichten zunächst deskriptiv dargestellt und danach anhand unterschiedlicher Analyseraster interpretiert. In einem weiteren Schritt wurden aus den sich ergänzenden Dateninterpretationen Handlungsempfehlungen abgeleitet. Allerdings ist bereits die Darstellung des Datenmaterials nicht gänzlich frei von Interpretationen; alleine schon die Auswahl der in den Zitatencollagen zusammengestellten Originalaussagen der Gesprächspartner und -partnerinnen sowie die Auswahl der in die Beobachtungsbögen aufgenommenen Beobachtungseinheiten ist eine unvermeidbare Maßnahme der Komplexitätsreduktion, die von einem anderen Beobachter möglicherweise ganz anders vorgenommen worden wäre. Keine Beschreibung ist unabhängig von der jeweiligen Beobachterin, so lautet ein Grundprinzip der konstruktivistischen Erkenntnistheorie; daher gilt es, sich die eigenen Vorannahmen und die die Datenauswahl steuernden Wissensbestände bewusst zu machen und sich somit in der Sprache der Kybernetik einer Beobachtung zweiter Ordnung anzunähern.
Diese Vorannahmen und Wissensbestände setzten sich bei diesen Evaluationen vor allem aus Professionswissen im untersuchten Feld – der Durchführung von Bildungsveranstaltungen bzw. von Maßnahmen zur Demokratieförderung – zusammen, das für eine gelungene Evaluation von Maßnahmen der politischen Bildung unverzichtbar ist. Eine noch so gründliche, allen wissenschaftlichen Standards genügende Datenerhebung allein führt noch nicht zu handlungsrelevanten Erkenntnissen. Dazu bedarf es der Interpretation der erhobenen Daten vor dem Hintergrund theoretischer Konzepte (Professionswissen). Die Gültigkeit der abgeleiteten Handlungsempfehlungen wiederum sollte im Sinne einer partizipativen Evaluation mit den Projektverantwortlichen kommunikativ validiert und ausgehandelt werden. Damit wird Evaluation "zu einem interaktiven Prozess, der durch das Einbeziehen unterschiedlicher Perspektiven blinde Flecken aufdecken kann und damit zu einer umfassenden Analyse des gesamten Interventionskontextes kommt".
Anpassbare Datenerhebungsverfahren und multidimensionale Analysen erhöhen Passgenauigkeit und Perspektivvielfalt der Evaluation
Das interaktionistische, multiperspektivische Evaluationsverständnis hat den Forschungsprozess vor allem an zwei Stellen entscheidend geprägt: Zum einen in den Situationen der Datenerhebung und zum anderen bei der Dateninterpretation. Für die Datenerhebung wurden mit leitfadengestützten Interviews und nicht-teilnehmenden Beobachtungen Instrumente gewählt, die als qualitative Verfahren die Interaktionssituation nur grob strukturieren und situative Anpassungen der Fragestellungen bzw. Beobachtungskategorien erlauben. Damit waren die Evaluationen zwar durch die vom Auftraggeber formulierten Schwerpunktthemen eindeutig von dessen Erkenntnisinteresse geleitet, konnten aber in einem offenen Prozess auf die während der Datenerhebung gemachten Erfahrungen reagieren und neue Perspektiven integrieren. Für die nicht-teilnehmende Beobachtung wurde ein Beobachtungsraster entwickelt, das die Beobachtung von Verhalten und Wirkungen ergänzt um eine interpretatorische und eine empfehlende Ebene. Die Beobachtungskategorien wurden erst nach der fortgesetzten Hospitation bei mehreren Fortbildungsmodulen inhaltlich gefüllt, um die Interaktionen unbeeinflusst von vorgegebenen Kategorien zunächst rein deskriptiv erfassen zu können.
Für die Dateninterpretation wurde ein mehrdimensionales Verfahren gewählt, um bereits bei der Interpretation der erhobenen Daten (und nicht erst bei deren kommunikativer Validierung mit anderen Beteiligten wie den Projektinitiator*innen und dem wissenschaftlichen Beirat von "Qualifiziert handeln!") unterschiedliche Perspektiven auf das Datenmaterial zu fördern. In einem ersten Schritt wurden die vom Auftraggeber der Evaluationen definierten Schwerpunktsetzungen und Themenfelder als Analyseraster genutzt, um die inhaltliche Kohärenz des Evaluationsprozesses sicher zu stellen und Antworten auf das formulierte Erkenntnisinteresse zu finden. Darüber hinaus wurden jeweils drei weitere Analyseraster eingesetzt, die den Blick auf weitere in der (politischen) Bildungsarbeit relevante Evaluationsebenen und Qualitätskriterien richteten. Das Analyseraster der Qualitätsdimensionen in der Bildung bzw. der Qualitätskriterien für Lehr-Lern-Prozesse führte die vorgegebenen Schwerpunktsetzungen detailliert aus als Merkmale gelungener Bildungsprozesse, während das Raster der Evaluationsebenen nach Kirkpatrick auf die Wirkungen bei den Teilnehmenden der Fortbildungen fokussierte.
"Multiplikatorenqualifikation Rechtsextremismus (MQ Rex)" – Ziele und Zielgruppen prägen die Ausrichtung der Evaluation
Die vom DGB Bildungswerk Bund durchgeführte "MQ Rex" richtete sich an Personen, die in Verbänden, an Schulen, in sozialen und anderen Organisationen Schlüsselpositionen einnehmen und ihr in der Fortbildung erworbenes Wissen sowie konkrete Fertigkeiten in ihren beruflichen Kontexten einsetzen können. Konzeptionelles Ziel war es laut Aussagen der Projektverantwortlichen, eine umfassende, der Komplexität des Gegenstands gerecht werdende Fortbildung anzubieten, die sowohl kognitive Inhalte (theoriebasiertes Wissen zum Phänomen Rechtsextremismus) als auch wirkungsvolle Handlungsoptionen vermitteln sollte. Angestrebt wurde eine heterogene Teilnehmerschaft, die aufgrund unterschiedlicher Erfahrungshintergründe und daraus resultierender verschiedener Perspektiven voneinander lernen kann. Die Teilnehmenden sollten nicht nur bereit sein, neue Kenntnisse und Fertigkeiten zu erwerben, sondern auch dazu, ihre eigenen Anteile und ihre Haltung – also die eigenen Vorurteile und alltagsrassistischen Grundannahmen – zu reflektieren. Die Fortbildung sollte eine Vernetzung der Teilnehmenden innerhalb der Jahrgänge sowie auch jahrgangsübergreifend initiieren. Praktische Projekte zur Umsetzung der erworbenen Kenntnisse und der gemachten Erfahrungen sollten dafür sorgen, dass nicht nur abstrakt bleibende Informationen vermittelt werden, sondern dass Wissen "als handlungspraktisch gewordene Information" entsteht, das die künftigen Handlungen der Teilnehmenden im Phänomenbereich prägt.
Entsprechend lauteten die von der Evaluation in den Jahren 2015 bis 2016 zu erforschenden Themenfelder 'Politische Bildung im Rahmen berufsbezogener Fortbildung', 'Heterogenität der Zielgruppe der Fortbildungsreihe', 'Qualität der Informationsvermittlung', 'Erkenntnisbereitschaft in Bezug auf eigene Anteile / Mitte der Gesellschaft', 'Vernetzungsimpulse und natürliche Vernetzung', 'Rolle der Moderation / Fortbildungsbegleitung' und 'Praxisprojekte'. Diese Schwerpunktthemen haben sowohl die Experteninterviews strukturiert als auch die Grundlage für die Kategorien der nicht-teilnehmenden Beobachtung gebildet.
Experteninterviews und nicht-teilnehmende Beobachtungen als Evaluationsmethoden
Die Interviews mit sechs Teilnehmenden der Fortbildungsreihe wurden zu zwei Zeitpunkten geführt: zu Beginn der Fortbildung nach Modul 1 im Mai 2015 und später im Verlauf nach Modul 4 im Oktober 2015. Die Auswahl der Gesprächspartner*innen wurde vor allem durch die Gesichtspunkte Geschlecht, Berufsfeld und Alter geleitet. Frauen und Männer wurden zu gleichen Teilen befragt. Bei den beruflichen Hintergründen wurde auf eine möglichst große Heterogenität der Berufsfelder Wert gelegt. Ebenso konnte eine maximale Varianz bei der Altersstruktur umgesetzt werden: Interviewt wurden u. a. die jüngste und der älteste Teilnehmende. Zum zweiten Gesprächszeitpunkt wurde der Gesprächsleitfaden um bestimmte Fragestellungen und Themenfelder ('Struktur: Module und zeitlich-inhaltliche Gestaltung' und 'Kommunikation: Kundengewinnung und Teilnehmendenbetreuung') erweitert. Das Themenfeld 'Praxisprojekte' wurde in einem Nachbericht gesondert behandelt.
Bestandteil des Evaluationsauftrags war die durchgängige Teilnahme der Evaluatorin an drei der insgesamt fünf Module (plus ein Wahlmodul) der "MQ Rex". Neben der obligatorischen Teilnahme an Einstiegsmodul 1 (Mai 2015) entschied sich die Evaluatorin für die Beobachtung der Module 3 und 4 (September und Oktober 2015), um zum einen in Modul 3 mit dem Besuch der Wewelsburg auch die Nutzung eines externen Lernorts evaluieren und zum anderen mit Modul 4 auch einen späteren Evaluationszeitpunkt integrieren zu können. Der Terminus "nicht-teilnehmende Beobachtung" meint, dass die Evaluatorin nicht nur für alle Beteiligten sichtbar im Raum anwesend und ihre Rolle geklärt war (offene Beobachtung), sondern dass sie sich während der Beobachtungssituationen möglichst außerhalb oder zumindest am Rande des zu beobachtenden Feldes aufgehalten hat.
Projekte sichern den Transfer in die berufliche Praxis
Insbesondere die Evaluation des Themenfelds 'Praxisprojekte' konnte belegen, dass die "MQ Rex" funktioniert und die o. g. Ziele erreicht wurden. Die Praxisprojekte sind ein wesentliches Kriterium für die Messung des Transfererfolgs der Multiplikatorenqualifizierung. Der Transfererfolg bildet eine Ebene des auf Bildungssituationen zugeschnittenen Vier-Ebenen-Modells von Donald Kirkpatrick (neben der subjektiven Reaktion der Lernenden, dem Lernerfolg und dem Organisationserfolg).
Insgesamt wirkte die Bandbreite der vorgestellten Praxisprojekte in Kombination mit der engagierten Präsentationsweise der jeweils Beteiligten sehr beeindruckend. Ganz offensichtlich ist es gelungen, mit den Praxisprojekten Lust auf eigene Aktionen und Beiträge im Themenfeld zu machen und die erwünschten Multiplikatoreffekte zu produzieren. Es konnte durch die Evaluation bestätigt werden, dass die Praxisprojekte als ehemaliges Alleinstellungsmerkmal der Multiplikatorenqualifizierung unverzichtbar sind, um die erworbenen Kenntnisse und Fertigkeiten zu handlungspraktisch verfügbarem Wissen werden zu lassen.
Optimierungsmöglichkeiten der Multiplikatorenqualifizierung
Konzeption und Umsetzung der "MQ Rex" könnten nach Einschätzung der Evaluatorin hinsichtlich folgender Aspekte optimiert werden: Eine konzeptionelle Klärung könnte insbesondere über die Formulierung des Selbstverständnisses der Anbieter, des Verständnisses politischer Bildung sowie klarer, mit Indikatoren unterlegter Ziele und einer Definition gelungenen Lernens der Fortbildung erfolgen. Vereinbarte Standards der Informationsvermittlung und der Fortbildungsbegleitung geben Handlungsorientierung; Seminarvereinbarungen mit den Teilnehmenden sowie der Rückbezug von Themen und Diskussionen auf das definierte politische Bildungsverständnis tragen dazu bei, den Lernprozess zu optimieren. Lernbedürfnisse können erfüllt werden, wenn gesellschaftliche Bedarfe sowie Lernbedürfnisse der Zielgruppen regelmäßig systematisch erhoben werden und eine gezielte Auseinandersetzung mit eigenen Anteilen ermöglicht wird. Vernetzung und Erfahrungsaustausch über Online-Lernräume und Veröffentlichungen der Praxisberichte sichern die Nachhaltigkeit der Fortbildung, deren Wirkungsgrad vergrößert wird durch die Erhöhung des Bekanntheitsgrads des Angebots.
"Wir beteiligen uns." – Fortbildungen im Tätigkeitsfeld ehrenamtliches Engagement
Unter dem Namen "Wir beteiligen uns." führten die Evangelischen Akademien in Deutschland Weiterbildungsreihen für Personen durch, die sich freiwillig engagieren oder die als hauptamtlich Tätige mit freiwillig engagierten Menschen zusammenarbeiten. Ziel ist die Unterstützung von Menschen bei ihrem Engagement für eine lebendige Zivilgesellschaft und gegen Ausgrenzung und Diskriminierung. Zu den Schwerpunktthemen 'Politische Bildung im Rahmen der Fortbildung', 'Heterogenität der Zielgruppe der Fortbildungsreihe', 'Vermittlung von Informationen und Fähigkeiten zur Stärkung des zivilgesellschaftlichen Engagements' und 'Schaffung einer Anerkennungskultur' sollte die Evaluation 2018 mit Blick auf die besondere Zielgruppe der freiwillig Tätigen erforschen, wie die politischen Beteiligungskompetenzen der Teilnehmenden als aktive Bürgerinnen und Bürger entwickelt und damit eine lebendige Demokratie bzw. Zivilgesellschaft gefördert werden kann. Dabei war eine der Grundannahmen, dass demokratische Handlungskompetenz mit Haltung beginnt und die Weiterbildungsreihe daher die Reflexion des eigenen Demokratieverständnisses sowie der eigenen Werte und derjenigen anderer Menschen ermöglichen sollte. Hinsichtlich der Heterogenität der Zielgruppe von "Wir beteiligen uns." sollte analysiert werden, ob die gewünschte Heterogenität besteht (beispielsweise in Hinblick auf die Art des zivilgesellschaftlichen Engagements, Geschlecht, Alter, Herkunft, interkulturelle Erfahrungen) und in welcher Weise der Austausch der verschiedenen Lebens- und Engagementerfahrungen der Teilnehmenden zu einem Fortbildungsmehrwert wird. Die Qualität der Informationsvermittlung sollte insbesondere daran gemessen werden, inwiefern es gelingt, der spezifischen Teilnehmerschaft Informationen und Fähigkeiten bedarfsgerecht zu vermitteln, beispielsweise im Hinblick auf Teilnehmende ohne akademische Ausbildung oder mit Migrationshintergrund. Das Schwerpunktthema 'Schaffung einer Anerkennungskultur' spiegelt die auch die gesamte Konzeption der Fortbildung prägende Erkenntnis wider, dass Motivation und Anerkennung entscheidende Faktoren für ein nachhaltiges freiwilliges Engagement sind. Evaluiert werden sollte daher, inwiefern es der Fortbildung gelingt, Anerkennung und Wertschätzung für das Engagement der Teilnehmenden gegen extremistische oder menschenfeindliche Einstellungen und für eine aktive Zivilgesellschaft zu vermitteln.
Methoden zur Evaluation der Weiterbildungsreihe "Wir beteiligen uns."
Vergleichbar mit der Evaluation der "MQ Rex" wurden als Evaluationsmethoden Experteninterviews und nicht-teilnehmende Beobachtungen zu unterschiedlichen Zeitpunkten durchgeführt. Die Interviews mit jeweils sechs Teilnehmenden der Weiterbildungsreihe wurden zum Ende der Fortbildung nach Modul 6 (Juni/Juli 2018) und zu Beginn der nächsten Reihe nach Modul 1 (September 2018) durchgeführt. Die Teilnehmerschaft wechselte zwischen den Modulen 4-6 und 1-3, sodass auch die Gesprächspartnerinnen variierten. Bei der Auswahl der Interviewpartner wurde Heterogenität angestrebt in Bezug auf die Art der Tätigkeit (Freiwilligenengagement oder Freiwilligenkoordination), den kulturellen Hintergrund, das Alter und die geschlechtliche Identität. Zum ersten Befragungszeitpunkt wurden mit drei Frauen und drei Männern Gespräche geführt, von denen zwei einen Migrationshintergrund aufwiesen und deren Alter und formaler Bildungsabschluss sehr unterschiedlich war. Die zweite Befragung wurde mit vier Frauen und zwei Männern durchgeführt, was das Geschlechterverhältnis in der Gruppe (14 Frauen und sechs Männer in Modul 1 im September 2018) widerspiegelt. Das in Modul 5 (Mai 2018) erlebte Geschlechterverhältnis war mit acht Frauen und neun Männern ausgewogen. Auch bei der zweiten Befragung konnte eine gute Varianz bei der Altersstruktur, dem Migrationshintergrund sowie dem formalen Bildungsniveau umgesetzt wurden.
Hospitiert wurde bei Modul 5 (',Rechtsextremismus und gruppenbezogene Menschenfeindlichkeit') und bei Modul 1 ('Projekte für gesellschaftliche Vielfalt entwickeln – Mitstreiter gewinnen und Projektmanagement'), womit ein Modul mit besonders deutlichem Bezug zur politischen Bildung (Modul 5) und der Anfang einer Weiterbildungsreihe (Modul 1) beobachtet wurden.
Der kriterienbasierte Blick auf das, was gut funktioniert
Wie eingangs dargestellt, dienen Evaluationen der Ermöglichung neuer Perspektiven auf den Evaluationsgegenstand. Dazu gehört nicht nur die Identifizierung von Optimierungsmöglichkeiten, sondern auch der kriterienbasierte Blick darauf, was bereits gut funktioniert und daher beibehalten werden sollte. Die Evaluation von "Wir beteiligen uns." hat daher nicht nur mögliche Handlungsfelder zur Verbesserung der Weiterbildungsreihe ergeben, sondern auch eine Fülle an Faktoren ermittelt, die bereits gut funktionieren:
Die Auswahl bedarfsgerechter Themen, die die Teilnehmenden bei ihrem freiwilligen Engagement unterstützen;
die Kooperation mit kompetenten Referentinnen und Referenten, die auf ihrem jeweiligen Feld anerkannte Experten sind und sich gleichzeitig durch einen achtsamen, empathischen Umgang mit den Teilnehmenden auszeichnen;
die anregende Zusammensetzung der Gruppe der Teilnehmenden, die sehr heterogen ist, jedoch durch einen gemeinsamen Nenner (das freiwillige Engagement bzw. die Tätigkeit als Freiwilligenkoordinator*innen) verbunden ist und damit einer Beliebigkeit entgeht;
die zugewandte, partnerschaftliche Betreuung durch die pädagogische Begleitung und die Projektassistenz, denen es durch ihre Fähigkeit, offen und herzlich auf verschiedenste Menschen zuzugehen, gelingt, den unvoreingenommen Umgang mit Vielfalt und Begegnungen auf Augenhöhe vorzuleben;
die überzeugende Infrastruktur mit schön gelegenen, gut ausgestatteten Tagungshäusern, die die Lernprozesse der Teilnehmenden unterstützen;
die kontinuierliche Bedarfserschließung und Evaluation, die es ermöglichen, die Konzeption der Weiterbildungsreihe immer wieder in ein gutes Passungsverhältnis zu den Bedürfnissen und Erwartungen der Teilnehmenden zu bringen.
Handlungsempfehlungen für die Weiterbildungsreihe "Wir beteiligen uns."
Die Handlungsempfehlungen zur Optimierung der Weiterbildungsreihe bezogen sich insbesondere auf eine weitere Stärkung des roten Fadens der Fortbildung, auf eine veränderte Anordnung der einzelnen Module und damit auf eine stärkere Nutzbarmachung der sich im Verlauf der Fortbildung entwickelnden Gruppenkohäsion sowie auf die Förderung des Selbstverständnisses und der Motivation der freiwillig Tätigen und der mit ihnen kooperierenden Freiwilligenkoordinatoren. Besonderes Gewicht wurde auf die Empfehlung gelegt, Vernetzung und Erfahrungsaustausch der unterschiedlichen beteiligten Akteure zu fördern. Denkbar ist in diesem Zusammenhang neben der Organisation von Austauschtreffen nicht nur die Veröffentlichung thematisch passender Texte und Materialien der weiteren Projektpartner von "Qualifiziert handeln!", sondern – den Wirkungskreis noch mehr erweiternd mit Blick auf das Impact-Ziel der Stärkung der demokratischen Zivilgesellschaft – auch die Verlinkung von weiteren Informationen rund um die Inhalte der Weiterbildungsreihe, wie zum Beispiel zu von den Referentinnen und Referenten bereit gestellten Inhalten oder von thematisch passenden Handreichungen und Arbeitshilfen aus dem Bundesprogramm "Demokratie leben!".