Evaluationsmethoden wirkungsorientierter digitaler politischer Bildung | Soziale Medien – wie sie wurden, was sie sind | bpb.de

Um diese Aspekte zu berücksichtigen, wird hier mit dem Begriff der wirkungsorientierten Evaluation gearbeitet. Dieser definiert sich nach Bewyl, Speer und Kehr:

[Wirkungsorientierte Evaluation] ist darauf verpflichtet, ihre theoretischen Erkenntnisse und methodischen Vorgehensweisen in allen Phasen eines Programms auf ‚Wirkungen‘ auszurichten – optional von der vorgängigen Machbarkeitsstudie zu einem Programm bis hin zur Kosten-Nutzen-Analyse nach Programmschluss. (Beywl et al. 2004: 39)

Dieses Verständnis verdeutlicht zum einen, dass mittels Evaluation alle Ebenen des Wirkungsmodells erfasst werden und die Überprüfung von Output-Zielen im Rahmen der (digitalen) politischen Bildung zentral ist. Darüber hinaus verdeutlicht es jedoch auch, dass Evaluation als Prozess betrachtet wird, dessen Ziel die Erreichung und Plausibilisierung von Wirkung ist. Mit dem Vorsatz der Wirkungsorientierung wird hierbei einbezogen, dass Wirkung ein zentrales Ziel der Projektarbeit darstellt, auch wenn die Zusammenhänge im Rahmen von Projekten der digitalen politischen Bildung mit den gegebenen Rahmenbedingungen nur selten streng auf Kausalität geprüft werden können. Welche Möglichkeiten für wirkungsorientierte Evaluation sich hier dennoch bieten, wird im folgenden Kapitel anhand eines Projektbeispiels für jede Stufe eines Wirkungsmodells weiter ausgeführt.

Praxisbeispiel – Einführung

Um die praktischen Möglichkeiten wirkungsorientierter Evaluation im Kontext digitaler politischer Bildung plastischer zu beschreiben, werden die folgenden Unterkapitel stellenweise am fiktiven Projektbeispiel „Desinfo erkennen und handeln” skizziert. Das Beispiel soll sowohl Entscheidungsprozesse im Evaluationsprozess verdeutlichen als auch auf antizipierbare Fallstricke hinweisen.

Im Projekt werden Fachkräfte der politischen Bildung zum Thema Desinformation geschult. Dafür werden ein E-Learning-Kurs, ein Social Media Kanal und Fortbildungen angeboten. Die Fachkräfte sollen zum Themenkomplex Desinformation geschult werden und die dort erworbenen Kompetenzen in ihre Bildungsangebote übernehmen, um so als Multiplikator*innen fungieren zu können.

Die Ziele hat das Projekt anhand einer IOOI-Matrix formuliert:

Möglichkeiten von Evaluation und Wirkungsanalyse digitaler politischer Bildung

In Hinblick auf eine Evaluation unterscheiden sich Projekte der digitalen politischen Bildung hauptsächlich in den unterschiedlichen Zugängen zu ihren Zielgruppen, die aufgrund ihrer Kommunikationswege häufig flüchtiger und weniger gesichert sind, als es bei ‚klassischen‛ Angeboten der Fall ist. Daraus ergibt sich eine Systematisierung basierend auf den üblicherweise adressierten Zielgruppen und deren Erreichbarkeit mittels unterschiedlicher Formate:

• Geringe Erreichbarkeit durch sendende/asynchrone Angebote

Einige Projekte digitaler politischer Bildung konzipieren ihre Maßnahmen und Angebote ausschließlich digital. In erster Linie handelt es sich dabei um eigens entwickelte Webapplikationen wie etwa Online-Games oder um Auftritte über Social Media Kanäle, auf denen eine breite Zielgruppe angesprochen werden soll. Ihre Inhalte werden ausschließlich in eine Richtung gesendet und es findet somit in der Regel keine Echtzeitinteraktion mit den Empfangenden statt.

Von Vorteil ist, dass diese Formate durch ihre Niedrigschwelligkeit, den geringen für sie aufzuwendenden Zeitaufwand sowie ihre asynchrone Verwendung gemäß der eigenen Ressourcen den Bedürfnissen verschiedener Zielgruppen entgegenkommen und potentiell viele Personen erreichen können.

Der zeitliche Aufwand, an Evaluationsmethoden teilzunehmen, kann diesen Vorteilen entgegenstehen. Als weitere Herausforderung ist zu nennen, dass der Kontakt mit der jeweiligen Zielgruppe im Digitalen meist kurz und unverbindlich ist.

Darüber hinaus ist bei einer solchen Projektausgestaltung schwer einzuschätzen, ob die tatsächlich geplante Zielgruppe oder andere Personengruppen über die Angebote erreicht werden.

•• Mittlere Erreichbarkeit durch die klare Definition von Zielgruppen und der Konzeption von Interaktionsangeboten

Andere Projekte der digitalen politischen Bildung ergänzen ihre sendenden und asynchronen Angebote durch Veranstaltungen und adressieren klar definierte Zielgruppen. Darunter fallen beispielsweise allgemein Content-Creator*innen und Microinfluencer*innen. Auch Multiplikator*innen der politischen Bildung, die geschult und motiviert werden, Inhalte und Methoden der digitalen politischen Bildung in der eigenen Bildungsarbeit aufzugreifen und diese so lebensweltnah zu gestalten, können eine solche definierte Zielgruppe bilden.

Diesen primären Zielgruppen kommt zentrale Bedeutung zu, da sie über ihre Funktion in digitalen und analogen Räumen sekundäre Zielgruppen (Mitglieder bestimmter Communities und digitaler Orte sowie Jugendliche, die an Bildungsangeboten teilnehmen) mittelbar erreichen.

Für diese unterschiedlichen Zielgruppen werden Formate konzipiert, die entsprechend ihrer Bedarfe niedrigschwellig und asynchron konsumierbar sind. Es bedarf einer genauen Ausgestaltung der Evaluationsmethoden gemäß den Bedarfen der Zielgruppen, sie sollten sich also an ihren (knappen) zeitlichen Ressourcen und Lebenswelten orientieren.

••• Hohe Erreichbarkeit durch synchrone Veranstaltungen, in denen digitale Tools eingesetzt werden

Den Fokus in analoge Räume verlagern Projekte, die zwar digitale Tools und Angebote entwickeln oder digitale Phänomene thematisieren, diese aber in pädagogischen Settings oder Veranstaltungen einsetzen. In diesen Projekten wird oftmals eine junge bzw. jugendliche Zielgruppe adressiert. Es ist davon auszugehen, dass hier mit digitalen Tools lebensweltnah gearbeitet wird und sich dies auch für den Einsatz von Evaluationsmethoden zu Nutze gemacht werden kann. Die junge Zielgruppe macht jedoch eine didaktische Reduktion zwischen Wirkungszielen und Befragung unabdingbar. Somit ist grundsätzlich ein großes Augenmerk auf eine zielgruppensensible Konzeption von Erhebungsmethoden zu legen. Außerdem ist für jüngere Zielgruppen zu berücksichtigen, in welchen sozialen Gruppen und Dynamiken die Projektarbeit und Evaluation stattfindet.

Von Vorteil ist grundsätzlich die hohe Erreichbarkeit der Zielgruppe über (schulische) Regelsysteme. Gleichwohl herausfordernd ist dabei der langfristige Zugang zur Zielgruppe, die oft nur im Rahmen einer Veranstaltung oder eines Workshops erreicht wird. Hierbei nehmen die pädagogischen Begleitungen eine zentrale Rolle ein, die gegebenenfalls Veränderungen bei der Zielgruppe über einen längeren Zeitraum beobachten und hierzu potenziell Aussagen treffen können.

Die unterschiedliche Erreichbarkeit der Zielgruppen stellt die Evaluation vor besondere Herausforderungen. Hinzu kommen die unterschiedlichen Wirkungsstufen (Interner Link: Tab. 1), die ebenfalls divergierende Ansprüche an die Messung stellen. Die Kombination dieser beiden Faktoren wird im Folgenden anhand der jeweiligen Stufe ausdifferenziert. Dabei wird in absteigender Reihenfolge vorgegangen, da die Projektziele im Fokus stehen und sich die Maßnahmen aus diesen ableiten.

Praxisbeispiel – Erreichbarkeit der Zielgruppen

Erreichen möchte das Projekt seine Ziele über verschiedene Formate (Outputs). Das Kernangebot ist ein E-Learning-Kurs, über den in verschiedenen Modulen Lerninhalte zu unterschiedlichen Funktionsweisen und Verbreitungsstrategien von Desinformation angeboten werden. Zusätzlich betreibt das Projekt einen Social Media Kanal, über den über das Angebot informiert und Inhalte in gekürzter Form geteilt werden. Darüber hinaus werden bedarfsorientierte Fortbildungen (in Präsenz oder digital) für interessierte Bildungsträger der politischen Bildung organisiert.

Über soziale Medien wird die größte Zielgruppe erreicht, jedoch nur mit einem kurzen und unverbindlichen Zugriff. Der E-Learning-Kurs bietet eine mittlere Erreichbarkeit einer etwas eingeschränkten Zielgruppe (Personen, die sich die Zeit für eine vertiefte thematische Auseinandersetzung nehmen). Im Rahmen der nach Bedarf angebotenen Fortbildungen ist die Erreichbarkeit am höchsten, jedoch nur für eine geringe Anzahl an Personen.

Outcome | Stufe 6 | Lebenslage der Zielgruppe ändert sich

Für Projekte der digitalen politischen Bildung bezieht sich die Wirkung auf der Stufe der Veränderungen der Lebenslage der Zielgruppe oftmals auf eine andere Gestaltung digitaler Räume bzw. eine positive Wirkung des eigenen Handelns und des eigenen Umgangs mit digitalen Medien, die eine solche Veränderung nach sich ziehen. Es ist jedoch davon auszugehen, dass Veränderungen der Lebenslage in den meisten Projekten der digitalen politischen Bildung nicht systematisch erfassbar sind. Sie können gegebenenfalls über Nachbefragung oder Testimonials erfasst werden, verbleiben demnach aber auf der Ebene der anekdotischen bzw. empirisch nicht belegbaren Evidenz. Eine kausale Verknüpfung dieser Aussagen mit den Projektinhalten wird in den meisten Fällen nicht möglich sein. Auch wenn diese gegebenenfalls eintretenden Veränderungen im Umfeld der Zielgruppe vermutlich nicht systemisch beobachtbar sind, lassen sich dadurch dennoch Einblicke in die Wirksamkeit des Projekts gewinnen.

Outcome | Stufe 5 | Zielgruppen ändern ihr Handeln

Die Förderung gewünschten Verhaltens ist in vielen Projekten der digitalen politischen Bildung ein zentrales Ziel. Die Änderung des eigenen Handelns trägt auch über die Zielgruppe des Projekts hinaus zur Gestaltung des Umfelds bei. Hier ist jedoch zunächst kritisch zu prüfen, ob es Räume und Möglichkeiten gibt, die Zielerreichung im Austausch mit der Zielgruppe festzustellen, insbesondere ob es Möglichkeiten der Nachbefragung gibt. Dies sollte auch bei der Formulierung der jeweiligen Bildungsziele berücksichtigt werden, auch im Sinne des eigenen Erwartungsmanagements. Nachbefragungen sind zentral, um valide Aussagen über die nachhaltige Verankerung des erworbenen Wissens sowie der tatsächlichen Übertragung ins eigene Handeln überprüfbar zu machen. Anhand der verschiedenen Zielgruppenzugänge wird im Folgenden diskutiert, was es dabei zu beachten gilt:

• Geringe Erreichbarkeit

Kurze Interaktionen über Soziale Medien sind nicht ausreichend, um Veränderungen im Handeln der Zielgruppe abzufragen. Gegebenenfalls kann bei bestimmten Abfragen (z.B. über eigene Webseiten) geprüft werden, ob am Ende das Einverständnis zu einer Nachbefragung gegeben werden kann. Es wäre jedoch zu kontrollieren, ob sich die Eingabe einer E-Mailadresse mit dem Datenschutz bzw. der zugesicherten Anonymität der Umfrage vereinbaren lässt. Es muss genau abgewogen werden, wie hoch der Nutzen/Rücklauf einer solchen Befragung im Vergleich zum entstehenden Arbeitsaufwand einzuschätzen ist.

•• Mittlere Erreichbarkeit

Bei Projekten der digitalen politischen Bildung ist davon auszugehen, dass sich das Thema Veränderung im eigenen Handeln bei den adressierten Zielgruppen inhaltlich gut bearbeiten lässt. So lassen sich im Nachgang an die bereitgestellten Formate erste Perspektiven auf anzunehmende Veränderungen im Handeln abfragen. Diese können jedoch nur auf eine Handlungsabsicht schließen und nicht die tatsächliche Veränderung im Handeln der Personen messen. Veranstaltungsformate können genutzt werden, um direkten Kontakt und Netzwerke zur Zielgruppe herzustellen und zu pflegen. Darüber kann sich die Möglichkeit ergeben, Personen im Nachgang zu kontaktieren und sie um eine Nachbefragung in Form eines Einzelgesprächs zu bitten.

••• Hohe Erreichbarkeit

In Projekten mit hoher Erreichbarkeit kann geprüft werden, wie sich Kontakte für Nachbefragungen erhalten lassen. Projekte, die sich mit ihren Angeboten an Multiplikator*innen wenden, können grundsätzlich versuchen, nicht nur mit der jugendlichen Zielgruppe in Kontakt zu kommen, sondern die Lehrkräfte, Sozialpädagog*innen o.a. für eine kontinuierlichen Austausch im Nachgang eines Projekts zu gewinnen. Gegebenenfalls gibt es die Möglichkeit, mit diesen Personen Kontakt zu halten und im Nachgang an die durchgeführten Maßnahmen Interviews zu führen und so über längerfristige Veränderungen, die beobachtbar sind, in einen Austausch zu kommen. Multiplikator*innen kann im Rahmen der Beobachtungen von Veränderungen im Handeln eine zentrale Rolle zukommen. Gleichzeitig gilt es zu beachten, dass Befragungen der indirekten Zielgruppe zu Verzerrungen führen können.

Stufe 5 | Praxisbeispiel

Das Projekt hat sich ein Wirkungsziel auf Ebene der Veränderungen des Handelns gesetzt:

- Multiplikator*innen der politischen Bildung binden Aufklärung über Desinformation in ihre Bildungsangebote ein. (Zielgruppen ändern ihr Handeln).

Belastbare Aussagen zu diesem Wirkungsziel lassen sich nur über regelmäßige Messungen in einem längeren Zeitverlauf und ggf. eine Nachbefragung erheben. Für das Projektteam ist klar: über Social Media ist der Kontakt zur Zielgruppe zu kurz und unverbindlich, um einen langfristigen Zugang zu pflegen. Sie erwägen, über eine Verlinkung im Social Media Profil auf eine externe Befragung zu verweisen und dort nach der Einwilligung und Kontaktdaten für eine Nachbefragung zu fragen. Hierfür findet das Team ein passendes Tool (SoSci Survey), nach eingehender Prüfung rechnen sie jedoch mit einem so geringen Rücklauf, dass sie ihre Ressourcen lieber für die anderen Zugänge nutzen möchten.

Über den E-Learning-Kurs rechnet sich das Projektteam höhere Chancen aus. Hier ist ohnehin eine Nachbefragung geplant und es wird entschieden, am Ende dieser Befragung nach der Einwilligung und Kontaktdaten für eine Nachbefragung zu fragen. Außerdem werden in die Befragung schon praktische und lebensweltnahe Fragen nach dem eigenen Handeln und der eigenen Reflexion in digitale Sozialräume aufgenommen, wie zum Beispiel:
- Hast du neue Handlungsoptionen zum Thema Desinformation kennengelernt?
- Hast du neue Methoden kennengelernt, die du in deiner Arbeit einsetzen wirst?

Auch die Fortbildungen sollen genutzt werden, um direkten Kontakt und Netzwerke zur Zielgruppe herzustellen und zu pflegen. So erhofft sich das Projektteam, Personen im Nachgang kontaktieren zu können und sie um eine Nachbefragung in Form eines Einzelgesprächs zu bitten. Sie wissen, dass sie hier besonders auf den Datenschutz (Person gibt vorher ihr Einverständnis nochmals kontaktiert zu werden) sowie auf die Ressourcen des Projektteams und der Teilnehmenden achten müssen.

Outcome | Stufe 4 | Zielgruppen verändern Bewusstsein und Fähigkeiten

Die vierte Stufe umfasst Veränderungen des Bewusstseins und der Erweiterung des Wissens, der Fähigkeiten oder Kompetenzen der Zielgruppen. Darüber hinaus kann differenzierter bestimmt werden, wie sich diese Veränderungen bei den Zielgruppen gestalten. Um hierüber Aussagen zu treffen und kausale Zusammenhänge zu bestimmen, braucht es jedoch komplexere Messungen, die längerfristige und zielgerichtete Zugänge zu den adressierten Zielgruppen erfordern. Dies ist mittels einmaliger Befragungen nicht umsetzbar, da diese angestrebten Veränderungen meistens nicht ad hoc einsetzen, sondern sich im Verlauf der Zeit entwickeln. Für alle hier beschriebene Formen der Datenerhebung zur Wirkungsmessung ist grundsätzlich zu beachten, dass die Aussagekraft der Ergebnisse ohne eine der Maßnahme vorgeschaltete Vorher-Befragung begrenzt ist. Im Folgenden wird beschrieben, welche Aspekte es hinsichtlich der Erreichbarkeit der Zielgruppe zu bedenken gilt:

• Geringe Erreichbarkeit

Für Messungen von Veränderungen bei Zielgruppen mit geringer Erreichbarkeit ist zunächst zu überlegen, wie weiterer Zugriff auf die Nutzer*innengruppen hergestellt werden kann. Dieser sollte darüber hinaus gemäß den Bedarfen der Zielgruppen und den jeweiligen Formaten geplant werden, um eine Teilnahme sicherzustellen. Dies bedeutet, dass Angebote, die niedrigschwellig und ohne große zeitliche Ressourcen genutzt werden können, nicht durch langwierige und komplexe nachgelagerte Abfragen überfrachtet werden sollten.

Bei der Bereitstellung von Inhalten über eine eigene Website kann so beispielsweise eine kurze Befragung nach der Nutzung der jeweiligen Inhalte eingerichtet werden, sollte sich dies technisch umsetzen lassen und sich im Rahmen der angebotenen Formate als sinnvoll erweisen, beispielsweise über ein digitales Fragebogentool. Hier kann mit Messmethoden wie Tests, praktischen Übungen oder Umfragen zur Selbsteinschätzung gearbeitet werden.

So lassen sich beispielsweise Aspekte wie Sensibilisierung für bestimmte Online-Inhalte und Methodenkompetenz abfragen. Dabei ist darauf zu achten, dass die Befragung kurzgehalten wird und sich auf das Wesentliche beschränkt. Eine ansprechende Gestaltung sowie die Integration spielerischer Elemente können dabei die Teilnahmebereitschaft erhöhen. Darüber hinaus kann in einem kurzen Einführungstext auf die Relevanz der Befragung für das Projekt und das Angebot hingewiesen werden, um so Transparenz über die Ziele der Befragung und gegebenenfalls eine höhere Verbindlichkeit herzustellen. Zudem ist es wichtig, den Datenschutz zu beachten und die Daten anonym zu erfassen und auf die Anonymität der Befragung hinzuweisen. Werden Angebote über Social Media geschaltet, ist zu prüfen, wie hier in Interaktion mit der Zielgruppe des Projekts getreten werden kann (z.B. über Umfragen). Auch der Einsatz von externen Tools wie verlinkte Umfragen kann geprüft werden (siehe Stufe 5).

•• Mittlere Erreichbarkeit

Zugriff zur Zielgruppe lässt sich am besten über synchrone Veranstaltungen herstellen. In diesem Rahmen lässt sich im Nachgang an die jeweiligen Veranstaltungen mit Messmethoden wie Tests, praktischen Übungen oder Umfragen zur Selbsteinschätzung arbeiten. Auch eine Integration dieser Methoden in den Ablauf der jeweiligen Veranstaltung kann geplant werden. So können zum Beispiel Inhalte vorgestellt und zur Diskussion gestellt oder mit kurzen Tests verbunden werden. Digitale Räume wie z.B. Telegram bieten den Vorteil, dass Evaluationsmethoden in den jeweiligen Kanal integriert werden können und somit eine lebensweltnahe Ansprache möglich ist (z. B. im Rahmen von Chat-Meet-Ups). Synchrone Veranstaltungen können systematisch teilnehmend beobachtet werden, um so unmittelbare Einblicke in die Diskussionen um die Inhalte, Bedarfe und Lerneffekte festzuhalten. Um dies strukturiert zu dokumentieren, bietet sich ein interner Frage- bzw. Dokumentationsbogen an, den die Personen, welche die Veranstaltung durchgeführt bzw. unterstützt haben, im Nachgang ausfüllen. Darüber hinaus können nach den jeweiligen Veranstaltungen kurze Befragungen zu den Projektinhalten und den von den Teilnehmenden beobachteten Lerneffekten durchgeführt werden, bei denen anonymisiert abgestimmt werden kann.

••• Hohe Erreichbarkeit

Im Rahmen von Projekten mit einem vergleichsweise engen Kontakt zu ihren Zielgruppen können die genannten Messmethoden wie Tests, Übungen, Abfragen zur Selbsteinschätzung und teilnehmende Beobachtungen eingesetzt werden. Im Rahmen dieser Projekte ist jedoch insbesondere bei jüngeren Zielgruppen zu beachten, wie solche Befragungen zielgruppensensibel konzipiert werden können. Hierbei ist neben der Auswahl der Methoden auch die Beziehungsebene zwischen Projektdurchführenden und Teilnehmenden zu achten sowie das soziale Gefüge der Teilnehmenden untereinander. Die sprachliche Ausgestaltung der Befragung sollte an das Alter und Bildungsniveau der Befragten entsprechen. Auch ist zu berücksichtigen, dass Personen, die bislang eher schlechte Bildungserfahrungen gemacht haben, reinen Wissensabfragen ggf. eher skeptisch gegenüberstehen und daraus resultierend bei diesen Zielgruppen andere Methoden für valide Ergebnisse in Betracht gezogen werden sollten.

Sofern der Zugang zur Zielgruppe möglich ist, sollte die Möglichkeit einer Eingangsbefragung geprüft werden, die später als Basis für die Ermittlung eines Kompetenzzuwachses herangezogen werden kann. Ist diese nicht umsetzbar, lässt sich retrospektiv nach der Selbsteinschätzung der eigenen Fähigkeiten und des eigenen Bewusstseins vor der Maßnahme fragen. Die einfachere Umsetzbarkeit kommt dann mit dem Preis einer höheren Anfälligkeit für kognitive Verzerrungen des Antwortverhaltens (bspw. soziale Erwünschtheit oder Demand-Effekt).

Stufe 4 | Praxisbeispiel

Das Projekt hat sich zwei Ziele auf Ebene der Veränderungen von Wissen und Bewusstsein gesetzt:
- Multiplikator*innen der politischen Bildung kennen Strategien der Verbreitung von Desinformation. (Zielgruppen verfügen über neues Wissen)
- Multiplikator*innen der politischen Bildung sind motiviert, die Funktionsweisen und die Verbreitung von Desinformation in ihren Bildungsveranstaltungen zu thematisieren. (Zielgruppen verändern ihr Bewusstsein)

Über Social Media möchte das Projektteam kurze Umfragen schalten, um Einblicke in den potentiellen Lerneffekt zu erhalten. Ihnen ist bewusst, dass die Aussagekraft dieser Ergebnisse begrenzt ist, aber auch der Arbeitsaufwand ist vergleichsweise gering. Sie wollen, nachdem sie Inhalte zum Thema Desinformation als Info-Slides geteilt haben, in den Stories kurze Skalenabfragen stellen. Als mögliche Fragen erarbeiten sie:
- Ich konnte meine bisherigen Erkenntnisse zum Thema Desinformation erweitern.
- Ich fühle mich nun besser zum Thema Desinformation informiert.
- Ich habe meine Sicht auf Desinformation verändert.
- Ich habe neue Methoden für meine pädagogische Arbeit zum Thema Desinformation kennengelernt.

Auch der Einsatz von externen Tools wie verlinkte Umfragen wurde geprüft. Da dies jedoch mit dem Verlassen der gewohnten Social Media Umgebung verbunden ist und einen höheren Zeiteinsatz von Seiten der Befragten erfordert, rechnet das Projekt nicht mit einem hohen Rücklauf, der im Verhältnis zum entstehenden Arbeitsaufwand steht. Es wird entschieden, sich auf Befragungen in den anderen Formaten zu konzentrieren, bei denen es auch die Möglichkeit einer Vorher-Befragung gibt.

Im Rahmen des E-Learning-Kurses soll mit einer kurzen Umfrage gearbeitet werden, um das Format nicht zu überfrachten. Hierbei soll sich auf einige wenige zentrale Aspekte der Zielsetzung des Projekts fokussiert werden (welche Kennzahlen interessieren uns am meisten an unserer Zielgruppe? Zu welcher Veränderung sollte das Modul hauptsächlich beitragen?). Das Projektteam hat die Sorge, dass durch eine Vorher-Befragung Personen den Kurs als zu zeitaufwendig einschätzen und abbrechen. So entscheiden sie sich für eine reine Nachbefragung, bei der retrospektiv nach der Selbsteinschätzung der eigenen Fähigkeiten und des eigenen Bewusstseins vor der Maßnahme gefragt wird. Jedes Modul wird darüber hinaus mit einem Test abgeschlossen. Die Testergebnisse werden jedoch aus Datenschutzgründen nicht erfasst und können nicht für eine Evaluation herangezogen werden. Im Rahmen der Fortbildungen entscheidet sich das Projektteam, diese systematisch teilnehmend zu beobachten, um so unmittelbare Einblicke in die Diskussionen um die Inhalte, Bedarfe und Lerneffekte festzuhalten. Um dies strukturiert zu dokumentieren, erarbeiten sie einen internen Frage- bzw. Dokumentationsbogen, den die Personen, welche die Veranstaltung durchgeführt bzw. unterstützt haben, im Nachgang ausfüllen.

Im Rahmen der Fortbildungen werden eingangs kurze Fragen zum Wissensstand in der Runde thematisiert, zum Beispiel über Brainstormingmethoden. Hierdurch kann der Wissensstand im Vorfeld eingeschätzt werden. Darüber hinaus werden im Nachgang an die jeweiligen Veranstaltungen kurze Befragungen zu den Projektinhalten und den von den Teilnehmenden bei sich beobachteten Lerneffekten durchgeführt, bei denen anonymisiert abgestimmt werden kann. Diese orientieren sich an den Fragen, die nach dem E-Learning-Kurs verwendet werden.

Outcome | Stufe 3 | Zielgruppen akzeptieren Angebote

Die dritte Stufe der Wirkungstreppe umfasst die Wahrnehmung und Beurteilung des Angebots durch die Zielgruppen. Hierzu gehört beispielsweise die Erfassung der Anzahl/des Anteils von Personen, die mit dem Projekt bzw. einem konkreten Angebot zufrieden sind. Welche spezifischen Möglichkeiten mit den jeweiligen Zugängen zur Zielgruppe einhergehen, wird im Folgenden beschrieben:

• Geringe Erreichbarkeit

Bei Projekten mit weit gefassten Zielgruppen, die auf sendenden/ asynchronen Angeboten basieren, kann im Rahmen der Evaluation der Angebote auf dieser Wirkungsstufe insbesondere mit der Analyse von Interaktionen gearbeitet werden. Dazu müssen Interaktionen, die auf Akzeptanz schließen lassen, erfasst und ausgewertet werden, z.B. Likes, Saves, Comments und Reshares. Hierfür ist im Vorfeld zu überlegen, welches Online-Verhalten der Zielgruppe Rückschlüsse auf welches Output-Ziel zulässt. Darüber hinaus lassen sich kurze Feedback-Umfragen schalten, die nach der Zufriedenheit mit den angebotenen Inhalten fragen. Dies kann analog auch bei Angeboten eingeplant und programmiert werden, die über eigene Webseiten angeboten werden. Andere Maßnahmen abseits von Social Media (wie zum Beispiel Kampagnen) lassen sich nicht mit Interaktionen verbinden. Sie sind über die Metriken auf der zweiten Output-Ebene hinaus nicht mit weiteren Messungen kombinierbar, da es hier keinen Zugriff auf die Zielgruppen gibt und keine weiteren Daten über sie erhoben werden.

•• Mittlere Erreichbarkeit

Die Erhebung von Metriken und die Schaltung von Online-Umfragen zur Wahrnehmung der jeweiligen Angebote können bei Projekten mit einer mittleren Erreichbarkeit der Zielgruppe durch den Einsatz von Feedbackmethoden im Rahmen synchroner Angebote ergänzt werden. Diese können in digitalen Settings niedrigschwellig und ohne weiteren Zeitaufwand in die jeweilige Plattform integriert werden.

••• Hohe Erreichbarkeit

Im Rahmen von Projekten, die guten Zugriff auf ihre Zielgruppen haben, können im Zuge von Veranstaltungen mit Feedbackbögen gearbeitet werden, die die Zufriedenheit mit der jeweiligen Maßnahme abfragen. In allen Projekttypen kann ergänzend im Rahmen der Konzeption der Angebote mit Fokusgruppen gearbeitet werden, um eine zielgruppengerechte Aufbereitung der jeweiligen Inhalte zu gewährleisten. Diese Fokusgruppen können auch für Tests bezüglich der Zufriedenheit mit den jeweiligen Angeboten genutzt werden.

Stufe 3 | Praxisbeispiel

Um festzuhalten, ob die Zielgruppen die Angebote des Projekts akzeptieren, entscheidet sich das Projekt dafür, die Zufriedenheit mit den unterschiedlichen Angeboten zu erfassen.

Über Social Media werden hierfür Interaktionen wie Likes, Saves, Kommentaren und Reshares erhoben und ausgewertet. Hierfür überlegt sich das Projektteam im Vorfeld, welches Online-Verhalten der Zielgruppe Rückschlüsse auf die Zufriedenheit zulässt. So werden Likes und positive Kommentare in einer Tabelle gesammelt und Soll-Werte festgelegt, anhand derer sich ableiten lässt, wann von erfolgreicher Akzeptanz eines Angebots bei den Zielgruppen gesprochen werden kann. Darüber werden in regelmäßigen Abständen kurze Feedback-Umfragen über ein in die Plattform eingebettetes Tool geschaltet, die nach der Zufriedenheit mit den angebotenen Inhalten fragen. Das Projektteam überlegt sich hierfür zwei Fragen:
- Findest du unser Angebot informativ?
- Würdest du unser Angebot Freund*innen weiterempfehlen?

Darüber hinaus soll die Akzeptanz der Social Media Angebote schon im Rahmen der Konzeption der Angebote sichergestellt werden. Hierfür werden die Inhalte Personen aus der Zielgruppe vorgelegt und deren Feedback eingeholt, um eine zielgruppengerechte Aufbereitung der jeweiligen Inhalte zu gewährleisten.

Im Rahmen des E-Learning-Kurses entscheidet sich das Projektteam für den Einsatz kurzer Feedbackfragen nach erfolgreichem Abschluss des Moduls. Analog zu den über Social Media ausgespielten Fragen wird nach der Zufriedenheit mit der Aufbereitung der Inhalte gefragt, sowie ob die Teilnehmenden das Angebot weiterempfehlen würden. Das Team würde gerne noch eine Umfrage bei Abbruch des Moduls schalten, dies lässt sich leider technisch nicht umsetzen.

Im Anschluss an die Fortbildungen werden die Teilnehmenden gebeten, einen kurzen Fragebogen auszufüllen.

Um die Auswertung zeitsparender umsetzen zu können, wird der Fragebogen online über einen QR-Code bereitgestellt. Neben der allgemeinen Frage nach der Zufriedenheit überlegt sich das Projektteam die folgenden Aussagen, die auf einer Skala (1-5) bewertet werden:
- Der (Lern-)Inhalt ist nachvollziehbar gestaltet.
- Der (Lern-)Inhalt bringt mir etwas für meine eigene Arbeit.
- Ich würde nochmal an einem ähnlichen Format teilnehmen.
- Ich würde das Format weiterempfehlen.

Darüber hinaus wird ein weiteres Feld für Anmerkungen eingerichtet. Auch plant das Projekt am Ende jeder Veranstaltung eine Blitz-Feedback Runde ein, um auch Rückmeldungen, die der Fragebogen nicht erfasst, zu erhalten.

Output | Stufe 2 | Zielgruppen werden erreicht

Auf der zweiten Wirkungsstufe wird die Verbreitung und Nutzung des jeweiligen Projektangebots untersucht. Hierzu gehört beispielsweise die Erfassung der Anzahl von Personen, die von den jeweiligen Inhalten erreicht werden oder die an angebotenen Maßnahmen teilnehmen. Welche Aspekte es in Hinblick auf die Zugänglichkeit der Zielgruppe zu berücksichtigen gilt, wird im Folgenden dargestellt:

• Geringe Erreichbarkeit

In rein digitalen Angeboten lässt sich diese Ebene beispielsweise über Abrufzahlen und Interaktionen (Views und Follows) in sozialen Medien erheben. Analog kann die Reichweite von Kampagnen (bspw. über Facebook ads) sowie Klick-und Downloadzahlen bezüglich Materialien auf eigenen Websites erfasst werden. Hierbei können Tools wie Matomo oder Google Analytics nützlich sein. Dadurch lassen sich Aussagen über die Reichweite der Angebote treffen. Jedoch lässt sich nicht immer genau bestimmen, ob die tatsächlich anvisierten Zielgruppen oder andere Personen erreicht werden und ob User*innen auch tatsächlich die Inhalte aufnehmen oder sie ganz allgemein zur Kenntnis nehmen. Das Erfassen weiterer Daten über die Nutzer*innen widerspricht dem Schutz ihrer Anonymität und kann – wenn überhaupt – nur mittels Zustimmung geschehen.

•• Mittlere Erreichbarkeit

Bei Projekten mit einer mittleren Erreichbarkeit ist davon auszugehen, dass neben der Erfassung von Nutzungs- und Teilnehmendenzahlen auch Aussagen über die Erreichung der tatsächlich anvisierten Zielgruppen möglich sind. Dies kann primär durch Interaktions- und Informationsangebote geschehen, bei denen kurzfristiger Kontakt mit den Nutzer*innen besteht und mittels kurzer Abfragen eingeordnet werden kann, welchem Bereich die Personen zuordenbar sind.

••• Hohe Erreichbarkeit

Bei Projekten, die zumeist mit synchronen digitalen oder analogen Angeboten planen, lassen sich die Anzahl an Teilnehmenden und die Zahl der Nutzer*innen einfach im Rahmen des jeweiligen Angebots über Teilnahmelisten erfassen. Hier ist über die jeweiligen Settings auch eindeutig bestimmbar, ob die geplanten Zielgruppen erreicht werden. Ebenfalls erfassbar sind die Downloadzahlen der von den Projekten konzipierten digitalen Anwendungen im Rahmen der Veranstaltungen und der Nutzung im Nachgang.

Stufe 2 | Praxisbeispiel

Ob die geplanten Zielgruppen erreicht werden, ist bei den über Social Media geschalteten Angeboten schwer zu bestimmen. Zwar lassen sich Aussagen über die Reichweite der Angebote treffen, jedoch lässt sich nicht immer genau bestimmen, ob die tatsächlich anvisierten Zielgruppen oder andere Personen erreicht werden. Das Projektteam verfolgt den Ansatz, die über Social Media gestalteten Angebote so gut wie möglich zielgruppenorientiert und an die jeweilige Plattform angepasst zu gestalten, um so die Wahrscheinlichkeit zu erhöhen, dass die Inhalte die anvisierte Zielgruppe auch erreichen. Dafür holt sich das Projekt Unterstützung im Bereich Social Media Marketing und Audience Development und führt Fokusrunden zu den erarbeiteten Inhalten zur Testung durch. Sie entscheiden sich dagegen, in regelmäßigen Abständen eine kurze Abfrage mit Auswahlmöglichkeiten zu den Zielgruppen zu schalten, da sie nicht mit einem hohen Rücklauf rechnen.

Im Rahmen der Befragung am Ende des E-Learning-Kurses zur Erhebung der Wirkungsebenen 3 – 5 wird auch eine Frage zum Arbeitsfeld der Person gestellt, um zu erheben, wie viele der Teilnehmenden als (politische) Bildner*innen arbeiten und somit als Multiplikator*innen im Projekt erfasst werden.

Die Fortbildungen werden von Trägern der politischen Bildung angefragt, die Zielgruppe also in ihrem Arbeitsumfeld aufgesucht. Demnach ist eine weitere Abfrage zur Erreichung der Zielgruppe über die Erfassung der Anzahl der Teilnehmenden über Teilnehmendenlisten nicht nötig. Über die Listen werden auch für den Fördermittelgeber relevante demografische Daten zu den Teilnehmenden für das Projektmonitoring erfasst.

Output | Stufe 1 | Angebote werden durchgeführt

Die erste Stufe des Wirkungsmodells lässt sich über Projektmonitoring nachhalten. Monitoring dient vor allem dazu, Ressourcen und Aktivitäten zu dokumentieren. Hierbei geht es um die Sammlung von Daten, die leicht zählbar sind und die fortlaufend erfasst werden können. Hierunter fallen zum Beispiel die Anzahl der durchgeführten Veranstaltungen oder von veröffentlichten Social Media Posts. Es ist wichtig zu überlegen, welche Daten für die Projektsteuerung und als Grundlage für eine wirkungsorientierte Evaluation benötigt werden, wann und wie diese erhoben und aufgezeichnet werden. Dabei ist darauf zu achten, dass die Daten in einem auswertbaren Umfang erhoben werden.

Stufe 1 | Praxisbeispiel

Das Projekt hält die Durchführung der verschiedenen Formate in einer Monitoring-Tabelle fest. Diese umfasst nicht nur die Anzahl der durchgeführten Aktivitäten, sondern verknüpft diese gleich mit den Daten, die zur zweiten Wirkungsstufe erfasst wurden. Auch umfasst sie Soll-Werte zum Abgleich der durchgeführten mit den geplanten Aktivitäten.

So werden in einem Tabellenblatt die jeweiligen Social Media Posts notiert und in regelmäßigen Abstand der Outreach und die Interaktionen mit dem jeweiligen Post.

Im Rahmen des E-Learning-Kurses werden die jeweiligen veröffentlichten Module und die entsprechenden Nutzer*innenzahlen in einem weiteren Tabellenblatt erfasst.

Ebenso werden die durchgeführten Fortbildungen gemeinsam mit den zu den Teilnehmenden erfassten Daten dokumentiert.

Das Projekt verteilt pro Aktivitätsform im Team Zuständigkeiten, damit klar ist, wer die entsprechenden Tabellenblätter pflegt. Darüber hinaus wird das Monitoring einmal monatlich im Teammeeting thematisiert, um zu prüfen, ob alle relevanten Daten erfasst wurden und um zu besprechen, wo gegebenenfalls Nachbesserungsbedarf besteht.

Limitationen und Herausforderungen

Nach der Ausarbeitung von Möglichkeiten von wirkungsorientierter Evaluation digitaler politischer Bildung gemäß den Zugängen und Zielgruppen werden im Folgenden Herausforderungen und Grenzen anhand von drei Beispielen skizziert. Diese stehen in direktem Zusammenhang mit digitaler Kommunikation und erheben keinesfalls den Anspruch, umfassend und abschließend diskutiert zu sein. Vielmehr sollen sie bereits im Vorfeld der Planung einer Evaluation auf diese möglichen Fallstricke hinweisen und so eine entsprechende Einbeziehung ermöglichen.

Aufklärung der Teilnehmenden

Erstens ist es gerade im Kontext von Großprojekten naheliegend, dass computergestützte Verfahren zunehmend Einzug in die Evaluation halten. Da im Kontext der digitalen politischen Bildung viele Daten von den User*innen in den sozialen Medien selbst erzeugt werden, kann dies für die wirkungsorientierte Evaluation durchaus attraktiv sein, da sie im Gegensatz zu reaktiven Messungen eine höhere Verlässlichkeit suggerieren. Der Grund dafür ist, dass das Material kontinuierlich durch die Nutzenden produziert wird und der Zugang ohne Umwege möglich ist, so dass Effekte der sozialen Erwünschtheit weniger ins Gewicht fallen (siehe u.a. Lupton 2014: 44). In der Authentizität der Daten liegt jedoch ein zentrales ethisches Problem, insbesondere für Evaluationszwecke. So wissen die Teilnehmenden nicht, dass Teile ihrer Kommunikation Gegenstand von Evaluationen sind und können darüber auch nicht informiert werden, da es keine gesicherte Kommunikation zwischen Forschenden resp. Durchführenden und Befragten gibt (Welker 2019: 539).

Einhaltung des Datenschutzes

Eng mit dieser Unmöglichkeit der Aufklärung hängen zweitens auch zentrale Aspekte des Datenschutzes zusammen. Dieser spielt in Evaluationen immer eine wesentliche Rolle, da alle Erhebungen potentiell die Privatsphäre einer Person empfindlich berühren können, wie es die Deutsche Gesellschaft für Evaluation in den Standards begründet (DeGEval 2017: 41). Auch bei einem qualitativen Vorgehen im Feld ist es nicht immer möglich, eine Einverständniserklärung der Teilnehmenden einzuholen oder sich als Evaluator*in zu erkennen zu geben. Diese Abwägungen müssen immer im Einzelfall geprüft und im Vorfeld abgewogen werden. Bei nicht-reaktiven bzw. digitalen Methoden der Datenerhebung sind diese Möglichkeiten der Transparenz jedoch per se ausgeschlossen. Aus diesem Grund sollte strikt darauf geachtet werden, keine personenbezogenen Daten zu erheben und insbesondere bei der Berichtslegung Interaktionen nur aggregiert abzubilden, um eine faktische Anonymisierung zu gewährleisten und den Aufwand der Offenlegung unverhältnismäßig zu gestalten (Diaz-Bone & Weischer 2015: 20f.).

Selbstselektion der Befragten

Die dritte und letzte Herausforderung bei der Evaluation von Maßnahmen digitaler politischer Bildung bezieht sich auf die Belastbarkeit der Daten selbst und steht in direktem Zusammenhang mit der Auswahl der Teilnehmenden für Evaluationsmethoden beziehungsweise ihrer Selbstselektion. Da vor allem bei sendenden Formaten mit geringem Rücklauf bei Online-Befragungen zu rechnen ist, kann angenommen werden, dass sich wirkungsorientierte Evaluation digitaler politischer Bildung häufig auf eine willkürliche Auswahl (convenience sample) beschränken muss (Kuckartz et al. 2009: 51). Die Gründe hierfür sind in erster Linie pragmatisch motiviert, da ansonsten davon auszugehen ist, dass zu wenige Personen freiwillig an Befragungen teilnehmen und keine belastbaren Aussagen getroffen werden können. Ist es den Befragten jedoch freigestellt, ob sie an einer Befragung teilnehmen und gibt es keine Kontrollmechanismen über die Teilnahme, so ist davon auszugehen, dass Drittvariablen wie Einstellungen oder Erfahrungen einen Einfluss auf die Teilnahme an der Befragung selbst ausüben und diese systematisch verzerren (Gollwitzer & Jäger 2014), also beispielsweise Teilnehmende mit einem höheren Involvement und einer positiveren Einstellung zum Projekt geneigter sind, an einer Evaluation teilzunehmen. Diese Probleme müssen bei der Bewertung eines Angebots berücksichtigt und gegenüber den Vorteilen wie der geringeren zeitlichen und räumlichen Begrenzung abgewogen werden. Bei der Evaluation von Maßnahmen der digitalen politischen Bildung können diese Effekte häufig nicht gänzlich ausgeschlossen werden, umso wichtiger ist es, sie bei der Vorgehensweise kritisch zu reflektieren oder unterschiedliche Erhebungsmethoden miteinander zu kombinieren.

Fazit

Bei Projekten der digitalen politischen Bildung handelt es sich oftmals um modellhafte Pionierarbeit, die auf aktuelle gesellschaftliche Phänomene und Veränderungsprozesse reagiert. In diesen Fällen liegen selten gesicherte Ergebnisse aus einer dichten Grundlagenforschung vor. Plausibel begründete Ableitungen erfordern daher sowohl für die umsetzende Fachpraxis als auch für die wirkungsorientierte Evaluation erhebliche Ressourcen, wie etwa Zeit für die Entwicklung innovativer Maßnahmen und Toleranz für unkonventionelle Vorgehensweisen auch seitens der Zuwendungsgebenden.

Angesichts der komplexen Herausforderungen, insbesondere im Hinblick auf den Zugang zu den Zielgruppen im Digitalen, ist eine offene Haltung gegenüber Wirkungsfragen erforderlich. Der Standard, der bei analogen Projekten angelegt wird, ist nicht immer haltbar, gleichzeitig darf wirkungsorientierte Evaluation nicht bei beliebiger anekdotischer Evidenz stehen bleiben. Es benötigt Raum und Zeit, neue Methoden auszuprobieren. Hierfür ist auch Offenheit und Verständnis von Seiten der Fördermittelgeber notwendig. Weitere Voraussetzungen sind entsprechende Projektlaufzeiten, um den oben genannten Herausforderungen einer wirkungsorientierten Evaluation entsprechend Rechnung zu tragen. Der Aufbau von digitalen Formaten (z.B. Social-Media-Kanäle) sowie deren Entwicklung in der Zielgruppe (Reichweitenaufbau) benötigt zunächst Zeit und dementsprechend dauert es länger, bis die Voraussetzungen gegeben sind, um eine Wirkung bei den Zielgruppen feststellen zu können. Darüber hinaus stellt sich die Frage nach der Nachhaltigkeit von digitalen Bildungsprojekten, da insbesondere digitale Formate, wenn sie einmal etabliert und verfügbar sind, weiterhin Community Management, Support, die üblichen Wartungsarbeiten und damit auch Mittel benötigen.

Insbesondere bei digitalen Projekten müssen wirkungsorientierte Evaluationsmaßnahmen schon in der Konzeption mitgedacht und bereits in Projektanträgen und Finanzplänen berücksichtigt werden. Dies gilt insbesondere dann, wenn Inhalte bzw. Anwendungen eigens erstellt oder programmiert werden. So kann sichergestellt werden, dass hier beispielsweise der Einbau von einem Befragungstool von Anfang an integriert werden kann. Die frühzeitige Integration einer Evaluation regt die Projektinitiator*innen zudem dazu an, sich kritisch mit der inhaltlichen Zielsetzung der Projekte auseinanderzusetzen und Projektziele auf Erreichbarkeit hin zu reflektieren. So kann Evaluation über ihr Anliegen der Akzeptanz- und Wirkungsmessung hinaus bereits bei der Projektplanung zu dessen Gelingen beitragen.