Im Herbst des Jahres 2021 begann die Arbeit an dem ersten Prototyp der Unterrichtsmaterialien „Wer, was und warum? Intentionen in Webvideos erkennen, einordnen und bewerten“. Ziel war es, Materialien zu entwickeln, die einerseits Lehrende dazu befähigen, die Chancen und Herausforderungen sozialer Medien zum Unterrichtsgegenstand zu machen. Andererseits sollten sie geeignet sein, Schüler:innen in ihrer Medien- und Informationskompetenz im Umgang mit sozialen Medien zu fördern. Bereits zu Beginn des Entwicklungsprozesses der Materialien wurden Lehrende mit unterschiedlichen fachlichen Perspektiven sowie Erfahrungen mit diversen Lerngruppen einbezogen. Es wurde beispielsweise erhoben, welche Rolle Webvideos in ihrem Unterricht spielen, wie sie eingebunden werden und welche Fragen im Hinblick auf die Rolle von Webvideos für Schüler:innen unterschiedlicher Altersgruppen von Bedeutung sein könnten. Weiterhin wurden Lehrende in die Entwicklung der didaktischen Methoden einbezogen. Damit sollte der Grundstein für die Relevanz und Akzeptanz der künftigen Materialien sowohl für Lehrende als auch für Schüler:innen unterschiedlicher Hintergründe gelegt werden.
Nach der Fertigstellung des Prototypen haben wir uns jedoch weitere Fragen gestellt:
Wie können die Lehrer:innen mit den Materialien für die Unterrichtseinheit arbeiten?
Was halten die Schüler:innen von der Unterrichtseinheit?
Gibt es Themen, die aus Sicht von Lehrer:innen und Schüler:innen außer dem von uns gewählten („Intentionen erkennen und bewerten“) noch relevant sein könnten?
Diese und weitere Fragen haben wir uns im Rahmen des ersten Praxistestes und der Evaluation des Prototypen im Frühsommer 2023 gestellt.
Warum wird evaluiert?
Aus sozialwissenschaftlicher Perspektive bezeichnet Evaluation eine „wissenschaftlich fundierte[n] Bewertung von Sachverhalten und insbesondere von Interventionsmaßnahmen hinsichtlich verschiedener Bewertungskriterien, etwa Effektivität, Effizienz, Akzeptanz oder Nachhaltigkeit“ (Döring & Bortz, 2016, p. 977). Von den Ergebnissen der Evaluation eines Produktes oder einer Maßnahme werden im Anschluss Entscheidungen über die Anpassung, Überarbeitung oder Weiterführung/-nutzung dieser getroffen.
Bei der Evaluation von Lehr- und Lernmaterialien stehen üblicherweise zwei Zielgruppen im Fokus. So muss einerseits gewährleistet sein, dass Lehrende mit den Materialien arbeiten können. D.h. es stellen sich Fragen wie: Inwiefern eignen sich die Materialien als Handreichung für die Durchführung einer Unterrichtseinheit? Inwiefern haben die Lehrenden den Eindruck, dass die formulierten (Lern-) Ziele erreicht werden können? Welche Stärken und Überarbeitungspotentiale können sie identifizieren?
Andererseits sind die Schüler:innen als sekundäre Zielgruppe von entscheidender Bedeutung. Hat die Teilnahme an der Einheit Spaß gemacht? Inwiefern bewerten die Schüler:innen die Inhalte und Themen der Materialien als interessant und relevant? Haben sie etwas gelernt?
Wie wurde evaluiert?
Die in den Materialien beschriebene Unterrichtseinheit wurde im Mai und Juni 2023 von drei Lehrenden (L1-L3; 1 = w, 2 = m) in fünf Lerngruppen erprobt . Die Lehrenden erhielten dazu die schriftliche Handreichung mit der Beschreibung der Unterrichtseinheit und möglicher Adaptionen. Nach der Durchführung der Einheit wurden Leitfadeninterviews mit den drei Lehrenden (ca. 60 Minuten) geführt. Diese ermöglichten nicht nur eine Einschätzung der Wirksamkeit der Unterrichtseinheit aus Lehrer:innenperspektive. Darüber hinaus konnte die Qualität der Materialien im Hinblick auf Inhalte und die Methoden geprüft werden. Außerdem wurden Überlegungen zu Stärken, Schwächen sowie Verbesserungsvorschläge erhoben.
Die Schüler:innen (männlich = 24 , weiblich = 34, non-binary = 1, k.A.= 6) der Klassenstufen 8, 11 und 12 füllten einen Online-Fragebogen aus. Es liegen verwendbare Datensätze von 65 Schüler:innen vor. Mit dem Fragebogen sollte geprüft werden, wie die Schüler:innen die Qualität der Einheit bewerten, inwiefern sie einen Lernerfolg bei sich selbst wahrnehmen und inwiefern sie infolge der Unterrichtseinheit stärker über die Intentionen von YouTube-Videos und ihren Macher:innen nachdenken (Fragebatterien in Anlehnung an Caspari et al., 2020; Schmitt et al., 2020). Die Antworten wurden sowohl in geschlossenen Fragen als auch mittels offener Fragen erhoben.
Weiterhin wurden sowohl Schüler:innen als auch Lehrer:innen nach Themenvorschlägen für eine mögliche Fortführung der Unterrichtsmaterialien gefragt.
Was ist das Ergebnis?
Wie bewerten Lehrer:innen und Schüler:innen die Unterrichtseinheit?
Die Bewertung der Unterrichtseinheit und Materialien durch die Lehrenden ist insgesamt sehr positiv. So sagte L1:
Zitat
Es war sehr cool. Es hat sehr großen Spaß gemacht. Kann man ja auch einfach beim Interesse und der überproportionalen Häufigkeit der Meldungen [erkennen].
Eine besondere Stärke wurde im Lebensweltbezug der Einheit gesehen. Sie habe „eine[n] griffige[n], nicht zu komplexen […] Zugriff“ auf soziale Medien und viel Offenheit (L2). Beide Aspekte ermöglichen es auch sehr heterogene Gruppen zusammenzubringen (ebd.).
Soziale Medien und mediales Lernen sollten zudem auch abseits der Einheit viel häufiger in den Fokus von Unterricht gerückt werden, wie das folgende Zitat von L1 unterstreicht:
Zitat
das ist eine supergroße Stärke dieser Einheit, sich damit auseinanderzusetzen und das mediale Lehren in den Fokus zu setzen, dass es einfach auch dort [in digitalen Medien] stattfindet und die nächsten Jahre auch immer stattfinden wird.
Jugendliche hätten zwar großes oberflächliches Medienwissen (L1, L3), allerdings gehe das nicht in die Tiefe:
Zitat
Also da ist gar nicht so viel digitales Wissen vorhanden oder reflektierendes Wissen, wie man das eigentlich denken müsste.
Außerdem hoben Lehrende positiv hervor, dass die Schüler:innen sich im Rahmen der Einheit mit ihrer Expertise zu sozialen Medien präsentieren durften:
Zitat
Das haben sie auch gerne gemacht, sich vorne hinzustellen, da ein bisschen rüber zu gehen und im Gespräch zu sein.
L2 betont zudem die Stärke der Unterrichtsmaterialien und der Einheit sich als Lehrende mit dem Themenfeld eingehender zu befassen und „den Blick aufs Detail“ zu lenken. Wertvoll sei es insbesondere dann darüber „mit den Schülern in den Austausch zu kommen“ (L2).
Auch die Jugendlichen waren überwiegend zufrieden mit der Unterrichtseinheit, wobei sich deutliche Unterschiede zwischen den Klassenstufen zeigen. Während die Zufriedenheit der Schüler:innen der 8. Klassen nur leicht über dem Durchschnitt lag (M = 3,44, SD = 0,82, n = 25) liegt, sind die Schüler:innen der 12. Klasse sehr zufrieden mit der Unterrichtseinheit (M=4,73, SD = 0,65, n = 11). Den deutlichen Unterschieden liegt jedoch nicht zwingend ein Alterseffekt zugrunde. Sie können auch auf Unterschiede in der Durchführung der Einheit – Klasse 8 und 12 wurden von unterschiedlichen Lehrenden angeleitet – oder auf die Gruppengröße zurückgeführt werden.
Den Jugendlichen gefiel insbesondere, dass ihre Lebenswelt und ihre individuellen Perspektiven im Rahmen der Unterrichtseinheit Berücksichtigung gefunden haben (siehe Abbildung 1). Im Vordergrund stand vor allem „dass es um Social Media ging“ bzw., dass Webvideos behandelt wurden. Aber auch die Tatsache, dass sie selbst zur Gestaltung des Unterrichts durch eigene Beiträge und die Auswahl eigener Videos beitragen durften, hat den Schüler:innen gut gefallen. Außerdem fühlten sich einige, nach eigener Aussage „zum Nachdenken [über soziale Medien] angeregt“.
Überrascht hat sie einerseits, wie viele ihrer Peers Webvideos zum Lernen nutzen, andererseits auch mehr über die Geschäftsmodelle und potentiell negativen Wirkungen von Webvideos (z.B. Manipulationen) zu erfahren.
Die grundsätzliche Zufriedenheit der Schüler:innen spiegelt sich auch in den Antworten auf die Frage „Was hat dir nicht gefallen?“ wider (für einen Überblick siehe Abbildung 2). Die häufigste Antwort ist hier „Nichts“. Verbesserungsbedarf sehen die Schüler:innen vor allem im Hinblick auf die Fragen auf den Arbeitsblättern sowie die Videos, die von der Lehrperson gewählt worden sind.
Die Lehrenden sehen die Schwächen der Einheit bzw. des Materials ebenfalls vor allem in den Arbeitsblättern. So identifizieren sie einerseits Herausforderungen in einzelnen Formulierungen und der Organisation der Arbeitsblätter. Insbesondere seien Schüler:innen über einzelne Formulierungen (z.B. „Wer darf sprechen?“) in den Fragen auf den Arbeitsblättern gestolpert. Andererseits stellt L3 die Verwendung von Arbeitsblättern insgesamt in Frage:
Zitat
Das Problem bei Schülern ist oft, die sind sehr darauf abgerichtet, Arbeitsblätter zu machen […] dann sitzen die da, machen und so. Wenn ich dann frage „warum macht ihr das?“, haben die keine Ahnung.
Eine weitere Herausforderung ist die Auswahl eines geeigneten Videos (L2, L3). So sollte es zur jeweiligen Lerngruppe passen. L3 empfiehlt sogar,
Zitat
dass man irgendwie ein Video hat, was irgendwie problematischer ist […] Im Idealfall erarbeiten die Schüler selber eine Problemfrage, auf die sie dann halt irgendwie im Laufe eine Antwort finden und dann macht das halt die Sache auch runder.
In diesem Kontext unterstreichen sowohl L2 als auch L3, wie wichtig es ist, Unterrichtsmaterialien zu adaptieren und auf die jeweilige Lerngruppe anzupassen: „als Lehrer wird Unterricht erst gut, wenn man ihn irgendwie zu seinem eigenen gemacht“. Auch L2 verweist darauf, wie wichtig eine Reflexion der im Unterricht eingesetzten Methoden ist. Lehrende sollten stets thematisieren: „Was machen wir denn wann und an welcher Stelle?“ (L2), um die Relevanz und Problemorientierung der Einheit (L3) zu stärken.
Konnten die Lernziele erreicht werden?
Die Unterrichtseinheit zielte auf die Förderung der folgenden Kompetenzen bei den Schüler:innen ab:
Die Schüler:innen…
…beschreiben mithilfe von Prüffragen Formen und Inhalte von Webvideos.
…erkennen mögliche Interessen bzw. Intentionen in Webvideos, ordnen sie ein und bewerten sie kritisch.
…beschreiben darauf aufbauend mögliche Wirkungen (z.B. Überzeugungsabsichten) von Webvideos auf sich und andere.
Zwei von drei Lehrenden bewerten den Lernerfolg der Schüler:innen positiv. L2 hatte das Gefühl, „dass wir da in eine kritische Reflexion reingehen konnten“. Auch L1 bestätigt:
Zitat
wir sind ungefähr da hingekommen, wo wir hinwollten, wenn vielleicht auch nicht so tief in der kritischen Bewertung.
Einzig L3 glaubt nicht, dass die Lernziele in seinen Lerngruppen – zwei achte Klassen – erreicht werden konnten. Seiner Ansicht nach konnte kein Problembewusstsein bei den Schüler:innen geschaffen werden, da in ihrem Medienalltag YouTube keine große Rolle mehr spiele (siehe auch mpfs, 2022). Außerdem ist L3 kritisch im Hinblick auf seine Videoauswahl. Während die beiden anderen Lehrpersonen im Rahmen ihrer Stundengestaltung mehrere Videos verwendeten und von den Schüler:innen diskutieren ließen, hat L3 lediglich das im Prototypen vorgeschlagene Video von Jonas Ems verwendet. Zwar war Jonas Ems als TikToker in den 8. Klassen bekannt, das Thema des Videos – ein Wahlaufruf für die Bundestagswahl 2021 – knüpfte jedoch nur wenig an die Lebensrealität der Achtklässler:innen an.
Tendenziell geben auch die Schüler:innen an, etwas gelernt zu haben. Hierbei gibt es jedoch erneut deutliche Unterschiede zwischen den Gruppen, was auf die große Bedeutung der Lehrperson für die Umsetzung einer Unterrichtseinheit hinweist. Während die Schüler:innen der 8. Klasse deutlich kritischer sind und eher weniger das Gefühl haben, etwas gelernt zu haben (M = 2,38, SD = 1,02, n = 26), bescheinigen sich die Schüler:innen der 12. Klasse schon einen Lernerfolg (M = 3,91, SD = 0,83, n = 11). Die Schüler:innen konnten ihre Zustimmung zu dem Item „Ich habe etwas gelernt.“ auf einer Skala von 1 bis 5 (1 = stimme überhaupt nicht zu, 5 = stimme voll und ganz zu) abgeben.
Neben der Selbsteinschätzung ihres Lernerfolgs wurden mit unterschiedlichen Items erhoben, inwiefern sie nach der Unterrichtseinheit stärker über die Intentionen von YouTube-Videos und ihren Macher:innen nachdenken. Dazu haben sie z.B. folgende Fragen beantwortet: "Die Macher:innen von YouTube-Videos haben oft ein Ziel, was man nicht immer direkt durchschauen kann.“ „Wenn Leute YouTube-Videos produzieren, ist jede Kameraeinstellung sorgfältig geplant.“ „Seit der Unterrichtseinheit, denke ich mehr darüber nach, was die Macher:innen mit dem Video beabsichtigen.“ Die Schüler:innen konnten ihre Zustimmung zu den Items auf einer Skala von 1 bis 5 (1 = stimme überhaupt nicht zu, 5 = stimme voll und ganz zu) abgeben. Die Ergebnisse verdeutlichen, dass die Unterrichtseinheit im Durchschnitt die Schüler:innen zur Reflexion über YouTube angeregt hat.
Wieder zeigen sich jedoch Unterschiede zwischen den Klassenstufen: Die Einschätzung der Schüler:innen der 8.Klasse fallen deutlich zurückhaltender aus, als die der älteren Schüler:innen. Das deckt sich mit der Wahrnehmung der dazugehörigen Lehrperson, welche die Unterrichtsstunden in den beiden achten Klassen als weniger gelungen und teilweise „träge“ einschätzte (L3).
Welche Themen sind aus Sicht der Lehrer:innen und Schüler:innen außerdem relevant?
Aus Sicht der Schüler:innen sollten Unterrichtseinheiten auch weitere Social Media-Plattformen behandeln. Dabei sollten vor allem TikTok und Instagram im Fokus stehen. Aus einer inhaltlichen Perspektive sollten künftige Unterrichtseinheiten außerdem den Umgang mit sogenannten Fake News behandeln (siehe Abbildung 3).
Vergleichbare Befunde ergibt die Befragung der Lehrer:innen. Auch sie sehen die Notwendigkeit, sich mit unterschiedlichen Social Media-Plattformen und dem Nutzungsverhalten der Jugendlichen im Unterricht zu befassen. Die Lehrenden heben insbesondere die Bedeutung hervor, die Chancen und Herausforderungen von TikTok (z.B. im Hinblick auf Desinformationen, Polarisierung, aber auch Suchtpotential, Dark Design Patterns) zu behandeln. Darüber hinaus ist es aus ihrer Sicht wichtig, sich noch eingehender mit sog. Fake News, Quellenkritik und der Auswahl verlässlicher Quellen im Internet zu befassen. Dazu könnte z.B. die Unterrichtseinheit um eine weitere Einheit erweitert werden, in der zunächst die Kriterien für die Bewertung von Quellen festgelegt werden (siehe L1). Aber auch Strukturbedingungen von Plattformen wie Algorithmen und Thumbnails und ihre Rolle für die Auswahl und Bewertung von Inhalten (z.B. Clickbaiting) werden übergreifend als relevante Themen erachtet.
L2 hebt insbesondere auch die Bedeutung hervor, sich mit der Wirkung von bestimmten Merkmalen zu befassen. So sei aus ihrer Sicht insbesondere die Auseinandersetzung mit der Rolle von Influencer:innen für das Körperbild und hinsichtlich psychischer Erkrankungen von großer Bedeutung. Außerdem verweisen sowohl L2 als auch L3 auf die Emotionalisierung von Inhalten als ein wichtiges Thema im Kontext sozialer Medien. L3 bringt die Auseinandersetzung mit Emotionen v.a. aber auch als einen methodischen Aspekt ein:
Zitat
Wie kann man Unterrichtseinheiten machen, die diese Gefühle, Emotionen, die da irgendwie hochkommen, einbeziehen? Wie kann man die irgendwie produktiv nutzen und nicht immer so ein kognitives Ding dagegenstellen?
Neben inhaltlichen Fragen sollten Unterrichtseinheiten zu sozialen Medien aber auch die Eigenverantwortlichkeit, Selbstbestimmung und Persönlichkeitsbildung (L2) der Jugendlichen stärken. Lehrende sollten „Jugendliche dabei unterstützen, ein kritisches Bewusstsein zu entwickeln, zu sich selbst stehen“, die Individualität des Einzelnen im Hinblick auf politische und gesellschaftliche Fragen stärken „und die damit verbundene Verantwortung, aber auch Verantwortung für sich selbst“ (L2). Vor allem aber, und darüber sind sich alle einig, sollten Lehrende die Themen an die eigene Lerngruppe anpassen und dabei die Heterogenität der Gruppe und das Alter berücksichtigen.
Die in den Materialien beschriebene Unterrichtseinheit wurden von drei Lehrenden in fünf Lerngruppen getestet. Wenngleich unterschiedliche Schulformen und Altersgruppen damit abgedeckt werden konnten, bildet die Evaluation nur einen Ausschnitt der potentiellen Zielgruppe ab. Sicher gäbe eine noch größere und diversere Zielgruppe noch weiterführendere Einblicke. Weiterhin haben die Lehrenden die Unterrichtseinheit entsprechend ihrer eigenen Vorstellungen adaptiert. Die Bewertung der Unterrichtseinheit durch die Schüler:innen bezieht sich dabei jeweils auf die Interpretation der Materialien und die Art der Umsetzung der Einheit durch die Lehrenden.
Nichtsdestotrotz konnten vor dem Hintergrund dieses ersten Praxistests und der Evaluation wertvolle Hinweise für die Überarbeitung der Materialien abgeleitet werden. Ursprünglich waren die Materialien auf YouTube als Plattform ausgerichtet. Vor dem Hintergrund der Befunde der Evaluation wurden sie auf Webvideo-Plattformen verallgemeinert. Da TikTok derzeit unter den Schüler:innen überaus beliebt ist, wurden sie weiterhin um einen leicht verständlichen Hintergrund zu TikTok als zentraler Plattform für Jugendliche ergänzt. Außerdem wurden die Materialien um Videobeispiele von TikTok erweitert.
Darüber hinaus wurden die Arbeitsblätter auf der Grundlage des Feedbacks der Lehrenden und Schüler:innen überarbeitet. Es wurden Formulierungen der Fragen vereinfacht und neu gruppiert, um Verbindungen zwischen Fragen besser zu verdeutlichen. Vor dem Hintergrund der Erfahrungen der Lehrenden zeigt sich zudem, dass es sich bewährt hat, im Rahmen der Einheit mehrere Videos zu verwenden und sie einander gegenüberzustellen, um unterschiedliche Intentionen herauszuarbeiten. Ein Hinweis dazu wurde in den Materialien ergänzt.
Eine weitere Anregung, die wir gern aufnehmen, jedoch möglicherweise erst auf lange Sicht umgesetzt werden kann, ist die Idee von L2 den der Beschreibung der Unterrichtseinheit vorangestellten Hintergrund zu YouTube (und später TikTok) um ein kurzes Erklärvideo zur Einführung für Lehrende, aber auch für Schüler:innen zu ergänzen.
Insgesamt hat es sich während des gesamten Entwicklungsprozesses der Einheit als überaus wertvoll erwiesen, Lehrende mit den unterschiedlichsten Erfahrungen zu ganz unterschiedlichen Momenten systematisch einzubinden. Während die Beteiligung von Lehrenden an der Entwicklung von Unterrichtsmaterialien durchaus nicht unüblich ist, werden Jugendliche als eigentliche Zielgruppe nur selten in frühen Phasen der Material- und Methodenentwicklung eingebunden. Natürlich lässt sich ein solch partizipatives Verfahren noch offener und umfassender gestalten, beispielsweise im Kontext von an Design Sprints angelegten Prozessen oder aber auch im Rahmen von Praxistests und Evaluationen, die experimentell angelegt sind oder videographische Methoden beinhalten (siehe z.B. Schmitt et al., 2020). Jedoch haben die Materialien ebenso wie die Unterrichtseinheit auch von diesem etwas sparsameren Verfahren enorm profitiert.
Wir hoffen, dass sich das auch in zahlreichen erfolgreichen Unterrichtsstunden zu Facetten und Mechanismen sozialer Medien widerspiegelt.