Die Nutzung von KI durch Islamist:innen und andere Extremist:innen – mit wenig Ressourcen maximalen Output generieren
Islamist:innen erstellen mit Hilfe von KI zielgruppenspezifische Propaganda, verbreiten eigene Narrative und sprechen insbesondere die Emotionen der Betrachter:innen an. Sie nutzen das auf diese Weise generierte Material, um Anhänger:innen zu gewinnen und zu radikalisieren. Was bereits vor der Nutzung von KI zum Vorgehen von Islamist:innen und anderen Extremist:innen gehörte, wird nun mit geringerem zeitlichen und personellen Einsatz möglich. Darüber hinaus kann mittels KI wesentlich mehr Output generiert werden, womit sich potenziell eine größere Gruppe an Adressat:innen auf den unterschiedlichsten digitalen Plattformen erreichen lässt.
So sind die oftmals kostenlosen oder kostengünstigen KI-Tools einfach und mit wenig personellem Aufwand zu bedienen und es können große Mengen an Daten – etwa Bilder, Videos, Audios etc. – in kurzer Zeit generiert werden. KI-Tools erfordern wenig oder fast kein technisches Wissen. Zudem wird zum Beispiel die Gefahr erkannt zu werden, gemindert, indem beispielsweise Avatare, also künstliche Personen oder Figuren, erstellt werden. Die Erstellung von Inhalten für Soziale Medien ist hinsichtlich des Stils und Formats jeweils plattformspezifisch und berücksichtigt dabei die Zielgruppen, die auf den jeweiligen Plattformen unterwegs sind.
Ein Beispiel für ein genutztes Stilmittel – das mittlerweile zu einem globalen Trend geworden ist und längst nicht nur von Islamist:innen genutzt wird – ist etwa die sogenannte „Ghiblification“, das heißt die Erstellung oder Veränderung von Fotos durch den neuen ChatGPT-Bildgenerator in Inhalte, die wie Animes aussehen. Unter solchen Beiträgen und mit KI-generierten Profilbildern kommentieren Islamist:innen etwa den Israel-Gaza-Krieg und stellen zum Beispiel den israelischen Ministerpräsidenten Benjamin Netanyahu als Verbrecher dar (Jugendschutz.net 2025). Durch ideologisch gefärbte Darstellungen von Begebenheiten erschüttern Islamist:innen letzten Endes auch das Vertrauen in die klassischen Medien, etwa durch den Einsatz von KI-generiertem Bildmaterial unterschiedlicher Art im Nahostkonflikt. Darüber hinaus können KI-Tools von Islamist:innen auch dazu genutzt werden, schneller und gezielter Zugang zu bestimmten Informationen zu bekommen. Befürchtet wird hier u. a. der Einsatz von KI zur Gewinnung von Informationen zu ABC-Waffen (atomare, biologische oder chemische Waffen; ZDF 2024) oder auch zur Strategieplanung für mögliche Anschläge.
Beispiele für die Nutzung von KI durch Islamist:innen
Aktuell nutzen Islamist:innen vor allem KI-Tools, die mit Sprache und Bildern arbeiten. Folgende KI-Anwendungen spielen hierbei laut Politikwissenschaftler Georg Plattner (2024, S. 8) eine bedeutende Rolle:
Bei Voice Cloning („Stimmklonen“) handelt es sich um die künstliche Erstellung von Audiomaterial in der Stimme einer (bestimmten) Person mit Hilfe von KI. Mit diesen KI-generierten Stimmen können Menschen somit beliebige Aussagen in den Mund gelegt werden. Bei der Videoerstellung kommen etwa sogenannte Deepfakes zum Einsatz – es handelt sich hierbei um manipulierte Videos, in denen bekannte Persönlichkeiten scheinbar Dinge sagen oder tun, die ihnen lediglich zugeschrieben werden, so aber nie stattgefunden haben oder gesagt wurden (Walter 2023). Der Begriff Deepfake ist dabei ein Amalgam aus „Deep Learning“ und „Fake“ und kann sowohl Bilder als auch Audios und Videos beschreiben, die durch KI entweder komplett erzeugt oder verändert wurden.
KI-Anwendungen sind bei verschiedenen islamistischen Gruppierungen oder Akteur:innen inzwischen weitverbreitet. So hat zum Beispiel Abu Obeida – der Sprecher der Al-Qassam-Brigaden, dem militärischen Arm der Hamas, dessen Tötung Israel zwischenzeitlich bekanntgegeben hat (Tagesschau 2025b) – im Dezember 2023 erklärt, dass die israelische Armee (Israeli Defence Forces) Windeln trage. In der Folge wurden zahlreiche Memes, Bilder und auch Deepfakes verbreitet, die dies bildlich untermalten. Ziel des Einsatzes der KI in dieser Form war es, das israelische Militär zu diskreditieren und als feige darzustellen. Verbreitet wurden die abwertenden Inhalte auf TikTok, YouTube und X, zum Teil mit dem Hashtag #IsraeliDiaperForce (Siegel 2024).
Der sogenannte „Islamische Staat“ („IS“) verfügt bereits seit Langem über eine eigene „Nachrichten-Berichterstattung“ in verschiedenen Formaten, wie beispielsweise eigene „Zeitschriften“ in zahlreichen Sprachen (Bunker/Ligouri Bunker 2018). Eine Neuerung ist hier die KI-gestützte Erstellung von „Nachrichten“-Videos, zum Beispiel nach dem islamistischen Anschlag auf die Crocus Hall in Moskau im März 2024. Entsprechende „Nachrichten“-Videos wurden auf einem „IS“-Server auf dem Kommunikationsprogamm Rocket.Chat, welches in Kanälen (Channels) organisiert ist, verbreitet. Generiert wurden mittels KI gleich zwei verschiedene Sprecher-Charaktere, einer in militärischer Uniform in einem Video und einer in traditioneller islamischer Kleidung in einem zweiten. Das erste Video mit einem so geschaffenen Avatar wurde am 27. März 2024 gepostet und der „Sprecher“ rezitierte darin einen Bericht der „Nachrichtenagentur“ des „IS“, Amaq News Agency, vom 23. März 2024 (Katz 2024).
Mit Videos wie diesen stellen Islamist:innen auch die klassischen Medien in Frage und wollen bei ihren Anhänger:innen ihre eigene Deutung von Geschehnissen verbreiten. Zugleich geht es ihnen darum, Furcht und Schrecken hervorzurufen. Dies waren natürlich bereits vor dem Einsatz von KI ihre Ziele. Durch KI können sie dies jedoch in größerem Umfang, mit weniger Personaleinsatz, schneller und durch die lebensechte Darstellung etwa von Personen für die Adressat:innen noch irreführender umsetzen. So ist nicht jede:r User:in in der Lage, KI-generierte Personen von echten zu unterscheiden, insbesondere wenn Videos etwa auf kleinen Smartphone-Bildschirmen betrachtet werden.
Bei der Verbreitung von KI-generierten Inhalten agieren Islamist:innen höchst zielgruppenorientiert. So richten sich beispielsweise Deepfake-Musikvideos gezielt an junge Menschen – darunter animierte Clips, in denen bekannte Figuren wie Spongebob Schwammkopf und Rick Sanchez oder populäre YouTuber wie PewDiePie und MrBeast Kampf-Naschids singen. Hier findet auch ein Voice Cloning der Stimmen statt. Erstellt wurden diese Inhalte von Sympathisant:innen von al-Qaida und dem „IS“ (Siegel 2024). Durch die Nutzung bekannter Akteur:innen und Figuren wenden Islamist:innen sich an eine breite Zielgruppe und erwecken damit das Gefühl einer vermeintlichen Vertrautheit bei den Adressat:innen.
Die Aneignung von KI-Skills und die „Professionalisierung“ wird von islamistischen Akteur:innen proaktiv vorangetrieben. Dabei besteht ihrerseits ein Interesse daran, dass Akteur:innen der islamistischen Szene in der Nutzung von KI-Tools geschult werden, sodass diese großflächig eingesetzt werden können. So kündigte der Islamic Media Cooperation Council, eine al-Qaida-nahe Mediengruppe, im Februar 2024 einen Workshop zu KI an. Im selben Monat veröffentlichten sie gemeinsam mit einer weiteren Medien-Gruppe eine 50-seitige arabischsprachige Anleitung zur Nutzung von OpenAIs ChatGPT (Katz 2024).
Islamist:innen und andere Extremist:innen profitieren ferner von den Algorithmen der Social Media-Plattformen und der Suchmaschinen, die das Verhalten der User:innen analysieren und personalisierte Empfehlungen geben (O’Neil 2018). Plattformen wie beispielsweise TikTok und Instagram zielen auf eine langfristige Interaktion der User:innen auf und mit der Plattform ab, da es sich um Plattformen profitorientierter Unternehmen handelt. Daher schlägt der plattformeigene Algorithmus den Nutzer:innen stets zur persönlichen Auswahl passende Inhalte vor. Bevorzugt werden zudem polarisierende und emotionalisierende Inhalte ausgespielt, da diese die User:innen einerseits länger auf der Plattform halten und andererseits zu einem aktiveren Nutzerverhalten (Kommentare, Likes, Weiterleitungen etc.) beitragen. Dadurch kann es passieren, dass User:innen immer weiter in extremistische Filterblasen hineingezogen werden (Landesmedienzentrum Baden-Württemberg [2018] 2022).
KI in der Prävention gegen Islamismus
In Deutschland gibt es eine vielfältige Präventionslandschaft von zivilgesellschaftlichen Trägern bis hin zu Sicherheitsbehörden, die bundeslandspezifische Charakteristika aufweisen (Oehlmann 2025). In den letzten Jahren hat das Phänomen der Online-Radikalisierung zugenommen und somit legen auch Sicherheitsbehörden, weitere Behörden und zivilgesellschaftliche Träger der Prävention ein besonderes Augenmerk auf diesen Bereich (Lang 2022). Dabei kann KI in den unterschiedlichen Bereichen der Prävention (Primär-, Sekundär- und Tertiärprävention) von unterschiedlichen Akteur:innen und mit unterschiedlicher Zielsetzung eingesetzt werden.
Jeder Mensch kann online mit extremistischen Inhalten und in diesem Fall auch KI-generierten islamistischen Inhalten in Berührung kommen. Es ist daher zentral, dass im Rahmen der Primärprävention insbesondere Medienkompetenz vermittelt wird. Dazu gehört unter anderem das Wissen über Tools, mit denen sich etwa die Herkunft von Bildern überprüfen lässt (Weitklick 2021), sowie die Fähigkeit, insbesondere KI-generierte Inhalte als solche zu erkennen (Uhlenbrock 2024).
KI stellt neue Anforderungen an die politische Bildung und auch an die Personen, die sie gegen Extremismus anwenden, da beispielsweise Desinformationen in größerem Maße und immer professioneller erstellt werden können, das heißt Bilder, Videos und Audios wirken (zunehmend) täuschend echt (Bundesamt für Sicherheit in der Informationstechnik 2023; Klicksafe 2023). Da sich Menschen unabhängig von ihrem Alter radikalisieren können und insbesondere Personengruppen aus dem Bereich „Digital Immigrants“ oftmals Schwierigkeiten in der Erkennung von Desinformation haben, ist es notwendig, in der Prävention alle Altersgruppen zu adressieren (Pohl/Wiedemann 2025; Lang 2025). Online-Radikalisierung ist kein reines Jugendphänomen.
Aufgabe der Prävention ist es jedoch nicht nur, über extremistische KI-Nutzung aufzuklären. Auch für die Prävention selbst ergeben sich Nutzungsmöglichkeiten, etwa beim Systematisieren oder Ordnen von Informationen und zudem auch in der Erforschung von extremistischen Online-Phänomenen. Präventionsakteur:innen haben zudem beispielsweise auch die Möglichkeit, mit Hilfe von KI etwa Informationsmaterialien zum Thema Islamismus zu erstellen oder KI in die Produktion etwa von Serious Games, das heißt Lern- und Bildungsspiele gegen Extremismus, einzubeziehen. Auch in der Medienaufsicht führt der Einsatz von KI zu einer Effizienzsteigerung, wie etwa im Falle des Tools KIVI der Medienanstalt NRW, welches diese bei der Suche nach Rechtsverstößen etwa im Bereich Volksverhetzung unterstützt, Mitarbeitende entlastet und die Effizienz steigert (Meineck et. al. 2022).
Auch für Sicherheitsbehörden bieten sich vielfältige Nutzungsmöglichkeiten zur Prävention und Repression von Straftaten mit Bezug zum Islamismus. Einsatzbereiche können hier etwa Hotspotfrüherkennung (Feststellung und Einordnung von Kriminalitätsschwerpunkten), Predictive Policing, Bild- und Mustererkennung, Interner Link: Internetmonitoring und Drohnenüberwachung sein (Bitkom 2023). Die europäische Polizeibehörde Europol nutzt beispielsweise mit Palantir Gotham bereits seit dem Jahr 2016 eine Software mit KI-Elementen (European Parliament 2020) und zum Beispiel auch die hessische Polizei nutzt eine solche in Form von hessenDATA (ebenfalls einer Variante von Palantir). Dieses Tool wertet vorliegende Daten in kurzer Zeit aus und kann diese aufbereiten (Iskandar 2025). Neben Hessen nutzen auch Bayern mit VeRA (Verfahrensübergreifende Recherche und Analyse; Jerabek 2024) und Nordrhein-Westfalen mit dem Recherchesystem DAR (Datenbankübergreifenden Analyse und Recherche; Die Zeit 2021) Software auf Basis von Palantir. Baden-Württemberg möchte diese ebenfalls für seine Polizei einführen (SWR 2025). Innenminister Dobrindt prüft zudem einen bundesweiten Einsatz – wenngleich ein Einsatz der Software des US-Unternehmens Palantir aufgrund von Datenschutzbedenken und wegen der politischen Haltung seines Mitgründers Peter Thiel aktuell teilweise auch kritisch diskutiert wird (Tagesschau 2025a).
Durch den Einsatz von Software mit KI können der Präventions- und der Repressionsbereich gerade angesichts von Big Data, das heißt großen und komplexen Datenmengen, Personalressourcen einsparen und den stetig wachsenden Datenmengen begegnen. Nicht nur für Behörden und zivilgesellschaftliche Träger bieten sich durch KI-Tools Möglichkeiten in der Bekämpfung des Islamismus. Auch Suchmaschinen und Social-Media-Plattformen können hiervon profitieren beziehungsweise profitieren davon schon heute. Die Politikwissenschaftlerin Marie Schroeter erläutert etwa, dass entsprechend programmierte Suchmaschinen und Empfehlungssysteme auf moderate statt extremistische Inhalte verweisen könnten, Perspektiven sieht sie auch bei der Verarbeitung natürlicher Sprachen (Natural Language Processing, NLP), welches Potenzial für die Moderation von Online-Inhalten insbesondere bei Sprachen biete, die nur von wenigen Menschen gesprochen werden (Schroeter 2020).
Oftmals gibt es nur eine schwache Plattformmoderation und diese ist auch nicht gleich stark in allen Sprachen verfügbar. Hier könnte eine KI unterstützen. Plattformen können KI außerdem dazu nutzen, extremistische Inhalte zu erkennen und zu löschen, wofür KI auch heute bereits in unterschiedlichem Maße eingesetzt wird. Allerdings werden Plattformen hier kritisiert, das bestehende Potential bisher zu wenig zur Löschung extremistischer Inhalte einzusetzen oder auch für ein intransparentes Löschen bzw. eine fehlende Bereitschaft zur Löschung auch durch Personen oder Organisationen gemeldeter Inhalte.
Der Digital Services Act (DSA) der EU verpflichtet Plattformen zur Löschung von Inhalten wie Hassrede, Terrorpropaganda und Kinderpornographie, aber die Interpretation und Umsetzung der Vorgaben durch die Plattformen ist unterschiedlich (vdi nachrichten 2024). Kettemann und Koerrenz stellten 2021 fest, dass 90 bis 95 Prozent der gelöschten Inhalte auf Plattformen durch automatisierte Systeme entfernt werden. Dabei erkennt das algorithmische Inhaltsmonitoring heute teilweise problematische Inhalte jedoch noch nicht oder löscht immer wieder auch unproblematische Inhalte (Kettemann/Koerrenz 2021).
Hinsichtlich der Löschung von Inhalten gibt es oftmals ein Spannungsverhältnis zwischen Interessen und unterschiedlichen Gemeinschaftsrichtlinien der Plattformen, Anliegen unterschiedlicher Gruppen von Nutzer:innen und etwa (unterschiedlicher) staatlicher Institutionen und (je nach Land auch unterschiedlicher) gesetzlicher Vorgaben, die die Einhaltung von Gesetzen und den Schutz von Nutzer:innen sicherstellen wollen. Die Situation wird dadurch noch komplexer, dass es sich bei den Betreibern der Plattformen um global agierende, profitorientierte Unternehmen handelt, das heißt, dass auch unterschiedliche gesetzliche Vorgaben tangiert sind und die Unternehmen ein Interesse daran haben, User:innen auf ihren Plattformen zu halten.
Grenzen der Nutzung von KI in der Islamismusprävention
Der Anwendungsbereich von KI zur Nutzung in der Präventionsarbeit gegen Islamismus hat jedoch auch Grenzen. Zunächst ist eine KI immer nur so gut wie die Vorgaben (Prompts) beziehungsweise Trainingsdaten, die sie von Menschen erhält, und für Entscheidungen und Bewertungen sind weiterhin Menschen notwendig.
Hinzu kommt, dass Radikalisierungsverläufe unterschiedlich und individuell sind (Leimbach/Jukschat 2024), das heißt, dass sie auch durch eine KI nicht hundertprozentig mess- oder vorhersehbar sind. Es gibt ferner auch Inhalte oder Gruppierungen, die nicht verboten sind und deren Inhalte man daher etwa auch mit Hilfe einer KI nicht aus dem Netz löschen kann – zumal die gesetzlichen Vorgaben hier von Land zu Land variieren und Islamist:innen weltweit aktiv sind. Viele Akteur:innen, die auf den Plattformen islamistische oder andere extremistische Inhalte verbreiten, haben ihr Vorgehen professionalisiert und wissen genau, wie weit sie gehen können und mit welchen Inhalten und/oder Formulierungen sie eine Sperrung oder Löschung bei den Plattformen oder gar Strafverfolgung riskieren.
Zudem wird die KI nicht die sozialen oder politischen Gründe oder Umstände von Extremismus lösen können. Der Software-Ingenieur Hadi Ashgari und die Medienwissenschaftlerin Theresa Züger merken in Bezug auf Antisemitismus und Rassismus an, dass dies keine reinen Phänomene Sozialer Medien seien, sondern dass sie von politischen Haltungen zeugten, die durch automatisierte Löschprozesse mit KI-Unterstützung nicht verschwinden (Ashgari/Züger 2024). Dies ist auch auf Extremismus als Ganzes auszuweiten, welcher sich zwar online darstellt und den Online-Raum nutzt, aber auch er muss als gesamtgesellschaftliche Aufgabe gesehen und bekämpft werden.
Aktuelle Herausforderungen für die Nutzung von KI in der Prävention
So ist es denn auch nicht überraschend, dass für die Nutzung von KI im Rahmen der Prävention aktuell auch zahlreiche Herausforderungen bestehen. Dies sind beispielsweise rechtliche Unklarheiten. Dadurch, dass die Entwicklung derzeit so rasant verläuft, gibt es Bereiche, die einer weiteren Klärung bedürfen und für deren Nutzung auch in der Prävention Rechtssicherheit bestehen muss.
Für die Nutzung von KI in der Prävention ist es insbesondere wichtig, sich auch mit ihren ethischen Herausforderungen auseinanderzusetzen. Dies sind beispielsweise Datenschutz und Privatsphäre oder auch die der Logik der Algorithmen geschuldeten Verzerrung bei der Darstellung relevanter Inhalte (Algorithmic Bias). Ein Bias kann in der Datenerhebung, der Entwicklung und der Nutzung von KI-Systemen auftreten (Bundesamt für Sicherheit in der Informationstechnik 2025). In der Präventionsarbeit ist es essenziell darauf zu achten, dass Menschen nicht aufgrund von Geschlecht, Herkunft oder aus anderen Gründen diskriminiert werden, wie dies etwa durch mangelnde oder einseitige Trainingsdaten für die KI vorkommen kann (Schnabel et al. 2024). Zudem müssen Entscheidungsprozesse bei der Nutzung von KI stets transparent und nachvollziehbar gestaltet sein.
Sowohl zivilgesellschaftliche Träger als auch Sicherheitsbehörden müssen zudem personell, technisch und finanziell ausreichend ausgestattet sein, um der extremistischen KI-Nutzung effektiv begegnen zu können. Es ist zentral, dass diese Akteur:innen die Möglichkeit haben, hier qualifiziertes Personal zu gewinnen beziehungsweise das vorhandene Personal entsprechend zu qualifizieren. An die Bedarfe der jeweiligen Behörden, Institutionen oder Organisationen angepasste Konzepte der Nutzung von KI müssen entwickelt werden, die ethische Fragestellungen berücksichtigen und bias-sensibel agieren. Ferner müssen ausreichende Fortbildungsmöglichkeiten in den verschiedenen Präventionsbereichen zur Verfügung gestellt werden.
Ausblick
Kultur und Gesellschaft befinden sich aktuell in einem rapiden Wandel, der auch durch die zunehmende Digitalisierung, Mediatisierung und Datafizierung von Lebenswelten beeinflusst wird. Medien sind omnipräsent und die Innovationsgeschwindigkeit wird sich weiter verstärken. Islamist:innen und andere Extremist:innen werden weiterhin die stets aktuellsten Trends – auch im Bereich KI – für ihre Zwecke einsetzen.
Mit der Weiterentwicklung von KI-Tools besteht die Gefahr, dass extremistische Gruppierungen beispielsweise auch Chatbots zur Rekrutierung oder die Möglichkeit von autonomen Fahrzeugen für Anschläge nutzen (Nelu 2024). Es besteht zudem etwa auch die Gefahr, dass sich solche Gruppierungen Informationen zur Herstellung von ABC-Waffen beschaffen, etwa durch Umgehen von KI-Sicherheitseinstellungen, indem sie beispielsweise Anfragen an die KI anders formulieren (ZDF 2024).
KI kann zudem für die Schadcodegenerierung, das heißt zur Erstellung von Malware, also schädlicher Software wie Ransomware, Würmern und Trojanern, und KI-basierten Cyber-Angriffen durch Islamist:innen und andere Extremist:innen genutzt werden, welche dadurch nicht mehr selbst über bestimmte Hacking-Fähigkeiten verfügen müssen, da sie unter anderem ihre Anfrage in natürlicher Sprache stellen können. KI kann zudem auch selbst in Malware integriert werden (Bundesamt für Sicherheit in der Informationstechnik 2024, S. 8 f.).
Bereits heute sind viele islamistische Akteur:innen im Netz Autodidakt:innen. Durch die Nutzung von KI, welche weder viel technisches noch umfassendes ideologisches Wissen für die Erstellung von Inhalten voraussetzt, kann es zu einer (weiteren) Vermischung der ideologischen Positionen verschiedener Gruppierungen kommen und diese könnten anschlussfähiger füreinander werden. Auch Narrative können noch leichter zwischen verschiedenen Extremismusarten transportiert werden, wie etwa im Bereich Antisemitismus und Verschwörungserzählungen. Dies betrifft ferner auch Modi der Anwendung von Tools und der Gefahr, die damit einhergeht, dass im digitalen Raum leicht ein Wissenstransfer zwischen Gruppierungen stattfinden kann.
In der Prävention von Islamismus gibt es zahlreiche Möglichkeiten der Nutzung. Allerdings sollten dabei die Beschränkungen der KI auch durch menschliche Dateneingaben berücksichtigt werden. Dabei sollte ebenso darauf hingewirkt werden, dass diese keine Diskriminierung fördert. Es ist abschließend darauf hinzuweisen, dass Islamismus sowohl im Online- als auch Offline-Bereich existiert. In vielen Situationen kann KI also nicht zu einer Komplexitätsreduktion des Problems beitragen. Das Vorgehen der Prävention muss daher auch in Zukunft mehrdimensional sein – unter Einbindung und mit Unterstützung der Künstlichen Intelligenz als einem unerlässlichen und nützlichen Werkzeug auch für Akteur:innen der Prävention.