Illusion der Beherrschbarkeit | bpb.de

Die Integration künstlicher Intelligenz in militärische Systeme führt zu einer Transformation, die mehr ist als eine technologische Innovation. Sie eröffnet Fragen nach Kontrolle und der Zurechnung von Verantwortung. Klassische Kategorien des Rechts geraten unter Druck, denn sie setzen voraus, dass ein handelndes Subjekt existiert, das selbst bewertet, sich entscheidet und dafür die Verantwortung übernehmen kann. Das erodiert: Die aktuellen KI-Systeme sind in der Lage, schneller auszuwerten und präziser zu prognostizieren als Menschen. Sie sollen die Menschen entlasten, und das kann letztlich nicht anders geschehen als dadurch, dass sie zentrale Teile der Entscheidung übernehmen. Doch was als Unterstützung gedacht ist, entwickelt sich zwangsläufig zur strukturellen Verschiebung von Handlungsmacht.

Im Folgenden stellen wir uns nicht die Frage, ob KI im Militär eingesetzt werden darf, denn das hat die Realität bereits entschieden. Wir diskutieren, was ihr Einsatz bedeutet: Welche Kontrolle ist noch möglich? Was bedeutet das mit Blick auf die Verantwortung für Entscheidungen? Und was sind die Folgen für das Recht, insbesondere das Völkerstrafrecht, das auf individuelle Zurechnung angewiesen ist?

Von Unterstützung bis (Teil)Autonomie

In zahlreichen Bereichen militärischer Praxis kommen inzwischen Systeme zum Einsatz, die über erhebliche Autonomiegrade verfügen. So analysieren etwa Abwehrsysteme wie das israelische „Iron Dome“ Bedrohungslagen und reagieren weitgehend eigenständig. Auch sogenannte loitering munitions operieren über Zielgebieten, identifizieren zuvor definierte Zielprofile und sind grundsätzlich in der Lage, Angriffe ohne zusätzliche menschliche Befehle auszuführen. Darüber hinaus agieren koordinierte Drohnenschwärme mit einer Geschwindigkeit, die menschliche Wahrnehmungs- und Reaktionsfähigkeiten deutlich übersteigt.

Vollautonome letale Systeme – also Waffensysteme, die ohne jegliche menschliche Einflussnahme Entscheidungen über Leben und Tod treffen – sind bislang nicht eindeutig nachgewiesen, erscheinen jedoch technologisch in absehbarer Reichweite. Die Kriege in der Ukraine und in Iran haben diese Entwicklung beschleunigt. Zunehmend werden Drohnensysteme eingesetzt, die wesentliche Teile ihres Einsatzes eigenständig organisieren. Dadurch verwischt die Grenze zwischen unterstützenden Assistenzsystemen und genuin humanen Entscheidungsprozessen. Wir blicken im Folgenden deshalb auch auf teilautonome Systeme, die einen hohen Autonomiegrad bei der Vorbereitung und/oder Durchführung militärischer Entscheidungen aufweisen, bei denen jedoch ein Mensch in die Entscheidungsschleife eingebunden ist.

Betrachten wir zunächst aber etwas genauer, wie künstliche Intelligenz in der Kriegsführung genutzt wird. Sie wird eingesetzt in Feldern wie Aufklärung und Informationsverarbeitung: KI-Systeme analysieren Satellitenbilder, erkennen Muster in Kommunikationsdaten und identifizieren potenzielle Bedrohungen. Sie werten in kürzester Zeit immense Datenmengen aus und strukturieren die Informationen.

Zudem gibt es Entscheidungsunterstützungssysteme: Diese Systeme beeinflussen, welche Ziele überhaupt in den Blick geraten und wie sie bewertet werden. Sie sind zwar keine (autonomen) Waffen im engeren Sinne, prägen aber doch die Entscheidungsarchitektur. Ihre Auswahl ist Ergebnis algorithmischer Vorstrukturierung. Der menschliche Operator bewegt sich bei ihrer Verwendung nur noch in einem vorgefilterten Entscheidungsraum.

Schließlich existieren (teil)autonome Waffensysteme: Solche Systeme sind in der Lage, nach ihrer Aktivierung eigenständig bestimmte kriegerische Handlungen auszuführen. Die Bandbreite reicht von Systemen, die Vorschläge unterbreiten, bis hin zu solchen, die eigenständig Ziele auswählen und bekämpfen können. Dabei ist der Begriff des „autonomen Waffensystems“ durchaus umstritten. Ein vielfach bevorzugter Ansatz ist dem US-amerikanischen Recht entlehnt: Demnach wird umfassende Autonomie in der Weise verstanden, dass die Maschinen nach Aktivierung selbstbestimmt, also unabhängig von einer menschlichen Einflussnahme, gewisse Handlungen vornehmen können. Nur teilautonom sind Systeme, in denen ein Mensch jedenfalls mitentscheidet, entweder als human in the loop, also als Teil der Entscheidungsschleife, oder zumindest als human on the loop, also in einer überwachenden Funktion. Diese Differenzierung hat erhebliche moralische und rechtliche Konsequenzen und ist zugleich normativ unvollständig, weil die bloße Tatsache der Einbindung in die Entscheidung noch nichts über die Wirksamkeit und Relevanz dieser Einbindung besagt. Beides werde ich im Folgenden näher beleuchten.

Gemeinsam ist all diesen Einsatzfeldern: Die erhebliche Menge verfügbarer und vom System genutzter Daten kann zu einer zunehmenden kognitiven Überforderung des Menschen führen. Systeme werden zunächst unter anderem eingesetzt, um Komplexität zu bewältigen. Genau darin liegt aber eine paradoxe Dynamik: Je stärker Systeme entlasten, desto mehr verschiebt sich die Kontrolle über die Information, die der mit dem System arbeitende Mensch erhält, auf sie. Damit verändert sich die Rolle des Menschen fundamental. Er ist nun Teil eines hybriden Systems, dessen informatorische Basis und Funktionsweise er nur begrenzt überblicken kann. Die klassische Vorstellung, der Mensch treffe die Entscheidung und nutze Technik lediglich als Werkzeug, wird infrage gestellt, möglicherweise sogar ins Gegenteil verkehrt.

Das zeigt: Die zentrale Herausforderung liegt nicht primär in der Technologie der KI als solcher, sondern in der veränderten Struktur der Entscheidungsprozesse. Hier setzt meine Analyse an.

Es sei zumindest darauf hingewiesen, dass sich parallel ein Cyber- und Informationskrieg entwickelt. KI wird hier eingesetzt, um Netzwerke zu analysieren, Desinformation zu verbreiten oder Angriffe auf kritische Infrastrukturen zu koordinieren. Auf diesen Bereich werde ich nicht näher eingehen, weil es sich nicht um Kriegsführung im klassischen Sinn handelt. Es ist dennoch wichtig, auch diese Entwicklungen moderner Kriegsführung nicht aus den Augen zu verlieren.

Sündenbock oder Verantwortungsträger?

In der völkerrechtlichen Debatte gibt es Stimmen, die die Nutzung vollautonomer Waffensysteme als grundsätzlich unvertretbar ansehen und deshalb die weitere Einbeziehung eines Menschen in die Entscheidungsschleife fordern, unter anderem mit dem Argument, dass nur eine menschliche Entscheidung über Leben und Tod der Würde des Gegenüber entspräche. Doch bleibt diese Forderung dabei stehen, verkennt sie die Dynamik komplexer Mensch-Maschine-Systeme. Die Systeme erkennen Muster, die dem Menschen verborgen bleiben, und operieren in Geschwindigkeiten, in denen menschliches Hinterfragen kaum möglich ist. Somit muss ein Teil der Entscheidung auf die Maschine delegiert werden, eine umfassende Überprüfung der maschinellen Vorschläge ist faktisch nicht realisierbar. Diese Delegation hat Konsequenzen. Der Operator bewegt sich nur noch innerhalb eines vorstrukturierten Möglichkeitsraums, und es ist nachweislich schwer, sich gegen maschinelle Vorschläge zu entscheiden (automation bias). Hinzu kommt, dass vernetzte Systeme wie Drohnenschwärme emergente Eigenschaften zeigen, also Verhaltensweisen oder Merkmale, die erst aus dem Zusammenspiel der einzelnen Teile entstehen. Dadurch sind die Systeme einerseits anpassungsfähiger und effizienter, andererseits ist es schwerer, ihre Aktivitäten zu überprüfen. Der Mensch wird vom Entscheider zum – zwangsläufig unzulänglichen – Überwacher.

Dies wirft unter anderem die Frage auf, inwieweit die Operatoren solcher Systeme weiterhin verantwortlich sind, insbesondere in (völker-)strafrechtlicher Hinsicht. Vereinfacht formuliert setzt Strafecht voraus, dass jemand eine strafbare Handlung vornimmt, deren Konsequenzen er zumindest in ihren Grundzügen überblickt oder hätte überblicken können. Wenn aber das System die Zielauswahl vorstrukturiert, auf unbekannter Datenbasis Wahrscheinlichkeiten berechnet und Prioritäten setzt, bleibt dem menschlichen Operator oft nur noch eine sehr begrenzte Rolle. In der Praxis kann dies wie angedeutet darauf hinauslaufen, dass er unter Zeitdruck Entscheidungen trifft, ohne über ausreichende Informationen zu verfügen. Zudem sinkt in Phasen störungsfreien Systembetriebs auch die Aufmerksamkeit, die Fähigkeit zur Intervention nimmt ab.

Gleichzeitig schließt das nach geltendem Recht die Verantwortlichkeit nicht zwingend aus, solange der Mensch weiß, dass derartige Systeme fehlerhafte Entscheidungen treffen können, und er diese Fehler zumindest billigend in Kauf nimmt. Details wären im Einzelfall zu bestimmen, auch weil Völkerstrafrecht andere Bedingungen an den Vorsatz anlegt als das deutsche Strafrecht. An dieser Stelle soll für die weiteren Überlegungen ausreichen, dass Verantwortlichkeit durch Einbeziehung eines KI-Systems nicht per se ausgeschlossen ist.

Dieses Spannungsverhältnis lässt sich als scapegoat in the loop beschreiben: Der Mensch fungiert als Zurechnungsanker, als „Sündenbock“. Nur er ist adressierbar. Das ist mit Blick auf die skizzierten Hindernisse problematisch. Wenn der menschliche Operator als Verantwortlicher erscheint, bleibt unsichtbar, in welchem Maß Entscheidungen durch algorithmische Vorstrukturierung geprägt werden. Das Strafrecht dient dann nur noch dazu, (vermeintliche) Zurechnung aufrechtzuerhalten. Die Figur des verantwortlichen Subjekts wird dadurch stabilisiert, obwohl ihre tatsächliche Grundlage zunehmend brüchig wird. Vor diesem Hintergrund wird die Forderung nach meaningful human control (MHC) erhoben.

Meaningful Human Control

Das Konzept der MHC zielt darauf, die Schwächen einer vorschnellen Verantwortungszuschreibung an den human in the loop auszugleichen. Es stellt nicht allein auf die faktische Anwesenheit eines Menschen ab, sondern bejaht Kontrolle über das Geschehen nur dann, wenn diese als bedeutsam angesehen werden kann.

Das Konzept ist damit zum einen ein Schutzkonzept im humanitären Völkerrecht, das die Delegation existenzieller Entscheidungen auf Maschinen begrenzen soll. Andererseits ist es ein Zurechnungskonzept: MHC schafft die Voraussetzung dafür, dass Verantwortung an konkrete Akteure gebunden bleibt.

In der Debatte werden verschiedene Kriterien für MHC diskutiert. Hier sei eine Auswahl plausibler Aspekte genannt: wie etwa, dass der Mensch über eine hinreichende „epistemische Grundlage“ verfügt – er muss verstehen, in welcher Situation er handelt, welche Ziele verfolgt werden und auf welcher Grundlage das System seine Vorschläge generiert. Dazu gehört sowohl technisches Wissen über das System als auch situatives Wissen über den Einsatzkontext. MHC verlangt zudem, dass die Anforderungen des Systems so gestaltet sind, dass sie vom Operator kognitiv bewältigt werden können. Schließlich muss der Operator tatsächlich in den Prozess eingreifen können. Es genügt nicht, dass er formal die Möglichkeit hat, ein Veto einzulegen, wenn diese Möglichkeit faktisch nicht ausgeübt werden kann, etwa aufgrund von unmäßigem Zeitdruck, Informationsdefiziten oder systemischer Komplexität. Kontrolle setzt reale Handlungsmacht voraus.

Diese Anforderungen verdeutlichen: Meaningful human control stellt hohe Ansprüche an die Gestaltung von Systemen, an die Ausbildung von Operatoren und an die Organisation militärischer Entscheidungsprozesse. Dabei ist zuzugeben, dass die konkrete Ausgestaltung von MHC nicht immer gleich sein kann; dass es Entscheidungen geben wird, in denen die Schnelligkeit der Maschine unverzichtbar ist; dass es Situationen gibt, in denen der Mensch den Informationsvorsprung des Systems nicht einholen und die Datenbasis nicht überprüfen kann. In diesen Konstellationen könnte, so wird diskutiert, MHC anders hergestellt werden: durch genaue Kenntnis der Fehlerwahrscheinlichkeit, des Entwicklungsprozesses, durch Beteiligung bei der Zulassung oder spezifischem Training. Sollte auch das nicht als ausreichend für eine bedeutsame Kontrolle anzusehen sein, ist in solchen Konstellationen zumindest Transparenz erforderlich: In diesen Fällen steht hinter dem Einsatz des Systems die Entscheidung, dass es für die konkrete Situation besser geeignet ist als der Mensch. Ihm kommt keine bedeutsame Rolle mehr zu. Und ab diesem Moment handelt das System vollautonom und ist als solches zu bezeichnen, und eine Verantwortungszuschreibung an den Menschen wäre problematisch.

Technologische Gegenidee: Impossibility Structures

Gerade die Einsicht, dass im Krieg ohnehin viele Entscheidungen unter Zeitdruck und auf begrenzter Informationsbasis getroffen werden müssen, eröffnet aber auch den Blick auf eine alternative Strategie: Wenn Kontrolle durch den Menschen an strukturelle Grenzen stößt, stellt sich die Frage, ob und in welchem Umfang das Recht nicht anders gesichert werden kann – nämlich durch seine technische Implementierung. Hier setzen die sogenannten impossibility structures an, die man als Ermöglichung von MHC ansehen könnte, oder auch als wichtige Ergänzung.

Gemeint sind technische Mechanismen, die bestimmte Rechtsverstöße nicht nur sanktionieren oder erschweren, sondern von vornherein technisch unmöglich machen. Das würde bedeuten, dass bestimmte rechtliche Grenzen in die Entwicklung beziehungsweise das Training der KI implementiert werden und das Waffensystem den Rechtsverstoß nicht begehen kann, möglicherweise sogar die Ausführung einer menschlichen Entscheidung verhinderte, die gegen Recht verstoßen würde. Das heißt, dass die Norm nicht mehr als Handlungsanweisung an den Menschen gerichtet ist, sondern als operative Bedingung im System selbst verankert wird. Beispiele aus anderen Bereichen sind bekannt: Upload-Filter, die bestimmte Inhalte blockieren, oder die technische Verunmöglichung der KI-gestützten Manipulation von Fotos etwa zu Nacktbildern. Recht wird in diesen Konstellationen nicht mehr von den Adressaten des Rechts befolgt, sondern technisch gesichert.

Übertragen auf den militärischen Kontext könnte ein Waffensystem so programmiert sein, dass es geschützte Objekte, etwa Krankenhäuser oder Einheiten mit entsprechenden Schutzzeichen, nicht angreifen kann. Ebenso ließen sich geografische Beschränkungen programmieren oder bestimmte Zieltypen automatisch ausschließen. Diese Verschiebung verändert die Art und Weise, wie Normen wirken. Während das klassische Recht auf Entscheidung, Einsicht und Verantwortung setzt, ersetzt die technische Umsetzung diese Elemente durch strukturelle Vorgaben.

Gerade im militärischen Kontext scheint dieses Konzept zunächst besonders attraktiv. Es könnte die kognitive Belastung der Operatoren reduzieren. Wenn bestimmte rechtliche Grenzen technisch abgesichert sind, müssen sie nicht mehr in jeder Situation neu bewertet werden. Dies erscheint insbesondere bei komplexen Systemen wie Drohnenschwärmen relevant, deren Steuerung ohnehin hohe Anforderungen an Aufmerksamkeit und Koordination stellt. Menschliche Fehler könnten reduziert werden. Das verändert die Rolle des menschlichen Akteurs fundamental.

Es verändert aber auch die Rolle des Rechts. Das klassische Verständnis von Recht setzt voraus, dass Normen beachtet oder verletzt werden können. Die Möglichkeit des Rechtsbruchs ist Teil der Struktur. Sie eröffnet Raum für Verantwortung, aber auch für Kritik und Weiterentwicklung. Und sie eröffnet Raum für die bewusste Entscheidung für das Recht oder Verantwortungsübernahme bei der Entscheidung dagegen. Diese Diskussionen rund um die Auswirkung auf unser Rechtssystem, auf unser Verständnis von Recht, werden auf nationaler Ebene intensiv geführt.

Im militärischen Kontext stellt sich diese Frage in besonderer Weise. Einerseits erscheint es schwer vertretbar, Handlungsspielräume zu erhalten, wenn deren Preis unzählige zivile Leben sein können. Andererseits beruht gerade das humanitäre Völkerrecht auf Abwägungen, Kontextsensibilität und situativen Entscheidungen und entwickelt sich stetig weiter.

Doch bevor wir zu den Auswirkungen auf das Recht kommen, muss beantwortet werden, ob impossibility structures überhaupt technisch umgesetzt werden können. Gerade im militärischen Kontext kann das durchaus bezweifelt werden. Die Identifikation legitimer Ziele, die Bewertung von Situationen und die Einschätzung von Risiken sind keine rein technischen Fragen. Sie beruhen auf Kontextwissen und moralisch aufgeladener Interpretation. Diese Einsicht relativiert das zunächst naheliegende Versprechen technischer Kontrolle. Impossibility structures sind keine einfache Lösung, sondern erzeugen neue Herausforderungen. Das schließt sie nicht für jede Fragestellung und Situation aus, ihre Implementierung ist jedoch voraussetzungsvoll und sollte immer im Bewusstsein der möglichen Auswirkungen auf das Recht und seine Wirkung eingesetzt werden.

Zwischen Verbot, Begrenzung und prozeduraler Kontrolle

Die regulatorische Debatte über KI im Militär ist derzeit von einem eigentümlichen Doppelbefund geprägt. Einerseits besteht weitgehende Einigkeit darüber, dass autonome Waffensysteme und KI-gestützte militärische Entscheidungen erhebliche Probleme aufwerfen. Andererseits fehlt bis heute ein verbindliches internationales Regelwerk, das diese Probleme erfasst. Regulierungen wie die KI-Verordnungen nehmen die militärische Nutzung ausdrücklich aus ihrem Regelungsbereich aus.

Die Debatte scheint sich um folgende zentrale Frage zu drehen: Reicht es aus, vorhandenes Recht auf neue Technologien anzuwenden? Oder bedarf es eines neuen Instruments, das bestimmte Systeme ausdrücklich verbietet und andere positiv reguliert?

Das wichtigste internationale Forum bleibt das UN-Waffenübereinkommen (CCW). Dort befassen sich die Vertragsstaaten seit 2017 in einer Group of Governmental Experts mit letalen autonomen Waffensystemen. Bereits 2018 und 2019 wurden elf Leitprinzipien verabschiedet, die die Anwendbarkeit des humanitären Völkerrechts bekräftigen. In den jüngsten Verhandlungsdokumenten von 2026 zeigt sich zwar eine Annäherung, zugleich aber auch der Knackpunkt der Debatte: Viele Delegationen betrachten context-appropriate human judgement and control – eine konkretere Beschreibung von MHC – als zentrales Element, um die Einhaltung von Unterscheidung, Verhältnismäßigkeit und Vorsichtsgeboten sowie die Aufrechterhaltung von Verantwortlichkeit zu sichern. Andere Staaten wenden gerade gegen diese Begrifflichkeit ein, sie sei rechtlich unklar. Dass nun mit einem Verhandlungstext gearbeitet wird und verschiedene Formulierungen über menschliches Urteil, Kontrolle über den gesamten Lebenszyklus des KI-Systems und kontextabhängige Faktoren im Raum stehen, zeigt Fortschritt, aber noch keinen Konsens.

Das Internationale Komitee vom Roten Kreuz betont die Dringlichkeit des Problems besonders deutlich: Es empfiehlt neue verbindliche internationale Regeln, die unvorhersehbare autonome Waffensysteme verbieten, die darauf ausgelegt sind oder so eingesetzt werden, dass sie unmittelbar Gewalt gegen Personen anwenden; für andere Systeme fordert es strikte Beschränkungen. Auch das Europäische Parlament erkennt zwar die strategische Relevanz von KI in der Verteidigung an, fordert aber Regulierung und ein Verbot letaler autonomer Waffensysteme. Demgegenüber stehen Staaten, die auf flexible Regulierung, militärische Nutzbarkeit und bereits bestehende Regeln des humanitären Völkerrechts setzen.

Es bleibt zu hoffen, dass sich die Völkergemeinschaft zu stärkerer rechtlicher und prozeduraler Einhegung von autonomen Waffensystemen bewegt, sei es als verbindliches Regime oder zumindest als ein dichteres Geflecht aus Leitprinzipien, nationalen Positionen, Waffenprüfungen und politischen Selbstverpflichtungen.

Fazit

Die Analyse zeigt, dass künstliche Intelligenz im Militär mehr ist als ein neues Werkzeug und die Struktur von Entscheidung, Kontrolle und Verantwortung grundlegend verändert.

Meaningful human control reagiert auf diese Verschiebung, indem sie den Menschen im Zentrum halten will und Verantwortung konkretisiert. Zugleich kann das Konzept nur tragen, wenn es inhaltlich ernst genommen wird: als Anforderung an Informationszugang, Eingriffsmacht, Zeit, Ausbildung und Systemgestaltung. Impossibility structures antworten darauf, dass MHC bei der Nutzung von KI nicht immer gegeben ist. Dann liegt es nahe, bestimmte Rechtsverstöße technisch auszuschließen. Doch diese Strategie stößt im Krieg an Grenzen, weil Recht hier aus Kontext, Unsicherheit und Abwägung besteht. Wer Recht zu weitgehend in Technik übersetzen will, riskiert, jene Elemente zu verlieren, die menschliche Entscheidung ausmachen.

Es bleibt, daran zu erinnern, was auf dem Spiel steht: Die Delegation militärischer Entscheidungen an KI-Systeme kann zu einer Entmenschlichung und zu Verantwortungslücken im Völkerrecht, sogar im Völkerstrafrecht, führen. Auch wenn der Einsatz von KI im Militär faktisch kaum mehr zu verhindern ist, sollten zumindest mittels MHC, gegebenenfalls auch mittels impossibility structures, die Einhaltung des Rechts und die Verantwortung für Entscheidungen abgesichert werden.

Für die hilfreiche Unterstützung bei Recherche und zahlreiche Diskussionen im BMBF-geförderten Drittmittelprojekt „Meaningful Human Control: Autonome Waffensysteme zwischen Regulation und Reflexion“ danke ich Schirin Barlag und Alexandra Kupka.