Von Software-Beton, falschen Vorhersagen und "intelligenter" Diskriminierung | Digitale Gesellschaft | bpb.de

Das deutsche wie das europäische Digitalisierungsprogramm haben es sich zum Ziel gesetzt, den Rückstand gegenüber konkurrierenden (wirtschafts-)politischen Systemen und Märkten aufzuholen und technische wie soziale Innovationen zu ermöglichen. Indem die Systeme und Architekturen der Informatik nicht nur technische, sondern längst auch soziale und politische Steuerungen übernehmen, definieren sie zunehmend auch soziale Ordnungen, und das oft an demokratischen Diskursen und parlamentarischen Entscheidungen vorbei.

Machtverschiebungen sind der größte Faktor für die Entstehung von Ungleichgewichten und Ungleichheiten durch die Digitalisierung. Auf sozialer und individueller Ebene greifen die Veränderungen tief in das Leben der Bürger:innen ein. Das ist vielfach erwünscht, etwa zur besseren Versorgung, zur Organisation des Arbeitsalltags, der Erweiterung des sozialen Lebens oder zur Unterhaltung. Gleichzeitig geht damit eine unsichtbare Bedrohung durch Überwachung, Arbeitsplatzverlust oder Ich-Verlust in "Profilen", "Likes" und "Scores", Desorientierung durch "Fake News" oder auch Bedrohung durch militärische Anwendungen einher. Unbemerkt bleiben oft auch Benachteiligungen und Diskriminierungen, weil die Unterschiede zwischen Benachteiligten und Bevorteilten unerkannt bleiben. Mit digitaler Engführung werden ungleichgewichtige Wertsetzungen vorgenommen und interessengeleitete wie unabsichtliche Voreingenommenheiten gesetzt und perpetuiert sowie selbstbestimmtes Handeln behindert.

Die Europäische Union ist gerade dabei, eine digitale Transformationsstrategie zu entwickeln, die nahezu alle Lebensbereiche umfassen wird. Dafür wird eine große Umschichtung von Ressourcen in Gang gesetzt. Sie strebt dabei vor allem auf ökonomischer und rechtlicher Ebene eine digitale Netzwerkgesellschaft an, die zwar aufs Gemeinwohl ausgerichtet sein soll, sich aber vor allem an ökonomischen Werten und industriellem Wachstum orientiert und demokratische Legitimation und Mitgestaltung vermissen lässt. Sie hat weniger die Bürger:innen im Auge, als vielmehr das Ziel, Infrastrukturen, Daten, Hard- und Software unabhängig von amerikanischen Großkonzernen und chinesischer Produktion zu machen. Gleichzeitig sollen dadurch, quasi von selbst, soziale Innovationen entstehen. Verantwortungsrelationen, digitale Rechte und eine Ethik der digitalen Gesellschaft werden zwar problematisiert, aber die bisherigen Ergebnisse des Prozesses lassen nur unzureichende Aufmerksamkeit für Verantwortung und Zurechenbarkeit erkennen – und offenbaren zum Teil paradoxe Vorstellungen über einen Ausbau vertrauenswürdiger Künstlicher Intelligenz (KI). Gleichzeitig umgehen die EU-Verordnungen und -Richtlinien mitunter demokratische Entscheidungsprozesse, verschieben Macht von nationalen Parlamenten hin zu EU-Regulierungsinstanzen – und von der Legislative zur Exekutive – und instanziieren, etwa beim autonomen Fahren, Realexperimente mit experimenteller Gesetzgebung, die sich vor allem in unsicheren Umgebungen als risikoreich erweisen. Eine solche infrastrukturierende und herrschaftsdefinierende Architektur bringt klandestine Machtverschiebungen mit sich, die unter einem Demokratiedefizit leiden und unberechenbare Effekte auf die Sozialordnung haben.

Umso wichtiger ist es, die Potenziale der anstehenden Transformationen verständlich zu machen und jene Orte aufzuzeigen, an denen mittels der Rahmung von Algorithmen in Software Priorisierungen vorgenommen und Ein- und Ausschlüsse sowie Diskriminierungen produziert werden. Hierfür sind zunächst einige Begriffsklärungen nötig.

Transkriptionen, Algorithmen und digitale Entscheidungsarchitekturen

Neue Techniken manifestieren sich meist in miteinander verwobenen, materiell-semiotischen Prozessen von Bezeichnung, Bedeutungskonstruktion, physikalisch-technischer Materialisierung, menschlicher Struktur und kulturellen Lebensräumen. Und sie erzeugen immer neue Bedeutungen, die sich mittels menschlicher Praktiken und maschineller Vorrichtungen unterschiedlich entfalten.

Das Neue bedarf der deutenden kognitiven Erschließung durch sprachliche Etikettierung. Dabei werden Begriffe aufgelöst und mit neuen Bedeutungen aufgeladen, was in der Linguistik als Transkription bezeichnet wird. Für die Informationstechnik dient der metaphorische Gebrauch der Alltagssprache als Hilfsmittel zum Erschließen der Bedeutung von Abstraktem. Sie verwendet Metaphern wie "Speicher", "Käfer" oder "Viren". Aus "sozialen Netzwerken" kommen "Echokammern" und "Filterblasen", in denen man sich wie in Schlingpflanzen verfangen kann. Die "Wolke" (Cloud) manifestiert sich – anders, als das Bild suggeriert – materiell in lokalen Serverfarmen. Anthropomorphisierende Transkriptionen wie "Künstliche Intelligenz" und andere Formulierungen, die den Maschinen Personenstatus und Autonomie verleihen, verwischen die Unterschiede zwischen Mensch und Maschine oder amalgamieren beide.

Welt und Leben werden so in Code transkribiert und in Datenstrukturen kategorisiert – und darüber Verhaltensmodelle und Entscheidungsarchitekturen konstruiert. Dabei werden – durch die notwendige Generalisierung, Standardisierung und Übergeneralisierung – Kontexte abgestreift, und weltliches Hintergrundwissen wird unsichtbar. Diese Modelle sind hochgradig selektiv. Sie unterdrücken mögliche Alternativen und lassen Seltenes unberücksichtigt. Soziale Daten werden mittels "Big Data" und "Machine Learning" entkontextualisiert gruppiert und in "Scores" vergleichbar gemacht, indem sie in Zahlen transkribiert werden. Damit werden Individuen – nicht nur symbolisch – zu mathematisch manipulierbaren Objekten, die in Rangfolgen angeordnet werden können. Ohne die positiven Seiten der Digitalisierung zu verkennen: In all diesen Transkripten sind Dysbalancen bereits vordefiniert.

Allerdings beruht die Forderung nach "ethischen" oder "sozialen" Algorithmen auf einem grundsätzlichen Missverständnis. Wenn man einen als diskriminierend empfundenen Text liest, schreibt man die Diskriminierung nicht den Buchstaben zu, sondern der Art und Weise, wie sie in Worten und Sätzen gewählt und verwendet werden. Ähnlich verhält es sich mit der Wahl und Verwendung von Algorithmen. Ein Algorithmus ist zunächst nichts anderes als eine "Aufbauvorschrift" auf Basis von elementaren Operationen auf Variablen eines Datentyps aus Zeichen, etwa der Menge der natürlichen Zahlen. Mit ihnen soll eine mathematische Aufgabe durch schrittweise Ausführung dieser Operationen gelöst werden. Algorithmen definieren also, was im Prinzip berechenbar und programmierbar ist. Für schnelle Abläufe im Inneren von Rechnern, wie etwa für Compiler, Betriebssysteme und Bios, bedarf es Algorithmen, die in kurzer Antwortzeit auf Eingaben laufen. Ähnliches gilt für Sortier- und Suchalgorithmen, wie sie etwa von Suchmaschinen verwendet werden, oder für die Benutzungsschnittstellen. Sie sind aber, wie die von ihnen beschriebenen mathematischen Funktionen, weder intelligent noch schädlich; sie sind der Erwägung und Beachtung von moralischen oder politischen Zielen nicht fähig. Dies gilt aber sehr wohl für Software(-Systeme) – die immer Algorithmen enthalten, aber anders als diese Intentionen verfolgen – und für unseren Umgang mit Automatisierung. Software wirkt immer als Verstärker unserer Vorurteile, Einbindungen oder Auslassungen. Diese werden auf dem Weg der Computerisierung oft unsichtbar und verfestigen sich zu "Software-Beton".

Hard- und Softwaresysteme sind oft auf miteinander vernetzte Server und Clients verteilt. Die Synchronisation der Verteilung bedingt höhere Sicherheitsansprüche an Vertraulichkeit, Integrität, Authentizität, Fehlertoleranz und Transparenz der Systeme. Weil es keinen gemeinsamen Ort und keine gemeinsame Zeit (mehr) gibt, weder bei der Entwicklung noch bei der Ausführung der Systeme, werden Protokolle und Standardisierungen umso wichtiger, um die geteilten Abläufe eng führen und kontrollieren zu können. Auch die beim "Maschinellen Lernen" (ML) im Rahmen der Künstlichen Intelligenz genutzten künstlichen "Neuronalen Netze" arbeiten verteilt mit Anpassungsstrategien an "Trainings"-Daten, aus denen sie "erlernte" Modelle zur Klassifikation neuer Datenangebote aufbauen.

Beeinflussung durch Entscheidungsarchitektur

Die Open-Data-Strategie der EU-Kommission sieht eine Vermittlungs- und Dienstleistungsplattform für einen gemeinsamen Datenraum vor, in dem Daten über Gesundheit, Industrieproduktion, Landwirtschaft, Finanzwesen, Verkehr, Umwelt und Energie in verschiedenen Graden der Zugänglichkeit geteilt werden. Gespeist werden soll der Datenraum aus hochwertigen Datensammlungen des öffentlichen Sektors und von Personaldatenplattformen. Er soll Verwaltungs-, industrielle und wissenschaftliche Daten so zusammenführen, dass sie standardisiert und datenschutzkonform auf verteilten Serverfarmen in Clouds interoperabel organisiert und prozessiert werden können. Sollte das Vorhaben gelingen, könnte sich die Plattform als marktgängiges Governance-Regime einer neuen Herrschaftsform über öffentliche Infrastruktur- und Versorgungssysteme herausstellen.

Für die Open-Data-Strategie der EU stellen sich daher einige gewichtige Fragen, etwa: Wer kombiniert hier welche Daten, und wer genau konstruiert welche "Lösungen" für welche "gesellschaftlichen Herausforderungen"? Wie werden all diese Transformationen demokratisch legitimiert? Wo bleiben Selbstbestimmung und Integrität der originären sozialen Räume, Kommunen und Bürger:innen? Und welche "öffentlichen Interessen" sollen damit bedient werden?

Entscheidungsarchitekturen übernehmen einerseits die Benutzungsführung im Bereich der Mensch-Maschinen-Schnittstellen – und umgehen dabei mit Hilfe von Anwendungsbeispielen zu definierende Spezifikationen –, andererseits sorgen sie für die interne Steuerung von Prozessen. Jede Benutzungs-Schnittstelle ist ein syntaktisches Formular mit formalen Datenstrukturen und formalen Vorgaben, das nur bestimmte Eingaben annimmt. Das wird beispielsweise an jedem Fahrkarten- oder Bankautomaten deutlich, aber auch an Bestellformularen im Internet-Handel oder staatlichen Verwaltungsplattformen wie dem Steuersystem Elster: Was in das Eingabeformular und Ablaufmodell nicht eingearbeitet wurde, kommt im abstrakten Modell nicht vor und kann auch nicht berücksichtigt werden.

Im Bereich des E-Commerce beinhalten die Formulare oft eine bewusste Darstellung und Gestaltung von Wahlmöglichkeiten mit dem Ziel, bei der Zielgruppe die gewünschten Entscheidungen zu bewirken ("Nudging", Beeinflussung, bis hin zu Manipulation). Hier sind wieder die Untiefen der Macht-Asymmetrie konstitutiv, denn typisierende, diskriminierende und ausschließende Schnittstellen fungieren als Filter gegen Ausnahmen oder ungewöhnliche Handhabungen. Unter den Bedingungen "intelligenter", das heißt KI-gestützter Technik in unbestimmten Umgebungen, wie etwa beim autonomen Fahren, ist die Mensch-Maschine-Interaktion jedoch keineswegs mehr ohne Kontext gestaltbar. Die komplexe Verkettung von Ereignissen in der Lebenswelt und nicht vorhersehbares Verhalten von Lebewesen können zu vielfältigen Quellen für Fehlverhalten und Unfälle werden. Um sich in ungewissen Umgebungen dennoch mit formalen Systemen verbinden zu können, werden halb-formale Modelle benutzt, wodurch sich die Probleme verschärfen. Denn nun kehrt sich die Benutzung um: Sensoren übernehmen die Bildsteuerung, die Benutzungsschnittstelle wird aktiv und überwacht die Umgebung – und der Mensch wird zum passiven, überwachten und kategorisierten Analyseobjekt.

Wertsetzung, Voreingenommenheit, Diskriminierung

Diskriminierungen und systematische Fehleinschätzungen (Biases) sind ungünstige Bewertungen von Menschen, ihrem Verhalten oder ihren Lebensumständen, die ohne weiteres Ansehen der Person auf ein Mitglied einer Gruppe übertragen werden. In rechtlicher Sicht wird Diskriminierung in Deutschland als Ungleichbehandlung ohne sachlichen Grund oder als Herabwürdigung wegen eines Identitätsmerkmals beschrieben. Nicht jede Ungleichbehandlung ist also auch Diskriminierung. Verboten sind Diskriminierungen wegen des Geschlechts, der Rasse, der Hautfarbe, der ethnischen oder sozialen Herkunft, der genetischen Merkmale und Anlagen, der Sprache, der Religion oder der Weltanschauung, der politischen oder sonstigen Anschauungen, der Zugehörigkeit zu einer nationalen Minderheit, des Vermögens, der Geburt, einer Behinderung, des Alters und der sexuellen Orientierung. Strukturelle Diskriminierung entsteht, wenn Normen und Regeln für alle gelten, obwohl sie nicht von allen gleichermaßen erfüllt werden können. Bei der sozialen Diskriminierung folgen neue Regeln gesellschaftlichen Normen und Vorurteilen. Durch statistische Diskriminierung kann eine vorurteilsbehaftete Vergangenheit über die Prozessierung in eine vor-vollendete – und damit nicht mehr offene – Zukunft projiziert werden. Intersektionale Diskriminierung schließlich entsteht durch sich überschneidende Diskriminierungsmerkmale, etwa die Merkmale "Frau" und "schwarz", wie es zum Beispiel bei der automatisierten Gesichtserkennung auftritt.

Für die Prozessierung von Daten beim maschinellen Lernen im engeren Sinn lassen sich drei Arten von Bias unterscheiden: rein technische, sozio-technische und rein soziale Daten-Biases.

Ein rein sozialer Daten-Bias entsteht aus Daten, die bestehende strukturelle Diskriminierungen abbilden, die in die Zukunft transkribiert werden, oder auch aus statistisch aggregierten Daten, etwa wenn unzulässige Rückschlüsse aus der betrachteten Personengruppe auf Einzelne gezogen werden. Ein solcher Bias ist besonders bei medizinischen Anwendungen, etwa bei Hautscreenings, relevant.

Sozio-technischer Bias kann durch die Verdatung als Folge struktureller Ungleichheit in der Gesellschaft entstehen, etwa durch eine nicht repräsentative Trainingsdatenmenge, die Wahl eines unvollständigen Datensatzes, eine ungleiche Verteilung der Trainingsdaten oder eine inadäquate Produktion und Prozessierung der Daten. Sind die Testdaten nicht repräsentativ, beeinträchtigt dies auch die Funktionalität des Modells. Zu sozio-technischer Diskriminierung gehört auch die ungerechtfertigte Ungleichbehandlung aufgrund der Verwendung von Proxys, also von Ersatzinformationen, die abstrahieren und verallgemeinern, um mit einem Informationsdefizit umgehen zu können. Hierbei werden Gruppendaten herangezogen und durch Korrelation Rückschlüsse auf eine gewünschte Person gezogen, die der Gruppe gar nicht angehört. Ein Beispiel hierfür ist das sogenannte redlining, eine Form sozialer Diskriminierung, bei der zum Beispiel die Kreditvergabe vom Wohnort abhängig gemacht wird.

Technisch erzeugter Bias schließlich kann durch Fehler in der Prozessierung selbst, an Schnittstellen und durch (im Prinzip mathematisch fehlerfreie) Effekte beim "Deep Learning" entstehen, etwa in der Sprachverarbeitung. Typische Ungleichheitsproduktionen können nach Maschinenarten unterschieden werden:

• Suchmaschinen: Eine Suchmaschine sucht anhand verschiedener Suchalgorithmen auf den Webseiten im Internet nach Schlüsselworten und sortiert die Ergebnisse nach Rangfolgen. Sie erstellt dabei ein Netz von Verlinkungen, das die "Beliebtheit" einer Seite beurteilt, womit diese ein Gewicht erhält. Durch komplizierte, täglich veränderte Prozeduren wird versucht, eine (unbezahlte) Manipulation dieses Rankings zu verhindern. Da die Suchmaschinenbetreiber aber von Werbung leben, priorisieren sie ein Ranking, von dem sie selbst profitieren. Werden auch Gruppenprofile und Bildanalysen für Antworten auf Suchanfragen verwendet, kommt es verstärkt zu Ungleichheiten und Benachteiligungen für unterschiedliche Nutzende, etwa für Frauen bei der Jobsuche. Hier wirkt die Automatisierung nicht nur als in die Zukunft projizierende Endlosschleife der tradierten Benachteiligung, sondern nachweislich auch als Verstärkerin bestehender Ungleichheiten.

• Big Data: Unter Big Data versteht man die mit ungeheurem Tempo anwachsenden komplexen und heterogenen Datenmassen aller Arten, Formate und Güte. Durch Verdatung wird nahezu alles mittels digitaler Medien Aufzeichenbare aus Handydaten, aus dem Internet, Suchmaschinen, dem Internet der Dinge, aus sozialen Netzwerken, Welt und Leben und von (lebendigen) Körpern in Daten transkribiert. Mit Big Data sind aber auch die transkriptiven Methoden, wie "Data Mining" und "Data Analytics", gemeint, die die Daten aggregieren, speichern, analysieren, vergleichen, ordnen, verteilen, transferieren und "verdauen". Wegen der Vielzahl der beteiligten privaten Firmen, die ihre jeweiligen Entwicklungen schützen, sind die Daten(strukturen) oft defizient, einseitig erhoben und inkompatibel. Big Data ist alles andere als eine wertneutrale Ressource, vor allem, weil ein großes Informations- und Machtungleichgewicht besteht zwischen den ihre Daten zur Verfügung stellenden Nutzenden und den sie kommerziell verwertenden Verkäufern. Die Folge sind nicht selten statistische Verzerrungen und Diskriminierungen, etwa Rassen- und Geschlechterdiskriminierungen beim Anzeigenangebot.

• Machine Learning: ML, insbesondere Deep Learning, funktioniert gut für regelhafte und eng abgegrenzte Phänomenbereiche, etwa für Spiele wie Schach oder Go, für epidemiologische Vorhersagen unter genau definierten Bedingungen oder für die Detektion mancher Tumore aus radiologischen Aufnahmen in der Dermatologie. Erfolgreich sind solche Verfahren also genau dann, wenn sie in einer wohldefinierten, stabilen Umgebung eingesetzt werden, wenn das "Prinzip der stabilen Welt" gilt. Schwierig wird es für ML, wenn Ungewissheit besteht, Regeln nicht immer gelten oder Überraschungen passieren. Nicht vergessen werden sollte auch, dass, während ML menschliche Arbeit freisetzt, die ML-Fütterung eine globale Unterschicht von Akkordarbeiter:innen erfordert. Diese leisten "Clickwork" für die Annotation der anzubietenden "gereinigten" Datensätze fürs überwachte Lernen, etwa Bildsegmentierung, Objekterkennung, Klassifizierung oder die Anreicherung von Text mit Metadaten. Dieses Clickwork wird, abgekoppelt vom enormen Börsengewinn der beteiligten IT-Firmen, über Crowdsourcing-Plattformen wie den "Amazon Mechanical Turk" angeboten, die damit weitere Gewinne aus der Arbeitsvermittlung ziehen.

• Verarbeitung natürlicher Sprache: Systeme, die große Textkorpora analysieren – wie etwa Word2vec, das Wortassoziationen erlernen kann –, transportieren häufig sozialen Geschlechter-Bias. Zwar lassen sich in solchen Worteinbettungen Geschlechterstereotype halbautomatisch entfernen, ohne dass dabei sprachlich korrekte Geschlechtszuordnungen verloren gehen. Eine Untersuchung von implizit mittels Machine Learning eingebrachtem Bias fand jedoch Verzerrungen bei allen untersuchten Firmen (wie Wikipedia, Twitter und Google) – und zwar auf vielen verschiedenen Ebenen: in großen Sprachmodellen, in digitaler Kommunikation, bei der automatischen Texterzeugung, bei Zusammenfassungen automatisierter Rede und bei Maschinenübersetzungen. Da solche automatisierten Ergebnisse Anwendung in vielen lebensweltlichen Situationen finden – etwa bei Einstellungsverfahren, der Berechnung von Versicherungskosten und vielen anderen ökonomischen, politischen und rechtlichen Entscheidungen –, sind sie als Ein- und Ausschlusskriterien äußerst wirkungsvoll. Suchresultate etwa sind häufig nach Modellen personalisiert, die Frauen diskriminieren.

• Profiles: Der aus der Kriminalistik stammende Begriff des Profils (als Abweichung vom Normalen) meint im Bereich der Datenerhebung und -speicherung allgemein die strukturierte Darstellung von Merkmalen eines Subjekts. Im Zusammenhang mit der Datenerfassung personenbezogener Daten durch Dritte handelt es sich um standardisierte beziehungsweise standardisierende Clustering-Verfahren, die Ähnlichkeiten auf Basis von Ordnungsrelationen und Wahrscheinlichkeiten herstellen. Profile haben gleichzeitig deskriptive und präskriptive Eigenschaften. Sie verweisen auf die Vergangenheit und beschreiben zukünftige Wahrscheinlichkeiten. Dabei werden bei ausreichender Korrelation oft Informationen über Gruppen einer der Gruppe zuvor nicht angehörenden Person zugeschrieben, ähnlich wie bei Proxys. Wegen ihrer Intransparenz und ihrer sehr variablen Verwendung, oft ohne Wissen der Profilierten, werden sie als Bedrohung der informationellen Selbstbestimmung empfunden.

• Scores: Eng verknüpft mit Profilen sind die "Scores". Beim Scoring werden die in Profilen erzeugten Ergebnisse vergleichbar gemacht und in eine Rangfolge gebracht. Daten über Einzelne, Gruppen und Korrelationen zwischen ihnen werden so dekontextualisiert und kategorial gleichgesetzt. Doch Korrelationen begründen keine Kausalität, sie können auch zufällig entstehen und so unberechtigt Zusammenhänge insinuieren. Der Einsatz von "Social Scoring" ist vielfältig und allgegenwärtig, etwa beim Kredit-Scoring, den Telematik-Tarifen der Krankenkassen und Kfz-Versicherungen, automatisierten Bewerbungsverfahren oder Leistungsbeurteilungen. Meist ist eine Beurteilung, ob ein Scoring diskriminiert, unmöglich, da die beteiligten Unternehmen keine Informationen zu den verwendeten Verfahren und Merkmalen preisgeben müssen. Eine eher unglückliche Entscheidung des Bundesgerichtshofs 2014 beurteilte etwa das Scoring der Schufa aus den Profilen personenbezogener Daten zur Bonitätsprüfung – datenschutzgrundverordnungswidrig – als durch das Geschäftsgeheimnis geschützt. Die Konsequenz des Urteils ist, dass sich nur der Staat an das Diskriminierungsverbot halten muss, private Firmen hingegen, sofern sie Entscheidungssysteme nutzen, nicht. Die meisten Diskriminierungen durch Scoring verletzen nicht direkt die durch Antidiskriminierungsgesetze rechtlich geschützten Kategorien, sondern korrelieren solche geschützten Kategorien mit anderen, ungeschützten Kategorien wie dem Wohnviertel oder dem Nachnamen. Diskriminierung durch minderwertige Scoregüte kann auch sehr schnell passieren, wenn Individuen versehentlich anderen Klassen und Kategorien zugeordnet werden – selbst wenn die "Richtigkeit" der Daten gewährleistet ist, die Daten also frei sind von Eingabe-, Erhebungs-, Mess-, Programmier- oder Designfehlern.

• Vorhersage und Predictive Policing: In der Präventionsgesellschaft sollen Verletzungen verhindert werden, bevor sie entstehen. Besonders problematisch sind dabei Projektionen durch Profiling und Scoring, weil die Programme sehr schlecht vorhersagen – und so ungerechtfertigt diskriminieren. Die Auswahl der Daten und der Kriterien, nach denen de- und induziert wird, ist prinzipiell immer diskussionswürdig, wird aber selten offengelegt. Wo man sich bislang im Bereich der Kriminalitätsvorhersage, der Forensik oder der Kriminologie Hilfe durch auf statistischen beziehungsweise stochastischen Methoden beruhende Kriminalprognoseinstrumente geholt hat, sind die Ergebnisse höchst fragwürdig. So konnte etwa für das Programmsystem "Compas", das künftige Kriminalitätsdelikte vorhersagen soll und seit 2000 mit bereits einer Million Fällen in den USA im Einsatz ist, gezeigt werden, dass es massive Vorurteile gegen Schwarze und Latinos produziert. Da bekannt ist, dass das Gerichtssystem in den USA Angehörige von Minderheiten erheblich benachteiligt, sollte das Programm eigentlich als Mittel zur Vermeidung justizieller Ungerechtigkeiten dienen. "Compas" zeigt allerdings erheblich schlechtere Prognosewerte – ja, sogar schlechtere, als es bei Beurteilungen durch völlig unerfahrene und schlecht bezahlte "Clickworker" der Fall ist. Das erstaunt, da das Tool keine durch Antidiskriminierungsgesetze rechtlich geschützten Attribute verwendet. Aber es verwendet andere ungeschützte Merkmale, die mit den geschützten Kategorien korrelieren.

Dies führt zu grundsätzlichen ethischen Fragen. Eine Maschine kann keine Verantwortung für ihr "Handeln" übernehmen. Die Verantwortung tragen die am Produkt beteiligten Entwickelnden, die Firmen und die Nutzenden. Doch das geteilte Verantwortungsproblem leidet unter einer zeitlichen Verzögerung: Die Verantwortung der Programmierenden, die die Klassifikation entwerfen, schwindet, wenn auf deren Basis lange Zeit später zum Beispiel eine falsche Rückfallprognose erstellt wird. Zudem wird eine solche generalisierte Entscheidung dem Einzelfall kaum gerecht.

Ein besonders krasser Fall von Diskriminierung durch ein KI-basiertes Entscheidungssystem, das Daten unterschiedlicher Quellen zusammengeführt prozessierte, hat in den Niederlanden zur falschen Verdächtigung des Sozialbetrugs – mit katastrophalen Folgen für 26.000 Familien – geführt, worüber die Regierung stürzte.

In den sozialen Netzwerken kulminieren viele der oben genannten Methoden und Probleme, bietet die dort entwickelte Software doch Möglichkeiten, Gruppenprofile zu erstellen, Leistungen automatisiert zu beurteilen und Nutzende und deren Verhalten durch Tracking und Mikrotargeting zu beeinflussen. So entstehen fragmentierte Öffentlichkeiten, Filterblasen und Echokammern von Nutzenden, die sich wechselseitig bestätigen. Die Probleme werden verstärkt durch "Social Bots", die in sozialen Medien aus bisherigen Äußerungen generierte Antworten lancieren oder als "Chat Bots" vorbereitete Informationen absetzen. Sie werden nicht nur zur Werbung, sondern auch zum Nudging und für Propaganda und Wahlbeeinflussung eingesetzt und unterhöhlen so die Demokratie. Der Erfassung durch diese neuen Technologien kann man sich nur unter hohen gesellschaftlichen Kosten entziehen.

Wie könnte dem begegnet werden? Die neuen KI-Strategien werden angesichts ihrer unüberschaubaren Folgen von Ethik-Kommissionen und Ethik-Guidelines begleitet. Aber auch von dem neuen EU-Vorschlag für einen Rechtsrahmen für Künstliche Intelligenz ist kaum zu erwarten, dass hierdurch eine gestaltende Governance der Entwicklung erreicht wird. Die bisher ins Auge gefassten Einhegungen über den Weg von EU-Verordnungen bleiben sehr schwach und beziehen sich auf Ex-post-Reaktionen, um "die technologische Entwicklung nicht übermäßig einzuschränken oder zu behindern". Zudem wird für – willkürlich definierte – Hochrisiko-Bereiche wie die "biometrische Fernidentifizierung" ein nur geringes Maß an Transparenz verlangt, während die KI-spezifischen Probleme wie Proxy-Diskriminierung, die Erzeugung von neuen Kategorien unfairer Differenzierung und der Mangel an Evidenz und Kausalität nicht adressiert werden. Zwar ist eine regelmäßige Technikfolgenabschätzung angedacht, die Blackbox selbst wird aber nicht geöffnet. KI-Systeme sind überdies nie neutral – und maschinelles Lernen prinzipiell intransparent. Faire KI-Systeme für alle Beteiligten kann es nicht geben, da sich Fairnessziele häufig gegenseitig ausschließen und jede Art von Fairness immer auf Kosten von Genauigkeit geht. Statt Forderungen nach einem (unmöglichen) ethischen Design zu erheben, sollte ein KI-Gesetz verlangen, dass nur Systeme zertifiziert und somit verwendet werden dürfen, die hinsichtlich der Daten, des Trainings und der Entscheidungen transparent sind. Das allerdings würde die meisten ML-Systeme und Anwendungsbereiche verbannen.

Smarte Systeme?

Zum Schluss noch ein kurzer Blick auf den EU-Ausbau smarter vernetzter Räume (Smart Mobility, Smart Health, Smart Energy, Smart City und so weiter). Hier geschieht derzeit ein grundlegender Wandel von passiver, instrumenteller Technik zu aktiver, teilautonomer Technik, bei der Entscheidungssysteme in Plattformen eingebettet sind. Diese Technik verspricht soziale Sicherheit, Teilhabe, Effizienz, Komfort und soziale Innovation. Doch mit solchen multifunktionalen soziotechnischen Systemen, die in offenen Umgebungen operieren, sind ungewisse und widersprüchliche Anforderungen an die Mensch-System-Kooperation – und auch an das Recht – verbunden. Diese Unbestimmtheit erweist sich als rechts- und demokratiepolitisches Problem.

Ein gutes Beispiel für die Problematik unsicherer offener Systeme und ihrer derzeitigen technischen und rechtlichen Handhabung mittels verfassungsrechtlich problematischer Experimentierklauseln bietet das "autonome Fahren". Diese Anwendung maschinellen Lernens zur Situations- und Objekterkennung (etwa bei Fahrassistenzsystemen) wird gewissermaßen in Reallaboren getestet – obwohl bisher weder eine verlässliche Praxis etabliert ist noch die entsprechenden rechtlichen Fragen geklärt sind.

Projekte zum autonomen Fahren haben einen gemeinsamen Gegner: die von fast allen europäischen Ländern ratifizierte Vienna Convention on Road Traffic der Vereinten Nationen, die verlangt, dass jedes Fahrzeug einen menschlichen Fahrer haben muss. Wenn also autonomes Fahren "unüberwachtes Fahren" meint, dann ist es auf öffentlichen Straßen illegal. Versuchsfahrten müssen daher erstens als Ausnahmeversuche lizensiert sein und bedürfen zweitens eines Sicherheitskonzepts, das garantiert, dass die autonomen Fahrzeuge im Verkehr keine Gefahr für manuell gesteuerte Fahrzeuge darstellen.

Die technischen Herausforderungen sind immens: Der Trainingsdatensatz zur optischen Situationserkennung durch Sensoren beispielsweise muss Millionen von Bildern von Fußgänger:innen enthalten, und diese müssen von Nicht-Fußgängerobjekten unterschieden werden. Die Ergebnisse dieser Lernprozesse sind bislang eher bescheiden, weil nur eine isolierte Objekterkennung angestrebt wird, also trotz immensen Aufwands kein Gesamtverständnis für die Verkehrssituation entsteht. Gleichwohl lehnt die Automobilindustrie das Prinzip "Safety by Design" für fahrerloses Fahren ab, weil unbekannte und unsichere Szenarien weder direkt spezifiziert noch verifiziert werden können. Als Beispiel wird etwa die Kombination von Lichteinfall und Kleidung von Fußgänger:innen angeführt oder mögliche Objekte, die sie verdecken: Wegen der Komplexität und der Zeitvarianz des Systems sind weder eine hundertprozentige Verlässlichkeit noch perfekte Präzision möglich. Ziel ist es daher, mit statistischen Methoden und mithilfe bekannter (und unbekannter) Szenarien Sicherheit mit kleinen Restrisiken herzustellen. Hiergegen ist allerdings einzuwenden, dass eine statistische Risikoeinschätzung von Unbekanntem schlicht nicht möglich ist – und zudem der im Verkehr grundlegende Vertrauensgrundsatz verletzt wird.

Überhaupt ist zu fragen, wer über die Adäquatheit (das erlaubte Risiko) risikoreicher Konstruktionen und Verkehrspraktiken entscheiden sollte: der Gesetzgeber, die internationalen Sicherheitsnormen, die Verbände oder vielleicht einfach die Justiz? Smart Mobility hat durch ihren offenen, interaktiven Charakter und die Nutzung in alltäglichen Kontexten einen viel höheren Komplexitätsgrad als dies in der geschlossenen, technisierten Arbeitswelt der Fall ist, die sehr strikt eingehegte Luftfahrt eingeschlossen. Für unberechenbare Beteiligte wie Fußgänger ist das Systemverhalten nicht durchschaubar. Automatisiertes Fahren kann daher vermutlich nur in geschlossenen Mobilitätsräumen ohne Menschen realisiert werden, etwa in halbtunnelartigen Röhren. Warum aber forcieren dann Regierungen und Automobilindustrie diese ungeheuer teuren (und auch umweltschädlichen) Entwicklungen? Die Antwort ist einfach: Es sind die Daten, von denen man sich größere Gewinne erhofft – mehr noch als durch den Verkauf der Autos.

Resümee

Die digitale Strategie der EU, so wie sie bisher angelegt ist, lässt erhebliche Konflikte erwarten. Sie wird daher eine besondere Aufmerksamkeit der demokratischen Öffentlichkeit erfordern, insbesondere der technologisch und digitalrechtlich informierten NGOs. Neben den Fragen nach der sicheren Beherrschbarkeit der neuen Technologien entstehen in allen Anwendungsbereichen vielfältige Abhängigkeiten von den Systemen und ihren intelligenten, offenen Infrastrukturen. Diese machen sowohl Einzelne als auch Wirtschaft und Gesellschaft in hohem Maße verletzlich und anfällig für Fehlfunktionen, Ausfälle und Manipulationen. Die Herausforderung besteht nicht nur in der verlässlichen Gestaltung und Sicherung der Systeme, sondern auch darin, jede:n Einzelne:n und die Gesellschaft insgesamt dazu zu befähigen, auch ohne umfassende Technikunterstützung sicher und selbstbestimmt zu handeln.

Die Erfahrung lehrt, dass die Verantwortung für die neuen technischen Aufgaben nicht allein den beteiligten Strateg:innen und Ingenieur:innen, auch nicht technisch uninformierten Jurist:innen überlassen bleiben kann. Statt der technischen Machbarkeit sollten soziale und ökologische Ziele, eine interdisziplinäre Beteiligung bei der Gestaltung und Konstruktion dieser Technik und ihre demokratische Legitimation im Vordergrund stehen. Intelligente vernetzte Technik kann äußerst nützlich einsetzbar sein, aber sie muss für Menschen einschätzbar bleiben und ihnen Entscheidungsspielräume für das eigene Handeln ermöglichen.

Ich danke Eva Geisberger für wertvolle Anregungen und Informationen für diesen Text.