Meaningful Human Control

Im Humanitären Völkerrecht ist die zunehmende Fokussierung auf individuelle Verantwortlichkeit bzw. strafrechtliche Verantwortlichkeit von großer Bedeutung. Auf ihm basiert die gegenseitige Anerkennung als handlungsfähige Personen, die (Wieder-)Herstellung des Glaubens an die Gültigkeit von Normen und die friedenssichernde Wirkung in der Gesellschaft. Angesichts der Fortentwicklung Autonomer Systeme wird eine Meaningful Human Control (MHC) gefordert – inzwischen nicht mehr nur über Waffensysteme, sondern auch in Kontexten wie der Medizin. Im Anschluss an ein Forschungsprojekt in der Medizin soll aus (völker-)strafrechtlicher Perspektive die Bedeutung der technischen Umsetzung, aber auch der Illusion der eigenen Handlungsmacht für die MHC, das Konzept von Verantwortung und damit verbundenen gesellschaftlichen Funktionen analysiert werden.

Das Teilprojekt geht der Frage nach, auf welcher Grundlage das Recht und algorithmisch basierte Entscheidungssysteme jeweils ihren Gegenstand „verstehen“ und miteinander kommunizieren können. Es interessiert sich dabei für die Interaktionsbeziehungen zwischen sinnstiftenden Akteuren, Algorithmen und ihren Objekten und ist daher auch epistemologisch motiviert: Es fragt nach den neuen Formen der Wissensgenerierung und damit auch des Denkens des Menschen sowie letztlich der Gestaltung gesellschaftlichen Zusammenlebens, die die sogenannte Künstliche Intelligenz einführt.

Die Möglichkeiten von Kontrolle und Regulation sind nicht nur an Akteure, Institutionen oder Technik geknüpft, sondern auch stark von medialen Bedingungen wie insbesondere Interfaces abhängig. Das übergeordnete Ziel des Teilprojekts ist es, diese Bedingungen anhand von Szenarien der Mensch-Maschine-Interaktion im Kontext autonomer Waffensysteme (AWS) zu untersuchen und für die kritische Reflexion zugänglich zu machen. Dazu wird einerseits analysiert, auf welche Weise Konzepte wie „meaningful human control“, Verantwortung oder Autonomie technisch in bestimmten Interface-Lösungen her- und sichergestellt werden sollen. Andererseits wird herausgearbeitet, welche Vorstellungen von technischer Steuerung, Kontrolle oder Eigenständigkeit in Politik, Forschung, Industrie und fiktionalen Repräsentationen konstruiert werden. Diese Imaginationen, so eine der Hauptthesen des Teilprojekts, prägen zugleich in erheblichem Maße die Realität der autonomen Waffen.

Das Teilprojekt analysiert aktuelle Konzepte und soziotechnische Imaginationen von lernfähigen, autonomen Drohnenschwärmen im zeitgenössischen militärischen Denken und arbeitet deren Implikationen für das Mensch-Maschine-Verhältnis und zukünftige Formen der Kriegsführung heraus. Auf der einen Seite finden sich militärstrategisch ausgerichtete Analysen, die mit biomimetischen, komplexitätstheoretischen Konzepten von Verhalten, Kontrolle und Steuerbarkeit in Drohnenschwärmen eine neue Qualität der Autonomie und kognitiven Leistungsfähigkeit in Waffensystemen erreichen wollen. Dem gegenüber stehen Kritiker_innen, die auf die grundsätzliche Unberechenbarkeit komplexen Schwarmverhaltens verweisen und die Idee der Verantwortlichkeit eines ‚human on the loop‘ kritisch hinterfragen.

Das Teilprojekt bringt ein Testszenario als Veranschaulichung in das Kompetenznetz ein. Es basiert auf dem Leitziel des RoboCup – einem Fußballspiel zwischen autonomen humanoiden Robotern und Menschen. Das Szenario spiegelt – komplexitätsreduziert und weniger normativ berachtet als ein Waffensystem – die zentralen Themenbereiche des Kompetenznetzes sowie der einzelnen Teilprojekte (individuelle Verantwortung, Berechenbarkeit, Interaktion) wider. Die Zuordnung von durch Roboter begangene Regelverletzungen im Spiel zum/zur autonomen Roboter-‚Spieler_in‘ oder zu den Programmierer_innen sowie die Frage nach einem automatischen (KI-) Schiedsrichter oder ‚Ethik-Modul‘ auf den Roboter- Spieler_innen (vgl. Arkin) sind praktische und übertragbare Fragestellungen. So lassen sich Reichweite und Grenzen von Steuerbarkeit und Kontrolle komplexitätsreduziert diskutieren.