Meaningful Human Control

Das Teilprojekt geht der Frage nach, auf welcher Grundlage das Recht und algorithmisch basierte Entscheidungssysteme jeweils ihren Gegenstand „verstehen“ und miteinander kommunizieren können. Es interessiert sich dabei für die Interaktionsbeziehungen zwischen sinnstiftenden Akteuren, Algorithmen und ihren Objekten und ist daher auch epistemologisch motiviert: Es fragt nach den neuen Formen der Wissensgenerierung und damit auch des Denkens des Menschen sowie letztlich der Gestaltung gesellschaftlichen Zusammenlebens, die die sogenannte Künstliche Intelligenz einführt.

Die Möglichkeiten von Kontrolle und Regulation sind nicht nur an Akteure, Institutionen oder Technik geknüpft, sondern auch stark von medialen Bedingungen wie insbesondere Interfaces abhängig. Das übergeordnete Ziel des Teilprojekts ist es, diese Bedingungen anhand von Szenarien der Mensch-Maschine-Interaktion im Kontext autonomer Waffensysteme (AWS) zu untersuchen und für die kritische Reflexion zugänglich zu machen. Dazu wird einerseits analysiert, auf welche Weise Konzepte wie „meaningful human control“, Verantwortung oder Autonomie technisch in bestimmten Interface-Lösungen her- und sichergestellt werden sollen. Andererseits wird herausgearbeitet, welche Vorstellungen von technischer Steuerung, Kontrolle oder Eigenständigkeit in Politik, Forschung, Industrie und fiktionalen Repräsentationen konstruiert werden. Diese Imaginationen, so eine der Hauptthesen des Teilprojekts, prägen zugleich in erheblichem Maße die Realität der autonomen Waffen.

Das Teilprojekt analysiert aktuelle Konzepte und soziotechnische Imaginationen von lernfähigen, autonomen Drohnenschwärmen im zeitgenössischen militärischen Denken und arbeitet deren Implikationen für das Mensch-Maschine-Verhältnis und zukünftige Formen der Kriegsführung heraus. Auf der einen Seite finden sich militärstrategisch ausgerichtete Analysen, die mit biomimetischen, komplexitätstheoretischen Konzepten von Verhalten, Kontrolle und Steuerbarkeit in Drohnenschwärmen eine neue Qualität der Autonomie und kognitiven Leistungsfähigkeit in Waffensystemen erreichen wollen. Dem gegenüber stehen Kritiker_innen, die auf die grundsätzliche Unberechenbarkeit komplexen Schwarmverhaltens verweisen und die Idee der Verantwortlichkeit eines ‚human on the loop‘ kritisch hinterfragen.