Kamerad Computer

Schon heute werden Waffensysteme von Künstlicher Intelligenz gesteuert. In Zukunft könnten autonome Waffen dem Menschen auch noch die Entscheidung abnehmen, wen sie angreifen und töten. Wer trägt die Verantwortung, wenn Computer gegen das Völkerrecht verstoßen? Mit dem Politikwissenschaftler Niklas Schörnig vom Leibniz-Institut Hessische Stiftung Friedens-und Konfliktforschung haben wir über die Kriege der Zukunft gesprochen.

LEIBNIZ In Deutschland wird seit einigen Jahren darüber diskutiert, ob die Bundeswehr bewaffnete Drohnen anschaffen sollte. Oft klingt es, als wären autonome Waffen der logische nächste und vielleicht unausweichliche Schritt. Ist das so? 

NIKLAS SCHÖRNIG Die Drohnen, über die wir in Deutschland diskutieren, sind ferngesteuert und nur bei unkritischen Funktionen autonom. Für die Auswahl und Bekämpfung der Ziele macht der Computer nur Vorschläge, die der Mensch dann prüfen muss. Die Diskussion dreht sich vor allem darum, dass Drohnen sich für Szenarien eignen, die wir in Deutschland tendenziell ablehnen, gezielte Tötungen zum Beispiel. Die Debatte um autonome Waffen muss man davon scharf trennen. 

Warum?

Eben weil es ferngesteuerte, bewaffnete Drohnen bereits gibt. Viele Staaten haben großes Interesse, sie anzuschaffen und einzusetzen. Die Bereitschaft, sich die Argumente der Gegnerinnen und Gegner anzuhören, ist dementsprechend gering. Die Kampagne »Killer Roboter stoppen« des Internationalen Komitees für die Kontrolle autonomer Waffen, ICRAC, zielt hingegen ganz bewusst auf autonome Waffensysteme: Deren Entwicklung schreitet zwar voran, aber es gibt noch Chancen, sie bei der Waffenkonvention der Vereinten Nationen in Genf präventiv zu ächten.

Was macht ein autonomes Waffensystem aus?

Leider gibt es bislang keine Übereinkunft, wann ein Waffensystem autonom zu nennen ist, das macht die Diskussion so schwierig. Die griffigste Definition, mit der auch ich arbeite, hat das US-Verteidigungsministerium 2012 veröffentlicht. Sie besagt im Wesentlichen, dass ein autonomes Waffensystem die computergesteuerte Auswahl eines Ziels mit seiner sofortigen Bekämpfung, also dem Töten, verbindet, ohne dass ein Mensch diese Entscheidung noch einmal aktiv bestätigen muss.

Wie weit ist die Entwicklung solcher Systeme? Diskutieren wir bald den Kauf von Killerrobotern für die Bundeswehr oder bleibt das Science-Fiction?

Das hängt davon ab, wie man »autonom« definiert und wie rechtskonform das System sein soll. Technisch wäre es schon jetzt kein größeres Problem mehr, aus handelsüblichen Drohnen mit Gesichtserkennung eine krude Waffe zu bauen, die das Grundprinzip »Zielauswahl – Zielbekämpfung« alleine ausführt. Eine größere Rolle spielen in der Debatte aber autonome Waffen, die das Völkerrecht einhalten könnten und dabei keine Fehler machen, indem sie zum Beispiel Unschuldige töten. Von solchen Systemen sind wir noch deutlich weiter entfernt. Und dann gibt es Stimmen, die sagen: Autonom ist ein Waffensystem erst dann, wenn es ein Bewusstsein hat und selbstständig Entscheidungen trifft. Das wird es wahrscheinlich in Hunderten von Jahren noch nicht geben.

Welche Argumente sprechen denn für die Entwicklung autonomer Waffensysteme? 

In aktuellen Konflikten gibt es die Tendenz, den menschlichen Entscheidungsspielraum zugunsten von Algorithmen zurückzudrängen. Prozesse lassen sich zum Beispiel beschleunigen, wenn man den Menschen herausnimmt. Oder stellen Sie sich vor, Sie haben Bodentruppen in ein Gebiet geschickt und die brauchen Luftunterstützung durch ferngesteuerte Drohnen. Was passiert, wenn der Gegner den Funk oder das Satellitensignal stört? Aus Sicht des Militärs könnte es dann sinnvoller sein, Systeme zu haben, die unabhängig von menschlicher Steuerung die Truppen am Boden verteidigen. Bei Luftkämpfen ist zusätzlich die Latenzzeit des Satellitensignals ein Faktor: Die Kommandos werden von der Erde zum Satelliten und dann zur Drohne geschickt, dadurch ist eine ferngesteuerte Drohne immer zwei, drei Sekunden langsamer als ein autonomes System. Und autonome Kampfflugzeuge könnten Manöver mit extremen Fliehkräften fliegen, bei denen jeder menschliche Pilot bewusstlos würde.

Das sind taktische Szenarien, also Momente, in denen der Kampf bereits im Gange ist. Wie würden sich denn strategische Entscheidungen verändern? Würden Staaten schneller Krieg führen, wenn sie nur Maschinen und nicht mehr das Leben der eigenen Soldaten riskieren?

Viele Expertinnen und Experten würden diese Frage vermutlich anders beantworten, aber ich stelle mich jetzt mal gegen den Mainstream. Zu den gerade geschilderten Szenarien, in denen autonome Waffen einen Vorteil bieten, kommt es eher in symmetrischen Konflikten, bei denen die Gegner etwa gleich stark gerüstet sind. Sollten westliche Staaten jemals wieder in einen solchen Krieg verwickelt werden – was wir nicht hoffen wollen – dann stünden wahrscheinlich zentrale nationale Interessen auf dem Spiel, das Überleben des Staates. In einer solchen Situation stünde es außer Frage, dass eigene Soldatinnen und Soldaten eingesetzt werden müssen. Aber es besteht natürlich das Risiko, dass zunächst nur bestimmte Staaten autonome Waffen haben und diese Überlegenheit sie zu einem völligen Overkill verführen könnte. Dass sie möglicherweise Gewalt in Situationen einsetzen, bei denen sie doch noch mal gründlicher nachdenken würden, wenn sie eigene Soldatinnen und Soldaten hinschicken müssten. Dieses Risiko besteht allerdings auch schon bei ferngesteuerten Waffen, dafür brauchen Sie keine Roboter, die in den Straßen anderer Hauptstädte patrouillieren, wie in der neuen Version des Films »Robocop«.

Kritikerinnen und Kritiker argumentieren, dass autonome Waffensysteme aus völkerrechtlicher Sicht problematisch sind. Warum?

Das Völkerrecht muss den jeweiligen Umständen entsprechend interpretiert werden und dafür haben Menschen ein Gespür, das Computer vermutlich nie haben werden. Ein Beispiel: Ein Angriff verstößt nicht gegen das Völkerrecht, solange er militärisch sinnvoll ist und nicht unverhältnismäßig viele Zivilistinnen und Zivilisten in Gefahr bringt. Aber schon die Unterscheidung zwischen Zivilisten und Kombattanten ist für Computer extrem schwierig: Uniformen können dreckig oder zerschlissen sein. Bewaffnet sind Zivilisten manchmal auch, etwa, wenn sie auf die Jagd gehen. Die Frage, wann ein Angriff verhältnismäßig ist, kann man nicht ohne Weiteres in Zahlen pressen. 

Dieses »in Zahlen pressen« – wie kann man sich das vorstellen? Programmiert man der autonomen Waffe ein Punktesystem ein, das Kinder mit geringer Wahrscheinlichkeit als Kombattanten einstuft, einen Jäger schon eher und einen uniformierten Bewaffneten mit hoher Wahrscheinlichkeit?

Ich glaube nicht, dass man verschiedene Situationen in Zahlen pressen kann. Aber der Roboterethiker Ronald C. Arkin plädiert zum Beispiel dafür, autonomen Waffen einen »ethischen Gouverneur« einzuprogrammieren. Sie könnten dann sogar defensiver als Menschen agieren, weil Maschinen im Zweifel eben auch die eigene Vernichtung riskieren können. Und sie kennen keine Emotionen: Computer sind nie unsicher und neigen nicht zu Überreaktionen, wenn neben ihnen Kameradinnen oder Kameraden erschossen wurden. Ronald Arkin glaubt, mit Künstlicher Intelligenz eine Kriegsführung zu erreichen, die more humane than humans can do wäre. Computer würden also Kriege führen, die humaner wären als alle Kriege, die Menschen führen. Diesen Überlegungen muss aber am Ende ja eine Bewertung zugrunde liegen, die verschiedene Situationen miteinander vergleicht und quantitativ bewertet. 

Wie sieht es denn in Situationen aus, in denen menschliche Intuition und Einfühlungsvermögen wichtig sind? Das Völkerrecht verbietet ja zum Beispiel, auf Gegner zu schießen, die sich ergeben wollen. Können Computer solche Nuancen erkennen?

Wenn jemand seine Waffe wegwirft und die Hände über den Kopf hebt, ist das eine eindeutige Geste, die ein Computer erkennen sollte. Schwierig wird es, sobald Menschen unkonventionell handeln, weil sie zum Beispiel verwirrt sind und vergessen haben, dass sie noch eine Waffe in der Hand halten. Auch bei der Einschätzung, wann ein verletzter Gegner kampfunfähig ist, gibt es viele Abstufungen, die ein Computer wahrscheinlich nie sicher erkennen wird.  

Könnte es dabei auch zu Fehlentscheidungen kommen, weil Algorithmen von Menschen programmiert werden, die bewusste oder unbewusste Vorurteile haben? 

Bei selbstlernenden Systemen könnte das ein Problem werden. Je nachdem, mit welchen Daten ich den Algorithmus trainiere, verstärkt der Computer später bestimmte Ungleichheiten. Ein bekanntes Beispiel sind automatische Seifenspender, die nur auf weiße Hände reagieren, weil man bei den Tests keine People of Color berücksichtigt hatte. Bei autonomen Waffen wird es richtig problematisch, wenn auch der Gegner selbstlernende Systeme verwendet. Und niemand kann vorhersehen, wie komplexe Systeme aufeinander reagieren. Sie können extrem schnell außer Kontrolle geraten. Ein harmloses Beispiel dafür: Auf Amazon wurde mal ein Biologiebuch für 40 Dollar angeboten. Dann kamen zwei simple Algorithmen in Gang, die festlegen, was ein Produkt kostet. Jeder für sich spuckte völlig logische Zahlen aus. Aber weil die Algorithmen aufeinander reagierten, war der Preis kurze Zeit später auf mehrere Millionen Dollar hochgeschossen.

In diesem Fall hat man am Ende ein Buch, das keiner kaufen will. Im Fall von autonomen Waffensystemen wäre die Konsequenz eine völkerrechtswidrige Katastrophe. Könnte man dafür irgendwen zur Verantwortung zu ziehen? 

Sie fragen nach der sogenannten Verantwortungslücke, die der Philosoph Robert Sparrow 2007 formuliert hat: Wenn ein autonomes System völkerrechtswidrig handelt, kann man den Programmierern keinen Vorwurf machen, weil sie möglicherweise nicht wussten, in welchen Situationen das System eingesetzt wird. Und der Offizier kann nicht verantwortlich gemacht werden, weil er ja nicht wusste, wie der Algorithmus funktioniert. Und einen Computer ins Gefängnis zu stecken: Das bringt ja nichts. Mittlerweile sind die meisten KI-Philosophen davon ein bisschen abgerückt. Die Programmierer tragen schon eine gewisse Verantwortung. Sie müssten dem System Tabus einprogrammieren. Zum Beispiel darf es nicht in Kostenkategorien denken, damit es nicht lernen kann, dass es vielleicht billiger wäre, Gefangene zu töten, statt zu bewachen und zu versorgen. Trotz solcher Tabus könnte es Situationen geben, in denen das System unvorhergesehene Dinge tut. Auf dieses Risiko müssen die Programmierer die Befehlshaber hinweisen. Und dann geht die Verantwortung auf die Offiziere über, die entscheiden, ob sie das System trotz des Risikos einsetzen. 

Sie würden Entwicklerinnen und Entwickler mit in die Verantwortung nehmen? Wer Grundlagenforschung zur Robotik oder zur Künstlichen Intelligenz betreibt, muss mitdenken, in welchen Situationen seine Entwicklungen später eingesetzt werden?

Natürlich ist das schwierig, weil immer mehr Technologien sogenanntes Dual Use sind. Der Algorithmus, der das zivile Auto steuern soll, kann genauso gut den autonomen Panzer steuern und umgekehrt. Trotzdem glaube ich: Wenn schon am Anfang der Forschung eine militärische Nutzung extrem wahrscheinlich ist, dann sollte man keine fadenscheinigen Argumente bringen, sondern sich die Frage stellen, ob man das Richtige erforscht.

Sie sagen, dass bereits die Erforschung und Entwicklung von Künstlicher Intelligenz für Waffensysteme geächtet werden sollten. Wie stehen die Chancen dafür?

Die Geschichte zeigt leider, dass präventive Rüstungskontrolle, also das Verbot von Waffensystemen, die es jetzt noch gar nicht gibt, sehr schwierig ist. Ich glaube nicht, dass irgendein Staat im Moment wirklich den Einsatz von autonomen Waffensystemen will. Aber weil die Gefahr besteht, dass andere in diesen Bereich investieren, sehen sie sich in Zugzwang. Und die Hoffnung, durch autonome Waffen militärische Überlegenheit zu gewinnen, ist sehr groß. Wenn ich mir etwas wünschen dürfte, wäre das ein Verbot autonomer Waffen, das von allen zentralen Akteuren mitgetragen wird. Also vor allem von jenen Staaten, die führend sind bei der Entwicklung von Künstlicher Intelligenz.

Wie ist der Stand bei der Waffenkonvention der Vereinten Nationen?

Die Kritiker konzentrieren sich meiner Meinung nach zu stark auf rechtliche und ethische Fragen. Die andere Seite sagt dann: Ja, wir würden gerne auf autonome Waffen verzichten, aber sicherheitspolitisch könnten sie sinnvoll sein. Wenn man merkt, dass die wichtigen Akteure – China, Russland, die USA – für rechtliche und ethische Argumente nicht zugänglich sind, dann muss man eventuell nachjustieren. Da sehe ich auch die Gesellschaftswissenschaften in der Verantwortung: Wir müssen die Argumente der Befürworter sicherheitspolitisch dekonstruieren. Dazu müssen wir sie zunächst einmal verstehen. Dann können wir über klassische Rüstungskontrolle reden: Wie können wir den Staaten versichern, dass andere Staaten keine autonomen Waffen bekommen? Dieser Prozess wird für meinen Geschmack noch zu wenig diskutiert. 

Haben Sie den Eindruck, dass Deutschland in diesen Verhandlungen genug Verantwortung übernimmt? 

Es ist nicht einfach, sich auf internationaler Ebene hinzustellen und bestimmte Waffensysteme und Einsatzszenarien zu hinterfragen. Dafür braucht man Mut und Rückhalt. Ich nehme Deutschland als Akteur wahr, der es wagt, diese unangenehmen Fragen immer wieder zu stellen – in der NATO, in der Europäischen Union, bei den Vereinten Nationen und bei der Genfer Waffenkonvention. Oft passiert das auch über Kanäle, von denen die Öffentlichkeit nichts wahrnimmt. Aber die deutsche Politik ist sich ihrer historischen Verantwortung durchaus bewusst.