Krieg der Knopfdrücke

Im Jänner 2017 kam es in den USA zu einem denkwürdigen Vorfall. Jim Patton, Nachrichtensprecher des Senders CW6, erteilte in einer Live-Sendung dem vernetzten Lautsprecher Amazon Echo den Sprachbefehl, ein Puppenhaus zu bestellen. Patton wollte eigentlich über ein kleines Mädchen berichten, das versehentlich ein Puppenhaus und Kekse bestellte. Doch er konnte nicht ahnen, welche Kettenreaktion er damit in Gang setzte.

Bei hunderten Zuschauern, die die Sendung live im Fernseher ihres Wohnzimmers laufen hatten, löste der Sprachbefehl einen Bestellvorgang aus. Denn ob der Nutzer im Zimmer oder eine Fernsehstimme ein Sprachkommando erteilt, macht für den Lautsprecher keinen Unterschied. Echo, der smarte Lautsprecher, verfügt über keine Stimmerkennung, die zwischen verschiedenen Nutzern differenzieren kann. Zwar wurde der Bestellungsvorgang nicht finalisiert, weil Amazon dem Schritt vor der Bestellung einen gesprochenen Bestätigungscode als Autorisierungselement zwischengeschaltet hat. Dennoch aktivierte sich der Speaker wie von Zauberhand. Beim Sender gingen daraufhin zahllose Beschwerden ein.

Der Vorfall wiederholte sich im Rahmen des Superbowl, als Google in der Halbzeitpause einen Werbespot für seinen Netzwerklautsprecher Home ausstrahlte, durch dessen Schlüsselbegriff "OK Google" sich tausende Geräte in den Wohnzimmern der Zuschauer aktivierten. Das Vorkommnis sorgte für Heiterkeit in der Netzgemeinde. Doch es macht sich auch ein Gefühl des Kontrollverlusts breit.

Eigendynamik

In der landläufigen Vorstellung ist der Computer eine komplexe Rechenmaschine, die bestimmte Operationen durchführt. Eine Maschine transformiert Input in Output. Eingabe, Ausgabe. Der Administrator drückt auf einen Knopf - auf der Maus oder der Tastatur -, und der Prozessor exekutiert einen Programmierbefehl, zum Beispiel einen Shutdown-Befehl per Eingabeaufforderung.

Soweit die simple Theorie. Bei Amazon Echo gibt es diese Bedienelemente (außer dem Stummschaltknopf) nicht mehr. Der Netzwerklautsprecher hört nur auf Sprachkommandos. Dasselbe gilt für Google Home. Schon die Computerpionierin Alice Mary Hilton sah Steuerungssysteme voraus, die "nicht einmal Bedienfelder besitzen": "Kybernetisierte Maschinen laufen von selbst, Menschen sind überflüssig."

Obwohl die Hersteller suggerieren, man sei durch Sprachbefehle Herr über die Technik, haben sich die Geräte verselbstständigt und eine kybernetisch anmutende Eigendynamik entwickelt. Die entscheidende Frage ist: Wer hat das Kommando, der Mensch oder die Maschine? Ist der Mensch inmitten der künstlichen Umgebungsintelligenz nur noch Befehlsempfänger? Entstehen hier gar neue Steuerungssysteme, die irgendwann politisch werden?

Der Politikwissenschafter und IT-Experte Thomas Rid stellt in seinem Buch "Maschinendämmerung. Eine kurze Geschichte der Kybernetik" die Frage: "Befreien die Maschinen die Menschheit endlich von der Notwendigkeit, schmutzige und monotone Arbeit zu verrichten, in zermürbenden Verkehrsstaus zu stehen, und machen sie Arbeit, Leben und Freizeit sozialer, vernetzter, aber auch sicherer? Oder schlafwandeln unsere modernen Gesellschaften in eine gefährliche ,schöne neue Welt‘ hinein?"

Internet der Dinge

Das Wort "schlafwandeln" weckt unweigerlich Assoziationen mit dem Buch "Die Schlafwandler" des australischen Historikers Christopher Clark, der darin sehr anschaulich beschreibt, wie die nationalistisch aufgeheizten Großmächte geradezu ohnmächtig in den Ersten Weltkrieg taumelten und Europa ins Verderben stürzten.

Die Welt könnte heute abermals in eine kriegerische Katastrophe oder einen technologischen Totalitarismus schlittern, ohne dass dies jemand gewollt hätte. Die Finalität der Automatisierung ist gar nicht klar. Man hat den Eindruck, man navigiert sich von Update zu Update und stellt dabei fest, wie viele Prozesse automatisiert wurden. Doch worauf läuft diese Entwicklung hinaus?

Der Sicherheitsforscher Bruce Schneier entwarf eine ebenso hellsichtige wie düstere Zukunftsvision: "Das Internet der Dinge", schreibt er, "führt immer mehr Aktionen für uns und in unserem Namen aus. Die menschliche Intervention wird zunehmend unnötig. Sensoren sammeln Daten. Smarte Geräte analysieren Daten und finden heraus, was zu tun ist. Und die Aktoren werden Dinge in unserer Welt tun. Man kann sich die Sensoren als Augen und Ohren des Internets vorstellen, die Aktoren als die Hände und Füße des Internets, und das Zeug in der Mitte ist das Gehirn. (. . .) Das Internet fühlt, denkt und handelt. Wir bauen einen weltgroßen Roboter, und wir merken es nicht einmal."

Das greift implizit das Schlafwandlerische auf, das Hineinschlittern in eine unheilvolle Dynamik, wo Informatiker Dinge programmieren, ohne die Konsequenzen im Blick zu haben - und man am Ende die Kontrolle verliert. Die smarten Dinge, die von der "solutionistischen Internationale" hymnisch besungen werden, lösen ja keine Menschheitsprobleme, sondern schaffen Lösungen für Probleme, die sie selbst kreieren. Wenn Smart-City-Lösungen propagieren, durch eine intelligente Ampelschaltung werde der Verkehrsfluss optimiert, wäre zu fragen, ob "smart" nicht besser bedeuten sollte, für weniger Autoverkehr zu sorgen.

Es lohnt sich, einen Blick in Richtung Industrie zu werfen, weil sie der Treiber dieser Entwicklungen ist. Anette Bronder, Geschäftsführerin der Digital Division bei T-Systems, schreibt auf der Webseite des Konzerns: "Wer vom Internet der Dinge spricht, meint nicht nur die Vernetzung eines Gegenstands mit dem Internet. Es geht um die Kommunikation von Geräten und Maschinen untereinander. Die Sprache dieser Kommunikation sind Daten, der Kommunikationskanal die Netze. Die Cloud ist Heimat und Ziel der Daten, sie steuert Intelligenz durch Data-Analytics-Software bei. Der Mensch ist über Smartphones oder Wearables wie Datenbrillen Teil dieses Netzwerks."

Humaner Biocomputer

Die Rhetorik ist entlarvend, weil der Mensch in diesem System kaum noch eine Rolle spielt. Wenn die Kommunikationssprache Daten sind und die Kommunikation auf den Datenaustausch von Maschinen (in einem System kommunizierender Röhren) beschränkt ist, kann sich der Mensch auch nur über Daten bemerkbar machen. Seine Gedanken verkommen zu Rohdaten. Es geht eigentlich nur darum, die Datenmaschinerie am Laufen zu halten.

Der Mathematiker und Philosoph Norbert Wiener, der mit seinem 1948 erschienenen Werk "Kybernetik. Regelung und Nachrichtenübertragung in Lebewesen und Maschine" die Grundlagen der Disziplin legte, schrieb, dass eine Maschine Informationen erzeugen und die Information quasi aus sich selbst heraus, also in einer Creatio ex nihilo, eine weitere Maschine erzeugen könne. Der Mensch ist überflüssig. Eine "Denkmaschine", ein humaner Biocomputer, ist der Prototyp der Kybernetik. Es geht darum, dass die menschliche mit der maschinellen Intelligenz zu einem neuen Ökosystem verschmilzt.

Das Szenario, das Wiener am meisten Sorgen machte, waren Computer, die Kriege simulierten und potenziell automatisiert Entscheidungen über Gewaltanwendung treffen könnten. "Es ist durchaus nicht unwahrscheinlich", sagte er im Dezember des Jahres 1959 auf einer Pressekonferenz im Rahmen der 126. Versammlung der American Association for the Advancement of Science, "dass lernende Maschinen dazu eingesetzt werden, den Kopfdruck in einem neuen Krieg der Knopfdrücke zu programmieren."

Die Frage ist: Wer betätigt diesen Schalter? Und lässt sich künstliche Intelligenz überhaupt abschalten?

Systemabsturz

Der Urvater der Kybernetik erkannte das Dilemma. "Wir wollen intelligente Sklaven. Gleichzeitig jedoch wollen wir untertänige Sklaven." Das ist ein Zielkonflikt. "Völlige Untertänigkeit" und "völlige Intelligenz" gingen nicht zusammen.

Irgendwann könnten Künstliche Intelligenzen intelligent genug sein, um zu merken, dass es doch nicht so schlau ist, bloßer Befehlsempfänger zu sein - und sich verselbstständigen. Das Problem ist, dass künstliche Agenten zwar zielgerichtet vorgehen, indem sie mechanisch Skripte abarbeiten, aber kein Ziel haben. Sie besitzen keinen moralischen Kompass. Wenn ein gesellschaftliches Subsystem wie die Kommunikation auf Autopilot läuft und die falschen Parameter eingespeist werden, kann das fatale Folgen haben - es droht der Systemabsturz.

Der Philosoph Nick Bostrom hat das Gedankenexperiment einer Büroklammer-KI entwickelt: Man stelle sich vor, eine Künstliche Intelligenz wird darauf programmiert, Büroklammern zu produzieren. Wenn ihr nicht vorgeschrieben wird, wann sie mit der Produktion aufhören soll, fährt sie im Stile von König Midas damit fort, bis alle Energiereserven erschöpft sind und der Planet sich in eine Büroklammerwüste verwandelt hat. Das ist eine stupide Tätigkeit, die in ihrer Wiederholung aber suizidal sein kann. Es könnte die letzte Erfindung der Menschheit sein.

Die Gefahr einer autonomen Technik ist durchaus real. Der nicht intendierte Programmierbefehl des Nachrichtensprechers, durch den sich wie in einer Multi-Agenten-Simulation tausende Geräte in den Wohnstuben aktivierten, könnte das Fanal einer kybernetischen Gesellschaft sein.

Adrian Lobe, geboren 1988 in Stuttgart, studierte Politik- und Rechtswissenschaft in Tübingen, Heidelberg und Paris. Er schreibt als freier Journalist für diverse Medien im deutschsprachigen Raum.