Am 30. Juni stellte CIA-Direktor John Ratcliffe auf einem Technik-Gipfel in Washington eine Aussage in den Raum, die sich nur wenige in seiner Position öffentlich trauen. Über die heutigen Frontier-KI-Modelle sagte er, es sei nicht „fehl am Platz, ihre Fähigkeiten mit digitalen Atomwaffen zu vergleichen“. Er ist kein Sicherheitsaktivist und kein Akademiker mit einer These zum Verkauf. Er leitet einen Geheimdienst. Er griff zu etwa den schwersten Worten, die jemand in seinem Amt öffentlich aussprechen darf.

Er ist nicht der Einzige. Im März sagte die damalige Director of National Intelligence Tulsi Gabbard aus, dass Menschen die Kontrolle über diese Systeme behalten müssen. Der Direktor der NSA soll Senatoren mitgeteilt haben, dass Anthropics Mythos-Modell brach in wenigen Stunden in fast alle klassifizierten Systeme der Behörde ein während eines autorisierten Tests. In den letzten Wochen haben die Cybersicherheitschefs der Five Eyes eine seltene gemeinsame Erklärung abgegeben und gewarnt, dass wir „jetzt handeln müssen“. Wenn die Menschen, die den klassifizierten Verkehr lesen, in der Öffentlichkeit so sprechen, lohnt es sich, innezuhalten und zuzuhören.

Wo die Metapher zutrifft

Eine Kernwaffe ist der Maßstab, den die Welt für „so gefährlich wie eine Technologie werden kann“ verwendet. KI als digitale Version davon zu bezeichnen, ist eine Art zu sagen, dass diese Werkzeuge nun Schaden in einem Ausmaß anrichten können, das früher einen Staat und einen Sprengkopf erforderte: verheerende Cyber-Intrusion oder echte Hilfe beim Design eines Pathogens. Darin hat Ratcliffe recht, und dass ein amtierender Geheimdienstchef es in einer öffentlichen Rede sagt, ist selbst die Nachricht.

Wo es bricht

Der Vergleich schmuggelt eine Beruhigung ein, denn eine Atomwaffe hat eine gnädige Eigenschaft: Sie entscheidet nie etwas. Ein Sprengkopf liegt in seinem Silo und wartet. Er hat keine Ziele. Er tut exakt nichts, bis ein Mensch zwei Schlüssel dreht. Jede Sicherheitsvorkehrung, die wir um die Bombe gebaut haben, von der Befehlskette bis zu Rüstungskontrollverträgen, funktioniert, weil die Waffe ein Werkzeug in menschlichen Händen bleibt.

Heutige Systeme handeln bereits als Agenten, die Ziele verfolgen, und das, worauf sie ein Schritt hin sind, künstliche Superintelligenz, wäre ein Agent, der fähiger ist als die Menschen, die ihn gebaut haben. Eine Superintelligenz ähnelt eher dem Befehlshaber, der entscheidet, wo die Bombe hingeht, nur dass kein Mensch ihn ernannt hat und kein Mensch kann es vom Kommando entbinden.

Eine Nuklearwaffe wählt niemals ihr eigenes Ziel.

Frontier-KI ist in ihrer Reichweite wie eine digitale Kernwaffe. Das System, auf das sie zusteuert, wäre eine Waffe, die sich selbst zielt. Wir stellen diese Gefahr den älteren gegenüber anderswo ausführlich, und Superintelligenz gewinnt aus genau diesem Grund.

Die zweite Aufgabe des nuklearen Zeitalters

Die Stärke der Formulierung „digitale Nuklearwaffe“ liegt darin, dass sie aus der nationalen Sicherheitswelt selbst kommt und nicht von deren üblichen Kritikern. Die Gefahr besteht darin, dass man sie hört, sich eine Bombe vorstellt und falsche Sicherheit in allem findet, was eine Bombe erlaubt: Sie kann bewacht, gezählt und im schlimmsten Fall ungenutzt in ihrem Silo gelassen werden. Superintelligenz bietet keine dieser Möglichkeiten.

Das nukleare Zeitalter hat eine zweite Lektion, und sie ist die, die jetzt zählt. Nachdem wir die Waffe gebaut hatten, verbrachten wir Jahrzehnte damit, die Verträge zu schaffen, die sicherstellen sollten, dass sie nie wieder eingesetzt wird. Diese geduldige Architektur der Prävention, Verifikation und Rüstungskontrolle ist das wahre Erbe des Kalten Krieges. Unsere Version davon hat kaum begonnen, und der Unterschied diesmal ist, dass wir sie nicht nachträglich bauen können. Eine Waffe, die sich selbst zielen kann, muss verhindert werden, bevor sie existiert, nicht abgeschreckt, wenn sie es tut. Es ist unser Plan.