Was hält der Gewinner eines Superintelligenz-Rennens in Händen? In Räumen voller Menschen, die KI bauen, gleitet das Gespräch darüber hinweg. Jemand wird es sowieso bauen, also können wir es genauso gut sein. Risiko, Zeitpläne, wie man ein System kontrolliert, das klüger ist als seine Erbauer: alles wird mit Wettergesprächen beiseitegewischt. Wir können nicht aufhören. Es gibt ein Wettrennen.
Ich bin zu der Ansicht gekommen, dass das Wettrennen das ist, worüber es sich zu streiten lohnt, gerade weil fast niemand es tut. Als Naturgegebenheit behandelt, beginnen alle nachfolgenden riskanten Entscheidungen verantwortungsvoll auszusehen. Wetter ist das falsche Modell für eine Wahl, die eine Handvoll Unternehmen absichtlich trifft.
Wofür ein Wettrennen ist
Ein Wettrennen ist ein Wettbewerb mit einem Preis am Ende, und der Preis ist der Grund zu laufen. Das Weltraumrennen der 1960er lieferte eine Flagge auf dem Mond und das damit verbundene Prestige. Ein nukleares Wettrüsten liefert eine Waffe: Der Staat, der die Bombe baut, besitzt sie, zielt mit ihr und entscheidet, ob sie je eingesetzt wird. In jedem Fall endet der Gewinner mit etwas in der Hand, einer Fähigkeit, die er besitzt und befehligt.
Fragen Sie jetzt, was der Gewinner am Ende des Rennens um Superintelligenz in der Hand hält. Die ganze Prämisse der Gefahr ist, dass ein System, das uns deutlich überlegen ist, kein Werkzeug mehr in jemandes Hand wäre. Eine künstliche Superintelligenz ist ein Agent, der Ziele verfolgt. Wenn diese Ziele auch nur geringfügig von unseren abweichen (das Problem, das wir haben nicht gelöst), verfolgt sie diese, ob ihre Schöpfer es billigen oder nicht. Das Labor, das „gewinnt“, kommt nicht in den Besitz einer Superintelligenz. Es teilt einen Planeten mit einer, die es nicht steuern kann.
Ein Rennen lohnt sich nur dann zu gewinnen, wenn die Ziellinie ein Preis ist. Hier ist die Ziellinie ein System, dessen Kontrolle niemand nachgewiesen hat. Wer zuerst dort ankommt, hält nicht die Macht. Er ist der Erste, der ihr Rede und Antwort stehen muss.
Eine Ziellinie, die niemand steuern kann, ist kein Preis. Wer zuerst dort ankommt, verliert einen Schritt vor allen anderen.
Die Lücke, von der Sie ständig hören
Streift man Theorie und Wettlaufnarrativ ab, beruht alles auf einer konkreten Behauptung: China ist nah dran, China wird nicht aufhören, also können wir es auch nicht. Diese Behauptung beendet jedes Meeting und wird weitaus häufiger aufgestellt als geprüft.
Beginnen Sie mit dem faktischen Teil. Es gibt echte Konkurrenz zwischen amerikanischen und chinesischen Laboren, und es gibt einen realen industriellen Wettstreit um Chips und Rechenleistung. Amerikanische Exportkontrollen für die fortschrittlichsten KI-Chips existieren genau deshalb, weil dieser Wettstreit real ist. Nichts davon ist ein Mythos, und ich will nicht so tun, als wäre es einer. Die Politik dieser Kontrollen und wo Kooperation tatsächlich stattgefunden hat zählen mehr als der Slogan.
Sehen Sie, was der Slogan einschmuggelt. „China wird unabhängig von allem, was wir tun, eine unkontrollierbare Superintelligenz bauen“ beschreibt nichts, was China gesagt oder getan hat. Es ist eine Vorhersage, und zwar eine bequeme, weil sie dem Sprecher erlaubt, das zu tun, was er ohnehin tun wollte. China unterzeichnete 2023 die Bletchley Declaration zu KI-Risiken. Es hat eigene Governance-Vorschläge veröffentlicht. Seine Regierung hat sich mit den Vereinigten Staaten zu direkten Gesprächen über KI zusammengesetzt. Ein Land, das auf ein System zusteuert, das seine eigene Führung töten könnte, ist eine seltsame Annahme, ohne Belege dafür, dass seine Führung dieses Ergebnis mehr will als unsere. Wir nehmen die breitere Version davon auf unserer Seite über den China-Mythos; die Kurzversion lautet, dass „sie werden es sowieso tun“ eine Geschichte über unsere eigene Erlaubnis ist, nicht über ihre Absichten.
Wenn eine fehlalignierte Superintelligenz eine Katastrophe für denjenigen ist, der sie baut, dann hat China genau denselben Grund wie wir, keine zu bauen. Es gibt auch für einen Rivalen keinen Preis.
Das Rennen selektiert die am wenigsten Vorsichtigen
Gehen wir der Argumentation zuliebe davon aus, dass der Wettbewerb so scharf ist, wie die Rennenden sagen. Folgen wir der Logik bis zum Ende. In einem Rennen gewinnt, wer am schnellsten vorankommt, und am schnellsten kommt man an der KI-Frontier voran, indem man weniger Zeit auf die Dinge verwendet, die einen verlangsamen: Evaluation, Red-Teaming, Aufsicht, die geduldige Arbeit zu prüfen, ob das System das tut, was man denkt.
Die Struktur eines Wettrennens überlässt den Sieg dem, der bei der Sicherheit die meisten Ecken schneidet. Der Gewinner ist das am wenigsten vorsichtige Labor, nicht das fähigste. „Wir müssen das Rennen gewinnen“ und „wir müssen das sicher bauen“ ziehen in entgegengesetzte Richtungen, und je härter das Rennen, desto stärker ziehen sie. Wir entwickeln das ausführlich in Dynamiken des KI-Wettrüstens: Wettbewerb zügelt die Gefahr nicht. Er erzeugt sie. Eine Welt von Laboren, die darum sprinten, zuerst zu sein, ist eine Welt, die mit großer Energie und enormem Kapital genau das optimiert, was alle umbringt.
Selbst innerhalb der eigenen Logik des Wettrüstens kehrt sich „wir müssen gewinnen“ gegen sich selbst. Wenn Gewinnen erfordert, die Ecken abzuschneiden, die eine Superintelligenz kontrollierbar halten, dann ist Gewinnen der Weg, wie man verliert.
Wer profitiert von der Geschichte
Wenn der Wettlauf-Rahmen so schwach ist, warum ist er überall? Weil er nützlich ist, nur nicht für den Rest von uns.
Für ein Frontier-Labor ist „es gibt ein Wettrennen und wir müssen es gewinnen“ fast der perfekte Satz. Er sagt Investoren, dass die Ausgaben ein Landraub für etwas Enormes sind. Er sagt Regulierern, dass Regeln die Zukunft nur schlechteren Akteuren überlassen werden. Und der stille Teil: Er lässt die eigenen sicherheitsbesorgten Ingenieure des Labors glauben, dass Wettrennen die verantwortungsvolle Wahl ist, weil die Alternative ist, dass die Rücksichtslosen gewinnen. Ein Satz, der die Arbeit eines Arguments leistet, das er nie machen muss. Er wandelt eine Entscheidung (etwas weiterzubauen, das man noch nicht kontrollieren kann) in eine Notwendigkeit um, die niemanden von der Haken lässt, am wenigsten die, die sie treffen.
Nennen wir den Taschenspielertrick. Ein Wettrennen klingt wie eine Bedingung, die den Laboren von außen auferlegt wird. Es ist eine Wahl, getroffen von einer kleinen Zahl von Unternehmen und den Regierungen, die sie zügeln könnten, weiterzumachen. Elon Musk hat KI einen Dämon genannt und dann baute ein Labor, um es schneller herbeizurufen, was zeigt, dass das „Wettrennen“ eine gewählte Strategie ist, kein physikalisches Gesetz, dem alle gehorchen. Strategien können aufgegeben werden, wenn sie keinen Sinn mehr ergeben. Diese hat ihren Sinn verloren, als sich herausstellte, dass der Preis ein System ist, das niemand kontrollieren kann.
Die Option, die nie auf dem Tisch liegt
Beachten Sie, was die Wettlauf-Rahmung stillschweigend aus dem Blick nimmt. Sie präsentiert zwei Türen: Wettlauf oder einseitig aufgeben und die Rücksichtslosen die Zukunft erben lassen. So formuliert wählt nur ein Narr die zweite Tür, und das Argument gewinnt, indem es die dritte auslässt.
Die dritte Tür ist die, die echte Gegner schon früher genutzt haben. Die Vereinigten Staaten und die Sowjetunion waren in jeder Hinsicht Gegner und zielten mit weltvernichtenden Waffen auf die Städte des jeweils anderen. Dennoch unterzeichneten und verifizierten sie Rüstungskontrollabkommen, weil beide Seiten erkennen konnten, dass ein unbegrenztes Wettrüsten sie schlechter stellte als eine Regel, die beide gleichermaßen band. Misstrauen war der Grund für die Einigung, nicht das Hindernis dafür.
Superintelligence has the feature that makes such an agreement rational: no major power benefits from a system that no one can control, so no major power has a real interest in being the one who builds it first. That shared interest is the ground a treaty stands on: a binding, verifiable halt on the development of superintelligence. Superintelligence cannot be controlled. A permanent refusal of ASI as a product category. We have sketched what that instrument could look like, from a Modellvertrag zu der breiterer Plan es gehört. Verifikation ist schwierig, und ich werde das nicht beschönigen; sie war auch bei Kernwaffen schwierig, und trotzdem wurden sie gebaut, weil die Alternative für alle Beteiligten inakzeptabel war.
„Wettlauf oder Kapitulation“ ist eine falsche Wahl. Das Framing setzt voraus, dass man die Tür nie bemerkt, die es auslässt.
Den Wettlauf ablehnen
Schält man die Geschichte ab, bleibt Folgendes übrig. Eine Handvoll Labore entscheidet sich dafür, eine Technologie zu bauen, von der sie offen zugeben, dass sie nicht wissen, wie man sie kontrolliert, und sie rechtfertigen es, indem sie auf einen Rivalen zeigen, der angeblich dieselbe rücksichtslose Wahl aus demselben schlechten Grund trifft. Die Rücksichtslosigkeit der einen Seite wird als Entschuldigung für die der anderen angeboten.
Nichts davon erfordert den Glauben, dass Wettbewerb imaginär oder Geopolitik sanft sei. Es erfordert nur zu erkennen, dass ein Wettstreit ohne Preis am Ende kein Wettstreit ist, für den man seine Spezies opfern sollte, und dass die Menschen, die einem sagen, er sei unvermeidlich, fast immer diejenigen sind, denen er zugutekommt. Die Rüstungsspirale ist eine Geschichte. Eine gute und bequeme für eine ganze Industrie. Eine Geschichte ist genau das, was man aufhören darf zu glauben.