"Wenn wir aufhören, Superintelligenz zu bauen, wird es jemand anderes tun." Das ist der Gesprächsbeender in hundert Räumen. Es klingt nach Geografie und Spieltheorie. Oft ist es beides nicht. Oft ist es eine Art, weiterzubauen, während man den Bau unvermeidlich nennt. Probiert dieselbe Form mit einer Technologie, die wir bereits bewältigt haben. „Wenn wir aufhören, FCKW-Kühlschränke zu bauen, wird jemand anders einfach weiter Kühlschränke bauen.“
Ja. Sie haben weiter Kühlschränke hergestellt. Sie haben aufgehört, die Chemikalie zu verwenden, die ein Loch in den Himmel riss.
Zwei verschiedene Substantive
Ein Kühlschrank ist ein Service: kaltes Essen, Impfstoffe, weniger Verderb. Fluorchlorkohlenwasserstoffe waren eine Möglichkeit, diesen Service zu erhalten, und eine katastrophale für die Ozonschicht, sobald die Chemie klar war. Der Montreal Protocol verbot nicht die Kälte. Es legte den schrittweisen Ausstieg aus den schädlichen Substanzen fest, finanzierte Alternativen für ärmere Länder und sicherte das Abkommen mit Handelsdruck ab. Die Industrie hatte erklärt, der Ausstieg sei unmöglich. Die Kühlschränke blieben. Die FCKW verschwanden.
Superintelligenz-Rhetorik verschmilzt zwei Substantive zu einem. „KI“ wird zu einem einzigen Klumpen, der Krebsmodelle, Routenplaner und einen hypothetischen Agenten umfasst, der intelligenter ist als die menschliche Spezies. Wenn Sie den letzten Punkt ablehnen, sagt der Slogan, lehnen Sie auch die ersten ab, und jemand weniger skrupulös wird alles davon ausliefern. Der Move besteht darin, so zu tun, als sei das Gift identisch mit dem Produkt, damit das Entfernen des Gifts wie ein Krieg gegen das Produkt klingt.
Wir haben die Ozonschicht nicht gerettet, indem wir versprachen, das Loch zuerst zu bauen. Wir behielten den Kühlschrank und verzichteten auf die Chemikalie.
Wofür „jemand anderes wird“ steht
Ein rivalisierendes Labor oder ein rivalisierender Staat könnte versuchen, durch jede Linie zu trainieren, die Sie zeichnen. Diese Möglichkeit ist real genug, um zu planen. Es ist auch die Möglichkeit, dass Rüstungskontrolle erfunden wurde. Die Antwort auf "jemand anders könnte eine Atombombe bauen" war nicht "dann müssen wir unendlich testen". Es waren Verifizierung, Chokepoints auf spaltbarem Material und Konsequenzen für den Ausbruch.
Compute ist unübersichtlicher als Uran, und niemand Ernstzunehmender tut so, als wäre es anders. Es ist dennoch physisch, an der Frontier teuer und läuft über eine kurze Liste von Chip-Herstellern, Fabs und Cloud-Regionen. Das reicht an Struktur, um Inspektionen darauf aufzubauen, weshalb Rechen-Governance taucht in jedem ernsthaften Vertragsentwurf auf. „Jemand anderes wird es tun“ überspringt diese Arbeit und geht direkt zur Erlaubnis über.
Beachten Sie, wer vom Überspringen profitiert. Wenn Zurückhaltung als einseitige Kapitulation dargestellt wird, ist die einzige erwachsene Haltung Vollgas. Investoren hören Schicksal. Safety-Mitarbeiter hören, dass Abbremsen naiv ist. Der Slogan muss keine Debatte über Mechanismen gewinnen. Er muss nur die dritte Option, gemeinsame Zurückhaltung, kindisch wirken lassen.
Der Kühlschrank war nie der Feind
Wir wollen schmale KI, die diagnostiziert, Medikamente entwirft und Fehler in Brücken findet. Sagt das klar, damit das Schmierentheater nicht haftet. Die Linie der Stiftung ist eine Weigerung Systeme, die die menschliche Kontrolle übertreffen und ersetzen während das Kontrollproblem ungelöst ist.
Das kommt eher „andere Kältemittel verwenden“ als „Kühllagerung verbieten“ gleich. Die Menschen, die den Unterschied verwischen, nutzen die Popularität nützlicher KI als Deckmantel für eine Fähigkeit, die kein Werkzeug bleibt.
Was der Ozon-Kampf eigentlich lehrt
Montreal funktionierte, weil die Wissenschaft laut wurde, Substitute existierten und Außenseiter Handelskosten trugen. Bei Superintelligenz sind Substitute für „strategische Dominanz“ schwieriger, und in einer Hinsicht einfacher, die der Slogan ignoriert: Keine Großmacht hat ein kohärentes Interesse an einem System, das nicht unter jemandes Kontrolle bleibt. Geteilte Verwundbarkeit ist der Rohstoff eines Abkommens. Wir führen diesen Fall auf der China-Mythos Seite und in der Rassenmythos Essay. Die Kurzfassung lautet, dass Rivalitätsfurcht einen Vertrag ebenso finanzieren kann wie einen Wettlauf, sobald das hohle Ziel sichtbar wird.
Fragen Sie, welches Substantiv sie meinen. Nützliche KI steht nicht zur Debatte. Nicht kontrollierbare Superintelligenz schon. Beim zweiten Substantiv ist das Defektionsrisiko ein Grund, Durchsetzung aufzubauen, nicht ein Grund, vorzeitig zu defektieren. Die Kühlschränke liefen weiter. Der Himmel heilte, weil die Menschen den Unterschied erkennen konnten.