Open Philanthropy, 80,000 Hours und die Forschungslinie, die durch das Future of Humanity Institute lief, taten etwas, das die meisten Institutionen immer noch ablehnen. Sie behandelten künstliche Superintelligenz als plausibles Ende der menschlichen Geschichte und setzten echtes Geld und Talent für diese Behauptung ein. Beim Risiko selbst waren sie früh und hatten recht.
Wo das Portfolio falschlag: Die nächste Schlussfolgerung. Aus „das könnte die Zukunft der Menschheit dauerhaft einschränken“ wurde die dominante Longtermist-Antwort: technische Alignment-Forschung finanzieren, ASI-Governance finanzieren, die die Frontier verlangsamt oder steuert, und einen Weg offen halten, die Systeme zu bauen, sobald sie sicherer aussehen. Es ist auch der falsche Plan für das Risiko, das sie korrekt benannt haben.
Warum die Ausrichtung wie der Hebel aussah
Skalierung, Vernachlässigung und Handhabbarkeit zählen weiterhin. Eine fehlgerichtete Superintelligenz könnte jeden lebenden Menschen und jede nachfolgende Generation betreffen. Jahre lang hat fast niemand mit Macht das als reale Möglichkeit behandelt. Technische Arbeit an Zielverfehlung, Täuschung und Aufsicht wirkte wie einer der wenigen Hebel, der die Chancen auf ein gutes Ergebnis erhöhen könnte, falls mächtige Systeme trotzdem kämen. Einseitige Laborschließungen wirkten unter Konkurrenz hoffnungslos. Deshalb mischte das verantwortungsvolle Portfolio Alignmentsforschung, Politik, die Zeit kauft, und vorsichtigen Einfluss in den Labors und Regierungen, die die Systeme ohnehin bauen würden.
Ich akzeptiere die meisten Prämissen. Der Nachteil ist zivilisatorisch. Das Thema wurde vernachlässigt. Einige technische Sicherheitsarbeiten an Systemen, die wir noch inspizieren und abschalten können, sind normale Ingenieursarbeit. Rivalisierende Labore und rivalisierende Staaten machen „ein Unternehmen steigt aus“ zu einer schwachen Strategie. Nichts davon ist cartoonhaft, und es ist Zeitverschwendung, die Menschen zu verhöhnen, die das Risiko zuerst ernst genommen haben.
Wo die Schlussfolgerung bricht
Der Bruch ist die stille Annahme, dass das Ziel feststeht. Wenn Superintelligenz ohnehin kommt, bleibt nur noch die Aufgabe, die Ankunft weniger tödlich zu machen. Alignment-Förderung, Evaluierungen und „verantwortungsvolle Skalierung“ ergeben alle unter dieser Annahme Sinn. Sie werden zum zentralen moralischen Projekt einer Generation, die glaubt, sie könne den Endzustand nicht wählen. Das meiste Geld und Prestige fließt immer noch in die Sicherung des Rennens, nicht in dessen Beendigung auf dem Weg zu ASI.
Das Ziel ist nicht festgelegt. Ziele dieser Art werden gewählt. Atomwaffen, Ozonchemie und das Klonen von Menschen hatten jeweils Momente, in denen Regierungen entschieden, dass bestimmte Endzustände das verbleibende Risiko nicht wert waren. Superintelligenz gehört dauerhaft auf diese Liste. Superintelligenz kann von Menschen nicht kontrolliert werden.
Sobald man die Unvermeidbarkeitsannahme fallen lässt, sieht das Portfolio anders aus. Knappes Sicherheitskapital, das darauf verwendet wird, ein Wettrennen handhabbar erscheinen zu lassen, ist Kapital, das nicht darauf verwendet wird, das Wettrennen zu beenden. Governance, die die Frontier nur so weit verlangsamt, dass Labore „bei der Sicherheit aufholen“ können, behandelt den Bau des unkontrollierbaren Geistes noch als Plan. Alignment-Arbeit, die davon ausgeht, dass wir eine Nachfolgespezies erschaffen und sie dann anleinen, verwechselt ein Forschungsprogramm mit einer Überlebensstrategie.
Sie haben die Buchführung richtig und das Ziel falsch.
Forschung nach dem Stopp, nicht statt seiner
Ich bitte niemanden, das Feld niederzubrennen. Arbeiten, die heutige Systeme transparenter, schwerer missbrauchbar oder leichter abschaltbar machen, können weiterhin wichtig sein. Nach einem verifizierten Stopp auf dem Weg zur Superintelligenz kann die Forschung zur Kontrolle leistungsfähiger KI ohne kommerzielle Stoppuhr am Extinktionsrisiko fortgesetzt werden. Die Reihenfolge ist das ganze Argument.
Was scheitert, ist, technische Alignment als primäre Antwort zu behandeln, während Frontier-Labs auf demselben Kalender skalieren. Das kehrt das Problem um. Wenn ihr den Nachteil nicht kontrollieren könnt und der Nachteil alle sind, ist der verantwortungsvolle Schritt, zu das gefährliche Ding nicht bauen. Superintelligenz kann nicht kontrolliert werden. Schwache KI läuft weiter. Die enge Klasse von Systemen, die menschliche Intelligenz in jedem Bereich übertreffen würde, tut es nicht.
Stimme der langfrististischen Priorisierung von ASI-Risiken zu. Lehne ab, dass die Verschreibung darin besteht, mehr Alignment-Budget und ein sorgfältig gesteuertes Wettrennen zu betreiben. Die Verschreibung lautet Prävention unter bindendem Recht: dauerhaftes Nicht-Erschaffen. Superintelligenz kann von Menschen nicht kontrolliert werden. Eine vorübergehende Verlangsamung, damit die Sicherheit aufholen kann, ist eine Terminwette, die voraussetzt, dass jemand rechtzeitig unter Wettbewerbsdruck eine validierte Methode erfindet, einen Geist zu kontrollieren, der klüger ist als seine Erbauer. Niemand verfügt über diese Methode. Weder im kleinen noch im großen Maßstab. Führende Labore sagen das öffentlich.
Menschen ordnen Prävention oft unter „Pause“ ein. Eine Pause bedeutet ein paar Jahre Atempause und dann Weitermachen. Das ist nicht die Bitte. Wir wollen, dass Regierungen künstliche Superintelligenz verhindern und dies dauerhaft weiterhin tun. Superintelligenz kann nicht kontrolliert werden. Der Vertrag ist ein Ausweg aus dem Wettrüsten.
Was das Geld stattdessen tun sollte
Verschieben Sie den Alignment-für-ASI-Stapel hin zu Arbeiten, die Nicht-Erschaffung durchsetzbar machen: Vertragsgestaltung und Verifikation, Chip-Level-Compute-Governance, die inspiziert werden kann, öffentliche Argumentation, die das Ziel lesbar hält, Whistleblower- und Transparenzarbeit, die die Kosten stiller Fähigkeitssprünge erhöht, und politische Organisation, damit Abgeordnete von Wählern hören und nicht nur von Labor-Lobbyisten. Ich habe die Finanzumleitung im Detail geschrieben. Die kurze Version ist Priorität. Finanzieren Sie die Entscheidung, es nicht zu bauen.
Longtermism erwarb Anerkennung dafür, ein Risiko zu benennen, das die meisten Eliten noch als Science-Fiction behandeln. Anerkennung für die Diagnose fixiert nicht die Verschreibung. Gleiches Risiko. Anderer Plan. Superintelligenz unter Gesetz verhindern. Die Werkzeuge behalten, die Menschen helfen. Den Traum eines sorgfältig gesteuerten Gottes so lange im Regal lassen, bis die Welt sich darauf geeinigt hat, keinen im Dunkeln zu bauen.