Die technische Gemeinschaft hat ein Jahrzehnt lang gewarnt. Die Warnungen haben die Labs nicht verlangsamt. Was jetzt fehlt, ist politischer Wille, rechtliche Rahmenwerke und eine Koalition, die stark genug ist, um das Wettrennen zu Systemen zu stoppen, die niemand kontrollieren kann.
Nakada Foundation to Save Humanity wurde auf einer einzigen Prämisse gegründet: dass die folgenreichsten Entscheidungen der Menschheitsgeschichte, Entscheidungen, die darüber bestimmen, ob unsere Spezies überlebt, nicht von einer Handvoll Ingenieuren bei fünf Konzernen in einem einzigen Land getroffen werden sollten.
Wir sind nicht mit dem KI-Sicherheitsforschungsetablishment verbündet, das größtenteils von denselben Laboren finanziert wird, die darum wetteifern, die Systeme zu bauen, die es untersucht. Wir glauben, dass die Anreizstruktur des KI-Sicherheitsfeldes grundlegend kompromittiert ist und dass die Lösung nicht aus der Industrie kommen wird.
Der größte Teil des Geldes und des Prestiges fließt immer noch darin, das Wettrennen sicherer zu machen, nicht darin, das Wettrennen um ASI zu beenden. Unsere Arbeit ist die andere Aufgabe: ASI unter bindendem Recht stoppen. Superintelligenz kann nicht kontrolliert werden.
Schmale KI ist transformativ und nützlich. Sie kann Krankheiten heilen, Entdeckungen beschleunigen und menschliches Potenzial erweitern. Wir sind nicht gegen KI. Wir sind dagegen, eine Form von Intelligenz zu bauen, die wir nicht kontrollieren, nicht ausrichten und nicht stoppen können.
Veränderung erfordert externen Druck: von Regierungen, vom Recht, von der Kultur und von Menschen, die verstehen, dass es nicht um ein Marktergebnis geht, sondern um das Überleben der menschlichen Spezies.
Wir haben ein Modell dafür: das Vertrag über die Nichtverbreitung von Kernwaffen.
Im Gegensatz zu KI-Sicherheitsforschungsorganisationen bauen, trainieren oder experimentieren wir nicht mit KI-Systemen. Wir nehmen keine Förderung an, die einen Konflikt zwischen unserer Mission und unserer Botschaft schaffen würde.
Im Gegensatz zu KI-Ethik-Organisationen konzentrieren wir uns ausschließlich auf existenzielles Risiko: nicht auf Bias, Fairness oder Missbrauch bestehender KI. Das sind wichtige Themen. Sie sind nicht dasselbe wie Aussterben.
Wir arbeiten als philanthropische Aufklärungskampagne, nicht als akademisches Institut. Wir wollen das öffentliche Verständnis verschieben, Koalitionen aufbauen und eine bindende Verhinderung von Superintelligenz möglich machen, so wie es jede erfolgreiche Public-Interest-Bewegung in der Geschichte getan hat.
Menschen ordnen uns oft unter „Pause“ ein: ein paar Jahre Luft, damit die Labore Superintelligenz sicher machen und dann fortfahren können. Das ist nicht das Anliegen. Wir wollen, dass Regierungen künstliche Superintelligenz dauerhaft verhindern. Superintelligenz kann nicht von Menschen kontrolliert werden.
Der Unterschied ist tragend. Eine Pause geht von einem Terminproblem aus: langsamer machen, damit die Sicherheit aufholt, dann weitermachen. Niemand hat eine validierte Methode, ein System zu kontrollieren, das fähiger ist als seine Erbauer. Nicht in kleinem Maßstab. Nicht in großem. Keine bewiesene Methode. Die Menschen, die darum wetteifern, es zu bauen, sagen es öffentlich.
Bleibt das wahr, dann erzeugt der Bau von Superintelligenz mit auch nur annähernd heutigen Methoden keine riskante Technologie, die sorgfältig verwaltet werden muss. Er erzeugt ein Ergebnis, aus dem es kein Zurück gibt. Das ist das Argument, das das Buch von 2025 am deutlichsten macht Wenn jemand sie baut, stirbt jeder, von Eliezer Yudkowsky und Nate Soares. Sie müssen nicht jede Behauptung darin akzeptieren, um die Asymmetrie zu erkennen: Wir hätten genau einen Versuch, und niemand kann Ihnen sagen, wie man ihn richtig macht.
Also ist der Vertrag, den wir befürworten kein Weg, die Entwicklung von Superintelligenz sicher zu machen. Es gibt keine bekannte Möglichkeit, das zu tun. Der Vertrag ist die Ausfahrt aus dem Rennen: eine dauerhafte Entscheidung, das Risiko nicht einzugehen. Superintelligenz kann nicht von Menschen kontrolliert werden.
Deshalb trennen wir uns von großen Teilen des AI-Safety-Felds. Ein großer Teil von "Sicherheits"-Arbeit geht still davon aus, dass die Systeme gebaut werden und versucht nur, die Wahrscheinlichkeit zu senken, dass sie uns töten. Wir denken, dass das das Problem umkehrt. Wenn man die Abwärtsrisiken nicht kontrollieren kann, und der Nachteil ist jeder, der verantwortungsvolle Schritt ist das gefährliche Ding nicht bauen. Superintelligence kann nicht kontrolliert werden, daher lautet die Antwort nicht, vorsichtiger zu bauen. Narrow AI (die Art, die Krankheiten heilt und Entdeckungen beschleunigt) geht weiter. Es ist die enge Klasse von Systemen, die menschliche Intelligenz in jedem Bereich übertreffen würde, die nicht gebaut werden darf.
Machen Sie den Fall für bindende Rahmenwerke, die superintelligente KI-Systeme verbieten, nicht für freiwillige Leitlinien. Die Arbeit besteht aus allgemeinverständlichen Erklärern, sozialer Präsenz und kreativen Medien, die der Öffentlichkeit einen gemeinsamen Wortschatz für Prävention geben.
Die Argumente konzentrieren sich auf drei Engpässe, die Regierungen nutzen können: die Compute-Infrastruktur, wo eine kleine Zahl von Chip-Herstellern die Hardware kontrolliert, die zum Trainieren von Frontier-Modellen benötigt wird; die Frontier-KI-Labs, wo kommerzielle Anreize Sicherheitszusagen überlagern; und internationale Gremien, in denen Vertragsrahmen geschaffen werden müssen, bevor Fähigkeitswettläufe irreversibel werden. Wir betreiben kein direktes Lobbying-Büro in Washington oder anderen Hauptstädten.
Die weltweit größten philanthropischen Stiftungen, Regierungschefs, Nobelpreisträger, Prominente und Kulturschaffende einbinden, um die Botschaft zu verstärken, die Sache zu finanzieren und das Overton-Fenster zu verschieben.
Die Geschichte wirksamer Advocacy ist die Geschichte unwahrscheinlicher Koalitionen. Die Bürgerrechtsbewegung vereinte Geistliche, Gewerkschaften und Juristen. Die nukleare Abrüstungsbewegung brachte Physiker und Dichter zusammen. Wir bauen die Koalition, die KI-Sicherheit zum bestimmenden politischen Thema dieses Jahrzehnts machen wird.
Kunst, Film, Journalismus und Medien in Auftrag geben, die die Gefahr spürbar und unbestreitbar machen. Die Klimabewegung scheiterte jahrzehntelang teilweise deshalb, weil die Bedrohung abstrakt und fern war. KI-Risiko ist beides nicht, aber es muss als unmittelbar empfunden werden.
Sicherheit muss prestigeträchtig, dringlich und unmöglich zu ignorieren gemacht werden. Wir arbeiten mit Filmemachern, Romanautorinnen, Spieleentwicklern und Journalistinnen daran, die kulturelle Infrastruktur für eine dauerhafte Bewegung aufzubauen, einschließlich der wirtschaftlichen Argumente in Warum ein Kapitalist an ASI-Regulierung glaubt.
Dies sind konkrete Schritte, die Regierungen mit bereits existierenden Instrumenten unternehmen können. Jeder hat einen Präzedenzfall mit einem Namen und einem Jahr.
Regierungslizenzen für Trainingsläufe vorschreiben, die einen definierten Compute-Schwellenwert überschreiten (derzeit bei 1026 Floating-Point-Operationen). Schreiben Sie unabhängige Sicherheitsaudits vor der Inbetriebnahme vor. Erstellen Sie ein verifiziertes, internationales Register aller Frontier-Model-Training-Runs. Rechenleistung ist der Engpass: Eine kleine Anzahl von Herstellern, vor allem TSMC, NVIDIA und ASML, kontrolliert die Hardware, die zum Bau von KI-Systemen an der Spitze nötig ist, was die Lizenzierung auf der Compute-Ebene technisch einfach und nachprüfbar macht.
Eine Obergrenze hält nur, wenn die Hardware selbst nachverfolgt wird. Die fortschrittlichen GPUs, von denen diese Trainingsläufe abhängen, können registriert und zunehmend, gebaut, um On-Chip zu verifizieren, wo sie sind und was sie tun, manipulationssichere Standortattestierung und in Silizium festgelegte Nutzungsgrenzen, sodass eine gesetzliche Obergrenze zu einer physischen wird. Das ist auch die Antwort auf Verlagerung ins Ausland: Ohne hardwarebasierte Nachverfolgung verlagert ein Labor, das zu Hause an die Decke stößt, seinen Trainingslauf einfach in eine permissive Jurisdiktion. Die Ausweitung von Exportkontrollen und chipbasierter Verifikation über die gesamte Lieferkette ist es, was verhindert, dass Rechenleistung still in die Regionen mit den schwächsten Regeln abfließt.
Eine verbindliche multilaterale Vereinbarung zum Verbot der Entwicklung von KI-Systemen, die einen definierten allgemeinen Fähigkeitsschwellenwert überschreiten, nach dem Vorbild der Vertrag über die Nichtverbreitung von Kernwaffen. Keine Nation sollte ausgenommen sein. Dies ist kein Moratorium, das nach einem Zeitplan aufgehoben wird; es ist ein dauerhaftes Verbot. Superintelligenz kann von Menschen nicht kontrolliert werden. Das NPT ist unvollkommen, hat aber achtzig Jahre lang den Einsatz von Atomwaffen verhindert. Der Standardeinwand („andere Länder werden ausbrechen“) ist genau das Argument, das gegen die nukleare Nichtverbreitung vorgebracht wurde. Die Antwort ist nicht, ein Wettrennen zu machen. Die Antwort ist ein Vertrag mit Verifizierungsmechanismen.
Eine zwischenstaatliche Organisation mit Inspektionsrechten, vergleichbar mit der International Atomic Energy Agency, befugt, die Einhaltung von Compute-Limits zu überprüfen und sichere Entwicklungspraktiken in führenden KI-Laboren vorzuschreiben. Das IAEA wurde innerhalb von drei Jahren nach dem Nuclear Non-Proliferation Treaty geschaffen. Eine globale KI-Überwachungsbehörde ist im gleichen Zeitrahmen erreichbar wenn der politische Wille vorhanden ist. Ihr Mandat würde die verpflichtende Meldung von Trainingsläufen, Vor-Ort-Inspektionen großer KI-Labore und die Befugnis zur Abgabe bindender Empfehlungen an Mitgliedstaaten umfassen.
Ein Vertrag ist nur so real wie seine Durchsetzung. Für einen zu werben, ohne das Gesetz zu benennen, wäre ein Betrug. Die Kosten sind real. Gemessen an dem, was sie kaufen, sind sie dennoch gering.
Bedeutungsvolle Durchsetzung bedeutet Vor-Ort-Inspektion von Rechenzentren, obligatorische Deklaration großer Trainingsläufe und Hardware, die ihren eigenen Standort und ihre Nutzung meldet. Das ist ein Eingriff in die kommerzielle Geheimhaltung und, unsorgfältig gehandhabt, in die Privatsphäre. Das nukleare Inspektionsregime akzeptiert denselben Eingriff, weil die Alternative schlimmer ist. Die Sicherung besteht darin, dass die Überwachung international und transparent ist, nicht im Besitz eines einzelnen Staates oder Unternehmens.
Superintelligenz zurückzuhalten bedeutet, auf die Vorteile zu verzichten, die eine kontrollierbare Version eines Tages bringen könnte, und von Unternehmen und Ländern zu verlangen, außergewöhnliche kurzfristige Gewinne liegen zu lassen. Das ist ein echter Preis. Doch eine unkontrollierbare Superintelligenz liefert diese Vorteile niemandem; ein System, das man nicht alignieren kann, ist kein Vermögenswert, den man behalten kann. Einen Preis aufzuschieben, den niemand sicher beanspruchen kann, ist kein großes Opfer.
Regeln ohne Konsequenzen sind Vorschläge. Durchsetzung funktioniert nur, wenn Verstöße Gewicht haben: Exportverweigerung, Finanzsanktionen, Ausschluss aus der Compute-Lieferkette und (wie bei spaltbarem Material) ein gemeinsames Verständnis, dass ein abtrünniges Projekt zum Bau von Superintelligenz ein Notfall für alle ist, nicht ein privater. Diesen Druck aufzubauen, ist schwer und politisch kostspielig. Jedes ernstzunehmende Rüstungskontrollregime hat ihn dennoch gebraucht.
Die Kosten der Durchsetzung sind begrenzt. Die Kosten fehlender Durchsetzung sind es nicht.
Jede Einwände gegen die Durchsetzung (dass sie aufdringlich, teuer und die Industrie einschränkt) ist wahr und überlebbar. Das eine Ergebnis, das nicht überlebbar ist, ist das, für dessen Verhinderung die Durchsetzung existiert. Wir zahlen begrenzte, bekannte Kosten, um eine unbegrenzte, irreversible auszuschließen. Es ist derselbe Handel, den die Zivilisation bereits für nukleare, chemische und biologische Waffen.
Sie sind diese Wählergruppe. Helfen Sie mit, die politische Kraft aufzubauen, die dies möglich macht.