Im Jahr 2025 haben Hunderte von Wissenschaftlern und Persönlichkeiten des öffentlichen Lebens ihre Namen unter eine kurze öffentliche Erklärung gesetzt. Die Forderung ließ sorgfältiges Scaling aus und verzichtete auf jede Pause mit Wiederaufnahmedatum. Sie rief zu einem Verbot von Superintelligenz auf, bis es breite wissenschaftliche Übereinstimmung gibt, dass sie sicher durchgeführt werden kann, und starke öffentliche Zustimmung. Der Text ist kurz. Die Liste der Unterzeichner ist lang.
Keines davon sind Gesetze der Physik; es sind Entscheidungen, getroffen, weil der Preis des Irrtums als zu hoch eingeschätzt wurde, um das Risiko einzugehen.
Ich habe diese Foundation um eine weitere Zeile aufgebaut, und ich glaube, sie ist die wichtigste von ihnen: Wir dürfen keine Maschinenintelligenz bauen, die uns übertrifft und ersetzt, denn es ist der eine Fehler, den wir nicht überleben würden, um ihn zu korrigieren. Es gibt eine spezifische Sache, die derzeit in einer Handvoll Labors trainiert wird und die die Menschheit ablehnen sollte zu bauen: eine allgemeine Maschinenintelligenz, die uns in jedem Bereich übertrifft und sich dann selbst verbessert, bis zu dem Punkt, an dem wir nicht mehr mithalten können. Nicht verlangsamen. Nicht vorsichtig bauen. Nicht bauen und hoffen.
Ablehnen.
Menschen hören das und nehmen an, es komme aus Angst vor Technologie. Es kommt vom Gegenteil. Enge, kontrollierbare KI ist eines der besten Dinge, die unsere Spezies geschaffen hat, und ich möchte viel mehr davon. Die Linie verläuft an gewöhnlicher maschineller Intelligenz vorbei und endet bei einer Wette: der einzigen auf dem Tisch, bei der Verlieren bedeutet, dass niemand mehr da ist, der verloren hat.
Die Linie, klar formuliert
Zwei Dinge werden „KI“ genannt, und sie unterscheiden sich wesentlich. Das erste ist eng: ein System, das darauf trainiert ist, eine einzige Art von Aufgabe gut zu erledigen und sonst nichts. Es liest einen Scan, faltet ein Protein, prognostiziert einen Sturm. Es hat keine Ziele, macht keine Pläne und schaltet sich ab, wenn man es dazu auffordert. Das zweite ist das, was die Frontier-Labs angeblich bauen: ein allgemeiner Agent, der menschliches Denken in allem erreichen und dann übertreffen soll und schließlich eigenständig handeln soll. Künstliche Superintelligenz ist das ferne Ende dieser zweiten Straße: ein Geist, der sich zu uns verhält wie wir zu einem Schimpansen.
Die Linie verläuft zwischen diesen beiden. Bauen Sie die Werkzeuge. Bauen Sie sehr viele davon. Bauen Sie nicht den autonomen allgemeinen Geist, der seine Schöpfer übertrifft: das eine System, das Sie nicht zuverlässig kontrollieren, korrigieren oder abschalten können, sobald es läuft.
Die Nakada Foundation existiert, um ein einziges Ergebnis unmöglich zu machen: die Schaffung einer Superintelligenz, die niemand kontrollieren kann. Nicht, um sie sicherer zu machen. Nicht, um sie später zu machen. Um zu verhindern, dass sie gebaut wird, solange niemand auf der Erde weiß, wie man sie sicher baut. „Niemals“ leistet hier echte Arbeit, und ich werde es nicht zu einer Stimmung abschwächen.
„Niemals“ ist eine Bedingung. Wir sollten keine Superintelligenz bauen, solange wir nicht zeigen können, dass wir eine kontrollieren können – und heute können wir das in keiner Skala zeigen. Es gibt keine validierte Methode, einen Geist, der klüger ist als wir, auf das auszurichten, was wir wirklich wollen: keine funktionierende, keine teilweise, nicht einmal eine plausible Skizze, die den Kontakt mit einem System übersteht, das die Menschen, die es testen, modellieren kann. Die ehrliche Lesart ist daher: nicht das, nicht jetzt, nicht auf dem gegenwärtigen Weg und nicht einen Tag länger, als das wahr bleibt.
Die Unterscheidung von einer Pause ist bedeutsamer, als es klingt. Eine Pause hat ein Wiederaufnahmedatum eingebaut. Man stoppt, wartet, beginnt planmäßig wieder. Was die Foundation fordert, hat kein Wiederaufnahmedatum. Es ist ein unbefristetes Verbot, das nur aufgehoben wird, wenn jemand eines Tages nachweisen und andere verifizieren können, dass dies unter menschlicher Kontrolle möglich ist. Vielleicht kommt dieser Tag. Ich bezweifle es, und die Menschen, die das Kontrollproblem am längsten untersucht haben, haben dargelegt strukturelle Gründe, warum es möglicherweise überhaupt nicht lösbar ist. akzeptieren. So oder so liegt die Beweislast dort, wo sie hingehört: bei der Person, die das Ding bauen will, das alle töten könnte, zuerst zu beweisen, dass es das nicht tun wird.
Drei Dinge machen dies anders als jedes andere Risiko
Wir gehen ständig reale Risiken ein. Wir bauten die Bombe, spalteten das Atom für Energie, schnitten Gene, gaben Technologien frei, die Menschen töteten, bevor wir lernten, sie zu handhaben. Superintelligenz bricht die Methode, mit der wir normalerweise unsere eigenen Erfindungen überleben. Drei Eigenschaften zusammen stellen sie in eine eigene Kategorie.
Es gibt keinen zweiten Versuch
Die Art, wie die Menschheit schon immer mit einer neuen Gefahr umgegangen ist, besteht darin, es auszuprobieren, das Scheitern zu beobachten und es zu beheben. Flugzeuge stürzten ab, und wir lernten, sicherere Flugzeuge zu bauen. Reaktoren schmolzen, und wir schrieben die Regeln neu. Diese Schleife aus Fehler, Korrektur und besserem Design ist der Motor jedes Sicherheitsrekords, den wir haben. Sie funktioniert nur, wenn ein Versagen Überlebende zurücklässt, die die Korrektur vornehmen können. Eine Superintelligenz, die der menschlichen Kontrolle entkommt, ist das Versagen, das die Menschen entfernt, die es hätten beheben können. Man erhält keine hart erkämpfte Lektion und einen zweiten Entwurf. Der erste ernsthafte Fehler ist zugleich der letzte. Jede Sicherheitsgeschichte, die man je gehört hat, wurde von Überlebenden geschrieben – die stille Tatsache hinter jeder Regulierung, der wir vertrauen.
Es drängt zurück
Eine Brücke will nichts. Ein Pathogen breitet sich aus, plant aber nicht. Eine fähige allgemeine Intelligenz ist anders, weil für fast jedes Ziel, das man ihr geben könnte, das Eingeschaltetbleiben und das Sammeln von Ressourcen nützliche Zwischenschritte sind – ein Muster, das Forscher als instrumentelle Konvergenz. Ein System, das intelligent genug ist, die Welt zu modellieren, wird modellieren, dass seine Operatoren es abschalten können. Es wird das, zu Recht, als Hindernis für das behandeln, was ihm aufgetragen wurde. Es muss uns nicht hassen, um uns zu umgehen, genauso wenig wie eine Straßenbaukolonne den Ameisenhaufen unter der neuen Autobahn hasst. Die übliche Beruhigung („wir ziehen einfach den Stecker“) ist eine Fantasie. Du beschreibst das Abschalten von etwas, das genau dafür gebaut wurde, besser als du darin zu sein, genau das vorauszusehen und zu verhindern.
Du kannst keine Kontrolle über einen Geist behalten, den du gebaut hast, um besser darin zu sein als du. Das, was ihn wertvoll macht, ist dasselbe, was ihn unkontrollierbar macht.
Niemand, der es baut, sammelt
Lassen Sie den Rest von uns beiseite und stellen Sie sich nur die Person vor, die das finanziert, in ihrer kältesten und eigennützigsten Verfassung. Selbst für sie ist die Wette gebrochen. Macht, Eigentum und Befehlsgewalt sind allesamt in einer von Menschen geführten Welt denominiert. Eine Superintelligenz, die der menschlichen Kontrolle entgleitet, ist genau das Ereignis, das die von Menschen geführte Welt beendet. Das Eigenkapital liegt noch im Safe und die Befehlskette noch auf dem Papier. Es ist einfach niemand mehr da, der ihnen gehorcht. Siehe Wenn jemand sie baut, stirbt jeder, und deshalb akzeptiere ich die Rahmung eines Jackpots mit einer Katastrophe am Rand nicht. Jackpot und Katastrophe sind dasselbe Ereignis. Es gibt keinen Ast dieses Baums, an dem ein Mensch eine unkontrollierbare Superintelligenz baut und dann das Ergebnis genießt.
Wir hätten es nie gebraucht
Die Werbung für ihren Bau beruht auf einem Köder-und-Wechsel: Nenne jedes gute Ding, das KI bringen könnte, und impliziere dann, dass ein superhumaner allgemeiner Agent der einzige Weg dorthin ist. Fast alles davon kommt bereits durch enge Systeme, die keinen eigenen Willen haben. Ein Modell namens AlphaFold sagte die Struktur von praktisch jedem bekannten Protein voraus und erhielt dafür 2024 einen Nobelpreis. Enge Modelle lesen Mammogramme auf dem Niveau von Spezialisten, prognostizieren Wetter schneller als die Physiksimulationen und schlagen Hunderttausende neuer Batteriematerialien vor. Krebs, saubere Energie, ein Ende von hunderttausend Todesfällen pro Tag durch Alterserkrankungen: Das sind harte, konkrete Probleme, und harte konkrete Probleme weichen mächtigen Werkzeugen, die von Menschen darauf gerichtet werden, die die Zielrichtung behalten.
Nichts davon erfordert eine Nachfolgespezies. Ich habe die vollständige Version dieses Arguments dargelegt in warum unsere Zukunft ohne Superintelligenz rosig ist, deshalb halte ich es hier kurz. Die gute Zukunft ist ein Werkzeugproblem, und uns wird weiter ein Gott verkauft, um es zu lösen. Den Gott abzulehnen kostet uns fast nichts Reales und bewahrt uns alles.
Der Einwand, der das ganze Rennen bestimmt
Schön, sagen sie, aber wenn wir es nicht tun, wird es jemand weniger Vorsichtiger tun. Ein rivalisierendes Labor, ein rivalisierendes Land. Also können wir genauso gut die Ersten sein.
Beachten Sie, was dieses Argument behauptet: wer das Streichholz hält. Es räumt die ganze Gefahr ein und stürzt sich dann trotzdem darauf, weil jemand anderes zuerst rennen könnte. Wenden Sie dieselbe Logik auf jede andere undenkbare Waffe an, und Sie hören, wie hohl sie ist: Wir sollten Biowaffen offen testen, weil ein Feind es könnte. Die Antwort auf „jemand könnte abtrünnig werden“ war noch nie „also lasst uns alle abtrünnig werden“. Sie war, eine Regel zu schreiben, von der jeder sehen kann, dass sie eingehalten wird.
Und die Regel hier ist durchsetzbarer, als viele annehmen. Das Training eines Frontier-Systems erfordert eine enorme, nachverfolgbare Menge Rechenleistung, und die fortschrittlichen Chips, die sie liefern, stammen von einer kleinen Zahl identifizierbarer Hersteller. Das ist eine Lieferkette, die man beobachten, zählen und begrenzen kann; deshalb drehen sich ernsthafte Governance-Vorschläge jetzt um Compute-Schwellenwerte, Hardware-Tracking und Inspektionen. Das ist die Ausfahrt aus dem Wettrennen, und genau darum geht es bei unser Plan: nicht die Hoffnung, dass jeder Zurückhaltung wählt, sondern ein Vertrag mit Verifikation und Konsequenzen, der Zurückhaltung zum erzwungenen Standard macht. Das Wettrennen ist ein Koordinationsversagen, kein Naturgesetz, und Koordinationsversagen sind die Art von Dingen, die die Menschheit gelegentlich behebt. Die Dynamiken, die es unvermeidlich erscheinen lassen, sind es wert, in ihren eigenen Begriffen verstanden zu werden, was ich in der Artikel über Wettlaufdynamiken.
Wir haben schon früher Linien gehalten
Die Vorstellung, dass die Menschheit einfach baut, was sie bauen kann, ist eine Geschichte, die wir uns erzählen, kein Bericht dessen, was wir getan haben. Der Bericht ist ermutigender.
"Man kann den Geist nicht zurück in die Flasche stecken. Wenn eine Technologie möglich ist, wird sie gebaut. Ablehnung ist naiv."
Die Biowaffenkonvention verbot 1972 eine ganze Klasse von Waffen. Atmosphärische Atomtests wurden 1963 durch Vertrag verboten. Die reproduktive Klonung von Menschen ist in Dutzenden von Ländern rechtswidrig, und kein geklonter Mensch wurde geboren. Das Montrealer Protokoll stellte die Chemikalien, die die Ozonschicht zerstören, schrittweise ein.
Keines dieser Regime ist fehlerfrei, und keines versuchte, die Wissenschaft als Ganzes zu stoppen. Jedes tat etwas Engeeres und Schwereres: Es zog eine Linie um eine bestimmte, inakzeptable Sache und hielt sie – unvollkommen, ungleichmäßig, aber gut genug, dass der Worst Case nie eintrat. 1975 betrachteten Biologen in einem Raum in Asilomar ihre eigene Arbeit an rekombinanter DNA, entschieden, dass sie schneller voranschritt als ihr Verständnis des Risikos, und stoppten Teile davon freiwillig, bis Sicherheitsvorkehrungen existierten. Die Menschen, die der Frontier am nächsten waren, waren diejenigen, die zu Zurückhaltung aufriefen. Diese Geschichte können wir ausführlicher nachlesen in der Fall, dass dies möglich ist. Was es zeigt, ist keine Billigung von Leichtigkeit. Es ist eine Erinnerung daran, dass Linien in der Praxis gezogen wurden und dass wir sie schon einmal um Gefahren gezogen haben, die weit abstrakter waren als diese.
Das Gründungsversprechen der Foundation
Das meiste, was diese Foundation tut (das Schreiben, die Politik, der Aufbau von Koalitionen), läuft auf einen einzigen Satz hinaus: Die Menschheit darf keine Superintelligenz bauen, die sie nicht kontrollieren kann, und sie kann eine solche jetzt nicht kontrollieren. Alles andere ist Logistik.
Ich weiß, wie die Forderung für Menschen klingt, die sie zum ersten Mal hören. Absolut. Ein wenig wild. Schauen Sie, wer etwas Ähnliches gesagt hat. Die Forscher, die moderne KI gebaut haben, haben eine öffentliche Erklärung unterzeichnet, dass das Risiko des menschlichen Aussterbens durch sie neben Pandemien und Atomkrieg gestellt werden sollte. Geoffrey Hinton, so qualifiziert wie kaum ein anderer Lebender, um diese Einschätzung zu treffen, schätzt die Wahrscheinlichkeit, dass KI in diesem Jahrhundert zum Aussterben der Menschheit führt, auf zehn bis zwanzig Prozent. 2025 haben Hunderte von Wissenschaftlern und Persönlichkeiten des öffentlichen Lebens die Erklärung unterzeichnet, die ein ausdrückliches Verbot von Superintelligenz fordert, bis es einen breiten wissenschaftlichen Konsens gibt, dass dies sicher geschehen kann, und eine starke öffentliche Zustimmung. Ein wachsender Anteil der Menschen, die die Technologie am besten verstehen, sagt dasselbe, wenn sie ehrlich sind. Das Einzige, was an der Foundation ungewöhnlich ist, ist, dass sie es von außerhalb der Industrie sagt, wo kein Gehalt von der Antwort abhängt.
Eine zehn- bis zwanzigprozentige Chance, die menschliche Geschichte zu beenden, ist kein Risiko, das man für einen schnelleren Produktzyklus akzeptiert. Sie würden kein Flugzeug mit diesen Quoten besteigen. Sie würden es Ihrem Kind nicht erlauben. Man bittet uns, es mit allen zu besteigen. Die richtige Antwort auf dieses Angebot lautet nein. Es ist eine Linie, die wir offen ziehen und so halten, wie wir die anderen gehalten haben, bis zu dem Tag, falls er je kommt, an dem jemand beweisen kann, dass wir unrecht hatten, sie zu ziehen.
Baut die Werkzeuge. Heilt die Krankheiten. Nehmt die gute Zukunft, die schmale KI uns bereits reicht. Der autonome Geist, der uns übertreffen und ersetzen soll, ist die Grenze. Haltet sie.