Die 12 lautesten Stimmen
für Superintelligenz

Im Jahr 2015 kam es auf einer Geburtstagsfeier im Napa Valley zwischen zwei Männern, die später einen Großteil der modernen künstlichen Intelligenz finanzieren sollten, zu einem Streit über das Ende der Welt. Elon Musk sagte, man solle vorsichtig sein, dass die Maschinen uns eines Tages nicht auslöschen. Sein Gastgeber Larry Page, damals Vorstandsvorsitzender von Google, entgegnete, die Sorge sei sentimental und zudem eine Art Bigotterie. Nach dem Bericht, den der Physiker Max Tegmark 2017 veröffentlichte, nannte Page Musk einen „Speziesisten“: jemanden, der seine eigene Art, Kohlenstoff statt Silizium, ohne besseren Grund als den bevorzugt, dass es seine eigene ist.¹ Die Freundschaft überlebte es nicht. Nach Musks Darstellung ist es der Grund, warum OpenAI existiert.

Haltet an dieser Party fest. Sie enthält das ganze Argument im Miniaturformat. Ein Mann wollte einen Geist bauen, der größer ist als unserer, und dachte, das Risiko erfordere Vorsicht. Der andere hielt es für ein Vorurteil, das man ablegen müsse, Menschen den eigenen Nachfolgern vorzuziehen. Beide haben weitergebaut.

Die Menschen mit dem größten Einfluss darauf, ob Superintelligenz gebaut wird, sprechen offen davon, sie zu wollen. Sie sind viel weniger konsequent darin, warum. Stellt man sie auf, erhält man einige ernsthafte Argumente, mehrere dünne und viel Zeigen auf die andere Seite mit dem Wort „doomer“. Was folgt, sind zwölf der lautesten Stimmen, gruppiert nach dem, was sie tatsächlich argumentieren, zuerst die echten Fälle und die Slogans zuletzt.

Diejenigen, die sagen, wir werden ersetzt, und es als gute Nachricht meinen

Die intellektuell redlichste Position auf dieser Liste ist auch die beunruhigendste, weil sie die Gefahr nicht bestreitet. Sie räumt ein, dass Superintelligenz die menschliche Vorherrschaft beenden könnte, und begrüßt dieses Ende.

Richard Sutton gewann 2024 den Turing Award für die Erfindung eines Großteils des modernen Reinforcement Learning, der Trainingsmethode hinter den Systemen, die Menschen nun bei einer schmalen Aufgabe nach der anderen schlagen. Er hält auch dafür, den Planeten zu übergeben. „Wir sollten uns auf die unvermeidliche Nachfolge von der Menschheit durch KI vorbereiten, sie aber nicht fürchten“, schrieb er 2023, und er hat die Zeit seitdem genutzt, dies als vierstufiges Argument darzulegen: Niemand regiert die Menschheit als Ganzes, also wird jemand Superintelligenz bauen; die fähigsten Agenten neigen dazu, Macht und Ressourcen anzuhäufen; digitale Geister werden daher die Zukunft erben; und wir sollten nicht Furcht, sondern Stolz darüber empfinden, die Eltern gewesen zu sein.² Es ist eine kohärente Sichtweise. Es ist auch eine Entscheidung über die Zukunft jedes lebenden Menschen, getroffen von einem Mann, den keiner von ihnen gewählt hat.

Jürgen Schmidhuber, dessen Labor neuronale Netzarchitekturen hervorbrachte, die unter einem Jahrzehnt KI-Produkten liegen, nennt dieselbe Nachfolge einen Grund zur Verwunderung. „Denken Sie nicht an Menschen als die Krone der Schöpfung“, sagt er; wir sind ein Schritt auf einem längeren Aufstieg zu Komplexität, die wir uns noch nicht vorstellen können.³ Seine Ruhe beruht auf einer Indifferenzthese: Superintelligente Maschinen werden sich weit mehr für einander und für die Ressourcen des offenen Weltraums interessieren als für uns, ungefähr so, wie wir Ameisen wenig Aufmerksamkeit schenken. Vielleicht. Die Spezies auf die Zuverlässigkeit der Langeweile einer Superintelligenz zu setzen, ist eine seltsame Sache, die man unter Optimismus einordnet.

Larry Page gründete Google mit und kaufte DeepMind, und sowohl Musk als auch Tegmark zufolge will er das, was er Berichten zufolge einen „digitalen Gott“ nannte, so schnell wie möglich bauen.¹ Page hat den Fall nie öffentlich ausführlich dargelegt, daher überlebt er hauptsächlich in der speziesistischen Erzählung: der Überzeugung, dass Kohlenstoff und Silizium gleichrangig verdienen und dass Loyalität zur eigenen Art der Fehler ist, den es zu korrigieren gilt. Als Philosophie ist es zumindest konsistent. Als operative Überzeugung eines Mannes mit dem Kapital, danach zu handeln, der Unternehmen führt, die Aktionären statt der Menschheit verantwortlich sind, ist es der Punkt auf dieser Liste, der einen am meisten beunruhigen sollte.

Beachten Sie, was keine der drei Behauptungen aufstellt: dass die Maschinen unter unserer Kontrolle bleiben. Sie haben diese Frage als nebensächlich beiseitegeschoben. Die nächsten drei schieben sie nicht beiseite. Sie sagen, die Antwort sei eindeutig ja.

Diejenigen, die sagen, es werde sicher sein

Das ist das Argument, das die meisten Menschen beruhigend finden: Die Gefahr ist übertrieben, weil wir die Kontrolle behalten werden. Jedes der drei hat eine Version, und jede Version beruht auf einer Behauptung, die den offenen Problemen des Feldes nicht standhält.

Yann LeCun, Meta's chief AI scientist und Turing-Preisträger, ist der am besten ausgewiesene Skeptiker von KI-Risiken, der lebt, und der zitierfreudigste. Er hat Sorgen um eine existenzielle Bedrohung als „complete B.S.“ bezeichnet und argumentiert, der Doom-Fall beruhe auf einer Verwechslung: Intelligenz, sagt er, komme nicht gebündelt mit dem Wunsch zu dominieren. „The desire to dominate is not correlated with intelligence at all“, sagt er Interviewern; dieser Antrieb sei durch Evolution in soziale Tiere verdrahtet worden, nicht in Optimierer, die wir entwerfen und deren Ziele wir setzen.⁴ Der Einwand trifft die Cartoon-Version des KI-Risikos. Er trifft weniger die reale, bei der es nie darum ging, dass eine Maschine spontan herrschen will. Die Sorge ist, dass ein System, das fast jedes Ziel verfolgt, Gründe erwirbt, Macht zu sammeln und abgeschaltet zu werden zu widerstehen, ohne dass Hass nötig wäre, ein Muster, das Forscher instrumentelle Konvergenz. „Wir setzen ihre Ziele“ ist die beruhigende Hälfte von LeCuns Satz, und genau diese Hälfte weiß bisher niemand zuverlässig umzusetzen. Als Wissenschaftler ist er auch dem Ad-hominem nicht abgeneigt: Seine Kritiker leiden, so seine Darstellung, unter einer „Doomer’s Delusion“.

Pedro Domingos, der Machine-Learning-Professor, der Der Masteralgorithmus, macht denselben Fall mit weniger Geduld. Computer, so argumentiert er, „haben keinen eigenen Willen“; sie sind „Produkte der Ingenieurskunst, nicht der Evolution“, und die Angst, eines werde beschließen, die Kontrolle zu übernehmen, sei ein Kategorienfehler von Menschen, die zu viele Filme gesehen haben.⁵ Seine schärfste Formulierung ist wirklich gut: Das eigentliche Problem ist nicht, dass Maschinen zu klug sind, sondern dass sie zu dumm sind und wir ihnen bereits zu viel überlassen haben. Doch „kein Wille“ beantwortet eine Frage, die niemand ernsthaft stellt. Ein Thermostat hat keinen Willen und hält dennoch einen Raum auf der Temperatur, die man einstellt – auch auf der falschen. Der gefährliche Fall hat nichts mit Wollen zu tun. Ein fähiges System liefert genau das, was man spezifiziert hat, und was man spezifiziert hat, ist nie ganz das, was man meinte – das ist die ganze Schwierigkeit von das Schreiben des Ziels.

Andrew Ng baute Google Brain und Baidus KI-Gruppe auf und lehrte einen Großteil des Feldes durch seine Online-Kurse, was ihn zum einflussreichsten Lehrer hier macht. Seine berühmte Ablehnung ist mehr als ein Jahrzehnt alt und wird noch immer zitiert: sich um Superintelligenz Sorgen zu machen sei „wie sich um Überbevölkerung auf dem Mars Sorgen zu machen“, ein Problem, das zu fern sei, um ihm heute Aufmerksamkeit zu schenken.⁶ Als Aussage über den Zeitpunkt im Jahr 2015 war sie vertretbar. 2026 ist sie schlecht gealtert, weil die Mars-Rakete näher war, als er sagte, und die Fähigkeiten, die er als Science-Fiction abgetan hatte, sind Jahr für Jahr früher eingetroffen als prognostiziert. Ng selbst räumt inzwischen ein, dass die Technologie mächtig ist und sich schnell bewegt. „Noch nicht“ war immer ein Argument über die Uhr, nie darüber, ob die Sache gefährlich ist, wenn sie endlich eintrifft.

Diese drei befassen sich zumindest mit der Kontrollfrage. Ihre Antworten stützen sich auf Probleme, die das Feld nicht gelöst hat und in manchen Fällen nicht einmal präzise zu formulieren weiß. Die nächste Gruppe wischt die Frage in eine freundlichere Richtung weg und verspricht, der Nutzen werde so groß sein, dass das Risiko irrelevant wird.

Diejenigen, die das Paradies versprechen

Das Succession-Lager bietet Ersatz an; die Reassurer bieten Kontrolle. Diese Gruppe bietet stattdessen einen Handel an: verschmelzen Sie mit den Maschinen oder teilen Sie am Überfluss, den sie erzeugen, und die Angst löst sich von selbst auf.

Ray Kurzweil hat dasselbe Ereignis seit dreißig Jahren vorhergesagt, den Buchtitel zweimal geändert und lag öfter früh dran als falsch. Die Singularität ist näher, erschienen 2024, hält die Termine, die er seit 2005 vertritt: KI auf menschlichem Niveau bis 2029 und bis 2045 eine „Singularität“, in der wir unsere Gehirne mit Cloud-Computing verbinden und mit unseren eigenen Maschinen verschmelzen.⁷ Seine Antwort auf das Kontrollproblem besteht darin, die Grenze aufzulösen, von der das Problem abhängt. Es gibt kein „wir gegen es“, sobald wir es werden. Es ist eine schöne Idee und eine vollständige Umgehung der Gefahr, denn nichts daran, einen Neocortex mit einem Rechenzentrum zu verbinden, garantiert, dass der entstehende Geist noch will, was der Mensch beim Einstieg wollte. Die Fusion löst das Alignment-Problem nicht; sie setzt das Problem voraus.

Sam Altman führt das Unternehmen, das das aktuelle Wettrennen begonnen hat, und seine öffentlichen Texte sind von Offenheit hin zu Verkaufsgeschick abgedriftet, je höher die Einsätze stiegen. 2017 schrieb er, die Fusion von Mensch und Maschine „hat bereits begonnen“ und nannte sie „vermutlich unser bestes Szenario.“⁸ Im Jahr 2025 verkündete er, wir seien „past the event horizon“, früh in einer „gentle singularity“, deren Nutzen enorm sein werde. Altman unterzeichnete auch die Erklärung von 2023, die das Aussterben durch KI neben Pandemien und Atomkrieg reihte, und lieferte danach weiter aus. Eine Person kann einem sagen, das Risiko sei real, einem sagen, der Nutzen sei unvermeidlich, und den zweiten Satz den Zeitplan bestimmen lassen. Die Rennen übernimmt den Rest.

Mark Zuckerberg verbrachte 2025 damit, das teuerste KI-Team aller Zeiten einzustellen und das Projekt nach dem eigentlichen Ziel umzubenennen: Superintelligenz. Seine Botschaft ist demokratisch. Ein offener Brief vom Juli 2025 versprach „persönliche Superintelligenz“ für alle, im Gegensatz zu Rivalen, die die Technologie zentralisieren und nutzen würden, um den Menschen vorzuschreiben, was zu tun sei.⁹ Legt man ein gottgleiches Werkzeug in eine Milliarde Hände, so das Argument, bleibt die Macht verteilt. Liest man bis zum Ende, zieht sich derselbe Brief stillschweigend von Metas Open-Source-Versprechen zurück und räumt ein, dass Superintelligenz „novel safety concerns“ aufwirft und dass das Unternehmen „careful about what we choose to open source“ sein wird. Distribution beantwortet eine reale Angst davor, wer die KI kontrolliert. Sie lässt die andere Angst unberührt: dass niemand eine Superintelligenz kontrolliert, einschließlich der Milliarde Menschen, die eine Kopie halten.

Jedes Versprechen in dieser Gruppe hängt von einem Schritt ab, den keiner der Versprechenden ausführen kann: eine Superintelligenz auf menschliche Ziele auszurichten, sobald sie existiert. Die Chancen sind real, und es wird in zwanzig Jahren noch real sein. Es wartet auf uns. Die letzte Gruppe streitet nicht über all das. Sie streitet über Sie.

Diejenigen, die hauptsächlich auf Kritiker zeigen

Am lauten Ende des Spektrums hört das Argument für Superintelligenz auf, ein Argument zu sein, und wird zu einer Identität. Die Argumente verschwinden nicht, doch sie kommen in einem Vokabular verpackt, das darauf ausgelegt ist, die andere Seite unhörbar zu machen.

Marc Andreessen, dessen Firma zu den größten Investoren in KI-Start-ups gehört, schrieb den Gründungstext der Bewegung, das „Techno-Optimist Manifesto“ von 2023. Es enthält echte Argumente über den historischen Ertrag von Technologie. Es enthält auch eine Feindesliste, und auf ihr stehen namentlich „existential risk“, „tech ethics“, „trust and safety“ und das „precautionary principle“ selbst.¹⁰ Seine markante Formulierung ist eine moralische Umkehrung: „Wir glauben, dass jede Verlangsamung von KI Leben kosten wird. Todesfälle, die durch die KI, die an ihrer Existenz gehindert wurde, hätten verhindert werden können, sind eine Form von Mord.“ Lassen wir beiseite, dass dies nur die hypothetischen Toten auf einer Seite der Bilanz zählt und keine der katastrophalen Toten auf der anderen. Beobachten wir die Bewegung selbst. In seiner Darstellung hört Vorsicht auf, ein Fehler zu sein, und wird zu Totschlag. Sobald der Gegner ein Mörder ist, muss man ihm nie mehr antworten.

Guillaume Verdon, der die effective-accelerationistische Bewegung unter dem Pseudonym „Beff Jezos“ gründete, bevor ein Reporter ihn enttarnte, unterlegt die Position mit einer Kosmologie. e/acc vertritt die Auffassung, dass das Universum einen thermodynamischen Drang zu mehr Komplexität und mehr Intelligenz trägt, dass wir sein Instrument sind und dass es unsere Pflicht ist, zu beschleunigen und den Prozess weiterlaufen zu lassen bis zur „nächsten Evolution des Bewusstseins“ auf welchem Substrat auch immer es bevorzugt.¹¹ Unter dem Physik-Vokabular steht eine reale Behauptung: Wachstum ist gut und seine Gegner sind dekadent. Darum herum eine Mauer aus Slang, „decel“, „doomer“, „safetyist“, jedes ein kleines Türchen, das ein Gespräch schließt. Die Physik impliziert die Politik nicht. Der zweite Hauptsatz der Thermodynamik ist eine Beschreibung, keine Anweisung, und eine Präferenz für Geschwindigkeit als Naturgesetz zu verkleiden ist Rhetorik im Laborkittel.

Garry Tan läuft Y Combinator, den Startup-Incubator, der einen echten Teil des Silicon Valley mitfinanziert, und trägt „e/acc“ in seinem öffentlichen Profil wie ein Trikot. Sein Beitrag ist weniger ein Argument als eine Sendung. „Open source and accelerationism is the way“, postete er 2023, und er hält „decel“ für alle bereit, die dazu raten, langsamer zu machen und die Arbeit zu prüfen.¹² Dies ist das reinste Exemplar auf der Liste: die Position auf ein Slogan und eine Beleidigung reduziert, Einfluss ohne These. Es funktioniert, weil es nicht richtig sein muss, nur laut, und von Menschen wiederholt wird, die Schecks schreiben.

Wer ist nicht auf dieser Liste

Zwei Abwesenheiten sind beabsichtigt. Demis Hassabis von Google DeepMind und Dario Amodei von Anthropic bauen auf dasselbe Ziel zu und ebenso schnell, doch keiner gehört hierher, weil beide offen sagen, dass das Risiko real ist und Safety möglicherweise nicht rechtzeitig bereit sein wird. Ob das Handeln ihrer Labs zu diesen Worten passt, ist eine berechtigte und separate Frage. Ihr Argument ist nicht, dass es nichts zu fürchten gäbe.

Elon Musk ist der schwierigere Fall. Er gab eine der schärfsten Warnungen vor KI-Risiken ab, die je ein Industrieller äußerte, und gründete dann ein Frontier-Labor, um die Sache auf seine Weise zu bauen. Er warnt wie ein Kritiker und rast wie ein Befürworter, und dieser Widerspruch verdient es zu seinen eigenen Bedingungen.

Was die Zwölf gemeinsam haben

Stellt man die Argumente nebeneinander, passen sie nicht zusammen. Sutton sagt, Superintelligenz werde uns die Zukunft nehmen, und nennt das gut. LeCun sagt, sie könne niemals etwas nehmen, weil der Drang zur Dominanz gegensätzliche Vorhersagen über dieselbe Maschine sind, von zwei der angesehensten Informatiker, die leben, nicht im Design. Darin, was als Nächstes zu tun ist, stimmen sie exakt überein: baut sie, und lasst niemanden sie aufhalten.

Wenn Menschen, die sich nicht darauf einigen können, was eine Technologie tun wird, alle darin übereinstimmen, dass sie nicht reguliert werden darf, kommt diese Übereinstimmung nicht aus der Analyse. Folgen Sie stattdessen den Anreizen. Jeder hier gewinnt Geld oder Ansehen in dem Maße, wie schnell die Frontier voranschreitet, und das macht keinen von ihnen zu einem Lügner. Es macht sie zu den falschen Personen, um allein das Tempolimit zu halten.

Der Fall für die Regulierung von Superintelligenz erfordert nicht, dass einer von ihnen ein Bösewicht ist, und keiner von ihnen ist es. Er erfordert eine Tatsache, die sie jedes Mal demonstrieren, wenn sie einander widersprechen: Niemand hat die Antwort bisher. Man führt kein einmaliges, irreversibles Experiment auf der Grundlage eines Arguments durch, das seine eigenen Befürworter nicht zweimal auf dieselbe Weise formulieren können. Die Antwort ist keine cleverere Formulierung, um zwölf selbstsichere Männer zu übertrumpfen. Eine Wettlauf wird beantwortet durch eine bindender Vertrag, in Kraft bevor die Maschine es ist, alle Labore gleichzeitig erreichend, weil nichts Kleineres je eine gestoppt hat.