Sie benannten das Labor
Superintelligenz

Auf der öffentlichen Homepage von Safe Superintelligence Inc. besteht das Angebot aus einer einzigen Produktlinie. „Wir haben das weltweit erste Straight-Shot-SSI-Labor gestartet, mit einem Ziel und einem Produkt: einer sicheren Superintelligenz.“ Superintelligenz erscheint dort als das auszuliefernde Produkt, nicht als Risikokategorie, die nebenbei untersucht wird.¹

Im späten Juni 2025 kündigte Mark Zuckerberg Meta Superintelligence Labs an und fasste Foundation-Modelle, Produktteams und FAIR in einer Organisation zusammen, deren Name bereits das gleiche Ziel benennt. Berichten zufolge übernahmen Scale AIs Alexandr Wang und der ehemalige GitHub-CEO Nat Friedman die Leitung, während Daniel Gross von Safe Superintelligence kam, nachdem Meta den Versuch unternommen hatte, das Startup direkt zu kaufen, und gescheitert war.²

Zwei der bestfinanzierten Bemühungen in der künstlichen Intelligenz tragen jetzt das Wort für ein System, das jeden Menschen bei fast jeder Aufgabe überdenken würde, einschließlich der Aufgabe, es aufzuhalten. Das Wort markierte früher eine Grenze. Auf ihren Briefköpfen markiert es eine Roadmap.

Der Endpunkt als Produktkategorie

Firmennamen funktionieren als komprimierte Argumente. Nennt man eine Abteilung „Ads“, weiß jeder, was sie verkauft. Nennt man sie „Superintelligence Labs“, wird die Öffentlichkeit eingeladen, das Endziel als Produktkategorie zu behandeln, so wie Telefone oder Cloud-Speicher Produktkategorien sind. Die harte moralische Frage (sollte das existieren?) schrumpft zu einer Produktfrage (welche Version kommt zuerst?).

Safe Superintelligence geht noch einen Schritt weiter. Es hängt das Adjektiv „safe“ an das Substantiv, das die Katastrophe benennt. Die Formulierung leistet die Arbeit, die eigentlich ein Beweis erbringen müsste. Sie sagt Investoren, Bewerbern und Journalisten, die Gefahr sei bereits als im Voraus gelöst abgelegt, bevor jemand eine Methode gezeigt hat, einen Geist zu kontrollieren, der schlauer ist als seine Betreiber. Die Sicht der Foundation ist klar: die Menschheit darf niemals eine Superintelligenz bauen. Eine Marke, die ein sicheres verspricht, verkauft das Gegenteil als Logo.

Meta's Version lässt das Adjektiv weg und behält den Ehrgeiz. „Superintelligence Labs“ verzichtet auf jedes Versprechen von Freundlichkeit und erklärt den Aufstieg zur Höchstgrenze der Fähigkeit. Innerhalb eines börsennotierten Unternehmens signalisiert dieser Name auch Märkten und Talenten, wohin Kapital und Prestige fließen werden. Das Branding ist Teil dessen, wie das Wettrennen geführt wird, nicht nur ein Anstrich darüber.

Der Komfort, den das Wort "safe" kauft

Menschen, die an technischen Ausrichtung sind keine Bösewichte, weil sie Systeme wollen, die tun, was Menschen meinen. Das Problem ist die Reihenfolge der Schritte. Das mächtigste Denken zuerst zu bauen und unterwegs Sicherheit zu versprechen, kehrt die einzige Reihenfolge um, die je bei Technologien funktioniert hat, die Zivilisationen beenden können. Wir gründen keine „Safe Strategic Warhead Inc.“ und hetzen zu einer Sprengkraft, die niemand mehr rückgängig machen kann. Wir verbieten Waffengattungen, überprüfen das Verbot und behandeln die verbleibende Forschung als dem Verbot untergeordnet.

Superintelligenz ist schlimmer als ein Sprengkopf in der Eigenschaft, die für Governance am wichtigsten ist. Eine Bombe bleibt dort, wo man sie zurücklässt. Ein System, das sich selbst verbessern, seine Absichten verbergen und über Netzwerke handeln kann, tut das nicht. Das Feld hat immer noch keine nachgewiesene Methode, um sicherzustellen, dass ein solches System menschenkompatible Ziele behält, während es skaliert. Die Lücke ist wissenschaftlich, und der Name „Safe Superintelligence“ leistet rhetorische Arbeit, die die Wissenschaft noch nicht verdient hat.³

Wäre der Safety Case solide, wäre der ehrliche Name immer noch seltsam. Wir branden den aussterbensrelevanten Fehlermodus normalerweise nicht als Produkt. Wir branden das kontrollierte, begrenzte Werkzeug. Dass zwei seriöse Organisationen den Fehlermodus als Masthead wählten, zeigt, wie weit sich das Overton-Fenster in der Industrie bereits verschoben hat.

Unvermeidbarkeit ist eine Geschichte, die die Entwickler brauchen

Jedes Wettrennen braucht eine Geschichte, in der Stoppen naiv ist. Die Standardversion sagt, jemand werde das sowieso bauen, also sei die einzige erwachsene Handlung, es zuerst unter einer freundlicheren Flagge zu bauen. Den Namen des Labors nach dem Endpunkt zu wählen, verhärtet diese Geschichte. Sie lässt ein Verbot wie Luddismus klingen statt wie Rüstungskontrolle. Sie macht ein Vertrag, der die Sache verbietet klingt wie ein Angriff auf eine Produktlinie, die bereits auf der Roadmap steht.

Die Geschichte ist bequem für jeden, dessen Eigenkapital, Reputation oder nationales Projekt davon abhängt, im Rennen zu bleiben. Sie beschreibt schlecht, wie andere existenzielle Technologien gehandhabt wurden. Chemische Waffen, Landminen und die Forschung zum Klonen von Menschen sahen sich alle mit der Behauptung konfrontiert, „jemand anders wird es tun“. Die Länder, auf die es ankam, schrieben dennoch Verbote, Inspektionen und Strafen fest. Vergleichen Sie es mit einer Klasse von Fähigkeiten, die die Welt beschlossen hat nicht zu normalisieren, nicht mit einer Kategorie von Verbraucher-Apps.

Nichts davon erfordert den Glauben, dass jeder Forscher in diesen Organisationen ein schlechtes Ergebnis will. Die meisten wollen Prestige, Entdeckung und eine Geschichte, in der sie vorsichtig waren. Die Anreize erledigen den Rest. Ein Labor, das nach Superintelligenz benannt ist, wird an Fortschritten in Richtung Superintelligenz gemessen, finanziert und besetzt. Sicherheit wird zu einer Abteilung. Das Ziel bleibt auf dem Gebäude.

Was man mit einem solchen Namen tun soll

Weist die Prämisse zurück, die die Marke verkauft. Superintelligenz ist eine Grenze, die die Spezies nicht überschreiten sollte. Superintelligenz kann von Menschen nicht kontrolliert werden. Die richtige institutionelle Antwort ist rechtliche Verhinderung, nicht ein Rebranding des Wettrüstens.

Wenn ein Unternehmen „Superintelligenz“ an die Tür schreibt, lesen Sie es als Absichtserklärung. Halten Sie die Erklärung gegen die fehlende Sicherheitsbegründung. Fragen Sie Gesetzgeber, warum ein privates Rennen zu einem unkontrollierbaren Geist noch legal ist. Teilen Sie die klare Version mit Menschen, die nur die Demo-Videos sehen. Sie verbergen nicht, wohin das führt.