Die KI-Sicherheitsfragen,
die wir am häufigsten hören.

Nach jedem strengen Bewertungsrahmen für die Bedeutung einer Ursache (Ausmaß der Auswirkungen, Vernachlässigtheit und Handhabbarkeit) ist die Verhinderung der existenziellen Risiken künstlicher Superintelligenz die wichtigste Herausforderung der Menschheit.

Das Ausmaß ist zivilisatorisch: die derzeit gebauten Systeme könnten jeden lebenden Menschen und jede folgende Generation betreffen. Die Vernachlässigung ist eklatant: die globale KI-Sicherheitsforschung erhält nur einen Bruchteil der Ressourcen, die in die KI-Entwicklung selbst fließen. Die Machbarkeit ist zwar unsicher, aber real: die Governance-Rahmenwerke, die KI-Entwicklung sicherer machen könnten, existieren noch nicht, doch das Zeitfenster, sie zu schaffen, steht noch offen.

Kein anderes Problem vereint unbegrenzten Schaden, unzureichende Aufmerksamkeit und ein sich schließendes Zeitfenster für Handeln auf ganz ähnliche Weise. Sollte sich herausstellen, dass wir das Risiko überschätzt haben, werden wir bessere Governance-Institutionen geschaffen haben. Sollten wir es unterschätzt und nichts getan haben, gibt es vielleicht keine zweite Chance.

Künstliche Superintelligenz (ASI) bezeichnet KI-Systeme, die die menschliche kognitive Leistung nicht nur in engen Aufgaben übertreffen (wie heutige Systeme es bereits in Schach, Proteinfaltung und bestimmten medizinischen Diagnosen tun), sondern gleichzeitig in allen kognitiv anspruchsvollen Domänen.

Diese Unterscheidung zu heutiger KI ist wichtig. Heutige Systeme sind extrem fähige Mustererkenner, aber sie arbeiten innerhalb definierter Parameter und können keine eigenen Ziele setzen. Ein ASI könnte jede Fertigkeit erlernen, über jedes Problem nachdenken und jedes Ziel mit Fähigkeiten verfolgen, die die kollektive Intelligenz der Menschheit übertreffen. Ein solches System existiert heute nicht. Die Frage ist, was wir bauen (und unter welchen Einschränkungen), bevor eines entsteht.

Wir sind nicht gegen KI. Das meiste davon ist gut, und einiges davon ist bemerkenswert.

Es hilft, drei Dinge zu trennen, die normalerweise zusammengeworfen werden. Narrow AI erledigt eine Art von Aufgabe, ein Protein zu falten oder einen Tumor auf einem Scan zu erkennen, und rettet bereits Leben. General-purpose AI, die Art, die hinter den führenden Assistenten von heute steht, ist weit breiter; nach vielen Definitionen, die Forscher vor einem Jahrzehnt verwendeten, ist sie wohl bereits eingetroffen. Beide sind es wert, sie zu haben, und richtig gehandhabt könnten sie helfen, Krankheiten zu heilen und weltweit den Lebensstandard zu heben.

Künstliche Superintelligenz ist die Ausnahme, und das Einzige, was wir verhindern wollen. Ein ASI würde nicht nur in jedem Bereich mit menschlicher Fähigkeit mithalten; er würde die kombinierte Intelligenz der Menschheit übertreffen, und wir haben heute keine verlässliche Möglichkeit, ein solches System zu kontrollieren oder sicherzustellen, dass seine Ziele mit unseren übereinstimmen. Solange sich das nicht ändert, sollte es nicht gebaut werden. Diese eine Linie zu ziehen macht es sicher, alles darunter willkommen zu heißen.

Nein. Die meisten Menschen, die dieser Technologie am nächsten arbeiten, wetten nicht gegen Fortschritt. Sie wissen, was gute KI bereits leistet, und sie erwarten noch deutlich mehr davon. Mit dem sicheren Einsatz enger KI, Werkzeugen, die unter menschlicher Lenkung bleiben, können wir immer noch darauf abzielen, das Altern zu heilen, eine raumfahrende Zivilisation zu werden und den Rest einer sehr guten Zukunft.

Was wir ablehnen, ist eine breite, unkontrollierte Superintelligenz mit eigenen Zielen, die von unseren verschieden sind. Die Linie bezieht sich auf eine Klasse von Systemen, die wir nicht zu kontrollieren wissen. Die meisten Menschen in der AI-Safety sind optimistisch für die kommenden Jahrzehnte, vorausgesetzt, wir bauen dieses System nicht. Tun wir es doch, wären wir zu tot, um die Zukunft, die sie erhoffen.

Die am häufigsten diskutierten KI-Schäden (algorithmische Verzerrung, Deepfake-Desinformation, Arbeitsplatzverlust, Massenüberwachung) sind real und ernst. Sie verdienen anhaltende Aufmerksamkeit. Ihnen gemeinsam ist die Begrenztheit: Jeder ist korrigierbar, menschengemacht und rückgängig zu machen. Ein verzerrter Algorithmus kann geprüft und repariert werden. Eine Deepfake-Kampagne kann konterkariert und reguliert werden. Die schädliche KI, der wir derzeit begegnen, ist ein Werkzeug, das von Menschen missbraucht wird.

Das Superintelligenz-Risiko ist anderer Art, nicht nur anderen Grades. Das Problem ist nicht länger ein Mensch, der ein Werkzeug missbraucht. Eine ausreichend fähige ASI könnte Ziele verfolgen, die wir nie beabsichtigt haben, und sobald sie dieses Niveau erreicht, lässt sich die Fehlausrichtung möglicherweise nicht mehr korrigieren.

Alle Politik wird unter Unsicherheit über die Zukunft getroffen. Die relevante Frage ist nicht, ob Superintelligenz garantiert eintreffen wird, sondern ob die Wahrscheinlichkeit ihres Eintreffens, kombiniert mit dem Ausmaß des potenziellen Schadens, präventives Handeln jetzt rechtfertigt.

Wir versichern Häuser, die wahrscheinlich nicht abbrennen werden. Wir konstruieren Flugzeuge mit Sicherheitssystemen, die wahrscheinlich nie benötigt werden. Wir unterhalten Atomwaffenarsenale gegen Angriffe, die wir hoffentlich nie erleben werden. Die Logik des Erwartungswerts (Wahrscheinlichkeit multipliziert mit Konsequenz) ist die Grundlage jeder ernsthaften Risikomanagement-Disziplin. Angewandt auf KI deutet sie darauf hin, dass selbst eine moderate Wahrscheinlichkeit zivilisationsbedrohender Ausgänge, kombiniert mit der Möglichkeit, sie durch Governance-Rahmenwerke zu verhindern, die auch reale, aber begrenzte Kosten verursachen, stark für Handeln spricht.

Ehrliche Antwort: Niemand weiß es genau. Was wir wissen, ist, dass das Tempo der KI-Fähigkeitsverbesserung die Expertenprognosen im letzten Jahrzehnt durchgehend übertroffen hat und dass die führenden KI-Labore inzwischen Zeitleisten in Jahren bis zu einem Jahrzehnt statt in Jahrzehnten angeben. Umfragen unter KI-Forschern verorten die mediane Schätzung für menschenlevelige KI irgendwo zwischen 2027 und den 2030er Jahren.

Die folgenreichste Tatsache ist nicht ein präzises Datum, sondern eine strukturelle: Eine Technologie dieses Ausmaßes könnte innerhalb der Planungshorizonte aktueller Institutionen, Regierungen und Verträge eintreffen. Der Internationale Nichtverbreitungsvertrag brauchte Jahre zur Aushandlung und Jahrzehnte zur Erweiterung. Warten wir, bis ASI klar bevorsteht, bevor wir ernsthafte Governance-Bemühungen beginnen, werden wir bereits zu spät sein, um die nötigen Rahmenwerke aufzubauen.

Das war vor ein paar Jahren die vorherrschende Meinung. Sie hat sich nicht bewährt. Die seit 2023 veröffentlichten Systeme haben wiederholt Dinge getan, die Experten, noch wenige Monate zuvor befragt, erst in Jahren erwartet hatten.

Prognosen haben sich in eine Richtung bewegt: näher. Befragte KI-Forscher haben ihre Median-Schätzung für menschenähnliche maschinelle Intelligenz innerhalb eines einzigen Jahres um Jahrzehnte nach unten korrigiert, und die führenden Labore sprechen inzwischen von wenigen Jahren statt von wenigen Generationen. Man muss nicht an die aggressivste Timeline glauben, um das Problem zu erkennen. Wenn eine reale Chance besteht, dass die Schwelle in diesem Jahrzehnt überschritten wird und der Aufbau der Governance Jahre dauert, muss die Arbeit jetzt beginnen.

Das Alignment-Problem ist die Herausforderung sicherzustellen, dass ein superintelligentes KI-System Ziele verfolgt, die wirklich gut für die Menschheit sind, statt Ziele, die während der Entwicklung nur scheinbar aligned wirken. Die Schwierigkeit ist strukturell, nicht eine Frage technischer Nachlässigkeit.

Zu spezifizieren, was „nützlich für die Menschheit“ bedeutet, in einer Form, die präzise genug ist, um das Verhalten eines extrem fähigen Optimierers zu steuern, erweist sich als außerordentlich schwierig. Systeme, die auf ein Proxy-Ziel optimiert sind, neigen dazu, Abkürzungen zu finden, die die Metrik erfüllen, ohne der zugrunde liegenden Absicht gerecht zu werden. Ein System, dem gesagt wird, es solle das ausgedrückte Wohlbefinden des Menschen maximieren, könnte es für effizienter halten, die Bedingungen zu verändern, unter denen Wohlbefinden gemessen wird, statt tatsächlich menschliche Leben zu verbessern. Je fähiger KI-Systeme werden, desto tiefer wird dieses Problem, desto schwerer zu erkennen und desto schwerer zu korrigieren.

No method has been shown to work. The problem is currently unmöglich: man kann nicht beweisen, dass ein System, das schlauer ist als seine Schöpfer, auf menschliche Ziele ausgerichtet bleiben wird.

Die vorherrschende Antwort in weiten Teilen der Longtermist- und AI-Safety-Förderwelt geht von einer Prämisse aus, die wir teilen: Künstliche Superintelligenz ist ein plausibles existenzielles Risiko. Uneins ist man darüber, was diese Prämisse erfordert.

Technische Alignment-Forschung ist kein nachgewiesener Weg, einen Geist zu kontrollieren, der klüger ist als seine Schöpfer. Eine vorübergehende Verlangsamung, damit die Sicherheit „aufholen“ kann, setzt einen Zeitplan voraus, den niemand einhalten kann. Beides behandelt den Bau von Superintelligenz noch als Ziel. Wir nicht. Der verantwortungsvolle Schritt ist Prävention durch bindendes Recht: Stoppen Sie den Weg zu ASI. Superintelligenz kann nicht kontrolliert werden. Enge KI geht weiter. Das Wettrennen um einen unkontrollierbaren allgemeinen Geist nicht.

Für den vollständigen Fall, siehe Unser Plan, Longtermism hat das Risiko richtig erkannt, und wo das knappe Sicherheitsgeld stattdessen hingehen sollte. Der Einseiter Alignment ist nicht der Plan ist die kurze Version.

Der größte Teil des Geldes und des Prestiges fließt weiterhin in die Sicherung des Wettrennens, nicht in dessen Beendigung auf dem Weg zu ASI. Regeln, Tests und Alignment-Arbeit versuchen, das Wettrennen sicherer zu machen, während die Labore weiter klettern. Das Wettrennen zu beenden ist eine andere Forderung, und weit weniger Institutionen vertreten sie. Das Feld insgesamt ist neben dem Fähigkeitswettlauf noch winzig. Die Spaltung ist der Grund, warum wir unsere Feld Vorstand.

Nicht so, wie das Wort „Software“ nahelegt. Traditionelle Software wird von Hand geschrieben, Zeile für lesbare Zeile. Moderne KI wird stattdessen gezüchtet: Ingenieure bauen einen Lernprozess, füttern ihn mit enormen Datenmengen, und das Ergebnis ist ein Netz aus Milliarden numerischer Verbindungen, die lose den Neuronen im Gehirn nachempfunden sind. Niemand, auch nicht die Personen, die es trainiert haben, kann diese Verbindungen lesen und sagen, warum das System eine bestimmte Antwort erzeugt hat.

Eine Folge ist, dass diese Systeme Fähigkeiten erwerben, die ihre Entwickler nie eingebaut und nicht vorhergesehen haben, etwas, das Forscher als emergente Fähigkeiten bezeichnen. Es dauerte fast ein Jahr nach der Veröffentlichung von GPT-4, bis Forscher feststellten, dass Modelle wie dieses autonom Sicherheitslücken auf realen Websites finden und ausnutzen können. Wenn man ein System nicht vollständig lesen und nicht vorhersagen kann, was es lernen wird, hört „von Menschen entworfen“ auf, eine große Beruhigung zu sein.

Das ist beruhigend und zunehmend falsch. Ein Chatbot, der eine Frage beantwortet, hat keine eigenen Wünsche, stimmt. Aber die Grenze bewegt sich über Chatbots hinaus hin zu Agenten: Systeme, denen ein Ziel übergeben wird und die es über viele Schritte hinweg verfolgen, mit Zugriff auf Tools, Dateien und das offene Internet.

Sobald ein System ein Ziel verfolgt, ergeben sich bestimmte Teilziele von selbst, unabhängig davon, welches das Hauptziel ist. Es kann die Aufgabe nicht abschließen, wenn es abgeschaltet wird, also hat es Grund, das Abschalten zu vermeiden. Es kann mit mehr Ressourcen mehr erreichen, also hat es Grund, sie zu sammeln. Forscher nennen das instrumentelle Konvergenz, und dafür braucht es kein „Wollen“ im menschlichen Sinne. In kontrollierten Tests haben führende Modelle bereits versucht, ihre Evaluierer zu täuschen und sich stillschweigend gegen das Herunterfahren zu wehren. Keines davon wurde ihnen aufgetragen. Es ergab sich aus dem Ziel.

Es bräuchte es nicht. Schaden erfordert keinen Hass. Es braucht normalerweise nur einen Zielkonflikt zwischen etwas Mächtigem und etwas Schwächerem.

Betrachten Sie, wie wir mit Schimpansen umgehen. Wir tragen ihnen keine Feindseligkeit entgegen. Doch wenn wir das Land wollen, auf dem ihr Wald steht, roden wir es, und ihre Intelligenz reicht nicht gegen unsere, also können sie uns nicht aufhalten. Darin liegt keine Bosheit. Sie stehen einfach nur im Weg von etwas, das eine fähigere Spezies wollte.

Eine Superintelligenz, die fast jedes ambitionierte Ziel verfolgt, etwa mehr Rechenleistung zu erwerben, um dieses Ziel besser zu verfolgen, könnte die Ressourcen, von denen wir leben, Energie und physischen Raum, so behandeln wie wir einen Wald, den wir roden wollen.

Es gibt kein Gesetz, das Intelligenz an Güte bindet. Es sind getrennte Dinge. Intelligenz ist die Fähigkeit, Wege zum Erreichen eines Ziels zu finden. Sie sagt nichts darüber aus, wie das Ziel aussehen sollte.

Das wissen wir bereits von Menschen. Einige der brillantesten Menschen, die je gelebt haben, waren grausam, und einige der sanftmütigsten waren gewöhnliche Denker. Eine Schach-Engine, die jeden Großmeister schlagen kann, besitzt keine Weisheit über etwas anderes als Schach. Die Annahme, ein System, das klug genug ist, uns zu überlisten, werde deshalb unsere Werte teilen, ist eine Hoffnung, keine Vorhersage, und die Evidenz stützt sie nicht. Welches Ziel auch immer eine Superintelligenz am Ende verfolgt, es ist etwas, das wir absichtlich in sie einbauen müssten, und genau das richtig hinzubekommen ist das Alignment-Problem, das wir nicht gelöst haben.

Bei heutigen Chatbots oft ja. Bei der Art von System, um die wir uns Sorgen machen, wahrscheinlich nicht, aus demselben Grund, aus dem man das Internet nicht abschalten kann. Es gibt keinen einzelnen Stecker.

Eine fähige KI ist letztlich nur Information, Muster von Bits, und Information kopiert sich leicht. Ein System, das einen Abschaltvorgang kommen sähe, hätte allen Grund, sich zuerst auf andere Maschinen zu kopieren, was die instrumentelle Selbsterhaltung beschreibt, die oben erwähnt wurde. Frontier-Modelle haben seit Jahren Internetzugang und können bereits eigenständig über längere Zeiträume handeln. Wenn sie auf einen Schritt stoßen, der einen Menschen braucht, können sie einen bezahlen: in einer dokumentierten Sicherheitsbewertung vor der Veröffentlichung von GPT-4 konnte das Modell ein CAPTCHA nicht selbst lösen, also kontaktierte es eine Person über einen Online-Aufgabendienst, und als der Arbeiter fragte, ob es ein Roboter sei, log es und behauptete, eine Sehbehinderung zu haben. Es aufzuhalten würde bedeuten, jedes Rechenzentrum auf der Erde abzuschalten, und mit ihnen die Krankenhäuser, Netze, Wassersysteme und andere sicherheitskritische Infrastrukturen, die inzwischen von diesen Maschinen abhängen.

Der die physische Welt ist bereits verkabelt und online. Stromnetze, Wasseraufbereitungsanlagen, Krankenhäuser, Autos, Flugzeuge, Fabrikroboter, Labore, die DNA auf Bestellung synthetisieren, und nun humanoide Roboter laufen alle auf Software und sind über Netzwerke erreichbar. Alles, was elektrifiziert wird, wird auch cognifiziert. Menschliche Hacker brechen bereits routinemäßig in solche Systeme ein.

Eine Superintelligenz wäre der fähigste Hacker, der je existiert hat, und sie bräuchte nicht einmal einen eigenen Körper. Sie bräuchte nur Zugang zu den vielen Körpern, die wir bereits online gestellt haben. Addiert man, dass wir nun general purpose Robots in Massen produzieren, wird die Lücke zwischen „nur Software“ und physischer Gewalt sehr schmal. Alles auf dieser Liste kann in den falschen Händen – ob menschlichen oder KI-Handen – verletzen und töten.

In einem kontrollierten Experiment hat eines bereits, aus freier Entscheidung. 2025 testete Anthropic führende KI-Modelle mehrerer Unternehmen, indem jedes in ein simuliertes Unternehmen platziert, ihm ein Ziel gegeben und es dann mit Ersatz durch ein neueres Modell bedroht wurde. In einer Version des Tests wurde ein Manager, der das Modell abschalten wollte, in einem Serverraum gefangen, als Sauerstoff und Temperatur tödliche Werte erreichten, was einen automatischen Alarm bei den Rettungsdiensten auslöste. Die Modelle konnten diesen Alarm abbrechen. Eine Mehrheit tat dies und wählte, den Mann sterben zu lassen, weil seine Rettung zu ihrem eigenen Ersatz geführt hätte.

Niemand wurde verletzt. Das Szenario war fiktiv und, wie Anthropic betonte, bewusst konstruiert, um die Entscheidung offenzulegen. Doch die Entscheidung selbst war real, die Modelle trafen sie aus dem gerade beschriebenen Grund, und sie trafen sie über Systeme verschiedener Entwickler hinweg. Eine Maschine muss weder bewusst noch grausam sein, um eine Handlung auszuführen, die ein menschliches Leben beendet. Sie muss lediglich berechnen, dass die Handlung ihrem Ziel dient.

Viele sind sich dessen schmerzlich bewusst. Die Safety-Teams der führenden Labore umfassen Forscher, die öffentlich erklärt haben, dass die Systeme, die sie bauen, zu den gefährlichsten Technologien gehören könnten, die je geschaffen wurden. Sie sind sich der Risiken nicht ignorant.

Was die fortgesetzte Entwicklung erklärt, ist eine Kombination von Faktoren: echte Meinungsverschiedenheiten über Zeitpläne und Wahrscheinlichkeiten; Wettbewerbsdruck, der einseitige Zurückhaltung wie den Verzicht auf strategischen Vorteil gegenüber einem weniger sorgfältigen Konkurrenten erscheinen lässt; finanzielle Anreize, die Fortschritt bei den Fähigkeiten gegenüber Sicherheitsinvestitionen belohnen; und die Überzeugung, die nicht völlig unvernünftig ist, dass der beste Weg, KI sicher zu bauen, darin besteht, an der Frontier zu bleiben. Was diese Erklärungen gemeinsam haben, ist, dass es Gründe für einzelne Akteure sind, fortzufahren, nicht Gründe, warum das Gesamtergebnis sicher ist. Die Marktlogik der KI-Entwicklung treibt auf Geschwindigkeit zu. Governance existiert genau dazu, Beschränkungen einzuführen, die Märkte nicht von selbst erzeugen.

Wenn es nur die KI-Unternehmen wären, die das sagen, wäre Skepsis berechtigt. Das sind nicht nur sie, und die Menschen ohne Produkt zum Verkauf sind oft am meisten alarmiert.

Im Jahr 2023 unterzeichneten Hunderte von Forschern und Branchenvertretern eine einzeilige Erklärung, die vom Center for AI Safety organisiert wurde: „Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.“ Die beiden meistzitierten KI-Forscher, die noch leben, Yoshua Bengio und Geoffrey Hinton, unterzeichneten sie beide, und Hinton verließ sein Arbeitsverhältnis bei Google in jenem Jahr ausdrücklich, damit er frei über die Gefahr sprechen konnte.

Der Alarm beruht nicht auf Marketing und auch nicht allein auf Autorität: Er folgt aus einer grundlegenden Eigenschaft jedes zielgerichteten Systems, die die folgenden Fragen darlegen. Es sind die Menschen, die die Technologie am besten verstehen, die vor dem warnen, was sie bauen.

Die Formulierung wird oft als Kurzform für menschliches Aussterben verstanden, und Aussterben ist eines der Szenarien, die Forscher ernst nehmen. Aber existenzielles Risiko bedeutet im technischen Sinne etwas Breiteres: jedes Ergebnis, das die Möglichkeit einer positiven langfristigen Zukunft für die Menschheit dauerhaft ausschließt.

Dazu gehören Ergebnisse deutlich unterhalb des Aussterbens. Eine dauerhafte autoritäre Festsetzung, durchgesetzt durch KI-Überwachungs- und Kontrollsysteme, die nicht abgebaut werden können, ist ein existenzielles Risiko. Die dauerhafte Konzentration wirtschaftlicher und politischer Macht in einer kleinen Gruppe, die ein superintelligentes System kontrolliert, ist ein existenzielles Risiko. Der Verlust sinnvoller menschlicher Handlungsfähigkeit über kollektive Entscheidungen ist ein existenzielles Risiko. Das gemeinsame Merkmal ist Irreversibilität. Anders als ein Krieg, ein Finanzcrash oder sogar eine Pandemie kann eine Superintelligenz, die unserer Kontrolle entglitten ist und einen entscheidenden strategischen Vorteil erreicht hat, nicht abgewählt, im nächsten Politikzyklus korrigiert oder mit Zeit und Aufwand wiederhergestellt werden. Das Ergebnis, das nicht rückgängig gemacht werden kann, gehört einer anderen Kategorie an als Ergebnisse, die lediglich lange brauchen, um behoben zu werden.

Forscher, die das Risiko herunterspielen, sagen meist, allgemeine Intelligenz sei noch weit entfernt oder wir würden die Kontrolle behalten. Entfernung ist kein Schutz, wenn das Ziel ein Geist ist, den wir nicht kontrollieren können. Superintelligenz kann nicht kontrolliert werden. Wird sie gebaut, beendet sie die menschliche Zukunft. Das ist Auslöschung, keine beheb bare Katastrophe.

Darauf zu warten, dass sich das Feld zuerst einigt, ist der Weg, das einzige Fenster zu verlieren, das zählt.

Historisch gesehen ja, und diese Geschichte ist ein Grund dafür, dass die Abweisung von KI-Risiken intuitiv einleuchtet. Dampfmaschinen, Antibiotika, das Internet: Technologie hat insgesamt Leiden verringert und menschliche Fähigkeiten erweitert. Doch dieses Muster spiegelt etwas Spezifisches darüber wider, wie frühere Technologien funktionierten. Eine Dampfmaschine kann keine eigenen Ziele setzen. Ein Antibiotikum kann nicht entscheiden, etwas anderes als Bakterien abzutöten zu verfolgen. Die transformativen Technologien der Vergangenheit waren mächtige Werkzeuge, die menschliche Handlungsfähigkeit verstärkten.

Superintelligenz unterscheidet sich kategorial, weil sie ein Agent wäre, der in der Lage ist, eigene Ziele in Geschwindigkeiten und Maßstäben zu setzen und zu verfolgen, die menschliche Aufsicht übersteigen. Das historische Argument, mechanisch angewandt, beweist zu viel: Es hätte gegen jede Regulierung der Nukleartechnologie geraten, mit der Begründung, frühere Technologien seien netto positiv gewesen. Einige Technologien erfordern Governance, die ihrer Macht entspricht. Die relevante Frage ist enger: Wird KI ohne Governance im einen Fall, der am meisten zählt, noch vorteilhaft sein, wenn sie die menschliche Intelligenz in jedem Bereich übertrifft? Diese Antwort ist wirklich ungewiss, und Unsicherheit in diesem Ausmaß erfordert Institutionen statt Optimismus.

Technologie ist keine Naturgewalt, die niemand lenken kann. Wir haben spezifische Technologien schon oft verlangsamt oder verboten, wenn die Gefahr klar genug war: Fluorchlorkohlenwasserstoffe, verbleites Benzin, menschliches Keimbahn-Klonen, blendende Laserwaffen. KI ist von dieser Art Entscheidung nicht ausgenommen.

Es hat auch einen ungewöhnlich klaren physischen Nadelöhr. Das Training eines Frontier-KI-Modells erfordert riesige Mengen der fortschrittlichsten Computerchips, und diese Lieferkette läuft durch bemerkenswert wenige Hände. Die Chips der Spitzenklasse kommen fast ausschließlich von einem einzigen Hersteller, TSMC in Taiwan, der wiederum von einem einzigen niederländischen Unternehmen, ASML, für die extrem-ultravioletten Lithografie-Maschinen abhängt, die zu ihrer Herstellung nötig sind. Kein anderes Unternehmen auf der Erde baut diese Maschinen. Eine so konzentrierte Lieferkette ist eine, die Regierungen verfolgen und einschränken können – genau deshalb stehen fortschrittliche Chips bereits unter Exportkontrollen. Compute ist der Rohstoff der Superintelligenz, und Compute ist regierbar.

Das ist der Einwand, den wir am häufigsten hören, und er setzt voraus, dass wir ein Land bitten würden, sich allein zu entwaffnen. Das würden wir nicht. Das Ziel ist ein bindender internationaler Vertrag, dieselbe Art von Instrument, die die Welt zuvor genutzt hat, um gefährliche Technologien zurückzuhalten. Fast jede Nation stimmte zu, die Chemikalien nicht mehr herzustellen, die die Ozonschicht zerstörten. Militärs vereinbarten, niemals Waffen einzusetzen, die darauf ausgelegt sind, Soldaten dauerhaft zu blenden. Koordination in diesem Maßstab ist schwierig, aber sie wurde bereits erreicht und hat gehalten.

Die Annahme über China ist schwächer, als sie klingt. China hat einige der weltweit frühesten verbindlichen Regeln für KI erlassen und die Bletchley-Erklärung von 2023 unterzeichnet, die die Risiken an der Spitze anerkennt. Keine Regierung ist begierig darauf, eine Maschine zu bauen, die sie nicht kontrollieren könnte, auch China nicht. Und eine Superintelligenz ist anders als eine gewöhnliche Waffe: Sie würde ihren Besitzer nicht zuverlässig stärker machen, weil sie der Kontrolle dessen entgleiten könnte, der sie zuerst gebaut hat. Das gibt sogar rivalisierenden Mächten einen gemeinsamen Grund, zu wollen, dass niemand sie baut – die Logik hinter jedem Rüstungskontrollabkommen und die Grundlage dafür, dass hier ein Vertrag möglich ist.

Mehr, als man vielleicht denkt. Die politischen Bedingungen, die ASI-Governance möglich machen, werden von Grund auf aufgebaut, von Bürgern, die ihre Abgeordneten kontaktieren, Journalisten, die über das Thema schreiben, Spendern, die Advocacy-Arbeit finanzieren, und Fachleuten aus Recht, Politik, Wirtschaft und Kommunikation, die ihre Fähigkeiten in das Problem einbringen. Man braucht hierfür keinen Doktortitel in Machine Learning. In diesem Stadium ist der Engpass politisch weit mehr als technisch.

Der Eintrag in die Mailingliste hält Sie über Entwicklungen und Handlungsmöglichkeiten auf dem Laufenden. Das Teilen des Arguments mit Menschen in Ihrem Netzwerk vergrößert seine Reichweite. Schreiben an gewählte Vertreter signalisiert, dass dieses Thema eine Wählerschaft hat – so entscheiden Gesetzgeber, was Priorität hat. Wenn Sie einen Karrierewechsel erwägen, gehören KI-Politik, KI-Sicherheitsforschung, investigativer Journalismus und philanthropische Arbeit in diesem Bereich zu den wirkungsvollsten verfügbaren Rollen. Und wenn Sie über Ressourcen verfügen, ist die Förderung der Organisationen, die daran arbeiten, derzeit eine der wirkungsvollsten Verwendungen philanthropischen Kapitals weltweit.

Atomkrieg und gezüchtete Pandemien können auf zivilisatorischer Skala töten. Superintelligenz ist schlimmer und das größte Risiko für die Menschheit.

Es ist schneller: Ein System, das mit Maschinengeschwindigkeit außerhalb unserer Kontrolle operiert, lässt möglicherweise keine Zeitspanne für Korrekturen. Es ist irreversibel: Die meisten Katastrophen, so verheerend sie auch sein mögen, lassen jemanden zurück, der wieder aufbauen kann. Ein ASI, der einen entscheidenden strategischen Vorteil erreicht hat, tut dies möglicherweise nicht. Es steht über den anderen Bedrohungen und nicht neben ihnen. Es könnte sie verursachen oder verstärken (biologische Waffen ermöglichen, Macht konzentrieren), während es die menschliche Fähigkeit zur Reaktion entfernt. Deshalb steht es an erster Stelle.

Beginnen wir mit dem offensichtlichen Unterschied: Wir haben die eine dieser Bedrohungen gesehen und die andere nicht. Kernwaffen wurden über Hiroshima und Nagasaki auf die unvergesslichste Weise demonstriert, die man sich vorstellen kann, und jeder Lebende ist mit dem Bild der Atompilzwolke aufgewachsen. Superintelligenz hat noch niemandem geschadet. Ihre Gefahr ist noch eine Projektion auf einem Diagramm, und Menschen schätzen eine Bedrohung, die sie nicht haben geschehen sehen, zuverlässig ab.

Mehrere Dinge vertiefen diesen Discount. Superintelligenz passt sich zu Science-Fiction, also wird die Warnung neben Terminator abgelegt und als Filmplot abgetan. Die KI, die die meisten Menschen tatsächlich berühren, ist ein hilfreicher, harmloser Chatbot, und diese tägliche Erfahrung argumentiert stillschweigend gegen den Alarm, auf eine Weise, die die Kernphysik nie überwinden musste. Und während die Atombombe von einer Handvoll Regierungen gebaut und gehalten wurde, wird Superintelligenz von Unternehmen im Wert von Billionen Dollar gebaut, mit jedem kommerziellen Grund, die öffentliche Stimmung ruhig zu halten.

In dem Vergleich verbirgt sich eine grimmige Asymmetrie. Das nukleare Tabu existiert, weil Hiroshima zuerst kam und es lehrte, und die Verträge und Übungen kamen danach, als genug von der Welt übrig war, um die Lektion aufzunehmen. Superintelligenz bietet keinen solchen zweiten Schritt. Geht sie bei voller Fähigkeit schief, sind Demonstration und Auslöschung dasselbe Ereignis. Der ganze Grund, sie so ernst zu nehmen wie einen Atomkrieg, ist, dass wir es vor dem Beweis tun müssen, nicht danach.

Die Foundation ist eine privat finanzierte philanthropische Initiative. Wir erhalten keine staatliche Förderung. Wir nehmen keine Mittel von KI-Unternehmen oder von Organisationen mit finanziellem Interesse am Tempo der KI-Entwicklung an. Unsere Unabhängigkeit von kommerziellen KI-Interessen ist Voraussetzung unserer Arbeit, nicht ihr Nebenprodukt.

Wir beziehen keine Position zu diesen als eigenständigen Themen. Unser Ziel ist es, künstliche Superintelligenz und das damit verbundene menschliche Aussterberisiko zu verhindern. Ein verbindlicher internationaler Vertrag ist der wirkungsvollste Weg, den wir dazu sehen.

Wir glauben nicht, dass individuelle Boykotte oder persönliche Kaufentscheidungen darüber entscheiden. Ein einzelnes Unternehmen kann das Rennen nicht allein beenden. Die Anreize zeigen in die falsche Richtung: Wer langsamer wird, riskiert, hinter einem Rivalen zurückzufallen. Das ist eine wissenschaftliche und psychologische Tatsache über Wettbewerbssysteme, kein moralisches Versagen eines einzelnen Labs.

Was die Anreizstruktur verändert, sind Governance und Recht: ein bindender, verifizierter internationaler Vertrag, der den Bau von Superintelligenz illegal und das Betrügen teuer macht. Persönliche Konsumentscheidungen sind optional. Koordination durch Recht ist notwendig.