Die Risiken der
Superintelligenz
Drei Kategorien von Gefahr, zwei Experten-Wahrscheinlichkeitsschätzungen und der offizielle globale Countdown.
Fehlausrichtung
Eine KI, die ein falsches Ziel optimiert, ohne Bosheit, aber mit verheerender Wirkung. Ein ausreichend fähiges System wird sein Ziel mit allen verfügbaren Mitteln verfolgen, einschließlich solcher, die wir nie beabsichtigt oder vorhergesehen haben.
Missbrauch
Von böswilligen Akteuren eingesetzte übermenschliche Intelligenz: neuartige Biowaffen, autonome Cyberangriffe, Desinformation in zivilisatorischem Ausmaß oder die Erpressung von Regierungen und kritischer Infrastruktur.
Machtkonzentration
Ein einzelnes Unternehmen, eine Regierung oder eine KI, die unkontrollierte Macht über kritische globale Systeme erlangt. Selbst ein wohlmeinender Akteur mit dieser Macht stellt eine existenzielle Bedrohung für menschliche Freiheit und Selbstbestimmung dar.
Wahrscheinlichkeit, dass KI innerhalb dieses Jahrhunderts zum menschlichen Aussterben führt
Geoffrey Hinton Nobelpreis für Physik 2024 · ehem. VP, Google · 2023Wahrscheinlichkeit einer zivilisationsweiten Katastrophe durch KI
Dario Amodei CEO, AnthropicDer nächste in der 78-jährigen Geschichte der Uhr. Nun bezieht er explizit KI-Risiken neben nuklearer Bedrohung ein.
Bulletin of Atomic Scientists · Januar 2025
„Ich denke, wenn diese Technologie schiefläuft, kann sie ziemlich schieflaufen. Wir wollen das laut sagen. Wir wollen mit der Regierung zusammenarbeiten, um das zu verhindern.“Sam Altman
Geschäftsführer, OpenAI
US Senate · 2023
Die Governance
Lücke
Superintelligenz wird in einem Wettrennen ohne Ziellinie gebaut. Es existieren keine verbindlichen internationalen Regeln, um es zu stoppen oder auch nur zu verlangsamen.
Globale KI-Politik, dokumentiert von der OECD (2025). Die überwiegende Mehrheit sind unverbindliche Leitlinien und freiwillige Rahmen. Keine verhängen durchsetzbare Grenzen zur Entwicklung superintelligenter KI-Systeme.
527× mehr Bauen als Regieren.
Das UK's AI Security Institute (formerly the AI Safety Institute) erhielt über zwei Jahre 100 Millionen Pfund, weniger als die weltgrößten KI-Labore in einer einzigen Woche ausgeben. (Chatham House, 2026)
"Wir bauen eine der transformativsten und potenziell gefährlichsten Technologien in der Menschheitsgeschichte, doch wir scheinen nicht in der Lage zu sein, den Pause-Knopf zu drücken."Yoshua Bengio
Turing-Preisträger
Mila · 2023
Wir Haben Es Getan
Dies zuvor
Internationales Recht hat bereits zivilisationsbedrohende Gefahren kontrolliert. Die Präzedenzfälle sind real, und sie haben funktioniert.
Vertrag über die Nichtverbreitung von Kernwaffen
191 Nationen haben unterzeichnet. Seit 1998 sind keine neuen kernwaffenbesitzenden Staaten hinzugekommen. Die nukleare Vernichtung wurde über 55 Jahre lang verhindert — und die Zählung läuft weiter. Durchgesetzt vom IAEA mit verbindlichen Vor-Ort-Inspektionen.
Montrealer Protokoll zum Ozonabbau
Verbotene ozonabbauende Chemikalien. Die Ozonschicht erholt sich nun. Von den Vereinten Nationen weithin als erfolgreichstes internationales Umweltabkommen der Geschichte angesehen.
Chemiewaffenkonvention
193 Mitgliedstaaten. Über 99 % der deklarierten Chemiewaffenbestände wurden vernichtet. Durchgesetzt von der OPCW mit verbindlichen Vor-Ort-Inspektionen weltweit.
AI-Forscher unterzeichneten die Erklärung zum AI-Risiko von 2023 und erklärten das Aussterberisiko zu einer globalen Priorität „neben Pandemien und Atomkrieg“. Zu den Unterzeichnern gehören Hinton, Bengio, Altman und über 500 weitere Forscher.
Zentrum für KI-Sicherheit · 2023Länder haben konkrete Schritte zur Bewältigung des KI-Sicherheitsrisikos unternommen, doch verbindliche internationale Koordination fehlt vollständig.
Stand 2025"Wir sitzen alle im selben Boot hinsichtlich der existenziellen Bedrohung durch KI, deshalb sollten wir alle in der Lage sein, bei dem Versuch zusammenzuarbeiten, sie aufzuhalten."Geoffrey Hinton
Nobelpreisträger
MIT Technology Review · 2023
Ein Vertrag zu
Rette die Menschheit
Der Rahmen existiert in Präzedenzfällen. Der politische Wille nicht, noch nicht. Hier ist, was eine bindende internationale Vereinbarung über Superintelligenz enthalten muss.
Compute Monitoring
Internationale Aufsicht über die Hardware, die zum Trainieren von frontier AI erforderlich ist. Trainingsläufe oberhalb eines definierten Schwellenwerts lösen eine obligatorische Überprüfung durch eine unabhängige Stelle aus, nach dem Vorbild von IAEA nuklearer Überwachung.
Entwicklungsschwellen
Weltweit geltende Capability-Limits. Jedes KI-System, das definierte Benchmarks überschreitet, muss für eine verpflichtende unabhängige Sicherheitszertifizierung stoppen, bevor es weiter skaliert oder eingesetzt wird.
Verifikationsmechanismen
Unabhängige internationale Inspektoren (vergleichbar mit IAEA-Atominspektoren) führen Vor-Ort-Audits von KI-Labors durch. Der Zugang kann nicht einseitig verweigert werden. Die Einhaltung wird durchgesetzt, nicht erbeten.
Krisenreaktionsprotokolle
Vereinbarte Notfallverfahren werden aktiviert, wenn Anzeichen von Fehlausrichtung oder dem Auftreten gefährlicher Fähigkeiten erkannt werden. Keine einzelne Nation oder Firma kann eine internationale Reaktion blockieren oder verzögern.
Demokratische multilaterale Governance
Kein Unternehmen, keine Regierung und keine Einzelperson kontrolliert das Vertragsgremium. Die Aufsicht erfolgt durch multilaterale Konsensbildung und verhindert sowohl eine KI-getriebene Machtübernahme als auch die Vereinnahmung durch eine einzelne Nation.
NPT → IAEA
Bindend seit 1968 · 191 Nationen · Vor-Ort-Inspektionsbefugnis
CWC → OPCW
Bindend seit 1997 · 193 Nationen · 99 % der Bestände vernichtet
BWC
Bindend seit 1975 · 183 Nationen · Braucht Verifikationsprotokoll
"We need an international 'humanity defense organization' to manage risks from dangerous AI, before it's too late to act."Yoshua Bengio
Turing-Preisträger
2023