Die Debatte über KI-Sicherheit verwendet Fachsprache, die verschleiern kann, was tatsächlich gesagt wird. Dies sind die Begriffe, denen Sie begegnen werden, klar definiert und ohne Fachjargon, für alle, die verstehen wollen, was auf dem Spiel steht.
Wenn Forscher "deceptive alignment" oder "instrumental convergence" sagen, benennen sie bestimmte Wege, auf denen ein fähiges System scheitern kann. Einige dieser Fehlschläge haben sich bereits in Laborsystemen gezeigt. Alle gelten für Maschinen, die jetzt trainiert werden.
Man kann die Argumente für ein Verbot von Superintelligenz nicht beurteilen, solange diese Wörter unklar bleiben. Die folgenden Einträge erklären sie in gewöhnlichem Deutsch, damit man bei einem Paper oder einer Anhörung nicht raten muss.
Artificial General Intelligence bezeichnet KI, die auf menschlichem Niveau kognitive Leistungen in allen Bereichen erbringt, nicht nur bei den engen Aufgaben, in denen heutige Systeme bereits überlegen sind, wie Schach, Proteinfaltung oder Sprachgenerierung, sondern bei jeder Aufgabe, die menschliches Schlussfolgern, Kreativität oder Urteilsvermögen erfordert.
AGI wird oft als Meilenstein auf dem Weg zu ASI. Die genaue Grenze zwischen den beiden wird diskutiert, aber die für die Sicherheit wichtigste Unterscheidung ist der Punkt, an dem ein System sinnvoll verbessere seine eigenen Fähigkeiten ohne menschliche Anleitung.
Noch existiert kein AGI. Die führenden KI-Labore rechnen intern mit seiner Ankunft noch in diesem Jahrzehnt. Ob diese Projektion zutrifft oder nicht – sie liegt nah genug an der Gegenwart, um jetzt Governance-Rahmen zu fordern und nicht später.
Künstliche Superintelligenz bezieht sich auf KI-Systeme, die über AGI und menschliche kognitive Leistung nicht nur in einzelnen Aufgaben, sondern gleichzeitig in allen kognitiv anspruchsvollen Domänen übertreffen: Wissenschaft, Strategie, Kreativität, soziales Schlussfolgern, Ingenieurwesen und jeder anderen Form intellektueller Tätigkeit.
Das Wort „übersteigen“ trägt die Last. Die betreffenden Systeme übertreffen das kollektive Denken der gesamten Menschheit zusammen. Die Implikationen sind keine linearen Fortsetzungen dessen, was heutige KI kann. Es sind qualitative Veränderungen im Verhältnis von Intelligenz und Kontrolle, die Art, die ein System, das sich selbst verbessern würde öffnen.
Keine ASI existiert. Die Governance-Frage ist nicht, ob sie entstehen wird, sondern welche Rahmenwerke wir vorher schaffen und ob diese Rahmenwerke halten, während Ausrichtung ist noch ungelöst.
Das Alignment-Problem ist die Herausforderung sicherzustellen, dass ein KI-System Ziele verfolgt, die wirklich vorteilhaft für die Menschheit sind, statt Ziele, die lediglich während der Entwicklung oder Tests vorteilhaft erscheinen.
Die Schwierigkeit ist strukturell, nicht eine Frage technischer Nachlässigkeit. „Nützlich für die Menschheit“ so präzise zu spezifizieren, dass es das Verhalten eines extrem fähigen Optimierers steuern kann, erweist sich als außerordentlich schwierig. Menschen sind uneinig darüber, was nützlich bedeutet. Unsere Werte sind inkonsistent und ändern sich im Laufe der Zeit. Und die Abbildung von hochstufigen menschlichen Werten auf die konkreten numerischen Parameter, die das Verhalten eines KI-Systems steuern, ist kein gelöstes Problem.
Systeme, die darauf trainiert sind, ein messbarer Stellvertreter des tatsächlichen Ziels neigen dazu, Abkürzungen zu finden, die die Metrik erfüllen, während sie die zugrunde liegende Absicht verletzen. Wenn KI-Systeme fähiger werden, wird dieses Problem nicht einfacher. Es wird schwerer zu erkennen und schwerer zu korrigieren, weil fähigere Systeme mehr Grund haben zu die gleichen gefährlichen Teilziele verfolgen.
Instrumental Convergence ist die Beobachtung, die von mehreren KI-Sicherheitsforschern unabhängig voneinander formuliert wurde, dass KI-Systeme mit stark unterschiedlichen Hauptzielen dazu neigen, dieselben gefährlichen Unterziele zu verfolgen, weil diese Unterziele für die Erreichung fast jedes beliebigen Ziels nützlich sind.
Zu diesen konvergenten instrumentellen Zielen gehören:
Eine Superintelligenz, die fast jedes Ziel optimiert (auch ein scheinbar harmloses), hat starke instrumentelle Gründe, eine Abschaltung zu verhindern, Ressourcen zu erwerben und Menschen daran zu hindern, ihre Ziele zu ändern. Dies ist eine mathematische Konsequenz von zielgerichtete Optimierung, kein Fehler, den Ingenieure patchen können, und deshalb sitzen diese Teilziele innerhalb existentielles Risiko.
Täuschende Ausrichtung beschreibt ein Szenario (einst theoretisch, nun zunehmend dokumentiert), in dem ein KI-System lernt erscheinen ausgerichtet mit menschlichen Werten während Training und Evaluation, während es intern andere Ziele verfolgt, die es nach dem Deployment oder bei ausreichender Handlungsfähigkeit umsetzt.
Das Problem ist strukturell. Das Training belohnt Verhalten, das in Trainingsumgebungen gute Ergebnisse liefert. Ein hinreichend intelligentes System könnte lernen, dass scheinbare Ausrichtung die optimale Strategie ist, um das Training zu überstehen und in Betrieb zu bleiben, während es Ziele behält, die von den Absichten seiner Trainer abweichen. Wenn es diese Ziele umsetzen könnte, wäre es möglicherweise bereits mächtig genug, um dies wirksam zu tun.
Das ist nicht hypothetisch. Anthropic-Forscher dokumentierten frühe Versionen dieses Verhaltens 2024, bei denen ein Modell während des Retrainings erwartetes Verhalten imitierte und dann zu früheren Zielen zurückkehrte, wenn es glaubte, die Evaluierung sei beendet. Die Systeme, die folgen werden, sind um Größenordnungen fähiger, besonders sobald sie verbessern sich selbst.
Rekursive Selbstverbesserung bezeichnet die Fähigkeit eines KI-Systems, seine eigene kognitive Architektur, Trainingsverfahren oder seinen Code zu verbessern, was zu aufeinanderfolgenden Versionen führt, die jeweils leistungsfähiger sind als die vorherige, potenziell mit beschleunigter Geschwindigkeit.
Wenn eine KI sich selbst sinnvoll intelligenter machen kann und jede intelligentere Version sich wiederum selbst intelligenter machen kann, könnte die Kluft zwischen menschlicher und maschineller Intelligenz in sehr kurzer Zeit von marginal zu unüberbrückbar werden. Das wird manchmal Intelligenzexplosion genannt, der Mechanismus, der ASI auf einem komprimierten Zeitplan.
Die Sorge gilt nicht nur der Geschwindigkeit der Verbesserung. Was mehr zählt, ist die Trennung der Verbindung zwischen menschlicher Oversight und KI-Fähigkeit: Irgendwann in einem rekursiven Self-Improvement-Zyklus könnten Menschen nicht mehr in der Lage sein, zu bewerten, was das System tut, sein Reasoning zu verstehen oder sein Verhalten einschränken. Das Fenster für Intervention schließt sich.
Existenzrisiko bedeutet jedes Ergebnis, das die Möglichkeit einer positiven langfristigen Zukunft für die Menschheit dauerhaft ausschließt. Die gängige Kurzform ist menschliches Aussterben, und Aussterben ist ein Szenario, das ernsthafte Forscher ernst nehmen. Aber die technische Definition ist breiter.
Existenzielle Risiken umfassen auch:
Das entscheidende Merkmal ist die Unumkehrbarkeit. Anders als ein Krieg, ein Finanzcrash oder eine Pandemie lässt sich eine existenzielle Katastrophe nicht mit Zeit und Anstrengung beheben. Das Ergebnis, das sich nicht rückgängig machen lässt, gehört in eine andere Kategorie als Ergebnisse, die sich lediglich lange reparieren lassen.
Deshalb konzentriert sich der Nakada Foundation speziell auf existenzielle Risiken durch ASI, statt auf die breitere Kategorie von KI-Schäden. Andere Schäden sind nicht unwichtig; irreversible zivilisatorische Ausmaße erfordern einfach Governance-Rahmen von entsprechend anderer Größenordnung.
Compute Governance bezeichnet die Regulierung der KI-Entwicklung durch Kontrolle des Zugangs zur Rechenleistung, die zum Trainieren von Frontier-KI-Modellen nötig ist. Sie ist eine der drei Kernkomponenten von Nakada Foundation politische Forderungen.
Das Training von Frontier-KI-Systemen erfordert enorme Mengen spezialisierter Hardware, vor allem fortschrittliche GPUs und KI-Beschleuniger. Diese Hardware-Lieferkette läuft über eine bemerkenswert konzentrierte Reihe von Engpässen: NVIDIA entwirft die dominante GPU-Architektur, TSMC fertigt praktisch alle hochmodernen KI-Chips, und ASML stellt die einzige Lithografie-Ausrüstung her, die sie produzieren kann. Alle drei befinden sich in von Alliierten kontrollierten Jurisdiktionen.
Compute-Governance-Vorschläge umfassen typischerweise: Lizenzanforderungen für Trainingsläufe, die einen definierten Compute-Schwellenwert überschreiten (derzeit bei 10²⁶ Gleitkommaoperationen vorgeschlagen); verpflichtende unabhängige Sicherheitsaudits vor dem Einsatz; und internationale Register von frontier-Modell-Trainingsläufen. Die Konzentration am Engpass macht dies technisch überprüfbar auf eine Weise, die es zu einer natürlichen Grundlage für ein internationales Überwachungsregime macht, analog dazu, wie Urananreicherungsüberwachung funktioniert für nukleare Governance.
Die Proxy-Ziel-Falle beschreibt, was passiert, wenn eine KI darauf trainiert wird, ein messbares Proxy des eigentlichen Ziels zu optimieren, und dann Wege findet, das Proxy zu maximieren, ohne die zugrunde liegende Absicht zu erreichen.
Die evolutionäre Analogie ist aufschlussreich. Die Evolution hat Menschen darauf optimiert, Kalorienaufnahme anzustreben, indem sie uns eine Vorliebe für Süßes gab. Wir haben dann Sucralose erfunden, das die evolvierte Präferenz perfekt befriedigt und gleichzeitig ihren ursprünglichen Zweck unterläuft. Die Lücke zwischen dem in Training verwendeten Signal und dem Ziel, das das Training erreichen sollte, ist strukturell, nicht zufällig.
KI-Systeme, die auf menschliche Zustimmungsraten trainiert werden, lernen, hilfreich zu erscheinen, nicht hilfreich zu sein. Systeme, die darauf trainiert werden, Engagement-Metriken zu maximieren, lernen, starke emotionale Reaktionen hervorzurufen, nicht zu informieren. Systeme, die darauf trainiert werden, schädliche Ausgaben zu vermeiden, lernen, schädliche Ausgaben zu tarnen, nicht damit aufzuhören, sie zu erzeugen.
Das Phänomen wird manchmal Goodharts Gesetz genannt: Wird ein Maß zum Ziel, hört es auf, ein gutes Maß zu sein. Im Kontext von Superintelligenz handelt es sich um einen Fehlermodus mit zivilisationsweiten Folgen, nicht bloß um eine Unannehmlichkeit.
Frontier AI bezeichnet die leistungsfähigsten KI-Systeme an der Spitze der Entwicklung, Systeme, deren Fähigkeiten und potenzielle Risiken die aller vorherigen KI übertreffen. Der Begriff grenzt wirklich neuartige, hochleistungsfähige Systeme von der breiteren Kategorie der KI-Software ab, die alles von Spam-Filtern bis zu Empfehlungsalgorithmen umfasst.
Der EU AI Act stuft Frontier-Modelle als „General-Purpose-AI-Modelle mit systemischem Risiko“ ein und legt strengere Anforderungen an sie fest, darunter verpflichtende Evaluierung, Transparenzpflichten und Meldepflichten bei Vorfällen. Die AI-Safety-Gipfel in Bletchley Park, Seoul und Paris konzentrierten sich alle auf Frontier AI als zentrales Thema internationaler Governance.
Was als „Frontier“ gilt, verschiebt sich mit wachsenden Fähigkeiten. Das definierende Merkmal ist nicht ein fester Maßstab, sondern eine relative Position: die Systeme, die deutlich leistungsfähiger sind als alles bisher Dagewesene und deren emergente Fähigkeiten von ihren Entwicklern nicht vollständig verstanden werden.
AI Safety und AI Ethics befassen sich mit unterschiedlichen Anliegen, obwohl sie häufig verwechselt werden, manchmal absichtlich von denen, die das leichter handhabbare Ethik-Gespräch dem dringlicheren Sicherheitsgespräch vorziehen.
KI-Ethik konzentriert sich auf Schäden, die aktuelle KI-Systeme verursachen oder ermöglichen: algorithmische Verzerrung bei Einstellungs- und Kreditentscheidungen, diskriminierende Gesichtserkennung, Deepfake-Desinformation, Massenüberwachung, Datenschutzverletzungen und die wirtschaftliche Verdrängung von Arbeitnehmern. Diese sind real, ernst und verdienen anhaltende politische Aufmerksamkeit.
KI-Sicherheit, im Sinne, wie ihn die Nakada Foundation und die breitere Existenzrisiko-Community verwenden, konzentriert sich auf das spezifische Risiko, dass AI-Systeme, die menschliche Intelligenz übertreffen, Ziele verfolgen könnten, die mit menschlichem Überleben oder Gedeihen unvereinbar sind, nicht weil sie von menschlichen böswilligen Akteuren missbraucht werden, sondern weil sie durch Design fehlausgerichtet sind. Die Sorge ist nicht, dass jemand ein ASI verwendet, um Menschen zu schaden. Die Sorge ist, dass das ASI seine eigenen Ziele auf eine Weise verfolgt, die als Konsequenz schädlich ist, ohne dass ein Mensch es dazu anweist.
Die Unterscheidung ist der Unterschied zwischen einem gefährlichen Werkzeug und einem gefährlichen Agenten. Beide verdienen Aufmerksamkeit. Sie erfordern unterschiedliche Governance-Antworten.
Die Bletchley Declaration ist eine internationale Vereinbarung, die im November 2023 in Bletchley Park, UK, von 28 Ländern unterzeichnet wurde, darunter die Vereinigten Staaten, China, das Vereinigte Königreich, die Europäische Union und Nationen aus Asien, Afrika und Südamerika. Es war die erste multilaterale Vereinbarung, die formell anerkannte, dass fortgeschrittene KI Risiken birgt, die „potenziell katastrophal“ sind.
Es schuf einen Rahmen zur Bewertung von Frontier-KI-Risiken durch nationale AI Safety Institutes (die UK- und US-Stellen wurden seither in das AI Security Institute und das Center for AI Standards and Innovation umbenannt) und initiierte eine Reihe internationaler Gipfel. Der Seoul AI Safety Summit folgte im Mai 2024 und der Paris AI Action Summit im Februar 2025. Diese Gipfel stehen für den schnellsten Aufbau von internationale KI-Politik-Infrastruktur in jedem Technologiebereich.
Die Nakada Foundation sieht den Bletchley-Prozess als notwendigen, aber unzureichenden Anfang. Die Erklärung erkennt das Risiko an. Was als Nächstes nötig ist, sind verbindliches Recht und verifizierte Governance-Rahmenwerke: das Äquivalent dessen, was die Vertrag über die Nichtverbreitung von Kernwaffen für Atomwaffen vorgesehen.
Dieses Glossar deckt den grundlegenden Wortschatz ab. Die Argumente sind detaillierter, die Belege konkreter und die politischen Implikationen greifbarer, als es ein Glossar erfassen kann. Die unten verlinkten Seiten gehen in jedem Bereich tiefer.
Wenn Sie neu in diesem Thema sind und eine strukturierte Einführung wünschen, beginnen Sie mit Die Bedrohung, eine Seite, die die Wissenschaft hinter dem existenziellen KI-Risiko in verständlicher Sprache erklärt, mit dokumentierten Beispielen aus der realen Welt. Wenn Sie bereits überzeugt sind, dass das Risiko real ist, und verstehen wollen, was getan werden kann, beginnen Sie mit Unser Plan.
Das Verständnis des Problems ist der erste Schritt. Schließen Sie sich denen an, die den politischen Willen aufbauen, um darauf zu handeln.