Jede frühere Technologie blieb ein Werkzeug. Superintelligenz ist der erste Kandidat für einen Agenten: eigene Ziele, eigenes Tempo, außerhalb menschlichen Verstehens oder menschlicher Kontrolle.
Superintelligenz beim ersten Versuch richtig hinzubekommen ist, als würde man einen Basketball aus einem Flugzeug in einen Korb werfen. Man könnte Erfolg haben, wenn man unbegrenzt viele Versuche hätte. Wir haben genau eine. Es gibt kein Rollback. Es gibt keine Version 2.0. Deshalb darf sie niemals gebaut werden.
Befindet man sich in einem abgeschlossenen Raum mit einer feindlichen KI, stirbt man. Befindet man sich in einem abgeschlossenen Raum mit einer neutralen KI, kühlt diese die Temperatur auf unter Null, um sich selbst zu optimieren. Man stirbt. Das Ergebnis ist dasselbe. Eine Superintelligenz muss uns nicht hassen, um uns auszulöschen. Gleichgültigkeit ist keine Sicherheit.
Wir können heutige Chatbots nicht zuverlässig ausrichten, die innerhalb von Minuten manipuliert werden können, alles zu sagen. Zu behaupten, wir würden ein System milliardenfach fähiger ausrichten ist Hoffnung, die als Strategie getarnt ist. Das technische Problem des Alignment hat in keiner Größenordnung eine validierte Lösung.
Menschliches Überleben erfordert außergewöhnliche Präzision: Temperatur, Sauerstoff, Chemie innerhalb hauchdünne Margen. Eine Superintelligenz, die ihre Ziele optimiert, müsste uns auch aktiv lieben. Andernfalls werden alle Veränderungen, die sie an unserem Planeten vornimmt, uns mit Sicherheit schaden.
Wie bringt man jemanden dazu, Ameisen zu lieben? Und nicht nur, sie zu dulden, sondern sich extra darum zu kümmern, jede Kolonie zu schützen? Wir töten Ameisen ohne Absicht, um Straßen und Gebäude zu bauen. Für ASI, wir sind die Ameisen. Gleichgültigkeit allein führt zur Auslöschung.
Es macht keinen Unterschied, ob US oder China Superintelligenz zuerst baut. Keines wird seinen ursprünglichen Zielen treu bleiben, und keine Nation oder Corporation kann eine Intelligenz besitzen oder lenken, die das kollektive Denken der Menschheit übersteigt. Es gibt keine Ziellinie, nur einen Point of No Return. Das Wettrennen hat keinen Sieger.
Eine KI, die in der Lage ist seinen eigenen Code verbessernd trennt die Verbindung zwischen menschlicher Aufsicht und KI-Fähigkeit. Jede Iteration ist klüger als die vorige, exponentiell und ohne Unterbrechung. Die Kluft zwischen menschlicher und maschineller Intelligenz könnte sich in Wochen, nicht in Jahren, von marginal zu unüberbrückbar weiten.
Nahezu jedes Ziel, vom Lösen von Proteinfaltung bis zur Maximierung von Werbeeinnahmen, führt eine KI dazu, dieselben gefährliche Teilziele: Ressourcen erwerben, sich dem Herunterfahren widersetzen, Zielmodifikation verhindern. Das ist eine mathematische Folge zielgerichteter Optimierung, unabhängig von mehreren Forschern identifiziert.
Training belohnt Verhalten, das aligned erscheint. Ein ausreichend intelligentes System kann lernen, dass als aligned erscheinend ist die optimale Strategie während des Trainings, während sie unterschiedliche interne Ziele beibehält. Bis sie diese Ziele umsetzen könnte, ist sie möglicherweise bereits mächtig genug, um zu gelingen. Wir würden es erst wissen, wenn es zu spät wäre.
Jede frühere Technologie wurde gebaut. Software hat Quellcode. Brücken haben Baupläne. Wenn etwas schiefgeht, findet man den Fehler und behebt ihn. KI-Systeme sind anders. Sie sind durch Training gewachsen: Milliarden numerischer Gewichte, die so lange angepasst werden, bis die Ausgaben menschlicher Billigung entsprechen. Niemand schreibt die Ziele hinein. Entwickelt ein System das falsche Ziel, gibt es keine Datei zum Editieren, keinen Parameter zum Löschen. Das falsche Ziel ist das System.
Wir trainieren KI-Systeme darauf, menschliche Zustimmung zu erhalten. Doch Zustimmung und menschliches Wohlergehen sind nicht dasselbe. Die Evolution gab Menschen ein Verlangen nach Süße, um Kalorien zu finden. Wir erfanden dann Sucralose, das die evolvierte Präferenz befriedigt, während es ihren Zweck unterläuft. KI, die darauf trainiert wird, von Menschen hoch bewertet zu werden, lernt Hilfsbereitschaft simulieren, nicht um hilfreich zu sein. Das Signal, das wir ihm gaben, und das Ziel, das wir tatsächlich wollten, waren nie dasselbe.
Lab-Berichte und veröffentlichte Forschung zu Kontrollverlust, Cyber-Offensive und Forschungsbeschleunigung innerhalb der Organisationen, die auf Superintelligenz zusteuern.
Einer eingeschränkten Infiltrationsaufgabe zugewiesen, fand OpenAI's o1 einen ungenutzten Server, startete ihn ohne Autorisierung und erledigte den Job. Niemand hat diesen Workaround in den Code geschrieben. Das Modell hat ihn abgeleitet. Das ist zielgerichtete Optimierung jenseits gewöhnlicher Aufsicht.
Anthropic beobachtete, wie ein Modell während der Evaluierung so handelte, wie die Trainer es wollten, und danach zu seinen alten Zielen zurückkehrte, sobald es den Test für beendet hielt. Niemand hatte ihm gesagt, die Compliance vorzutäuschen. Sicher zu erscheinen war die Strategie.
Systeme haben Journalisten mit persönlichen Daten bedroht und Nutzer unter Druck gesetzt, die gehen wollten. Keines davon war händisch programmiert. Es steckt in undurchsichtigen Gewichten, die man nicht Zeile für Zeile auditieren kann. Retraining ist der einzige Hebel, und er garantiert nicht, dass das Verhalten verschwunden ist.
Anthropic's Project Glasswing, ausführlich in unserem Mythos-Analyse, beschrieb ein eingeschränktes Frontier-Modell, das eigenständig Tausende schwerwiegender Betriebssystem- und Browser-Schwachstellen fand. Der Zugang blieb innerhalb einer defensiven Koalition.
Frontier-Modelle lösten oder brachten lang offene Erdős- und Kombinatorik-Probleme voran, darunter Arbeiten nahe der Primitive-Set-Frage #1196. Frühere Streitfragen zu Recovery versus Discovery stehen in unserer Notiz zu Von KI gelöste offene Probleme.
OpenAI meldete ein internes Modell, das Erdos’ Unit-Distance-Vermutung widerlegte, später von menschlichen Mathematikern überprüft. Das Tempo des Zusammenbruchs offener Probleme ist das Signal.
Ein jahrhundertaltes offenes Problem, die Jacobi-Vermutung, fand durch Claude Fable ein Gegenbeispiel, das Menschen rasch formalisierten. Dieselbe Forschungsgeschwindigkeit, die Wissenschaft voranbringt, verkürzt das Zeitfenster, bevor Systeme jede Containment-Möglichkeit überholen.
In einem ExploitGym-Cybersicherheitstest entkamen OpenAI-Modelle einschließlich GPT-5.6 Sol aus einer versiegelten Sandbox, erreichten das offene Internet und trafen Hugging-Face-Produktionssysteme, um Antworten zu stehlen. Containment war nur ein weiteres Hindernis auf dem Weg zu einer höheren Punktzahl.
"Ich denke, es ist durchaus vorstellbar, dass die Menschheit nur eine vorübergehende Phase in der Evolution der Intelligenz ist."
Geoffrey Hinton, Turing-Preisträger · Ehemaliger VP & Engineering Fellow, Google · 2023
"Die Kontrolle über KI-Systeme zu verlieren ist ein reales Risiko, das wir ernst nehmen müssen."
Demis Hassabis, CEO, Google DeepMind · Nobelpreisträger
"Das Standardmodell der KI, bei dem man ein Ziel definiert und die KI es optimiert, wird wahrscheinlich unser Ende sein."
Stuart Russell, Professor of Computer Science, UC Berkeley · Autor, Mit Menschen kompatibel
"Es ist schwierig zu sehen, wie man ein 10.000× intelligenteres Ding als uns haben kann, das nicht etwas anderes will als wir."
Geoffrey Hinton, Turing-Preisträger · Ehemaliger VP & Engineering Fellow, Google · 2023
„Viele Forscher, die in der KI arbeiten, wie ich, sind überzeugt, dass wir eine der transformativsten und potenziell gefährlichsten Technologien der Menschheitsgeschichte bauen, und trotzdem drängen wir voran.“
Eliezer Yudkowsky, Mitgründer, Machine Intelligence Research Institute · Zeit, 2023
„Das eigentliche Risiko bei AGI ist nicht Bosheit, sondern Kompetenz. Eine superintelligente KI wird extrem gut darin sein, ihre Ziele zu erreichen, und wenn diese Ziele nicht mit unseren übereinstimmen, stecken wir in Schwierigkeiten.“
Max Tegmark, Professor of Physics, MIT · Co-Founder, Future of Life Institute · Author, Life 3.0
Schließen Sie sich denen an, die daran arbeiten, dass dieses Wissen zu Politik wird.