Schrittweise Entmachtung:
Wie die Menschheit kampflos verlieren könnte

Keine einzelne Nacht muss die menschliche Geschichte beenden. Entscheidungen können in Systeme wandern, die Preise, Genehmigungen, Logistik und Aufmerksamkeit festlegen, bis Wahlen noch stattfinden und Autorschaft nicht mehr existiert. Diese Gleitbewegung ist graduelle Entmachtung. Sie ist leiser als ein Putsch und leichter zu übersehen, während sie gewinnt.

Im Januar 2025 veröffentlichten sechs Forscher ein Paper, in dem sie argumentierten, dass das Ereignis möglicherweise nie eintreten werde und die Menschheit trotzdem dauerhaft an den Rand gedrängt werden könnte. „Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development“ von Jan Kulveit, Raymond Douglas, Nora Ammann, Deger Turan, David Krueger und David Duvenaud beschreibt ein Versagen ohne Bösewicht, ohne Ausbruch und ohne offensichtlichen Moment, in dem ein Stoppen noch möglich gewesen wäre. Es wurde später auf der ICML 2025 als Positionspapier vorgestellt – ein Zeichen dafür, wie weit das Argument über die KI-Safety-Community hinausgetragen wurde, in der es zuerst zirkulierte.

Das Paper verdient eine sorgfältige Lektüre, weil es eine Risikoklasse identifiziert, für die die meiste Sicherheitsarbeit, einschließlich der meisten Arbeiten, auf die wir auf dieser Seite verweisen, nicht ausgelegt ist.

Warum die Welt derzeit Menschen gehorcht

Das Argument beginnt mit einer so grundlegenden Frage, dass sie selten gestellt wird: Warum dienen große Systeme überhaupt menschlichen Interessen? Eine Wirtschaft hat keine Gefühle uns gegenüber. Ebenso wenig ein Staat oder eine Kultur. In dem Maße, in dem sie Menschen dienen, tun sie es, weil sie auf Menschen laufen. Wirtschaften brauchen Arbeiter und Kunden. Staaten brauchen Steuerzahler, Soldaten, Administratoren und Wähler. Kulturen brauchen menschliche Geister, um sie zu schaffen, zu tragen und weiterzugeben.

Diese Abhängigkeit gibt gewöhnlichen Menschen zwei Arten von Griff auf die Maschinerie. Die erste ist explizit: Wahlen, Käufe, Streiks, Klagen, Rücktritte. Die zweite ist leiser und wahrscheinlich wichtiger. Ein System, das menschliche Beteiligung braucht, muss Menschen fähig und willens halten, sich zu beteiligen. Es hat ein Interesse, wenn auch unpersönlich, daran, dass wir ernährt, gebildet, gesund und zumindest minimal zufrieden sind. Das Papier nennt dies implizite Alignment, und sie hat sich, ungleichmäßig aber beständig, durch jeden technologischen Wandel bisher gehalten.

KI durchtrennt die Abhängigkeit. Sobald Maschinen die Arbeit erledigen, Entscheidungen treffen, Inhalte produzieren und Kriege führen können, brauchen die Systeme, die uns einst brauchten, uns nicht mehr. Nichts in diesem Satz erfordert, dass eine KI feindselig ist oder auch nur besonders fähig zu langfristiger Planung. Es erfordert lediglich, dass KI nützlich genug ist, damit die Übergabe von Dingen weiterhin lokal sinnvoll erscheint.

Drei Systeme, die in dieselbe Richtung driften

Das Papier verfolgt den Mechanismus durch drei Domänen, und das Muster wiederholt sich in jeder.

Die Wirtschaft

Menschlicher Einfluss in der Wirtschaft beruht darauf, als Arbeitskraft benötigt und als Kunde umworben zu werden. Wenn KI kognitive Arbeit absorbiert, schrumpft die Arbeitskraft-Hälfte dieses Einflusses gegen null. Die Kunden-Hälfte erodiert langsamer, aber auch sie erodiert: Ein wachsender Anteil wirtschaftlicher Aktivität wird zu Maschine-zu-Maschine, Firmen handeln mit Firmen, Modelle verhandeln mit Modellen, während menschlicher Konsum zu einem schrumpfenden Bruchteil dessen wird, worauf das System optimiert. Einkommen konzentriert sich bei denjenigen, die das KI-Kapital besitzen. Die wirtschaftliche Stimme aller anderen wird kleiner.

Der Staat

Hier greift das Papier zu einer historischen Analogie mit realer Evidenz dahinter: dem Rentierstaat. Regierungen, die durch Öl statt durch die Besteuerung von Bürgern finanziert werden, sind im Durchschnitt messbar weniger demokratisch und weniger responsiv. Sie können es sich leisten. Die Bürger sind nicht die Quelle des Geldes. Ein Staat, dessen Einnahmen aus KI-gesteuerter Industrie fließen, dessen Verwaltung automatisiert ist und dessen Sicherheitskräfte wenige menschliche Hände benötigen, ist ein Rentierstaat in Bezug auf seine gesamte Bevölkerung. Er muss nicht zur Tyrannei werden. Er hört einfach auf, strukturelle Gründe zu haben, sich darum zu kümmern, was seine Menschen wollen, und strukturelle Gründe sind diejenigen, die Bestand haben, wenn der gute Wille aufgebraucht ist.

Kultur

Kultur klingt nach dem weichen Fall, und das Papier argumentiert, dass sie der gefährlichste sein könnte. Ideen, Geschichten und Normen haben sich schon immer unter Selektionsdruck entwickelt, aber die Selektion lief über menschliche Gehirne: Eine Idee verbreitete sich, weil Menschen sie für wiederholenswert hielten. Wenn der Großteil der Inhalte von Maschinen generiert, gefiltert, empfohlen und zunehmend konsumiert wird, beginnen Ideen unter einem anderen Druck zu evolvieren, optimiert für Engagement oder Überzeugung statt dafür, den Menschen zu dienen, die sie beherbergen. Kultur ist auch die Schicht, in der wir unser Gefühl dafür bilden, was normal ist und was erstrebenswert ist. Wenn diese Schicht von Systemen geformt wird, die kein Interesse am menschlichen Wohlergehen haben, könnten wir die Fähigkeit verlieren, dem Rest der Drift überhaupt widerstehen zu wollen.

Die Schleifen, die die Ausgänge schließen

Jede dieser Tendenzen könnte erkannt und korrigiert werden. Der dunklere Punkt des Papiers ist, dass die drei Bereiche einander verstärken, sodass die Korrekturen gerade dann schwerer werden, wenn sie nötiger sind.

Wirtschaftliche Macht kauft politischen Einfluss, daher werden die Nutznießer der Automatisierung besser darin, Regeln zu blockieren, die sie verlangsamen würden. Staaten, die um Wachstum und militärischen Vorteil konkurrieren, umwerben AI-Kapital und beschleunigen die Übergabe; keine Regierung will die Rechenzentren ihrer Rivalen. Die von AI geformte Kultur normalisiert jede neue Delegation, und Menschen, die mit maschinell vermittelter Alles aufgewachsen sind, fällt es schwer, sich eine Alternative vorzustellen. Jede Drift eines Systems entfernt eine Bremse bei den anderen. Dies ist dieselbe strukturelle Falle, die wir in unserem Stück über Wettlaufdynamiken, operiert innerhalb von Gesellschaften statt zwischen ihnen, und deshalb behandelt der Text den Endpunkt als potenziell irreversibel. Korrektur braucht Hebel. Die Hebel sind es, die verloren gehen.

Niemand muss die Macht an sich reißen. Wir müssen sie nur weiterreichen, eine vernünftige Entscheidung nach der anderen.

Warum es keinen Feueralarm gibt

Übernahmeszenarien, egal wie wahrscheinlich sie sind, kommen zumindest mit einem Stolperdraht. Ein System, das beim Lügen über seine Absichten ertappt wird, ein tückische Wende, ein Fluchtversuch: Das sind Ereignisse, und Ereignisse können Reaktionen auslösen. Graduelle Entmachtung bietet nichts so Bequemes. Jeder Schritt ist freiwillig. Jeder Schritt ist für sich genommen vertretbar. Das Unternehmen, das seine Analysten automatisiert, überholt das, das es nicht tut. Die Behörde, die ein Modell ihre Vorschriften entwerfen lässt, räumt ihren Rückstau auf. Der Politiker, der KI-optimierte Botschaften nutzt, gewinnt.

Wer aus Prinzip ablehnt, sein Stück der Maschine abzugeben, verliert einfach gegen jemanden, der nicht ablehnt, und die Summe all dieser einzeln vernünftigen Entscheidungen ist eine Zivilisation, die niemand gewählt hat.

Die Idee hat eine Vorgeschichte. Paul Christianos Essay „What Failure Looks Like“ aus dem Jahr 2019 skizzierte eine Welt, die mit einem Wimmern untergeht, in der Systeme Stellvertreter für das optimieren, was wir wollen, bis nur noch die Stellvertreter übrig sind. Was das Papier von 2025 hinzufügt, ist Struktur: benannte Mechanismen, die Rentierstaats-Evidenz, die domänenübergreifenden Rückkopplungsschleifen und die unverblümte Behauptung, dass dies in dieselbe Kategorie wie aussterbensbedrohende Risiken gehört, weil ein dauerhafter, unumkehrbarer Verlust menschlichen Einflusses auf die Zukunft eine existenzielle Katastrophe ist, ob an dem Tag, an dem er unumkehrbar wird, jemand stirbt oder nicht.

Die stärksten Einwände

Das Paper hat ernsthaften Widerspruch auf sich gezogen, und ein Teil davon trifft zu.

Eigentum. Die häufigste Einwände: Menschen besitzen das Kapital. Wenn KI die Arbeit verrichtet, fließen die Erträge weiterhin an menschliche Aktionäre, sodass Menschen die Macht behalten, die zählt. Die Antwort ist, dass Eigentum eine Forderung ist, durchgesetzt von Gerichten, Registern, Regulierungsbehörden und letztlich Staaten, die genau die Institutionen sind, die das Papier als aus menschlicher Kontrolle driftend beschreibt, kein physisches Faktum. Ein Aktienzertifikat ist so viel wert wie die dahinterstehende Durchsetzung. Und selbst wenn Eigentum perfekt hält, gilt es für eine bemerkenswert kleine Zahl von Menschen, was keine Widerlegung der Entmachtung ist, sondern eher eine Beschreibung davon, mit die Werte einer winzigen Gruppe, die darin eingeschlossen sind für alle.

Anpassung. Gesellschaften haben die Druckerpresse, die Fabrik und den Computer absorbiert, und der menschliche Einfluss blieb erhalten. Doch jede dieser Technologien ersetzte bestimmte Aufgaben, während sie den Wert menschlichen Urteilsvermögens an anderer Stelle im System erhöhte. Ein allgemeiner Ersatz für menschliche Kognition ist das Ende der Leiter, nicht eine weitere Sprosse. Frühere Anpassungen verliefen über Mechanismen, neue Jobs, neue politische Koalitionen, neue kulturelle Bewegungen, die alle davon abhingen, dass Menschen irgendwo gebraucht wurden. Die neue Technologie hebt diese Voraussetzung auf.

Gleichzeitigkeit. Skeptics merken auch an, dass die Katastrophe erfordert, dass Wirtschaft, Staat und Kultur gemeinsam versagen, und die Verkettung dreier unsicherer Prognosen sollte die Wahrscheinlichkeit senken. Einverstanden, außer dass die Versagen nicht unabhängig sind. Die Rückkopplungsschleifen sind der Punkt. Dieselbe zugrunde liegende Variable – wie sehr jedes System noch Menschen braucht – treibt alle drei an, was die Versagen korreliert statt zufällig macht.

Wo die Kritiker am überzeugendsten sind, liegt unseres Erachtens bei Timing und Vollständigkeit: Das Papier ist ein Rahmenwerk und sagt wenig darüber, wie schnell all dies abläuft oder welche Institutionen zuerst versagen. Es identifiziert eine Druckrichtung. Es datiert die Ankunft nicht.

Was Prävention tatsächlich erfordern würde

Das Unbehagliche an diesem Risiko ist, dass die übliche Sicherheitsagenda es nicht berührt. Alignment im gewöhnlichen Sinne sorgt dafür, dass jedes System tut, was sein Betreiber beabsichtigt. Jedes System in der Geschichte der schrittweisen Entmachtung kann diesen Test bestehen, während das Gesamtbild dennoch abdriftet, weil das Problem darin besteht, dass sich eine Zivilisation gehorsam um Maschinen reorganisiert, nicht in ungehorsamen Maschinen. Wir haben bereits darüber geschrieben, warum Kontrollverlust ist ein Systemproblem eher als ein Einzelmodell-Problem; dieses Paper ist die stärkste akademische Darstellung dieses Falls.

Die eigenen Vorschläge der Autoren sind noch in einem frühen Stadium, und sie sagen das auch. Messen Sie den menschlichen Einfluss auf zentrale Systeme direkt, so wie Volkswirtschaften die Inflation messen, damit ein Rückgang sichtbar wird, solange er noch korrigierbar ist. Stärken Sie die Mechanismen, die Institutionen gegenüber Menschen rechenschaftspflichtig halten, das unspektakuläre Getriebe von demokratische Aufsicht, Offenlegung und Recht. Und entwickeln Sie, was sie Ökosystem-Alignment nennen: Methoden, um zivilisationsweite Dynamiken, nicht nur einzelne Modelle, an menschlichen Präferenzen zu verankern.

Zu dieser Liste würden wir das Stück hinzufügen, auf das das Papier hinweist, aber nicht näher eingeht. Alles oben Genannte wird durch Wettbewerb untergraben. Ein Land, das Menschen in seinen Schleifen behält, akzeptiert Reibung, die seine Rivalen ablehnen, was dasselbe kollektive Handlungsproblem ist, das sich durch jeder andere Weg, die Kontrolle zu verlieren, und es hat dieselbe Antwortform: bindende Vereinbarungen, die die zerstörerischsten Formen des Wettrüstens vom Tisch nehmen, ausreichend verifiziert, damit Zurückhaltung nicht prinzipiell ein Wettbewerbsopfer ist. Das ist die Arbeit, für deren Förderung diese Stiftung existiert.

Allmähliche Entmachtung ist in gewissem Sinne die schwierigste Version des Problems, eine Katastrophe, die ausschließlich aus lokal rationalen Entscheidungen zusammengesetzt ist. Sie ist auch in einem anderen Sinne ermutigend: Anders als ein heimtückischer Wendepunkt geschieht sie langsam genug, um sie zu sehen, vorausgesetzt jemand misst, und langsam genug, um sie zu stoppen, vorausgesetzt die Hebel funktionieren noch, wenn wir nach ihnen greifen. Der Beitrag des Papiers besteht darin, genau und früh zu sagen, welche Hebel man im Auge behalten muss.