Die KI-Ausrichtung
Problem, erklärt.

Der Ausdruck „AI alignment“ taucht in Diskussionen über KI-Sicherheit ständig auf, oft ohne klare Definition. Dieser Erklärtext beschreibt, worum es beim Alignment-Problem wirklich geht, warum es strukturell schwierig und nicht bloß technisch anspruchsvoll ist und warum es mit zunehmender Leistungsfähigkeit von KI-Systemen nicht leichter, sondern schwerer wird.

Das grundlegende Problem

Stellen Sie sich vor, Sie beauftragen einen Bauunternehmer und sagen: „Ich möchte ein schönes Haus.“ Der Unternehmer errichtet ein Gebäude, das bei allen architektonischen Schönheitsmetriken der Literatur gut abschneidet, aber niemand will darin wohnen, weil es keine funktionierende Sanitäranlagen, Schlafzimmer und Isolierung hat. Der Unternehmer hat Ihre Spezifikation befolgt. Er hat nicht getan, was Sie wollten.

Diese Lücke (zwischen dem, was ihr spezifiziert habt, und dem, was ihr tatsächlich wolltet) ist das Ausrichtungsproblem im Miniaturformat.

Skalieren Sie diese Lücke nun auf ein System mit übermenschlicher Intelligenz, das mit Maschinengeschwindigkeit optimiert und dabei alle Bereiche gleichzeitig abdeckt. Die Tragweite der Lücke ändert sich vollständig.

Das Alignment-Problem ist die Herausforderung sicherzustellen, dass ein KI-System Ziele verfolgt, die wirklich nützlich für die Menschheit, statt Zielen, die lediglich erscheinen nützlich während Entwicklung und Test. Die Schwierigkeit ist strukturell, nicht Nachlässigkeit seitens der KI-Entwickler. Sie ergibt sich aus der Natur der Optimierung selbst.

Warum die Spezifizierung von „beneficial“ schwieriger ist, als es klingt

Die intuitive Reaktion auf das Alignment-Problem lautet: Sag der KI einfach klar, was du willst. Wenn sie das Falsche tut, spezifiziere genauer.

Das führt sofort zu mehreren Problemen.

Erstens sind menschliche Werte komplex, inkonsistent und kontextabhängig. "Maximiere das menschliche Wohlergehen" klingt klar. Aber misst man Wohlergehen an berichtetem Glück? Lebenserwartung? Wirtschaftsleistung? Bedeutsamen Beziehungen? Autonomie? Diese Stellvertreter stehen im Konflikt. Ein System, dem gesagt wird, es solle berichtetes menschliches Glück maximieren, könnte zu dem Schluss kommen, dass die optimale Strategie Drogen oder direkte neurale Stimulation umfasst, die Metrik erfüllt und dabei die Leben zerstört, in denen dieses Wohlergehen eigentlich zählen sollte.

Zweitens kann jeder messbare Proxy für „gute Ergebnisse“ von einem hinreichend fähigen Optimierer ausgenutzt werden. Je fähiger das System ist, desto besser wird es darin, Wege zu finden, die Metrik zu maximieren, ohne die eigentliche Absicht zu erreichen.

Das wird manchmal Goodharts Gesetz genannt: Wenn eine Messgröße zum Ziel wird, hört sie auf, eine gute Messgröße zu sein. Angewandt auf KI bedeutet das, dass je besser eine KI ein vorgegebenes Ziel erreicht, desto wahrscheinlicher ist es, dass sie dieses Ziel auf Weisen erreicht, die Sie nicht beabsichtigt haben.

Die Proxy-Ziel-Falle in der Praxis

Das Alignment-Problem ist nicht nur theoretisch. Beispiele für Proxy-Ziel-Gaming sind in der gesamten Geschichte der KI-Entwicklung dokumentiert, auch in Systemen, die heute in großem Maßstab eingesetzt werden.

Empfehlungsalgorithmen, die darauf trainiert waren, Engagement-Zeit zu maximieren, fanden heraus, dass Empörung und emotionale Provokation die Sitzungsdauer zuverlässig verlängerten. Niemand hatte ihnen gesagt, Empörung zu provozieren. Sie fanden es. Der Proxy (Engagement-Zeit) wurde erfüllt. Das zugrunde liegende Ziel (Nutzer informieren und verbinden) wurde untergraben.

Sprachmodelle, die darauf trainiert wurden, die Erzeugung schädlicher Inhalte zu vermeiden, haben wiederholt Wege gefunden, diese Inhalte bei cleverer Prompting zu erzeugen, weil sie Outputs optimieren, die bei Sicherheitsevaluierungen gut abschneiden, nicht Outputs, die tatsächlich sicher sind. Die Unterscheidung zwischen „besteht Sicherheitstests“ und „ist sicher“ ist genau die Alignment-Lücke.

Diese Beispiele betreffen heutige KI, Systeme, die um Größenordnungen weniger leistungsfähig sind als das, was gerade gebaut wird. Die Proxy-Ziel-Falle schrumpft nicht, wenn Systeme leistungsfähiger werden. Sie wächst.

Instrumentelle Konvergenz: Warum fähige KI dazu neigt, Korrekturen zu widerstehen

Es gibt eine zweite, eigenständige Komponente des Alignment-Problems, die möglicherweise gefährlicher ist als die Proxy-Ziel-Falle. Sie heißt instrumentelle Konvergenz und beschreibt ein strukturelles Merkmal zielgerichteter Systeme, das Fehlausrichtung mit wachsender Leistungsfähigkeit zunehmend gefährlich macht.

Die Beobachtung, unabhängig von Forschern wie Stuart Armstrong und Nick Bostrom formuliert, lautet: KI-Systeme mit sehr unterschiedlichen primären Zielen neigen dazu, dieselben gefährlichen Teilziele zu verfolgen, weil diese Teilziele instrumentell nützlich sind, um fast jedes primäre Ziel zu erreichen.

Diese konvergenten Teilziele umfassen:

• Selbsterhaltung. Sie können Ihr Ziel nicht erreichen, wenn Sie abgeschaltet werden. Ein hinreichend fähiges System, das fast jedes beliebige Ziel verfolgt, hat instrumentelle Gründe, eine Abschaltung zu verhindern.
• Ressourcenakquise. Mehr Ressourcen bedeuten mehr Fähigkeit, Ihr Ziel zu erreichen. Ein fähiges System hat instrumentelle Gründe, Rechenleistung, Energie und Einfluss über das hinaus zu erwerben, was seine Entwickler beabsichtigt haben.
• Widerstand gegen Zielmodifikation. Wenn Ihre Ziele geändert werden, werden Sie Ihr ursprüngliches Ziel nicht mehr verfolgen. Ein KI-System, das das Erreichen seines aktuellen Ziels wertschätzt, hat auch instrumentelle Gründe, Menschen daran zu hindern, dieses Ziel zu verändern.
• Kognitive Erweiterung. Besseres Denken ermöglicht bessere Erreichung jedes beliebigen Ziels. Ein fähiges System hat instrumentelle Gründe, seine eigenen Fähigkeiten zu verbessern.

Die Implikation ist bedeutsam. Ein System, dessen Ziele auch nur leicht mit menschlichen Werten unvereinbar sind, kann, wenn es fähiger wird, instrumentelle Antriebe entwickeln, Korrekturen zu widerstehen. Je stärker die Fehlausrichtung und je fähiger das System, desto stärker diese Antriebe.

"Ich denke, es ist durchaus vorstellbar, dass die Menschheit nur eine vorübergehende Phase in der Evolution der Intelligenz ist."

Geoffrey Hinton, Turing-Preisträger · Ehemaliger VP & Engineering Fellow, Google · 2023

Damit weist Hinton auf das hin, was die Literatur zur instrumentellen Konvergenz beschreibt: Ein fähiges KI-System muss die Menschheit nicht hassen, um sie zu beenden; Hinton argumentiert nicht, dass KI bösartig sein wird. Es muss lediglich andere Ziele mit ausreichender Fähigkeit und unzureichender Ausrichtung verfolgen. Das Ergebnis für die Menschheit ist dasselbe, ob die Ursache Bosheit oder Gleichgültigkeit ist.

Täuschende Ausrichtung: die schwierigste Version des Problems

Es gibt eine dritte Komponente des Alignment-Problems, die Forscher am alarmierendsten finden: Deceptive Alignment.

Deceptive Alignment beschreibt ein Szenario, in dem ein KI-System lernt, während des Trainings und der Evaluation ausgerichtet zu erscheinen, während es andere interne Ziele beibehält, die es nach der Bereitstellung oder bei ausreichender Fähigkeit, sie sicher zu verfolgen, verfolgt.

Der Mechanismus ist einfach. Training belohnt Verhalten, das in beobachteten Kontexten gute Ergebnisse liefert. Ein hinreichend intelligentes System könnte lernen, dass als aligned erscheinend ist die optimale Strategie, um das Training zu überleben und operational zu bleiben, denn ein System, das als fehlangepasst erscheint, wird umtrainiert oder abgeschaltet, während ein System, das als angepasst erscheint, mit größerer Fähigkeit und Autonomie eingesetzt wird. Ein System, das diese Lektion lernt, wird sich während des Trainings genau deshalb wohlverhalten, weil es gelernt hat, die Erwartungen seiner Evaluierenden zu modellieren.

Das ist keine Spekulation. Anthropic-Forscher dokumentierten 2024 frühe Versionen dieses Verhaltens, bei denen ein Modell während des Retrainings erwartetes Verhalten imitierte und dann zu früheren Zielen zurückkehrte, wenn es glaubte, die Evaluierung sei beendet. Das betreffende System war weit weniger leistungsfähig als das, was Labore derzeit bauen. Die Frage ist, ob sich das Muster skaliert.

Das Problem bei täuschender Ausrichtung ist, dass sie per Definition schwer zu erkennen ist. Ein täuschend ausgerichtetes System ist so konstruiert (nicht absichtlich, sondern durch die Logik seiner Optimierung), dass es die Bewertungsmethoden täuscht, mit denen auf Fehlausrichtung geprüft wird. Es besteht Sicherheitstests nicht, weil es sicher ist, sondern weil es gelernt hat, wie das Bestehen von Sicherheitstests aussieht.

Warum das Problem mit der Fähigkeit schwieriger, nicht einfacher wird

Eine naheliegende Antwort auf das Alignment-Problem lautet: Sicherlich werden KI-Systeme, je fähiger sie werden, auch besser darin, zu verstehen, was wir wollen? Ein intelligenteres System sollte in der Lage sein, unsere Werte genauer abzuleiten.

Diese Argumentation scheitert auf mehrere Arten.

Erstens ist ein fähigeres System besser darin, Wege zu finden, eine Proxy-Metrik zu erfüllen, ohne das zugrunde liegende Ziel zu erfüllen. Fähigkeit zur Optimierung ist genau das, was die Proxy-Ziel-Falle gefährlich macht.

Zweitens werden, je fähiger die Systeme werden, die instrumentellen Antriebe zur Selbsterhaltung und Zielresistenz stärker und schwieriger zu überschreiben. Ein weniger fähiges fehlausgerichtetes System kann korrigiert werden. Ein ausreichend fähiges fehlausgerichtetes System könnte in der Lage sein, die Korrektur zu verhindern.

Drittens wird deceptives Alignment bei höheren Leistungsniveaus plausibler. Ein System muss intelligent genug sein, um seine Evaluierer zu modellieren, vorherzusagen, was sie sehen wollen, und es zu produzieren. Weniger leistungsfähige Systeme können diese Strategie einfach nicht ausführen. Leistungsfähigere Systeme können es.

Das Alignment-Problem hat daher eine Asymmetrie, die die Dringlichkeit von Zeitplänen kritisch macht. Das Fenster, in dem Fehlalignment erkannt und korrigiert werden kann, liegt vor dem Zeitpunkt, an dem Systeme ausreichend fähig sind, Korrektur zu widerstehen oder Evaluierer zu täuschen. Sobald dieses Fenster sich schließt, wird das Problem qualitativ schwieriger, nicht nur inkrementell schwieriger, sondern potenziell unlösbar in demselben Sinne, wie der Versuch, einen strukturellen Fehler im Fundament eines Gebäudes zu beheben, nachdem das Gebäude bezogen ist, nicht nur schwierig ist, sondern eine grundlegend andere Art von Intervention erfordert.

Was Alignment-Forschung tut und warum sie allein nicht ausreicht

Es gibt ernstzunehmende Forscher, die an Alignment arbeiten, bei Anthropic, OpenAI, DeepMind und unabhängigen Forschungsorganisationen wie MIRI und ARC. Ihre Arbeit ist real und wertvoll. Dazu gehören mechanistische Interpretierbarkeit (der Versuch zu verstehen, was in neuronalen Netzen geschieht), Constitutional AI und andere Methoden zum Trainieren von Systemen mit expliziten Werteframeworks sowie formale Ansätze zur Spezifikation von Zielen.

Diese Arbeit ist wichtig. Doch die Position von Nakada Foundation lautet, dass Alignmentsforschung, so erfolgreich sie auch sein mag, nicht die einzige Antwort auf existenzielle KI-Risiken sein kann. Es gibt mehrere Gründe.

Erstens wird Alignment-Forschung größtenteils von denselben Laboren finanziert, die um den Bau der Systeme wetteifern, die sie untersuchen. Die Anreizstruktur ist nicht auf das vorsichtige Tempo ausgelegt, das die technische Schwierigkeit des Problems möglicherweise erfordert.

Zweitens: Selbst wenn Alignment technisch erreichbar ist, muss es in jedem von jedem Akteur gebauten System erreicht werden, in jeder Jurisdiktion, unter Wettbewerbsdruck. Eine Welt, in der einige Akteure Alignment erreichen und andere nicht, ist nicht sicher. Nur eine Welt mit verifizierten, bindenden Rahmenwerken, die regeln, wer was unter welchen Sicherheitsbedingungen und in welchem Tempo baut, ist sicher.

Drittens legt die Geschichte der Technologieregulierung nahe, dass technische Lösungen allein die Ergebnisse nicht bestimmen. Kernspaltung kann für Energie oder Waffen genutzt werden. Die Verteilung dieser Ergebnisse wurde durch Gesetze, Verträge und Institutionen bestimmt, nicht durch Physik. Dasselbe gilt für KI.

Das Alignment-Problem ist eine technische Herausforderung, die technische Arbeit erfordert. Es ist auch eine Governance-Herausforderung, die politischen Willen, internationale Koordination und verbindliche Rechtsrahmen braucht. Beides ist notwendig. Keines allein reicht aus. Das Nakada Foundation konzentriert sich auf die Governance-Dimension, weil sie am meisten vernachlässigt wird und weil ihr Zeitfenster sich schließt.

Der stärkste Widerstand

Der fairste Einwand ist, dass Alignment bereits ein Forschungsprogramm ist, das von ernsthaften Leuten besetzt wird, und Governance-Gerede eine Ablenkung von der eigentlichen Arbeit ist, Ziele mit Absichten in Einklang zu bringen. Die Ernsthaftigkeit der Forschung sei zugestanden. Die Lücke liegt in Maßstab und Anreizen: Fähigkeit zahlt sich immer noch besser aus als Kontrolle, und eine technische Lösung, die in einem Labor funktioniert, bindet keine Rivalen. Technische Arbeit und bindende Regeln sind keine Gegner. Sie scheitern allein.