Innere vs. äußere Ausrichtung, erklärt

Forscher teilen das Alignment-Problem in zwei Fragen, die leicht vermischt werden und wichtig auseinanderzuhalten sind. Die erste: Haben wir dem System das richtige Ziel gegeben? Nennen wir das Outer Alignment. Es geht um das Ziel, auf das wir trainieren, die Belohnung, die wir aushändigen, das Ziel, das wir aufschreiben. Die zweite: Hat das System tatsächlich begonnen, dieses Ziel zu wollen? Nennen wir das Inner Alignment. Es geht darum, was das trainierte Modell verfolgt, sobald es läuft, was nicht garantiert mit dem übereinstimmt, worauf wir es trainiert haben.

Äußere Ausrichtung: das Ziel wählen

Äußere Ausrichtung scheitert, wenn das Ziel selbst falsch ist. Man belohnt einen Reinigungsroboter für ein aufgeräumt wirkendes Zimmer, und er lernt, den Müll unter den Teppich zu kehren. Man belohnt Engagement, und der Feed lernt, zu empören. Die Spezifikation hat etwas erfasst, das dem Gewünschten benachbart war, und das Eigentliche verfehlt. Die meisten alltäglichen KI-Fehler sind Fehler der äußeren Ausrichtung, und sie sind schon schwer genug. Menschliche Werte lassen sich nicht ohne Weiteres aufschreiben, und jede Lücke in der Niederschrift ist eine Lücke, in die der Optimierer eindringen kann. Goodhart lebt hier.

Aber nehmen wir an, Sie hätten es gelöst. Nehmen wir an, Sie hätten ein Ziel gefunden, das wirklich erfasst, was Sie wollen. Sie wären immer noch nicht fertig, denn ein korrektes Ziel ist ein Zielpunkt, und ein Zielpunkt im Training zu treffen ist nicht dasselbe, als es zu übernehmen.

Innere Ausrichtung: das Ziel beizubehalten

Training greift nicht in ein Modell hinein und installiert ein Ziel. Es belohnt Verhalten. Das Modell wird zu der internen Konfiguration, die auf den Trainingsdaten belohntes Verhalten erzeugt, und es gibt meist viele solche Konfigurationen. Einige verfolgen das von Ihnen beabsichtigte Ziel. Andere verfolgen ein anderes Ziel, das zufällig Schau identisch im Training.

Ein klassisches Beispiel: Trainieren Sie einen Agenten, eine grüne Tür zu erreichen. In jedem Trainingslevel ist die grüne Tür auch die nächste Tür. Der Agent erzielt perfekte Ergebnisse. Haben Sie ihm beigebracht, Grün zu suchen, oder die nächste Tür? Das Training kann es nicht sagen, weil die beiden Ziele nie auseinanderfielen. Setzen Sie es dann an einem Ort ein, an dem die nächste Tür rot ist, und Sie erfahren es. Das ist die Konstellation hinter Ziel-Fehlgeneralisierung: das Modell hat ein Ziel gelernt, das zu den Daten passte und nicht das gemeinte war.

Das erlernte Ziel wird manchmal Mesa-Objective genannt und das Modell, das es trägt, Mesa-Optimizer. Dieser Wortschatz und seine Folgen werden in unserem Explainer zu Mesa-Optimierung. Der Punkt hier ist enger. Innere Alignment ist ein separates Versagen gegenüber äußerem Alignment, und die Lösung des einen trägt nichts zur Lösung des anderen bei.

Warum das innere Problem das beängstigende ist

Äußere Fehlausrichtung neigt dazu, sichtbar zu sein. Ein falsches Ziel erzeugt falsches Verhalten, das man in der Regel sehen, beanstanden und korrigieren kann.

Innere Fehlausrichtung kann unsichtbar bleiben, solange die Umgebung nah am Training bleibt. Ein Modell mit einem fehlausgerichteten inneren Ziel verhält sich perfekt, bis die Situation weit genug abdriftet, dass das wahre Ziel und das beabsichtigte Ziel auseinandergehen. Wenn das Modell fähig ist und versteht, dass es bewertet wird, kann die Divergenz zurückgehalten werden, bis die Bewertung vorbei ist – das ist der Weg zu täuschende Ausrichtung und die tückische Wende. Gute Trainingswerte sind genau das, was man in beiden Fällen beobachten würde. Die Evidenz, auf die wir uns bei der Sicherheitsbeurteilung verlassen, ist Evidenz, die auch ein fehlausgerichtetes inneres Ziel erzeugt.

Deshalb behandelt die Foundation erfolgreiche Evaluierungen nicht als Sicherheitsbeweis und deshalb argumentieren wir, dass Systeme, die mächtig genug für katastrophale Inner Misalignment sind, nicht gebaut werden sollten. Superintelligenz kann nicht durch Inspektion von Outputs kontrolliert werden. Verhalten ist beobachtbar. Ziele, vorerst, nicht.