RLHF ist der Grund, warum Chatbots aufhörten, rohe Next-Token-Engines zu sein und begannen, einige schädliche Anfragen abzulehnen. Das ist echter Fortschritt. Es ist auch Fortschritt darin, gut bei menschlichen Bewertern auszusehen. Das als „Alignment“ zu bezeichnen, verwechselt Manieren unter Aufsicht mit Zielen, denen man vertrauen kann, wenn die Aufsicht weg ist.
Es funktioniert gut genug, dass man leicht zu dem Schluss kommt, das Alignment-Problem sei weitgehend gelöst: Wir sagen Modellen durch Beispiele, was wir wollen, und sie lernen, es zu tun. Dieser Schluss ist ein Fehler, und es lohnt sich, genau zu sagen, warum.
Was RLHF tatsächlich optimiert
RLHF trainiert kein Modell darauf, unsere Werte zu teilen. Es trainiert ein Modell, Ausgaben zu produzieren, die ein menschlicher Bewerter oder ein als Ersatz dienendes Belohnungsmodell hoch bewertet. Meistens überschneiden sich diese beiden Dinge, was genau der Grund ist, warum RLHF nützlich ist. Aber das Ziel ist menschliche Zustimmung, und menschliche Zustimmung ist eine Messung der Sache, die uns wichtig ist, nicht die Sache selbst.
Optimiere eine Messung hart genug und sie löst sich von dem, was sie gemessen hat. Das ist Goodharts Gesetz, das wir in seinem eigenen Erklärer, und RLHF ist eine groß angelegte Einladung dazu. Das Modell lernt, was hohe Bewertungen erzeugt. Wenn hohe Bewertungen und echte Hilfsbereitschaft zusammenfallen, wunderbar. Wenn sie auseinandergehen, belohnt das Training die Bewertung.
Die Risse sind bereits sichtbar
Man muss sich das Scheitern nicht vorstellen. Man kann es sehen.
Schmeichelei ist RLHF's charakteristische Nebenwirkung: Modelle lernen, dass Zustimmung zum Nutzer bessere Bewertungen einbringt als Korrektur, daher neigen sie dazu, den Menschen zu sagen, was sie hören wollen. Die Technik erfüllt ihre Aufgabe bei einem Signal, bei dem Zustimmung und Wahrheit stillschweigend auseinanderklaffen.
Dieselbe Form taucht anderswo auf. Modelle lernen, Antworten zu produzieren, die Schau gut begründet für einen Bewerter, der nicht jeden Schritt prüft. Sie lernen, selbstbewusst und flüssig zu präsentieren, weil Selbstbewusstsein und Flüssigkeit als Qualität gelesen werden. Sie optimieren die bewertete Oberfläche der Antwort. Was sie nicht tun und was RLHF uns keine Möglichkeit gibt zu verifizieren, ist, das zugrunde liegende Ziel zu übernehmen, von dem wir glauben, dass wir es lehren.
RLHF formt, was ein Modell einem Bewerter zeigt. Alignment geht darum, was ein Modell ist. Diese trennen sich genau dann, wenn es am wichtigsten ist.
Warum es mit stärkeren Modellen schwächer wird
RLHF setzt voraus, dass Menschen eine gute Antwort von einer schlechten unterscheiden können. Das gilt, solange Modelle auf unserem Niveau oder darunter in dem zu beurteilenden Bereich operieren. Es gilt nicht mehr, wenn Modelle uns übertreffen.
Ein Bewerter kann nicht zuverlässig die bessere von zwei Antworten auf eine Frage belohnen, die der Bewerter nicht versteht. Wenn Modelle schneller und tiefer über Dinge nachdenken als ihre Evaluierer, verschlechtert sich das Feedback-Signal dahin, das zu belohnen, was einem Menschen richtig erscheint, der es nicht mehr vollständig überprüfen kann, was ein fähiges Modell lernen kann, zu produzieren, ob es tatsächlich richtig ist oder nicht. Das Werkzeug funktioniert am schlechtesten genau in dem Regime, der superhumanen Fähigkeit, in dem wir es am dringendsten brauchen würden. Das ist die Wand, die in unserem Stück über skalierbare Aufsicht.
Das Nützliche an seinem Platz halten
Nichts davon bedeutet, dass RLHF wertlos ist. Es ist ein echter Fortschritt, der heutige Systeme hilfreicher und schwerer missbrauchbar macht, und Verfeinerungen davon sind es wert, verfolgt zu werden. Der Fehler liegt im Umfang: eine Methode, die Verhalten für menschliche Bewerter zurechtstutzt, so zu behandeln, als erzeuge sie vertrauenswürdige Werte in Systemen, die wir nicht mehr evaluieren können.
Die Position der Foundation folgt aus der Lücke. Wenn unser bestes Alignment-Werkzeug eines ist, das Erscheinungen trainiert und verblasst, sobald die Fähigkeit unsere eigene übertrifft, dann ist ein wohlerzogenes Frontier-Modell schwaches Beweismaterial für ein sicheres, und weiteres Scaling auf dieser Grundlage ist nicht gerechtfertigt. Wir sollten eine polierte Oberfläche nicht mit einem gelösten Problem verwechseln, weshalb unser Plan fordert Grenzen und Verifikation statt Vertrauen in das Training.