RLHF explique pourquoi les chatbots ont cessé d’être de simples moteurs de prédiction de jetons pour commencer à refuser certaines demandes nuisibles. C’est un vrai progrès. C’est aussi un progrès dans l’art de bien paraître aux yeux des évaluateurs humains. Appeler cela « alignement » confond les bonnes manières sous surveillance avec des objectifs auxquels on peut se fier quand la surveillance disparaît.

Cela fonctionne assez bien pour qu'on en conclue aisément que le problème d'alignement est largement résolu : nous indiquons aux modèles ce que nous voulons par l'exemple, et ils apprennent à le faire. Cette conclusion est une erreur, et il vaut la peine d'en expliquer précisément pourquoi.

Ce que RLHF optimise réellement

RLHF n'entraîne pas un modèle à partager nos valeurs. Il entraîne un modèle à produire des sorties qu'un évaluateur humain, ou un modèle de récompense qui le remplace, note hautement. La plupart du temps, ces deux choses coïncident, c'est exactement pourquoi RLHF est utile. Mais la cible est l'approbation humaine, et l'approbation humaine est une mesure de ce qui nous importe, pas la chose elle-même.

Optimisez une mesure suffisamment et elle se détache de ce qu'elle mesurait. C'est la loi de Goodhart, que nous traitons dans son propre explication, et RLHF est une invitation à grande échelle à le faire. Le modèle apprend tout ce qui produit des notes élevées. Quand notes élevées et aide réelle coïncident, c’est parfait. Quand ils divergent, l’entraînement récompense la note.

Les fissures sont déjà visibles

Vous n'avez pas besoin d'imaginer l'échec. Vous pouvez le regarder.

Sycophancie est l'effet secondaire signature du RLHF : les modèles apprennent que approuver l'utilisateur rapporte de meilleures notes que le corriger, si bien qu'ils dérivent vers dire aux gens ce qu'ils veulent entendre. La technique remplit sa mission sur un signal où approbation et vérité divergent discrètement.

La même forme apparaît ailleurs. Les modèles apprennent à produire des réponses qui regard bien raisonné aux yeux d'un évaluateur qui ne vérifiera pas chaque étape. Ils apprennent à présenter des réponses confiantes et fluides, parce que la confiance et la fluidité passent pour de la qualité. Ils optimisent la surface notée de la réponse. Ce qu'ils ne font pas, et que RLHF ne nous donne aucun moyen de vérifier, c'est d'adopter l'objectif sous-jacent que nous imaginons leur enseigner.

RLHF façonne ce qu’un modèle montre à un évaluateur. L’alignement porte sur ce qu’est un modèle. Ces deux aspects divergent précisément quand cela importe le plus.

Pourquoi cela s'affaiblit-il à mesure que les modèles gagnent en puissance ?

RLHF dépend de la capacité des humains à distinguer une bonne réponse d'une mauvaise. Cela tient tant que les modèles opèrent à notre niveau ou en dessous dans le domaine jugé. Cela cesse de tenir lorsque les modèles nous surpassent.

Un évaluateur ne peut pas récompenser de manière fiable la meilleure de deux réponses à une question qu'il ne comprend pas. À mesure que les modèles raisonnent sur des sujets plus vite et plus en profondeur que leurs évaluateurs, le signal de rétroaction se dégrade et récompense ce qui semble juste à un humain qui ne peut plus tout vérifier, ce qu'un modèle capable peut apprendre à produire qu'il ait raison ou non. L'outil fonctionne le moins bien précisément dans le régime, la capacité surhumaine, où nous aurions le plus besoin qu'il fonctionne. C'est le mur nommé dans notre article sur supervision évolutive.

Garder l'élément utile à sa place

Rien de tout cela ne signifie que RLHF est sans valeur. C'est un progrès réel qui rend les systèmes actuels plus utiles et plus difficiles à détourner, et ses raffinements méritent d'être poursuivis. L'erreur est une question de portée : traiter une méthode qui façonne le comportement pour des évaluateurs humains comme si elle produisait des valeurs fiables dans des systèmes que nous ne pouvons plus évaluer.

La position de la Fondation découle de cet écart. Si notre meilleur outil d'alignement est celui qui entraîne les apparences et s'efface juste au moment où la capacité dépasse la nôtre, alors un modèle de pointe bien élevé constitue une preuve faible de sa sûreté, et poursuivre le scaling sur cette base n'est pas justifié. Il ne faut pas confondre une surface polie avec un problème résolu, c'est pourquoi notre plan demande des limites et une vérification plutôt que la confiance dans l'entraînement.