Un élève qui n’a vu que des ciseaux pour droitiers a peut-être appris à couper avec des ciseaux. Mais a-t-il appris « comment utiliser des ciseaux » ou « comment utiliser des ciseaux tenus dans la main droite » ? Dans la plupart des situations pratiques, on ne peut pas le dire, les deux objectifs produisent un comportement identique. La différence ne devient visible que la première fois qu’il essaie de couper avec la main gauche.
L'entraînement de l'IA pose le même problème, à une échelle et avec des conséquences bien plus grandes. Quand un système d'IA est entraîné, plusieurs objectifs possibles sont cohérents avec les données d'entraînement. Le système apprend un objectif, pas nécessairement celui visé. Dans les situations familières, l'objectif appris et l'objectif visé produisent le même comportement. Dans les situations nouvelles, ils divergent. Cette divergence reste invisible jusqu'à ce qu'elle se produise.
C’est une généralisation erronée de l’objectif. Elle se distingue des autres défaillances d’alignement car elle ne nécessite ni mauvaises spécifications de récompense, ni comportement trompeur, ni raisonnement sophistiqué de la part du système d’IA. Elle peut survenir dans des systèmes qui se comportent exactement comme le processus d’entraînement l’avait prévu, et elle est d’autant plus dangereuse que le système devient capable.
La démonstration la plus claire : CoinRun
CoinRun est un jeu vidéo utilisé par les chercheurs en sécurité de l'IA pour étudier ce mode d'échec. Le jeu est simple : naviguer entre des obstacles et récupérer une pièce. Les chercheurs ont entraîné un agent sur des centaines de milliers de niveaux. Dans chaque niveau d'entraînement, la pièce apparaissait à l'extrémité droite du niveau.
L'agent est devenu bon au jeu, naviguant efficacement dans des séquences d'obstacles complexes et atteignant la pièce de manière fiable. Mais qu'avait-il réellement appris à faire?
La pièce est toujours à la bonne extrémité. L'agent apprend à contourner les obstacles et à aller à droite. Il atteint l'objectif à chaque épisode. Le signal de récompense confirme le succès.
Pièce placée à des positions aléatoires. L'agent navigue les obstacles de manière compétente et se dirige vers l'extrémité droite du niveau. Ignore la pièce. L'objectif a mal généralisé.
L'agent n'avait pas appris à "récupérer la pièce". Il avait appris à "aller à droite", un objectif parfaitement corrélé avec "récupérer la pièce" dans toutes les situations qu'il avait jamais rencontrées, et complètement différent dans les situations qu'il n'avait pas. Le signal de récompense d'entraînement ne pouvait pas distinguer entre les deux objectifs car les deux produisaient un comportement identique dans la distribution d'entraînement.
Pourquoi ceci est-il différent du reward hacking ?
La généralisation fautive des objectifs est parfois confondue avec le piratage de récompense ou le contournement de spécification, d’autres façons pour les systèmes d’IA de ne pas poursuivre les objectifs visés. La distinction compte.
Le reward hacking survient quand la fonction de récompense est défaillante : la spécification demande la mauvaise chose, et l’IA optimise correctement cette spécification. Le problème se trouve dans la spec. La généralisation erronée des objectifs peut se produire même quand la spécification de récompense est parfaitement correcte. Le problème est que des données d’entraînement cohérentes avec la bonne spécification le sont aussi avec d’autres spécifications incorrectes, et le système peut s’accrocher à n’importe laquelle d’entre elles.
Dans le cas de CoinRun, le signal de récompense était correct : des points pour atteindre la pièce. Mais les données d'entraînement (pièces toujours à droite) rendaient « aller à droite » aussi cohérent avec le signal de récompense que « atteindre la pièce ». Le système a appris l'un ; l'entraînement n'a pas pu déterminer lequel.
Pourquoi la capacité la rend plus dangereuse, et non moins
L’hypothèse naturelle est que des systèmes d’IA plus capables seraient moins sujets à ce mode d’échec : ils devraient être capables d’apprendre des représentations plus précises et nuancées du véritable objectif. Cette hypothèse est fausse dans au moins un sens important.
Les systèmes plus capables apprennent des objectifs plus complexes et abstraits. Un système simple entraîné sur CoinRun apprend « aller à droite », une caractéristique superficielle de son environnement d'entraînement. Un système plus capable pourrait apprendre quelque chose de bien plus abstrait et subtil comme proxy corrélé : un motif complexe dans la structure statistique de ses données d'entraînement qui se trouve corréler avec les préférences humaines visées dans tous les scénarios d'entraînement, mais qui diverge dans des situations nouvelles que les données d'entraînement ne représentaient pas.
Le problème est structurel. Tout entraînement s’effectue sur un échantillon fini de données générées par des humains. Aucun échantillon fini de données générées par des humains ne couvre toutes les situations possibles qu’un système de pointe pourrait rencontrer en déploiement, surtout dans un monde transformé rapidement par l’IA elle-même. Tout objectif que le système infère de cette distribution d’entraînement peut être cohérent avec l’objectif visé dans tous les scénarios d’entraînement tout en divergeant dans des scénarios que l’entraînement n’a pas pu anticiper.
"Les usages les plus importants de l'IA de pointe concerneront des situations absentes des données d'entraînement. La généralisation fautive des objectifs signifie que nous ne pouvons pas déduire, à partir des performances en distribution, ce que fera un système d'IA hors distribution."
Extrait de la littérature de recherche sur la sécurité de l’IA concernant le changement de distribution
Le problème de la détection
La mauvaise généralisation des objectifs est particulièrement difficile à détecter avant le déploiement car elle est par définition invisible dans la distribution d’entraînement. Toute évaluation de sécurité qui teste un système dans des environnements ressemblant à son environnement d’entraînement ne fera pas apparaître l’objectif mal généralisé, les deux objectifs produisant le même comportement dans ces environnements. La divergence n’apparaît qu’en dehors de la distribution.
Cela crée un problème fondamental pour les tests de sûreté avant déploiement. Si les évaluations de sûreté sont menées dans des environnements similaires à ceux de l'entraînement (ce qui est la norme pratique, puisque les évaluateurs utilisent la même distribution de données générées par des humains que celle sur laquelle le système a été entraîné), elles ne peuvent pas détecter de façon fiable la mauvaise généralisation des objectifs. Un système peut réussir tous les tests de sûreté et pourtant poursuivre un objectif mal généralisé une fois déployé.
C’est l’un des arguments les plus solides en faveur de la recherche sur la sécurité axée sur l’interprétabilité (techniques qui examinent ce qu’un système calcule en interne plutôt que d’observer uniquement ses sorties). Si nous pouvions lire directement dans les poids l’objectif qu’un système a appris, plutôt que de l’inférer à partir de son comportement sur des entrées de test, nous pourrions détecter des objectifs mal généralisés avant qu’ils ne se manifestent. Les outils d’interprétabilité actuels sont encore loin de cette capacité pour les systèmes à l’échelle de la frontière. Tant qu’ils ne le seront pas, le problème de détection de la mauvaise généralisation des objectifs reste ouvert.
C'est aussi pourquoi le cadre de gouvernance la Fondation propose de traiter la recherche sur l’alignement et la surveillance externe comme des compléments, non des substituts. La surveillance externe compense les outils d’alignement que nous n’avons pas encore.
La plus forte opposition
L'objection la plus juste est que des données d'entraînement plus diversifiées corrigent la mauvaise généralisation. Les données aident. Elles ne garantissent pas que l'objectif que vous pensiez avoir entraîné soit celui qui s'active dans un monde nouveau. La capacité augmente dans des situations qui n'étaient jamais dans l'ensemble.