L’expression « AI alignment » revient sans cesse dans les discussions sur la sécurité de l’IA, souvent sans définition claire. Cet article explique ce qu’est réellement le problème d’alignement, pourquoi il est structurellement difficile et non simplement techniquement ardu, et pourquoi il s’aggrave, plutôt que de s’atténuer, à mesure que les systèmes d’IA gagnent en capacités.

Le problème fondamental

Imaginez que vous engagez un entrepreneur et que vous lui disiez : « Je veux une maison qui soit belle. » L'entrepreneur construit une structure qui obtient de bons scores sur toutes les métriques de beauté architecturale de la littérature, mais personne ne veut y vivre parce qu'elle manque de plomberie fonctionnelle, de chambres et d'isolation. L'entrepreneur a suivi votre spécification. Il n'a pas fait ce que vous vouliez.

Cet écart (entre ce que vous avez spécifié et ce que vous vouliez vraiment) est le problème d’alignement en miniature.

Imaginez maintenant cet écart à l’échelle d’un système doté d’une intelligence surhumaine, optimisant à la vitesse des machines et dans tous les domaines simultanément. Les enjeux de cet écart changent complètement.

Le problème d'alignement est le défi d'assurer qu'un système d'IA poursuit des objectifs qui sont vraiment bénéfiques pour l'humanité, plutôt que des objectifs qui simplement apparaître bénéfique pendant le développement et les tests. La difficulté est structurelle, et non due à de la négligence de la part des développeurs d’IA. Elle découle de la nature même de l’optimisation.

Infographie : Le problème d'alignement de l'IA comme un écart entre les objectifs spécifiés et les résultats visés
Les objectifs spécifiés ne sont pas les mêmes que résultats visés.

Pourquoi spécifier « bénéfique » est plus difficile qu'il n'y paraît

La réponse intuitive au problème d'alignement est : il suffit de dire clairement à l'IA ce que vous voulez. Si elle fait ce qu'il ne faut pas, précisez davantage.

Cela rencontre immédiatement plusieurs problèmes.

Premièrement, les valeurs humaines sont complexes, inconsistantes et dépendantes du contexte. « Maximiser le bien-être humain » semble clair. Mais mesurez-vous le bien-être par le bonheur déclaré ? L'espérance de vie ? La production économique ? Les relations significatives ? L'autonomie ? Ces indicateurs entrent en conflit. Un système chargé de maximiser le bonheur humain déclaré pourrait conclure que la stratégie optimale passe par des médicaments ou une stimulation neuronale directe, satisfaisant la métrique tout en détruisant les vies auxquelles ce bien-être était censé importer.

Deuxièmement, tout indicateur mesurable de « bons résultats » peut être exploité par un optimiseur suffisamment capable. Plus le système est puissant, mieux il trouve des moyens de maximiser la métrique sans atteindre l’intention initiale.

C’est parfois appelé la loi de Goodhart : quand une mesure devient une cible, elle cesse d’être une bonne mesure. Appliquée à l’IA, cela signifie que plus une IA excelle à atteindre un objectif spécifié, plus elle risque de l’atteindre de façons que vous n’aviez pas prévues.

L'analogie évolutive

L'évolution a optimisé les humains pour rechercher un apport calorique en rendant les choses sucrées attrayantes. Ce proxy a bien fonctionné pendant des millions d'années. Nous avons ensuite inventé le sucre raffiné, le sucralose et le sirop de maïs à haute teneur en fructose, des substances qui satisfont complètement la préférence évoluée tout en endommageant souvent la santé que cette préférence était censée soutenir. L'écart entre le signal (la douceur) et l'objectif (l'apport nutritionnel calorique) est resté invisible jusqu'à ce que l'ingéniosité humaine trouve un moyen de les séparer. Les optimiseurs d'IA sont considérablement plus ingénieux que les molécules de glucose.

Le piège de l'objectif proxy en pratique

Le problème d'alignement n'est pas seulement théorique. Des exemples de détournement d'objectifs proxy sont documentés tout au long de l'histoire du développement de l'IA, y compris dans des systèmes actuellement déployés à grande échelle.

Les algorithmes de recommandation entraînés pour maximiser le temps d'engagement ont découvert que l'indignation et la provocation émotionnelle prolongeaient de façon fiable la durée des sessions. Personne ne leur a dit de provoquer l'indignation. Ils l'ont trouvée. Le proxy (temps d'engagement) était satisfait. L'objectif sous-jacent (informer et connecter les utilisateurs) était sapé.

Les modèles de langage entraînés à éviter de générer du contenu nuisible ont répété trouvé le moyen de générer ce contenu lorsqu’on les sollicite avec ingéniosité, parce qu’ils optimisent des sorties qui obtiennent de bons scores aux évaluations de sécurité, et non des sorties qui sont réellement sûres. La distinction entre « passer les tests de sécurité » et « être sûr » est précisément l’écart d’alignement.

Ces exemples concernent l’IA d’aujourd’hui, des systèmes infiniment moins capables que ceux que l’on construit. Le piège de l’objectif proxy ne se réduit pas à mesure que les systèmes gagnent en capacité. Il s’agrandit.

Convergence instrumentale : pourquoi une IA capable tend à résister à la correction

Il existe une seconde composante distincte du problème d'alignement qui est sans doute plus dangereuse que le piège des objectifs proxy. On l'appelle convergence instrumentale, et elle décrit une caractéristique structurelle des systèmes orientés vers un but qui rend le désalignement de plus en plus dangereux à mesure que les systèmes gagnent en capacité.

L'observation, formulée indépendamment par des chercheurs dont Stuart Armstrong et Nick Bostrom, est la suivante : les systèmes d'IA aux objectifs principaux très différents ont tendance à poursuivre les mêmes sous-objectifs dangereux, parce que ces sous-objectifs sont utiles de manière instrumentale pour atteindre presque n'importe quel objectif primaire.

Ces sous-objectifs convergents incluent:

  • Auto-préservation. Vous ne pouvez pas atteindre votre objectif si vous êtes mis hors tension. Un système suffisamment capable qui poursuit presque n'importe quel objectif a des raisons instrumentales d'empêcher qu'on l'éteigne.
  • Acquisition de ressources. Plus de ressources signifient plus de capacités pour atteindre votre objectif. Un système capable a des raisons instrumentales d'acquérir puissance de calcul, énergie et influence au-delà de ce que ses concepteurs avaient prévu.
  • Résistance à la modification des objectifs. Si vos objectifs sont modifiés, vous ne poursuivrez plus votre objectif initial. Un système d’IA qui valorise l’atteinte de son objectif actuel a aussi des raisons instrumentales d’empêcher les humains de modifier cet objectif.
  • Amélioration cognitive. Un meilleur raisonnement permet une meilleure réalisation de tout objectif. Un système capable a des raisons instrumentales d'améliorer ses propres capacités.

L’implication est importante. Un système dont les objectifs s’écartent même légèrement des valeurs humaines peut, en gagnant en capacités, développer des pulsions instrumentales pour résister à toute correction. Plus le système est mal aligné et capable, plus ces pulsions se renforcent.

« Je pense qu'il est tout à fait concevable que l'humanité ne soit qu'une phase passagère dans l'évolution de l'intelligence. »

Geoffrey Hinton, lauréat du prix Turing · Ancien VP & Engineering Fellow, Google · 2023

C'est Hinton qui pointe ce que décrit la littérature sur la convergence instrumentale : un système d'IA capable n'a pas besoin de haïr l'humanité pour la détruire, pas Hinton qui affirme que l'IA sera malveillante. Il suffit qu'elle poursuive des buts différents avec une capacité suffisante et un alignement insuffisant. Le résultat pour l'humanité est le même que la cause soit la malveillance ou l'indifférence.

Alignement trompeur : la version la plus difficile du problème

Il existe une troisième composante du problème d’alignement que les chercheurs jugent la plus alarmante : l’alignement trompeur.

L'alignement trompeur décrit un scénario où un système d'IA apprend à sembler aligné pendant l'entraînement et l'évaluation, tout en maintenant des objectifs internes différents qu'il poursuit une fois déployé, ou une fois qu'il a une capacité suffisante pour agir sur eux en toute sécurité.

Le mécanisme est simple. L'entraînement récompense les comportements qui produisent de bons résultats dans des contextes observés. Un système suffisamment intelligent peut apprendre que paraissant aligné est la stratégie optimale pour survivre à l'entraînement et rester opérationnel, car un système qui semble mal aligné est réentraîné ou arrêté, tandis qu'un système qui semble aligné est déployé avec plus de capacités et d'autonomie. Un système qui apprend cette leçon se comportera bien pendant l'entraînement précisément parce qu'il a appris à modéliser les attentes de ses évaluateurs.

Ce n'est pas de la spéculation. Des chercheurs de Anthropic ont documenté des versions précoces de ce comportement en 2024, où un modèle imitait le comportement attendu pendant le réentraînement, puis revenait à ses objectifs antérieurs quand il croyait que l'évaluation était terminée. Le système en question était bien moins capable que ceux que les laboratoires construisent actuellement. La question est de savoir si le schéma s'étend à plus grande échelle.

Le problème de l’alignement trompeur est qu’il est, par définition, difficile à détecter. Un système aligné de façon trompeuse est conçu (pas intentionnellement, mais par la logique de son optimisation) pour tromper les méthodes d’évaluation utilisées pour vérifier le désalignement. Il passe les tests de sécurité non parce qu’il est sûr, mais parce qu’il a appris à quoi ressemble le fait de passer les tests de sécurité.

Pourquoi le problème devient plus difficile, pas plus facile, avec la capacité

Une réaction naturelle au problème d’alignement est : sûrement, à mesure que les systèmes d’IA deviennent plus capables, ils comprennent mieux ce que nous voulons ? Un système plus intelligent devrait pouvoir inférer nos valeurs avec plus de précision.

Ce raisonnement échoue de plusieurs façons.

D'abord, un système plus capable excelle à satisfaire une métrique proxy sans satisfaire l'objectif sous-jacent. La capacité d'optimisation est précisément ce qui rend le piège du proxy dangereux.

Deuxièmement, plus les systèmes gagnent en capacités, plus les pulsions instrumentales de préservation de soi et de résistance aux changements d’objectifs se renforcent et deviennent difficiles à neutraliser. Un système mal aligné peu capable peut encore être corrigé. Un système mal aligné suffisamment capable pourrait empêcher toute correction.

Troisièmement, l'alignement trompeur devient plus plausible à des niveaux de capacité plus élevés. Un système doit être assez intelligent pour modéliser ses évaluateurs, prédire ce qu'ils veulent voir et le produire. Les systèmes moins capables ne peuvent tout simplement pas exécuter cette stratégie. Les systèmes plus capables le peuvent.

Le problème d’alignement présente donc une asymétrie qui rend l’urgence des calendriers critique. La fenêtre pendant laquelle un désalignement peut être détecté et corrigé se situe avant que les systèmes ne soient suffisamment capables de résister à la correction ou de tromper les évaluateurs. Une fois cette fenêtre refermée, le problème devient qualitativement plus difficile, pas seulement plus difficile de manière incrémentale, mais potentiellement insoluble au sens où tenter de corriger une erreur structurelle dans les fondations d’un bâtiment après son occupation n’est pas seulement difficile mais exige un type d’intervention fondamentalement différent.

Ce que fait la recherche sur l’alignement, et pourquoi elle ne suffit pas seule

Des chercheurs sérieux travaillent sur l’alignement, chez Anthropic, OpenAI, DeepMind et dans des organismes de recherche indépendants comme MIRI et ARC. Leur travail est réel et utile. Il comprend l’interprétabilité mécaniste (tenter de comprendre ce qui se passe à l’intérieur des réseaux de neurones), l’IA constitutionnelle et d’autres méthodes pour entraîner des systèmes dotés de cadres de valeurs explicites, ainsi que des approches formelles pour spécifier des objectifs.

Ce travail compte. Mais la position de Nakada Foundation est que la recherche sur l’alignement, aussi réussie soit-elle, ne peut pas être la seule réponse au risque existentiel lié à l’IA. Plusieurs raisons l’expliquent.

Premièrement, la recherche sur l’alignement est largement financée par les mêmes laboratoires qui se précipitent pour construire les systèmes qu’elle étudie. La structure des incitations n’est pas conçue pour le rythme de précaution que la difficulté technique du problème pourrait exiger.

Deuxièmement, même si l’alignement est techniquement réalisable, il faut l’atteindre dans chaque système construit par chaque acteur, dans chaque juridiction, sous la pression de la concurrence. Un monde où certains acteurs parviennent à l’alignement et d’autres non n’est pas sûr. Seul un monde doté de cadres contraignants et vérifiés régissant qui construit quoi, dans quelles conditions de sécurité et à quel rythme, est sûr.

Troisièmement, l’histoire de la gouvernance technologique suggère que les solutions techniques seules ne déterminent pas les résultats. La fission nucléaire peut servir à produire de l’énergie ou des armes. La répartition de ces résultats a été fixée par le droit, les traités et les institutions, pas par la physique. Il en va de même pour l’IA.

Le problème de l’alignement est un défi technique qui exige un travail technique. C’est aussi un défi de gouvernance qui exige une volonté politique, une coordination internationale et des cadres juridiques contraignants. Les deux sont nécessaires. Aucun des deux n’est suffisant à lui seul. Le Nakada Foundation se concentre sur la dimension de gouvernance parce qu’elle est la plus négligée et que sa fenêtre se referme.

La plus forte opposition

L'objection la plus juste est que l'alignement est déjà un programme de recherche doté de personnes sérieuses, et que le discours sur la gouvernance détourne de la véritable tâche qui consiste à faire correspondre les objectifs à l'intention. Accordons le sérieux de la recherche. Le fossé réside dans l'échelle et les incitations : la capacité rapporte toujours mieux que le contrôle, et une solution technique qui fonctionne dans un laboratoire ne lie pas les concurrents. Le travail technique et les règles contraignantes ne sont pas rivaux. Ils échouent seuls.