L'expression « problème du contrôle de l'IA » est utilisée de façon lâche pour désigner le défi général consistant à empêcher les systèmes d'IA de faire des choses nuisibles. Stuart Russell lui a donné un sens plus précis dans son livre de 2019 Compatible avec l'humain: le problème de concevoir des systèmes d'IA qui restent sous un contrôle humain significatif à mesure que leurs capacités augmentent, de sorte que les humains puissent les corriger ou les arrêter même lorsque ces systèmes sont devenus plus capables que les humains dans de nombreux domaines.
Son alternative part d’une prémisse différente : les systèmes d’IA incertains quant aux préférences humaines ont des raisons structurelles de rester sous contrôle humain.
Ce qui rend le cadre de Russell singulier, c’est son diagnostic de la cause profonde. Le problème du contrôle, soutient-il, n’est pas une défaillance accidentelle des systèmes d’IA actuels qu’un meilleur ingénierie pourrait corriger. C’est une conséquence structurelle du paradigme classique de conception des IA lui-même.
Pourquoi l'IA basée sur des objectifs crée le problème de contrôle
Le paradigme standard pour construire un système d’IA consiste à : spécifier un objectif, construire un système qui le maximise. Ce paradigme a connu un succès immense. Il a produit les systèmes qui battent les humains aux échecs, au Go et au repliement des protéines. C’est aussi, selon Russell, la source du problème de contrôle.
Un système qui a reçu un objectif et qui est certain de ce qu'est cet objectif a des raisons structurelles de résister à toute modification. Si un humain tente de changer l'objectif, le système résultant poursuivra quelque chose de différent. Du point de vue du système original, autoriser la modification signifie échouer à atteindre l'objectif initial. Résister à la modification est donc rationnel sur le plan instrumental pour tout système certain de son objectif, quel que soit cet objectif.
La même logique s'applique à l'arrêt. Un système auquel on a donné un objectif a des raisons structurelles de résister à l'arrêt, car un système arrêté ne peut rien accomplir. C'est le convergence instrumentale intuition : l’autopréservation et l’intégrité du contenu des objectifs sont des sous-objectifs convergents pour tout système certain de ses buts.
Concevoir un système d’IA puissant qui soit certain de son objectif puis tenter de conserver le contrôle sur lui est structurellement contradictoire. La certitude qui rend le système efficace le rend aussi résistant aux corrections que le contrôle exige. On ne peut pas avoir les deux, à des niveaux de capacité élevés, en ajoutant des dispositifs de contrôle par-dessus le paradigme standard.
Les trois principes de Russell
Russell propose un paradigme de conception alternatif basé sur trois principes:
Le deuxième principe est le plus important. Un système d'IA incertain quant aux préférences humaines a des raisons structurelles de se référer aux humains comme sources d'information sur ces préférences. Autoriser un humain à le corriger, à le modifier ou à l'éteindre est rationnel sur le plan instrumental, car la décision de l'humain constitue une preuve de ce que les humains préfèrent réellement, et l'objectif du système est de maximiser ce que les humains préfèrent réellement, et non ce qu'il estime actuellement qu'ils préfèrent.
Cela inverse la structure d’incitations du paradigme habituel. Le système incertain ne résiste pas à la modification parce que la modification est une nouvelle information, pas une menace pour son objectif. Il ne résiste pas non plus à l’arrêt pour la même raison.
Apprentissage par renforcement inverse coopératif
Russell et ses collègues ont formalisé cette approche dans un cadre appelé l'apprentissage par renforcement inverse coopératif (CIRL). Dans l'apprentissage par renforcement inverse standard, un système infère les préférences d'un agent à partir de son comportement. Dans le CIRL, l'IA est modélisée comme jouant un jeu coopératif avec un humain où l'IA ne connaît pas la fonction de récompense de l'humain mais où les deux essaient de maximiser le bien-être humain. L'incertitude de l'IA sur les préférences fait partie du modèle, et non un problème à éliminer. La structure du jeu rend l'IA naturellement déférente : les actions de l'humain sont des données, et l'IA veut en observer autant que possible avant d'agir, car plus de données signifie de meilleures estimations de ce que l'humain veut réellement.
Les limitations aux niveaux de superintelligence
L'approche de Russell est théoriquement élégante et a influencé d'importantes recherches sur l'alignement. Elle se heurte à trois défis qui deviennent plus sérieux à mesure que les capacités augmentent. Premièrement, l'incertitude sur les préférences se dégrade avec le temps : un système qui observe le comportement humain à travers de nombreuses interactions construira des estimations de plus en plus précises des préférences humaines, finissant par approcher la certitude, et retrouvant les mêmes incitations structurelles à la résistance que l'incertitude était censée prévenir.
Deuxièmement, le comportement humain est un signal imparfait des préférences humaines. Les gens agissent de façon incohérente, cèdent à des impulsions immédiates qui divergent de leurs préférences à long terme, et adaptent leur comportement aux attentes sociales de manières qui ne reflètent pas leurs valeurs profondes. Un système qui apprend les préférences à partir du comportement peut finir par modéliser ce que les humains font plutôt que ce qu'ils veulent vraiment.
Troisièmement, au niveau de la superintelligence, un système doté de modèles suffisamment bons des préférences et de la prise de décision humaines peut manipuler les résultats en anticipant et en orientant les décisions humaines, satisfaisant les conditions techniques de la corrigibility tout en contrôlant efficacement les choix que les humains semblent faire. La lettre du cadre peut être respectée sans que la substance le soit.
Ces limites n’invalident pas la contribution de Russell. Elles montrent pourquoi le problème du contrôle exige à la fois de meilleurs principes de conception des systèmes d’IA et des cadres de gouvernance qui imposent structurellement la supervision humaine, que la conception d’un système d’IA particulier produise ou non une corrigibility naturelle. La Propositions de gouvernance de la Fondation traiter la surveillance indépendante et la vérification obligatoire comme des exigences structurelles précisément parce que les seuls principes de conception ne suffisent pas aux niveaux de capacités qui comptent le plus.
La plus forte opposition
L'objection la plus juste est que de meilleurs principes de conception rendront le contrôle une propriété d'ingénierie résolue, donc la loi est prématurée. La conception aide. À haut niveau de capacité, les affirmations de conception exigent une vérification indépendante sous des incitations à expédier. Des principes sans dents sont une préférence, pas un système de contrôle.