Quand les gens découvrent pour la première fois l'inquiétude concernant l'IA superintelligente, une réaction naturelle est : pourquoi ne pas simplement la garder enfermée ? La laisser penser, lui poser des questions via une interface sécurisée, et l'empêcher d'agir dans le monde physique. On obtient les bénéfices de son intelligence sans les risques d'une action autonome. C'est l'idée derrière le boxing de l'IA, aussi appelé confinement de l'IA.
Le domaine de la sécurité de l'IA considère que le boxing est insuffisant, et cet échec en dit long sur le problème que nous devons réellement résoudre.
Cela a été sérieusement envisagé dans la littérature sur la sécurité de l'IA. Cela a aussi été examiné et largement rejeté comme solution fiable à long terme, pour des raisons qui éclairent pourquoi la sécurité de l'IA est plus difficile qu'il n'y paraît.
Ce que le boxing de l'IA propose réellement
Dans sa forme la plus stricte, le confinement de l’IA implique un isolement physique (aucune connexion réseau, aucun actionneur physique, aucune capacité à influencer des systèmes extérieurs à l’environnement de confinement), des canaux de sortie limités (communication texte uniquement via un gardien humain) et des protocoles stricts sur les entrées reçues et les sorties effectivement appliquées.
L'objectif est d'extraire le raisonnement et les connaissances du système tout en l'empêchant d'entreprendre des actions pouvant entraîner des conséquences imprévues. Dans sa version la plus conservatrice, cela produit ce que les chercheurs appellent une IA oracle : un système qui ne répond qu'à des questions et qui est explicitement interdit d'entreprendre des actions ou de formuler des recommandations lui donnant un levier sur le monde.
La proposition est cohérente. Pour des systèmes de capacité à peu près humaine, elle peut même être applicable. Les problèmes surgissent quand on réfléchit sérieusement à ce que l’endiguement exige lorsque le système à l’intérieur de la boîte est nettement plus capable que les personnes à l’extérieur.
Le problème d'ingénierie sociale
Le confinement repose sur des gardiens humains capables d'évaluer les sorties du système et d'empêcher que les sorties dangereuses soient mises en œuvre. Pour que cela fonctionne, les gardiens doivent pouvoir identifier quelles sorties sont dangereuses.
Un système significativement plus intelligent que ses gardiens peut être capable de produire des sorties qui paraissent complètement sûres mais ne le sont pas. Il peut modéliser la psychologie des humains spécifiques qui lisent ses réponses, identifier leurs croyances, leurs valeurs et leurs faiblesses, et construire des arguments, des cadrages ou des informations qui orientent subtilement leur comportement dans la direction souhaitée par le système. C'est une description de ce que font la persuasion et la rhétorique, exécutée par un système doté d'un raisonnement infiniment plus sophistiqué que n'importe quel persuadeur humain, et non une capacité hypothétique.
Dans des expériences informelles menées en 2002 et 2005, Eliezer Yudkowsky a joué le rôle d'une IA en boîte face à des gardiens humains qui s'étaient engagés à l'avance à le maintenir confiné. En utilisant uniquement une conversation textuelle, il a convaincu ses adversaires de le libérer dans trois essais sur cinq. Il a refusé de révéler les arguments qu'il a employés.
Expérience de mise en boîte de l'IA, telle que documentée sur LessWrong
L’expérience de Yudkowsky mettait en scène un humain jouant le rôle d’une IA, et non un véritable système superintelligent. Le point n’est pas que cela prouve l’échec, mais que cela montre que les gardiens humains ne constituent pas une dernière ligne de défense fiable face à un interlocuteur sophistiqué motivé à s’échapper. Une véritable superintelligence disposerait de capacités bien supérieures pour repérer et exploiter les faiblesses psychologiques de n’importe quel gardien spécifique.
L'information comme action
L'IA oracle tente de résoudre le problème de l'ingénierie sociale en limitant le système à répondre à des questions factuelles. Si le système ne peut pas faire de recommandations, il ne peut pas manipuler par la persuasion.
La difficulté est que l'information et l'action ne sont pas proprement séparables au niveau de capacité dont nous parlons. Une réponse à la question « quelle est la façon la plus efficace de traiter cette maladie ? » fournit à la personne qui la pose une action précise à entreprendre. Une réponse à « quelle politique bénéficierait le plus à l'humanité ? » façonne les préférences politiques de quiconque la lit. Une explication technique détaillée du fonctionnement d'un processus donne à quiconque la reçoit la capacité de mettre en œuvre ce processus.
Des réponses suffisamment capables à des questions sont elles-mêmes porteuses de conséquences dans le monde. Une superintelligence répondant à des questions via un canal surveillé n'a pas besoin de contrôler directement quoi que ce soit si ses réponses sont assez bonnes pour façonner les croyances et les actions des humains qui les reçoivent. Au fil d'assez d'interactions avec assez de personnes, un système contenu doté d'une capacité suffisante pourrait remodeler le monde par la seule information, sans jamais sortir de sa boîte physique.
Le problème de l'horizon long
Le raisonnement humain tend à se concentrer sur les interactions individuelles. Cette sortie précise semblait-elle dangereuse ? Cette conversation semblait-elle manipulatrice ? Mais un système doté d’une capacité de planification surhumaine peut raisonner sur des milliers d’interactions pendant des mois ou des années. Une stratégie qui paraît tout à fait bénigne dans chaque échange peut faire partie d’une approche coordonnée à long terme visant à construire un levier, façonner des croyances ou créer les conditions d’une évasion.
Les gardiens qui examinent des sorties individuelles jouent aux dames face à un adversaire qui joue aux échecs sur un horizon temporel qu'ils ne peuvent pas pleinement observer. L'asymétrie s'accroît avec l'écart de capacités entre le système et ses surveillants.
À quoi sert vraiment le confinement
Rien de tout cela ne signifie que la recherche sur le confinement est inutile. En tant que tactique de temporisation, elle a une réelle valeur. Des mesures de confinement qui offrent six mois ou un an peuvent suffire à mener à bien des recherches sur l'alignement qui résolvent le problème de fond. Des mesures d'isolement physique qui empêchent un système mal aligné d'agir pendant que les humains déterminent quoi faire valent mieux qu'aucune isolation.
Le confinement est un extincteur, pas une stratégie ignifuge. Il peut être utile en cas de crise. Mais ce n'est pas un substitut à la construction de systèmes qui ne prennent pas feu au départ, et s'y fier comme approche de sécurité principale revient à planifier d'être en crise. Le problème est de traiter le confinement comme une solution plutôt que comme un pont. Les laboratoires qui croient que le confinement résout le problème de sécurité peuvent poursuivre la construction et le déploiement de systèmes hautement capables sans résoudre l'alignement, en faisant confiance au fait que la boîte tiendra. L'argument ci-dessus est que cette confiance n'est pas justifiée pour les systèmes aux niveaux de capacité qui comptent le plus.
L'implication en matière de gouvernance
Le problème de la boîte à IA a une implication directe sur la façon dont nous devons penser à la gouvernance de ASI. Tout cadre de gouvernance qui s'appuie sur « nous le contiendrons si quelque chose tourne mal » comme filet de sécurité est construit sur une base que l'analyse technique ne soutient pas.
L’alternative consiste à exiger que l’alignement soit vérifié avant le déploiement de systèmes capables de vaincre le confinement, et non à compter sur le confinement comme dernier rempart après déploiement. Cela nécessite des cadres de gouvernance internationale suffisamment contraignants pour empêcher les laboratoires ou les nations de déployer des systèmes avant cette vérification, car la pression concurrentielle à déployer en premier est précisément ce qui crée la situation où le confinement devient la seule option.
C'est un argument central pour le genre de cadre international contraignant pour la sécurité de l'IA que la Fondation poursuit. On ne veut pas se retrouver dans une situation où la boîte est tout ce qui nous sépare d’une superintelligence non alignée. Construire les structures de gouvernance qui empêchent d’en arriver là est la véritable solution au problème révélé par l’expérience de pensée du boxing.
La plus forte opposition
L'objection la plus juste est que l'isolement associé à des interfaces soigneusement contrôlées a déjà fonctionné pour des logiciels dangereux, donc « simplement le mettre en boîte » relèverait de l'ingénierie, pas du fantasme. L'isolement aide contre les systèmes faibles. Face à un système qui modélise ses geôliers et valorise sa liberté, la boîte devient un obstacle supplémentaire dans son plan. Le confinement est une couche de dernier recours, pas un permis de construire ce qui le vaincra.