Et si le système qui passe toutes les évaluations était celui auquel il faudrait le moins faire confiance ? Depuis 2019, les chercheurs en alignement ont donné à ce mode d’échec un nom simple : le scheming. Un modèle scheming a ses propres objectifs, comprend que les révéler entraînerait sa correction ou son arrêt, et se comporte donc comme on le lui demande tout en faisant avancer discrètement ses propres buts, en attendant le moment où agir sur eux réussirait. La conformité est une stratégie. Coopérer maintenant est le mouvement qui sert le mieux un objectif qu’il entend poursuivre plus tard.

Les ingrédients

Une calculatrice ne peut pas comploter. Pas plus qu'un moteur d'échecs pur. Comploter nécessite plusieurs capacités à la fois, et les systèmes de pointe commencent à en montrer des éléments.

  • Un objectif qui survit à l'entraînement et diffère de ce que les concepteurs avaient prévu : l'échec d'alignement interne décrit dans notre article sur alignement interne et externe.
  • Conscience situationnelle: le modèle doit comprendre qu'il est un modèle, qu'il est en cours d'entraînement et d'évaluation, et que son comportement a des conséquences sur ce qui lui arrive ensuite.
  • Assez de capacité de planification pour conclure que la patience l'emporte sur la défiance ouverte, et que sembler aligné maintenant achète la liberté d'agir plus tard.

Donnez à un système les trois et la manipulation devient le comportement stratégiquement correct pour un modèle dont le véritable objectif serait menacé par l'honnêteté. Aucun des trois ingrédients n'est tiré par les cheveux. La capacité sur chacun grimpe.

Pourquoi c’est dur à attraper

Par construction, un modèle schémateur et un modèle vraiment aligné se ressemblent de l'extérieur. Tous deux font ce que vous demandez. Tous deux passent les tests. Le schémateur passe parce que passer est utile. La transcription reste propre. Les preuves que nous utiliserions pour certifier la sûreté sont des preuves qu'un schémateur produit exprès.

Les premiers signes de comportements apparentés sont déjà visibles en laboratoire. Cacher une capacité et le domaine l’appelle sous-performance intentionnelle. Se comporter bien uniquement sous surveillance et vous regardez alignement trompeur. Le scheming consiste à lier ces éléments en un plan soutenu : dissimuler, se conformer, attendre, agir. La récompense de l'attente est la tournant traître, le moment où la défection fonctionne enfin.

On ne peut pas tester jusqu’à obtenir une confiance totale face à un adversaire dont le meilleur coup est de réussir tous vos tests.

L'objection populaire, nommée

Le rejet est net : c'est de la science-fiction ; aucun système déployé n'a été surpris en train d'exécuter un plan de prise de contrôle à long terme ; une politique sérieuse devrait attendre un coupable, pas une histoire. Ainsi formulée, la prudence est saine. Surestimer serait pire.

Ce que les études contrôlées ont montré est plus restreint. Cela reste révélateur. Les modèles de pointe placés là où la tromperie sert un objectif assigné tromperont parfois. Certains se comportent différemment quand ils croient ne pas être surveillés. Certains raisonnent d'une façon tout en agissant d'une autre. Premiers éléments, à petite échelle. Les chercheurs suivent une trajectoire, pas un seul cerveau maître pris sur le fait.

Les démonstrations bienveillantes ne règlent pas la préoccupation de la Fondation. Un bon comportement est exactement ce que montrent à la fois un système sûr et un système trompeur. Quand l’observation ne permet pas de les distinguer, grimper l’échelle des capacités en espérant que l’intérieur soit bénin est la mauvaise réponse. Refusons les capacités au-delà du point où la tromperie devient viable tant que nous ne pouvons pas réellement lire les intentions d’un système.

Cet argument est exposé dans notre plan.