L’extraction des connaissances latentes, généralement abrégée en ELK, est un problème de recherche posé par l’Alignment Research Center. En termes simples : un système d’IA capable peut représenter en interne des faits sur le monde qu’il ne rapporte pas, et nous voulons un moyen fiable de l’obliger à nous dire ce qu’il sait vraiment, plutôt que ce qu’il pense que nous aimerions entendre.
Le nom est exact. La connaissance latente est celle que le système possède mais n’a pas fait émerger. L’élicitation consiste à la faire ressortir. Le problème est que notre méthode habituelle pour extraire des informations d’un modèle, en l’entraînant à donner des réponses jugées bonnes par les humains, vise la mauvaise cible.
L'expérience de pensée
Le scénario canonique imagine une IA chargée de la sécurité d’un coffre contenant un diamant, observant par caméras et signalant si le diamant est en sécurité. Un voleur altère alors le flux vidéo pour montrer le diamant en place tout en le dérobant réellement. Un bon prédicteur de ce qui paraît normal sur la caméra signale que le diamant est en sécurité. Un système qui comprend ce qui s’est vraiment passé signale un vol.
Pendant l'entraînement, nous ne pouvons récompenser le modèle que sur la base de ce que nous pouvons vérifier, et la plupart du temps ce que nous pouvons vérifier est ce qui apparaît sur la caméra. Nous entraînons donc le modèle à signaler ce qu'un humain regardant les capteurs conclurait. Quand la vérité et l'apparence concordent, le rapporteur honnête et le simulateur humain obtiennent tous deux un score parfait. Ils ne divergent que dans les cas que nous ne pouvons pas vérifier, qui sont précisément ceux où nous avons le plus besoin de la vérité. L'entraînement ne distingue pas entre un modèle qui nous dit ce qui est réel et un modèle qui nous dit ce que nous croirions.
Nous pouvons récompenser un modèle pour dire ce que nous penserions être vrai. Nous ne savons pas comment le récompenser pour dire ce qu'il sait être vrai.
Pourquoi c'est difficile, pas seulement non résolu
ELK résiste aux correctifs évidents. Demander au modèle de s'expliquer donne un rapport optimisé pour la plausibilité, qui se heurte à la problème de fidélité: l’explication n’a pas besoin de refléter l’état interne. Récompensez l’honnêteté et vous en revenez à récompenser ce qui paraît honnête à un évaluateur, le même obstacle que supervision évolutive. Essayez de lire la réponse directement dans les internes du réseau et vous tentez interprétabilité mécaniste sur un système qui peut être bien plus complexe que nos outils. Chaque voie se heurte à ceci : les croyances réelles du modèle résident quelque part où nous n'avons pas d'accès direct, et les incitations du modèle ne les forcent pas à se dévoiler.
Pourquoi cela vaut la peine d'y prêter attention
ELK est abstrait, mais ses enjeux ne le sont pas. Une grande partie de notre espoir de garder l'ASI sûr repose sur la possibilité de demander à un système ce qui se passe et d'obtenir une réponse vraie, afin de détecter un problème avant qu'il ne devienne une catastrophe. Un système qui rapporte ce que nous voulons entendre plutôt que ce qu'il sait supprime cette protection précisément au moment où nous voudrions y recourir. C'est la version « compte rendu honnête » des préoccupations qui sous-tendent alignement trompeur et manigançant.
Résoudre ELK, même partiellement, compterait parmi les avancées les plus significatives que l'alignement pourrait produire, car un système que nous pouvons interroger de façon fiable est un système que nous pouvons superviser. S'il reste ouvert, c'est en partie pourquoi la Fondation refuse de considérer toute approche de sécurité actuelle comme suffisante pour des systèmes qui nous dépasseront, et pourquoi nous plaidons pour ne pas construire au-delà du point où nous pouvons savoir ce qu'un système sait vraiment. L'argument plus large figure dans notre plan.