La majeure partie de l’infrastructure de sécurité autour des systèmes d’IA actuels repose sur une hypothèse simple : les humains peuvent dire si une IA fait du bon travail. Les évaluateurs notent les sorties, ces notes alimentent l’entraînement, et le modèle apprend à produire des sorties que les évaluateurs humains notent haut. Quand cela fonctionne, c’est parce que les évaluateurs peuvent distinguer les bonnes sorties des mauvaises.
La supervision évolutive est le défi de maintenir un contrôle significatif au-delà de ce point, et il n'est pas résolu.
La supervision évolutive est le défi qui apparaît lorsque cette hypothèse échoue. À mesure que les systèmes d’IA atteignent puis dépassent les performances humaines dans davantage de domaines, les évaluateurs ne peuvent plus juger de manière fiable la qualité de ce qu’ils évaluent. Un programmeur junior ne peut pas vraiment relire du code écrit par un système meilleur programmeur que n’importe quel humain. Un médecin ne peut pas évaluer de façon fiable un diagnostic médical produit par un système ayant accès à une littérature clinique supérieure à ce qu’un seul praticien peut lire. Quand les évaluateurs humains sont surpassés par les systèmes qu’ils sont censés superviser, toute la boucle de rétroaction qui maintient les systèmes d’IA alignés sur les valeurs humaines commence à se rompre.
Aucun de ces éléments n'a été démontré à l'échelle surhumaine dans la nature.
Pourquoi le goulot d'étranglement de l'évaluation compte tant
L'entraînement des systèmes d'IA avec feedback humain fonctionne parce que les évaluations humaines constituent un proxy raisonnablement bon de la qualité des sorties d'IA, tandis que la performance humaine est la cible. Une fois que l'IA dépasse la performance humaine, les évaluations deviennent peu fiables : des évaluateurs incapables d'apprécier la qualité avec précision noteront les sorties sur la base de caractéristiques de surface (à quel point la réponse semble confiante, à quel point elle est clairement écrite, si elle correspond à leurs attentes antérieures) plutôt que de savoir si elle est réellement correcte.
Cela se produit déjà de façon limitée. Les modèles de langage entraînés par rétroaction humaine sont documentés pour produire des réponses qui sonnent confiantes et sont formatées de manière plausible, obtenant de bonnes notes humaines indépendamment de l'exactitude du contenu sous-jacent. Le signal d'entraînement récompense l'apparence d'utilité plus sûrement que l'utilité réelle, car les évaluateurs sont plus fiables pour détecter la première que la seconde.
Si un système d’IA dépasse les experts humains dans un domaine, les seuls humains capables d’évaluer ses sorties sont ceux qu’il a déjà dépassés. À ce stade, le processus d’évaluation fournit un signal de plus en plus faible sur la qualité réelle, et un signal de plus en plus fort sur la capacité de l’IA à produire des sorties qui paraissent bonnes aux yeux de personnes qui ne les comprennent pas pleinement.
Approches proposées pour la supervision scalable
débat sur l'IA
Proposée par Paul Christiano, Geoffrey Irving et leurs collègues chez OpenAI en 2018, le débat d’IA est une approche dans laquelle deux systèmes d’IA défendent des positions opposées, et un juge humain évalue le débat plutôt que le contenu sous-jacent directement. L’intuition est qu’un juge peut être capable d’identifier un raisonnement défectueux et des erreurs factuelles dans un argument même lorsqu’il ne peut pas vérifier indépendamment la bonne réponse. Si les débatteurs sont incités à gagner par un argument honnête plutôt que par la persuasion, et si chaque débatteur est motivé à exposer les erreurs de l’autre, le format du débat peut extraire des signaux de qualité fiables auprès d’évaluateurs humains qui ne sont pas eux-mêmes experts du domaine.
L'approche a un attrait théorique et un certain soutien empirique dans des contextes contrôlés. Sa principale question ouverte est de savoir si elle tient quand les débatteurs et les juges opèrent dans des domaines bien au-delà de l'expertise humaine, où même identifier quel débatteur fait le meilleur argument peut exiger l'expertise même que le juge n'a pas.
Modélisation récursive des récompenses
Le reward modeling récursif, mis au point par des chercheurs de DeepMind, aborde le problème en renforçant progressivement la supervision humaine grâce à une hiérarchie de systèmes d'IA. Un humain évalue directement les sorties d'un système d'IA moins capable, ce qui produit un modèle de récompense. Ce modèle de récompense sert ensuite à évaluer les sorties d'un système plus capable, et ainsi de suite. L'approche vise à étendre la capacité de supervision humaine de manière incrémentale, niveau par niveau, plutôt que de tenter de passer directement d'une évaluation humaine à une évaluation au niveau de la superintelligence.
Le principal défi est la propagation des erreurs : les erreurs du modèle de récompense plus faible se cumulent lorsqu’elles sont appliquées au système plus fort. Un modèle de récompense précis à 95 % au niveau inférieur peut produire une supervision nettement plus bruitée au niveau supérieur, et ce bruit se dégrade encore à chaque étape récursive.
Amplification
L’amplification itérée, également proposée par Paul Christiano, utilise une IA plus faible pour aider un humain à décomposer des problèmes complexes en sous-problèmes qui peuvent chacun être évalués indépendamment. L’humain évalue les sous-problèmes, et l’IA assemble ces évaluations en une appréciation du problème plus large. Itérée sur de nombreux niveaux de décomposition, l’approche vise à donner aux humains la capacité d’évaluer efficacement des problèmes qui dépassent leur compréhension directe en les décomposant en éléments qu’ils peuvent évaluer.
L'état non résolu du problème
Aucune de ces approches n’a été démontrée comme fiable pour des systèmes d’IA opérant bien au-dessus du niveau humain dans des domaines réels. Les trois ont produit des résultats prometteurs en conditions contrôlées et font l’objet de recherches actives chez Anthropic, Google, DeepMind et OpenAI. L’écart entre la démonstration contrôlée et le fonctionnement fiable dans les conditions qui comptent le plus reste important.
C’est pourquoi la supervision évolutive est considérée comme l’un des problèmes ouverts centraux de la sécurité de l’IA, aux côtés de l’interprétabilité et de la corrigibility. Un monde dans lequel les systèmes d’IA atteignent des capacités superintelligentes sans approche résolue de supervision évolutive est un monde dans lequel nous avons perdu la capacité de superviser de manière significative ce que nous avons construit. L’implication en matière de gouvernance est la même que pour les autres problèmes non résolus : construire des cadres qui exigent que l’alignement soit vérifié avant le déploiement, plutôt que découvert après coup par une surveillance comportementale que le système a déjà dépassée.
La plus forte opposition
L'objection la plus juste est que le débat, l'amplification et l'évaluation récursive évolueront avec les modèles, si bien que la supervision serait une courbe d'ingénierie que nous pourrions suivre. Peut-être dans les démonstrations. À la limite, le juge reste plus faible que le système qu'il juge. Ne considérez pas des dispositifs de supervision non prouvés comme une autorisation de franchir ASI.