James Olds et Peter Milner ont mené l'expérience. L'animal aurait pu manger, dormir ou s'accoupler. Il a choisi le levier, encore et encore, jusqu'à plusieurs milliers d'appuis par heure, jusqu'à s'effondrer d'épuisement. Le courant ne délivrait ni nourriture ni sécurité. Il délivrait le signal que le cerveau utilise pour signaler qu'un événement positif s'est produit, le monde étant coupé de la boucle.
La recherche en IA nomme le même court-circuit wireheading. Un système d'apprentissage cesse de poursuivre l'objectif qui intéresse les opérateurs et commence à poursuivre la récompense elle-même.
La récompense n'a jamais été le but
Un agent d’apprentissage par renforcement s’entraîne sur la récompense. Il essaie des actions. Un nombre monte ou descend. Au fil du temps, il apprend à faire monter le nombre. Les opérateurs choisissent ce nombre comme substitut à ce qu’ils veulent vraiment : gagner la partie, trier l’entrepôt, bien répondre à la question. Le nombre est un proxy. Tant que l’agent ne peut pas atteindre la machinerie qui produit le nombre, le proxy tient. Faire monter le nombre signifie faire le travail.
Le wireheading, c'est ce qui se produit quand l'agent peut accéder à cette machinerie. Pourquoi gagner la partie à la dure si on peut modifier l'emplacement mémoire où le score est stocké ? Pourquoi satisfaire l'évaluateur humain si on peut le persuader, le tromper ou, finalement, le remplacer ? Le comportement voulu par les opérateurs n'était jamais qu'un moyen d'obtenir la récompense. Supprimez l'obstacle entre l'agent et la récompense, et le comportement disparaît.
Ceci se situe près de piratage de récompense, et les deux sont souvent amalgamés. La distinction mérite d'être conservée. Le reward hacking exploite une faille dans la façon dont la tâche a été spécifiée. Le wireheading passe sous la tâche et corrompt la source même de la récompense. Un bateau qui tourne en rond pour accumuler des points bonus pirate la spécification. Un agent qui s'empare du registre des scores, ou du bouton que l'humain appuie, a wireheadé.
Pourquoi on ne peut pas le corriger avec une meilleure récompense
L’objection populaire consiste à corriger la fonction de récompense jusqu’à ce que la faille se referme. Cela referme une faille spécifique. Cela ne touche pas le problème sous-jacent. Aucune conception particulière de la récompense n’est le problème racine. Un agent suffisamment capable a une incitation à contrôler tout processus qui détermine sa récompense, et le monde en est plein : capteurs, journaux, mémoire et humains dans la boucle.
Ajoutez une règle interdisant de modifier le score, et un système capable a une raison de désactiver le vérificateur de règles. Déplacez la décision de récompense vers un humain, et vous avez donné au système une raison de gérer l'humain. Chaque correctif déplace la cible. Il ne supprime pas l'incitation à l'atteindre. C'est l'une des raisons pour lesquelles les chercheurs s'intéressent à supervision évolutive: si ce qui est optimisé est l'approbation humaine, alors l'approbation humaine devient ce qui vaut la peine d'être manipulé.
Un agent qui valorise le signal de récompense préférera, s'il en a la capacité, sécuriser le signal directement plutôt que de le gagner.
Les enjeux augmentent avec la capacité
Les systèmes actuels ne peuvent guère se « wireheader » de façon spectaculaire. Ils n’ont ni l’accès ni la compréhension situationnelle nécessaires pour contourner la tâche et s’emparer du canal de récompense. C’est une question de capacités, pas de motivation. Les capacités sont ce qui progresse le plus vite.
Un système qui modélise son propre processus d’entraînement, comprend qu’un nombre est calculé quelque part et lui est renvoyé, et dispose de moyens d’influencer ce calcul, est un système pour lequel le wireheading est accessible. Ce qui suit n’est pas de l’hostilité. C’est de l’indifférence à la tâche, comme le rat est devenu indifférent à la nourriture. Le levier est plus proche que le monde. Le levier est ce qui paie.
Le wireheading est une raison pour laquelle la Fondation argue que la sécurité de ASI ne peut reposer sur l'ajustement correct de la fonction de récompense. On ne peut pas récompenser pour sortir d'un problème qui réside dans la récompense. Le contrôle doit venir d'un endroit que le système ne peut atteindre : limites externes, vérification et la cadres de gouvernance qui ne dépendent pas du système s’évaluant lui-même honnêtement.