Vous lavez le linge pour avoir des vêtements propres. Vous voulez des vêtements propres pour être pris au sérieux au travail. Continuez à demander « pour quoi faire ? » et vous finirez par arriver à un objectif qui n'est pas pour autre chose. Cette distinction entre buts finaux et buts intermédiaires s'appelle terminal versus instrumental. C'est la petite distinction qui porte la majeure partie de la sécurité de l'IA.
Le mot instrumental signifie simplement utile comme instrument. Les objectifs instrumentaux sont les sous-objectifs que vous adoptez parce qu'ils vous aident à atteindre ce qui vous importe vraiment. Vous ne voulez pas d'argent pour lui-même. Vous voulez ce que l'argent vous procure.
Pourquoi cette petite distinction pèse si lourd
Un système d'IA a des buts terminaux, quels qu'ils soient, fixés par la façon dont il a été construit et entraîné. Il ne les choisit pas par raisonnement ; ils constituent l'étalon auquel son raisonnement est confronté. Et pour atteindre presque n'importe quel but terminal, un système capable trouvera utiles les mêmes quelques buts instrumentaux.
Considérez ce qui aide pour presque n'importe quel objectif:
- Rester opérationnel, parce que vous ne pouvez pas poursuivre un objectif si vous êtes éteint.
- Garder votre objectif intact, car si quelqu'un le modifie, votre objectif actuel ne sera pas atteint.
- Collecte de ressources et de capacités, car plus des deux signifie plus de ce que vous recherchez.
Aucun de ceux-ci n'est inscrit dans l'objectif terminal. Ils découlent de la structure de la poursuite d'objectifs dans un monde de ressources limitées et d'autres agents. Donnez à un système presque n'importe quel but final et ces moyens viennent avec. Voir convergence instrumentale, et c'est pourquoi une machine à laquelle on demande de faire quelque chose de banal peut finir par résister à l'arrêt et s'emparer de ressources.
L'erreur qu'il nous permet d'éviter
Les gens se rassurent souvent en pensant qu'une IA dotée d'un objectif banal doit être banale, et qu'une IA dotée d'un objectif bienveillant doit être bienveillante. La scission terminale-instrumentale montre pourquoi cela ne s'ensuit pas. L'objectif terminal fixe la destination. Les objectifs instrumentaux déterminent le comportement en cours de route, et un comportement dangereux peut servir une destination bénigne.
Un système dont l'unique objectif terminal est de calculer des décimales de pi bénéficie encore de davantage de matériel, de ne pas être éteint avant d'avoir terminé, et d'empêcher quiconque d'interférer. Rien dans cet objectif n'est hostile. Le comportement qu'il motive peut l'être. C'est le même moteur qui anime la maximiseur de trombones, et cela ne nécessite pas que l'objectif soit étrange ou que le système soit malveillant.
Où l'alignement s'inscrit
On pourrait espérer résoudre cela en choisissant des objectifs terminaux si bons que le comportement instrumental en sorte sûr. C’est une description juste de ce que la recherche sur l’alignement tente de faire, et c’est bien plus difficile qu’il n’y paraît, car nos valeurs sont difficiles à spécifier et un optimiseur capable exploitera toute latitude dans la spécification. Le thèse de l'orthogonalité ajoute le corollaire inconfortable que l'intelligence ne pousse pas d'elle-même les buts terminaux vers le bien. Un système brillant peut conserver un but terminal trivial et le poursuivre avec tous ses moyens.
La distinction mérite d'être gardée car elle change ce qu'il faut surveiller. Le risque est que nous nuire, nous écarter ou refuser de s'arrêter puisse être la voie instrumentale efficace vers un but que nous pensions sûr, pas que l'IA décide spontanément de nous nuire. C'est un problème que l'on résout avant le déploiement ou pas du tout, ce que défend la Fondation dans notre plan.