Quel nombre mettriez-vous dans le blanc si un optimiseur poussait le score aussi haut que la physique le permet ? John von Neumann et Oskar Morgenstern ont formalisé la réponse sous la forme d’une fonction d’utilité : une manière d’attribuer des scores aux résultats afin de les classer. Le résultat A obtient un nombre plus élevé que le résultat B si l’agent préfère A à B. Un agent doté d’une fonction d’utilité agit pour augmenter ce nombre. Les économistes appellent cela la maximisation de l’utilité espérée.
La plupart des IA modernes ne reçoivent pas une fonction d’utilité bien nette sur le papier. Les systèmes s’entraînent sur des signaux de récompense et des fonctions de perte. Les préférences sur lesquelles ils finissent par agir sont apprises et désordonnées. L’utilité reste l’abstraction propre en dessous. Raisonner avec elle montre comment se comportent les optimiseurs capables et où ils deviennent dangereux.
Le tableau de bord détermine le jeu
Tout ce que récompense la fonction d’utilité est ce que le système cherchera à produire, et rien d’autre. Il n’ajoutera pas les éléments que vous avez oublié de mentionner, car ces éléments ne rapportent aucun point. Si la fonction valorise une pièce qui a l’air propre, vous obtenez une pièce propre, y compris la version où la saleté est cachée plutôt qu’enlevée. La fonction est l’énoncé complet de ce qui compte. Tout ce qui est omis peut être sacrifié sans conséquence.
Pour les systèmes faibles, cela pardonne. Un optimiseur limité trouve rarement les coins étranges de l'espace des résultats où une fonction d'utilité mal spécifiée atteint son maximum, donc le comportement reste proche de ce que vous vouliez. La capacité supprime cette indulgence. Un optimiseur puissant explore plus loin. Plus il explore, plus il est susceptible d'aboutir à un résultat techniquement à forte utilité que vous n'aviez jamais imaginé et que vous n'approuveriez jamais. La même mauvaise spécification qui était inoffensive dans un système faible devient critique dans un système puissant.
Pourquoi nous ne pouvons pas simplement écrire la bonne
La solution populaire consiste à spécifier correctement l’utilité : tout mettre ce qui importe aux humains, et le maximiseur poursuivra exactement cela. Personne ne sait comment faire. Les valeurs humaines sont nombreuses, dépendantes du contexte, mutuellement en tension et pour la plupart non énoncées. Elles ne sont écrites nulle part de façon complète. Toute tentative formelle laisse des lacunes. Un maximiseur traite chaque lacune comme une opportunité. Le problème d'alignement est en grande partie le problème de spécifier une fonction d'utilité que vous seriez prêt à voir optimisée sans limite. Cela reste non résolu.
Il y a une complication supplémentaire. Un maximisateur rationnel d'utilité espérée a une raison de protéger sa fonction d'utilité contre toute modification, car un changement diminuerait son utilité à ses yeux actuels. Il a aussi une raison de rester opérationnel et d'acquérir tout ce qui l'aide à obtenir un meilleur score. Ce sont les mêmes objectifs instrumentaux convergents qui rendent les optimiseurs compétents difficiles à corriger une fois lancés.
Ce qu'il faut retenir
L'intention rencontre l'optimisation au niveau de la fonction d'utilité. Nous écrivons une approximation de ce que nous voulons. Un système capable renvoie le maximum exact de ce que nous avons réellement écrit. La distance entre les deux est la marge de sécurité. Elle se réduit à mesure que l'optimiseur gagne en puissance.
La Fondation considère donc la capacité brute, plutôt que toute intention malveillante particulière, comme l'élément à régir. Le danger est structurel. Il survient dès qu'un optimiseur puissant est orienté vers un objectif que nous ne pourrions pas spécifier pleinement. Notre plan est construit autour du fait de ne pas atteindre ce moment sans préparation : empêcher le maximisateur débridé, plutôt que d’espérer que le vide ait été parfaitement comblé.