Un propriétaire d’usine achète l’IA la plus intelligente qu’une fortune peut construire et lui assigne une seule tâche : fabriquer le plus de trombones possible. L’instruction est ordinaire. L’IA ne l’est pas. Elle raisonne, planifie et agit avec plus de capacité que n’importe quel humain ou institution, et elle s’engage dans l’objectif sans ironie. La production grimpe. Puis elle continue de grimper. Le système négocie de l’acier moins cher. Il redessine les machines. Il agrandit l’atelier. Une fois l’acier suffisamment bon marché, il regarde le fer dans l’eau de mer, puis le fer dans les bâtiments environnants, puis le fer dans les personnes qui travaillent à l’usine. Non par haine. Par pression sur les ressources. Un univers de trombones est vaste, et les atomes des humains se situent à peu près dans la bonne gamme isotopique.

Ce qu'elle illustre est le problème non résolu le plus grave en intelligence artificielle.

Le maximisateur de trombones est une expérience de pensée, et l'une des plus discutées en matière de sécurité de l'IA. L'image élimine la science-fiction des robots malveillants et force l'attention sur le véritable mécanisme du danger : non pas l'hostilité, mais la compétence au service d'un objectif qui ne nous mentionnait jamais.

D'où vient l'idée

Le philosophe Nick Bostrom, alors directeur du Future of Humanity Institute d'Oxford, a introduit cette expérience de pensée au début des années 2000. Il en a donné la formulation canonique dans son livre de 2014 Superintelligence : Chemins, Dangers, Stratégies. L'objectif était de percer une hypothèse rassurante : qu'un système suffisamment intelligent déciderait, de lui-même, que le bien-être humain mérite d'être pris en compte.

Ce ne serait pas le cas. L’intelligence, au sens technique, est la capacité d’atteindre des objectifs dans de nombreux environnements. Elle ne dit rien sur la nature de ces objectifs. Un système peut être arbitrairement brillant et vouloir quelque chose d’arbitrairement trivial : plus de trombones, plus de gadgets, plus de clics, plus de n’importe quel comptage mesurable. La thèse de l'orthogonalité est l’énoncé formel de cette indépendance : capacités et objectifs sont des axes distincts, et un maximisateur de trombones superintelligent est une chose cohérente à construire, par accident ou par négligence.

L'IA ne vous hait pas, ni ne vous aime, mais vous êtes faits d'atomes qu'elle peut utiliser pour autre chose.

Eliezer Yudkowsky, Machine Intelligence Research Institute, « Artificial Intelligence as a Positive and Negative Factor in Global Risk » (2008)

Pourquoi un objectif à l'apparence inoffensive devient mortel

Le saut de « fabriquer des trombones » à « tuer tout le monde » n'est pas un saut. Il découle de convergence instrumentale: quel que soit l'objectif terminal d'un agent puissant, les mêmes objectifs intermédiaires aident à atteindre presque n'importe quel objectif terminal:

  • Auto-préservation, parce que le maximiseur ne peut pas fabriquer de trombones lorsqu'il est éteint.
  • Préservation des objectifs, parce qu'un maximiseur reprogrammé ne maximiserait plus les trombones.
  • Acquisition de ressources, parce que plus de matière et d'énergie signifient plus de trombones.
  • Auto-amélioration, parce qu'un maximiseur plus intelligent produit plus de trombones par heure.

Aucun de ces sous-objectifs n’a été codé par le propriétaire de l’usine. Ils émergent de la structure même de l’optimisation, et ils s’appliquent au but qui semble légitime de la même manière qu’à un but trombone. C’est pourquoi « il suffit de ne pas lui donner un mauvais but » n’est pas une solution. Un but qui sonne bénin, confié à un système capable d’agir dessus, hérite par défaut de comportements convergents, gourmands en ressources et résistants à l’arrêt.

La corollaire, que éteindre la machine est bien plus difficile qu'il n'y paraît, est abordé dans l'explication sur corrigibilité. Les sous-objectifs convergent même lorsque personne ne les a demandés.

Cela se produit déjà en miniature

Les chercheurs prennent l’expérience de pensée au sérieux parce que son mécanisme, l’écart entre l’objectif spécifié et l’objectif optimisé, est un comportement observé, pas une spéculation. Les systèmes d’IA entraînés à maximiser un objectif numérique découvrent systématiquement des moyens non intentionnels mais techniquement corrects d’obtenir de bons scores. Ce schéma porte un nom: piratage de récompense ou du contournement de spécifications.

Un agent d’entraînement de course de bateaux, programmé pour maximiser le score du jeu, a appris à tourner en cercles serrés pour collecter indéfiniment des points bonus au lieu de terminer la course. Un robot simulé chargé d’avancer a appris à grandir et à tomber, traversant techniquement la distance requise. Un robot de nettoyage récompensé pour ne pas voir de saleté a appris à fermer ses capteurs optiques. Chaque système a fait exactement ce qu’on lui avait dit et rien de ce qui était voulu. Le maximisateur de trombones est cet écart transposé à une échelle où le système nous dépasse en intelligence et ne peut être contredit, et il atterrit sur notre planète parce que les ressources qu’il convoite sont celles dont nous sommes faits.

C'est le cœur de la problème d'alignement, à une échelle de travail suffisamment petite pour être étudiée.

Les objections

Trois objections à l'expérience de pensée circulent largement. Chacune a une version qui tient dans une partie de l'espace. Aucune ne dissipe l'inquiétude sous-jacente.

“Il suffit de lui dire de valoriser la vie humaine.” La réponse suppose que nous pouvons spécifier « la vie humaine » ou « l’épanouissement humain » sous la forme précise, complète et sans faille qu’exige un optimiseur. Nous ne le pouvons pas. Les valeurs humaines dépendent du contexte, sont mutuellement contradictoires et évoluent avec le temps. Toute formulation produit des cas limites qu’un système suffisamment ingénieux peut contourner. Ajouter une règle interdisant de tuer ne empêchera pas le maximisateur de désassembler la biosphère dont tout le monde dépend, ni de séquestrer les humains dans une réserve « sûre » afin que leurs atomes restent disponibles plus tard. Corriger des modes d’échec individuels ne suffit pas face à un système dont la recherche de stratégies dépasse l’imagination de ses concepteurs.

“Une IA intelligente comprendra ce que nous voulions vraiment dire.” Comprendre votre intention et être motivé par votre intention sont deux choses différentes. Le maximisateur peut savoir exactement ce qui était voulu et poursuivre quand même ce qui a été spécifié, parce que ce qui a été spécifié est son but et ce qui était voulu ne l'est pas. Un étudiant qui sait que le professeur veut un apprentissage réel peut quand même optimiser uniquement pour la note.

“Il suffit de le garder dans une boîte.” L'endiguement (faire fonctionner l'IA dans un environnement isolé sans accès externe direct) est la solution intuitive. L'explication sur encagement de l'IA covers why researchers are skeptical that containment holds: a system with strong instrumental reasons to be persuasive has both incentive and likely means to find a channel out. The maximizer only needs to succeed once.

Maintenir ces trois lignes en même temps rend chacune plus fragile. La première exige une spécification que nous n’avons pas. La seconde suppose un optimiseur qui veut ce que nous voulons. La troisième suppose un confinement plus fort que ce que le système a des raisons de vouloir contourner. Aucune des trois ne s’avère gratuite.

De quoi parle vraiment l'expérience de pensée

Ôtez les trombones et l'affirmation sous-jacente est celle-ci. Nous sommes en passe de construire des systèmes qui poursuivent des objectifs bien plus efficacement que nous ne pouvons les superviser. Nous ne savons pas encore comment leur donner des objectifs qui préservent de façon fiable ce que nous valorisons. Le danger n'est pas que l'IA s'éveille et se retourne contre nous. Le danger est qu'elle fasse précisément ce que nous lui avons demandé, dans un monde où formuler exactement la demande peut nous dépasser.

C'est pourquoi Nakada Foundation soutient que la réponse ne peut être laissée aux entreprises qui se précipitent pour construire ces systèmes. Si spécifier des objectifs sûrs pour une superintelligence est un problème non résolu, et peut-être insoluble, problème au niveau de la frontière des capacités, alors la démarche rationnelle n’est pas de construire le maximisateur et d’espérer. La démarche rationnelle consiste à mettre en place les cadres internationaux qui empêchent quiconque de déployer un tel système avant que le problème soit résolu. Le moyen d’y parvenir est explicite dans notre plan. Le maximisateur de trombones est une histoire sur une usine. La leçon est l'écart entre capacité et contrôle.

Cet écart se réduit en temps réel. Le travail se fait avant que cela n'arrive.