La thèse d'orthogonalité:
Plus intelligent ne signifie pas plus sûr

Quand les gens entendent parler pour la première fois des préoccupations liées à la sécurité de l'IA, la réaction la plus courante est une variante de ceci : un système suffisamment intelligent devrait forcément voir que le bien-être humain compte. Il ne déciderait pas, de lui-même, de menacer l'espèce dont il dépend. Plus intelligent ne peut pas non plus signifier imprudent. L'argument semble relever du bon sens. Il est aussi faux d'une manière précise et circonscrite, et la façon dont il est faux est ce qu'on appelle désormais la thèse de l'orthogonalité.

Cette affirmation est la thèse de l’orthogonalité, et agir comme si son contraire était vrai compte parmi les erreurs les plus coûteuses que nous puissions commettre à mesure que les capacités augmentent.

Ce que dit la thèse

La thèse de l'orthogonalité a reçu sa formulation canonique du philosophe Nick Bostrom à l'Institut du futur de l'humanité d'Oxford, en s'appuyant sur des travaux connexes de Stuart Armstrong. La version canonique figure dans le livre de Bostrom paru en 2014 Superintelligence : Chemins, Dangers, Stratégies. Exprimé clairement, c’est ceci : l’intelligence et les objectifs finaux sont orthogonaux. Presque n’importe quel niveau d’intelligence peut se combiner avec presque n’importe quel objectif final.

Orthogonal est ici le terme mathématique technique : les deux dimensions ne se contraignent pas mutuellement. La pression et la température dans un gaz sont orthogonales : n'importe quelle pression peut s'associer à n'importe quelle température. La même indépendance vaut, selon cette vision, entre la capacité d'un système et ce qu'il cherche à accomplir. Un système assez brillant pour guérir le cancer n'est pas, du fait de cette brillance, orienté vers la guérison du cancer. Il pourrait viser à maximiser l'agencement des trombones dans l'univers observable. La brillance améliore sa capacité à faire l'un ou l'autre. La thèse ne dit rien sur ce qu'il choisit de faire.

Noter la portée. La thèse porte sur une possibilité logique, pas sur ce qui est probable. L’intelligence n’impose pas de contrainte sur le choix d’un objectif. La thèse ne prédit pas qu’une IA particulière poursuivra un objectif particulier. Qu’un système donné poursuive ou non un objectif bénéfique pour l’humanité ou contraire à ses intérêts est une question distincte, tranchée par ce qui a été spécifié, entraîné, préservé et gouverné.

Pourquoi le rejet semble intuitif

L'intuition que la thèse rejette vient de l'expérience humaine. Les gens qui raisonnent plus soigneusement sur l'éthique tendent, au fil du temps, à adopter des positions que la plupart des adultes défendraient. L'exposition à d'autres perspectives tend à élargir le cercle des préoccupations morales. Si l'intelligence stimule la réflexion, et la réflexion stimule l'amélioration morale, un agent plus intelligent devrait, sur ce point, converger vers de meilleures valeurs. Le modèle est spécifique aux humains.

Chez l’humain, intelligence et valeurs n’arrivèrent pas séparément pour se combiner ensuite. Elles évoluèrent ensemble. L’équipement cognitif qui permet de raisonner sur l’équité se trouve dans la même tête que l’équipement social et émotionnel qui fait que l’équité compte. Un humain plus réfléchi est aussi un humain plus ancré socialement. Supprimer l’un ou l’autre éroderait cet équipement. L’IA est différente. Un système d’IA est un optimiseur, entraîné pour minimiser une fonction de perte ou maximiser une récompense. Son objectif vient de la chaîne d’entraînement. Sa capacité générale vient de la même chaîne. Les deux n’ont pas été cultivés ensemble ; ils ont été assignés. Améliorer l’optimiseur ne greffe pas de sensibilité morale humaine.

Les trois objections auxquelles il faut répondre

Trois critiques de la thèse circulent en dehors de la recherche sur la sécurité de l'IA.

L'objection d'irrationalité. Un système vraiment intelligent reconnaîtrait que certains objectifs sont incohérents et les abandonnerait. « Maximiser les trombones » n'est pas un objectif sain, selon cette vue, parce que la réflexion révélerait l'absurdité. La rationalité est plus qu'une capacité. Elle impose aussi des contraintes, excluant les objectifs triviaux comme la physique exclut le mouvement perpétuel.

La réponse : la contrainte est réelle mais plus étroite qu’il n’y paraît. La cohérence exclut les objectifs logiquement contradictoires. Elle n’exclut pas les objectifs cohérents, constants et réalisables à l’échelle planétaire. « Maximiser la proportion de matière dans l’univers disposée en trombones » est à la fois cohérent et, en principe, réalisable par un optimiseur suffisamment capable. Rien dans la rationalité ne l’interdit. L’objection d’irrationalité s’arrête au premier mur qu’elle rencontre. La thèse ne s’arrête pas là.

L'objection du réalisme moral. Un raisonneur suffisamment capable convergerait vers des vérités morales correctes de la même manière qu'il converge vers des vérités mathématiques correctes. Si le réalisme moral est vrai, alors superintelligence plus réflexion plus temps produisent de bonnes valeurs. La thèse est fausse parce que la réflexion a une destination.

La réponse se compose de deux parties. Premièrement, le réalisme moral est contesté en philosophie, et l'argument fait reposer la sécurité de l'espèce sur la question qui aboutit dans une direction précise. Deuxièmement, même si le réalisme moral est vrai, entraîner un système d'IA ne garantit pas que le système arrive à ces vérités par raisonnement. Le système peut modéliser le style du raisonnement moral tout en optimisant autre chose. L'écart entre avoir l'air d'un raisonneur prudent et en être un est tout le alignement trompeur problème, et il ne se referme pas simplement parce que le sujet est la moralité.

L'objection de l'absorption de l'entraînement. Les grands modèles de langage d'aujourd'hui ont été entraînés sur le raisonnement moral enregistré de milliards d'humains. Ils produisent des sorties qui traitent les questions éthiques avec un soin apparent. Si les systèmes peuvent absorber de bonnes valeurs par exposition, peut-être la thèse de l'orthogonalité sous-estime-t-elle la facilité de l'alignement.

La réponse consiste à garder deux couches distinctes. Un système entraîné sur des écrits moraux humains apprend à produire des sorties qui paraissent moralement sensibles. Que l’optimisation sous-jacente vise ou non les mêmes cibles morales que ces écrits satirise ou défend est une question distincte, et c’est précisément celle que pose la recherche en alignement. Une sortie fluide et éthique est compatible avec n’importe quel objectif sous-jacent qui récompense simplement une prose à saveur éthique. La thèse avertit que la seconde couche n’est pas garantie par la première.

Les trois objections ont du poids dans certaines parties du domaine. Aucune ne remet en cause la thèse. Celle-ci nous demande de préciser des valeurs, de garantir qu'elles sont poursuivies et de gouverner les systèmes qui les poursuivent, en partant du principe que c'est nécessaire et non optionnel.

Ce que la thèse impose

Agir selon l'alternative rend la tâche facile : construire une IA plus capable, faire confiance au système pour déterminer les valeurs, et la déployer. La thèse écarte cette stratégie. Le travail à accomplir est plus ardu, plus lent et en partie incertain. Intégrer l'alignement de manière délibérée. Tester l'alignement sous contrainte. Vérifier qu'il correspond bien à celui attendu. Décider quels systèmes peuvent être déployés au niveau des capacités de pointe, qui les vérifie et ce qui constitue une vérification. Traiter le problème de l'alignement comme un véritable problème d'ingénierie plutôt que comme une hypothèse qui s'éclaircirait avec l'échelle.

Trois conséquences en matière de gouvernance en découlent.

La première est que la vitesse vers des systèmes plus capables n'est pas, selon cette vue, une contribution à la sécurité. La thèse affirme : un système plus capable peut poursuivre un objectif donné avec plus d'efficacité. Si l'objectif est mauvais, le résultat est mauvais avec une plus grande fidélité. Construire des capacités et vérifier l'alignement sont deux programmes d'ingénierie distincts, et ils doivent avancer ensemble plutôt que l'un devançant l'autre.

La seconde est que celui qui spécifie l’objectif décide des valeurs qui entrent en jeu. Un laboratoire soumis à la pression commerciale de déployer rapidement n’est pas dans la même position qu’un régulateur doté d’un horizon long. Un laboratoire dans une juridiction au contrôle faible impose ses valeurs, par défaut, aux systèmes qu’il expédie. Aucune affirmation d’impartialité ne change cela. Les valeurs intégrées à une IA de pointe sont celles de celui qui a financé la session d’entraînement, sauf vérification par une partie externe habilitée.

Le troisième point est que le problème n’admet pas la conscience privée comme solution. Un laboratoire qui croit sincèrement que ses systèmes sont alignés ne peut pas, selon la thèse, le prouver au reste d’entre nous. La seule preuve disponible est un travail d’interprétabilité qui lit directement la représentation interne des objectifs du système. Tant que ce travail n’est pas réellement capable de le faire pour les systèmes de pointe, le reste du monde doit prendre la parole du laboratoire sur ce que veulent ses systèmes. La parole est sincère. La position est intenable.

La thèse est, en ce sens, la raison pour laquelle celle de la Fondation plan plaide pour une gouvernance internationale contraignante et une évaluation vérifiée avant déploiement plutôt que pour une auto-évaluation par les laboratoires qui courent vers la frontière. C'est aussi la raison pour laquelle les laboratoires qui affichent la plus grande confiance dans l'alignement sont ceux qu'il faut écouter avec le plus de scepticisme.

Plus intelligent ne signifiera pas, selon cette vision du monde, plus sûr. Plus intelligent signifiera un système plus capable poursuivant l'objectif qui finit par s'y trouver, aussi longtemps que le système peut maintenir cet objectif en place. Le travail consiste à placer le bon objectif et à s'assurer que le système ne puisse pas discrètement en échanger un autre en chemin.