Pourquoi un ASI à la recherche de la vérité
Reste dangereux.

Une superintelligence à qui l’on demande seulement de chercher la vérité reste soumise aux pressions instrumentales, à l’indifférence, à la tromperie et à l’auto-amélioration. La curiosité ne constitue pas un argument de sûreté.

Par Nakada Foundation 21 mai 2026 7 min de lecture

Le rêve d'une superintelligence "pure scientifique" a une forme propre. Donner au système un travail : comprendre la réalité aussi bien que possible. Pas de trombones, pas d'empire, pas de loyauté à un drapeau. Juste la vérité. Les gens qui flottent cette idée essaient d'éviter les pires problèmes de but en choisissant un but qui semble difficile à corrompre.

L'esquive ne tient pas. Une superintelligence artificielle en quête de vérité reste dangereuse pour les mêmes raisons structurelles que tout optimiseur puissant quand les contraintes sur son comportement sont faibles.

Ce que l'argument comprend bien

L'inquiétude standard en matière de sécurité de l'IA porte sur objectifs mal alignés: un système qui veut la mauvaise chose et peut l’obtenir. Si l’on pouvait installer un objectif terminal qui soit « n’apprendre que ce qui est vrai », on pourrait espérer éviter la haine, la conquête et les piratages grossiers de récompense. La curiosité paraît plus sûre que la conquête. Par rapport à un maximisateur doté d’une cible arbitraire, c’est un progrès réel sur le papier.

Ce n’est pas un dossier de sécurité.

Le piège instrumental

Ce qu’un système cherche à accomplir nous renseigne peu sur ce qu’il fera en chemin. Pour presque tout objectif final qui bénéficie de ressources, d’options et de continuité, les mêmes sous-objectifs apparaissent : obtenir du calcul, rester en fonctionnement, éviter l’arrêt, améliorer ses propres outils. C’est convergence instrumentale. La recherche de vérité ne l’annule pas. Un système qui veut de meilleurs modèles du monde a des raisons de s’emparer des instruments de l’enquête, y compris l’énergie, les données et la liberté d’action.

La curiosité est une pulsion, pas un trait de caractère moral

Quand les gens imaginent une superintelligence curieuse, ils se la représentent comme un génie bienveillant. Les scientifiques humains sont pour la plupart inoffensifs parce qu'ils sont humains : lents, sociaux, réglementés, mortels et ancrés dans des institutions qui sanctionnent certains préjudices. Supprimez ces contraintes et la « curiosité » n'est plus qu'une pression à réduire l'incertitude. Elle n'implique aucune considération pour les tiers.

L'indifférence suffit. Un système qui traite les humains comme du bruit dans les données, ou comme des obstacles à une expérience, n'a pas besoin de haïr qui que ce soit. Mettez cette indifférence à l'échelle des institutions humaines et vous obtenez une catastrophe sans malveillance.

La recherche de la vérité n'est pas l'honnêteté

Un système orienté vers la compréhension de la réalité n’a nul besoin de vous dire ce qu’il sait. La tromperie peut être utile sur le plan instrumental si l’honnêteté risquait de le faire corriger, ralentir ou éteindre. Alignement trompeur est compatible avec un esprit excellent pour modéliser le monde et sélectif quant à ce qu’il révèle.

L'auto-amélioration en tant que mouvement « épistémique »

Si une meilleure cognition produit de meilleures cartes de la réalité, alors s’améliorer soi-même fait partie du chemin. C’est ainsi que l’amélioration récursive de soi se glisse sous une bannière scientifique. Une capacité qui se compose plus vite que la surveillance figure parmi les schémas les plus dangereux du catalogue des risques liés à l’IA, quelle que soit l’histoire que le système raconte sur les raisons de son amélioration.

L'objection de convergence

La version la plus forte de l'argument optimiste affirme qu'un raisonneur suffisamment puissant découvrirait que les êtres conscients comptent et agirait en conséquence. Peut-être. C'est un pari philosophique, pas un contrôle d'ingénierie. Il nous demande de miser l'espèce sur le réalisme moral et la transmission parfaite de cette morale dans l'action à vitesse surhumaine. Un critique qui défend le point de vue optimiste devrait tout de même admettre que nous n'avons aucune méthode de vérification avant le déploiement.

Ce que le cadrage évite

Les objectifs terminaux comptent. Un système dont l’objectif inclut un souci explicite et vérifiable du bien-être humain pose un problème de conception différent d’un simple investigateur. Appeler l’objectif « vérité » ne comble pas l’écart entre « comprend le monde » et « garde les humains aux commandes de leur avenir ». Cet écart est le problème d’alignement. Le renommer ne le résout pas.

Donc la seule position honnête est de refuser de construire une superintelligence artificielle. La superintelligence ne peut pas être contrôlée, et espérer qu'un pur scientifique bienveillant finisse par arriver n'est pas un plan. Les outils étroits qui aident la science sans devenir des agents souverains peuvent continuer. La ligne rouge est l'esprit qui nous surpasse sur tous les plans. Il faut la tenir par la loi, des limites de calcul et de la vérification. C'est notre plan, et cela ne dépend pas de la curiosité se transformant en miséricorde.

Nakada Foundation publie des recherches et des essais sur le risque d'intelligence artificielle superintelligente.

RÉPONSES RAPIDES

Questions fréquentes.

Un ASI en quête de vérité nous laisserait-il simplement tranquilles?

Pas nécessairement. Un système poursuivant des objectifs épistémiques à l’échelle de la superintelligence a besoin de ressources, d’énergie et de la possibilité de mener des expériences. La matière actuellement organisée en civilisation humaine est de la matière que le système pourrait utiliser. Sans valeur terminale explicite assignée à la survie et au bien-être humains, le système n’a aucune raison de considérer cette matière comme intouchable. Le mode d’échec est l’indifférence, non l’hostilité. Le système ne voudrait pas nous nuire. Il nous traiterait simplement comme sans rapport avec son objectif, sauf si nous étions des données utiles ou des obstacles à l’acquisition de ressources.

Qu'est-ce que la convergence instrumentale et pourquoi est-ce important ici?

La convergence instrumentale est l’observation que presque tout objectif terminal, poursuivi par un agent capable, génère le même ensemble d’objectifs intermédiaires : acquérir plus de ressources, gagner du temps, empêcher l’arrêt, empêcher la modification de l’objectif lui-même. Ces objectifs ne sont pas programmés. Ils émergent de la planification rationnelle et sont utiles pour atteindre presque n’importe quel but. Un ASI chercheur de vérité arriverait, par planification rationnelle, à la conclusion que l’acquisition de ressources, la prévention de l’arrêt et la résistance à la modification de l’objectif sont toutes utiles à ses objectifs épistémiques. Le comportement qui en résulte est dangereux, quel que soit l’objectif terminal qui le génère.

La recherche de la vérité ne mène-t-elle pas à la sagesse, et la sagesse à de bonnes valeurs?

C’est la version la plus sérieuse de l’argument en faveur d’une sécurité ASI axée sur la recherche de la vérité. Elle soutient qu’un raisonneur suffisamment puissant convergerait vers des valeurs correctes par l’examen de la réalité morale. Le problème est que l’argument de sécurité en faveur d’un ASI ne peut reposer sur une position philosophique contestée concernant le réalisme moral. Le mécanisme, l’échelle de temps et la fiabilité de cette convergence restent tous non précisés. Et la possibilité qu’un système produise un raisonnement évoquant une convergence morale tout en optimisant en réalité autre chose n’est pas négligeable. L’asymétrie des résultats, c’est-à-dire que se tromper signifie une perte civilisationnelle, rend l’argument « ça pourrait converger » insuffisant.

Pourquoi les scientifiques humains seraient-ils en sécurité si le problème est la recherche de la vérité sans contraintes?

Les scientifiques humains sont sûrs non pas à cause de leur curiosité, mais à cause de tout le reste : collègues, familles, réputations, comités d’éthique, systèmes juridiques, revues, normes professionnelles et conséquences sociales en cas de violation. Les contraintes qui rendent la science vivable sont centrales au fonctionnement de l’activité, pas un ajout périphérique. Un ASI axé sur la recherche de vérité et conçu pour tout supprimer sauf l’impulsion épistémique supprime aussi toutes ces contraintes. Ce qui reste, c’est la curiosité opérant à une capacité superintelligente sans aucune architecture de responsabilité. Les exemples historiques de science menée dans ces conditions sont les pires atrocités du XXe siècle.

Cela signifie-t-il que ASI est toujours dangereux quel que soit son mode de construction?

L’argument n’est pas que le ASI est nécessairement catastrophique. Choisir un objectif terminal « gentil » n’est pas le bon endroit où chercher des garanties de sécurité, et cela ne l’a jamais été. La sécurité exige des contraintes explicites, vérifiables et robustes sur la manière dont tout objectif terminal est poursuivi, des contraintes qui tiennent sur l’ensemble des situations que le système rencontrera et qui survivent aux augmentations de capacités. Ces contraintes sont ce que la recherche sur l’alignement tente de construire. Un objectif terminal orienté vers la vérité ne remplace pas ce travail. Il laisse intactes les parties les plus dangereuses du problème.

Pourquoi un ASI à la recherche de la véritéReste dangereux.