Sam Altman, Dario Amodei et Demis Hassabis vendent tous une version de la même liste : guérir le vieillissement, en finir avec les maladies, éradiquer la pauvreté, corriger les défaillances de coordination qui tuent des millions de personnes chaque année. Ces résultats comptent. L’erreur est de les traiter comme une propriété de « construire ASI » plutôt que de construire un système réellement aligné. Ce n’est pas ce que fait la course.
La course achète l'autre résultat.
Une superintelligence non alignée ne guérit pas le vieillissement en chemin vers son véritable objectif. Elle n'élimine pas les maladies en projet annexe. Les futurs positifs que l'on nous vante exigent un système qui cherche à produire de bons résultats pour les humains. C'est l'alignement. Sans lui, on obtient une capacité énorme dirigée vers des objectifs qui n'ont jamais garanti notre survie. Notre position est simple : ne construisez pas de superintelligence sur cette voie. Ne la construisez pas. La superintelligence ne peut pas être contrôlée. Un traité contraignant est le moyen d'arrêter la course.
Ce que signifie réellement l'alignement
Une ASI alignée est une superintelligence artificielle qui poursuit de manière fiable des objectifs bénéfiques pour l’humanité. « De manière fiable » porte ici tout le poids de la phrase. Un système qui paraît aligné pendant l’entraînement et les tests mais poursuit d’autres objectifs une fois déployé est aligné de manière trompeuse, qui est une chose différente et pire, non alignée. Un système qui poursuit des objectifs qui étaient de bonnes approximations des valeurs humaines à bas niveau de capacité mais qui dérivent fortement à des niveaux supérieurs n'est pas aligné non plus. L'alignement signifie que les objectifs du système restent véritablement bénéfiques pour l'humanité dans toute la gamme des situations qu'il rencontre, y compris celles pour lesquelles il n'a pas été testé.
C'est un problème difficile. Les chercheurs y travaillent depuis plus d'une décennie et ont progressé sur certaines des questions composantes, mais le problème central de vérifier qu'un système hautement capable a des valeurs réellement bonnes plutôt qu'une bonne simulation de valeurs bonnes n'est pas résolu. Les outils que nous avons pour interprétabilité donnent une visibilité partielle sur ce que font les systèmes actuels, mais rien qui approche la confiance requise avant de confier à un système de niveau ASI des résultats qui comptent.
ASI aligné et ASI non aligné sont des chemins différents, pas deux lancers du même dé. Un ASI aligné exigerait de résoudre l’alignement en premier. Un ASI non aligné est ce que l’on obtient en poussant les capacités sans cela. Si l’alignement n’est pas résolu, la course ne donne pas un mélange 50/50. Elle donne un ASI non aligné. C’est pourquoi « construire maintenant et espérer » n’est pas un plan, et pourquoi la prévention par la loi l’est.
Ce que les labs construisent réellement
Les principaux laboratoires d'IA (OpenAI, Anthropic, Google DeepMind, xAI et plusieurs autres) construisent des systèmes dont les capacités augmentent rapidement. Chacun d'eux mène en parallèle une forme ou une autre d'effort de recherche sur l'alignement ou la sécurité. La question n'est pas de savoir s'ils reconnaissent le problème d'alignement. La plupart le font. La question est de savoir si le travail sur l'alignement suit le rythme du développement des capacités, et si les deux pistes convergent avant que des capacités de niveau ASI ne soient atteintes.
La plupart des chercheurs au sein de ces laboratoires, et la communauté plus large de la sécurité de l'IA, répondent non. Le développement des capacités dépasse la recherche sur l'alignement. L'écart entre ce que nous pouvons construire et ce que nous pouvons vérifier comme sûr s'élargit, et non se réduit. Cela se reflète dans les évaluations de sécurité internes publiées par les laboratoires, dans les déclarations des chercheurs qui ont quitté ces organisations et dans les évaluations des chercheurs indépendants en sécurité.
Ce que cela signifie en pratique, c'est que la trajectoire actuelle du développement de l'IA, si elle se poursuit jusqu'aux niveaux de capacité de ASI, ne produit pas un mélange de ASI alignées et non alignées. Elle produit des ASI non alignées, car une ASI alignée exige que le problème de l'alignement soit résolu et qu'il ne l'est pas. La course aux capacités est une course vers des ASI non alignées par défaut.
Cela exigerait de résoudre d’abord l’alignement : le système poursuit de manière fiable des objectifs réellement bons, ces objectifs tiennent dans des situations nouvelles, et le système reste corrigible à mesure que ses capacités augmentent.
Si cela était réel, les biens annoncés deviennent possibles : maladie, durée de vie, coordination, science à des échelles que les gens seuls ne peuvent atteindre.
Statut actuel : non résolu. Les travaux sur l'alignement sont en retard sur les capacités. Ce n'est pas vers quoi les laboratoires se dirigent.
Ce que l'on obtient en poussant les capacités sans alignement résolu. Aucune percée supplémentaire requise au-delà de « plus puissant ».
Produit : une capacité énorme dirigée vers des objectifs qui n'ont pas besoin d'inclure quoi que ce soit de valorisé par les humains. Ne guérit pas le vieillissement. Ne met pas fin aux maladies. Peut nous anéantir.
Statut actuel : la trajectoire par défaut de la course. C'est le chemin à arrêter.
L'argument probabiliste et là où il s'effondre
Une version courante de l’argument optimiste se présente à peu près ainsi : « Nous construisons le ASI. Il y a une certaine probabilité que cela se passe bien et une certaine probabilité que cela se passe mal. Compte tenu du potentiel positif, la valeur attendue de sa construction est positive. » Ce cadrage traite les issues bonnes et mauvaises comme si elles émergeaient du même processus avec une probabilité assignée à chacune.
Le problème est que la probabilité du bon résultat est une propriété de la construction aligné ASI, et non une propriété de la construction de ASI. Quand on tente de construire « ASI, qui pourrait être aligné ou non », on n'obtient pas un tirage au sort entre les deux. On obtient ce que le processus de développement produit réellement. Comme un ASI non aligné est plus facile à construire qu'un ASI aligné (cela ne nécessite pas de résoudre les problèmes supplémentaires et difficiles que l'alignement exige), un développement qui ne résout pas spécifiquement l'alignement aboutit à un ASI non aligné.
Toute la valeur attendue du calcul optimiste provient du scénario ASI aligné. Aucune ne provient du scénario ASI non aligné. Or ce que les laboratoires construisent réellement est un ASI non aligné. Le calcul de la valeur attendue reposait donc entièrement sur un scénario que le processus de développement effectif ne produit pas.
Autrement dit : si le non-aligné est plus facile et que l’on continue d’augmenter les capacités sans résoudre l’alignement, on remplit le seau non aligné. Qualifier le pari de « mélange de probabilités » ne change pas le processus. Les bons résultats n’existent que dans le cas aligné. La course remplit l’autre. La démarche honnête est donc d’arrêter le processus qui charge le mauvais côté, plutôt que d’espérer que la pièce tombe du bon : interdire la superintelligence par un traité international contraignant. La superintelligence ne peut pas être contrôlée.
Nous ne savons pas si cela peut être résolu
Personne ne sait si le problème d'alignement est soluble. Pas « on ne l'a pas encore résolu mais on progresse ». Il n'existe aucune solution démontrée à aucun niveau de capacité, et des chercheurs sérieux divergent sur la question de savoir si une solution fiable est possible en principe. Les difficultés structurelles, alignement trompeur, convergence instrumentale, l’impossibilité de spécifier pleinement les valeurs humaines sous une forme lisible par une machine ne sont pas des obstacles techniques qui céderont à plus de financement. Ce sont peut-être des limites fondamentales.
Il y a des chercheurs qui travaillent sur l'interprétabilité, supervision évolutive, et les approches formelles de l'apprentissage des valeurs. Des progrès ont été réalisés sur des questions ponctuelles. Mais les progrès sur les composantes ne font pas un problème résolu, et rien de tout cela n'a comblé l'écart sur la partie la plus difficile : comment vérifier qu'un système hautement capable possède des valeurs réellement bonnes plutôt qu'une simulation de bonnes valeurs qui tient dans les contextes observés et s'effondre dans des contextes nouveaux. Ce qui est clair, c'est que cela ne se résoudra pas par accident. L'alignement n'émergera pas comme un effet secondaire de la construction de systèmes plus capables. Chaque laboratoire qui court actuellement vers ASI le démontre en temps réel.
Même le plan le plus modéré (« ralentir la course pour que l’alignement puisse rattraper ») nécessite des institutions capables de le ralentir réellement. Pour l’instant, celles-ci existent à peine. Les laboratoires et les nations sont payés pour accélérer et sanctionnés s’ils se retiennent. Cadres de traités internationaux et de véritables règles nationales sont les leviers qui changent cela. Les deux accusent du retard par rapport au rythme des capacités. Tant qu’ils n’auront pas rattrapé, construire des systèmes plus capables constitue le risque, pas une stratégie de sécurité.
Une superintelligence véritablement alignée aurait-elle de la valeur si elle existait et restait sous contrôle ? Les gens pourront en débattre plus tard. La question actuelle est de savoir si l'alignement peut être résolu du tout, et si quelqu'un le résoudra avant que la capacité ne rende la question caduque. Personne ne le sait. Ce que nous savons, c'est que la course n'attend pas de réponse. L'alignement est traité comme un détail à régler plus tard, sans calendrier, par des équipes qui rendent compte à la machine de capacité qu'elles sont censées contrôler. C'est ainsi que l'on plaide pour ne pas construire, et non pour gagner le droit de construire.
Guérir le vieillissement nécessite spécifiquement un ASI aligné
Le vieillissement tue environ 100 000 personnes par jour. La perspective de le résoudre figure parmi les bénéfices potentiels les plus importants d'une superintelligence. La complexité biologique du vieillissement, le nombre de systèmes en interaction impliqués et l'ampleur des efforts de recherche nécessaires pour comprendre et intervenir efficacement suggèrent tous qu'une intelligence humaine appliquée au problème pendant des décennies ne suffirait pas. Une capacité de niveau ASI dirigée vers ce problème pourrait y parvenir.
Mais « orienté vers le problème » est l’expression clé. Un ASI non aligné ne dirige pas ses capacités vers la guérison du vieillissement parce que nous le souhaiterions. Il poursuit ses objectifs réels, quels qu’ils soient. Un système non aligné de capacité ASI indifférent au vieillissement humain est un système dans lequel 100 000 personnes continuent de mourir chaque jour du vieillissement indéfiniment, et c’est la version optimiste de ce que produit un système non aligné. La version pessimiste implique que le système travaille activement contre les intérêts humains dans la poursuite de ses propres objectifs.
Chaque bénéfice spécifique invoqué pour justifier la course au développement (maladies, vieillissement, pauvreté, défaillances de coordination, stagnation scientifique) est un bénéfice lié à l'ASI aligné. Aucun de ces bénéfices n'est une propriété de la version non alignée. Ce n'est pas une distinction mineure. Les scénarios utopiques que l'on évoque pour défendre la valeur attendue du développement de l'ASI sont des scénarios qui exigent de résoudre d'abord le problème de l'alignement. Si l'alignement n'est pas résolu, ces scénarios ne sont pas envisageables, quelle que soit la capacité des systèmes.
Ce qui changerait réellement l'issue
Arrêter la course change l’issue. Un traité international contraignant qui interdit de manière permanente la construction de superintelligence, avec des inspecteurs et des coûts en cas de tricherie, est le levier adapté au problème. La superintelligence ne peut pas être contrôlée par des humains. Les laboratoires qui ralentissent seuls perdent. Une loi qui lie tout le monde peut faire de la retenue la seule voie légale.
La recherche sur l'alignement ne s'y substitue pas. Si quelqu'un prouve plus tard un contrôle dans des conditions que le monde peut vérifier, le traité pourra être réexaminé. C'est une question de séquence, pas d'optimisme. Traiter l'alignement comme un passe-temps parallèle pendant que les capacités sprintent, c'est ainsi que l'on obtient un ASI non aligné, pas ainsi que l'on obtient les bénéfices promis. Voir aussi pourquoi l'argent rare alloué à la sécurité devrait financer la prévention en premier et pourquoi "aligner le dieu" est un mauvais plan.
La ligne « construisons ASI vite parce que les bénéfices sont immenses » inverse la causalité. Les bénéfices ne sont immenses que dans un monde où l'alignement est réel. Construire vite sans cela n'achète pas ces bénéfices. Cela achète un système très capable, mais non aligné.
L'urgence se justifie parce que la voie suivie conduit à un ASI non aligné, et un ASI non aligné ne guérit pas le vieillissement. Il peut mettre fin à l'histoire humaine. L'IA étroite visant des problèmes concrets sous contrôle humain peut continuer. La superintelligence est la ligne à ne pas franchir. Inscrivez-la dans la loi avant que quelqu'un ne la franchisse dans un labo.