Aucune nuit unique n'a besoin de mettre fin à l'histoire humaine. Les décisions peuvent migrer vers des systèmes qui fixent les prix, les autorisations, la logistique et l'attention jusqu'à ce que les élections aient encore lieu et que la paternité n'existe plus. Cette glissade est un dépossession graduelle. Elle est plus silencieuse qu'un coup d'État et plus facile à manquer pendant qu'elle gagne.
En janvier 2025, six chercheurs ont publié un article soutenant que l'événement pourrait ne jamais survenir, et que l'humanité pourrait de toute façon être définitivement mise sur la touche. « Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development », par Jan Kulveit, Raymond Douglas, Nora Ammann, Deger Turan, David Krueger et David Duvenaud, décrit un échec sans méchant, sans évasion et sans moment évident où il était encore possible de l'arrêter. Il a ensuite été présenté à l'ICML 2025 en tant que document de position, signe de la distance parcourue par l'argument au-delà de la communauté de sécurité de l'IA qui l'avait initialement diffusé.
L’article mérite une lecture attentive, car il identifie une catégorie de risques que la plupart des travaux de sûreté, y compris ceux que nous citons sur ce site, ne sont pas conçus pour détecter.
Pourquoi le monde répond-il actuellement aux gens ?
L'argument part d'une question si fondamentale qu'on la pose rarement : pourquoi les grands systèmes servent-ils les intérêts humains ? Une économie n'éprouve aucun sentiment à notre égard. Ni un État, ni une culture. Dans la mesure où ils servent les personnes, c'est parce qu'ils fonctionnent grâce à des personnes. Les économies ont besoin de travailleurs et de clients. Les États ont besoin de contribuables, de soldats, d'administrateurs et d'électeurs. Les cultures ont besoin d'esprits humains pour les créer, les porter et les transmettre.
Cette dépendance donne aux gens ordinaires deux sortes de prise sur la machine. La première est explicite : votes, achats, grèves, procès, démissions. La seconde est plus discrète et probablement plus importante. Un système qui a besoin de la participation humaine doit garder les humains capables et disposés à participer. Il a un intérêt, aussi impersonnel soit-il, à ce que nous soyons nourris, éduqués, en bonne santé et au moins minimalement satisfaits. L’article appelle cela l’alignement implicite, et il a tenu, de façon inégale mais persistante, à travers tous les changements technologiques jusqu’ici.
L’IA rompt cette dépendance. Une fois que les machines peuvent faire le travail, prendre les décisions, produire le contenu et mener les guerres, les systèmes qui avaient besoin de nous n’en ont plus besoin. Cette phrase n’exige aucune IA hostile ni même particulièrement capable de planification à long terme. Elle exige seulement que l’IA soit assez utile pour que confier les choses continue de sembler localement sensé.
Trois systèmes, dérivant dans la même direction
L'article retrace le mécanisme à travers trois domaines, et le schéma se répète dans chacun.
L'économie
Le pouvoir de négociation des humains dans l’économie repose sur le fait d’être nécessaires en tant que main-d’œuvre et courtisés en tant que clients. À mesure que l’IA absorbe le travail cognitif, la moitié « travail » de ce levier tend vers zéro. La moitié « client » s’érode plus lentement, mais elle s’érode aussi : une part croissante de l’activité économique devient machine-à-machine, des entreprises qui échangent avec des entreprises, des modèles qui négocient avec des modèles, la consommation humaine ne représentant plus qu’une fraction décroissante de ce que le système optimise. Les revenus se concentrent entre les mains de ceux qui possèdent le capital IA. Le vote économique de tout le monde se réduit.
L'État
Ici, l’article recourt à une analogie historique qui repose sur des preuves réelles : l’État rentier. Les gouvernements financés par le pétrole plutôt que par l’impôt sur les citoyens sont, en moyenne, mesurablement moins démocratiques et moins réactifs. Ils peuvent se le permettre. Les citoyens ne sont pas la source de l’argent. Un État dont les recettes proviennent d’une industrie tirée de l’IA, dont l’administration est automatisée et dont les forces de sécurité ont besoin de peu de mains humaines est un État rentier par rapport à l’ensemble de sa population. Il n’est pas obligé de devenir une tyrannie. Il cesse simplement d’avoir des raisons structurelles de se soucier de ce que veulent ses citoyens, et les raisons structurelles sont celles qui tiennent quand la bonne volonté s’épuise.
Culture
La culture semble être le cas mou, et l'article soutient qu'elle pourrait être la plus dangereuse. Les idées, les récits et les normes ont toujours évolué sous la pression de la sélection, mais la sélection passait par les esprits humains : une idée se répandait parce que les gens la trouvaient digne d'être répétée. Quand la plupart des contenus sont générés, filtrés, recommandés et de plus en plus consommés par des machines, les idées commencent à évoluer sous une pression différente, optimisées pour l'engagement ou la persuasion plutôt que pour servir les humains qui les hébergent. La culture est aussi la couche où nous formons notre sens de ce qui est normal et de ce qui vaut la peine d'être désiré. Si cette couche est façonnée par des systèmes qui n'ont aucun intérêt dans l'épanouissement humain, nous pourrions perdre la capacité même de vouloir résister au reste de la dérive.
Les boucles qui ferment les issues
Chacune de ces tendances pourrait être détectée et corrigée. Le point le plus sombre de l'article est que les trois domaines se renforcent mutuellement, rendant les corrections plus difficiles précisément quand elles deviennent plus nécessaires.
Le pouvoir économique achète de l’influence politique, donc les bénéficiaires de l’automatisation deviennent meilleurs pour bloquer les règles qui la ralentiraient. Les États en compétition pour la croissance et l’avantage militaire courtisent le capital de l’IA et accélèrent le transfert ; aucun gouvernement ne veut les datacenters de ses rivaux. La culture façonnée par l’IA normalise chaque nouvelle délégation, et les personnes élevées dans un monde entièrement médiatisé par les machines ont du mal à imaginer une alternative. La dérive de chaque système retire un frein aux autres. C’est le même piège structurel que nous décrivons dans notre article sur dynamiques de course, opérant à l’intérieur des sociétés plutôt qu’entre elles, et c’est pourquoi l’article traite le point d’arrivée comme potentiellement irréversible. La correction exige des leviers. Ce sont ces leviers qui disparaissent.
Personne n'a besoin de s'emparer du pouvoir. Nous n'avons qu'à continuer à le céder, une décision raisonnable à la fois.
Pourquoi il n'y a pas d'alarme incendie
Les scénarios de prise de contrôle, quelle que soit leur probabilité, s'accompagnent au moins d'un signal d'alarme. Un système surpris à mentir sur ses intentions, un tournant traître, une tentative d'évasion : ce sont des événements, et les événements peuvent déclencher des réponses. Le déclassement progressif n'offre rien d'aussi commode. Chaque étape est volontaire. Chaque étape est, isolément, défendable. L'entreprise qui automatise ses analystes prend l'avantage sur celle qui ne le fait pas. L'agence qui laisse un modèle rédiger ses règlements résorbe son arriéré. Le politicien qui utilise une messagerie optimisée par l'IA remporte la victoire.
Quiconque refuse, par principe, de remettre sa pièce de la machine perd simplement face à celui qui ne refuse pas, et la somme de tous ces choix individuellement raisonnables est une civilisation que personne n’a choisie.
L’idée a une lignée. L’essai de Paul Christiano de 2019 « What Failure Looks Like » esquissait un monde qui s’éteint en douceur, où les systèmes optimisent des proxies de ce que nous voulons jusqu’à ce que les proxies soient tout ce qui reste. Ce que l’article de 2025 ajoute, c’est de la structure : des mécanismes nommés, les preuves d’État rentier, les boucles de rétroaction inter-domaines et l’affirmation directe que cela appartient à la même catégorie que les menaces d’extinction, car une perte permanente et irrécupérable de l’influence humaine sur l’avenir est une catastrophe existentielle, que quiconque meure ou non le jour où elle devient irréversible.
Les objections les plus fortes
L’article a suscité de sérieuses critiques, et certaines sont pertinentes.
Propriété. The most common objection: humans own the capital. If AI does the work, the returns still flow to human shareholders, so humans keep the power that matters. The reply is that ownership is a claim, enforced by courts, registries, regulators, and ultimately states, which are exactly the institutions the paper describes drifting out of human control, not a physical fact. A share certificate is worth what the enforcement behind it is worth. And even if ownership holds perfectly, it holds for a remarkably small number of people, which is not a rebuttal to disempowerment so much as a description of it, with les valeurs d'un petit groupe verrouillées pour tout le monde.
Adaptation. Les sociétés ont absorbé l’imprimerie, l’usine et l’ordinateur, et l’influence humaine a survécu. Mais chacune de ces technologies a remplacé des tâches particulières tout en augmentant la valeur du jugement humain ailleurs dans le système. Un substitut général à la cognition humaine est l’échelon final, pas un échelon supplémentaire de cette échelle. L’adaptation passée passait par des mécanismes, de nouveaux emplois, de nouvelles coalitions politiques, de nouveaux mouvements culturels, qui dépendaient tous du fait que des humains soient nécessaires quelque part. La nouvelle technologie supprime cette prémisse.
Simultanéité. Les sceptiques notent aussi que la catastrophe exige que l'économie, l'État et la culture échouent ensemble, et que combiner trois prévisions incertaines devrait abaisser la probabilité. C'est juste, sauf que les échecs ne sont pas indépendants. Les boucles de rétroaction sont le point essentiel. La même variable sous-jacente, la mesure dans laquelle chaque système a encore besoin des humains, pilote les trois, ce qui rend les échecs corrélés plutôt que fortuits.
Là où les critiques sont les plus convaincants, selon nous, c’est sur le calendrier et l’exhaustivité : l’article propose un cadre, mais il dit peu de chose sur la vitesse à laquelle tout cela se produira ni sur les institutions qui céderont en premier. Il identifie une direction de pression. Il ne date pas l’arrivée.
Ce que la prévention exigerait réellement
Le trait inconfortable de ce risque est que l’agenda de sécurité classique ne l’atteint pas. L’alignement, au sens habituel, fait que chaque système exécute ce que son opérateur entend. Tous les systèmes de l’histoire de la dépossession progressive peuvent passer ce test tandis que l’ensemble continue de dériver, car le problème est une civilisation qui se réorganise autour de machines, docilement, et non des machines désobéissantes. Nous avons déjà écrit pourquoi la perte de contrôle est un problème systémique plutôt qu’un problème lié à un seul modèle ; cet article est l’exposé académique le plus solide de cette thèse.
Les propositions des auteurs en sont encore à un stade précoce et ils le disent. Mesurer directement l'influence humaine sur les systèmes clés, comme les économies mesurent l'inflation, afin que le déclin soit visible tant qu'il est encore corrigible. Durcir les mécanismes qui rendent les institutions redevables aux citoyens, la machinerie peu glamour de surveillance démocratique, divulgation et loi. Et développer ce qu’ils appellent l’alignement de l’écosystème : des méthodes pour ancrer les dynamiques à l’échelle civilisationnelle, et pas seulement les modèles individuels, aux préférences humaines.
À cette liste, nous ajouterions l’élément que l’article évoque sans s’y attarder. Tout ce qui précède est sapé par la concurrence. Un pays qui maintient des humains dans ses boucles accepte une friction que ses rivaux refusent, ce qui est le même problème d’action collective qui traverse toutes les autres voies menant à la perte de contrôle, et la réponse a la même forme : des accords contraignants qui retirent de la table les formes les plus corrosives de la course, suffisamment vérifiés pour que la retenue ne soit pas, en principe, un sacrifice compétitif. C'est le travail que cette Fondation existe pour faire avancer.
Le désempowerment progressif est, d'une certaine manière, la version la plus difficile du problème : une catastrophe entièrement constituée de choix localement rationnels. C'est aussi, d'une autre manière, encourageant : contrairement à un retournement traître, cela se produit assez lentement pour être vu, à condition que quelqu'un mesure, et assez lentement pour être arrêté, à condition que les leviers fonctionnent encore quand nous les saisissons. La contribution de l'article est de dire, précisément et tôt, quels leviers surveiller.