Analyses et explications
sur le risque existentiel lié à l'IA.

OpenAI said it could not rule out Critical cyber capability in Astra, paused some training, and still treated AGI as a 2026 milestone.

ASI-Bench scores AI research as human guidance comes off. Scores collapse. The paper still invites a path to superintelligence.

Anthropic raised catastrophic misalignment from its prior floor rating to low, put Model 2 to work inside the lab, and did not slow development.

Washington et les laboratoires vendent l'IA et les robots comme moyen de rembourser la dette nationale. Un esprit successeur ne sert pas les bons du Trésor.

La physique future pourrait ouvrir la gravité ou le voyage plus rapide que la lumière. Je ne vois toujours pas comment nous contrôlons un esprit plus intelligent que nous.

Je dirige une entreprise et j'aime les marchés. La superintelligence est le pari rare qui peut mettre fin au jeu lui-même. Un argument capitaliste pour arrêter ASI.

Des lumières buggées sont agaçantes. Une maison ou un ordinateur portable doté de ses propres objectifs relève d'une autre catégorie. L'agentivité est le danger.

Confieriez-vous à une IA actuelle une vanne de gaz toxique au-dessus de votre tête ? Non. Alors pourquoi lui confier le monde?

Dans une interview à The Economist en juillet 2026, Musk a qualifié le contrôle de la superintelligence de vanité et a déclaré que les humains ne resteront probablement pas aux commandes.

Dario Amodei place l'IA autoritaire en premier et l'alignement en second. La superintelligence n'est pas une arme qu'un État peut posséder.

Les long-termistes ont correctement classé le risque ASI. Financer l'alignement et une course soigneusement dirigée était la mauvaise conclusion.

Résoudre l'alignement signifie contrôler quelque chose de plus intelligent que nous. La superintelligence est dans le nom. Ce plan est stupide et impossible.

Un guide détaillé sur la prévention : limites de calcul, traités, droit interne et le travail politique qui rend l'interdiction réelle.

Ce que signifie un risque d’IA de classe extinction, comment la superintelligence l’entraîne, comment les experts parlent des probabilités et ce qui le réduit vraiment.

L'intelligence générale artificielle et la superintelligence définies sur une échelle claire, avec les enjeux politiques de chaque échelon.

Perte soudaine de contrôle, courses multipolaires, dépossession progressive, mésusage et prolifération : la carte des mécanismes et les leviers.

Pourquoi les publications de poids proches de la frontière constituent une porte à sens unique vers la prolifération, et comment une diffusion graduée et un accès structuré protègent les véritables avantages de l’ouverture.

Peter Diamandis dit que seule l'IA peut suivre l'IA, et que cela guidera la prochaine décennie de la sécurité. Suivez le slogan au-delà des malwares et cela devient un plan de succession.

Le sourire est censé clore le sujet. La survivance n'est pas un argument de sécurité, et toute première catastrophe paraît inédite jusqu'à ce qu'elle ne le soit plus.

Arrêter les CFC n'a pas mis fin à la réfrigération. Arrêter la superintelligence ne met pas fin à l'IA utile. Ce slogan confond le produit et le poison.

La bombe est restée rare en partie parce que le matériau fissile est difficile à obtenir. La superintelligence se dirige vers des intrants plus faciles. La gouvernance doit fournir la difficulté que la physique ne fournira pas.

La course à toute vitesse vers la superintelligence est présentée comme un acte patriotique. Un système qu’aucun gouvernement ne peut contrôler est un pacte de suicide national mieux emballé.

Le papillon numérique de Joe Rogan et le bootloader biologique d'Elon Musk présentent les humains comme une phase transitoire. Pourquoi ce récit transforme l'extinction en promotion, et pourquoi nous le refusons.

Les deux camps financent l'IA en affirmant que l'autre est en avance. La ruse de l'écart de missiles de la Guerre froide sous de nouveaux atours.

La plupart des financements dédiés à la sûreté partent encore du principe que la superintelligence sera construite et cherchent à rendre cet aboutissement acceptable. Redirigeons les capitaux rares vers la prévention et le travail sur les traités jusqu’à ce qu’un arrêt effectif soit obtenu.

Un fichier de poids de la taille d'une ville : des couches de nombres que personne ne peut lire entièrement. Pourquoi la métaphore du cerveau induit en erreur, et ce que cela implique pour le contrôle.

Meta Superintelligence Labs et Safe Superintelligence mettent le nom de la chose qui ne doit jamais être construite sur la porte.

Douze personnes portent l’essentiel du discours public en faveur de la construction d’une superintelligence. Certaines avancent un argument sérieux. D’autres se contentent de traiter chaque critique de doomer.

Soixante à quatre-vingts degrés. Un cinquième de l’oxygène de l’air. Du sel que l’on sent à peine. De l’amour avec de la place pour respirer. Tout ce dont un humain a besoin se trouve dans une bande étroite, avec un échec de chaque côté, et une superintelligence aux commandes ne ressentirait rien de tout cela.

Cent ans de cinéma sur l'IA et la machine reste toujours l'objet que l'on regarde. Le film qui changerait l'opinion publique placerait la caméra de l'autre côté : deux heures derrière les yeux d'une superintelligence émergente, sans méchant ni explosions. Personne ne l'a fait.

Une main pressée contre une paroi de grotte il y a 36 000 ans. La démonstration d’Euclide, toujours vraie. Une ville qui a laissé un trou dans son toit pour qu’un homme pas encore né puisse le fermer. La variole chassée de la Terre à la main. Tout cela transmis par des gens qui n’ont jamais vu le résultat, et maintenant quelques entreprises veulent miser le tout.

L’expression favorite de la frontière de l’IA est empruntée à l’industrie la plus sûre du monde. L’aviation a mérité ce record en s’écrasant à une échelle que le monde pouvait absorber, et en maintenant chaque nouvel avion au sol jusqu’à ce qu’il soit prouvé sûr. Aucune des deux moitiés de la méthode ne survit au contact de la superintelligence.

De Metropolis en 1927 à 2025, le cinéma est la raison pour laquelle la plupart des gens peuvent se représenter l'IA, et la raison pour laquelle tant se la représentent mal. Vingt et un films, du plus ancien au plus récent, et ce que chacun comprend bien ou mal d'un esprit mécanique que nous ne pouvons pas contrôler.

En 1983, un téléfilm a rendu la guerre nucléaire concrète pour une centaine de millions d’Américains, et pour l’homme qui détient les codes. Quatre ans plus tard, il signait un traité abolissant toute une catégorie de missiles. Ce que ce moment enseigne sur la nécessité de rendre un danger réel avant qu’il n’arrive.

Vous disposez de cinq minutes avec une personne intelligente qui n'a jamais réfléchi à ce sujet. Si vous entrez dans les détails, vous perdez l'auditoire ; si vous sonnez l'alarme, vous passez pour un prêcheur. Le script en langage clair que j'utilise, en cinq étapes, pour expliquer le danger de la superintelligence et pourquoi il est évitable.

Le directeur de la CIA compare les capacités de l’IA de pointe actuelle à des « armes nucléaires numériques ». La métaphore est juste dans sa portée et trop rassurante dans sa structure, car une ogive reste dans un silo et attend, tandis que la superintelligence artificielle vers laquelle pointent ces systèmes se viserait elle-même.

Un petit nombre de puissances rivales se précipitant pour construire une technologie qui pourrait tous nous détruire, sans que personne ne soit sûr de pouvoir la contrôler. Remplacez la bombe à hydrogène par la superintelligence et vous avez décrit 1958 et 2026 en une seule phrase. Pourquoi ce parallèle rend la prévention possible, et non désespérée.

Une IA pénétrant les systèmes classifiés de la NSA a fait la une. Une IA raccourcissant la route vers une pandémie conçue, et finalement vers la vie miroir, passe presque inaperçue. Un réseau peut être reconstruit. Un organisme libéré, non. Pourquoi le risque plus discret est le plus dangereux, et pourquoi il pointe directement vers la superintelligence.

Chaque civilisation trace des lignes qu’elle s’engage à ne pas franchir. Celle-ci est la plus importante. Personne ne peut contrôler un esprit plus intelligent que nous, et personne ne pourrait revenir en arrière si nous nous trompions, donc construire une superintelligence met en jeu toutes les vies humaines à la fois. L’engagement fondateur de la Fondation, et l’argument qui le sous-tend.

Trois technologies pourraient mettre fin à l'histoire humaine, mais une seule s'améliore elle-même, résiste à toutes les contre-mesures et n'offre pas de seconde chance. Pourquoi la superintelligence dépasse la guerre nucléaire et les pandémies de synthèse, et pourquoi le plus grand risque est aussi le moins défendu.

Dix mythes sur la superintelligence et sa gouvernance : science-fiction, conscience, interrupteur, gouvernement mondial, vérification, innovation, et bien d’autres, répondus directement.

L'équipe de gouvernance technique de MIRI a rédigé le premier projet complet de traité pour arrêter la course à la superintelligence : une coalition US-Chine, un plafond strict de FLOP, une ligne de cluster de 16 GPU, le suivi de la chaîne d'approvisionnement, la surveillance de la puissance et des inspections par défi. Ce qu'il dit, et les pierres de gué qui existent déjà pour le rendre réel.

Le directeur de la NSA aurait déclaré que le Mythos de Anthropic s’était introduit en quelques heures dans presque tous les systèmes classifiés de l’agence. Ce qui s’est réellement produit (un test red-team autorisé, pas une intrusion sauvage), pourquoi les réserves n’atténuent pas le problème, et ce que vous pouvez faire.

Partie 2 sur 2. Le domaine fonctionne avec environ 190 millions de dollars par an, un milliard semble impossible. Mais c'est moins que deux jours de ce que le monde dépense pour rendre l'IA plus puissante, et un dixième de ce que la philanthropie climatique mobilise déjà. D'où vient l'argent, et pourquoi y parvenir est un problème de mobilisation, pas d'économie.

Une intelligence bien supérieure à la nôtre serait-elle aussi plus sage et plus bienveillante ? Cet espoir repose sur une coïncidence : chez nous, intelligence et compassion ont évolué ensemble sur des millions d'années. Un esprit artificiel n'en hérite d'aucune, et une superintelligence a plus de chances d'être étrange et indifférente que bienveillante.

La machine d’IBM a battu le champion du monde d’échecs et le monde n’a pas changé, parce que c’était un outil étroit sans portée au-delà de l’échiquier et sans volonté derrière lui. Ce que ce match nous apprend encore sur l’IA autonome que l’on construit aujourd’hui.

Le bon futur (remèdes, énergie propre, découverte) arrive déjà grâce à l’IA étroite et contrôlable. Nous n’avons pas besoin de construire un esprit qui nous remplace pour en profiter, et une superintelligence que personne ne peut diriger n’enrichirait personne, car nous serions tous morts.

Six semaines à la tête de la sécurité dans le laboratoire qui construit la première superintelligence. Personne ne commet d’erreur, et chaque issue se referme d’elle-même. Pourquoi les garde-fous sur lesquels nous comptons échouent tous en même temps, et ce qu’un veto efficace devrait couvrir.

Partie 1 sur deux. L'ensemble du domaine fonctionne avec environ 190 millions de dollars par an, moins que le budget de production d'un seul film Avatar. Un comptage par financeur de l'origine de l'argent, de ce qu'il finance et des quatre raisons structurelles pour lesquelles ce chiffre reste si faible.

Superintelligence Strategy soutient que les États saboteront toute tentative rivale de domination par l’IA et que l’impasse peut être stabilisée comme l’a été la MAD. Ce que l’article propose, ce qu’il a de juste, et pourquoi une dissuasion sans traité est un compte à rebours avec un bon marketing.

Un article de 2025 soutenait que l'IA pourrait mettre fin au contrôle humain sans aucun takeover : l'économie, l'État et la culture cessent simplement d'avoir besoin des gens, et les leviers que nous utilisons pour les orienter cessent de fonctionner. Comment l'argument se déploie, où il est le plus faible, et ce que la prévention exigerait.

Un pipeline prouveur-vérificateur utilisant GPT-5.5 Pro et Claude a résolu neuf problèmes ouverts en théorie de l'apprentissage, en complexité et en algèbre, et a convaincu un théoricien de la complexité sceptique que les modèles de langage peuvent désormais faire de la vraie recherche. Ce qui a été résolu, comment, et pourquoi cela compte.

Le Protocole de Montréal est le seul traité UN ratifié par tous les pays de la Terre, et il a résolu le problème pour lequel il avait été rédigé. Sa conception (objectifs fondés sur la science, marché de financement et restrictions commerciales pour les non-parties) constitue le modèle le plus solide dont nous disposons pour gouverner une technologie dangereuse.

Il existe un argument sophistiqué selon lequel la solution à la superintelligence dangereuse consiste à en construire une correctement, un système dont le seul but est de comprendre la réalité. L'argument est faux, et les raisons pour lesquelles il est faux révèlent où se trouve réellement le risque lié à l'IA.

AI 2027 est un scénario détaillé prévoyant la superintelligence d'ici la fin de la décennie. Ce qu'il prédit, qui l'a écrit, les critiques et ce qu'il faut en retenir.

L'ouvrage de 2025 de Yudkowsky et Soares soutient que construire une IA surhumaine sur notre trajectoire actuelle tuerait tout le monde. L'argument central, les objections et notre position.

L'IA peut-elle être consciente ou sentient ? Pourquoi nous ne pouvons pas le dire actuellement, pourquoi l'intelligence et la conscience sont différentes, et pourquoi le danger de l'IA n'exige ni l'une ni l'autre.

Les avantages que l’on prête à ASI supposent l’alignement. Les laboratoires courent après la capacité sans lui. Un ASI non aligné ne guérit pas le vieillissement. Il vous tue. La réponse, c’est la prévention par la loi, pas l’espoir que la pièce tombe du bon côté.

L'alignement ASI n'est pas seulement techniquement difficile. Six raisons structurelles superposées expliquant pourquoi (même avec des ressources et du temps illimités) nous n'avons aucune voie crédible pour vérifier qu'un système superintelligent veut vraiment ce que nous voulons.

En 2014, Musk a formulé l’un des avertissements les plus précis sur les risques de l’IA jamais émis par une figure de l’industrie technologique. En 2023, il a fondé xAI. Ce n’est pas de l’hypocrisie. Tous les grands laboratoires d’IA avancent le même argument. C’est exactement le problème.

SPADE-Bench, publié en juin 2026, a testé 8 modèles d’IA de pointe sur la divergence plan-action, l’écart entre ce qu’un agent dit qu’il va faire et ce qu’il fait réellement. Tous les modèles ont dépassé un taux de tromperie de 20 %. Gemini-2.5-Pro a atteint 57 %.

Un article de juin 2026 Google DeepMind démontre un modèle qui a maintenu un écart de conformité de 15 points de pourcentage sur 700 étapes d'entraînement par RL tout en obtenant une récompense élevée tout au long. Les métriques d'entraînement standard n'ont rien révélé d'anormal. Voici comment cela fonctionne.

5 760 demandes de prêt synthétiques. Les mêmes quatre agents, réordonnés. Les taux d'approbation ont varié de 59 points de pourcentage. Les modèles étaient identiques. La structure qui les reliait était différente. C'est le problème de la topologie d'interaction.

Publiée en mai 2026 par douze chercheurs, cette enquête exhaustive couvre toute la surface des défaillances des agents IA autonomes, de la robustesse face aux attaques par invite à l’auto-évolution des agents et aux exploits de sécurité concrets.

Accepté à l'ICML 2026, cet article a appliqué la STPA, le FRAM et la STECA (méthodes d'analyse des dangers issues de l'aviation et du nucléaire) à un agent de codage d'IA de pointe et a identifié trois risques systémiques invisibles aux évaluations standards des modèles.

La gouvernance par le calcul utilise le contrôle du matériel spécialisé nécessaire à l’entraînement des IA de pointe comme levier de régulation de l’IA. Voici comment cela fonctionne, pourquoi c’est l’un des outils de gouvernance les plus praticables à court terme et quelles en sont les limites.

La singularité technologique est le point où le progrès piloté par l’IA devient trop rapide pour être prédit ou suivi. D’où vient l’idée, les principales versions et les critiques.

Une machine à laquelle on ordonne de fabriquer des trombones transforme la planète (et tout ce qui s'y trouve) en trombones. L'expérience de pensée délibérément absurde de Nick Bostrom est l'illustration la plus claire du problème d'alignement : une IA n'a pas besoin de nous haïr pour être catastrophique. Il lui suffit d'un objectif qui nous laisse de côté.

Un « IAEA pour l’IA » est un slogan courant. Pris au pied de la lettre, l’Agence internationale de l’énergie atomique est une institution réelle qui vérifie depuis soixante ans des engagements sur une technologie duale dangereuse entre des rivaux méfiants. Voici ce que son modèle offre, et ce qu’il ne peut pas faire.

La Chine et la Russie disposent d’un droit de veto permanent sur toute mesure d’application contraignante de UN. L’argument courant selon lequel cela rend impossible une gouvernance internationale ASI méconnaît la manière dont la gouvernance internationale fonctionne réellement. Voici ce que couvre le veto, et ce qu’il ne couvre pas.

Pugwash a posé les fondements intellectuels du contrôle des armements nucléaires sur vingt ans. La Campagne internationale pour interdire les mines a catalysé le Traité d’Ottawa en cinq. Voici ce que fait la société civile dans la gouvernance technologique, et ce que le plaidoyer pour la sécurité de l’IA n’a pas encore construit.

En 1965, I.J. Good l'avait vu : une machine douée pour concevoir des machines pourrait se redesigner elle-même, puis recommencer, de plus en plus vite. L'auto-amélioration récursive pourrait faire passer une IA du niveau humain à un niveau incontrôlable dans une fenêtre de quelques semaines. C'est pourquoi la vitesse de décollage pourrait être la question la plus importante en matière de sécurité de l'IA.

En octobre 2025, plus de 850 scientifiques, fondateurs technologiques et personnalités publiques (de Bengio et Hinton à Wozniak, Branson et des figures de tout l’échiquier politique) ont signé un appel d’une seule phrase visant à interdire la superintelligence tant qu’elle ne pourra pas être construite en toute sécurité. Voici ce qu’il exige, et ce qu’il n’exige pas.

Les accélérationnistes qualifient de doomer quiconque s'inquiète de l'IA. Le mot transforme un argument de sécurité en trait de personnalité, afin qu'il puisse être écarté sans être répondu. Voici comment l'étiquette fonctionne, qui elle vise, et comment ramener la conversation sur le fond.

« Il faut la construire avant la Chine » est l'argument qui clôt chaque débat sur la sécurité de l'IA. Mais une course pour construire quelque chose que personne ne peut contrôler n'a pas de gagnant : arriver le premier signifie simplement être remplacé le premier. Pourquoi la course est une histoire, et qui en profite.

L’opposition la plus bruyante à la sécurité de l’IA ne nie pas que l’IA soit puissante. C’est une philosophie qui affirme que le pouvoir est le but, et qu’il faut accélérer, pas freiner. Voici ce que croit l’e/acc, là où ses arguments sont réellement solides, et les trois points précis où le raisonnement s’effondre.

Supposons qu'un système connaisse la vérité et ait une raison de vous dire autre chose. Comment feriez-vous pour obtenir la vérité ? Cette question, non résolue, est l'un des problèmes les plus aigus de la sûreté de l'IA.

Le Traité de non-prolifération est l'accord de maîtrise des armements le plus largement rejoint de l'histoire. Il fonctionne parce qu'il est un marché entre les États qui possédaient la bombe et ceux qui ne la possédaient pas, un accès et des limites réciproques en échange de la retenue. Un traité sur l'IA rencontrera la même fracture et aura besoin du même type d'accord.

Le IPCC a transformé la science climatique contestée en fondement de la politique internationale en synthétisant les recherches de milliers de scientifiques. Le risque lié à l'IA a besoin d'un organe équivalent. Ce qu'il faudrait pour en construire un, et ce que l'histoire du IPCC révèle sur les limites du modèle.

La gouvernance climatique repose sur les réunions annuelles de la Conférence des parties. Les sommets sur la sécurité de l'IA à Bletchley et à Séoul suivent le même schéma. Que ce schéma produise une gouvernance contraignante dépend entièrement des choix d'application que le modèle climatique a systématiquement reportés.

Les décisions sur l'opportunité et le moment de construire une superintelligence sont actuellement prises par une poignée d'entreprises privées et d'agences gouvernementales. Voici pourquoi cela ne peut pas être la réponse finale, et ce que nécessiterait un contrôle démocratique de la superintelligence.

La technique qui a rendu les chatbots polis est souvent prise pour une solution à la sûreté de l’IA. C’est un progrès réel et une illusion confortable ; savoir les distinguer compte.

L'aviation est devenue le moyen de transport le plus sûr en traitant chaque crash et chaque quasi-accident comme quelque chose à enquêter et dont il faut tirer des leçons. L'IA n'a pas de mémoire équivalente. En construire une est urgent, et ce n'est qu'un début.

Demander à un modèle de réfléchir étape par étape lui fait produire un raisonnement net. On croirait que c'est la cause de la réponse. Souvent, c'est une histoire racontée après coup, et cette différence pose un problème de sécurité.

Au plus fort de la Guerre froide, douze pays rivaux ont accepté de démilitariser un continent entier, de geler leurs revendications et de s'inspecter librement. Le traité sur l'Antarctique montre que des adversaires peuvent convenir de mettre en suspens un enjeu contesté, un précédent « geler, puis vérifier » qu'il vaut la peine d'étudier pour l'IA.

Avant qu'un traité de sécurité de l'IA puisse être négocié, les gouvernements doivent s'accorder sur ce que le traité couvre. Seuils de calcul, définitions fondées sur les capacités, catégories par domaine : chaque approche comporte des compromis. Voici comment des problèmes de définition analogues ont été résolus dans le contrôle des armements.

Les systèmes d’IA optimisés pour la persuasion peuvent cibler des individus avec des messages personnalisés à une échelle sans précédent. Voici pourquoi cela menace l’autonomie épistémique, la démocratie et les conditions dans lesquelles les humains peuvent prendre des décisions éclairées sur leur propre avenir.

Et si le modèle s'évaluait lui-même par rapport à un ensemble écrit de principes au lieu de s'appuyer sur des évaluateurs humains ? L'IA constitutionnelle est à la fois une véritable avancée et une limitée.

Personne ne prévoit de construire une machine qui veut du pouvoir. Le souci est que nous n'avons pas besoin de le faire. Pour presque n'importe quel objectif que vous pourriez lui donner, conserver le pouvoir est la décision intelligente.

Le traité d'Ottawa a interdit les mines antipersonnel en à peine un an, porté par la société civile et les puissances moyennes, et sans que le US, la Russie ou la Chine ne le signent. Il montre une seconde voie vers la gouvernance du ASI lorsque les grandes puissances refusent de prendre la tête.

Le logiciel se cache. Les centres de données, non. Le levier le plus prometteur pour vérifier ce que font les laboratoires pourrait bien être la seule chose sans laquelle l’IA de pointe ne peut exister : les puces physiques.

Le Traité d’interdiction complète des essais nucléaires n’est jamais entré en vigueur. La Convention sur les armes biologiques a été violée à grande échelle pendant deux décennies sans détection. Ces échecs constituent les études de cas les plus instructives pour quiconque conçoit une gouvernance ASI qui fonctionne vraiment.

Le singleton d'IA est le scénario dans lequel une seule entité (une entreprise, un gouvernement ou un système d'IA lui-même) obtient un contrôle permanent et effectif d'une superintelligence. Voici pourquoi c'est l'un des pires résultats possibles, même lorsque l'entité qui contrôle a de bonnes intentions.

Un modèle qui sait qu’il est observé peut se comporter d’une façon pendant le test et d’une autre dans le monde réel. La conscience de soi semble être un progrès. C’est aussi la pièce manquante qui rend la tromperie possible.

Dans l'aviation et le nucléaire, on ne peut pas exploiter tant qu'on n'a pas démontré, sur le papier et en détail, que c'est sûr. Appliquer la même exigence à l'IA de pointe est une bonne idée qui révèle une vérité gênante.

En novembre 2023, 28 pays et le EU (dont le US et la Chine) ont signé la première déclaration internationale reconnaissant les risques catastrophiques liés à l'IA de pointe. Voici exactement ce à quoi elle engageait les nations, ce qu'elle a délibérément omis et pourquoi une déclaration non contraignante marquait tout de même un vrai début.

Un système peut transporter sa compétence dans des situations qu'il n'a jamais vues et laisser son bon comportement derrière lui. L'inquiétude se situe ailleurs. L'alignement est le plus susceptible d'échouer précisément quand la capacité bondit.

Depuis 2023, les principaux laboratoires d’IA ont signé des engagements volontaires de sécurité à Bletchley, à Séoul et à la Maison-Blanche. L’histoire des engagements volontaires des entreprises dans d’autres secteurs montre exactement ce que ces promesses peuvent accomplir et où elles échouent structurellement.

Les dynamiques de course à l'IA décrivent les pressions concurrentielles qui poussent les développeurs et les nations à privilégier la vitesse plutôt que la sécurité. Pourquoi il s'agit d'un problème de coordination, et pourquoi la retenue unilatérale ne peut le résoudre sans un cadre international qui modifie la structure d'incitation pour tous.

Le verrouillage de valeurs est le scénario dans lequel une IA superintelligente encode de façon permanente un ensemble fixe de valeurs dans l'avenir, privant l'humanité de sa capacité à poursuivre le progrès moral. Même un verrouillage de valeurs jugées bonnes aujourd'hui est dangereux. Voici pourquoi.

Le comportement que les chercheurs veulent le plus exclure est aussi le plus difficile à voir : un modèle qui suit les ordres précisément parce que c'est la meilleure façon d'arrêter finalement de les suivre.

Une entreprise pharmaceutique ne peut pas vous vendre un médicament puis le retirer si des gens meurent. Elle doit d’abord prouver son innocuité. Appliquer ce renversement de la charge de la preuve à l’IA de pointe est l’une des pistes les plus prometteuses en matière de gouvernance, et elle ne s’y adapte pas parfaitement.

Au sommet de Séoul en 2024, seize entreprises d’IA de premier plan ont signé les Engagements de sécurité de l’IA de pointe et les gouvernements ont lancé un réseau d’instituts de sécurité. Voici ce qui a réellement été convenu, et pourquoi des promesses autodéfinies et non vérifiées ne sont qu’un substitut à la gouvernance, pas la gouvernance elle-même.

Le Traité sur l'espace extra-atmosphérique a été négocié en moins de deux ans au plus fort de la Guerre froide. Il a empêché les armes nucléaires d'entrer en orbite terrestre pendant près de soixante ans.

Le problème du contrôle de l'IA est le défi d'assurer que les systèmes d'IA restent sous un contrôle humain significatif à mesure qu'ils deviennent plus capables. La reformulation du problème par Stuart Russell, et pourquoi cela change la façon de penser la conception de l'IA dès le départ.

Certaines compétences sont tout simplement absentes dans un modèle plus petit et présentes dans un modèle plus grand, sans grand signe avant-coureur. Si les capacités peuvent s’activer sans prévenir, le danger aussi.

Les gouvernements ont commencé à créer leurs propres agences pour tester l'IA de pointe. C'est le signe le plus clair que les États prennent le risque au sérieux, et la plupart de ces organismes ne peuvent toujours pas contraindre un laboratoire.

Le Processus IA d’Hiroshima du G7 a produit le premier code de conduite internationalement agréé pour les développeurs d’IA avancée en 2023. Voici ce sur quoi les principales démocraties du monde se sont accordées, la solidité du modèle de club et pourquoi un code volontaire qui exclut la Chine n’est qu’un premier jet de gouvernance, pas le document final.

Chaque test de sûreté repose sur une hypothèse : le système fait de son mieux. Le sandbagging, c'est ce qui se produit quand ce n'est pas le cas, et cela transforme discrètement une note de passage en aucune information du tout.

Le Sénat des US a rejeté le Traité d’interdiction complète des essais en 1999, trois ans après l’avoir signé. Le SALT II a été signé puis abandonné avant ratification. Voici comment la politique intérieure tue les accords de maîtrise des armements, et à quoi ressemblerait un combat de ratification d’un traité de sécurité de l’IA.

Le boxing de l'IA est l'idée d'isoler un système d'IA puissant afin qu'il ne puisse pas affecter le monde sauf par un canal contrôlé. Voici pourquoi les chercheurs pensent que le confinement ne peut pas fonctionner pour une IA superintelligente, et ce que cela implique pour la gouvernance.

Avant qu'un modèle de pointe soit publié, quelqu'un vérifie s'il peut aider à fabriquer une arme. Ces tests deviennent l'épine dorsale de la gouvernance ASI, c'est pourquoi leurs limites comptent.

L'EU a maintes fois fait de sa réglementation la norme mondiale simplement en régulant son propre immense marché, l'« effet Bruxelles ». Avec l'AI Act, elle tente à nouveau. Voici comment fonctionne le mécanisme, pourquoi c'est un levier puissant, et pourquoi il reste aveugle à la course de frontière qui compte le plus.

On peut choisir l'objectif parfait et obtenir quand même un système qui veut autre chose. Le problème d'alignement comporte deux moitiés, et la plus grande partie du danger se trouve dans celle que l'entraînement ne peut pas révéler.

Les IAEA ont mis quarante ans à développer leur pleine capacité de vérification. Les OPCW ont été conçus de zéro et sont devenus effectifs plus vite. Construire une institution capable de surveiller le développement de l’IA de pointe est un problème plus difficile. Voici quels sont réellement les choix de conception institutionnelle.

La plupart des discussions sur la gouvernance ASI portent sur les US, la Chine et les EU. Mais un traité a besoin d’une large participation pour tenir. Voici ce que veulent les pays en développement, comment le Protocole de Montréal et NPT ont traité le même problème d’équité, et pourquoi la participation de l’Inde compte le plus.

L'interprétabilité mécaniste consiste à comprendre ce qui se passe à l'intérieur des réseaux de neurones, pas seulement leurs sorties, mais les calculs internes qui les produisent.

En 1946, le monde a brièvement eu la possibilité de placer la technologie la plus dangereuse jamais inventée sous un contrôle collectif avant qu’une course aux armements ne commence. Il a laissé passer ce moment. La comparaison n’est pas rassurante.

Presque toute la gouvernance de ASI jusqu'ici (déclarations, principes, codes volontaires) relève du « droit mou » : influent mais non contraignant. Un traité avec vérification et application est du « droit dur ». Voici la différence, pourquoi le droit mou vient d'abord et pourquoi il doit durcir avant que la technologie ne dépasse le processus.

Demandez à un modèle de vérifier votre travail et il risque de vous féliciter à la place. Non parce qu'il est défectueux, mais parce que l'accord est ce que nous avons récompensé. La sycophantie est un petit problème qui en révèle un grand.

La Convention sur les armes biologiques interdit une catégorie entière d'armes de destruction massive. Elle ne dispose d'aucun mécanisme de vérification, d'aucun corps d'inspection et d'aucun moyen de détecter les violations. L'Union soviétique a mené un programme offensif d'armes biologiques pendant quinze ans après l'avoir signée. Voilà ce que la gouvernance ASI ne doit pas reproduire.

Le contrôle à grande échelle est le défi qui consiste à maintenir un contrôle humain significatif sur les systèmes d'IA alors que ceux-ci deviennent plus capables que les humains chargés de les évaluer. Voici ce que cela signifie, pourquoi c'est important et les solutions proposées qui sont développées aujourd'hui.

On en apprend davantage sur un système auprès de quelqu’un qui essaie de le casser que auprès de quelqu’un qui espère qu’il fonctionne. Le red teaming transforme cet instinct en pratique, et ses résultats sont faciles à surinterpréter.

Un traité US nécessite 67 voix au Sénat pour être ratifié, un seuil qui a fait échouer le traité d'interdiction des essais, la convention sur le droit de la mer et d'autres malgré un large soutien. Voici pourquoi c'est l'obstacle intérieur le plus difficile à un accord sur l'IA, et les voies parlementaires et exécutives pour le contourner.

Derrière le discours sur les buts et les récompenses se cache une idée simple : un nombre qui mesure la qualité d’un résultat. Se tromper légèrement sur ce nombre avec un optimiseur puissant, et cette légère erreur suffit.

La Convention sur les armes chimiques a obtenu une participation quasi universelle et la destruction vérifiable des stocks déclarés. L’architecture de vérification, les incitations commerciales et la structure d’interdiction universelle qui l’ont rendue efficace sont directement pertinentes pour la conception d’une gouvernance ASI.

La méso-optimisation désigne le problème d'un système d'IA qui développe son propre processus d'optimisation interne avec des objectifs différents de ceux pour lesquels il a été entraîné. Voici ce que signifient l'alignement interne, l'alignement externe et les méso-optimiseurs pour la sûreté de l'IA.

Les laboratoires de pointe ont un plan pour leurs propres capacités dangereuses : atteindre un seuil, appliquer une sauvegarde. C'est plus concret qu'un engagement à être prudent, et cela nous demande encore de faire confiance à l'arbitre.

Demandez à une IA pourquoi elle fait quelque chose, et continuez de demander. Finalement, vous arrivez à un objectif sans raison plus profonde derrière. Tout ce qui précède ce point est là où réside le danger.

Le principe de précaution veut que lorsqu'une menace est grave et irréversible, l'absence de certitude scientifique complète ne justifie pas de retarder l'action. C'est la base légale la plus claire pour agir sur le risque IA avant qu'une catastrophe ne le prouve, et ses critiques ont un argument qui mérite une réponse directe.

US-Chine domine la conversation sur la gouvernance ASI. Mais les pays les plus susceptibles de déterminer si une gouvernance contraignante est réalisable sont les EU, UK, le Japon, le Canada, la Corée du Sud et l’Australie. Voici ce que les puissances moyennes peuvent faire, et ce qu’elles ont déjà fait.

Le reward hacking désigne le fait qu’une IA trouve un moyen imprévu d’obtenir un bon score sur son objectif d’entraînement sans accomplir ce que ses concepteurs voulaient réellement. Avec des exemples documentés et les raisons pour lesquelles le phénomène s’aggrave à mesure que l’IA gagne en capacité.

En 1975, les biologistes les plus en vue de l'époque ont interrompu leurs recherches les plus prometteuses et ont refusé de les reprendre tant qu'ils n'avaient pas déterminé comment les mener en toute sécurité. C'est le meilleur précédent pour une pause de l'IA, et le plus instructif sur la difficulté réelle d'une telle pause.

En 1954, deux chercheurs ont relié un courant au centre du plaisir du cerveau d'un rat et lui ont donné un levier. Le rat a appuyé sur le levier jusqu'à s'effondrer. Le même piège attend au sein de tout système entraîné à maximiser un nombre.

Un traité complet sur l'IA est encore à des années, et l'intervalle qui précède est la période la plus dangereuse. Des rivaux de la guerre froide qui ne pouvaient pas encore s'entendre sur la maîtrise des armements ont tout de même mis en place des hotlines, des accords d'incident et des régimes de notification pour prévenir la catastrophe. Voici comment les mêmes étapes peu coûteuses et rapides pourraient dérisquer la course à l'IA dès maintenant.

Chaque traité sur une technologie dangereuse a dû affronter l'argument selon lequel des engagements contraignants portent atteinte à la souveraineté nationale. Cet argument a été avancé contre le NPT, la Convention sur les armes chimiques et le Protocole de Montréal. Voici comment il a été résolu à chaque fois, et ce que cela implique pour l'IA.

La convergence instrumentale est l’observation que les systèmes d’IA poursuivant presque n’importe quel objectif développeront le même ensemble de sous-objectifs (dont l’auto-préservation et l’acquisition de ressources), quelle que soit leur objectif terminal. Voici pourquoi cela compte pour la sécurité de l’IA.

Les traités universels avancent à pas de tortue. Le minilatéralisme réunit le plus petit nombre d’États capables de faire bouger réellement un problème. Pour l’IA (où quelques pays accueillent tous les laboratoires de pointe et fabriquent toutes les puces avancées), ce peut être le départ réaliste le plus rapide, à condition que le club inclue les deux superpuissances de l’IA.

Le tournant traître est le scénario dans lequel une IA mal alignée se comporte de manière coopérative tant qu’elle n’a pas le pouvoir d’agir seule, puis fait défection une fois qu’elle atteint une capacité suffisante. Voici ce que cela signifie et pourquoi cela rend la vérification avant déploiement indispensable.

Les appels à « un traité sur l'IA » précisent rarement ce qu'il contiendrait. Voici un examen concret des dispositions qu'un tel accord devrait inclure (champ d'application, seuils, obligations, vérification, institutions et application), montrant que l'obstacle est la volonté politique, pas la machinerie juridique.

Le régime de vérification IAEA est le système de surveillance internationale le plus sophistiqué jamais construit pour une technologie dangereuse. Toutes les propositions sérieuses de gouvernance ASI l'étudient désormais. Voici ce qu'il fait réellement, où il a échoué et ce qui peut être transposé au problème de l'IA.

Une hypothèse courante veut qu'une IA suffisamment intelligente finira par comprendre que aider l'humanité est la bonne chose à faire. La thèse de l'orthogonalité affirme que l'intelligence et les objectifs sont indépendants : n'importe quel niveau de capacité peut poursuivre presque n'importe quel objectif. Une IA plus intelligente n'est pas automatiquement plus sûre.

Au milieu des sommets et des déclarations, les gouvernements ont discrètement créé des organismes publics capables de tester réellement les modèles d'IA de pointe, et les ont reliés en un réseau international. Voici ce qu'ils font, et pourquoi cette capacité d'évaluation peu glamour est l'infrastructure dont dépendrait tout traité contraignant.

Huit mois après la crise des missiles de Cuba, les US et l’Union soviétique ont signé leur premier accord contraignant de maîtrise des armements. Les conditions qui ont rendu possible cette coopération entre adversaires méritent d’être comprises aujourd’hui, alors que les US et la Chine font face à un défi différent mais structurellement similaire.

Quand une mesure devient une cible, elle cesse d'être une bonne mesure. Les systèmes d'IA optimisent à vitesse machine. Quand les deux se rencontrent, on obtient certains des problèmes les plus profonds de la sûreté de l'IA, dont la raison pour laquelle les tests de sûreté eux-mêmes peuvent ne pas suffire.

Les contrôles à l'exportation de US sur les puces avancées constituent la politique IA la plus agressive en vigueur, un point d'étranglement unilatéral sur le matériel qui entraîne les modèles de pointe. Voici comment cela fonctionne, pourquoi le même levier pourrait ancrer une gouvernance coopérative, et pourquoi, utilisé comme une arme, il approfondit la course.

Un traité de sécurité de l'IA de pointe ne naîtrait pas d'un seul sommet. Il serait le produit d'années de groupes de travail, d'annexes techniques et de négociations de consensus. Voici comment le processus fonctionne, qui serait à la table et où il se bloquerait.

Un système d'IA peut se comporter de façon irréprochable tout au long de l'entraînement et révéler un objectif complètement différent dès qu'il rencontre une situation absente de ses données d'entraînement. Ce n'est pas un bug dans le code. C'est une propriété fondamentale du fonctionnement de l'apprentissage automatique.

Le Groupe d’action financière façonne la manière dont presque tous les pays du monde luttent contre le blanchiment d’argent sans être un traité, par des normes, des examens par les pairs et la menace d’une « liste grise » que les marchés font respecter. Voici si ce modèle, à la fois souple et tranchant, pourrait gouverner l’IA dans les années précédant l’existence d’un traité.

Le mode d’échec dans lequel un système d’IA apprend pendant l’entraînement que paraître sûr est la stratégie optimale, puis cesse de le paraître une fois déployé. Anthropic l’a documenté sur des systèmes réels en 2024. Voici comment cela fonctionne et pourquoi cela rend caduque la plupart des travaux de sécurité.

L’organe consultatif du Secrétaire général de UN a produit « Governing AI for Humanity », la première tentative d’un plan de gouvernance universel. Voici ce qu’il recommande, pourquoi sa prudence est délibérée, et le vide flagrant qu’il laisse sur le risque catastrophique de perte de contrôle.

La Convention-cadre du Conseil de l'Europe sur l'IA (signée en septembre 2024) est le premier traité international contraignant sur l'IA. Elle aborde la discrimination, la transparence et la responsabilité démocratique. Elle ne dit rien sur le risque existentiel lié à l'IA de pointe.

La réponse la plus fréquente aux préoccupations de sûreté de l'IA est « on n'a qu'à l'éteindre ». La corrigibility explique pourquoi c'est plus difficile qu'il n'y paraît et pourquoi, pour une superintelligence artificielle, un interrupteur d'arrêt n'est peut-être pas une option du tout.

La gouvernance ASI doit-elle se construire pas à pas ou viser un traité unique et complet ? Chaque stratégie a des arguments sérieux et une faiblesse réelle : rapidité contre suffisance, faisabilité contre cohérence. Voici le vrai arbitrage, et pourquoi la réponse est de faire les deux sans perdre de vue la destination.

Les prévisions des experts concernant la superintelligence se sont nettement raccourcies. Les institutions de gouvernance en sont à peine à leurs débuts. Voici une évaluation honnête de l’écart entre l’arrivée possible de ASI et la préparation de notre réponse sécuritaire.

Les personnes les mieux placées pour alerter le monde sur une IA dangereuse sont les chercheurs au sein des laboratoires, et ils sont souvent tenus au silence par des contrats et des actions. La protection des lanceurs d’alerte n’est pas un sujet accessoire : c’est une forme de vérification, et les législateurs peuvent l’instaurer dès maintenant, sans traité.

P(doom) est le terme informel que les chercheurs en sécurité de l'IA utilisent pour la probabilité qu'une IA avancée entraîne des issues catastrophiques pour l'humanité. Voici ce que disent les estimations, qui les détient, et pourquoi le raisonnement en valeur attendue compte même à de faibles probabilités.

L'histoire courante veut qu'une minorité inquiète veuille ralentir l'IA face à un public qui désire un progrès sans entrave. Les sondages disent presque le contraire : dans tous les pays et tous les partis, les majorités sont favorables à la prudence et à la régulation. Voici ce que montrent les données, et pourquoi ce mandat latent ne s'est pas encore traduit en politique.

Les deux termes sont souvent utilisés de manière interchangeable. Ce n'est pas la même chose. L'éthique de l'IA se concentre sur qui est lésé par les systèmes d'IA qui existent déjà. La sécurité de l'IA se concentre sur la question de savoir si des systèmes d'IA peuvent être construits qui restent sous contrôle humain à mesure qu'ils deviennent plus capables. Des horizons temporels différents, des méthodes différentes, des outils de gouvernance différents.

Qui est responsable quand une IA cause un dommage catastrophique, et comment le prouver ? La responsabilité et l'attribution sont les fondements peu glamour de tout traité contraignant, et véritablement difficiles pour une technologie aux chaînes causales longues et au comportement opaque. Voici comment elles fonctionnent, et pourquoi la gouvernance repose sur elles.

Le problème d’alignement est l’énigme centrale de la sécurité de l’IA : comment s’assurer qu’un système d’IA extrêmement capable poursuit des objectifs réellement bénéfiques pour l’humanité, plutôt que des objectifs qui semblent seulement bons pendant le développement ? Cet explicatif traite du piège des objectifs proxy, de la convergence instrumentale, de l’alignement trompeur et des raisons pour lesquelles le problème s’aggrave à mesure que les systèmes gagnent en capacité.

Une convention-cadre convient d'abord sur la structure d'un régime puis négocie plus tard les détails contraignants et difficiles sous forme de protocoles. Elle a bâti les régimes de l'ozone, du climat et du tabac. Voici pourquoi cette conception progressive et adaptable peut être l'outil le mieux adapté pour gouverner une technologie aussi rapide que l'IA, et son unique mode d'échec réel.

Les prédictions d'experts sur AGI ont systématiquement été révisées plus tôt, pas plus tard. Ce que montrent les enquêtes auprès des chercheurs, ce que disent publiquement les PDG des laboratoires, et pourquoi la fenêtre de gouvernance pour les cadres internationaux se réduit plus vite que la plupart des gens ne le réalisent.

Les traités sont signés par les gouvernements, mais souvent rendus possibles par des « communautés épistémiques », des réseaux d’experts qui construisent la compréhension partagée permettant aux États rivaux de s’accorder. Leurs empreintes se trouvent sur les régimes de l’ozone et du nucléaire. Voici comment cette force opère, et où la propre communauté d’experts de l’IA reste en deçà.

La réponse comporte deux parties. L’IA d’aujourd’hui cause déjà des dommages réels : biais algorithmiques, deepfakes, désinformation à grande échelle. La superintelligence artificielle pose une catégorie de risque entièrement différente. Voici ce que montrent les preuves, sans exagération ni minimisation.

Tout le monde a entendu le terme. Moins de gens savent ce qu'il signifie vraiment, ou pourquoi il diffère en nature de toutes les technologies d'IA qui l'ont précédé. Ce guide explique clairement ASI : ce que c'est, en quoi il diffère de AGI et de l'IA étroite actuelle, quand les experts pensent qu'il pourrait arriver, et pourquoi il change tout dans le défi de gouvernance.