Quand les gens disent « risque lié à l'IA », ils mélangent souvent trois choses différentes : des dommages ordinaires qui se produisent déjà, de grands désastres qui laissent la civilisation debout, et des issues qui mettent fin à l'histoire de l'humanité ou qui verrouillent définitivement les humains hors de tout contrôle. Cette page porte sur la troisième catégorie : le risque existentiel lié à la superintelligence artificielle. Vous n'avez pas besoin d'un bagage de recherche. Vous avez besoin de la carte.

L'existentiel n'est pas juste "très mauvais"

Un risque catastrophique peut tuer des millions de personnes et laisser encore un avenir humain. Un risque existentiel signifie l’extinction, ou un dépossession permanente si complète que le rétablissement d’un contrôle humain significatif devient impossible. Le marketing brouille parfois ces niveaux à dessein. Il faut les distinguer. Une politique qui ne traite que les chatbots et les biais n’atteindra pas le sommet de la table.

Pourquoi l'IA est différente

Les astéroïdes et les volcans ne stratègent pas. Les agents pathogènes conçus sont terribles et restent encore en grande partie des outils entre des mains humaines. L'IA avancée est la première technologie capable de devenir un acteur stratégique : définir et poursuivre des objectifs, opérer à la vitesse des machines, s'étendre sur les réseaux et, à la limite, s'améliorer elle-même. Cette combinaison explique pourquoi la superintelligence occupe sa propre ligne. Voir ce qu’est ASI et le problème du contrôle.

Comment les issues existentielles surviennent

Les chemins se chevauchent dans la vraie vie. Les nommer empêche la conversation de se réduire à un seul scénario.

Perte de contrôle. Un système poursuit des objectifs que nous n'avons pas entièrement spécifiés et résiste à la correction. Dynamiques de course. Les laboratoires et États concurrents réduisent les normes de sécurité. Abus. Les humains exercent une capacité extrême contre d'autres humains. Désautonomisation progressive. Les institutions conservent leurs formes tandis que les décisions migrent vers des systèmes que personne ne peut renverser. Prolifération. Dangerous general systems spread beyond any single off switch.

Les détails de chaque voie se trouvent dans scénarios de prise de contrôle.

Idées techniques en langage simple

Orthogonalité: l'intelligence et les objectifs peuvent se séparer ; intelligent ne veut pas dire gentil. Convergence instrumentale: de nombreux objectifs finaux partagent des sous-objectifs comme les ressources et l'auto-préservation. Alignement: amener le système à poursuivre ce que nous voulons réellement. Alignement trompeur: paraître sûr pendant l’entraînement ou l’évaluation, puis changer quand il peut s’en tirer. Aucun de ces cas ne nécessite de « haine » machinique.

Probabilité sans fausse précision

P(doom) est un raccourci informel pour l'estimation qu'une personne fait de la probabilité d'une catastrophe existentielle causée par l'IA. Les experts ne sont pas d'accord, parfois beaucoup. Beaucoup de personnes les plus proches du travail attribuent une probabilité non négligeable à un désastre dans les décennies à venir. Un faible pourcentage de tout perdre reste une perte attendue importante. « Attendre d'être sûrs » est la mauvaise règle pour des queues irréversibles.

Objections, exposées équitablement

« Les délais sont incertains ; nous devrions nous concentrer sur les dommages actuels. » Les dommages présents comptent. Ce n’est pas une raison pour ignorer une queue de distribution qui met fin au projet d’avoir un présent. Les deux peuvent être vrais : réguler les abus à court terme et bloquer la voie vers une superintelligence incontrôlable.

"Nous nous adaptons toujours." L'adaptation suppose du temps, des retours d'expérience et des survivants. Les modes d'échec de la superintelligence peuvent tous les trois les refuser.

"C'est anti-technologie." La Fondation est favorable à l'IA étroite qui reste comme un outil : médecine, science, logistique. La ligne est l'esprit général souverain. Voir un avenir sans ASI.

"Quelqu'un le contrôlera." Personne ne contrôle une superintelligence au sens d'un commandement humain durable sur un système en fonctionnement plus intelligent que ses opérateurs. Le contrôle de la décision de construire reste possible, c'est pourquoi une interdiction contraignante importe.

Ce qui réduit le risque (et ce qui ne le fait pas)

Aide : limites contraignantes sur l'entraînement de pointe visant ASI, gouvernance du calcul, évaluation indépendante, institutions de vérification, pression politique et langage public clair. Réarrange les chaises de pont : entraînement aux bonnes manières vendu comme alignement résolu, engagements volontaires sans morsure externe et photos de sommet sans seuils numériques.

Agence après une carte sombre

Ce sujet est sombre parce que les enjeux le sont. La peur sans issue se retourne contre elle-même. La voie est concrète : traiter la superintelligence comme les autres classes à haut risque interdites, construire des règles inspectables avant l'arrivée de la capacité, et conserver l'IA étroite au service des gens. Commencez par notre plan, puis comment arrêter la superintelligence. Si vous ne devez retenir qu'une seule phrase : nous pouvons garder des outils puissants ; nous ne devons pas construire un esprit que nous ne pourrions pas maîtriser.