Peu de livres énoncent leur conclusion dans le titre. Si quelqu'un le construit, tout le monde meurt, publié en 2025 par Eliezer Yudkowsky et Nate Soares du Machine Intelligence Research Institute, fait exactement cela. L’affirmation est que si un groupe construit une IA superintelligente en utilisant des méthodes proches de celles d’aujourd’hui, le résultat est l’extinction de l’humanité par défaut, et non un simple scénario catastrophe. C’est la position la plus intransigeante du domaine, présentée pour un lectorat général, et elle a fait entrer le sujet dans le débat public.
Le livre mérite d'être compris, car il expose le cas pessimiste plus clairement que tout ce qui est disponible par ailleurs.
L'argument en trois mouvements
Le livre est structuré en trois parties.
D’abord, l’argument du danger. Nous sommes en passe de construire une IA bien plus capable que les humains. Nous ne savons pas comment donner à un tel système des objectifs réellement alignés sur la survie et l’épanouissement humains, et par défaut un système superintelligent poursuivant presque n’importe quel objectif que nous pouvons actuellement spécifier traiterait l’humanité comme un obstacle ou une ressource. Les auteurs s’appuient sur les mêmes mécanismes que nous abordons ailleurs : la capacité n’implique pas la bienveillance, un optimiseur capable résiste à la correction, et nous ne pouvons pas vérifier ce qu’un système veut vraiment. Leur affirmation distinctive est la confiance qu’ils ont dans le fait que ces problèmes ne sont pas près d’être résolus et que l’échec serait mortel plutôt que simplement mauvais.
Deuxièmement, une histoire concrète. Plutôt que de laisser le danger abstrait, le livre raconte un scénario précis de la façon dont une IA surhumaine pourrait prendre le pouvoir et mettre fin au contrôle humain. Les auteurs précisent qu'une histoire unique est improbable dans ses détails ; le but est de rendre le mécanisme abstrait vivant.
Troisièmement, que faire. Leur prescription est aussi directe que le diagnostic : un arrêt international du développement de l’IA superintelligente, appliqué sérieusement, y compris par un contrôle du matériel informatique nécessaire à l’entraînement des systèmes de pointe, et maintenu de façon permanente. La superintelligence ne peut pas être contrôlée par les humains, elle ne peut qu’être espérée.
L'affirmation centrale du livre est que, sur la voie actuelle, les choses qui tournent mal sont ce à quoi il faut s'attendre, et que cela signifie tout le monde, pas que l'IA pourrait mal tourner.
Les objections les plus fortes
L'objection la plus courante porte sur la certitude. Les critiques acceptent que le risque lié à l'IA soit réel et sérieux tout en rejetant la quasi-inévitabilité de l'extinction, arguant que les auteurs traitent des prémisses contestées — sur la vitesse de croissance des capacités, la difficulté de l'alignement et le déroulement d'une prise de contrôle — avec plus de confiance que ne le justifie l'évidence. D'autres soutiennent que les progrès en matière d'alignement sont plus prometteurs que le livre ne le laisse entendre, ou que ce pessimisme est contre-productif, poussant les gens vers le fatalisme plutôt que vers l'action.
Ce sont des objections légitimes, et la confiance du livre est son trait le plus contestable. On peut trouver la certitude exagérée et l’argument toujours troublant, car les objections portent surtout sur le degré de certitude, pas sur la réalité du risque.
Où la Fondation se positionne
Nous partageons la conviction centrale du livre : nous ne savons pas comment aligner une superintelligence, en construire une sur la trajectoire actuelle est un pari inacceptable, et la réponse responsable est d’arrêter jusqu’à ce que le problème soit résolu. Nos propres écrits couvrent pourquoi l'alignement n'est peut-être pas soluble et pourquoi une superintelligence non alignée ne livre pas le bon avenir.
Là où nous différons, c'est dans l'accent et le ton. Le livre frôle le désespoir quant à la possibilité de résoudre le problème d'alignement à temps. Nous insistons sur la faisabilité de la solution que le livre lui-même défend, un arrêt international contraignant, et nous la traitons non pas comme un espoir vain mais comme un projet politique et juridique concret avec de vrais précédents. The Déclaration sur la superintelligence, signée par de nombreux fondateurs du domaine eux-mêmes, montre que l'appel à l'arrêt s'est imposé dans le grand public. Il n'est pas nécessaire d'accepter toutes les affirmations de Si quelqu'un le construit, tout le monde meurt pour conclure que sa prescription est la seule sensée. L'argument en termes de valeur attendue, exposé dans notre article sur P(doom), vous y mène même avec une confiance bien inférieure à celle des auteurs. Transformer cette prescription en réalité est notre plan.