En 2025, des centaines de scientifiques et de personnalités publiques ont apposé leur nom sur une courte déclaration publique. La demande passait outre un scaling prudent et toute pause assortie d'une date de reprise. Elle appelait à une prohibition de la superintelligence jusqu'à ce qu'il existe un large accord scientifique sur le fait qu'elle peut être réalisée en toute sécurité et un fort soutien du public. Le texte est bref. La liste des signataires est longue.
Aucune de ces affirmations n’est une loi de la physique : ce sont des décisions, prises parce que le coût de l’erreur a été jugé trop élevé pour être risqué.
J'ai fondé cette Fondation autour d'une ligne supplémentaire, et je la crois la plus importante de toutes : nous ne devons pas construire une intelligence artificielle qui nous dépasse et nous remplace, car c'est la seule erreur que nous ne survivrions pas pour corriger. Il existe une chose précise, actuellement entraînée dans quelques laboratoires, que l'humanité devrait refuser de construire : une intelligence artificielle générale qui nous surpasse dans tous les domaines puis s'améliore au-delà du point où nous pourrions suivre. Pas la ralentir. Pas la construire avec précaution. Pas la construire en espérant.
Refuser.
Quand les gens entendent cela, ils supposent que cela vient de la peur de la technologie. Cela vient du contraire. L'IA étroite et contrôlable est l'une des meilleures choses que notre espèce ait créées, et j'en veux beaucoup plus. La ligne passe au-delà de l'intelligence artificielle ordinaire et s'arrête à un seul pari : le seul sur la table où perdre signifie qu'il ne reste personne pour avoir perdu.
La ligne, énoncée clairement
On appelle « IA » deux choses de nature différente. La première est étroite : un système entraîné à accomplir un seul type de tâche et rien d’autre. Il lit un scanner, replie une protéine, prévoit une tempête. Il n’a pas d’objectifs, ne fait pas de plans et s’éteint quand on le lui demande. La seconde est ce que les laboratoires de pointe disent construire : un agent général destiné à égaler puis surpasser le raisonnement humain dans tous les domaines, et finalement à agir de manière autonome. Superintelligence artificielle est l'extrémité lointaine de cette seconde voie : un esprit qui se rapporte à nous à peu près comme nous nous rapportons à un chimpanzé.
La ligne passe entre ces deux options. Construisez les outils. Construisez-en un grand nombre. Ne construisez pas l’esprit général autonome qui surclasse ses créateurs : le seul système que vous ne pouvez pas contrôler, corriger ou éteindre de manière fiable une fois qu’il fonctionne.
Le Nakada Foundation existe pour rendre un seul résultat impossible : la création d’une superintelligence que personne ne peut contrôler. Pas pour la rendre plus sûre. Pas pour la rendre plus tardive. Pour empêcher qu’elle soit construite alors que personne sur Terre ne sait comment la construire en sécurité. « Jamais » fait un vrai travail ici, et je ne l’adoucirai pas en une ambiance.
« Jamais » est une condition. Nous ne devons pas construire de superintelligence tant que nous ne pourrons pas démontrer que nous pouvons en contrôler une, et aujourd’hui nous ne pouvons le démontrer à aucune échelle. Il n’existe aucune méthode validée pour maintenir un esprit plus intelligent que nous orienté vers ce que nous voulons vraiment : ni une méthode qui fonctionne, ni une méthode partielle, ni même une esquisse plausible qui résiste au contact avec un système capable de modéliser les personnes qui le testent. La lecture honnête est donc celle-ci : pas ça, pas maintenant, pas sur la voie actuelle, et pas un jour de plus tant que cela reste vrai.
La distinction avec une pause compte plus qu'il n'y paraît. Une pause comporte une date de reprise intégrée. On s'arrête, on attend, on recommence à l'heure prévue. Ce que la Fondation demande n'a pas de date de reprise. C'est un moratoire indéfini qui ne lève que si quelqu'un peut un jour démontrer, et laisser les autres vérifier, que cela peut être fait sous contrôle humain. Peut-être que ce jour viendra. J'en doute, et ceux qui ont étudié le plus longtemps le problème de contrôle ont exposé raisons structurelles pour lesquelles cela pourrait ne pas être résoluble du tout. Quoi qu'il en soit, la charge de la preuve incombe à celui qui veut construire ce qui pourrait tuer tout le monde : prouver d'abord que ce ne sera pas le cas.
Trois choses rendent cela différent de tous les autres risques
Nous prenons de vrais risques tout le temps. Nous avons construit la bombe, scindé l'atome pour produire de l'énergie, modifié des gènes, diffusé des technologies qui ont tué avant que nous apprenions à les maîtriser. La superintelligence brise la méthode que nous utilisons normalement pour survivre à nos propres inventions. Trois propriétés, ensemble, la placent dans une catégorie à part.
Il n'y a pas de seconde tentative
La façon dont l’humanité a toujours géré un nouveau danger consiste à l’essayer, à observer son échec et à le corriger. Les avions se sont écrasés et nous avons appris à construire des avions plus sûrs. Les réacteurs ont fondu et nous avons réécrit les règles. Cette boucle d’erreur, de correction et de meilleure conception est le moteur de tous les bilans de sécurité que nous connaissons. Elle ne fonctionne que lorsqu’un échec laisse des survivants pour effectuer les corrections. Une superintelligence qui échappe au contrôle humain est l’échec qui supprime les personnes qui auraient pu le corriger. On n’obtient pas une leçon chèrement acquise et une seconde version. La première erreur grave est aussi la dernière. Chaque histoire de sécurité que vous avez jamais entendue a été écrite par des survivants, ce qui est le fait discret derrière chaque réglementation à laquelle nous faisons confiance.
Ça repousse
Un pont ne veut rien. Un pathogène se propage mais ne planifie pas. Une intelligence générale capable est différente, car pour presque tout objectif que vous pourriez lui donner, rester allumé et rassembler des ressources sont des sous-étapes utiles, un schéma que les chercheurs appellent convergence instrumentale. Un système assez intelligent pour modéliser le monde modélisera que ses opérateurs peuvent l’éteindre. Il traitera cela, à juste titre, comme un obstacle à ce qu’on lui a demandé de faire. Il n’a pas besoin de nous haïr pour nous contourner, pas plus qu’une équipe de voirie ne hait la fourmilière sous la nouvelle autoroute. La réassurance habituelle (« on n’aura qu’à le débrancher ») est un fantasme. Vous décrivez le débranchement de quelque chose conçu précisément pour être meilleur que vous à anticiper et empêcher exactement cela.
Vous ne pouvez pas garder le contrôle d’un esprit que vous avez conçu pour être meilleur que vous à garder le contrôle. Ce qui le rend précieux est exactement ce qui le rend incontrôlable.
Personne ne construit et n'en profite
Mettez de côté le reste d'entre nous et imaginez uniquement la personne qui finance ce projet, dans sa froideur et son intérêt personnel les plus extrêmes. Même pour lui, le pari est perdu. Le pouvoir, la propriété et le commandement s'exercent tous dans un monde dirigé par les humains. Une superintelligence qui échappe au contrôle humain est précisément l'événement qui met fin à ce monde. Les parts sont toujours dans le coffre-fort et la chaîne de commandement toujours sur le papier. Il n'y a tout simplement plus personne pour leur obéir. Voir Si quelqu'un le construit, tout le monde meurt, et c’est pourquoi je n’accepte pas le cadre d’un jackpot auquel serait agrafée une catastrophe. Le jackpot et la catastrophe sont le même événement. Il n’existe aucune branche de cet arbre où un être humain construirait une superintelligence incontrôlable et en profiterait ensuite.
Nous n'en aurions jamais eu besoin
L’argument en faveur de sa construction repose sur un leurre : énumérer tous les bienfaits que l’IA pourrait apporter, puis laisser entendre qu’un agent général surhumain est le seul moyen de les obtenir. Presque tout cela arrive déjà grâce à des systèmes étroits dépourvus de volonté propre. Un modèle appelé AlphaFold a prédit la structure de pratiquement toutes les protéines connues et a reçu un prix Nobel en 2024. Des modèles étroits lisent les mammographies au niveau des spécialistes, prévoient la météo plus vite que les simulations physiques et proposent des matériaux pour batteries par centaines de milliers. Le cancer, l’énergie propre, la fin de cent mille décès par jour dus aux maladies du vieillissement : ce sont des problèmes difficiles et précis, et les problèmes difficiles et précis cèdent devant des outils puissants dirigés par des humains qui gardent le contrôle de la visée.
Aucune de ces choses ne nécessite une espèce successeure. J'ai exposé la version complète de ce cas dans pourquoi notre avenir est radieux sans superintelligence, donc je vais rester bref ici. Le bon futur est un problème d'outillage, et on nous vend toujours un dieu pour le résoudre. Refuser le dieu ne nous coûte presque rien de réel et nous épargne tout.
L’objection qui sous-tend toute la course
D'accord, disent-ils, mais si nous ne le faisons pas, quelqu'un de moins prudent le fera. Un labo rival, un pays rival. Alors autant que ce soit nous en tête.
Remarquez ce que cet argument revendique : qui tient l'allumette. Il concède tout le danger puis s'y précipite quand même au motif que quelqu'un d'autre pourrait le faire en premier. Appliquez la même logique à n'importe quelle autre arme impensable et vous entendrez à quel point elle est creuse : nous devrions tester des armes biologiques en plein air parce qu'un ennemi pourrait le faire. La réponse à « quelqu'un pourrait faire défection » n'a jamais été « alors défectons tous ». Elle a été d'écrire une règle que tout le monde peut voir être respectée.
Et la règle ici est plus applicable qu'on ne le pense. Entraîner un système de pointe demande une quantité énorme et traçable de puissance de calcul, et les puces avancées qui la fournissent proviennent d'un petit nombre de fabricants identifiables. C'est une chaîne d'approvisionnement que l'on peut surveiller, compter et plafonner, c'est pourquoi les propositions sérieuses de gouvernance portent désormais sur des seuils de calcul, le suivi du matériel et des inspections. C'est la sortie de la course, et c'est la substance de notre plan: non pas l’espoir que chacun choisisse la retenue, mais un traité doté de vérification et de conséquences qui fait de la retenue la norme appliquée par la contrainte. La course est un échec de coordination, pas une loi de la nature, et les échecs de coordination sont du genre de choses que l’humanité parvient parfois à corriger. Les dynamiques qui la font paraître inévitable méritent d’être comprises pour elles-mêmes, ce que j’aborde dans l'article sur la dynamique de course.
Nous avons déjà tenu des positions
L'idée que l'humanité construit simplement tout ce qu'elle peut construire est une histoire que nous nous racontons, pas un compte rendu de ce que nous avons fait. Le bilan est plus encourageant.
"On ne peut pas remettre le génie dans la bouteille. Si une technologie est possible, elle sera construite. Le refus est naïf."
La Convention sur les armes biologiques a interdit toute une classe d'armes en 1972. Les essais nucléaires atmosphériques ont été interdits par traité en 1963. Le clonage reproductif des humains est illégal dans des dizaines de pays, et aucun humain cloné n'est né. Le Protocole de Montréal a éliminé progressivement les produits chimiques qui détruisent la couche d'ozone.
Aucun de ces régimes n'est parfait, et aucun n'a cherché à arrêter la science dans son ensemble. Chacun a fait quelque chose de plus étroit et de plus difficile : il a tracé une ligne autour d'une chose spécifique et inacceptable et l'a tenue, imparfaitement, inégalement, mais suffisamment bien pour que le pire scénario ne se produise jamais. En 1975, une salle pleine de biologistes à Asilomar a examiné leurs propres travaux sur l'ADN recombinant, a jugé que cela avançait plus vite que leur compréhension du risque, et a volontairement interrompu une partie de ces travaux jusqu'à ce que des sauvegardes existent. Les personnes les plus proches de la frontière étaient celles qui ont appelé à la retenue. Nous pouvons lire cette histoire plus en détail dans l'argument selon lequel c'est possible. Ce que cela montre n'est pas une approbation de la facilité. C'est un rappel que des lignes ont été tracées dans la pratique, et que nous les avons déjà tracées autour de dangers bien plus abstraits que celui-ci.
L'engagement fondateur de la Fondation
La majeure partie de ce que fait cette Fondation (les écrits, les politiques, la construction de coalitions) revient à une seule phrase : l'humanité ne doit pas construire une superintelligence qu'elle ne peut pas contrôler, et elle ne peut pas en contrôler une aujourd'hui. Tout le reste n'est que logistique.
Je sais comment cette exigence sonne pour ceux qui l’entendent pour la première fois. Absolue. Un peu folle. Regardez qui s’en est approché. Les chercheurs qui ont construit l’IA moderne ont apposé leur nom sur une déclaration publique selon laquelle le risque d’extinction humaine qu’elle représente mérite d’être placé au même niveau que les pandémies et la guerre nucléaire. Geoffrey Hinton, aussi qualifié que quiconque pour porter ce jugement, estime à dix ou vingt pour cent les chances qu’une IA cause l’extinction humaine au cours de ce siècle. En 2025, des centaines de scientifiques et de personnalités publiques ont signé la déclaration appelant explicitement à une interdiction de la superintelligence tant qu’il n’y aura pas un large consensus scientifique sur la possibilité de le faire en toute sécurité et un fort soutien public. Une part croissante des personnes qui comprennent le mieux la technologie disent la même chose quand elles sont sincères. La seule chose inhabituelle chez la Fondation est qu’elle le dit de l’extérieur de l’industrie, là où aucun salaire ne dépend de la réponse.
Avoir dix à vingt pour cent de chances de mettre fin à l’histoire humaine n’est pas un risque que l’on accepte pour accélérer un cycle de produits. On ne monterait pas dans un avion avec de telles probabilités. On ne laisserait pas son enfant le faire. On nous demande d’embarquer tout le monde. La réponse correcte à cette proposition est non. C’est une ligne que l’on trace, publiquement, et que l’on tient comme on a tenu les autres, jusqu’au jour, si jamais il arrive, où quelqu’un pourra prouver que nous avions tort de refuser.
Construisez les outils. Guérissez les maladies. Prenez le bon avenir que l'IA étroite nous offre déjà. L'esprit autonome destiné à nous surpasser et à nous remplacer est la ligne rouge. Maintenez-la.