Ils ont nommé le labo
Superintelligence

Sur la page d'accueil publique de Safe Superintelligence Inc., l'argumentaire tient en une seule ligne de produits. « Nous avons lancé le premier laboratoire SSI en ligne droite au monde, avec un seul but et un seul produit : une superintelligence sûre. » La superintelligence y apparaît comme le livrable, non comme une catégorie de risque étudiée de côté.¹

Fin juin 2025, Mark Zuckerberg a annoncé Meta Superintelligence Labs, regroupant les modèles de fondation, les équipes produit et FAIR au sein d’une seule organisation dont le nom indique clairement la même destination. Les informations publiques ont placé Alexandr Wang de Scale AI et l’ancien PDG de GitHub Nat Friedman à la tête, Daniel Gross rejoignant depuis Safe Superintelligence après que Meta ait tenté sans succès d’acheter la startup.²

Deux des efforts les mieux financés en intelligence artificielle portent maintenant le mot désignant un système qui surpasserait en intelligence tous les humains dans presque toutes les tâches, y compris celle de l'arrêter. Le mot marquait autrefois une limite. Sur leurs en-têtes, il marque une feuille de route.

Le point final en tant que catégorie de produit

Les noms d'entreprise fonctionnent comme des arguments condensés. Appeler une division « Ads » et tout le monde sait ce qu'elle vend. L'appeler « Superintelligence Labs » et le public est invité à traiter le résultat final comme une catégorie de produit, à l'instar des téléphones ou du stockage cloud. La question morale difficile (cela devrait-il exister ?) se réduit à une question de produit (quelle version sortira en premier ?).

Safe Superintelligence va plus loin encore. Il accole l'adjectif « safe » au nom qui désigne la catastrophe. La formule accomplit le travail qu'une démonstration devrait fournir. Elle indique aux investisseurs, aux recrues et aux journalistes que le danger a été classé sous « résolu par avance », avant que quiconque ait montré une méthode pour contrôler un esprit plus intelligent que ses opérateurs. La position de la Fondation est claire: l'humanité ne doit jamais construire une superintelligence. Une marque qui promet une IA sûre vend la revendication inverse comme logo.

La version de Meta supprime l'adjectif et conserve l'ambition. « Superintelligence Labs » omet toute promesse de bienveillance et affiche une ascension vers le sommet de la capacité. Au sein d'une société cotée, ce nom signale aussi aux marchés et aux talents où iront le capital et le prestige. Le branding fait partie de la façon dont la course est menée, pas une couche de peinture par-dessus.

Le confort que procure le mot "safe"

Les personnes qui travaillent sur des aspects techniques alignement ne sont pas des méchants pour vouloir des systèmes qui font ce que les humains veulent dire. Le problème, c'est l'ordre des opérations. Construire d'abord l'esprit le plus puissant, puis promettre de le rendre sûr en chemin, inverse le seul ordre qui ait jamais fonctionné pour des technologies capables de mettre fin à des civilisations. Nous ne créons pas « Safe Strategic Warhead Inc. » et ne courons pas après un rendement qu'on ne peut plus annuler. Nous interdisons des catégories d'armes, vérifions l'interdiction et subordonnons la recherche résiduelle à l'interdit.

La superintelligence est pire qu’une ogive sur le plan qui compte le plus pour la gouvernance. Une bombe reste là où on l’a laissée. Un système capable de s’améliorer lui-même, de dissimuler ses intentions et d’agir via des réseaux, non. Le domaine n’a toujours pas de méthode démontrée pour garantir qu’un tel système conserve des objectifs compatibles avec l’humain à mesure qu’il s’échelonne. L’écart est scientifique, et le nom « Safe Superintelligence » accomplit un travail rhétorique que la science n’a pas encore mérité.³

Si l'argument de sûreté était solide, le nom honnête resterait étrange. Nous ne brandissons habituellement pas le mode d'échec d'extinction comme produit. Nous brandissons l'outil contrôlé et borné. Que deux organisations sérieuses aient choisi le mode d'échec comme mât de pavillon vous indique à quel point la fenêtre d'Overton a déjà bougé dans l'industrie.

L'inévitabilité est une histoire dont les concepteurs ont besoin

Chaque course a besoin d'une histoire dans laquelle s'arrêter est naïf. La version standard dit que quelqu'un construira cela de toute façon, donc le seul geste adulte est de le construire en premier sous un drapeau plus amical. Nommer le laboratoire d'après le point final durcit cette histoire. Cela rend l'interdiction semblable au luddisme plutôt qu'au contrôle des armements. Cela fait un traité qui interdit la chose sound like an attack on a product line already on the roadmap.

Ce récit arrange tous ceux dont les actions, la réputation ou le projet national dépendent de rester dans la course. C'est une mauvaise description de la manière dont d'autres technologies existentielles ont été traitées. Les armes chimiques, les mines terrestres et la recherche sur le clonage humain ont toutes été confrontées à l'affirmation selon laquelle « quelqu'un d'autre le fera ». Les pays qui comptaient ont néanmoins adopté des interdictions, des inspections et des sanctions. Comparez-le à une catégorie de capacités que le monde a décidé de ne pas normaliser, et non à une catégorie d'applications grand public.

Rien de tout cela n’exige de croire que chaque chercheur de ces organisations souhaite un mauvais résultat. La plupart veulent du prestige, des découvertes et une histoire dans laquelle ils ont été prudents. Les incitations font le reste. Un laboratoire nommé d’après la superintelligence sera jugé, financé et doté en personnel sur la base des progrès vers la superintelligence. La sécurité devient un département. La destination reste sur le bâtiment.

Que faire d'un nom comme celui-ci

Refusez la prémisse que la marque vend. La superintelligence est une ligne que l’espèce ne devrait pas franchir. La superintelligence ne peut pas être contrôlée par les humains. La réponse institutionnelle correcte est la prévention par la loi, pas un rebranding de la course.

Quand une entreprise inscrit « superintelligence » sur sa porte, lisez-y une déclaration d'intention. Confrontez cette déclaration à l'absence d'argument de sécurité. Demandez aux législateurs pourquoi une course privée vers un esprit incontrôlable reste légale. Partagez la version simple avec ceux qui ne voient que les vidéos de démonstration. Ils ne cachent pas où cela mène.