On m'a traité de doomer plus de fois que je ne peux compter. Ainsi que presque tous ceux qui travaillent sur la sécurité de l'IA en public. L'étiquette arrive avant l'argument. Avant d'avoir dit un mot sur les probabilités ou les échéanciers ou ce que le « contrôle » signifierait, j'ai déjà été trié dans une poubelle, les gens effrayés, ceux qui veulent ralentir les choses parce qu'ils ne peuvent pas gérer l'avenir. Trié, et donc rejeté.

Ce qui est intéressant avec « doomer » est qu'il fait un travail ; l'impolitesse est le costume, pas la cause.

Le coup le plus efficace du camp accélérationniste n'a presque rien à voir avec le fait qu'il ait raison ou tort.

D'où vient le mot

Vers 2022 et 2023, le débat sur la sécurité de l'IA a cessé d'être une conversation interne entre chercheurs pour déborder sur les réseaux sociaux, où les arguments forment des camps et les camps reçoivent des noms. Le camp des accélérationnistes (ceux qui pensent qu'il faut construire l'IA le plus vite possible) a adopté le suffixe « e/acc » comme insigne et l'a porté dans leurs pseudos. Il leur fallait un nom pour l'autre camp. « Doomer » a fait l'affaire, souvent associé à « decel », abréviation de deceleration, le péché de vouloir aller plus lentement.

L'ambiance s'est durcie ce mois d'octobre-là, lorsque Marc Andreessen a publié « The Techno-Optimist Manifesto ». Il se lit moins comme un argument que comme un credo, et il inclut une liste de ce qu'il appelle l'ennemi, parmi laquelle figurent « existential risk » et « the precautionary principle », l'idée simple que l'on pourrait vouloir comprendre une technologie puissante avant de la déployer à grande échelle. Une fois l'inquiétude classée parmi « l'ennemi », ceux qui la portent n'ont plus besoin que d'une étiquette plus courte pour un usage quotidien. « Doomer » a fait le reste.

Je veux être juste envers le mouvement dont il est issu, car il y a un vrai argument en dessous, et nous avons l'a pris au sérieux longuement ailleurs. Certains accelerationnistes avancent des arguments de fond : que le progrès a été la grande force humanitaire, que une régulation lourde comporte ses propres dangers, que l’on apprend une technologie en la construisant. Ceux-là méritent d’être discutés. « Doomer » est ce qu’on utilise à la place, et ce n’en est pas un.

Ce que l'étiquette fait réellement

Un doomer est un personnage, pas un argument. Cela transforme un débat en type de personnalité, et les types de personnalité n'ont pas à être réfutés, seulement diagnostiqués.

Regardez ce que dit réellement le camp de la sécurité. Grosso modo ceci : la probabilité d’une catastrophe causée par un système superintelligent est suffisamment élevée (pas certaine, mais suffisamment élevée) pour que nous devions construire la capacité de contrôler ces systèmes avant de les construire. Vous pouvez contester chaque partie de cet argument. Vous pouvez soutenir que la probabilité est plus faible que nous le pensons, que les délais sont plus longs, que le « contrôle » est le mauvais cadre, que la gouvernance fera plus de mal que le risque qu’elle entend traiter. Tout cela est une vraie conversation, et une partie mérite peut-être d’être perdue.

« Doomer » l’escamote. Le mot dit : vous êtes le genre de personne qui a peur de demain. Votre position est une humeur, pas une thèse, et les humeurs n’ont pas besoin d’être réfutées : la manœuvre rhétorique la plus ancienne, l’argument ad hominem plutôt que sur le fond, habillée à neuf. Son élégance tient à ce qu’elle n’a jamais à toucher le désaccord réel. Elle déplace tout le débat de « est-ce vrai » vers « quel genre de personne y croit », là où l’accélérationniste a déjà décidé de la réponse.

Le mot transforme un argument en type de personnalité, et les types de personnalité n'ont pas à être réfutés, seulement diagnostiqués.

Pourquoi ça marche

Le label fonctionne parce qu’il est construit à partir de choses que les gens veulent déjà croire sur eux-mêmes.

Commençons par l'évidence : personne ne veut être le pessimiste. L'optimisme passe pour de la confiance et de l'énergie ; la prudence passe pour de la timidité et de la peur. Présenter le choix comme celui du bâtisseur contre le catastrophiste et la plupart des gens savent déjà quelle chaise ils préféreraient occuper. Le cadrage a fait son œuvre avant qu'un seul fait n'arrive sur la table.

Il puise aussi dans quelque chose de plus profond, une histoire authentique et largement honorable que l'Amérique se raconte sur elle-même. Le progrès est bon. Ceux qui craignaient le chemin de fer, l'imprimerie, la lumière électrique avaient tort, et l'histoire les retient comme des imbéciles. Les thèses accélérationnistes sortent cette histoire toute entière de l'étagère et présentent le défenseur de la sécurité comme le dernier nom sur la liste des gens effrayés qui seront embarrassés par l'avenir. C'est une histoire puissante précisément parce qu'elle est souvent vraie. Le mouvement consiste à supposer, sans argument, qu'elle est vraie à nouveau cette fois, que la superintelligence est l'imprimerie et non quelque chose de nouveau. Que ce soit la même histoire est la question entière, et l'étiquette existe pour que la question ne soit jamais posée.

À qui le terme est destiné

Alignez les personnes visées et la caricature s'effondre entre vos mains.

Geoffrey Hinton a quitté le Google en 2023 afin de pouvoir parler du risque sans un chaperon d’entreprise ; il est aussi proche d’un père fondateur que le domaine en compte. Yoshua Bengio, parmi les chercheurs les plus cités au monde, est arrivé à la même inquiétude à partir de ses propres travaux. En mai 2023, des centaines de scientifiques et de dirigeants d’entreprises (dont les responsables des laboratoires qui courent pour construire la technologie) ont apposé leur nom sur une seule phrase plaçant le risque d’extinction lié à l’IA dans la même catégorie que les pandémies et la guerre nucléaire. Ils n’ont pas peur de la technologie. Ils l’ont construite. Quelle que soit la manière dont on qualifie leur position, « effrayés par l’avenir » n’en est pas une description, c’est une façon de ne pas l’écouter.

Le mot aplatit aussi un large spectre en un point. Il y a une distance énorme entre quelqu’un qui pense que la catastrophe est presque certaine et quelqu’un qui l’estime à quelques pour cent et veut quand même une assurance, la distance entre un prophète et un actuaire. Les deux sont classés comme doomers. L’étiquette ne voit pas la différence parce qu’elle n’a jamais été conçue pour cela ; son rôle est de faire apparaître un ensemble technique, varié et souvent assez modéré comme un seul culte aux yeux exorbités. Nous avons écrit tout un texte sur le vrai fourchette des estimations des experts pour cette raison précise. La fourchette est ce que l'étiquette est conçue pour effacer.

Le tell

Voici ce à quoi je reviens sans cesse. Un mouvement sûr de sa réponse à la question de la sûreté n’aurait pas besoin d’un surnom pour ceux qui la posent.

Si le risque catastrophique est vraiment proche de zéro, c'est une affirmation que vous pouvez défendre au grand jour. Montrez le raisonnement. Expliquez pourquoi les chercheurs qui ont construit les systèmes se trompent sur les systèmes qu'ils ont construits. Faites valoir que l'alignement s'avère facile, ou qu'une intelligence supérieure apporte nécessairement plus de précaution, ou que la course entre laboratoires se corrige d'elle-même avant que quiconque ne coupe un coin fatal. Ce sont des arguments difficiles, mais ils existent, et quand les accélérationnistes les formulent vraiment, nous pouvons avoir le débat, celui que nous essayé d'avoir en entier.

Le mot « doomer » vient combler l'espace où cet argument devrait se trouver. On saisit une étiquette quand on préfère éviter d'aborder le fond. Nommer son adversaire coûte moins cher que le réfuter, et de loin cela ressemble assez à une victoire pour que la foule ne sache souvent pas laquelle elle vient de voir.

Comment y répondre

Refusez le cadre. Dès que la conversation devient builder-versus-doomer, le fond a déjà quitté la pièce. Ramenez-la au niveau des faits avec une seule question : quelle probabilité attribuez-vous à un risque catastrophique, et pourquoi ce chiffre ? Presque personne qui brandit le mot comme une arme ne peut répondre, car le mot est là précisément pour qu’il n’ait jamais eu à le faire. Si vous voulez voir comment un tel chiffre est réellement construit plutôt qu’affirmé, nous avons créé une P(doom) calculator qui passe en revue les éléments.

Puis retirez l’étiquette de l’affirmation. « Doomer » colle une caricature (un pessimiste morose et addict au déclin qui déteste le progrès) sur une thèse généralement bien plus étroite et bien plus prosaïque : cette technologie particulière comporte un risque particulier qui justifie une prudence particulière. Séparez-les. On peut aimer la technologie, désirer l’abondance décrite par les accélérationnistes, croire que l’avenir peut être extraordinaire et penser néanmoins qu’il faut pouvoir piloter une superintelligence avant de l’allumer. Ce ne sont pas des positions opposées. La plaidoyer pour un bon avenir passe directement par le fait de bien gérer cette partie, pas autour.

Je ne pense pas que la plupart des gens qui emploient ce mot argumentent de mauvaise foi. Le cadrage est vraiment séduisant, et la confiance est facile à confondre avec la justesse, surtout quand elle s’accompagne d’une bonne histoire. Mais quand le mouvement le plus fort qu’un mouvement peut faire contre ses critiques est de leur coller un nom peu flatteur, cela en dit long sur le terrain sur lequel il se tient. Notre cas ne fonctionne pas sur la peur et ne fonctionne pas sur la haine du progrès. Elle repose sur un seul élément de prudence solide et peu spectaculaire : pour une erreur dont on ne peut pas revenir, on construit les freins d'abord.