« Je suis optimiste. Sûrement que la race humaine ne s'éteindra pas. Ça n'est jamais arrivé avant. » On entend cela après les panels de sécurité, dans les loges et les fils de commentaires, généralement avec un sourire censé clore le sujet. Le sourire accomplit un vrai travail social. Il présente la prudence comme un défaut de personnalité et l'élan comme une santé émotionnelle. Il fait aussi passer une affirmation de risque sous couvert d'une humeur.

L'optimisme est permis. Ce qui ne l'est pas, si nous faisons encore un travail sérieux, c'est de traiter un tempérament comme une preuve.

Ce que « jamais arrivé auparavant » dit vraiment

L'extinction humaine n'a, par définition, aucun témoin humain par la suite. Chaque personne vivante échantillonne les timelines dans lesquelles l'espèce a continué. Appelez cela de la sélection, pas de la philosophie : un gagnant de loterie est une mauvaise source sur les probabilités de gagner, et « je n'ai jamais eu d'accident de voiture mortel » est un piètre argument contre les ceintures de sécurité.

Les archives fossiles sont moins sentimentales. La grande majorité des espèces ayant jamais vécu ont disparu. Plusieurs extinctions massives ont fait table rase pour ce qui a suivi. Homo sapiens est jeune à l'échelle géologique et a déjà traversé des goulots d'étranglement, des épidémies et des guerres qui auraient pu nous anéantir lors d'un lancer de dés moins favorable. « Ça n'est jamais arrivé avant » est une affirmation sur la mince tranche d'histoire dont nous pouvons encore parler.

C'est des premières fois que naissent les catastrophes

Avant 1945, aucune ville n'avait été détruite par une seule bombe. Avant 1918, aucune pandémie n'avait emprunté les réseaux ferroviaires et maritimes mondiaux à cette vitesse. Avant les travaux sur l'ozone des années 1980, personne n'avait mené l'expérience humaine consistant à amincir la couche qui empêche la lumière ultraviolette de stériliser la surface. Chacun de ces événements était, auparavant, quelque chose qui ne s'était jamais produit. Ceux qui ont agi n'ont pas attendu qu'un cas concret soit disponible comme étude de cas.

L’intelligence artificielle superintelligente relève de cette catégorie. Il n’existe aucune série historique de superintelligences mal alignées sur laquelle faire une moyenne. Il y a en revanche un mécanisme : des systèmes qui poursuivent des objectifs, améliorent leurs propres capacités et finissent par surpasser les institutions censées les corriger. C’est ce mécanisme qu’on invoque quand les taux de base restent muets. Exiger un précédent d’extinction humaine par l’IA avant de prendre le mécanisme au sérieux, c’est demander le cadavre avant le diagnostic.

Chaque première catastrophe ressemble, à l’avance, à quelque chose qui ne s’est jamais produit auparavant.

Optimisme, bien orienté

Il existe une forme d'optimisme que je respecte. Elle dit : les gens ont déjà coordonné sous la pression. Des traités ont tenu. Des industries ont été contraintes de changer de cap quand la science était claire et que la politique s'est organisée. La dossier de retenue est réel, du contrôle des armements nucléaires aux produits chimiques qui rongeaient la couche d’ozone. Cet optimisme souligne notre capacité d’action. Il suppose que l’avenir reste une décision.

La version greenroom fait le contraire. Elle traite la survie comme le réglage par défaut de l'univers et l'inquiétude comme une mauvaise manière. Elle confond « je préfère les bons résultats » avec « les bons résultats sont donc probables ».

Quand Geoffrey Hinton, Yoshua Bengio et des centaines de chercheurs ont placé le risque d’IA de niveau extinction sur la même liste que les pandémies et la guerre nucléaire, ils faisaient ce que font les experts quand un mécanisme semble solide et que l’inconvénient est total : quelque chose de banal, pas un casting pour des méchants dans une keynote tech. Vous pouvez ne pas être d’accord avec leurs chiffres. Vous ne pouvez pas rejeter la catégorie en annonçant votre type de personnalité.

Le coût du haussement d'épaules

Le haussement d'épaules sert ceux qui ont besoin que la construction continue sans affrontement. Si le discours sur l'extinction est reformulé en problème de vibe, alors le seul geste poli est de ramener la conversation vers la productivité et les applications. Pendant ce temps, les laboratoires montent en puissance, les évaluations prennent du retard et la problème de contrôle reste non résolu. L'humeur a été confondue avec la gouvernance.

Je veux que le projet humain se poursuive. Le vouloir est la moitié facile. La moitié la plus difficile est de refuser une voie de développement qui concentre un pouvoir incorrigible dans des systèmes que personne ne peut éteindre de manière fiable, et d’effectuer le travail politique a arrêt contraignant exige. Si l'optimisme ne signifie que « arrêter de parler des inconvénients », il est devenu une berceuse.

L'extinction ne nous est jamais arrivée auparavant.