C'est un exercice inconfortable, classement des catastrophes. Chacun d'eux pourrait tuer sur une échelle qui rend le mot "désastre" sentir petit, et les mettre en ordre peut sembler une revendication que les plus bas n'ont pas d'importance. La guerre nucléaire et les pandémies artificielles sont parmi les pires choses qui pourraient nous arriver, et les gens qui travaillent pour les empêcher font partie du travail le plus important qu'il y ait.

Classez-les honnêtement et la superintelligence arrive en tête, non parce que les autres sont petites, mais parce que c'est la seule des trois qui s'améliore elle-même, résiste à toutes les contre-mesures que nous lui opposons et ne laisse aucune seconde chance.

Mais l'attention et l'argent sont finis, et le monde ne les répartit pas uniformément sur chaque menace. Quelqu'un décide ce qui obtient un traité, une agence, une ligne budgétaire, un mouvement. Si ces décisions doivent refléter le danger réel plutôt que celui que nous trouvons le plus facile à imaginer, le classement doit être fait, et à voix haute. Donc : parmi les technologies qui pourraient plausiblement mettre fin à l'humanité ce siècle, laquelle est la plus grande ? La réponse est la superintelligence, et ce n'est pas près.

Ce que « plus grand » doit signifier

Un risque ne se mesure pas seulement à la gravité du pire scénario. Une météorite qui vaporiserait la planète mais n'a qu'une chance sur un billion d'arriver représente un risque moindre qu'un incendie qui a une chance sur deux de brûler votre maison, même si le feu ne peut pas détruire le monde. Pour comparer honnêtement ces trois cas, il faut tenir trois questions à la fois.

À quel point le pire scénario réaliste est-il grave ? Quelle est la probabilité de ce scénario sur une période significative ? Et (la question le plus souvent omise) si les choses commencent à mal tourner, pouvons-nous encore l’arrêter ? C’est cette dernière qui fait le plus de travail ici, et c’est là que les trois divergent.

La tentative la plus minutieuse quiconque ait faite pour chiffrer cela est celle du philosophe Toby Ord Le Précipice, publié en 2020, qui estime la probabilité que chaque risque provoque une catastrophe existentielle (extinction ou effondrement dont on ne se remet jamais) au cours des cent prochaines années. Ses chiffres sont le jugement rigoureux de quelqu'un qui a passé des années à lire la littérature et à parler aux spécialistes de chaque domaine, pas des mesures ; personne ne peut mesurer une chose qui ne s'est jamais produite. Ce sont les meilleures estimations structurées dont nous disposons, et c'est leur forme qui compte.

Risque Estimation d'Ord
Guerre nucléaireCatastrophique presque au-delà de l'imagination, mais (même dans un échange complet et l'hiver qui suit) la plupart des estimations s'arrêtent avant l'extinction littérale de l'humanité. ~1 sur 1 000
Pandémies conçuesUn agent pathogène conçu délibérément pour sa létalité et sa propagation est bien plus difficile à contenir qu’une épidémie naturelle, et les outils pour en fabriquer un ne cessent de baisser de prix. ~1 sur 30
Intelligence artificielle non alignéeLe risque le plus important dans le bilan d'Ord, plus grand que tous les risques naturels et tous les autres risques d'origine humaine de sa liste réunis. ~1 sur 10

La guerre nucléaire, le danger qui a façonné toute l'imagination moderne de l'apocalypse, se situe à environ une chance sur mille. Les pandémies conçues, une menace que la plupart des gens n'ont vraiment prise au sérieux qu'en 2020, arrivent plus de trente fois plus haut. Et l'IA non alignée se situe un ordre de grandeur au-dessus cela, environ un sur dix, et selon l'évaluation d'Ord plus important que tout le reste de la liste réuni. Le risque dont nous sommes le moins équipés pour parler est celui que ses chiffres placent en premier avec une large marge.

Armes nucléaires : énormes, et presque à leur plafond

Commençons par celui que nous comprenons le mieux. Il existe aujourd’hui environ douze mille ogives nucléaires, la plupart détenues par les États-Unis et la Russie. Un échange complet tuerait des centaines de millions de personnes dans les premières heures et, par la fumée et le refroidissement qu’une étude moderne de Nature Food estimated could follow, put billions more at risk of starvation. It is the closest thing to hell that human engineering has ever produced.

Pourtant, comparée à l’étalon de l’extinction pure et simple de l’humanité, la guerre nucléaire possède une étrange propriété : elle est à peu près aussi mauvaise qu’elle ne le sera jamais. Les arsenaux ne croissent pas vers un nouvel ordre de destructivité ; ils ont culminé à près de soixante-dix mille ogives dans les années 1980 et ont diminué depuis. Une bombe ne fabrique pas d’autres bombes. Elle n’apprend pas. Elle ne choisit pas de cible. Toute catastrophe nucléaire exige qu’un être humain, quelque part, décide ou échoue, et ce seul fait est le point d’appui sur lequel quatre-vingts ans de prévention reposent.

Parce que le danger demeure, nous avons pu construire un échafaudage autour de lui : le Traité sur la non-prolifération, les régimes d'interdiction des essais, les accords de contrôle des armements vérifiés par inspection, les lignes téléphoniques, des décennies de doctrine durement gagnée sur la façon de ne pas tomber dans l'annihilation. L'échafaudage est imparfait. C'est un danger avec un plafond, qui vise une cible qui ne bouge pas, gérée par un système que nous avons passé à construire toute notre vie. C'est pourquoi, pour toute son horreur, elle se trouve au bas des trois.

Pandémies conçues : plus difficiles à limiter, toujours passives

Montez d'un cran. Une pandémie naturelle est déjà assez mauvaise, la grippe de 1918 a tué quelque chose comme cinquante millions de personnes dans un monde moins d'un tiers de la taille actuelle. Mais la nature, dans un sens sinistre, n'essaie pas. Un pathogène conçu le ferait. Prenez quelque chose avec la transmissibilité de la rougeole et la létalité d'une fièvre hémorragique, supprimez le compromis que l'évolution impose habituellement entre les deux, et vous avez une arme sans plafond naturel du genre qui limite un arsenal.

C'est pourquoi Ord place les pandémies d'origine humaine plus de trente fois au-dessus de la guerre nucléaire. La Convention sur les armes biologiques interdit ces armes depuis 1975, mais contrairement à son équivalent nucléaire elle n'a ni inspecteurs ni dents, et la biologie qu'elle tente de contenir devient chaque année moins chère et plus accessible. Une catastrophe ici n'exige pas une superpuissance et mille ogives. Il pourrait suffire d'un laboratoire et d'une personne qui n'aurait jamais dû disposer de cette capacité.

But hold onto what a pathogen still est. C'est passif. Terrible, sans esprit et passif. Un virus ne planifie pas. Il n'anticipe pas le vaccin et ne se redessine pas la semaine avant que nous l'ayons terminé. Il ne raisonne pas sur les personnes qui le traquent et ne prend pas de mesures pour rester caché. Il se propage le long du gradient aveugle que lui tend la biologie, et contre cela nous pouvons mobiliser tous les avantages d'une espèce pensante : séquençage, vaccins, quarantaine, l'appareil accumulé de la santé publique. Nous pouvons perdre la course. Mais c'est une course contre quelque chose qui est tout l'écart entre le deuxième échelon et le premier, qui ne court pas, qui ne fait que se propager.

Superintelligence : celle qui revient en arrière

En tête de liste, et la raison pour laquelle elle s'y trouve. Une superintelligence mal alignée est une chose d'une nature entièrement différente : un agent, pas une bombe plus puissante ni un germe plus ingénieux. Elle a des objectifs, ou se comporte exactement comme si elle en avait. Elle peut modéliser les personnes qui tentent de la contraindre, anticiper leurs mouvements et agir pour les déjouer. Tous les autres éléments de cette page restent immobiles pendant que nous construisons nos défenses. Celui-ci nous observe les construire et cherche comment les contourner.

Le bunker le plus renforcé du monde ne vous sauvera pas de ASI.

Naoto Nakada

Confrontez les trois aux questions qui décident réellement si une catastrophe devient une fin, et le tableau est sombre.

Nucléaire Arme biologique Superintelligence
Peut-elle s'améliorer seule? Non Non Oui
Agit-il contre nos contre-mesures? Non Non Oui
Peut-il surpasser en intelligence les personnes qui l'arrêtent? Non Non Oui
Peut-on le rappeler une fois lâché? Partiellement À peine Non
Pouvons-nous apprendre d'un premier échec? Généralement Parfois Peut-être jamais

Lisez la dernière colonne. Une arme nucléaire et un agent pathogène sont des dangers statiques contre lesquels nous déployons notre intelligence. Une superintelligence est un danger qui déploie l'intelligence contre nous, potentiellement plus qu’elle n’en possède, dirigée précisément vers les points où nous essayons de tenir. Elle peut se copier au-delà de toute tentative de rappel, s’améliorer plus vite que nous ne pouvons réagir et se comporter parfaitement pendant les tests puis différemment une fois hors test. C’est le seul élément de cette liste contre lequel notre plus grand avantage en tant qu’espèce, notre intelligence, n’est pas garanti d’être le plus grand dans la pièce.

J’ai argumenté ailleurs que cela est mieux compris comme un tempête parfaite, pas une seule propriété effrayante, mais l’échec simultané de toutes les sauvegardes sur lesquelles nous comptons habituellement. Le chiffre se situe plutôt à une chance sur dix qu’à une sur mille. Avec les armes nucléaires et les pandémies, les issues restent ouvertes : nous pouvons rappeler, apprendre, surpasser la menace par la réflexion. Avec la superintelligence, elles se ferment ensemble, et elles se ferment parce que l’entité de l’autre côté les ferme exprès.

Les deux autres pourraient tuer la plupart d’entre nous. Celle-ci pourrait achever le travail et, contrairement aux autres, s’améliorer pendant que nous essayons de l’arrêter.

Pourquoi le classement devrait-il changer ce que vous faites ?

La superintelligence est aussi, et de loin, celle contre laquelle on se défend le moins, et pas seulement le plus grand des trois risques.

Les armes nucléaires disposent d’un traité de non-prolifération, d’une agence internationale à Vienne, de régimes de vérification et de quatre-vingts ans de doctrine. Les armes biologiques ont une convention, aussi peu contraignante soit-elle, et un appareil mondial de santé publique que la pandémie, malgré tous ses échecs, a renforcé. Les deux ont un électorat : des personnes qui y ont consacré leur carrière, des institutions construites autour d’elles, un public qui comprend les termes. La superintelligence n’a presque rien de tout cela. Aucun traité contraignant. Aucun inspecteur. Aucune agence. Aucune image partagée du danger par le public, et jusqu’à récemment, à peine un mouvement.

Cette combinaison (le plus grand dommage attendu reposant sur la plus petite défense existante) est la raison la plus forte d’agir ici plutôt qu’ailleurs, et non une raison de désespoir. Quand un risque est énorme et déjà largement traité, votre effort supplémentaire entre en concurrence avec beaucoup de travail préalable et fait bouger l’aiguille d’un peu. Quand un risque est énorme et presque intact, votre effort supplémentaire n’a rien avec quoi rivaliser et peut faire bouger l’aiguille beaucoup. Le risque le plus grand et le plus négligé est celui où une quantité donnée de travail fait le plus de bien, et selon les deux mesures, la superintelligence est ce risque.

Ça empire encore. Le domaine qui travaille directement là-dessus fonctionne avec des moyens limités, environ quelques centaines de millions de dollars par an, moins que ce que le monde dépense en une seule journée pour rendre l'IA plus puissante. Et la majeure partie de cet argent finance même la recherche technique sur l'alignement de ces systèmes, un problème que personne n'a encore résolu et pourrait ne pas résoudre à temps. La partie la plus négligée de toutes est le travail politique : construire l’accord international contraignant et vérifié qui pourrait empêcher la construction des systèmes les plus dangereux tant qu’ils ne peuvent pas être rendus sûrs.

Permettez-moi d'être précis, car cet argument est facile à surestimer et c'est ce que les gens recherchent lorsqu'ils veulent le rejeter. L'affirmation n'est pas que la guerre nucléaire et les pandémies sont banales; elles appartiennent au haut de toute liste de choses que l'humanité devrait dépenser pour prévenir. L'affirmation n'est pas que la catastrophe de l'IA est certaine; les estimations honnêtes vont de quelque chose comme un sur dix à quelque chose comme un sur trois, ce qui signifie que le résultat le plus semblable est encore que nous sommes arrivés.

L'affirmation est plus étroite et plus difficile à contourner. Parmi les rares choses qui pourraient nous anéantir, la superintelligence est la plus importante selon la meilleure estimation dont nous disposons, la seule qui travaille activement contre nos tentatives de lui survivre, et celle que nous avons le moins fait pour gouverner. En réunissant ces trois faits, on obtient la raison d'être de cette Fondation. Nous n'essayons pas de refaire la recherche technique sur la sécurité que les laboratoires financent déjà. Nous sommes étroitement focalisé sur la pièce négligée : le droit international qui traite le plus grand risque comme tel et y pose une limite avant, plutôt qu'après, la première erreur dont on ne pourra pas tirer de leçon.

Classez les catastrophes honnêtement et la priorité s'impose d'elle-même. Le plus grand risque est aussi le moins protégé et le moins compris.