P(doom) n'est pas un terme technique issu d'un article formel. Il est apparu dans les discussions en ligne sur la sécurité de l'IA comme raccourci pour une estimation de probabilité à laquelle la plupart des chercheurs avant 2020 n'auraient pas attaché de chiffre du tout. La volonté de la quantifier (traiter le risque catastrophique lié à l'IA comme une probabilité à estimer plutôt qu'une possibilité à évoquer vaguement) est l'un des changements significatifs dans la façon dont les personnes les plus proches du développement de l'IA pensent au problème.
Les estimations vont de quelques pour cent à plus de 50 %, selon le chercheur et la façon dont il évalue la difficulté de l'alignement et la vitesse de la gouvernance. Voici ce que cette fourchette nous indique, et pourquoi même de faibles probabilités exigent une attention sérieuse.
Le « doom » dans P(doom) est délibérément non précisé. Différents chercheurs l'utilisent pour désigner l'extinction humaine, la perte permanente de l'autonomie humaine, la concentration permanente du pouvoir entre les mains d'un seul acteur ou toute autre catastrophe civilisationnelle. Cette imprécision est assumée ; l'objectif du terme est de forcer un raisonnement chiffré explicite sur le risque plutôt que de s'en remettre à des intuitions sur ce qui est « réel » ou « spéculatif ».
À quoi ressemblent les estimations
La fourchette entre ces chercheurs est frappante. Hinton et Yudkowsky sont séparés par des dizaines de points de pourcentage. La décomposition formelle de Carlsmith a produit une fourchette large plutôt qu'une estimation ponctuelle, reflétant une incertitude réelle à chaque étape intermédiaire. Ce que les estimations partagent, c'est qu'elles sont non triviales ; aucun des chercheurs axés sur la sécurité qui se sont sérieusement engagés sur le problème et ont avancé un chiffre n'est descendu sous environ 5 %.
Définissez votre propre avis sur chacun des points cruciaux ci-dessous et regardez-les se multiplier pour former une seule estimation.
Pourquoi la large gamme existe
P(doom) en tant que nombre est le produit de plusieurs questions intermédiaires incertaines multipliées entre elles. À quelle vitesse les capacités de l'IA progresseront-elles ? Quelle est la difficulté du problème d'alignement à des niveaux de capacité supérieurs à ceux que nous avons testés ? Quelle est la probabilité qu'une IA mal alignée d'un niveau de capacité donné cause un dommage catastrophique plutôt que contenu ? Quelle est la probabilité que la gouvernance réagisse efficacement avant que le seuil critique de capacité soit atteint?
Différents chercheurs ont des distributions différentes sur ces questions, et les estimations se composent. Un chercheur qui estime que le problème d’alignement est soluble, que les capacités progresseront relativement lentement et que la gouvernance réagira à temps produira une estimation globale bien plus faible que celui qui croit le contraire sur chaque point. La large fourchette reflète une incertitude réelle sur chaque facteur, et non un désaccord qui serait résolu en examinant les mêmes preuves plus attentivement.
L'argument de la valeur attendue
Une réponse courante aux estimations non triviales de P(doom) est : « Même 10 % semble trop faible pour restructurer la société autour. » Cette réponse repose sur un échec du raisonnement en valeur espérée qui ne serait pas accepté dans d'autres contextes de risque.
La probabilité annuelle d'une pandémie majeure capable de tuer des millions de personnes est estimée à moins de 1 % au cours d'une année donnée, pourtant la préparation aux pandémies bénéficie d'investissements et d'une attention politique substantiels au niveau mondial. La probabilité, au cours d'une vie, de mourir dans un accident de la route aux US est d'environ 1 %, et la réglementation de la sécurité routière est considérée comme tout à fait normale. L'argument selon lequel une probabilité de 10 % (ou même 5 %) de catastrophe civilisationnelle ne justifierait pas d'investissements de précaution sérieux n'est pas une application cohérente de la façon dont nous gérons les risques dans d'autres domaines.
La valeur attendue est probabilité multipliée par ampleur. Pour des risques irréversibles et d'échelle civilisationnelle (où il n'y a pas de récupération après le mauvais résultat, et où ce résultat ferme toutes les valeurs futures), la valeur attendue de la précaution reste très élevée même à des probabilités bien inférieures à 10 %. Une chance de 1 % de tout perdre est un problème dont le coût attendu est 1 % de tout, ce qui, à l'échelle de ce que contient l'avenir à long terme, représente un chiffre énorme, pas un problème à 1 %.
Ce qui abaisserait P(doom)
Les chercheurs qui affichent des estimations élevées de P(doom) diagnostiquent là où le travail le plus critique doit se concentrer, et non pas se résignent à de mauvais résultats. Les facteurs qui feraient baisser P(doom) dans la plupart des estimations sont bien connus : des progrès démontrés sur outils d'interprétabilité capable of verifying alignment in frontier systems; scalable oversight approaches that hold at capability levels beyond human experts; binding international governance frameworks with real enforcement; and capability development that proceeds more slowly than alignment research so that safety is established before dangerous capability levels are reached.
C’est pourquoi la Fondation se concentre sur les cadres de gouvernance et la recherche en alignement comme leviers principaux, plutôt que sur le rejet du risque ou le traitement d’une estimation particulière de P(doom) comme réponse définitive. L’incertitude sur P(doom) n’est pas une raison d’attendre plus d’informations : le scénario négatif survient à des seuils de capacité précis, pas selon un calendrier qui permettrait de reporter indéfiniment les précautions.