Le 30 juin, lors d'un sommet tech à Washington, le directeur de la CIA John Ratcliffe a prononcé une phrase que peu de personnes à son poste osent risquer en public. À propos des modèles d'IA de pointe actuels, il a déclaré qu'il ne serait pas « déplacé de comparer leurs capacités à des armes nucléaires numériques ». Il n'est ni un militant de la sécurité ni un universitaire qui cherche à vendre une thèse. Il dirige une agence de renseignement. Il a choisi parmi les mots les plus lourds qu'une personne dans sa position soit autorisée à prononcer à voix haute.
Il n'est pas le seul. En mars, l'ancienne directrice du renseignement national Tulsi Gabbard a déclaré sous serment que les humains doivent rester aux commandes de ces systèmes. Le directeur de la NSA aurait dit aux sénateurs que le modèle Mythos de Anthropic a piraté presque tous les systèmes classifiés de l'agence en quelques heures durant un test autorisé. Ces dernières semaines, les responsables de la cybersécurité des Five Eyes ont publié une rare déclaration conjointe avertissant que nous « devons agir maintenant ». Quand ceux qui lisent les informations classifiées parlent ainsi au grand jour, il vaut la peine de s'arrêter pour écouter.
Où la métaphore tient
L’arme nucléaire sert de référence mondiale pour désigner « la technologie la plus dangereuse qui soit ». Qualifier l’IA de version numérique d’une arme nucléaire revient à dire que ces outils peuvent désormais causer des dommages à une échelle qui, autrefois, exigeait un État et une ogive : une cyber-intrusion paralysante ou une aide concrète à la conception d’un agent pathogène. Sur ce point, Ratcliffe a raison, et qu’un directeur du renseignement en exercice le dise publiquement constitue en soi une information.
Où ça casse
La comparaison introduit un réconfort, car une arme nucléaire possède une propriété miséricordieuse : elle ne décide jamais de rien. Une ogive reste dans son silo et attend. Elle n’a pas d’objectifs. Elle ne fait strictement rien jusqu’à ce qu’un être humain tourne deux clés. Toutes les garanties que nous avons construites autour de la bombe, de la chaîne de commandement aux traités de maîtrise des armements, fonctionnent parce que l’arme reste un outil entre des mains humaines.
Les systèmes d’aujourd’hui agissent déjà comme des agents poursuivant des objectifs, et ce vers quoi ils constituent une étape, l’intelligence artificielle superintelligente, serait un agent plus capable que les personnes qui l’ont construit. Une superintelligence ressemble davantage au commandant qui décide où la bombe va, sauf qu’aucun humain ne l’a nommé et qu’aucun humain ne peut le décharger du commandement.
Une arme nucléaire ne choisit jamais sa propre cible.
L’IA de pointe est comme une arme nucléaire numérique par sa portée. Le système vers lequel elle mène serait une arme qui se vise elle-même. Nous comparons ce danger aux plus anciens en détail ailleurs, et la superintelligence l'emporte précisément pour cette raison.
La deuxième tâche de l'ère nucléaire
La force de la formule « arme nucléaire numérique » est qu'elle vient de l'intérieur du monde de la sécurité nationale, pas de ses critiques habituels. Le danger est que nous l'entendions, que nous imaginions une bombe et que nous trouvions un faux réconfort dans tout ce qu'une bombe permet : elle peut être gardée, comptée et, dans le pire des cas, laissée inutilisée dans son silo. La superintelligence n'offre aucune de ces options.
L'âge nucléaire a une seconde leçon, et c'est celle qui compte maintenant. Après avoir construit l'arme, nous avons passé des décennies à élaborer les traités pour nous assurer qu'elle ne serait plus jamais utilisée. Cette architecture patiente de prévention, de vérification et de maîtrise des armements est le véritable héritage de la guerre froide. La nôtre a à peine commencé, et la différence cette fois est que nous ne pouvons pas la construire après coup. Une arme capable de se viser elle-même doit être empêchée avant qu'elle existe, pas dissuadée une fois qu'elle existe. C'est notre plan.