La littérature sur la gouvernance de la sûreté de l’IA présente un biais vers les analogies réussies. La Convention sur les armes chimiques est souvent citée. Le Protocole de Montréal apparaît dans la plupart des discussions sérieuses. Le système de garanties nucléaires de IAEA est présenté comme un modèle de ce à quoi pourrait ressembler une agence de surveillance de l’IA. Ces références sont précieuses, mais elles donnent une image incomplète de ce que la gouvernance internationale peut et ne peut pas accomplir.
Deux en particulier se distinguent : le Traité d'interdiction complète des essais nucléaires, qui n'est jamais entré en vigueur, et la Convention sur les armes biologiques, dépourvue de mécanisme de vérification et massivement violée pendant deux décennies.
Les échecs sont tout aussi instructifs, et à certains égards davantage. Ils révèlent les choix de conception et les conditions politiques spécifiques qui font échouer ou décevoir les régimes de gouvernance. Pour la gouvernance ASI, qui n’a pas encore été conçue, comprendre ces modes d’échec est plus actionnable que d’étudier les réussites, car les choix de conception qui détermineront le succès ou l’échec sont encore ouverts.
Mode d'échec un : le piège de l'entrée en vigueur
Le Traité d’interdiction complète des essais nucléaires a été ouvert à la signature en septembre 1996. En 2026, 187 pays l’ont signé et 178 l’ont ratifié. Il n’est pas entré en vigueur.
La raison est l'article XIV, qui exige que le traité n'entre en vigueur qu'après ratification par les 44 États qui possédaient des centrales nucléaires ou des réacteurs de recherche au moment des négociations. Cette liste de 44 États de l'annexe 2 a été conçue pour garantir que le traité couvre les États les plus pertinents pour les essais nucléaires. Elle est devenue à la place un veto permanent détenu par huit pays : Chine, Égypte, Inde, Iran, Israël, Corée du Nord, Pakistan et États-Unis. Tant que les huit n'auront pas ratifié, le TICE ne pourra pas entrer en vigueur, quel que soit le nombre d'autres États l'ayant fait.
Le TICE n’a pas été inutile. L’Organisation du traité d’interdiction complète des essais nucléaires exploite un système mondial de surveillance composé de stations sismiques, hydroacoustiques, infrasonores et de radionucléides capables de détecter les essais nucléaires avec une grande fiabilité. Cette surveillance a produit de véritables renseignements sur les programmes nucléaires d’États non signataires, y compris les six essais nucléaires de la Corée du Nord entre 2006 et 2017. La surveillance de l’OTICE n’existerait pas sans le cadre du traité, même dans son application provisoire actuelle. Mais l’obligation centrale du traité, l’interdiction des essais nucléaires, n’est pas juridiquement contraignante pour les États les plus susceptibles d’effectuer des essais, car il n’est jamais entré en vigueur.
La disposition du TICE sur l'entrée en vigueur, qui exige la ratification par les 44 États nommés, visait à garantir une couverture universelle des acteurs les plus pertinents. Elle a plutôt créé une structure où n'importe quel État pertinent peut bloquer l'ensemble du régime indéfiniment. Un traité de gouvernance du ASI avec une disposition similaire, exigeant la ratification par les États-Unis, la Chine, la Russie, le EU et tous les principaux pays développant l'IA avant l'entrée en vigueur, serait confronté à la même vulnérabilité structurelle. Le traité devrait entrer en vigueur entre les parties volontaires à un seuil défini, et non exiger une couverture universelle comme condition préalable.
Pour la gouvernance des ASI, l'échec du CTBT met en évidence un choix de conception précis : les clauses d'entrée en vigueur. Un traité qui exige la participation de tous les principaux États développeurs d'IA avant d'entrer en vigueur donne à chacun de ces États un pouvoir de blocage unilatéral sur l'ensemble du régime. Les US, la Chine, les EU, les UK et peut-être cinq ou dix autres États pourraient figurer parmi les parties requises, et n'importe lequel d'entre eux pourrait empêcher le traité d'entrer en vigueur indéfiniment.
La conception la plus robuste permet au traité d'entrer en vigueur entre une masse critique de parties volontaires, créant un régime de gouvernance opérationnel, tout en laissant la porte ouverte aux non-parties pour les rejoindre plus tard. Les non-parties font face à l'exclusion des avantages du traité (partage technologique, préférences d'accès au marché, recherche coopérative sur la sécurité), ce qui crée des incitations à rejoindre. L'efficacité du traité parmi les parties existantes crée dans l'intervalle un modèle de gouvernance démontré qui réduit l'incertitude sur ce qu'impliquerait l'adhésion. Le Traité d'interdiction des mines et la Cour pénale internationale ont tous deux utilisé cette approche.
Mode d'échec deux : une interdiction sans vérification
La Convention sur les armes biologiques a été ouverte à la signature en 1972 et est entrée en vigueur en 1975. Elle interdit la mise au point, la production et le stockage des armes biologiques et oblige les États à détruire tout stock existant. Elle compte 183 États parties. Elle ne dispose d’aucun mécanisme de vérification, d’aucun corps d’inspection et d’aucun organe officiel habilité à enquêter sur des violations présumées ou à constater un manquement.
L'Union soviétique a ratifié la BWC en 1975. En 1973, deux ans avant la ratification, le Conseil des ministres soviétique avait approuvé la création de Biopreparat, un réseau d'instituts de recherche nominalement civils qui constituait le plus grand programme d'armes biologiques offensives du monde. À son apogée dans les années 1980, Biopreparat employait environ 60 000 scientifiques et produisait des armes à la peste, à la variole et à l'anthrax à l'échelle industrielle, ainsi que des agents génétiquement modifiés conçus pour résister aux antibiotiques et aux vaccins. Ce programme a fonctionné en violation directe et complète de la BWC tout au long des années 1970 et 1980, jusqu'à ce qu'il soit révélé par des transfuges soviétiques après l'effondrement de l'USSR. Le régime de la BWC n'avait aucun moyen de le détecter.
C'est l'échec le plus marquant du contrôle des armements en matière de vérification depuis l'après-guerre. Une interdiction qui ne peut être vérifiée est une norme, pas un mécanisme de responsabilité. Elle crée une norme publique de comportement acceptable qui a de réels effets sur le comportement des États dans de nombreux cas, tout en étant structurellement incapable de détecter des violations systématiques par des États disposant des moyens et de la motivation pour violer en secret.
Les négociations visant à ajouter un protocole de vérification à la BWC se sont déroulées de 1995 à 2001. Les États-Unis ont rejeté le protocole proposé en juillet 2001, arguant que ses procédures d'inspection étaient à la fois trop intrusives pour la biotechnologie commerciale légitime et trop faibles pour détecter de manière fiable les violations. Les négociations se sont effondrées et n'ont pas été relancées sous une forme susceptible de produire un mécanisme de vérification contraignant. La BWC reste en vigueur en tant que norme sans organe de vérification.
Ce que l'échec de la BWC signifie pour la gouvernance de ASI
L'analogie entre les armes biologiques et l'IA n'est pas parfaite, mais plusieurs aspects de l'échec de la BWC sont directement transposables à la gouvernance du ASI.
La double utilisation constitue le défi central de la vérification. Les armes biologiques sont produites à l’aide d’équipements, de connaissances et de procédés de laboratoire largement identiques à ceux de la recherche pharmaceutique et de santé publique légitimes. Distinguer la recherche offensive de la recherche défensive, ou les applications civiles des applications militaires, exige des inspecteurs hautement qualifiés ayant accès à des informations commerciales et techniques confidentielles, et produit encore une véritable ambiguïté dans de nombreux cas. Ce caractère double usage a rendu un protocole de vérification pour la BWC à la fois techniquement exigeant et politiquement contentieux, d’une manière que la vérification des armes chimiques ou nucléaires, qui présentent des signatures plus claires, ne l’était pas.
L’IA présente le même caractère à double usage à un niveau plus fondamental. Un grand modèle de langage entraîné pour la génération de langage naturel est techniquement indiscernable d’un modèle entraîné pour la persuasion à grande échelle. Un modèle entraîné pour l’assistance à la recherche scientifique est techniquement identique à un modèle entraîné pour l’action autonome dans des environnements à enjeux élevés. Les capacités qui rendent l’IA de pointe commercialement précieuse sont les mêmes que celles qui la rendent potentiellement dangereuse. La vérification dans une gouvernance de type ASI se heurte au même défi qui a fait échouer la vérification de la BWC : elle doit distinguer les applications dangereuses des applications légitimes de systèmes techniquement identiques.
« La Convention sur les armes biologiques montre exactement ce que produit, avec le temps, une interdiction sans vérification. Une norme largement acceptée, violée à grande échelle pendant vingt ans par une puissance majeure, sans aucun mécanisme permettant de détecter ou de sanctionner la violation. Pour la gouvernance de ASI, c’est le résultat par défaut si l’on reporte la vérification à un protocole futur qui n’arrivera peut-être jamais, et non une préoccupation théorique. »
La leçon n'est pas que la vérification est impossible pour l'IA, mais qu'elle doit être intégrée au traité dès le départ plutôt que reportée à un protocole ultérieur. Les négociations sur la vérification de la BWC ont échoué après vingt-six ans d'efforts. Un traité de gouvernance ASI qui établit d'abord l'interdiction et reporte l'architecture de vérification risque le même résultat : une norme sans mécanisme de responsabilité, fonctionnant aux côtés de programmes de développement qu'elle ne peut voir.
Mode d'échec trois : retrait sans coût
La Corée du Nord a adhéré au Traité de non-prolifération nucléaire en 1985, a annoncé son retrait en 1993 puis à nouveau en 2003, et a procédé à son premier essai nucléaire en 2006. La disposition de retrait du NPT, l’article X, permet à tout État de se retirer avec un préavis de quatre-vingt-dix jours s’il estime que des événements extraordinaires ont mis en péril ses intérêts nationaux suprêmes. Le retrait de la Corée du Nord est intervenu après que le IAEA l’a déclarée en non-conformité avec ses obligations de garanties, et le retrait a effectivement mis fin à la capacité du IAEA de surveiller le programme nucléaire nord-coréen.
Pour la gouvernance du ASI, le précédent du NPT/Corée du Nord souligne l’importance du coût de retrait. Un traité dont on peut sortir avec un préavis de quatre-vingt-dix jours sans pénalité offre une assurance faible, car un État qui veut poursuivre des activités interdites par le traité peut simplement partir avant que ces activités ne deviennent visibles. Les dispositions de retrait d’un traité de gouvernance du ASI devraient inclure : une période de préavis définie suffisamment longue pour que les organes du traité et les autres parties puissent réagir ; le maintien des droits d’inspection pendant une période définie après la notification de retrait ; et la suspension automatique des avantages dès la notification de l’intention de se retirer plutôt qu’à la date effective du retrait.
Ces choix de conception n'empêcheraient pas le retrait, mais ils garantiraient que le retrait soit coûteux et visible plutôt que routinier et silencieux. L'objectif n'est pas de piéger les États dans des engagements de traité qu'ils rejettent, mais de faire en sorte que l'acte de quitter le régime soit un événement politiquement significatif qui génère une attention internationale et une réponse diplomatique.
ASI Les concepteurs de la gouvernance ont l'avantage de pouvoir étudier ces échecs avant de rédiger les dispositions pertinentes. Les échecs du CTBT, de la BWC et de NPT sont tous documentés, analysés et accessibles. Les choix de conception qui ont conduit à ces échecs sont évitables. La question est de savoir si le processus politique qui aboutira à un traité de gouvernance ASI permettra aux enseignements techniques tirés de ces échecs de survivre au contact des positions de négociation des grandes puissances.
La plus forte opposition
L’objection la plus juste est que les traités ratés prouvent que les traités ne marchent jamais. Des conceptions ratées prouvent de mauvaises clauses. Les pièges d’entrée en vigueur, l’absence de vérification et le retrait facile sont des choix rédactionnels réparables. La leçon est d’écrire l’inverse, pas d’abandonner le droit.