Les traités de maîtrise des armements commencent par des définitions. La Convention sur les armes chimiques définit une arme chimique comme tout produit chimique toxique ou son précurseur utilisé comme méthode de guerre. Le Traité sur la non-prolifération des armes nucléaires définit les États dotés d'armes nucléaires comme ceux qui ont fabriqué et fait exploser une arme nucléaire avant le 1er janvier 1967. Les pourparlers sur la limitation des armements stratégiques définissaient les missiles balistiques par leur portée et leur charge utile. Ces définitions n'étaient pas politiquement neutres : chacune reflétait des choix stratégiques sur qui serait couvert, quelles activités seraient contraintes et comment les intérêts des parties seraient équilibrés.
Ces questions sont plus difficiles qu'elles n'en ont l'air, et la façon dont elles seront résolues déterminera si un traité résultant peut réellement régir ce qu'il est censé régir.
ASI governance fait face à un problème définitionnel avec plusieurs caractéristiques sans précédent proche dans le contrôle des armements. Comprendre ces caractéristiques est le préalable à l'élaboration de définitions capables de réellement gouverner ce qu'elles visent.
Trois approches pour définir l'IA dangereuse
Les cadres de gouvernance actuels ont utilisé trois approches distinctes pour définir quels systèmes d'IA relèvent de leur champ d'application. Chaque approche présente des forces et des limites qu'un cadre de traité devrait traiter.
Les seuils de calcul définissent l’IA dangereuse par les ressources informatiques utilisées pour entraîner un modèle, mesurées en opérations en virgule flottante, ou FLOPs. La loi sur l’IA EU définit les modèles d’IA de pointe comme ceux entraînés avec plus de 10 puissance 25 FLOPs. Le décret exécutif sur l’IA US publié en octobre 2023 exigeait un signalement au gouvernement fédéral pour les modèles entraînés avec plus de 10 puissance 26 FLOPs. Les engagements de sécurité de l’IA de pointe signés à Séoul s’appliquent aux modèles à la frontière des capacités ou s’en approchant, le calcul servant de proxy au statut de frontière.
Les seuils de calcul présentent deux avantages significatifs pour la conception des traités. Premièrement, le calcul est observable. Le matériel nécessaire à l'entraînement des grands modèles d'IA, des puces spécialisées produites par un petit nombre de fabricants, consomme des schémas énergétiques distinctifs et génère une chaleur mesurable. Les chaînes d'approvisionnement de ces puces sont étroites et passent par des juridictions propices à la surveillance. Deuxièmement, le calcul est plus difficile à simuler que les affirmations de capacité, car la production du matériel et l'exécution des entraînements génèrent des signatures observables difficiles à dissimuler à grande échelle.
La limite des seuils de calcul est qu'ils deviennent obsolètes à mesure que les algorithmes s'améliorent. Un modèle entraîné aujourd'hui avec 10 à la puissance 26 FLOPs a des capacités substantiellement différentes d'un modèle entraîné il y a cinq ans avec le même calcul, car les améliorations algorithmiques produisent des modèles plus performants par unité de calcul au fil du temps. Un seuil de calcul fixé aujourd'hui sera soit trop restrictif, car des algorithmes efficaces produisent des modèles puissants en dessous du seuil, soit trop permissif, car la frontière avance au-dessus.
Les définitions fondées sur les capacités définissent l’IA dangereuse par ce que le système peut faire plutôt que par la façon dont il a été entraîné. Un système capable d’identifier et d’exploiter de manière autonome des vulnérabilités de cybersécurité au-delà d’un seuil de gravité défini est dangereux selon une définition fondée sur les capacités, indépendamment de la quantité de calcul utilisée pour le produire. Un système capable d’apporter une aide significative à la synthèse d’armes biologiques au-delà d’un niveau de spécificité défini est dangereux, indépendamment du calcul d’entraînement.
Les définitions fondées sur les capacités sont plus précisément ciblées sur les dommages qu'elles cherchent à prévenir, mais elles créent un problème de mesure important. Les évaluations de capacités ne sont pas standardisées. Différentes méthodologies d'évaluation produisent des résultats différents. Les développeurs d'IA de pointe mènent actuellement des évaluations de capacités selon des méthodologies propriétaires qui ne font l'objet d'aucun audit public. Une définition fondée sur les capacités dans un traité de gouvernance exigerait des méthodes d'évaluation des capacités standardisées et vérifiables indépendamment, qui n'existent pas encore sous des formes que tous les grands États développeurs d'IA accepteraient.
La Convention sur les armes chimiques combine un critère général avec des listes de substances chimiques programmées pour couvrir à la fois les agents dangereux connus et inconnus. Le critère général définit les armes chimiques comme toute substance toxique utilisée comme méthode de guerre, qu’elle figure ou non sur une liste. Les listes programmées établissent ensuite des exigences de vérification graduées pour des produits chimiques spécifiques. Cette approche en plusieurs couches a permis au traité de couvrir des agents encore inconnus au moment de sa négociation. La gouvernance ASI pourrait recourir à une structure analogue : un critère général définissant l’IA dangereuse par la nature de ses effets, combiné à des listes de capacités programmées pour les applications dangereuses connues.
Les définitions sectorielles désignent une IA dangereuse selon le domaine dans lequel elle est déployée plutôt que selon sa puissance de calcul d’entraînement ou ses capacités générales. Un système déployé pour prendre des décisions létales autonomes dans un contexte militaire est dangereux. Un système déployé pour piloter des infrastructures critiques est dangereux. Un système déployé pour mener des campagnes de persuasion massive visant des élections démocratiques est dangereux.
Les définitions fondées sur les domaines ont l'avantage de lier clairement l'obligation de gouvernance au préjudice qu'elles préviennent. Elles sont aussi politiquement plus praticables que les définitions générales de capacité, car les États peuvent accepter des contraintes sur l'IA dans des domaines spécifiques à haut risque sans concéder le principe que leurs programmes d'IA sont généralement soumis à une surveillance internationale. La limite significative est que les définitions fondées sur les domaines permettent à un système hautement capable d'opérer sans obligations de gouvernance s'il est déployé en dehors des domaines définis, même si le même système pourrait facilement être redirigé vers des applications dangereuses.
Le problème de la frontière mouvante
Les définitions du contrôle des armements sont généralement rédigées pour une technologie stable. La portée et la puissance d'un missile balistique, la toxicité d'un produit chimique inscrit sur une liste, la masse de matière fissile nécessaire à une arme nucléaire. Ces paramètres ne changent pas de manière significative pendant la durée du traité. Les capacités de l'IA progressent rapidement, ce qui signifie qu'une définition adéquate aujourd'hui peut devenir obsolète en quelques années.
Cela crée ce qu’on pourrait appeler le problème de la frontière mouvante : comment rédiger des définitions de traité qui restent pertinentes à mesure que la technologie évolue sans exiger une renégociation constante du traité lui-même. Trois mécanismes ont été utilisés dans le domaine du contrôle des armements pour traiter des problèmes analogues.
Autorité définitionnelle déléguée : le traité crée un organe directeur habilité à mettre à jour les définitions techniques dans des paramètres définis, sous réserve d’approbation par la Conférence des Parties. L’Organisation pour l’interdiction des armes chimiques utilise cette approche pour ses listes de produits chimiques programmés, qui peuvent être modifiées par la Conférence des États parties sans rouvrir le traité sous-jacent. Cela est plus rapide qu’une renégociation complète du traité, mais exige que les parties fassent confiance à l’organe directeur pour l’autorité définitionnelle.
Définitions neutres sur le plan technologique : le traité définit l'IA dangereuse par le caractère de ses effets plutôt que par des paramètres techniques spécifiques. Une définition qui couvre tout système d'IA capable de causer des victimes de masse au-delà d'un seuil défini, ou tout système capable d'une action autonome suffisamment conséquente pour menacer une infrastructure nationale critique, resterait pertinente à mesure que la technologie sous-jacente évolue, car elle décrit des résultats plutôt que des entrées. La limite est que les définitions fondées sur les résultats sont plus difficiles à vérifier, car le test pertinent est ce qu'un système pourrait faire, et non ce qu'il fait de manière démontrable.
Dispositions de caducité et de renouvellement : les définitions du traité sont rédigées avec un cycle de réexamen défini à l'issue duquel elles sont réévaluées et mises à jour. Le traité entre en vigueur avec des définitions initiales, continue de s'appliquer pendant la période de réexamen et est mis à jour à chaque conférence d'examen. C'est l'approche que NPT utilise pour ses conférences d'examen périodiques, bien que les définitions de NPT des États dotés d'armes nucléaires se soient révélées impossibles à mettre à jour par ce mécanisme en raison des intérêts des P5 à conserver leur statut privilégié.
La dimension de l'intérêt stratégique
Les négociations définitionnelles ne sont pas de purs exercices techniques. Chaque choix de définition a des implications stratégiques sur les États qui supporteront le plus grand coût de conformité et ceux qui conserveront la plus grande liberté d'action. Ces implications sont visibles pour les gouvernements négociateurs et façonnent leurs positions sur les questions définitionnelles.
Les États dotés de programmes d’IA plus avancés préfèrent des définitions larges qui imposent une contrainte égale aux concurrents à des niveaux de développement inférieurs. Un seuil de calcul fixé au-dessus de la frontière actuelle des programmes les plus avancés n’impose aucune contrainte aux États leaders tout en exigeant de tous les autres qu’ils restent indéfiniment en dessous du seuil. Les États aux programmes moins avancés préfèrent des définitions étroites qui leur permettent d’atteindre les niveaux de la frontière actuelle avant que les obligations de gouvernance ne s’appliquent, et s’opposent aux définitions qui les désavantageraient de façon permanente par rapport aux États ayant développé l’IA de pointe en premier.
« La négociation définitionnelle est l’endroit où se fait la majeure partie du vrai travail d’un traité de gouvernance ASI. Une définition politiquement réalisable mais techniquement insuffisante produit un traité qui régule autre chose que le risque réel. Une définition techniquement adéquate mais politiquement irréalisable ne produit aucun traité. La seule voie qui traverse ce problème passe par des preuves techniques partagées, c’est pourquoi les Instituts de sécurité de l’IA comptent plus que la plupart des gens ne le pensent. »
Cette dimension stratégique explique pourquoi le travail empirique mené par l’AI Security Institute de UK et le Center for AI Standards and Innovation de US (tous deux créés en tant qu’AI Safety Institutes) est fondamental pour les négociations de traité, même si ces organismes n’ont pas été conçus dans cette optique. En produisant des preuves partagées sur ce que les systèmes d’IA à différents niveaux de capacité peuvent ou ne peuvent pas faire, et sur les capacités qui corrèlent avec quels risques, ils créent une base factuelle pour les négociations définitionnelles que les intérêts stratégiques ne peuvent pas simplement contourner. L’accord sur les faits ne produit pas automatiquement un accord sur les définitions, mais il change la nature du désaccord d’un pur désaccord stratégique en un désaccord partiellement technique, où les preuves partagées disciplinent les positions de négociation de toutes les parties.
Le travail de définition doit commencer avant les négociations. Lorsque les négociations sur le contrôle des armements débutent sans consensus technique préexistant sur les définitions, les négociateurs ont tendance à produire des définitions qui reflètent le plus petit dénominateur commun de l'accord politique plutôt que les exigences techniques de l'objectif de gouvernance. Plus le travail technique est effectué en amont, plus les négociateurs disposent d'une base solide pour élaborer des définitions qui gouvernent réellement ce qu'elles sont censées gouverner.
La plus forte opposition
L'objection la plus juste est que les définitions seront détournées le jour même où elles seront écrites. Oui. C'est pourquoi les définitions ont besoin d'une autorité de mise à jour, de tests de capacités et de déclencheurs liés au calcul, pas d'un glossaire figé. Le contournement est un paramètre de conception. Ce n'est pas une raison pour laisser la frontière sans étiquette.