Il est désormais bien documenté que les développeurs d'IA en savent plus sur les risques de leurs systèmes qu'ils ne le disent publiquement. Les équipes de sécurité internes des principaux laboratoires d'IA ont documenté des préoccupations importantes. Les chercheurs qui quittent ces laboratoires décrivent des débats internes sur le fait que les systèmes actuels sont déployés trop rapidement. Les préoccupations de sécurité sont connues et, dans de nombreux cas, partiellement prises en compte tout en poursuivant le développement, et non inconnues.
Aucun laboratoire ni aucune nation ne peut résoudre cet incitatif en faisant de meilleurs choix seul. Cela nécessite une gouvernance multilatérale.
Il s'agit d'une histoire sur un problème de coordination dans lequel même les acteurs soucieux de sécurité font face à des incitations structurelles qui les poussent vers un développement et un déploiement plus rapides que ne le recommanderaient leurs propres évaluations des risques, et non principalement d'une histoire sur de mauvais acteurs. Comprendre ces incitations (les dynamiques de course à l'IA) est essentiel pour comprendre pourquoi les engagements individuels des organisations en matière de sécurité sont insuffisants et quels types de structures de gouvernance sont réellement nécessaires.
La structure de la course
La structure de base des dynamiques de course à l'IA est simple. Plusieurs acteurs (entreprises au sein d'un pays, pays dans le monde) se font concurrence pour développer les systèmes d'IA les plus performants et les déployer les premiers. Investir dans la sécurité prend du temps et des ressources qui pourraient autrement servir à accélérer le développement des capacités. Tout acteur qui ralentit pour investir sérieusement dans la sécurité se retrouve distancé par ceux qui ne le font pas. L'acteur qui remporte la course est, par incitation structurelle, probablement celui qui a le plus sacrifié la sécurité.
Cela crée une dynamique dans laquelle les acteurs soucieux de sécurité sont confrontés à un choix entre deux mauvaises options. Ils peuvent maintenir leurs normes de sécurité et prendre du retard, ce qui fait que la frontière est façonnée par des acteurs moins soucieux de sécurité. Ou ils peuvent réduire leurs investissements en matière de sécurité pour rester compétitifs, ce qui entraîne une dégradation de leurs propres normes. Dans les deux cas, la pression concurrentielle produit systématiquement des résultats pires que ce que tout acteur individuel préférerait s'il pouvait coordonner ses actions.
Si un laboratoire ralentit et que son rival ne le fait pas, le laboratoire prudent perd des parts de marché et la course conserve sa vitesse. Cette simple matrice de gains explique pourquoi « nous serons les responsables » échoue comme stratégie. La sécurité qui dépend d'une retenue unilatérale est un don fait à l'acteur le moins retenu, pas une stratégie.
La dimension nationale
Les dynamiques de course au niveau des laboratoires sont en principe traitables par la réglementation nationale : un gouvernement peut imposer des exigences de sécurité à tous les laboratoires d'IA relevant de sa juridiction simultanément, éliminant ainsi le désavantage concurrentiel de l'investissement dans la sécurité au sein de cette juridiction. C'est pourquoi la réglementation nationale de l'IA importe. Elle peut résoudre le problème de coordination au sein d'un pays, même si elle ne traite pas le problème entre pays.
Les dynamiques de course au niveau national sont structurellement plus difficiles. La compétition US-Chine dans l'IA est souvent présentée comme une course stratégique aux conséquences géopolitiques importantes, et ce cadrage produit la même structure d'incitations au niveau national : toute nation qui ralentit pour des raisons de sécurité prend du retard sur celles qui ne le font pas. La crainte que la réglementation de sécurité crée un désavantage stratégique par rapport à des concurrents moins réglementés est un véritable problème de coordination, pas une objection de mauvaise foi.
C'est pourquoi une régulation purement nationale de l'IA (même stricte) est insuffisante face à la dynamique de course à l'IA. La lacune de gouvernance internationale est un problème structurel de coordination qui exige des cadres multilatéraux dotés de mécanismes d'application, à l'image des traités de maîtrise des armements qui ont partiellement résolu la course aux armements nucléaires, et non un problème technique portant sur le pays qui réglemente le mieux.
Précédents pour résoudre les dynamiques de course
L’idée que la coordination sur les courses aux technologies dangereuses est politiquement impossible ne correspond pas aux faits historiques. Les US et l’Union soviétique, au plus fort de la guerre froide, ont négocié les accords SALT I et SALT II, traités de limitation des armements stratégiques qui imposaient des limites contraignantes aux armes les plus dangereuses des deux parties, malgré une profonde méfiance et une compétition stratégique permanente. La Convention sur les armes chimiques a interdit une catégorie entière d’armes dans la plupart des pays du monde. La Convention sur les armes biologiques a fait de même pour les armes biologiques. Le Protocole de Montréal a coordonné l’élimination progressive mondiale des substances appauvrissant la couche d’ozone.
Aucune de ces mesures n'a été obtenue sans difficultés, sans défections ni problèmes d'application. Toutes représentaient de véritables progrès par rapport aux courses non coordonnées. La précédent historique de coordination internationale sur les technologies dangereuses est plus étendu que le cadrage pessimiste des discussions de gouvernance ASI ne le suggérerait.
Pourquoi « les laboratoires soucieux de sécurité devraient gagner la course » se produit indépendamment des préférences des défenseurs de la sécurité, avoir des acteurs soucieux de sécurité à la frontière est mieux que d'en avoir d'indifférents, pas suffisant
Une réponse courante aux inquiétudes liées à la course à l’IA est que la solution réside dans la réussite des laboratoires soucieux de sécurité, afin que la frontière soit façonnée par des acteurs qui s’en soucient.
L'argument a des limites qu'il convient d'énoncer clairement. Premièrement, être à la pointe ne supprime pas les dynamiques de course. Il fait du laboratoire soucieux de sécurité celui qui subit désormais la pression concurrentielle de rogner sur les marges pour rester à la pointe. Deuxièmement, l'argument de la pression concurrentielle peut servir à justifier n'importe quelle accélération, car il y a toujours un concurrent moins soucieux de sécurité à invoquer. Troisièmement, l'argument repose sur l'hypothèse que les laboratoires soucieux de sécurité l'emporteront, mais ne fournit aucun mécanisme pour garantir ce résultat. C'est un espoir, pas une structure de gouvernance.
Résoudre la dynamique de course à l'IA exige la même chose qui a partiellement résolu la course aux armements nucléaires : des limites coordonnées applicables simultanément à tous les grands acteurs, avec des mécanismes de vérification pour détecter les défections et des mécanismes d'application pour les dissuader. C'est un problème de gouvernance multilatérale. Les cadres de dissuasion comme MAIM décrivent l'impasse entre les États en course, mais ils ne résolvent pas la course elle-même. La Fondation propositions de gouvernance sont structurés autour de cette exigence, et non autour de l'espoir que les bons laboratoires finissent en premier.