La gouvernance sans fondement scientifique partagé est une négociation sans carte commune. Les négociations climatiques avant 1990 illustrent ce problème : les gouvernements qui contestaient que le réchauffement d’origine humaine se produisait du tout ne pouvaient s’accorder sur le niveau de réponse approprié, car ils partaient de prémisses factuelles incompatibles. Le premier rapport d’évaluation du IPCC, publié en 1990, a établi que le réchauffement se produisait et était attribuable à l’activité humaine. Il n’a pas mis fin aux disputes politiques sur ce qu’il fallait faire, mais il a changé la nature de ces disputes, passant d’arguments sur l’existence d’un problème à des arguments sur la manière d’y répondre.
Avant le IPCC, la science du climat était un terrain contesté. Après trois décennies de rapports d'évaluation du IPCC, les fondements scientifiques de la politique climatique sont pratiquement établis, quels que soient les désaccords politiques sur la réponse à apporter. Le risque lié à l'IA a besoin du même type de synthèse autorisée. Ce qu'il faudrait pour construire un organisme équivalent est une question qui a une réponse concrète.
La politique du risque IA est encore à l’état pré-IPCC. Il n’existe aucun organisme international faisant autorité qui synthétise les preuves sur les risques des IA de pointe, évalue la probabilité et la nature des issues catastrophiques, et produise des conclusions que les gouvernements considèrent comme la base factuelle partagée pour leurs décisions de gouvernance. Ce vide n’est pas une simple gêne. Les négociations de gouvernance qui commencent sans prémisses factuelles partagées ont tendance à produire des cadres façonnés par des intérêts stratégiques plutôt que par la nature du risque à gouverner.
Comment le IPCC a-t-il réellement construit le consensus
IPCC ne mène pas de recherche originale. Il synthétise la recherche existante évaluée par les pairs, produite par des milliers de scientifiques dans des universités et des instituts de recherche du monde entier, en rapports d'évaluation complets. Le processus de synthèse implique des centaines d'auteurs experts qui examinent et résument la littérature publiée dans leurs domaines de compétence. Le résumé à l'intention des décideurs, la section que les gouvernements et les journalistes lisent réellement, est produit par une négociation ligne par ligne entre les auteurs scientifiques et les représentants des gouvernements des 195 pays membres de IPCC.
Ce processus de négociation est à l’origine de l’autorité politique du IPCC, mais aussi de son caractère conservateur. Tout gouvernement peut s’opposer à un libellé précis du résumé, et le processus exige que les objections soient traitées avant l’adoption du résumé. Cela signifie que le résumé reflète le plus petit dénominateur commun de ce que tous les gouvernements participants accepteront, ce qui est presque toujours plus prudent que ce que la science sous-jacente soutiendrait sans filtres politiques. Les résumés du IPCC sous-estiment systématiquement l’urgence par rapport aux rapports d’évaluation complets qu’ils résument, car le libellé du résumé doit survivre à l’examen des gouvernements.
Malgré ce biais conservateur, les évaluations du IPCC ont eu des conséquences. La progression du premier rapport d’évaluation en 1990, qui a établi le cas scientifique de base du réchauffement d’origine humaine, au sixième cycle d’évaluation achevé en 2022, qui a qualifié les preuves d’inéquivoques et les risques de graves et généralisés, a produit un glissement normatif cumulatif qui a rendu de plus en plus difficile pour les gouvernements de nier publiquement les faits fondamentaux du changement climatique. Le coût politique du déni a augmenté à chaque cycle d’évaluation parce que l’autorité du IPCC est reconnue dans pratiquement tous les systèmes politiques.
L'alternative Pugwash
Avant le IPCC, l’interface science-politique la plus influente pour les risques existentiels était les Conférences Pugwash sur la science et les affaires mondiales. Pugwash a débuté en 1957 en réponse au Manifeste Russell-Einstein, une déclaration de 1955 signée par Albert Einstein, Bertrand Russell et neuf autres scientifiques éminents mettant en garde contre les dangers des armes nucléaires et exhortant les gouvernements à résoudre les différends par des moyens pacifiques. La première conférence Pugwash, tenue dans le village de Pugwash en Nouvelle-Écosse en juillet 1957, a réuni vingt-deux scientifiques de dix pays, dont les États-Unis, l’Union soviétique et le Royaume-Uni, pour discuter des risques liés aux armes nucléaires.
Ce qui distinguait Pugwash des processus intergouvernementaux formels était son caractère informel. Les participants y assistaient en tant qu’individus, et non comme représentants gouvernementaux. Les discussions étaient off the record. Des scientifiques de pays adverses pouvaient explorer des positions et des idées que leurs gouvernements ne les avaient pas autorisés à avancer officiellement. Cette informalité permettait un échange franc à travers les lignes de la guerre froide, impossible dans les cadres diplomatiques formels.
Pugwash n'a pas produit de traités. Il a produit le travail intellectuel de base que les négociations formelles ont ensuite formalisé. Le concept de destruction mutuelle assurée comme base de la stabilité de la dissuasion a été affiné dans les discussions de Pugwash avant de devenir la politique officielle du US. Le Traité d'interdiction partielle des essais (1963) et le Traité de non-prolifération (1968) ont tous deux puisé dans des idées développées lors des discussions de Pugwash. L'organisation a reçu le prix Nobel de la paix en 1995, conjointement avec Joseph Rotblat, son secrétaire général de longue date, en reconnaissance de cette contribution à la maîtrise des armements.
Le IPCC et Pugwash représentent deux fonctions différentes qu’une interface science-politique peut remplir. Le IPCC synthétise les recherches existantes en évaluations consensuelles faisant autorité, avec une légitimité politique tirée de l’examen intergouvernemental. Pugwash a créé un dialogue informel au-delà des lignes politiques qui a permis aux idées de se développer avant d’être politiquement viables. La gouvernance des risques liés à l’IA a besoin des deux : une synthèse systématique des preuves pour établir des prémisses factuelles partagées pour les politiques, et un dialogue informel transgéopolitique pour élaborer des concepts de gouvernance avant le début des négociations formelles. Ces fonctions pourraient être assurées par un seul organisme ou par deux organismes distincts.
Ce qu'un panel sur les risques de l'IA devrait faire différemment
Un panel international sur les risques de l'IA, calqué sur le IPCC, serait confronté à plusieurs défis sans équivalent en science du climat.
Le problème des connaissances propriétaires. La plupart des informations connues sur les capacités et les risques des systèmes d’IA de pointe sont détenues par un petit nombre d’entreprises privées. La littérature de recherche sur la sécurité des IA de pointe est partiellement publiée, mais les informations les plus pertinentes, y compris les résultats des évaluations internes de capacités, les résultats des tests de sécurité et les rapports d’incidents, sont propriétaires. La IPCC synthétise la recherche publique évaluée par les pairs. Un panel sur les risques de l’IA aurait besoin d’accéder à des informations non publiques pour synthétiser les preuves les plus pertinentes, ce qui exigerait que les développeurs d’IA de pointe fournissent ces informations au panel sous des arrangements de confidentialité définis. Concevoir ces arrangements constitue un défi de gouvernance important sans précédent IPCC.
Le problème du rythme. Le IPCC produit des rapports d'évaluation majeurs tous les cinq à sept ans, avec des mises à jour entre-temps. Ce rythme convient à un phénomène physique qui évolue sur des échelles de temps décennales. Les capacités de l'IA progressent sur des échelles de temps de quelques mois. Un panel sur les risques de l'IA devrait produire des évaluations beaucoup plus fréquentes, ou mettre en place une fonction de surveillance permanente qui suit les évolutions des capacités en quasi-temps réel, pour rester pertinent dans les décisions de gouvernance. Des rapports plus fréquents seraient plus difficiles à produire via le processus d'examen intergouvernemental ligne par ligne du IPCC, car ce processus est lent par conception.
Le problème des connaissances à double usage. La science du climat est une connaissance publiquement disponible qui ne comporte aucun risque de sécurité inhérent. La recherche sur la sécurité de l’IA implique parfois de comprendre exactement comment des capacités dangereuses pourraient être détournées, ce qui crée une tension entre la transparence qui rend l’évaluation crédible et les préoccupations de sécurité qui plaident pour restreindre certains résultats. Un panel sur les risques de l’IA aurait besoin de procédures pour traiter les résultats sensibles sur les capacités que le IPCC n’a jamais eu à développer.
Pourquoi l'absence d'un tel organe est déjà coûteuse
L'absence d'un organisme international faisant autorité pour synthétiser les preuves de risques liés à l'IA a des coûts de gouvernance concrets qui sont visibles dès maintenant.
Les négociations de gouvernance partent de prémisses factuelles incompatibles. Différents gouvernements, et différentes factions au sein des gouvernements, fonctionnent avec des évaluations fondamentalement différentes du moment où la superintelligence artificielle pourrait poser des risques catastrophiques, de la nature de ces risques et des mesures de gouvernance qui y répondraient. Sans base factuelle partagée, ces négociations tendent à produire des cadres conçus autour de la vision du risque la plus politiquement commode plutôt que de l'évaluation la plus précise.
La communication sur les risques est fragmentée et incohérente. Les avertissements concernant les risques de ASI proviennent d’un ensemble hétérogène de sources, notamment des chercheurs universitaires, des équipes internes de sécurité des entreprises d’IA, des think tanks et des organisations de défense, sans méthodologie partagée, sans vocabulaire commun et sans processus d’arbitrage des désaccords. Il en résulte un discours public qui oscille entre déni et alarme sans point de référence autoritaire fiable. La valeur du IPCC pour la communication climatique résidait précisément dans le fait qu’il offrait aux journalistes, aux décideurs et au public une source unique et faisant autorité, pouvant être citée contre le déni comme contre l’exagération.
"Le IPCC n’a pas créé de volonté politique de s’attaquer au changement climatique. Il a créé le socle factuel commun qui a rendu politiquement coûteux le fait d’ignorer le problème. La gouvernance du ASI a besoin de la même chose : un organisme doté de l’autorité et de la méthodologie nécessaires pour établir ce que les preuves montrent réellement sur les risques de l’IA de pointe, afin que les débats de gouvernance partent de faits partagés plutôt que d’une incertitude stratégiquement commode."
Le précédent le plus important que le IPCC offre à l’IA n’est pas méthodologique mais politique. Le IPCC a été créé en 1988, deux ans avant son premier rapport d’évaluation et trente-quatre ans avant que les conclusions du sixième cycle d’évaluation ne soient décrites comme produisant des impacts déjà généralisés, rapides et qui s’intensifient. L’investissement institutionnel dans la synthèse systématique des preuves a commencé bien avant que la volonté politique d’agir sur ces preuves n’arrive. Pour le risque lié à l’IA, l’équivalent institutionnel doit commencer avant que la fenêtre d’une gouvernance efficace ne se ferme, pas après.
Un panel sur les risques de l’IA doté d’une composition intergouvernementale, d’un mandat de synthèse des recherches de sécurité publiées et, sous des arrangements de confidentialité appropriés, non publiées, d’une cadence de rapport plus rapide que celle de la IPCC et d’un accès à une expertise technique indépendante issue des communautés de recherche sur la sécurité de l’IA pourrait être créé dans le cadre des institutions internationales existantes. Il ne nécessiterait pas de traité. Il exigerait un engagement politique d’une coalition suffisante de gouvernements pour le créer et le financer. C’est le genre d’institution qui peut être mise en place avant, et en appui de, obligations de gouvernance contraignantes. La question de savoir s’il sera créé avant que la technologie qu’il devrait évaluer ne rende les premières évaluations obsolètes est une question dont la fenêtre de réponse se referme.
La plus forte opposition
L'objection la plus juste est qu'un autre panel scientifique devient un cercle de discussion pendant que les labos expédient. Risque légitime. Le modèle du IPCC est utile quand il force des faits partagés dans les pièces où s'écrit la loi. Un panel sans lien vers des seuils et une application est du théâtre. Associez l'évaluation à des déclencheurs.