Un Institut de sécurité de l’IA est un organisme public chargé d’évaluer les systèmes d’IA de pointe au regard des risques pour la sécurité nationale et la sûreté publique, et de développer l’expertise de l’État sur ces systèmes. La première vague s’est constituée autour du sommet international sur l’IA de 2023. Ces instituts partagent désormais méthodes et résultats via un réseau international renforcé par les réunions de Séoul et les suivantes.

Plusieurs capitales majeures gèrent désormais un institut ou un équivalent. La plupart d’entre elles ne peuvent toujours pas ordonner le maintien en retrait d’un modèle dangereux.

Note sur les noms : les deux instituts fondateurs ont été renommés. L’organisme UK est devenu l’AI Security Institute en février 2025. L’institut US s’appelle désormais le Center for AI Standards and Innovation (CAISI) au sein du NIST. « AI safety institute » reste le terme générique standard, et ce guide l’emploie tout au long du texte.

Pendant des années, seules les entreprises qui construisaient les modèles de pointe les comprenaient en profondeur. Un institut tente de placer une capacité technique indépendante au sein du gouvernement, afin que les autorités publiques puissent évaluer les systèmes plutôt que d’accepter le briefing d’un développeur comme dernier mot.

Ce qu'ils font réellement

Leur travail se regroupe en quelques domaines.

  • Tester les modèles de pointe, parfois avant leur mise sur le marché, pour détecter des capacités dangereuses dans des domaines comme la cyber, la biologie et l’autonomie, en utilisant les méthodes derrière évaluations des capacités.
  • Développer la science de l'évaluation elle-même, car mesurer ces risques correctement reste un problème de recherche ouvert, et non une procédure établie.
  • Conseiller le gouvernement, afin que les politiques soient éclairées par des personnes qui ont réellement examiné les systèmes.
  • Coordonner au niveau international, afin qu’un modèle testé dans un pays n’ait pas à être reconstruit à partir de zéro partout ailleurs et que les normes commencent à converger.

C'est un véritable progrès institutionnel. Construire la capacité de l'État à comprendre l'IA de pointe est une condition préalable pour la gouverner. On ne peut pas réglementer ce qu'on ne peut pas évaluer, et jusqu'à récemment les gouvernements ne le pouvaient en grande partie pas.

Le pouvoir qui leur fait le plus défaut

La plupart des instituts de sécurité de l'IA peuvent tester, conseiller et publier. Peu peuvent contraindre. L'accès aux modèles dépend souvent de la coopération des laboratoires. Les conclusions informent généralement plutôt qu'elles n'obligent. Dans la plupart des cas, un institut ne peut pas ordonner le retrait d'un modèle dangereux. Ces organismes peuvent repérer un risque et recommander une réponse. Ils obtiennent rarement le pouvoir d'en exiger une.

Cet écart entre évaluation et autorité constitue la limite structurelle. Un institut qui découvre un danger grave et ne peut que conseiller n’est efficace qu’à hauteur de la volonté du gouvernement d’agir contre les pressions commerciales et concurrentielles qui poussent à continuer. Une grande partie de l’architecture actuelle est un système d’alerte. Un système d’alerte n’est pas une protection tant que quelqu’un disposant du pouvoir ne répond pas à l’alarme.

L’objection courante est que la capacité technique suffit et que la politique rattrapera. La capacité sans autorité, c’est ainsi que les gouvernements apprennent les mauvaises nouvelles trop tard et agissent encore plus tard. Des tests qui ne peuvent pas imposer un arrêt sont une préparation à la gouvernance, pas la gouvernance elle-même.

Ce qu'ils pourraient devenir

La valeur durable des Instituts de sécurité de l’IA réside dans ce qu’ils préparent pour des régimes contraignants ultérieurs : une capacité technique indépendante, des normes partagées et un canal international entre gouvernements. En ce sens, ils constituent la première forme de l’organe que la Fondation défend. Notre texte sur une agence internationale de surveillance décrit où cela pourrait mener. Le IPCC modèle montre comment une évaluation scientifique partagée peut sous-tendre une politique internationale.

Ce qui doit changer, c’est l’autorité. L’évaluation doit être reliée à l’exécution, que ce soit par une loi nationale faisant de l’approbation d’un institut une condition de déploiement, ou par un cadre international donnant aux conclusions vérifiées de véritables conséquences. Donnez à ces instituts un pouvoir à la hauteur de leur expertise, et une grande partie de l’échafaudage d’une gouvernance sérieuse sera déjà en partie construite. Cette transition fait l’objet de notre plan: arrêter la superintelligence par la loi, avec une capacité d'évaluation publique comme infrastructure, et non comme substitut à l'interdiction et à la vérification.