À la Maison-Blanche en juillet 2023, sept grandes entreprises d’IA US, dont OpenAI, Anthropic, Google, Meta et Microsoft, se sont engagées sur un ensemble de mesures volontaires de sécurité, de sûreté et de transparence. Au sommet de Bletchley sur la sécurité de l’IA en novembre 2023, vingt-huit pays ont signé une déclaration reconnaissant une préoccupation partagée sur les risques des IA de pointe. Au sommet de Séoul sur la sécurité de l’IA en juin 2024, seize entreprises d’IA ont signé les Frontier AI Safety Commitments, couvrant les seuils de sécurité, les évaluations de modèles et le partage d’informations.
Les engagements volontaires de sécurité des entreprises ont une longue histoire dans d'autres industries, et cette histoire est instructive sur ce qu'ils peuvent et ne peuvent pas accomplir.
Ce sont des réalisations politiques significatives. Elles représentent la première fois que les principaux développeurs de systèmes d'IA de pointe ont publiquement accepté que leur travail pose des risques sérieux et qu'une forme de gouvernance est appropriée. Les rejeter serait une erreur. Mais les accepter comme suffisantes serait une erreur plus coûteuse.
Ce que les engagements volontaires exigent réellement
Les engagements de sécurité de l'IA de pointe signés à Séoul sont les plus substantiels parmi les grandes promesses. Les signataires se sont engagés à : identifier des seuils de sécurité au-delà desquels ils ne déploieraient pas ou ne poursuivraient pas l'entraînement d'un modèle ; mener et publier des évaluations de leurs modèles de pointe par rapport à ces seuils ; partager des informations sur les incidents de sécurité et les évaluations avec les gouvernements et les autres entreprises d'IA ; et investir dans la recherche sur la sécurité. Ce sont des engagements véritables en ce sens qu'ils exigent des actions visibles qui peuvent être observées et commentées publiquement.
Ce qu'elles n'exigent pas : une vérification externe indépendante du respect des seuils ; des conséquences contraignantes en cas de non-respect ; un mécanisme d'application contre un signataire défaillant ; et la participation des entreprises qui choisissent de ne pas signer. Ces engagements sont des déclarations d'intention aspirant par des entreprises qui conservent toute latitude pour les interpréter et les mettre en œuvre.
C’est la structure d’un engagement volontaire, et la distinction avec une obligation contraignante n’est pas subtile. Un engagement volontaire lie la partie moralement et réputationnellement. Une obligation juridique contraignante la lie en droit, avec des conséquences formelles en cas de non-respect. L’écart entre obligation morale et obligation légale est précisément l’endroit où les décisions de sûreté les plus importantes sont prises sous la pression de la concurrence.
Le schéma des autres industries à haut risque
Les engagements volontaires des entreprises en matière de sécurité ont précédé la réglementation contraignante dans la plupart des grandes industries à haut risque, et le bilan de ce que ces engagements ont accompli ou non est assez cohérent.
Dans les services financiers, les grandes banques ont développé tout au long des années 1990 et du début des années 2000 des codes et des pratiques de gestion des risques pilotés par l’industrie. Ces codes étaient en place et nominalement opérationnels lorsque la crise financière de 2007 à 2009 a révélé que la gestion volontaire des risques n’avait pas empêché l’accumulation de risques systémiques. Le Conseil de stabilité financière, le cadre de Bâle III et l’extension des exigences de divulgation obligatoire ont suivi. Les engagements volontaires avaient amélioré les pratiques de base, mais se sont révélés insuffisants face aux risques extrêmes où les coûts de l’échec étaient les plus élevés.
Dans l’industrie chimique, le programme Responsible Care a été lancé en 1985 à la suite d’une série d’accidents majeurs dans des usines chimiques, dont Bhopal en 1984. Les entreprises participantes se sont engagées à améliorer les performances en matière de sécurité, de santé et d’environnement et à rendre compte de leurs progrès de manière transparente. Responsible Care a amélioré la culture de sécurité de l’industrie et réduit l’incidence des accidents courants au cours des décennies suivantes. Il n’a pas empêché des incidents significatifs et a finalement été complété par des exigences réglementaires contraignantes. L’évaluation du programme a conclu que sa plus grande limite était l’absence de vérification indépendante.
Le programme Responsible Care de l'industrie chimique, lancé en 1985, est le parallèle historique le plus proche des engagements actuels en matière de sûreté de l'IA : un engagement volontaire de l'industrie couvrant la sûreté, la transparence et le partage d'informations. L'évaluation propre du programme après deux décennies a conclu que sa principale limite était l'absence de vérification indépendante des performances déclarées. La même limite est structurelle dans les engagements actuels de sûreté de l'IA, et elle produit le même écart : engagement sur les résultats sans aucun mécanisme pour confirmer si ces résultats sont atteints.
La sûreté des centrales nucléaires aux États-Unis était initialement assurée principalement par l'autorégulation et les normes industrielles. L'accident de Three Mile Island en mars 1979 a montré que la culture de sûreté volontaire de l'industrie était insuffisante pour une technologie dont les modes de défaillance pouvaient affecter de grandes populations. Le cadre de surveillance obligatoire de la Nuclear Regulatory Commission, avec inspections indépendantes, déclaration obligatoire des incidents et normes opérationnelles contraignantes, a suivi. L'industrie s'était opposée à la réglementation obligatoire à l'époque ; on lui attribue aujourd'hui généralement d'avoir produit les améliorations de la culture de sûreté que les approches volontaires n'avaient pas atteintes.
Le problème de la pression concurrentielle
Les engagements volontaires présentent une vulnérabilité structurelle que la réglementation contraignante n'a pas : le problème de la pression concurrentielle. Si un engagement crée un coût réel, comme ralentir les calendriers de développement, exiger des évaluations de sécurité coûteuses ou exclure des applications à fort chiffre d'affaires, alors toute entreprise qui ne signe pas l'engagement gagne un avantage concurrentiel en évitant ce coût. Les entreprises qui signent font face à un choix : assouplir leur interprétation de l'engagement pour rester compétitives, ou absorber le coût et prendre du retard.
Cette dynamique n’est pas hypothétique dans le secteur de l’IA. Les entreprises qui ont signé les Engagements de sûreté de l’IA de pointe à Séoul sont en concurrence directe avec des entreprises et des programmes soutenus par l’État en Chine qui n’ont signé aucun document équivalent. Elles sont aussi en concurrence entre elles, et les engagements qu’elles ont signés sont suffisamment larges dans leur formulation pour que des désaccords interprétatifs raisonnables sur ce que la conformité exige soient inévitables.
La régulation contraignante résout cela en créant un plancher que tous les concurrents doivent respecter, éliminant l'avantage compétitif du non-respect. C'est pourquoi la régulation contraignante produit des résultats de sécurité que les engagements volontaires ne peuvent généralement pas atteindre : elle supprime la structure d'incitation qui rend les raccourcis de sécurité attractifs.
Ce que les engagements volontaires accomplissent bien
La fonction la plus précieuse des engagements volontaires dans l'histoire de la gouvernance de la sécurité industrielle a été l'établissement de normes. Les engagements volontaires créent un précédent où l'industrie reconnaît qu'un problème existe et que certaines pratiques constituent des réponses appropriées. Ce précédent devient la base sur laquelle s'appuie la réglementation contraignante.
Lorsque les régulateurs ou les législateurs aborderont la gouvernance de l’ASI, les Frontier AI Safety Commitments auront établi que les principales entreprises acceptent la légitimité des seuils de sécurité, des évaluations de modèles et du partage d’informations comme concepts de gouvernance. L’industrie sera en position plus faible pour affirmer que ces exigences sont techniquement irréalisables ou commercialement inappropriées, les ayant déjà acceptées volontairement. En ce sens, les engagements volontaires constituent une première étape vers une gouvernance contraignante, et non un substitut.
Les engagements volontaires créent également une infrastructure institutionnelle. Les engagements de Séoul ont obligé les entreprises à développer des processus internes pour la définition des seuils de sécurité et l'évaluation des modèles. Ces processus, et les connaissances institutionnelles qu'ils contiennent, constituent la base sur laquelle un régime de vérification contraignant peut s'appuyer. Un organisme de réglementation chargé de superviser des évaluations obligatoires de la sécurité de l'IA pourra s'appuyer sur les pratiques existantes des entreprises plutôt que de concevoir l'infrastructure de conformité à partir de zéro.
« Les engagements volontaires jouent un rôle utile au début du développement de la gouvernance, et les engagements de Bletchley et de Séoul ont produit quelque chose de réel. Mais l’histoire de toutes les grandes industries à haut risque montre la même chose : les engagements volontaires améliorent les pratiques de base et échouent face aux risques extrêmes. Ce sont précisément les risques extrêmes que nous cherchons à gouverner avec la superintelligence. »
Ce que la gouvernance contraignante exige que les engagements volontaires ne peuvent pas fournir
Quatre éléments distinguent une gouvernance contraignante d’une gouvernance volontaire, et ces quatre éléments comptent pour l’IA de pointe.
Vérification indépendante. Un engagement volontaire est auto-déclaré. Une obligation contraignante est soumise à une vérification par un tiers, qu’il s’agisse d’un organisme de régulation, d’une agence internationale d’inspection ou d’un auditeur indépendant doté d’une personnalité juridique. L’auto-déclaration produit des informations exactes lorsque les organisations déclarant n’ont aucun intérêt à déformer la réalité. Dans les marchés concurrentiels, cette condition est rarement remplie.
Conséquences définies en cas de non-respect. Les engagements volontaires créent un coût réputationnel en cas de non-respect, réel mais limité. Les obligations contraignantes créent des conséquences juridiques : amendes, révocation de licences, restrictions d'accès au marché ou pénalités prévues par traité. La crédibilité d'un cadre de gouvernance dépend de la crédibilité de ses conséquences.
La couverture des non-signataires. Le développement d'IA le plus déterminant pourrait venir d'entreprises ou de gouvernements qui ne signent jamais d'engagement volontaire. La réglementation nationale contraignante et les obligations de traité international créent une gouvernance qui s'applique aux acteurs indépendamment de leur consentement préalable. Un cadre d'engagements volontaires laisse en dehors les acteurs les plus susceptibles de créer des risques graves s'ils choisissent de l'être.
Stabilité face aux changements de direction. Les engagements volontaires lient la direction actuelle d’une entreprise. Quand la direction change, que la composition du conseil évolue ou que la pression concurrentielle s’intensifie, l’engagement n’a aucune force légale pour survivre à ces changements. La réglementation contraignante est inscrite dans la loi et survit aux changements organisationnels ordinaires.
Les engagements volontaires pris à Bletchley et à Séoul sont de véritables avancées sur lesquelles il faut s'appuyer. S'appuyer dessus signifie reconnaître honnêtement ce qu'ils accomplissent et ce qu'ils ne peuvent pas accomplir, et utiliser l'élan politique et institutionnel qu'ils représentent pour poursuivre une gouvernance contraignante qui comble les lacunes qu'ils laissent ouvertes.
La plus forte opposition
L'objection la plus équitable est que les règles volontaires sont le moyen par lequel les industries mûrissent et qu'exiger des lois en premier gèle le progrès. Les règles volontaires aident quand elles divulguent. Elles échouent quand la même firme rédige, note et profite du test. C'est la contrainte externe qui rend la maturité réelle.