Avant qu'un nouveau médicament soit commercialisé aux États-Unis, quelqu'un doit démontrer sa sécurité et son efficacité selon des règles qui peuvent bloquer un lancement. La plupart des logiciels sont encore diffusés d'abord et s'excusent ensuite. Le modèle de la FDA est la question que la politique de l'IA continue d'esquiver : prouver avant que le dommage ne soit irréversible.

Les produits pharmaceutiques sont la grande exception. Une entreprise pharmaceutique ne peut pas commercialiser un médicament et attendre les cadavres. Elle doit démontrer l'innocuité et l'efficacité à la Food and Drug Administration par le biais d'essais cliniques par étapes avant il peut vendre le produit. La charge de la preuve incombe au développeur, et elle s'applique avant le déploiement. Le modèle de la FDA pour l'IA demande si l'IA de pointe, qui partage les caractéristiques ayant fait de la médecine une exception, devrait être régie de la même manière.

Pourquoi l'analogie est attrayante

L’adéquation est plus proche qu’il n’y paraît au premier abord, car les raisons pour lesquelles les médicaments obtiennent une approbation avant commercialisation s’appliquent à l’IA de pointe.

  • La charge de la preuve est inversée. Le développeur doit démontrer que le produit est sûr, plutôt qu’un régulateur ou le public doive prouver qu’il est dangereux après sa mise sur le marché. C’est exactement cette inversion que la Fondation défend ailleurs, dans cas de sécurité et politiques de mise à l'échelle.
  • L'approbation vient avant le déploiement. Le contrôle a lieu pendant que le système est encore contenu, pas après qu’il soit lâché dans le monde, ce qui est le seul moment où la prévention l’emporte sur la réaction.
  • Les tests par étapes s'adaptent au risque. Les essais cliniques se déroulent par phases, chaque étape exigeant des preuves avant la suivante. Cela correspond naturellement aux seuils de capacité pour l’IA.

Pour une technologie où certains échecs peuvent être graves et difficiles à inverser, un régime qui refuse de laisser sortir les systèmes les plus risqués tant que la sécurité n'a pas été démontrée de manière affirmative constitue une proposition sérieuse et attractive.

Où le modèle craque

L'analogie est un guide, pas un modèle, et les différences sont instructives.

Un médicament est une molécule fixe qui agit de façon précise dans un organisme, étudiée par une science mature aux risques quantifiés. Un modèle de frontière est polyvalent, utilisé pour des tâches ouvertes que personne n'a entièrement énumérées, avec des capacités qui peuvent émerger de manière imprévisible et le comportement qui peut évoluer après le déploiement via un fine-tuning ou de nouveaux outils. On peut définir ce que signifie pour un médicament contre la tension artérielle d’être sûr. Définir ce que signifie pour un système de raisonnement général d’être sûr est le problème non résolu au cœur du domaine, et la science dont aurait besoin un examinateur de type FDA n’existe souvent pas encore.

Il y a aussi le problème des frontières. La FDA réglemente un marché national aux contours nets. Un modèle dangereux peut être entraîné n’importe où et copié partout, donc une simple approbation nationale préalable laisse le vide que seule une coordination internationale peut combler, appuyée par les goulots d’étranglement physiques de gouvernance du calcul.

Le modèle de la FDA nous donne le bon principe — prouver l’innocuité avant la mise sur le marché — et nous rappelle à quel point nous manquons encore de science de la sûreté.

Ce qu'il faut en retenir

Le modèle de la FDA est précieux moins comme plan à copier que comme démonstration que l'approbation préalable à la mise sur le marché est normale, réalisable et acceptée pour des produits dont les inconvénients sont trop graves pour être gérés par un rappel. La société accepte déjà, dans le cas des médicaments, que certaines choses doivent être prouvées sûres avant de nous atteindre. Étendre ce principe établi aux systèmes d'IA de pointe dont les défaillances pourraient être les plus graves est l'application d'une norme existante à une nouvelle technologie qui remplit clairement les conditions, mise en œuvre par le mélange d'exigence nationale et de cadre international exposé dans notre plan, pas une exigence radicale.