Avant qu'un type d'avion de ligne commercial soit certifié pour transporter des passagers, les régulateurs exigent un argument de sécurité structuré : des affirmations, un raisonnement et des preuves suffisamment solides pour être rejetés. Au Royaume-Uni, l'autorisation des sites nucléaires passe encore par un dossier de sécurité que l'Office for Nuclear Regulation doit accepter avant toute exploitation. De nombreux dispositifs médicaux suivent la même exigence. L'opérateur n'a pas le droit de fonctionner d'abord et d'expliquer ensuite. L'autorisation suit un dossier qui a survécu à un examen hostile.

Un dossier de sûreté de l'IA emprunte cette forme. C'est un argument structuré et étayé par des preuves qu'un système particulier est suffisamment sûr pour être entraîné ou déployé dans un contexte donné. Appliqué aux modèles de pointe, il oblige le constructeur à présenter un dossier affirmatif. Les autres n'ont plus à prouver le danger avant que quiconque ne freine. Le constructeur doit démontrer la sûreté, ou s'arrêter.

Ce que contiendrait un véritable dossier de sécurité de l'IA

Un dossier sérieux est plus qu'une liste de contrôle. Il a une forme.

  • Une affirmation : ce modèle, utilisé de cette manière, ne présente pas un risque inacceptable de dommages spécifiés.
  • Un argument : le raisonnement qui relie les preuves à l’affirmation, y compris la manière dont les risques identifiés sont traités et pourquoi les mesures de sauvegarde sont suffisantes.
  • Preuves : résultats de évaluations des capacités, red-teaming, mesures de sécurité et analyses dont dépend l'argument.

Il faut aussi énoncer les hypothèses et les points de défaillance. Un bon cas est falsifiable. Il indique à l’examinateur ce qui devrait être vrai pour que la conclusion tienne, afin qu’il puisse vérifier si ces conditions sont effectivement réunies. Sans cela, du théâtre.

Pourquoi la discipline est précieuse

Rédiger l'argument fait apparaître des lacunes qu'une note de version confiante peut dissimuler. Un risque est plus difficile à écarter quand il faut construire un raisonnement explicite qui l'aborde. La méthode correspond à la façon dont d'autres domaines à haut risque sont devenus plus sûrs : en raisonnant sur les dangers avant l'opération, et pas seulement en comptant les épaves après coup. Elle s'insère aussi dans la logique de seuil de politiques de mise à l'échelle responsable, où le franchissement d'un seuil de capacité devrait déclencher un cas suffisamment solide pour justifier l'étape suivante.

L'objection populaire, nommée

La résistance est pratique : accordez à la science quelques années supplémentaires d'évaluations et d'interprétabilité, puis les dossiers de sécurité s'écriront d'eux-mêmes ; les exiger maintenant ne fait que ralentir des systèmes utiles. Selon cette vue, la paperasse doit suivre les preuves, pas les précéder.

Dans l'aviation, l'argument peut s'appuyer sur une science mature, des taux de défaillance connus, une physique comprise et des décennies de données sur les flottes. Pour un modèle de pointe, un argument honnête se heurte à ce que nous pouvons actuellement prouver. Nous ne pouvons pas encore démontrer qu'un modèle capable n'est pas aligné de façon trompeuse. Nous ne pouvons pas exclure des capacités auxquelles personne n'a pensé à tester. Nous ne pouvons pas montrer que le comportement en évaluation se maintiendra en déploiement, surtout si le système est sous-performance intentionnelle.

Un dossier rigoureux pour un modèle suffisamment avancé exigerait des garanties que la science actuelle ne peut fournir. Une tentative honnête aboutit donc souvent, comme véritable résultat, à une déclaration claire expliquant pourquoi le système ne peut encore être considéré comme sûr. Le dossier a rempli son rôle lorsqu’il refuse d’apposer un tampon sur un vide.

La valeur d'un dossier de sûreté est la permission de refuser.

Pourquoi la Fondation les soutient

Un régime de gouvernance fondé sur des dossiers de sécurité refuse de considérer l’impossibilité de prouver le danger comme une autorisation de procéder. La charge de la preuve incombe au constructeur. Si celui-ci ne peut pas la satisfaire, la réponse n’est pas d’entraîner le saut suivant en espérant. Les dossiers de sécurité doivent être obligatoires, examinés par des tiers indépendants plutôt qu’auto-évalués, et exigés avant les plus grands entraînements, pas après le lancement d’un produit.

Rendus contraignants sous cette forme, ils deviennent l’un des outils les plus robustes disponibles. C’est pourquoi ils figurent dans la conception plus large de notre plan.