Après un quasi-accident grave, un enquêteur du National Transportation Safety Board ne demande pas à la compagnie aérienne de consigner une note privée et de passer à autre chose. L’événement entre dans un système. Les conclusions sont rédigées de manière à ce que les concepteurs, les formateurs et les régulateurs puissent tous modifier leurs pratiques. Le passager qui n’entend jamais l’histoire vole néanmoins dans la mise à jour. Cette mémoire partagée explique en grande partie pourquoi le transport aérien commercial est devenu aussi sûr.
Le signalement des incidents liés à l'IA vise à donner à ce domaine la même habitude : l'enregistrement systématique, le partage et l'enquête sur les cas où les systèmes causent des dommages ou en sont proches. Lorsqu'un modèle échoue en déploiement, contourne ses garde-fous sous l'effet d'une utilisation abusive ou présente un comportement dangereux lors de tests, il n'existe toujours aucun devoir cohérent de le consigner, aucun lieu partagé qui doit le recevoir et aucun parcours d'enquête standard. Les leçons qui pourraient protéger tout le monde restent à l'intérieur d'une seule entreprise, ou disparaissent.
La proposition est simple sur le papier : définir des catégories de dommages et de quasi-accidents, exiger un signalement dans un système partagé, et permettre au domaine d’apprendre une fois, collectivement.
Ce qu'un bon système capturerait
La version utile est plus large que les catastrophes en titres.
- Dommages déployés, lorsqu'un système dans le monde réel a causé des dommages ou un dysfonctionnement grave.
- Quasi-accidents, où quelque chose a mal tourné et où le dommage a été évité de justesse. L'aviation les considère aussi instructifs que les crashes.
- Comportements dangereux découverts lors des tests, y compris les défaillances mises en évidence par équipe rouge and evaluations, so one lab's hazard warning reaches the rest.
- Événements de sécurité, tels que des tentatives de vol de poids de modèle ou de contournement des sauvegardes.
Le signalement doit être structuré et, le cas échéant, protégé. Les organisations divulguent plus honnêtement lorsque l'enquête sur la sécurité est séparée du théâtre des responsabilités. L'aviation a appris cette séparation pour une raison. Sans elle, le choix rationnel est le silence.
Pourquoi cela en vaut la peine
Le partage des données d'incidents permet au domaine de repérer des schémas qu'aucune organisation isolée ne verrait. Les régulateurs disposent d'une base factuelle ancrée dans ce qui dysfonctionne réellement plutôt que dans la spéculation. Le mode d'échec d'un laboratoire devient l'avertissement de tous la semaine où il est découvert. Au fil du temps, l'industrie acquiert la mémoire institutionnelle qui lui fait encore défaut. Parmi les mesures de gouvernance de ASI, celle-ci est peu coûteuse, largement appréciée et attendue depuis longtemps. La Fondation la veut obligatoire.
L'objection populaire, nommée
La version optimiste affirme que l'aviation a prouvé la méthode : continuer à signaler, continuer à enquêter, et le risque catastrophique diminuera comme les taux de perte de coque ont diminué. Selon cette vue, les systèmes d'incidents sont le principal moteur de sécurité, et les limites anticipatoires sont une distraction jusqu'à ce que nous ayons plus de données sur les crashes.
Remarquez le temps dans lequel ce moteur fonctionne. Le signalement des incidents est rétrospectif. Il apprend des dommages déjà survenus. Cela fonctionne quand les défaillances, aussi tragiques soient-elles, sont survivables à l'échelle de l'industrie, de sorte que chacune peut instruire l'ensemble de la flotte. Le système s'améliore événement par événement.
Cette logique ne tient pas pour les risques qui préoccupent le plus la Fondation. Un défaillance catastrophique d’un système superintelligent n’est pas un conseil que l’on convoque après coup. La thèse centrale du risque existentiel est que l’échec le plus grave peut être celui dont on ne se relève pas et qui, par conséquent, n’enseigne rien. Les rapports d’incident gèrent bien les dommages cumulables et survivables. Par construction, ils ne peuvent pas traiter celui dont on ne revient pas.
Apprendre des échecs suppose que vous y survivez. Pour les échecs qui comptent le plus, cette hypothèse est le problème.
Où il se trouve
Construisez le système. Rendez-le obligatoire. Protégez les divulgations honnêtes. Puis gardez-le hors du premier rang de la boîte à outils. Il doit figurer aux côtés des limites anticipatoires et des vérifications exposées dans notre plan, qui existent précisément parce que certains échecs ne peuvent pas être gérés après coup.