深刻なニアミスの後、国家運輸安全委員会の調査官は航空会社に非公開のメモを提出させて終わりとはしません。出来事はシステムに入ります。所見は設計者、訓練担当者、規制当局のすべてが行動を変えられるように書かれます。その話を聞いたことのない乗客も、更新された安全性の内部を飛行します。この共有された記憶が、民間航空が今日のように安全になった大きな理由です。

「AIインシデント報告は、この分野に同じ習慣を与えようとする試みだ。システムが危害を引き起こしたり、誤用でガードレールをすり抜けたり、テストで危険な行動を示したりした場合に、体系的に記録・共有・調査する。モデルが展開で失敗したり、テストで危険な振る舞いを示したりした場合でも、それを記録する一貫した義務はなく、必ず受け取るべき共有の場もなく、標準的な調査経路もない。全員を守れる教訓が一社の中に留まったり、消えたりする。」.

提案は紙の上では単純だ。危害とニアミスのカテゴリを定義し、共有システムへの報告を義務付け、分野全体が一度に集合的に学べるようにする。

良いシステムが捉えるもの

有用なバージョンは見出し級の災害より広い。

  • 実世界でシステムが損害や重大な誤作動を引き起こした、展開された危害。
  • ニアミス、何かがうまくいかず危害が辛うじて回避されたケース。航空業界はこれらを事故と同じくらい有益なものとして扱う。
  • テストで発見された危険な振る舞い（ レッドチーム演習 および評価を行うことで、ある研究室の危険警告が他にも届くようにします。
  • モデルウェイトの盗難や安全策の回避などのセキュリティイベント。

報道は構造化され、必要に応じて保護されなければならない。安全調査が責任追及の場から切り離されると、組織はより正直に開示する。航空業界がその分離を学んだ理由はそこにある。それがなければ、合理的な選択は沈黙だ。

なぜそれをする価値があるのか

Shared incident data lets the field spot patterns no single organization would see. Regulators get an evidence base grounded in what is actually going wrong rather than in speculation. One lab's failure mode becomes everyone's warning the week it is found. Over time the industry gains the institutional memory it still lacks. Among 人工超知能 governance measures this one is cheap, widely liked, and overdue. The Foundation wants it mandatory.

一般的な異論、その名称

楽観的な見方では、航空業界がその方法を証明したと言います。報告と調査を続けていれば、船体損失率が低下したのと同じように壊滅的リスクも低下する、というものです。この見方では、インシデントシステムが主要な安全装置であり、十分な墜落データが得られるまでは予防的な制限は邪魔でしかないとされます。

このエンジンが使う時制に注目してほしい。インシデント報告は常に事後的だ。すでに起きた被害から学ぶ。それは、どんなに悲惨でも失敗が業界全体として耐えられる水準であれば機能する。各事例が fleet を改善していく。

その論理は、財団が最も懸念するリスクには当てはまらない。A 超知能システムの破滅的失敗 は、後から招集する委員会ではない。実存的リスクの核心的主張は、最も深刻な失敗は回復不能であり、したがって教訓も得られないというものだ。事故報告制度は蓄積可能で生存可能な被害にはよく対応する。設計上、回復不能なものには対応できない。

失敗から学ぶには、生き残ることが前提だ。最も重要な失敗の場合、その前提こそが問題なのだ。

組織の位置づけ

システムを構築する。義務化する。誠実な開示を保護する。そして、それをツールキットの最上位に置かない。G0で示した先制的な制限と検証の枠組みと並べておくべきだ。 私たちの計画, 、それは事後対応できない失敗が存在するからこそ設けられている。