新薬が米国で出荷される前に、誰かが発売を止められる規則の下で安全性と有効性を示さなければならない。ほとんどのソフトウェアは依然として先に出荷して後で謝っている。FDAのパターンは、AI政策が避け続けている問いである。損害が不可逆になる前に証明せよ。

医薬品は大きな例外だ。製薬会社は薬をリリースして死体を待つことはできない。段階的な臨床試験を通じて、食品医薬品局に安全性と有効性を証明しなければならない。 前に それが製品を販売できるかどうかです。証明責任は開発者側にあり、展開前から課せられます。AIに対するFDAモデルは、医薬品を例外にした特徴を共有するフロンティアAIを同じように扱うべきかどうかを問います。

なぜこのアナロジーが魅力的なのか

当初より近い理由がある。医薬品が上市前に承認を要する理由は、そのままフロンティアAIにも当てはまるからだ。

  • 立証責任は逆転する。 開発者は製品の安全性を示さなければならない。規制当局や一般市民がリリース後に危険性を証明する必要はない。この逆転こそ、財団が他の場所で主張している内容だ。 安全事例 と スケーリング政策.
  • 展開前に承認が必要。 チェックはシステムがまだ封じ込められている間に起こるのであり、世界に解き放たれた後ではない。予防が反応に勝る唯一の時点である。
  • 段階的テストはリスクに応じて拡大する。 臨床試験は段階的に進み、各段階で次の段階へ進むための証拠が求められる。これはAIの能力閾値に自然に当てはまる。

一部の失敗が深刻で元に戻しにくい可能性のある技術について、最高リスクのシステムを安全性を積極的に実証するまで外に出さない体制は、真剣で魅力的な提案です。

モデルが苦戦するところ

類推はガイドであってテンプレートではない。そして違いが示唆に富む。

薬は体内で特定の作用をする固定分子であり、定量化されたリスクを伴う成熟した科学を通じて研究される。一方、最先端モデルは汎用性が高く、誰も完全に列挙していないオープンエンドなタスクに使われ、 予測不能に現れる能力 および、fine-tuningや新しいツールによって展開後に変化しうる振る舞いです。血圧の薬が安全であるとは何かを定義することはできます。一般的な推論システムが安全であるとは何かを定義することは、この分野の中心にある未解決の問題であり、FDA式の審査官が必要とする科学はまだ存在しないことが多いのです。

国境の問題もある。FDAは明確な境界を持つ国内市場を管理している。危険なモデルはどこでも訓練され、どこにでもコピー可能だ。そのため、国内での事前承認だけでは、物理的なボトルネックである コンピュート・ガバナンス.

FDA のモデルは「リリース前に安全性を証明する」という正しい原則を示してくれます。同時に、基盤となる安全科学がまだどれだけ不足しているかも思い起こさせます。

そこから得るべきこと

FDAモデルは、青写真としてそのままコピーする価値より、市場投入前承認が正常で、実行可能で、回収では対処しきれない深刻な downside を持つ製品に対して社会的に受け入れられていることを示す実例として価値がある。社会はすでに医薬品の場合、一部のものは私たちに届く前に安全性を証明しなければならないことに同意している。この確立された原則を、失敗が最も深刻になり得るフロンティアAIシステムに拡張することは、既存の規範を明らかに該当する新技術に適用するものであり、国内要件と国際枠組みの組み合わせを通じて実現される。 私たちの計画, 過激な要求ではない。