新药在美国上市前,必须有人按照能阻止发布的规则证明其安全性和有效性。大多数软件仍是先发布再道歉。FDA模式正是AI政策一直回避的问题:在损害不可逆转前证明安全。
制药业是个重大例外。药企不能发布药物后等着看尸体。它必须通过分阶段临床试验,向食品药品监督管理局证明安全性和有效性。 之前 ,以及它是否可以销售该产品。举证责任在于开发者,且在部署之前。FDA的AI模式提出,具备使医药成为例外特征的前沿AI是否应以同样方式治理。
为什么这个类比有吸引力
契合度比乍看之下更接近,因为药物获得上市前批准的原因同样适用于前沿AI。
- 举证责任被颠倒了。 开发者必须证明产品安全,而非监管者或公众在发布后证明其危险。这种倒置正是基金会 elsewhere 所主张的,在 安全案例 和 扩展策略.
- 批准先于部署。 检查发生在系统仍受控之时,而非它已进入世界之后,这才是预防优于反应的唯一时机。
- 分阶段测试随风险规模调整。 临床试验分阶段进行,每个关卡都需要证据才能进入下一阶段。这自然映射到AI的能力阈值上。
对于某些失败可能严重且难以逆转的技术,在安全得到肯定证明前拒绝放行最高风险系统的制度,是一个严肃且有吸引力的主张。
模型在何处受力
这个类比是指导而非模板,其中的差异具有启发意义。
药物是作用于身体的固定分子,通过成熟科学研究并量化风险。而前沿模型是通用目的的,用于无人能完全列举的开放式任务,伴随 可能不可预测地涌现的能力 以及部署后通过微调或新工具可能发生的行为变化。你可以定义一种降压药的安全含义,但要定义一个通用推理系统的安全含义,却是该领域尚未解决的核心问题,而FDA式审查员所需的科学依据往往尚不存在。
还有边境问题。FDA管理的是有硬边界的国内市场。一个危险模型可以在任何地方训练,然后复制到世界各地,因此仅靠国家预先批准无法填补缺口,只有国际协调才能弥合,而这需要 算力治理.
FDA模式给了我们正确的原则——发布前必须证明安全,同时也提醒我们,底层安全科学仍有多么欠缺。
从中能学到什么
FDA模式的价值与其说是可复制的蓝图,不如说是证明:对于 downside 严重到无法通过召回处理的产品,上市前批准是正常、可行且被接受的。社会已在药品案例中同意,某些事情必须在到达我们之前被证明安全。将这一既定原则扩展到失败可能最严重的 frontier AI 系统,是将现有规范应用于明显符合条件的新技术,并通过国内要求与国际框架的结合交付。 我们的计划, ,不是激进要求。