为什么选择自愿AI安全
承诺不足。

2023年7月在白宫，七家领先的USAI公司（包括OpenAI、Anthropic、Google、Meta和Microsoft）承诺采取一系列自愿的安全、安保与透明措施。2023年11月在布莱切利AI安全峰会上，二十八个国家签署宣言，承认对前沿AI风险的共同关切。2024年6月在首尔AI安全峰会上，十六家AI公司签署《前沿AI安全承诺》，涵盖安全阈值、模型评估和信息共享。

自愿的企业安全承诺在其他行业有悠久历史，这些历史能说明它们能做什么和不能做什么。

这些是重大的政治成就。它们代表前沿AI的主要开发者首次公开承认其工作存在严重风险，且某种形式的治理是必要的。否定它们是错误的，但接受它们已足够则会是代价更高的错误。

自愿承诺实际上需要什么

在首尔签署的前沿AI安全承诺是主要承诺中最实质性的。签署方承诺：在达到安全阈值时不部署或继续训练模型；针对这些阈值对其前沿模型进行评估并公布结果；与政府和其他AI公司分享安全事件与评估信息；以及投资安全研究。这些是真正的承诺，因为它们要求可见的、可被公开观察和评论的行动。

它们不需要：对阈值是否达成的独立外部核查；不合规的约束性后果；针对未达标签署方的任何执行机制；以及未签署公司的参与。这些承诺只是保留完全解释和实施裁量权的公司的意向声明。

这是自愿承诺的结构，与具约束力义务的区别并不微妙。自愿承诺在道德和声誉上约束一方。具约束力的法律义务则在法律上约束他们，不遵守将有正式后果。道德义务与法律义务之间的差距，正是竞争压力下最关键的安全决策发生之处。

其他高风险行业的模式

在大多数高风险行业，自愿的企业安全承诺通常先于具有约束力的监管出现，这些承诺实际达成的效果与未达成的部分，模式相当一致。

在金融服务业，主要银行在1990年代至2000年代初制定了行业主导的风险管理准则和实践。这些准则在2007至2009年金融危机爆发时已到位且名义上在运行，却未能防止系统性风险积累。随后成立了金融稳定委员会，出台了巴塞尔III框架，并扩大了强制披露要求。自愿承诺改善了基准实践，但在失败成本最高的尾部风险上仍显不足。

在化学工业，Responsible Care计划于1985年在博帕尔1984年等一系列重大化学工厂事故后启动。参与公司承诺改善安全、健康和环境绩效，并透明报告进展。Responsible Care改善了行业安全文化，并在随后几十年减少了常规事故发生率。它并未阻止重大事件，最终被具有约束力的监管要求补充。该计划自身评估发现，其最大局限是缺乏独立核查。

美国核电站安全最初主要依靠行业自律和标准。1979年3月三哩岛事故表明，对于失效模式可能影响大量人口的技术，单纯的自愿行业安全文化不足。核管理委员会随后建立了强制监督框架，包括独立检查、强制事故报告和约束性运行标准。当时行业曾抵制强制监管，如今普遍认为正是这一框架带来了自愿方式未能实现的安保文化改善。

竞争压力问题

自愿承诺有一个约束性监管所没有的结构性弱点：竞争压力问题。如果一项承诺会产生真正的成本，例如放慢开发时间表、要求昂贵的安评，或排除高收益应用，那么任何不签署该承诺的公司都能通过避免这些成本获得竞争优势。签署承诺的公司则面临选择：要么放宽对承诺的解读以保持竞争力，要么承担成本并落后于人。

这一动态在AI领域并非假设。签署首尔前沿AI安全承诺的公司，正与未签署同等文件的中国的公司及国家支持项目直接竞争。他们彼此也在竞争，而签署的承诺措辞足够宽泛，关于合规要求的合理解释分歧在所难免。

具有约束力的监管通过建立所有竞争者都必须达到的底线，消除了不合规带来的竞争优势。这就是为什么具有约束力的监管能产生自愿承诺通常无法实现的安全结果：它移除了让安全捷径变得诱人的激励结构。

自愿承诺擅长实现什么

自愿承诺在工业安全治理史上最有价值的功能是建立规范。自愿承诺记录了行业承认问题的存在，以及某些做法是适当的回应。这一记录将成为约束性监管的基准。

当监管者或立法者着手ASI治理时，《前沿AI安全承诺》已确立领先公司接受安全阈值、模型评估和信息共享作为治理概念的正当性。行业将更难主张这些要求在技术上不可行或商业上不恰当，因为它们已自愿承诺。在这个意义上，自愿承诺是迈向约束性治理的第一步，而非替代。

自愿承诺也会创造制度基础设施。首尔承诺要求企业建立内部流程，用于设定安全阈值和模型评估。这些流程以及其中嵌入的制度知识，是构建有约束力的核查机制的基础。负责监督强制性AI安全评估的监管机构，将能够利用现有的企业实践，而非从零开始设计合规基础设施。

“自愿承诺在治理发展的早期阶段能发挥作用，布莱切利和首尔承诺也确实产生了实效。但所有高风险重大行业的历史都表明同一件事：自愿承诺能改善基准做法，却在尾部风险上失效。而尾部风险，正是我们针对超级智能进行治理的原因。”

具有约束力的治理需要什么，而这是自愿承诺无法提供的

区分强制治理与自愿治理的四个要素，对前沿AI都至关重要。

独立核查。自愿承诺是自我报告。具有约束力的义务则需第三方核查，无论是监管机构、国际检查机构，还是具备法律地位的独立审计师。当报告组织没有歪曲事实的动机时，自我报告才能产生准确信息。在竞争性市场中，这一条件很少成立。

规定的不合规后果。自愿承诺仅产生声誉成本，虽真实但有限。具有约束力的义务则会带来法律后果：罚款、吊销许可、市场准入限制或条约规定的处罚。治理框架的可信度取决于其后果的可信度。

非签署方的覆盖。最重要的AI开发可能来自从未签署自愿承诺的公司或政府。具有约束力的国家法规和国际条约义务创建的治理适用于所有行为体，无论它们是否事先同意。自愿承诺框架会将最可能制造严重风险的行为体排除在外，只要它们选择不加入。

跨领导层变更的稳定性。自愿承诺仅约束公司现任领导。当领导层更迭、董事会构成变化或竞争压力加剧时，承诺无法在法律上存续。约束性法规嵌入法律，普通组织变更无法使其失效。

在布莱切利和首尔达成的自愿承诺是真正的成就，应当在此基础上继续推进。推进意味着诚实地承认它们完成了什么、无法完成什么，并利用它们所代表的政治与制度势能，去追求能填补其留下的空白的约束性治理。

最强烈的反对

最公平的反对意见是，自愿规则正是行业成熟的方式，而先要求立法会冻结进步。自愿规则在披露信息时有用，在同一家公司既写规则、又打分、又从中获利时就失效了。外部约束才是成熟的标志。