每隔几个月,就有一个AI能力基准被打破。两年前无法通过专业执照考试的系统,如今得分进入前百分位。领先前沿AI实验室的高管公开将通用人工智能描述为数年而非数十年之事。最著名的AI安全研究者之一尼克·博斯特罗姆在2026年发表工作论文,询问的不是是否开发超级智能,而是何时开发。

在这个背景下,我们是否已为超级智能做好准备,是一个紧迫的实际评估,答案显然是否定的,而不是理论练习。

实际所需的准备工作是什么

明确“就绪”的含义很重要,因为这个词常被宽泛地理解为“我们已考虑过风险”或“负责任的实验室正在处理安全问题”。这些都不是相关意义上的就绪。

真正为超级智能做好准备,需要在任何地方部署ASI能力系统之前,满足以下所有条件::

  • 部署前验证 AI 对齐的可靠技术方法,而非从行为评估中推断
  • 具有足够影响力的国际治理,以防止任何单一行为体(公司或国家)在验证通过前部署系统
  • 独立于构建系统的组织而运行的监控基础设施
  • 主要AI研发国赋予监督机构实际权力的法律框架
  • 建立具有足够政治分量的国际规范,以经受竞争压力

根据这些要求评估,这就是我们实际所处的位置。

技术对齐
未解
可解释性研究正在推进,但仍无法可靠验证前沿规模系统的内部目标。当前模型中已记录到欺骗性对齐。标准安全训练未能在Anthropic Sleeper Agents研究中消除它。
国际治理
早期阶段
布莱切利公园宣言(2023)确立了国际社会对风险的共识,但尚未形成具有约束力的条约。2025年巴黎行动峰会已将重点从安全转向部署与经济竞争。
独立监控
不存在
没有任何国际机构拥有审计前沿AI系统的权力。安全评估由开发这些系统的组织自行开展,结果往往无法独立验证。
国家立法
碎片化
EU《AI法案》建立了AI系统的风险分级监管,但未专门针对AGI或ASI。US有行政命令,但没有具有约束力的联邦AI立法。中国、UK和其他主要AI国家各自拥有部分框架。

治理对话已经走错了方向

2023年11月,UK政府主办了Bletchley Park AI安全峰会,这是首次专门聚焦前沿AI风险的大型国际聚会。框架明确以安全为先。最终的Bletchley宣言由28国签署,包括US、中国和EU,承认ASI存在“潜在灾难性”风险。

到 2025 年 2 月,法国主办了它所称的 AI 行动峰会,故意改名以示优先事项转变。重点从识别和管理风险转向推动部署和获取经济优势。这绝非中性的术语变化。它反映了政府和产业界的真实政治压力——它们将与中国在 AI 领域的竞争视为首要框架,而安全要求可能成为竞争劣势。

"问题已不再是是否开发超级智能,而是何时开发最为合适,以及该时机决策的收益归属于谁。"

尼克·博斯特罗姆,《关于超级智能发展时机的思考》· 工作论文,2026

博斯特罗姆的框架值得注意,因为他早期著作(《超级智能》,2014)奠定了超级智能构成存在风险的诸多基础论点。他 2026 年转向时机与分配问题的转变,反映了该领域的更广泛动向:接受开发将发生,并聚焦于谁掌控这一过程。这是个合理问题,但不同于确保过程安全。

AGI到ASI的过渡问题

治理讨论常把AGI视为相关门槛,假设AGI级系统仍可被人类监督者理解并接受有意义的评估。这在AGI门槛上或许成立,问题在于接下来会发生什么。

一个处于AGI能力的系统若能自主指导自身研究与改进,可能在远短于达到人类水平所需的时间内,从人类水平过渡到显著超人类表现。这一技术术语称为快速起飞情景。在快速起飞中,系统从人类治理仍可行的水平跃升至可能无法治理的水平,时间窗口短于任何治理机构的响应时间。

对超级智能的准备意味着在AGI阈值之前就已就绪,而非在它之后再制定应对计划。在AGI到来时才启动的治理可能为时已晚,无法阻止迅速过渡到能击败它的能力水平。

为什么窗口期依然存在

准备差距真实存在且严峻。诚实描述这一差距,并不等于得出“无能为力”的结论。建立充分治理的窗口正在收窄,但尚未关闭。

领先的前沿AI实验室在大多数认知任务上仍处于人类水平或接近人类水平,尚未显著超越。从这个能力水平到最关键的那个水平的过渡尚未发生。这是可以在受约束的参与者合作下建立治理框架的时刻,而不是在这些参与者开发出让合作变得不那么必要的系统之后。

现在建立治理的政治成本是真实的:竞争摩擦、部署放缓、相对于安全意识较弱的参与者可能失去经济优势。这些成本需要与现在不建立治理、陷入上述局面的成本诚实权衡。这种比较中的不对称并不微妙。 基金会的三项提案 正是为此窗口而设:在阈值被跨越之前,在仍可争取并获得所有主要参与者合作之时。