每隔几个月,就有一个AI能力基准被打破。两年前无法通过专业执照考试的系统,如今得分进入前百分位。领先前沿AI实验室的高管公开将通用人工智能描述为数年而非数十年之事。最著名的AI安全研究者之一尼克·博斯特罗姆在2026年发表工作论文,询问的不是是否开发超级智能,而是何时开发。
在这个背景下,我们是否已为超级智能做好准备,是一个紧迫的实际评估,答案显然是否定的,而不是理论练习。
实际所需的准备工作是什么
明确“就绪”的含义很重要,因为这个词常被宽泛地理解为“我们已考虑过风险”或“负责任的实验室正在处理安全问题”。这些都不是相关意义上的就绪。
真正为超级智能做好准备,需要在任何地方部署ASI能力系统之前,满足以下所有条件::
- 部署前验证 AI 对齐的可靠技术方法,而非从行为评估中推断
- 具有足够影响力的国际治理,以防止任何单一行为体(公司或国家)在验证通过前部署系统
- 独立于构建系统的组织而运行的监控基础设施
- 主要AI研发国赋予监督机构实际权力的法律框架
- 建立具有足够政治分量的国际规范,以经受竞争压力
根据这些要求评估,这就是我们实际所处的位置。
治理对话已经走错了方向
2023年11月,UK政府主办了Bletchley Park AI安全峰会,这是首次专门聚焦前沿AI风险的大型国际聚会。框架明确以安全为先。最终的Bletchley宣言由28国签署,包括US、中国和EU,承认ASI存在“潜在灾难性”风险。
到 2025 年 2 月,法国主办了它所称的 AI 行动峰会,故意改名以示优先事项转变。重点从识别和管理风险转向推动部署和获取经济优势。这绝非中性的术语变化。它反映了政府和产业界的真实政治压力——它们将与中国在 AI 领域的竞争视为首要框架,而安全要求可能成为竞争劣势。
"问题已不再是是否开发超级智能,而是何时开发最为合适,以及该时机决策的收益归属于谁。"
尼克·博斯特罗姆,《关于超级智能发展时机的思考》· 工作论文,2026
博斯特罗姆的框架值得注意,因为他早期著作(《超级智能》,2014)奠定了超级智能构成存在风险的诸多基础论点。他 2026 年转向时机与分配问题的转变,反映了该领域的更广泛动向:接受开发将发生,并聚焦于谁掌控这一过程。这是个合理问题,但不同于确保过程安全。
AGI到ASI的过渡问题
治理讨论常把AGI视为相关门槛,假设AGI级系统仍可被人类监督者理解并接受有意义的评估。这在AGI门槛上或许成立,问题在于接下来会发生什么。
一个处于AGI能力的系统若能自主指导自身研究与改进,可能在远短于达到人类水平所需的时间内,从人类水平过渡到显著超人类表现。这一技术术语称为快速起飞情景。在快速起飞中,系统从人类治理仍可行的水平跃升至可能无法治理的水平,时间窗口短于任何治理机构的响应时间。
对超级智能的准备意味着在AGI阈值之前就已就绪,而非在它之后再制定应对计划。在AGI到来时才启动的治理可能为时已晚,无法阻止迅速过渡到能击败它的能力水平。
为什么窗口期依然存在
准备差距真实存在且严峻。诚实描述这一差距,并不等于得出“无能为力”的结论。建立充分治理的窗口正在收窄,但尚未关闭。
领先的前沿AI实验室在大多数认知任务上仍处于人类水平或接近人类水平,尚未显著超越。从这个能力水平到最关键的那个水平的过渡尚未发生。这是可以在受约束的参与者合作下建立治理框架的时刻,而不是在这些参与者开发出让合作变得不那么必要的系统之后。
现在建立治理的政治成本是真实的:竞争摩擦、部署放缓、相对于安全意识较弱的参与者可能失去经济优势。这些成本需要与现在不建立治理、陷入上述局面的成本诚实权衡。这种比较中的不对称并不微妙。 基金会的三项提案 正是为此窗口而设:在阈值被跨越之前,在仍可争取并获得所有主要参与者合作之时。