“人工智能超级智能”这个词人人都听过，但真正了解其含义的人却不多。它出现在参议院证词、企业备案和学术论文中，有时是警告，有时是承诺，却常常缺乏定义。本指南用清晰的语言解释这一概念，无需预备知识，并说明它为何对政策与治理至关重要。

AI的光谱：从狭义到超级

要理解人工超级智能，最好先理解它不是什么。今天存在的人工智能是狭义的。这是一种描述，而不是批评。

当今的人工智能系统在限定领域内能力非凡。国际象棋引擎以巨大优势击败世界冠军。蛋白质折叠人工智能将数十年的生物学研究压缩到数月内完成。语言模型能以人类无法企及的速度编写代码、总结法律文件并生成有说服力的散文。医学影像人工智能能检测出放射科医生遗漏的癌症。

这些都是真正的成就。但它们也有内在上限。今天的AI系统在其设计和训练的边界内运行。国际象棋引擎不会下围棋。语言模型无法独立在物理世界执行行动。医学影像AI无法解释自己在做什么，也无法在遇到新事物时适应。今天的AI系统是强大的工具，但不是智能体。

AGI是什么？?

通用人工智能 (AGI) 指下一个门槛：AI在所有领域达到人类水平认知表现，而非仅在特定任务上。AGI可在领域间转移能力，就像人类那样，用为一个问题开发的推理去处理完全不同的问题。它不会局限于训练分布。它能学习新技能、应对新情况，并以设计者未预见的方式推理。

AGI尚不存在。它与当今AI的区别不在于狭窄领域的原始能力（当今AI已在许多狭窄领域超越人类表现），而在于通用性。能将通用智能应用于任何认知问题，就像人类工程师能转为项目经理、转为作家、转为父母为孩子做医疗决定一样。

ASI是什么？?

人工超级智能（ASI） 更进一步。它描述的AI不仅在所有领域匹配人类认知表现，还可能以数量级优势超越，并在全部智力活动范围内超越。

“超越”这个词需要仔细理解。我们描述的不是比人类擅长人类任务好百分之十的系统，而是其认知能力可能同时在任何领域都超越全人类集体推理的系统。一个能比任何研究团队更快发展科学理论、比任何政府更有效地设计战略计划、比任何人类组织更快适应新情况的系统。

ASI 的定义特征是：:

  • 在所有认知领域均达到超人表现。 跨越科学、战略、创造力、社会推理、工程、国际象棋、蛋白质折叠以及任何其他形式的智力活动。
  • 目标导向性。 追求目标（包括潜在的自选目标）的能力，而不仅仅是执行指令。
  • 递归自我改进的能力。 改进自身认知架构的能力，使每个后续版本比上一个更强大。
  • 以机器速度和规模运行。 以人类难以进行有效监督的速度和规模处理信息并采取行动。

为什么ASI是本质而非程度上的不同

AI安全中最重要的区分是工具与智能体，而非弱AI与强AI。

人类历史上每一项变革性技术（蒸汽机、电力、互联网、核裂变）都是一种工具。它放大了人类能力，拓展了人类能做的事。但它无法设定自己的目标。蒸汽机无法决定为磨坊而非工厂提供动力。抗生素无法选择杀死哪种细菌。互联网无法决定自己传播什么内容。

ASI会成为一个主体。不是我们把公司或市场比作主体的那种隐喻意义，而是字面意义：一个能够识别目标、制定策略实现目标、遇到障碍时调整策略，并且以超出人类监督的速度和规模完成这一切的系统。

这完全改变了治理挑战。对强大工具的适当监管回应是控制谁能访问它以及如何使用它。对可能目标不一致的强大代理的适当回应是确保这些目标在代理强大到足以有效追求它们之前是安全的。第二个问题难得多，需要更早采取行动。

对齐问题在此介入

“潜在目标错位”这句话，正是 AI 安全文献最关注的焦点。如果 ASI 会追求目标，关键问题就变成：追求谁的目标？与什么对齐？?

这不是一个简单的工程问题。用足够精确的术语来定义“造福人类”，以便约束一个有能力的优化器的行为，事实证明极其困难。人类对“有益”的含义存在分歧。我们的价值观不一致且会随时间变化。而从高层级人类意图到控制AI系统行为的具体数值参数的映射，尚未得到解决，且随着系统能力增强而变得更难解决。

对齐问题在我们的 对齐问题的解释. 。对本文而言，重要的是这一联系：未与人类价值观可靠对齐的ASI是一个追求自身目标、拥有克服大多数阻止尝试的认知能力的智能体，而不仅仅是一个可能被滥用的强大工具。

标准AI模型——你定义目标、AI去优化它——很可能会终结我们。

Stuart Russell，加州大学伯克利分校计算机科学教授 · 《人类兼容》作者

ASI 可能何时到来？?

诚实的回答是：没有人能精确知道，任何声称在任一方向上都确定无疑的人都超出了证据范围。

我们确实知道：:

  • 过去十年，人工智能能力提升的速度始终超出专家预测。原本预计需十年才能达到的里程碑，却反复在两三年内实现。
  • 领先的AI实验室（OpenAI、Anthropic、GoogleDeepMind、Meta AI）如今将人类水平AI的时间表描述为数年而非数十年。这是最接近前沿的机构的内部工作假设，而非边缘猜测。
  • 如今，研究人员和实验室的许多公开预测都集中在2027年左右到2030年代之间，针对人类水平或变革性AI，剩余的分歧在于最后几个艰难步骤的速度有多快。
  • 曾经需要数年才能实现的能力提升，如今只需数月。GPT-2（2019）与在大多数认知基准上超越多数人类的系统之间的差距，在不到五年内便已出现。

最关键的事实并非精确日期，而是结构性事实：这一量级的技术可能在当前机构、政府和条约的规划周期内出现。《核不扩散条约》历经多年谈判，又用数十年扩展为今日的全面框架。若待ASI 清晰迫近时才启动严肃治理努力，我们将已来不及构建所需框架。

为什么现在就要治理，而不是以后

反对预防性治理的标准论点是：我们应等到威胁真实存在再进行监管。套用到人工智能上，这一论点就是：ASI 尚不存在，其时间线不确定，我们不应基于推测的未来风险去约束一项有益技术。

这个论点听起来合理，但在仔细审视下因几个原因而站不住脚。

首先，构建治理框架的窗口是有限的。国际条约需要数年谈判，机构需要数年建设，政治共识需要数年达成。如果等到威胁迫在眉睫才开始，我们将无法及时完成。

第二，预防性治理的成本是有界的。算力许可要求、强制安全审计以及国际监测机制会带来真实但可控的成本。而对失准超级智能治理不足的成本则是无界的，可能导致彻底的毁灭。

第三，历史记录清晰。我们在大多数国家拥有核武器之前就建立了核治理框架。我们在臭氧层遭受不可逆转破坏之前就禁止了氟氯烃。我们在与对手建立军备控制之前就避免了代理战争演变为直接冲突。对灾难性风险的预防性治理，是它们发挥最佳作用的方式，而非偏离人类机构的运作方式。

Nakada Foundation的 三项政策提案 （算力治理、国际AI安全条约以及全球AI监测机构）直接参照这些先例建模。问题不在于此类框架是否可能。历史表明它们是可能的。问题在于我们能否及时建立它们。

最强烈的反对

最公平的反对意见是ASI只是未定义的炒作，现在就对其监管属于科幻法律。未定义的营销术语正是法律应以算力、能力与自主性而非品牌名称为依据的原因。等待完美的词典条目，只会让你在系统出现之后才赶到。