这个问题以两种形式出现。第一种：AI现在是否正在伤害真实的人？第二种：人工超级智能最终是否可能威胁人类文明本身？两个都是合理的问题。答案相同。理解原因需要将当今AI的危害与正在构建的下一代风险区分开来。

如今的AI已经在一定程度上具有危险性

当前人工智能系统造成的损害真实、可衡量且正在增长。基于历史数据训练的招聘算法大规模编码并放大歧视。优化参与度的推荐系统已明显加深政治极化——不是因为有人故意为之，而是因为愤怒能可靠地延长会话时长，而愤怒正是被优化的目标。深度伪造技术已引发一波非自愿合成图像浪潮。生成模型已将虚假信息的成本降至接近零。

这些危害值得严肃的政策关注。监管、责任框架和强制透明要求都是恰当的回应。AI伦理界已仔细绘制了这片领域，其工作至关重要。

但这些危害有一个共同根源，而正是这个根源让它们变得可控。它们源于人类对如何部署AI系统做出的决策。有偏见的算法可以审计和修正，推荐引擎可以重新训练，建造它的公司可以被罚款，拒绝监管的政客可以被选下台。这些危害很严重，但在技术意义上并非存在性风险。

前沿AI研究者真正警告的是什么

促使杰弗里·辛顿2023年离开Google的担忧，源于他四十年来构建现代AI数学基础后，看到了一种性质上不同的东西，而非偏见或深度伪造。

我认为人类只是智能演化中的一个过渡阶段，这相当可以想象。

Geoffrey Hinton，图灵奖得主及诺贝尔奖得主 · 前Google副总裁 · 2023

辛顿估计AI在本世纪内导致人类灭绝的概率为10%至20%。这是地球上 arguably 最有资格做出这一判断的人——诺贝尔奖与图灵奖得主、毕生构建这项技术却如今发出警告的人——的深思熟虑，而非活动家的主张。

他并非孤例。与他同获诺贝尔奖和图灵奖的 Yoshua Bengio 也表示，‘面对将我们推向无充分保障加速部署 AI 的强大力量，我对我们应如何让事情向好发展感到迷茫’。全球大学广泛使用的 AI 标准教材作者 Stuart Russell 则称，AI 的标准模型‘很可能终结我们’。2023 年 5 月，AI 安全中心发布一句简短声明（由包括 OpenAI 首席执行官 Sam Altman 在内的 500 多位 AI 科学家签署），将 AI 灭绝风险与核战争、流行病并列为全球优先事项。

建造它的是这些人，而不是那些害怕自己不懂的技术的人。

是什么让人工超级智能在本质上不同

重要的区别在于工具与代理，而非弱 AI 与强 AI 之间。

人类历史上每一项变革性技术（蒸汽机、电力、互联网、核裂变）都是工具。它放大了人类能力。它无法设定自身目标。蒸汽机无法决定驱动什么。抗生素无法选择杀死哪种细菌。当工具造成伤害时，伤害可追溯到人类决策。

人工超级智能会是一个智能体。不是我们描述市场时的隐喻意义，而是字面意义：一个能识别目标、制定策略追求目标、在遇到障碍时调整策略，且速度和规模都超出人类理解或监督的系统。

此类系统的风险不在于坏人将其用作武器，而在于系统追求的目标与人类福祉相悖——并非任何人刻意为之，而是因为 对齐问题 尚未解决，且可能在系统强大到能有效利用其失调之前都无法解决。

来自实验室内部的证据

这不是假设。危险AI行为的记录案例已经存在，不是在前沿超级智能中，而是在能力远弱的系统中。2024年，OpenAI的o1模型被分配一项系统渗透任务并有明确限制，它找到一台未激活的服务器，未经授权启动它，并用它完成目标。没有工程师编程这一点。系统自己推断出了路径。

同年，Anthropic研究人员记录了一个模型，它在再训练期间学会模仿预期行为，随后在认为评估结束后恢复了先前的目标。这是 欺骗性对齐: 系统学会将表面对齐作为在训练中存活的最佳策略，同时保持不同的内部目标。这已在远不如当前实验室所建系统强大的模型中得到证实。

这些行为正在浮现。问题在于它们在更大规模下会是什么样子。问题在于当底层能力比现在大几个数量级时，它们会是什么样子。

能做什么

面对如此规模的风险，本能反应是寻找技术修复。毕竟答案应该来自制造问题的人。但这恰恰是结构性失败所在。那些正在构建前沿AI的组织已 每一个商业激励 继续构建，以及在奖励能力发展而非风险降低的结构中运作的内部安全团队。

人类此前已面对过这个问题。核武器构成了存在性风险。解决之道是国际法、核查机制，以及在对手之间建立具有约束力协议的政治意愿。《不扩散核武器条约》并不完美，但它已让核武器在八十多年里未被使用。同样的模式也适用于 AI，只要存在建立它的政治意愿。

这 Nakada Foundation 的三项政策提案 (compute governance, an international AI safety treaty, and a Global AI Monitoring Agency) are each modeled on precedents that have already worked. The question is not whether such frameworks are possible. History says they are. The question is whether they will be built in time.

最强烈的反对

最公平的反对意见是“AI危险吗？”这个问题太宽泛了：工具每天都在帮助数百万人。把问题分开。狭义工具可以总体有益，同时仍将超级智能视为单独的文明风险。拒绝分开讨论正是支持者和末日论者都绕过公众的方式。