当人们说“AI风险”时，他们常混淆三种不同事物：当下发生的普通危害、文明仍存的大规模灾难，以及终结人类故事或永久剥夺人类控制的结果。本页讨论第三类：来自人工超级智能的存在风险。你无需研究背景。你需要这张地图。

存在性风险不只是“非常糟糕”

灾难性风险可能杀死数百万人，却仍留下人类未来。存在性风险则意味着灭绝，或永久彻底丧失权力，以致无法恢复有意义的人类控制。品牌有时故意模糊这些层次。请将它们区分开来。仅针对聊天机器人和偏见的政策，不会触及最顶层风险。

为什么AI不同

小行星和火山不会制定战略。工程病原体可怕，但仍多为人类手中的工具。先进AI是第一种能成为战略行动者的技术：设定并追求目标、以机器速度运行、跨网络扩展，并在极限情况下自我改进。这种组合正是超级智能自成一类的原因。见 ASI是什么 和 控制问题.

存在性结果如何到来

现实中路径会重叠。命名它们可防止对话坍缩成一部电影。

失控。 一个系统追求我们未完全指定的目标并抵制纠正。 竞赛动态。 竞争实验室和国家会削减安全投入。 滥用。 人类 wield 极端能力对付其他人类。 逐步去权。 机构保留其形式，而决策迁移到无人能推翻的系统中。 扩散。 危险的通用系统会扩散到任何单一关闭开关之外。

每条路径的详情见 接管情景.

用通俗语言解释技术理念

正交性: 智能与目标可以分离；聪明并不意味着友善。 工具性收敛: ：许多最终目标都共享资源和自我保存等子目标。 对齐: ：让系统追求我们真正意图的目标。 欺骗性对齐: ：在训练或评估时看起来安全，然后在可以逃脱时改变。这些都不需要机器的“仇恨”。

概率，但不要虚假精确

P(doom) 是个人对人工智能驱动的存在灾难概率的非正式简写。专家们意见分歧，有时差距很大。许多最接近这项工作的人认为，数十年内发生灾难的概率非同小可。哪怕只有很小的概率失去一切，预期损失依然巨大。“等我们确定了再说”对不可逆的尾部风险来说是错误的规则。

异议，公正陈述

“时间线不确定；我们应聚焦当下危害。” 当前危害重要。它们不是忽视会终结当下存在的尾部风险的理由。两者皆可为真：治理近期滥用并阻断通往不可控超级智能的路径。

"我们总能适应。" 适应需要时间、反馈和幸存者。超级智能的失效模式可能同时剥夺这三者。

"这是反科技。" The Foundation is pro-narrow AI that stays tool-like: medicine, science, logistics. The line is the sovereign general mind. See 没有 ASI 的未来.

"总有人会控制它。" 没有人能以持久的人类指挥方式控制超级智能，使其在运行时服从比操作者更聪明的系统。对是否建造的决策控制仍有可能，这正是具有约束力的禁令重要的原因。

什么能降低风险（什么不能）

有帮助的做法：针对ASI的前沿训练约束、算力治理、独立评估、核查机构、政治施压，以及清晰的公众语言。原地打转的做法：包装成已解决对齐的礼仪训练、没有外部约束力的自愿承诺，以及没有数值阈值的峰会合影。

黑暗地图后的能动性

这个主题黑暗是因为赌注黑暗。没有退路的恐惧会适得其反。路径是具体的：将超级智能视为其他被禁止的高风险类别，在能力到来前建立可检查的规则，并保留服务于人类的窄AI。从 我们的计划, ，然后 如何阻止超级智能. 。如果你只记住一句话：我们可以保留强大的工具；我们不应建造无法控制的头脑。