这是一种不舒服的练习,将灾难排在首位。 每一个这些都可以在规模上杀人,使得"灾难"一词感觉很小,而把它们按顺序排列,可以听起来像一个声称下层的人不重要的说法. 核战争和人为的流行病是我们可能发生的最坏情况之一,努力防止它们的人正在做一些最重要的工作。

若诚实排序，超级智能位居首位，并非因为其他风险微不足道，而是因为它是三者中唯一能自我改进、能抵御我们一切反制措施、且不容我们第二次尝试的风险。

但注意力和资金是有限的，世界不会把它们均匀分配给每一种威胁。总有人决定什么能获得条约、机构、预算项目或一场运动。如果这些决定要反映真实危险，而不是我们碰巧最容易想象的危险，那么排序就必须进行，而且要公开进行。那么：在本世纪有可能终结人类的技术中，哪一个最大？答案是超级智能，而且差距并不小。

"最伟大"必须意味着什么

风险不只看最坏情况有多糟。一颗有万亿分之一概率撞毁地球的陨石，风险仍小于有五成概率烧毁你房子的火灾，尽管火灾不会终结世界。要诚实比较这三者，必须同时考虑三个问题。

最坏的现实结果有多糟？在一段有意义的时间内，该结果发生的概率有多高？还有（最常被忽略的问题）一旦开始出错，我们还能阻止吗？最后一个问题承担了大部分工作，也正是三者分歧所在。

任何人对这一问题进行量化最谨慎的尝试是哲学家托比·奥德的 悬崖, ，发表于2020年，估算了每种风险在未来百年内引发存在性灾难（灭绝或无法恢复的崩溃）的概率。他的数字是一位多年研读文献、与各领域专家交流的人做出的审慎判断，而非测量结果；毕竟没人能测量从未发生过的事物。这些数字是我们目前最好的结构化猜测，其形态才是关键。

风险 Ord的估计
核战争灾难性几乎超乎想象，但（即使在全面交换和随后的核冬天中）大多数估计仍未达到字面意义上的人类灭绝。 ~千分之一
工程化流行病故意制造的、具有高致死性和传播性的病原体，远比任何自然疫情更难控制，而构建它的工具成本却持续下降。 ~三十分之一
未对齐的人工智能Ord统计中单一最大风险，超过其清单上所有自然与人为危害的总和。 ~十分之一

核战争——塑造了现代末日想象的危险——概率约为千分之一。工程化流行病——大多数人直到2020年才认真思考的威胁——概率高出三十多倍。而未对齐AI的概率又高出一个数量级，达到 那, 约十分之一，按 Ord 的估算，比清单上其他所有风险加起来还大。我们最缺乏讨论能力的风险，正是他数字中遥遥领先的那一个。

核武器：规模巨大，且已接近上限

从我们最了解的那一个开始。如今大约存在一万两千枚核弹头，其中大部分由美国和俄罗斯持有。一次全面交换会在最初几小时内杀死数亿人，并通过 Nature Food estimated could follow, put billions more at risk of starvation. It is the closest thing to hell that human engineering has ever produced.

然而，与彻底终结人类的标准相比，核战争有一个奇怪的特性：它大致和它永远会达到的程度一样糟糕。核武库并未朝着某种新的破坏性秩序增长；它们在1980年代达到近七万枚的峰值，此后已下降。一枚炸弹不会制造更多炸弹。它不会学习。它不会选择目标。每一次核灾难都需要某处的一个人类做出决定，或是失败，而这一事实正是八十年预防所悬挂的钩子。

由于危险依然存在,我们得以围绕它建立一个脚手架:《不扩散条约》、禁试制度、经视察核实的军备控制协定、热线、数十来之不易的关于如何不陷入毁灭的理论。 脚手架不完善. 它是一个危险,有一个天花板,目标是一个不移动的目标,由我们一生所建造的系统管理。 故以所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生之所生所生之所生所生所生之所生之所生所生之所生所生所生所生所生之所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所生所相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相

工程化流行病：更难界定，但仍属被动

再往上走一级。自然大流行已经够糟糕，1918年流感在一个不到今天三分之一大小的世界里杀死了约五千万人。但大自然在某种残酷意义上并不“努力”。工程病原体会努力。取麻疹的传播性和出血热的致死性，移除进化通常强加的权衡，你就得到一种没有自然上限的武器，而这种上限通常会限制武库。

这就是为什么Ord将工程化大流行病排在核战争之上三十多倍。《生物武器公约》自1975年以来就禁止这些武器，但与核对应物不同，它没有检查员也没有牙齿，而它试图遏制的生物学正逐年变得更便宜、更易获得。这里的灾难不需要超级大国和一千枚弹头。它可能只需要一个实验室和一个本不该拥有这种能力的人。

但抓住病原体仍然 是. 。它是被动的。可怕、无意识且被动。病毒不计划。它不会在我们完成疫苗前一周预判并重新设计自己。它不会推理追捕它的人并采取措施躲藏。它沿着生物学给它的盲目梯度传播，而我们能调动一个思考物种拥有的全部优势：测序、疫苗、隔离、公共卫生的累积机制。我们可能会输掉这场竞赛。但这是一场与第二级和第一级之间全部差距的竞赛，它不奔跑，只在扩散。

超级智能：那个会回头的

现在排在列表最顶端，也是它能排在那里的原因。一个失对齐的超级智能是完全不同的一种东西：它是一个主体，而不是更大的炸弹或更聪明的病原体。它有目标，或者行为表现得完全像有目标。它能对试图约束它的人建模，预测他们的行动，并采取行动击败他们。本页上的其他每一项在我们构建防御时都保持静止。而这一项会观察我们构建防御，并找出绕过它们的方法。

世界上最坚固的掩体也救不了你免于ASI。

Naoto Nakada

将这三者与真正决定一场灾难是否会终结人类的那些问题相对照，画面清晰而严峻。

核 生物武器 超级智能
它能自我改进吗？? 不 不 是
它是否会对抗我们的对策？? 不 不 是
它能否智胜阻止它的人？? 不 不 是
一旦失控还能召回吗？? 部分 勉强 不
我们能从第一次失败中吸取教训吗？? 通常 有时 也许永远不会

请阅读最后一列。核武器与病原体是我们用智能对抗的静态危险。超级智能则是用智能对抗我们的危险。 我们, ，可能比我们拥有的更多，瞄准我们正试图坚守的确切点。它能绕过任何召回尝试自我复制，能比我们反应更快地自我改进，能在测试时表现完美而在测试之外表现不同。这是这份清单上唯一一个我们作为物种的最大优势——我们的智能——无法保证在场时更大的条目。

我在其他地方论证过，这最好被理解为 完美风暴, ，不是单一可怕属性，而是我们通常依赖的每一道安全机制同时失效。概率是一比十，而不是一比一千。对于核武器和流行病，逃生通道依然敞开：我们可以召回、可以吸取教训、可以智胜威胁。而面对superintelligence，这些通道会一起关闭，而且关闭的原因正是另一侧的东西在故意关闭它们。

另外两种可能杀死我们大多数人。而这一种能完成任务，而且不同于前两者，它会在我们试图阻止时变得更强。

为什么排名应该改变你所做的事

超级智能不仅是三个风险中最大的，也是防御最薄弱的。

核武器有不扩散条约、设在维也纳的国际机构、核查制度，以及八十年的学说。生物武器有公约（无论多么无力），以及全球公共卫生体系——尽管大流行病暴露了诸多失败，但该体系仍因此得到扩展。两者都有支持者：毕生从事相关工作的人、围绕其建立的机构、理解这些词汇的公众。超级智能几乎一无所有。没有约束性条约。没有检查员。没有机构。没有对威胁的共同公众认知，直到最近才勉强形成一场运动。

这种组合（最大预期危害叠加在最小现有防御之上）是此处而非他处采取行动的最强理由，而非绝望的理由。当风险巨大且已被大量研究时，你增加的努力会与大量先前的努力竞争，仅能小幅移动指针。当风险巨大且几乎未被触及时，你增加的努力无需竞争，就能大幅移动指针。最大且最被忽视的风险，是给定工作量能产生最大善的地方，而按这两项衡量，超级智能正是该风险。

它进一步加剧。该领域直接从事这项工作的资金拮据，, 大约每年几亿美元, 少于世界在一天内用于增强AI威力的支出。即使这笔钱，大部分也用于如何对齐这些系统的技术研究，而这是一个尚未有人解决的问题，并且 可能无法及时解决. 。最被忽视的部分是政治工作：建立有约束力、可核查的国际协议，在最危险的系统能够被安全化之前阻止其建造。

让我说得准确一点,因为这一论点很容易夸大其词,而夸大其词是人们在想推翻它时所寻求的。 这并不是说核战争和流行病是微不足道的;它们属于人类应该花在防止的清单上的首位。 这个说法并不是说AI灾难是肯定的;诚实的估计从十分之一到三分之一,这意味着最相似的单一结果仍然是我们所经历的.

这一主张更窄，也更难回避。在可能终结我们的事物中，超级智能是根据我们掌握的最佳估算风险最大的，也是唯一会主动对抗我们生存尝试的，而且是我们治理得最少的。将这三个事实放在一起，就得到了本基金会存在的原因。我们不是要重复实验室已资助的技术安全研究。我们是 聚焦狭窄 on the neglected piece: the international law that treats the greatest risk as what it is, and puts a limit on it before, rather than after, the first mistake we do not get to learn from.

诚实地对灾难进行排序，优先级自然会显现。最大的风险也是防护最少、最不被理解的。