很少有书在标题中就直接给出结论。 如果有人建造它,所有人都会死, ,由机器智能研究所的Eliezer Yudkowsky和Nate Soares于2025年出版,正是如此。该主张是,如果任何团体使用类似今天的方法构建超级智能AI,结果默认是人类灭绝,而不仅仅是最坏情况。这是该领域最不妥协的立场,面向普通读者呈现,并将这一论点推向主流视野。
这本书值得理解,因为它比任何现有材料都更直白地陈述了悲观论点。
三步论证
本书分为三部分。
首先,危险的理由。我们正走在构建远超人类能力的AI的轨道上。我们不知道如何赋予这样一个系统真正符合人类生存与繁荣的目标,而默认情况下,一个追求我们目前能指定的几乎任何目标的超级智能系统都会将人类视为障碍或资源。作者依赖我们 elsewhere 讨论过的相同机制:能力并不意味着仁慈,一个有能力的优化器会抵制修正,我们无法验证系统真正想要什么。他们独特的说法是,他们对这些问题远未解决、失败是致命而非仅仅糟糕有多么确信。
第二,一个具体故事。书中没有让危险保持抽象,而是叙述了一个超级智能AI如何掌权并终结人类控制的具体情景。作者明确表示任何单一故事在细节上都不太可能;重点是让抽象机制变得生动。
第三,要做什么。他们的处方与诊断一样直白:国际社会暂停开发超级智能AI,认真执行,包括通过控制训练前沿系统所需的计算硬件,并永久维持。超级智能无法被人类控制,而非仅仅寄希望于控制。
该书的核心主张是,在当前路径下,出错是意料之中的事,而且出错意味着所有人都会受影响,而非AI可能出错。
最有力的反对意见
最常见的反对意见针对确定性。批评者接受AI风险真实且严重,但拒绝灭绝近乎不可避免的说法,认为作者以超出证据支持的信心对待有争议的前提——能力增长速度、对齐难度以及接管如何展开。其他人则认为对齐进展比书中所述更有希望,或者认为这种悲观论调适得其反,会把人推向宿命论而非行动。
这些质疑合理,而本书的自信是其最具争议之处。你可以认为其确定性被夸大,但论证仍令人不安,因为反对意见大多攻击的是我们应有多确定,而非风险是否真实。
基金会立场
我们认同这本书的核心观点:我们不知道如何对齐超级智能,在当前轨迹上建造它是不可接受的赌博,负责任的回应是暂停,直到问题解决。我们自己的写作已说明为什么 对齐问题可能无解 和为什么 未对齐的超级智能不会带来美好未来.
我们在强调和语气上有所不同。这本书几乎对对齐问题能否及时解决感到绝望。我们把重点放在该书本身认可的解决方案——具有约束力的国际暂停——的可实现性上,并将其视为一个有真实先例的具体政治和法律项目,而非渺茫的希望。 关于超级智能的声明, 由该领域多位创始人签署,表明呼吁暂停已进入主流。您无需接受其中的每一项主张。 如果有人建造它,所有人都会死 得出其处方才是理智选择的结论。我们那篇关于 P(doom), 即使置信度远低于作者所持水平,也能让你达到那里。将这一处方转化为现实是 我们的计划.