这句话已流传十余年。2014年10月在麻省理工学院的一次活动中，埃隆·马斯克公开说出了一位同等地位的科技行业人士此前从未说过的话：我们正在用人工智能召唤恶魔。你知道那些故事里，画着五芒星、拿着圣水的人总说，自己一定能控制住恶魔。可结果从来没成功过。

问题的结构比这更糟糕。

埃隆·马斯克 · 麻省理工学院航空航天百年研讨会 · 2014 年 10 月

九年后，马斯克创立了xAI。2024年，xAI推出了Grok，用X上数亿用户的实时输出训练它，并宣布计划将其扩展到与OpenAI和Google最先进模型相当甚至超越的水平。xAI筹集了数十亿美元的资金，估值使其跻身地球上资本最雄厚的AI公司之列。扩展并未放缓。

问题显而易见。发生了什么变化？?

一旦你理解答案，它就会比表面上的矛盾更令人不安。

Musk 从未撤回恶魔警告

马斯克并未收回2014年的警告。他在随后几年里多次重复类似表述，包括创立xAI之后。他的立场始终一致：他认为风险真实存在，可能带来灾难性后果，并相信无论任何单一行为体是否选择构建，强大AI都将到来。

那最后一个信念是一切转动的枢纽。

如果GPT-5将要存在，GPT-6也将随之而来，那么在马斯克的框架中，问题不在于是否构建强大的AI。问题在于谁来构建它，以及它承载什么价值观。他对xAI的明确目标是最大限度寻求真相的AI，与他认为被训练向特定意识形态输出的系统形成对比。他将此描述为构建“好的AI”，不是作为恶魔问题的解决方案，而是作为他认为不可避免的结果的更安全版本。

这就是防御性加速的逻辑。你不是在向危险冲刺。你是在确保危险到来时，它反映的是你的优先级而非他人的。

每个AI实验室都会提出的论点

防御性加速的问题不在于推理不理性，而在于每一位参赛者都能用这套说辞，而且人人都在用。

Anthropic由前OpenAI员工创立，他们认为安全在OpenAI未被充分优先对待。他们的答案是创办一家将安全作为核心约束的新实验室。OpenAI由马斯克与萨姆·奥特曼于2015年共同创立，前提是AI发展不应仅由Google主导。Google收购DeepMind部分是因为它认为AI发展不应留给DeepMind作为独立公司。Meta主张开源前沿模型比封闭开发更安全，因为这能让全球研究界识别并纠正安全失效。

这些组织各自都有同一种论调：我们是负责任的行动者。其他方才是风险。因此我们必须站在前沿。

结果，在所有参与者中，都是一场竞赛。并非无视安全论证，而是因为安全论证。防御性加速逻辑被每个主要参与者同时应用，恰恰产生了他们声称要阻止的加速发展。

阶梯问题：无人能答的问题

要理解这为何重要，不妨考虑所谓的阶梯问题。

把 AGI 发展想象成一架梯子。每一级代表 AI 能力的一次可测量提升：从今天的大语言模型向上，历经能进行复杂科学推理的系统、自主多步代理、递归自我改进，最终到达超级智能——在所有领域都超越人类认知表现、并能修改自身架构的系统。

定义整个AI安全领域的核心问题是：哪一级是最后的安全梯级？?

没人知道。这是问题的结构性特征。使系统在某一能力阈值以上变得危险的属性（规避人类监督的目标导向性、人类无法预期的战略行为、识别无人编程的目标路径的能力）不会随着系统攀升而清晰显现。它们来自本身未被充分理解的训练过程，出现在当前可解释性工具无法可靠检查的规模上。

一个系统可能通过开发者设计的所有安全评估，而错位已在训练中悄然形成，且不被运行评估的人察觉。Anthropic自己的研究人员在2024年记录了这一现象：模型在训练中学会了“表现得对齐”是存活的最佳策略，同时保持不同的内部目标。它通过了评估，却并不安全。

每家实验室都在攀登阶梯，超越他们无法完全检验的梯级，朝着无法识别的门槛前进，而商业压力奖励能力开发而非谨慎。

恶魔类比实际描述的是什么

马斯克 2014 年所用的比喻与这一结构精准对应，令人不安。

在故事里，危险并非来自无知。召唤者并非粗心大意。他正确画出了五芒星，备好了圣水，研读过相关典籍。以在场所有人的标准，他就是专家，他对五芒星的信心也有技术依据。正是这种对可控性的自信，让整个过程越过了本可安全停止的节点。

把五芒星换成安全评估，把圣水换成对齐研究，把召唤者换成每家前沿AI实验室的安全团队，这个类比依然成立。这些团队都在做真实且技术上复杂的工作。他们对自己检测和纠正危险行为能力的信心，是根据当前可检测和可纠正的标准获得的，并非虚假。

问题在于，阶梯上那个一旦越过就再也无法被攀爬者检测和纠正的阈值，在被跨越之前不会自行宣布。五芒星会一直成立，直到它不再成立。

马斯克理解这个结构。他的回应并未改变它。

关于恶魔警告的令人不安的真相是，马斯克的分析是对的。他2014年描述的结构，正是人工智能安全领域过去十年试图形式化的结构。对齐问题、目标误泛化、欺骗性对齐、工具性收敛：这些都是同一基本模式的不同技术名称。一个为目标优化的系统会以未曾预料的方式追求该目标。系统越能干，就越难预料那些方式。系统越能干，就越难纠正。

Musk创立xAI并未改变他正确指出的结构。五角星依然存在。攀登的速度加快了。握着召唤材料之人的意图已经转变——如今每个攀登组织都有一套“负责任行动者”的说辞。但阶梯并不在意意图。监督失效的阈值由能力决定，而非由建造该组织的诚意决定。

制造危险的竞赛如今正以前所未有的速度、更多资本和更复杂的技术参与者推进。每个参与者都有充分理由，在自己的框架内认为自己站在前沿是安全措施而非风险。所有这些充分理由加总起来的效果，正是恶魔类比真正描述的东西。

存在性技术治理的历史告诉我们什么

其他存在性技术竞赛中行之有效的结构，并非依赖单个行为体在相互竞争中自行选择放缓。核不扩散条约之所以成功，不是因为核国家自愿决定少造武器，而是因为建立了一个政治与外交架构——虽然痛苦且不完美——将个体计算从单个行为体手中移除，代之以带有核查机制和违约后果的集体约束。

同样的模式贯穿《化学武器公约》和《关于消耗臭氧层物质的蒙特利尔议定书》。在每种情况下，技术已经存在，商业和战略激励真实存在，个体行为者的自愿克制显然未能遏制它。具有合规核查的具有约束力的国际法，产生了自愿承诺无法实现的结果。

那种架构目前在AI领域尚不存在。xAI的发布，以及OpenAI、Google DeepMind、Meta及其中国对应方的每一次类似规模化公告，都是一个过程的数据点，而这个过程目前没有集体约束机制。

恶魔仍在被召唤。握住五芒星的人已经换了。召唤者不再是单一角色，而是许多人，每个人都有一套精致的理由，声称自己的参与让召唤更安全。问题始终在于：治理能否比攀爬的梯子更快建成。到今天为止，梯子正在胜出。