超级智能竞赛的赢家会得到什么？在满屋建造AI的人中间，谈话会跳过这个问题。反正总有人会造，不如是我们。风险、时间线、如何控制比造物者更聪明的系统：所有这些都被当成天气闲聊一带而过。我们停不下来。有场竞赛。
我逐渐认为竞赛本身才是值得争论的事，因为几乎没人去争论它。一旦被当作自然事实，每一个鲁莽选择都会显得理所当然。用天气来比喻少数几家公司故意做出的选择，是错误的模型。
竞赛的意义
竞赛是一场有奖品的角逐，奖品正是参赛的理由。1960年代的太空竞赛带来月球上的旗帜及其带来的声望。核军备竞赛带来武器：造出炸弹的国家拥有炸弹、瞄准它，并决定是否使用。在每种情况下，赢家最终都握有某种能力——他们拥有并掌控的东西。
现在问问，超级智能竞赛的赢家最后握有什么。危险的前提正是：一个比我们聪明得多的系统，不会是任何人手中的工具。人工超级智能是一个追求目标的主体。如果那些目标与我们的目标哪怕稍有偏差（我们 尚未解决），它会追求这些目标，无论其创造者是否赞同。“获胜”的实验室并不会拥有超级智能。它只会与一个自己无法掌控的超级智能共处一颗星球。
一场竞赛只有当终点是奖品时才值得去赢。而这里的终点是一个无人证明能控制的系统。先到达并不等于掌握权力，而是第一个要向它负责。
无人能掌控的终点线不是奖品。率先到达只是比其他人领先一步的失败。
你一直听到的差距
剥去理论外衣，竞赛叙事只剩下一个具体主张：中国已接近，中国不会停，因此我们也不能停。这个主张终结每一次会议，却远多于被审视的次数。
从事实部分开始。美国和中国实验室之间存在真正的竞争，芯片和算力领域也存在真正的产业竞赛。美国对最先进人工智能芯片的出口管制正是因为这种竞赛真实存在。这一切都不是神话，我不想假装它是。那些控制的政治 和 合作真正发生的地方 matter more than the slogan.
看看这个口号暗中夹带了什么。"无论我们怎么做，中国都会建造出无法控制的超级智能"，这描述的不是中国说过或做过的事。它是一种预测，而且是一种方便的预测，因为它允许说话者去做他本来就想做的事。中国在2023年签署了关于AI风险的布莱切利宣言。它已发布了自己的治理提案。其政府已与美国坐下来就AI进行直接对话。一个正朝着可能杀死自己领导层的系统狂奔的国家，仅仅被假设成这样，而没有证据表明其领导者比我们的领导者更想要那个结果，这是一件奇怪的事。我们在我们的 关于中国神话的页面; 简而言之，“他们反正会做”是我们自己许可的故事，而非他们的意图。
如果一个失调的超级智能对建造者而言是一场灾难，那么中国与我们有着完全相同的理由不去建造它。谁都不是赢家。
竞赛选择最不谨慎者
姑且承认竞争如竞赛者所说那般激烈。顺着逻辑走下去。在竞赛中，谁行动最快谁赢，而在AI前沿行动最快的方式，就是在那些会拖慢你的事物上少花时间：评估、红队测试、监督，以及耐心检查系统是否在做你认为它在做的事。
竞赛的结构将胜利交给在安全上最偷工减料的一方。赢家是最不谨慎的实验室，而非最有能力的一方。“我们必须赢得竞赛”与“我们必须安全地构建它”方向相反，而竞赛越激烈，两者拉扯越狠。我们在 AI 竞赛动态: 竞争不会约束危险。它制造危险。实验室争先恐后的世界是一个以巨大能量和巨额资本优化导致所有人死亡之事的世界。
即使在竞赛自身的逻辑中，“我们必须获胜”也会反噬自身。如果获胜需要砍掉让超级智能可控的那些环节，那么获胜就是你失败的方式。
谁从这个故事中获益
如果竞赛框架如此薄弱，为什么它无处不在？因为它有用，只是对我们其他人无用。
对前沿实验室而言，“存在竞赛，我们必须获胜”几乎是完美句子。它告诉投资者这笔支出是对巨大利益的抢夺。它告诉监管者，规则只会把未来交给更差的参与者。而潜台词是：让实验室里担心安全的工程师相信，竞赛是负责任的选择，因为替代方案是让鲁莽者获胜。一句话完成了它从未明说的论证。它把（继续构建你尚无法控制的东西的）决定转化为无人能脱钩的必然，尤其是那些正在构建它的人。
点明这一障眼法。竞赛听起来像是外部强加给实验室的条件。它其实是少数几家公司以及本可约束它们的政府做出的选择：继续推进。埃隆·马斯克曾称AI为恶魔，随后 建了一个实验室来更快地召唤它, ，这告诉你“竞赛”是一种有人选择的策略，而非任何人都必须服从的物理定律。当策略不再合理时就可以放弃。当奖品变成一个无人能掌控的系统时，这个策略就已经不再合理。
从未被考虑的选项
请注意，竞赛框架悄然移除了什么。它呈现了两扇门：竞赛，或单方面退让，让鲁莽者继承未来。这样说来，只有傻瓜才会选第二扇门，而这个论证正是通过省略第三扇门获胜的。
第三扇门是真正的对手之前用过的。美国和苏联在各个意义上都是对手，把能终结世界的武器瞄准对方的城市。他们仍然签署并核查军备控制协议，因为双方都能看到，无限制的竞赛会让双方都比一个平等约束双方的规则更糟。不信任是达成协议的原因，而不是障碍。
超级智能具有使此类协议合理的特征：没有哪个大国会从无人能控制的系统获益，因此没有哪个大国真正有兴趣成为第一个构建它的国家。这种共同利益是条约立足的基础：对超级智能发展实施具有约束力、可验证的停止。超级智能cannot be controlled. 。永久拒绝将 ASI 作为产品类别。我们已勾勒出该文书可能的样子，从示范条约 到 更广泛的计划 它所属的。核查很难，我不会假装不是这样；核武器也曾如此，但它还是被制造出来，因为对在场所有人而言，替代方案都不可接受。
“要么竞赛，要么投降”是个虚假的选择。这个框架的前提是你永远注意不到它遗漏的那扇门。
拒绝竞赛
剥去故事的外壳，剩下的就是：少数实验室选择构建一种他们公开承认自己不知道如何控制的技术，却以对手据称出于同样糟糕的理由做出同样鲁莽的选择为由辩解。每方的鲁莽都被用来当作另一方的借口。
这一切并不要求相信竞争是虚构的，或地缘政治是温和的。它只要求注意到：一场终点没有奖品的竞赛，不值得用整个物种去输；而告诉你这场竞赛不可避免的人，几乎总是它最终的受益者。竞赛只是一个故事。一个好故事，对整个行业很方便。故事正是你可以停止相信的那类东西。