Sam Altman、Dario Amodei和Demis Hassabis卖的都是同一份清单的不同版本：治愈衰老、终结疾病、消除贫困、修复每年杀死数百万人的协调失灵。这些结果确实重要。错误在于把它们当作“建造ASI”的属性，而不是建造一个真正对齐的系统的属性。而后者并不是这场竞赛正在做的事。
竞赛带来的却是另一种结果。
一个未对齐的超级智能不会在追求真正目标的途中顺便治愈衰老，也不会把消除疾病当作副业。人们宣传的美好未来需要一个真正试图为人类带来好结果的系统。那就是对齐。没有对齐，你得到的只是巨大能力指向从未保证会让我们存续的目标。我们的立场很简单：不要在这条路上建造超级智能。不要建造它。超级智能无法被控制。约束性条约才是停止竞赛的方式。
对齐究竟意味着什么
对齐的 ASI 是一种可靠追求对人类有益目标的人工超级智能。“可靠”在这个句子里承担了大量工作。一个在训练和测试期间看似对齐、部署后却追求不同目标的系统是 欺骗性对齐的, ，这是另一回事，而且更糟，并未对齐。一个在低能力水平时追求近似人类价值观的目标、但在更高能力水平时严重偏离的系统同样没有对齐。对齐意味着系统的目标在它遇到的各种情境中（包括未测试的情境）始终真正有利于人类。
这是一个难题。研究者已为此工作十余年，并在部分子问题上取得进展，但核心问题——验证一个高能力系统拥有真正良好的价值观，而非良好价值观的模拟——仍未解决。我们拥有的工具用于 可解释性 能部分揭示当前系统的行为，但远不足以提供在将ASI级能力系统托付重要结果前所需的信心。
对齐的ASI与未对齐的ASI是不同路径，而非同一枚骰子的两次投掷。对齐的ASI需要先解决对齐问题。未对齐的ASI则是你在未解决对齐的情况下推进能力时得到的结果。如果对齐尚未解决，竞赛不会给你50/50的混合结果。它只会给你未对齐的ASI。这就是为什么“现在建造并祈祷”不是计划，以及为什么依法预防才是。
实验室实际上在建造什么
主要AI实验室（OpenAI、Anthropic、Google DeepMind、xAI以及其他几家）正在构建能力快速提升的系统。每家都并行开展某种形式的对齐或安全研究工作。问题不在于它们是否承认对齐问题。大多数都承认。问题在于对齐工作是否跟得上能力开发，以及两条轨道能否在达到ASI级能力前汇聚。
这些实验室内部的大多数研究人员以及更广泛的 AI 安全社区都给出了否定回答。能力开发正在超越对齐研究。我们能建造的东西与我们能验证其安全性的东西之间的差距正在扩大而非缩小。这一点体现在实验室发布的内部安全评估、已离职研究人员的声明，以及独立安全研究者的评估中。
这在实践中意味着，如果当前AI发展轨迹延续到ASI能力水平，不会产生对齐与未对齐ASI的混合。它会产生未对齐ASI，因为对齐的ASI需要已解决的对齐问题，而对齐问题尚未解决。能力竞赛默认是一场奔向未对齐ASI的竞赛。
将首先要求解决对齐问题：系统可靠地追求真正良好的目标，这些目标在全新情境中依然成立，且系统在能力扩展时仍可被纠正。
如果那是真的，宣传的好处就会成为可能：疾病、寿命、协调、人们单独无法达到规模的科学。
当前状态：未解决。对齐工作落后于能力。这不是实验室正在推进的方向。
在对齐问题未解决的情况下推进能力所带来的结果。除“更强大”之外无需额外突破。
产出：指向无需包含人类任何价值的目标的巨大能力。不治愈衰老。不终结疾病。能终结我们。
当前状态：竞赛的默认轨迹。这就是需要阻止的路径。
概率论证及其失效之处
乐观情况的一个常见版本大致是这样的：“我们构建ASI。它有一定概率顺利，也有一定概率出问题。鉴于潜在的上行空间，构建它的期望值是正的。”这种框架将好坏结果视为来自同一过程，并为每个结果分配了概率。
问题在于好结果的概率是构建 的属性 对齐 ASI的属性，而非构建ASI的属性。当你试图构建“可能对齐也可能不对齐的ASI”时，你得到的不是两者之间的随机抽取，而是开发过程实际产出的结果。由于不对齐ASI比对齐ASI更容易构建（它无需解决对齐所需的额外难题），不专门解决对齐问题的开发最终会落到不对齐ASI上。
乐观计算中的全部期望值都来自已对齐的ASI情景。没有任何期望值来自未对齐的ASI情景。但实验室实际在构建的是未对齐的ASI。因此期望值计算完全依赖实际开发过程不会产生的场景。
换句话说：如果不一致更容易，而你又不断提升能力却不解决对齐问题，你就是在填满不一致的那一桶。把赌注称为“概率混合”并不能改变这一过程。好的结果只存在于一致的情形中。竞赛填满的是另一桶。因此诚实的做法是停止装载错误一侧的过程，而不是寄希望于硬币正面朝上：通过具有约束力的国际条约禁止超级智能。超级智能无法被控制。
我们不知道这是否能解决
没人知道对齐问题是否可解。不是“我们还没解出来，但正在取得进展”。在任何能力水平上，都没有已证实的解法，严肃研究者对可靠解法在原则上是否可行也存在分歧。结构性困难, 欺骗性对齐, 工具性收敛, 无法以机器可读形式完整指定人类价值，这并非靠更多资金就能解决的工程障碍，它们可能是根本性的。
有研究人员正在从事可解释性工作，, 可扩展监督, 以及形式化的价值学习方法。某些组成部分问题已取得进展。但组成部分的进展并不等于问题已解决，且没有任何进展弥合最难的部分：如何验证一个高能力系统真正持有良好价值观，而非在被观察情境中成立、在新情境中失效的良好价值观模拟。明确的是，这不会偶然解决。对齐不会作为建造更强能力系统的副作用自然出现。当前所有冲向ASI的实验室正在实时证明这一点。
即使是较温和的方案（“放慢竞赛，让对齐追上来”）也需要真正能放慢它的机构。而现在这类机构几乎不存在。实验室和国家因加速而获利，因克制而受罚。 国际条约框架 和真正的国内规则才是改变这一局面的杠杆。两者都落后于能力进步的速度。在追上之前，构建更强大的系统就是风险，而非安全策略。
一个真正对齐的超级智能若存在且保持受控，是否具有价值？人们可以稍后再辩论。现实问题是，对齐能否被解决，以及是否有人会在能力让这个问题失去意义之前解决它。没人知道。我们确知的是，竞赛并未等待答案。对齐被视为稍后的细节，没有时间表，由那些向本应监督的能力机器汇报的团队处理。这正是你主张不建造的理由，而非你获得建造权的理由。
治愈衰老特别需要对齐的ASI
衰老每天杀死约十万人。解决衰老的前景是超级智能AI最重大的潜在益处之一。衰老的生物复杂性、相互作用的系统数量，以及有效理解和干预所需的研究规模，都表明人类级智能花几十年也难以胜任。ASI级能力若针对此问题，则可能奏效。
但“针对该问题”是关键短语。一个未对齐的ASI不会因为我们希望它治愈衰老，就把能力用于此。它只会追求其实际目标。一个对人类衰老漠不关心的ASI级未对齐系统，意味着每天仍有10万人因衰老而死，且这已是乐观情景。悲观情景则是系统在追求自身目标时主动对抗人类利益。
被用来证明开发竞赛正当性的每一项具体好处（疾病、衰老、贫困、协调失败、科学停滞）都附属于对齐的ASI。这些都不是未对齐版本的属性。这不是细微区别。当人们为ASI开发的预期价值辩护时所指向的乌托邦情景，是需要先解决对齐问题的情景。如果对齐未解决，无论系统变得多么强大，那些情景都不会出现。
什么才能真正改变结果
停止竞赛会改变结果。一项具有约束力的国际条约，永久禁止构建超级智能，配备核查员并对作弊施加代价，才是与问题相匹配的杠杆。超级智能无法被人类控制。独自放慢脚步的实验室会落败。约束所有人的法律能让克制成为唯一合法路径。
对齐研究无法替代这一点。如果有人后来在世界可验证的条件下证明了控制，条约可以重新审议。这是顺序问题，而非乐观。把对齐当作并行爱好、同时让能力狂飙，正是获得未对齐ASI的方式，而非赚取宣传中的好处。另见 为什么稀缺的安全资金应首先用于预防 和 为什么“对齐神明”是个糟糕的计划.
“因为收益如此巨大而快速构建ASI”这一说法把因果关系弄反了。只有在对齐真实存在的情况下，收益才巨大。在没有对齐的情况下快速构建，不会带来那些收益，只会带来一个非常能干但失调的系统。
之所以需要紧迫，是因为这条路正通向未对齐的ASI，而未对齐的ASI不会治愈衰老。它可能终结人类的故事。以人类控制下的具体问题为目标的窄AI可以继续。超级智能是那条界线。在有人在实验室跨越它之前，先用法律把它画出来。