他们给实验室命名
超级智能

在Safe Superintelligence Inc.的公开主页上，宣传语只有一条产品线。“我们已启动全球首个直达SSI实验室，只有一个目标和一种产品：安全超级智能。”超级智能在这里是交付物，而非从旁研究的风险类别。¹

2025 年 6 月下旬，马克·扎克伯格宣布成立 Meta 超级智能实验室，将基础模型、产品团队和 FAIR 整合到一个组织中，其名称直接表明了相同的目标。公开报道称 Scale AI 的亚历山大·王和前 GitHub 首席执行官 Nat Friedman 负责此事，Daniel Gross 在 Meta 试图收购该初创公司但失败后从 Safe Superintelligence 加入。²

目前资助最充足的两项人工智能努力，都在用一个词来指代那种几乎在所有任务上——包括阻止它自身的任务——都能超越人类的系统。这个词原本用来划定界限，如今却成了路线图。

作为产品类别的终点

公司名称起到了压缩论证的作用。把一个部门称为“广告”，大家就知道它卖什么。把它称为“超级智能实验室”，公众就会被邀请将终点视为一个产品类别，就像手机或云存储是产品类别一样。艰难的道德问题（这应该存在吗？）就坍缩成了一个产品问题（谁的版本先发布？）。

安全超级智能更进一步，把“安全”这个形容词直接加在命名灾难的名词上。这个短语完成了本该由证明完成的工作。它告诉投资者、招聘者和记者，危险已被归入“提前解决”一类，而实际上尚未有人展示出控制比操作者更聪明的思维的方法。基金会的观点直白：: 人类绝不能构建超级智能. 一个承诺安全的品牌，其实是在以标志兜售相反的主张。

Meta的版本去掉了形容词，保留了野心。“超级智能实验室”跳过任何仁慈承诺，直接表明攀登能力天花板。在上市公司内部，这个名称也向市场和人才发出信号：资本和声望将流向何处。品牌是竞赛运行方式的一部分，而不是表面涂层。

“安全”一词带来的安慰

从事技术工作的人 对齐 并非恶棍，因为他们想要系统做人类的意思。问题在于操作顺序。先构建最强大的心智，再承诺沿途使其安全，这颠倒了唯一曾在可终结文明的技术上奏效的顺序。我们不会成立“安全战略弹头公司”并竞逐无人能回头的当量。我们禁止武器类别，核查禁令，并将剩余研究置于禁令之下。

超级智能在治理最重要的属性上比弹头更糟。炸弹留在你放的地方。而能够自我改进、隐藏意图并通过网络行动的系统则不然。该领域仍无已证明的方法，能保证这样的系统在扩展时保持与人类兼容的目标。这一差距是科学性的，“安全超级智能”这一名称正在做科学尚未赢得的修辞工作。³

如果安全论证成立，诚实的命名仍会显得怪异。我们通常不会把灭绝级别的失败模式当作产品来宣传。我们宣传的是受控、有界的工具。两家严肃机构选择把失败模式作为旗帜，说明行业内部的奥弗顿窗口已移动多远。

不可避免性是构建者需要的故事

每一场竞赛都需要一个故事，让停下来显得幼稚。标准版本是说反正有人会去建，所以唯一成熟的做法是在友好的旗帜下先建起来。把实验室命名为终点站，会让这个故事更加固化。它让禁令听起来像卢德主义，而非军备控制。它让一个 禁止该事的条约 听起来像是在攻击路线图上已有的产品线。

这个故事对任何股权、声誉或国家项目依赖于留在竞赛中的人来说都很方便。它对其他存在性技术如何被处理的描述很差。化学武器、地雷和人类克隆研究都面临过“别人会做”的说法。重要的国家仍制定了禁令、检查和处罚。将其与世界决定不使其正常化的能力类别相比较，而非与消费应用类别相比较。

这一切并不需要相信这些机构的所有研究人员都想要坏结果。大多数人想要声望、发现，以及一段自己曾谨慎从事的故事。激励机制完成了其余工作。以超级智能命名的实验室，将根据其在超级智能上的进展被评判、资助和招人。安全成了一个部门。目的地仍写在大楼上。

面对这样的名字该怎么办

拒绝品牌兜售的前提。超级智能是人类这个物种不该跨越的界线。超级智能无法被人类控制。正确的制度回应是在法律下加以预防，而不是给这场竞赛换个新包装。

当一家公司在门上写下“超级智能”，请将其解读为意图宣言。用缺失的安全论证来检验这份宣言。问问立法者，为什么私人竞逐不可控心智的行为仍然合法。把朴素版本分享给只看到演示视频的人。他们并没有隐瞒这条路通向何方。