每隔几个月，又有实验室或基金会宣布投入更多资金用于对齐研究。说辞诚恳。如果我们要构建比我们更聪明的系统，最好确保它们想要我们想要的东西。我尊重从事这项工作的人。我过去也会点头同意。后来我用朴素的英语把目标说出口。

在该领域关心的极限上，解决对齐意味着可靠控制比参与构建的每位人类都聪明得多的东西。不是计算器。不是蛋白质折叠器。而是在各方面都比我们更会思考的通用心智。我们甚至给目标起了名字：: 超级智能.

那个名字比论文本身更能说明问题。

这个词已经承认的内容

Super 意为高于。智能是我们用来发明工具、发现漏洞，并在与较弱心智的较量中获胜的东西。如果你造出一个在这些游戏里高于你的系统，你就造出了在你本需用来拴住它的那些技能上比你更强的存在。

人们仍像谈论对齐是一个在系统注意到前落地的软件补丁。你在试图为最终比你更懂规则的玩家制定规则。你在试图考查最终比考官更擅考试的学生。你在试图监督最终比你更了解职场、激励与你盲点的员工。

不要称之为物种的安全计划。

他们到底在争论什么

无论我们喜不喜欢 能力都会不断提高 一个实验室的单方面拒绝并不能阻止其他实验室。 从这个观点来看,唯一负责的举动是尽可能地做到明确目标,侦测欺骗,使系统坚固,这样,如果出现危险的系统,我们就有机会. 其中一些工作已经有助于当今的模型。 忽略它会是鲁莽的。

我认可狭义的一半。对仍可检查和关闭的系统进行安全工作，是真正的工程。我不认可的是，从协助当今模型直接跳到“我们能充分对齐超级智能，以至于拿文明下注”。这一跳跃暗中预设控制能力会随被控对象同步扩展。历史与常识均指向相反方向。另一方越聪明，你的精巧方案就越不像方案，而越像谜题。

控制需要占据上风

我们所知的每一种持久控制关系都依赖优势：物理力量、法律权威、对方缺乏的信息，或关闭系统的能力。超级智能按定义会侵蚀这些优势。如果它能比你更好地建模你，你的测试就成了表演。如果它能比你的监督团队更快、更广地行动，你的关机开关就只是你讲给自己的故事，直到某天它不再可用。

这一主张针对的是人们持续资助的最终状态，而非反对当今模型所有有用论文的简短陈述。 结构性障碍堆积: ：你无法完整指定人类价值观，无法可靠区分真实合规与表演性合规，而且评估者与系统之间的智能差距会随系统进步而扩大。指望最后一道屏障在部署前一刻自行消失，这是截止日期幻想，而非科学。

如果产品比握遥控器的人还聪明，那遥控器从来就不是重点。

愚蠢是一种诊断

给计划起蠢名字只是点出类别错误，并非侮辱研究者。我们正把稀缺的安全资金投入到让后继物种顺利发展，而建造那个后继物种的竞赛却按部就班地继续。这就像一边给洪水改善礼仪，一边还在上游拆坝。

明智之举是无聊的：不要建造你无法控制的东西。能折叠蛋白质、阅读扫描、预测天气的狭义 AI 可以继续交付。这些系统仍是工具。超级智能是一个新的能动性中心，而非更大的工具。在实验室竞逐时把“对齐它”当作主要计划，是文化如何说服自己进行不可逆实验的方式。

用这些钱做别的什么

把对齐ASI的那堆工作转向让“不创造”成为现实的方向：条约设计与核查、可检查的算力治理、让目标清晰的公众论述，以及让立法者听到实验室说辞之外声音的政治压力。 我已单独撰写资助案例。 简而言之就是顺序。在通往超级智能的路径上经过核查的暂停之后，在严格控制下对强大AI的研究仍可继续。在那次暂停之前，每一笔让竞赛显得可控的钱，都是没有花在结束竞赛上的钱。

你无法按照方案演示所需要的那种方式对齐超级智能。这个词本身已经告诉你原因了。别再资助“我们会做到”的幻想。资助决定不去建造它。