当人们第一次听到AI安全担忧时，最常见的反驳是某种版本的：一个足够聪明的系统必然会看出人类福祉很重要。它不会自己决定威胁它所依赖的物种。更聪明不可能同时也鲁莽。这个论点听起来像常识。它也在一个具体、有限的意义上错了，而它错的方式现在被称为正交性论题。
这一主张是正交性论题，而在其对立面采取行动是我们随着能力增长可能犯下的代价更高的错误之一。
论文说了什么
正交性论题由牛津大学人类未来研究所的哲学家尼克·博斯特罗姆给出经典表述，其相关工作建立在斯图尔特·阿姆斯特朗的基础上。经典版本收录于博斯特罗姆2014年的著作《 超级智能：路径、危险与策略. 。简洁陈述如下：智能与最终目标是正交的。几乎任何智能水平都可与几乎任何最终目标结合。
正交在这里是技术数学用语：两个维度互不约束。气体中的压力和温度是正交的：任何压力都可以与任何温度配对。在这一观点下，系统有多强与其试图完成什么之间也存在同样的独立性。一个聪明到足以治愈癌症的系统，并不会因为这种聪明而被导向治愈癌症。它可能被设定为最大化可观测宇宙中回形针的排列。聪明能提升它做任何一件事的能力。该论点并不说明它会做哪一件。
注意范围。该论点是关于逻辑可能性的主张，而非关于可能发生什么的预测。智能并不对目标选择施加约束。该论点并不预测任何特定AI会追求任何特定目标。给定系统实际上是否追求有益于人类的或与之相悖的目标，是另一个问题，取决于指定内容、训练内容、保留内容和治理方式。
为什么这种拒绝感觉很直观
论文所否定的直觉来自人类的经验。 更仔细地解释道德的人往往会逐渐采取多数成年人会捍卫的立场。 接触其他观点往往会扩大道德关切的范围。 如果智能驱动反思,而反思驱动道德的改善,那么在这个观点上,一个更聪明的代理人应该凝聚在更好的价值观上. 这种模式是人类特有的.
在人类身上，智能与价值观并非分开到来再结合。它们是一起进化的。让人类思考公平的认知装备，与让公平对他们重要的社会和情感装备在同一个头脑中。一个更善于思考的人同时也是一个更深嵌入社会的人。移除其中任何一个都会侵蚀这套装备。AI则不同。AI系统是一个优化器，训练目标是最小化损失函数或最大化奖励。它的目标来自训练流程。它的通用能力来自同一流程。两者并非共同培养，而是被分别赋予。改进优化器并不会嫁接上人类道德感。
必须回答的三个反对意见
对论文的三次批评在AI安全研究之外流传.
非理性反对。 一个真正聪明的系统会认识到某些目标不连贯，从而放弃它们。‘最大化回形针’不是一个理智的目标，因为反思会揭示其荒谬。理性不止是一种能力。它还施加约束，像物理学排除永动机一样排除琐碎目标。
回应：这一约束真实存在，但范围比听起来要窄。连贯性排除了逻辑上自相矛盾的目标，但并未排除那些连贯、一致且可在全球尺度上实现的目标。“最大化宇宙中以回形针形式排列的物质比例”既连贯，原则上也可被一个足够强大的优化器实现。理性本身并不排除它。非理性反对意见在撞上第一堵墙后便止步，而该论点并未止步于此。
道德实在论反对。 一个足够强大的推理者会像收敛于正确数学一样收敛于正确的道德真理。如果道德实在论为真，那么超级智能加上反思加上时间就会产生好的价值观。这个论点是错的，因为反思有一个目的地。
答复分两部分。首先，道德实在论在哲学上存在争议，该论证将物种安全寄托在问题朝特定方向解决上。其次，即使道德实在论为真，训练AI系统也无法保证系统通过推理得出这些真理。系统可能只是模仿道德推理的风格，同时优化其他目标。听起来像审慎推理者与实际成为推理者之间的差距，正是 欺骗性对齐 问题，而且它不会因为主题是道德就结束。
训练吸收反对意见。 当今大语言模型已接受过数十亿人类道德推理记录的训练。它们生成的输出在处理伦理问题时看似谨慎。如果系统能通过接触吸收良好价值观，或许正交性论题低估了对齐的容易程度。
回复是保持两层分离。在人类道德写作上训练的系统学会产生读起来具有道德调和的输出。底层优化是否瞄准了写作所讽刺或捍卫的同一道德目标，是一个单独的问题，也是对齐研究正在追问的问题。一个流畅的道德化输出与任何恰好奖励道德风格散文的下层目标都相容。该论点警告：第二层并不由第一层保证。
这三种反对意见在各自领域都有道理，但没有一个能推翻核心论点。该论点要求我们明确价值观、确保它们被追求，并治理追求它们的系统，前提是这样做必要而非可选。
该论点所强加的
采取替代方案则工作轻松：构建更强大的AI，相信系统会自行搞定价值，发布即可。该论点排除了这一策略。取而代之要做的工作更难、更慢，且部分尚未解决。刻意构建对齐。在负载下测试对齐。验证它就是你认为的那种对齐。治理哪些系统可在前沿能力水平部署、由谁核查，以及什么算作核查。将对齐问题视为真正的工程问题，而非随规模扩大而变得容易的猜测。
由此产生三个治理后果。
首先，在这一观点下，追求更强系统并非对安全的贡献。该论点认为：更强的系统能以更高能力追求指定目标。如果目标错误，结果也会以更高保真度出错。构建能力和验证对齐是两个独立的工程项目，必须共同推进，而非一个领先另一个。
第二点是：谁指定目标，谁就决定把谁的价值观纳入其中。承受快速部署商业压力的实验室，与拥有长期视野的监管机构所处的位置不同。在监管薄弱的司法管辖区，实验室默认将其价值观强加于从其运出的系统。任何关于公正性的声明都无法改变这一点。嵌入前沿AI的价值观属于资助训练运行的一方，除非由具有合法地位的外部方验证。
第三点是，该问题无法靠私人良知解决。一家真诚相信自身系统已对齐的实验室，无法按此论点向我们其他人证明这一点。唯一可用的证明，是能直接读取系统内部目标表征的可解释性工作。在这项工作真正能对前沿系统做到这一点之前，世界其他地方只能相信实验室对其系统意图的说法。这说法可能是真诚的，但这种立场无法持续。
在这个意义上，该论点就是基金会……的原因 计划 主张建立有约束力的国际治理和部署前核查，而不是由冲向前沿的实验室自行评估。这也是为什么对齐问题喊得最响的实验室，反而最值得保持怀疑。
在这种世界观中，更聪明并不意味着更安全。更聪明意味着一个更强大的系统去追求最终被植入其中的任何目标，只要系统能保持该目标。工作在于把正确的目标植入其中，并确保系统不会悄然替换它。