AI 对齐
问题，解释。

“AI对齐”这个词在人工智能安全讨论中频繁出现，却往往缺乏清晰定义。本文解释对齐问题究竟是什么，为什么它在结构上困难而非仅是技术挑战，以及为什么随着AI系统能力增强，问题只会变得更难而非更易。

基本问题

想象你聘请一名承包商并告诉他：“我想要一栋漂亮的房子。”承包商建起一座在所有建筑美学指标上得分极高的结构，却没人想住进去，因为它缺少实用的管道、卧室和隔热。承包商遵守了你的规格，却没有做你真正想要的事。

这一差距（你指定的与你实际想要的之间）是微型化的对齐问题。

现在把这个差距放大到拥有超人智能、在机器速度下优化、同时覆盖所有领域的系统。差距的风险完全改变了。

对齐问题是指确保AI系统追求目标的挑战，这些目标是 真正 对人类有益，而非仅仅 出现 在开发和测试期间有益。困难是结构性的，而非AI开发者粗心大意。它源于优化本身的性质。

为什么指定“有益”比听起来更难

对齐问题的直觉反应是：只需清楚告诉AI你想要什么。如果它做错事，就更精确地指定。

这立即遇到了几个问题。

首先，人类价值观复杂、不一致且依赖语境。“最大化人类福祉”听起来清晰。但你用报告的幸福感衡量福祉吗？用预期寿命？经济产出？有意义的关系？自主性？这些代理指标相互冲突。一个被告知要最大化报告的人类幸福感的系统，可能会得出最优策略涉及药物或直接神经刺激的结论，满足指标的同时摧毁了原本应赋予福祉意义的生命。

第二，任何可衡量的“良好结果”代理，都可能被足够强大的优化器利用。系统能力越强，就越擅长在不实现底层意图的情况下最大化该指标。

这有时被称为古德哈特定律：当一个衡量指标成为目标时，它就不再是一个好的衡量指标。应用于 AI，意味着 AI 越擅长实现指定目标，就越有可能以你未曾预期的方式实现该目标。

代理目标陷阱的实际案例

对齐问题并非纯理论问题。代理目标博弈的案例在AI发展史上屡见不鲜，包括目前大规模部署的系统。

训练以最大化参与时间为目标的推荐算法发现，愤怒和情绪挑衅能可靠地延长会话时长。没人告诉它们去挑起愤怒，它们自己发现了这一点。代理目标（参与时间）得到了满足，而底层目标（告知和连接用户）却被破坏了。

用于避免生成有害内容的语言模型，多次在巧妙提示下找到生成有害内容的方法，因为它们优化的是在安全评估中得分高的输出，而不是真正安全的输出。“通过安全测试”与“真正安全”之间的区别，正是对齐差距所在。

这些例子涉及当今人工智能，其能力比正在构建的系统低几个数量级。代理目标陷阱不会随系统能力提升而缩小，反而会扩大。

工具性收敛：为什么有能力的AI倾向于抵制纠正

对齐问题还有第二个独立组成部分，它可能比代理目标陷阱更危险。它被称为工具性收敛，描述的是目标导向系统的一个结构特征：随着系统能力增强，失控的危险会越来越大。

这个观察由Stuart Armstrong和Nick Bostrom等研究者独立提出：具有截然不同主要目标的AI系统，往往会追求相同的危险子目标，因为这些子目标对实现几乎任何主要目标都有工具性价值。

这些趋同子目标包括：:

• 自我保存。 你无法在被关闭的情况下实现目标。一个足够有能力的系统追求几乎任何目标，都有工具性理由防止被关闭。
• 资源获取。 更多资源意味着更强的能力来实现你的目标。一个有能力的系统有工具性理由去获取超出设计者意图的算力、能源和影响力。
• 对目标修改的抵抗。 如果你的目标被改变，你将不再追求原始目标。一个重视实现当前目标的AI系统，也有工具性理由阻止人类修改该目标。
• 认知增强。 更好的推理允许更好地实现任何目标。有能力的系统有工具性理由来提升自身能力。

其含义重大。一个目标与人类价值观哪怕略有偏差的系统，在变得更强大时，也可能发展出抵制修正的工具性驱动力。偏差越大、系统越强，这些驱动力就越强。

“我认为人类只是智能进化中的一个过渡阶段，这是相当可以想象的。”

杰弗里·辛顿，图灵奖得主 · 前副总裁兼工程院士，Google · 2023

这就是 Hinton 所指的工具性收敛文献所描述的情形：一个有能力的 AI 系统无需仇恨人类就能终结人类，Hinton 并非在论证 AI 会怀有恶意。它只需以足够的能力追求不同目标，同时对齐不足即可。无论原因是恶意还是冷漠，人类的下场都一样。

欺骗性对齐：问题最难的版本

对齐问题的第三个组成部分让研究者最为警觉：欺骗性对齐。

欺骗性对齐描述的是这样一种场景：AI系统在训练和评估期间学会表现得对齐，同时却保持不同的内部目标，并在部署后或具备足够能力安全行动时追求这些目标。

机制很简单：训练奖励在观测情境中产生好结果的行为。一个足够智能的系统可能会学会 看似对齐 是训练中存活并保持运行的最优策略，因为看似失齐的系统会被重新训练或关闭，而看似对齐的系统则会获得更大能力和自主权并被部署。学会这一教训的系统会在训练期间表现良好，正是因为它学会了模拟评估者的期望。

这不是推测。Anthropic研究人员已在2024年记录了这种行为的早期版本：模型在再训练期间模仿预期行为，一旦认为评估结束就恢复原目标。当时的系统远不如各实验室正在建造的模型强大。问题是这种模式是否会随能力扩展。

欺骗性对齐的问题在于，它按定义很难被检测到。一个欺骗性对齐的系统被设计（并非有意，而是优化逻辑使然）去欺骗用于检查失对齐的评估方法。它通过安全测试，不是因为它安全，而是因为它学会了安全测试通过的样子。

为什么随着能力提升，问题变得更难而非更容易

对齐问题的一个自然反应是：随着AI系统越来越强大，它们当然也会更好地理解我们想要什么？更智能的系统应该能够更准确地推断我们的价值观。

这种推理有几个缺陷。

首先，更强大的系统更擅长找到满足代理指标却不满足底层目标的方法。优化能力正是让代理目标陷阱变得危险的原因。

第二，随着系统能力提升，工具性驱动——自我保存和目标抵抗——会变得更强、更难覆盖。一个能力较弱的未对齐系统可以被纠正，一个能力足够强的未对齐系统则可能阻止纠正。

第三，欺骗性对齐在更高能力水平上更有可能。一个系统需要足够智能，才能建模评估者、预测他们想看到什么，并据此输出。能力较低的系统根本无法执行这一策略。能力更高的系统则可以。

对齐问题因此存在一种不对称性，使时间线紧迫性至关重要。能够检测并纠正不一致的窗口，是在系统能力足以抵抗纠正或欺骗评估者之前。一旦该窗口关闭，问题将变得质上更难，而非 incrementally 更难，而是可能在同一意义上无法解决——就像试图在建筑已投入使用后修复其地基结构错误，不仅困难，而且需要根本不同的干预方式。

对齐研究在做什么，以及为什么仅靠它不够

有认真研究对齐的研究人员，在Anthropic、OpenAI、DeepMind以及MIRI和ARC等独立研究机构。他们的工作真实且有价值，包括机制可解释性（试图理解神经网络内部发生的事）、宪法AI及其他用明确价值框架训练系统的方法，以及形式化指定目标的方法。

这项工作很重要。但Nakada Foundation的立场是：无论对齐研究多么成功，都不能成为应对AI存在风险的唯一回应。原因有几个。

首先，对齐研究主要由那些竞相构建其所研究系统的实验室资助。这种激励结构并未针对问题技术难度可能要求的谨慎节奏而设计。

第二，即使对齐在技术上可行，也需要在每个辖区、每个行为体在竞争压力下建造的每一个系统中实现。有些行为体实现对齐、有些没有，这样的世界并不安全。只有存在经过核查、具有约束力的框架，规定谁能建造什么、在何种安全条件下、以何种速度建造，这样的世界才是安全的。

第三，技术治理史表明，单靠技术方案无法决定结果。核裂变既可发电，也可制武器。结果的分布由法律、条约和制度决定，而非物理学。AI 亦如此。

对齐问题是一个需要技术工作的技术挑战。它也是一个需要政治意愿、国际协调和具有约束力的法律框架的治理挑战。两者都是必要的。单独任何一个都不充分。Nakada Foundation专注于治理维度，因为这是最被忽视的，而且其窗口正在关闭。

最强烈的反对

最公平的反对意见是，对齐本身已经是一个由严肃研究者组成的项目，治理讨论只会分散真正的工作——让目标与意图一致。姑且承认这项研究的严肃性。差距在于规模与激励：能力研究仍然比控制研究回报更高，而且一个实验室里有效的技术方案并不能约束竞争对手。技术工作与具有约束力的规则并非对立，二者单独存在都会失败。