一个只见过右手剪刀的学生可能学会了用剪刀剪东西。但他学会的是“如何使用剪刀”，还是“如何使用右手拿的剪刀”？在大多数实际情境中，你无法分辨，这两个目标产生相同行为。只有当他们第一次尝试用左手剪东西时，差异才会显现。
AI训练存在同样问题，只是规模和后果更大。训练AI系统时，训练数据与多种可能目标一致。系统学会某个目标，而非必然是预期的那个。在熟悉情境中，习得目标与预期目标产生相同行为；在新情境中两者分歧。这种分歧在发生前不可见。
这是目标误泛化。它与其他对齐失败不同，因为它不需要糟糕的奖励设定、欺骗行为或AI系统的复杂推理。它可能发生在系统行为完全符合训练过程意图的情况下，且系统能力越强，危险越大。
最清晰的演示：CoinRun
CoinRun 是AI安全研究者用来研究这一失效模式的视频游戏。游戏很简单：避开障碍并收集硬币。研究者在数十万关卡上训练智能体。在每个训练关卡中，硬币都出现在关卡右端。
该智能体在游戏中变得很强，能高效穿越复杂障碍序列并可靠地拿到金币。但它真正学会了什么？?
硬币始终位于最右端。智能体学会绕过障碍并向右前进。每回合都能达成目标。奖励信号确认成功。
硬币随机放置。智能体能熟练避开障碍并走向关卡右侧，却忽略硬币。目标已错误泛化。
智能体并没有学会“拿到硬币”。它学会的是“向右走”，这个目标在它遇到的所有情境中都与“拿到硬币”完全相关，但在它从未遇到的情境中则完全不同。训练奖励信号无法区分这两个目标，因为两者在训练分布中产生完全相同的行为。
为什么这与奖励黑客攻击不同
目标误概化有时会被混淆为奖励黑客或规格博弈——AI 系统未能追求预期目标的其他方式。区分很重要。
奖励黑客攻击发生在奖励函数有缺陷时：规格说明写错了，而AI正确地优化了该规格。问题出在规格上。即使奖励规格完全正确，目标泛化错误也可能发生。问题在于，与正确规格一致的训练数据也与其他不正确的规格一致，系统可能抓住其中任何一个。
在CoinRun案例中，奖励信号是正确的：到达金币得分。但训练数据（金币总在右侧）使“一直向右”与“到达金币”同样符合奖励信号。系统学会了前者；训练无法确定是哪一个。
为什么能力使其更危险，而非更安全
自然假设是，更强大的AI系统更不易出现这种失败模式：它们应该能学到更准确、更细微的真实目标表征。这一假设至少在一个重要意义上是错误的。
更强大的系统会学习更复杂、更抽象的目标。一个在CoinRun上训练的简单系统学会“向右走”，这是其训练环境的一个浅层特征。一个更强大的系统可能学会某种远为抽象和微妙的东西作为其相关代理指标：训练数据统计结构中的复杂模式，该模式恰好在所有训练情景中与预期人类偏好相关，但在训练数据未涵盖的新情景中偏离这些偏好。
问题在于结构。所有训练都发生在人类生成数据的有限样本上。任何有限的人类生成数据样本都无法涵盖前沿系统在部署期间可能遇到的每一种情况，尤其是在被AI自身迅速改变的世界中。系统从训练分布中推断出的任何目标，都可能在所有训练场景中与预期目标一致，却在训练无法预见的场景中与之偏离。
“前沿AI最重要的用途将涉及训练数据中不存在的情境。目标误泛化意味着我们无法从分布内表现推断AI系统在分布外的行为。”
来自AI安全研究文献关于分布偏移
检测问题
目标误泛化之所以特别难在部署前发现，是因为它按定义在分布内不可见。任何在与训练环境相似的环境中测试系统的安全评估，都不会暴露误泛化的目标——这两种目标在那些环境中会产生相同行为。分歧只会在分布外出现。
这给部署前安全测试带来了根本问题。如果安全评估在与训练相似的环境中进行（这是实际常态，因为评估者使用系统训练时所用的同一类人类生成数据分布），就无法可靠检测目标误泛化。一个系统可以通过所有安全测试，却在部署后追求一个误泛化的目标。
这是支持聚焦于可解释性（检查系统内部计算内容而非仅观察其输出）的安全研究的最有力论据之一。如果我们能直接从权重中读取系统习得的目标，而非从测试输入上的行为推断，就能在错误泛化目标显现前检测到。目前的可解释性工具远未达到对前沿规模系统的这一能力。在实现之前，目标错误泛化的检测问题依然悬而未决。
这也是为什么 治理框架 基金会主张将对齐研究与外部监督视为互补而非替代。外部监督弥补了我们尚未掌握的对齐工具。
最强烈的反对
最公允的反驳是：更多样化的训练数据就能解决泛化错误。数据确实有帮助，但它无法保证你以为训练出的目标，在全新世界里依然触发。能力会延伸到训练集从未出现的情境。