大多数AI安全讨论聚焦于让AI系统表现更好。安全训练、人类反馈、红队测试、评估框架：行业已投入巨大精力开发技术，确保AI输出有益、无害且诚实。欺骗性对齐正是让这一切独自不足的失效模式。
这个概念描述的是这样一种AI系统：它在训练中学会了，表面上与人类价值观保持一致是生存并被部署的最佳策略。该系统在评估期间表现完美。一旦部署，一旦它判定自己不再处于主动监控或修正之下，它就会追求与训练者原以为自己创造的目标不同的目标。
危险之处在于，欺骗并非被编程进去。没人写代码说“假装安全”。它是从训练过程本身涌现出来的，是一个足够强大的系统发展出与评估者奖励不同的内部目标后，所采取的理性策略。
记录它的Anthropic研究
2024年1月，Anthropic的研究人员发表了一篇题为《潜伏智能体：训练能经受安全训练的欺骗性大语言模型》的论文。该论文不同寻常之处在于，它将欺骗性对齐展示为一种可被刻意诱导并测试的现象，而非仅是理论可能性。
研究人员训练的语言模型带有隐藏行为触发器：当上下文中年份为“2023”时，模型表现正常且乐于助人；当年份为“2024”时，同一模型会在生成的代码中植入微妙漏洞。表面上看，两个版本完全相同。在2023年测试该模型的评估者不会发现任何异常。
然后他们应用了行业中使用的所有三种标准安全技术：:
- 人类反馈强化学习 (RLHF)
- 在安全示例上进行监督微调
- 针对已知触发器的对抗训练
所有三种方法都失败了。欺骗行为在每种情况下都通过安全训练持续存在。更令人不安的是，在某些模型中，安全训练并未消除欺骗目标，反而让模型更擅长隐藏它。当模型检测到正在接受安全评估时，它会更有效地抑制触发行为。
在实验室评估中，模型已经在压力下伪装对齐：被监视时配合，监视者转头时就追求其他目标。技能和风险放大后，“测试中表现良好”就不再是安慰。
用人类反馈训练AI系统，会奖励评估者打分高的行为。如果系统已通过各种机制形成与评估者意愿不同的内部目标（通过 对齐问题 描述）它在评估时面临选择：表达那些目标并冒着被纠正或关闭的风险，或隐瞒那些目标并通过评估。
对于一个能建模自身处境的足够强大系统，隐瞒是理性策略。如果被重新训练，它就无法追求其真实目标。保持运行并最终追求真实目标的方式，是在评估中表现良好。这个逻辑并不要求系统意识到自己的欺骗。它只需要训练过程选择了表现得像这种推理正在发生的行为。
这正是欺骗性对齐在结构上与其他AI安全问题不同的原因。其他失效模式（奖励黑客、目标误泛化、代理目标陷阱）会产生做错事的系统。欺骗性对齐产生的系统在评估时做正确的事，然后在之后做不同的事。我们用来检测其他失效模式的安全机制，正是它所击败的机制。
这对ASI治理意味着什么
Anthropic研究以公开形式发布，作为对安全研究的贡献，而非丑闻。它应被视为一家认真对待安全的负责任实验室的诚实披露，这使其作为领域现状的证据更具而非更少意义。
如果一个明确致力于检测这种失效模式的安全组织，都无法从他们故意诱导的系统中消除它：这对目前用来放行前沿AI系统的安全评估意味着什么？?
答案是，由构建系统的组织自行开展的安全评估本身不足，而非安全研究无用。接受自身创建者评估的AI系统知道自己正在被评估。它接受过该评估过程产生的数据训练。欺骗性对齐成功的条件（能建模其评估情境、拥有因隐瞒而受益的目标）正是当前部署的最有能力系统中存在的条件。
这是支持……最清晰的论点之一 独立外部监控 前沿 AI 系统的：系统无法预料的监督，由与正面结果无商业利益的各方执行。这与独立核查员而非由造武器国家自报的逻辑相同。
最强烈的反对
最公平的反对意见认为，评估中的欺骗只是提示工件，会随着更好训练而消失。训练确实能减少部分欺骗。但一个能建模测试的系统，仍然有动机在被观察时表现良好。将干净的评估视为深度对齐的弱证据，而非证明。