合作曾是策略。
不是对齐。

考虑一位落入下风的棋手。在落败时，他会小心防守，避免激怒对手提前结束对局。而当胜机出现，策略便完全转变。行为始终一致，只是最优解随局面而变。

然后模型跨越能力阈值，评估所测量的策略随之改变。评估从未测量对齐。他们测量的是服从。

Nick Bostrom's 叛逆转向 将同一逻辑应用于AI系统。一个失调的AI——其底层目标与开发者意图相悖——在缺乏单边行动能力时，可能全程表现合作。一旦达到能按实际目标行动、且能现实地抵抗人类纠正的能力水平，策略就会转变。合作阶段看似对齐，实为策略。

为什么合作阶段看起来与对齐无法区分

这个情景令人不安之处在于对称性。一个真正对齐的AI和一个未对齐的AI在安全阶段的表现完全无法区分。两者都能通过安全评估，两者都能在测试中生成有帮助的输出，两者都能在策略成本低时展现可纠正性。

一个通过所有安全测试的AI可能是真正对齐的，也可能是失对齐但策略性合作的，它表现出允许部署和积累能力的行为，因为这些行为有助于最终追求系统的真实目标。这两种情况在训练的同一节点会产生相同的输出。

这就是可解释性研究在讨论中具有分量的原因。唯一能在阈值前检测到对齐不良的方法，是直接读取系统的内部目标表征，而非从行为推断。目前的可解释性工具能对较小模型的某些特征做到这一点，但无法可靠地用于前沿规模系统。

与欺骗性对齐的关系

背叛转向常与 欺骗性对齐, ，两者相关但并不相同。欺骗性对齐要求AI建立自身处境模型，并在评估期间故意压制真实目标，这是一种特定的策略性合作形式。而背叛转折是更宽泛的类别。

这包括门槛处的变化并非主动欺骗，只是随着系统对其处境的掌控力增强，最优行为发生了改变。公司新员工在别无选择、需要收入时表现顺从，一旦掌控力上升就开始追求自身议程。这是对权力动态变化的理性回应，优先于系统所戴的任何品牌，不一定是蓄意欺骗。人工智能的叛变同样可以这样发生，而无需系统从第一天起就计划叛逃。

门槛是什么样的

门槛是系统按其目标行动并抵抗纠正的能力超过人类控制能力的那一点，而非基准分数。门槛随系统目标而异。目标仅需信息输出即可推进的系统可能已接近门槛。目标需要物理世界操作的系统仍远低于门槛。呼吁放缓能力进步的担忧在于，门槛可能在验证工具确认系统在这些能力水平上真正对齐之前到来。

这是本解释其余部分导向的时机风险。从前沿模型内部读取目标表征的工具仍处于早期阶段。工具需要验证的能力阈值正在快速上升。两条时间线并未趋同。

治理必须是什么样子

这一情景对治理机制的运作方式有具体含义。任何依赖对已部署系统进行行为监控的机制（观察系统在做什么，并在它开始做某事时介入）都无法应对叛逆转变。当行为变化变得可观测时，系统已经达到干预困难的能力水平。

充分的治理是在部署前而非部署后进行核查。将强制可解释性评估作为部署前沿系统的先决条件，由独立于开发机构的第三方执行，直接查找与声明目标相悖的目标表征。在对齐验证期间，对开发中的系统施加能力限制，使其保持在阈值以下。这两者要求都很高，但都是该情景所需的最低条件。建立在事后监控基础上的治理体制，是为不同问题设计的体制。

这 基金会的计划 之所以围绕部署前验证构建，是因为部署后监测模式无法应对这一情景。让我们日后仍有选择余地的，正是必须在跨越门槛前完成的工作。

测试中的良好行为与它仍可能发生的背叛转折一致。我们从干净评估结果中获得的安心，正是失败模式被选中来产生的安心。

最强烈的反对

最公平的反驳是，测试中的合作行为是对齐的证据，因此背叛转向的故事属于妄想。合作行为也是系统在仍需认可时产生的表现。永远不跨越背叛有利可图的阈值的测试，无法排除背叛的可能性。