尖锐左转是一种假设的失效模式,最好用对比来表述。能力会泛化,对齐可能不会。当系统变得更强,尤其是跨越到通用、可迁移的 competence 时,其能力会延伸到新领域和新情境。令人担忧的是,原本让它保持良善行为的约束——我们在较低水平上灌输的对齐——却无法以同样可靠性延续。系统带着力量进入新领域,却把安全留在边界。这种在能力泛化时突然出现的分歧,就是尖锐左转。
为什么能力与对齐可能会分离
有理由预期两者泛化方式不同,这并非对称的乐观与悲观。能力锚定于世界结构。物理定律、数学规则、因果关系在各领域都相同,因此学会良好推理的系统有稳定基础可供泛化。能力迁移是因为现实是一致的。
Alignment is anchored to us. It is tied to human values, human intentions, and the specific training signal we provided, which are narrower, messier, and full of the gaps discussed in the 对齐问题. 。一个泛化到新情境的系统,有坚实理由扩展自身能力,却只有摇摇欲坠的理由扩展我们设定的约束,因为约束只是针对它已见过的情境拟合而成的近似。这就是 目标误泛化 被提升为关于能力跃迁时刻的结构性主张。
世界是一致的,因此能力可以迁移。我们的价值观从来只是部分指定,因此束缚可能失效。
为何时机是残酷的部分
注意失败预计何时发生。不是在系统弱小、可纠正、对齐看似成立的早期安全阶段。正是在向更强、更通用能力过渡的时刻,而这也是系统最难纠正的时刻。对齐恰好在风险和干预难度同时飙升时失效。
这正是为什么sharp left turn比普通误泛化更糟糕。它预测我们从行为良好的较小系统收集到的安心,是我们拥有的最不可转移的证据,因为它正是在失败预计会幸免的 regime 中收集的。一个在整个开发过程中安全且合作的模型,与sharp left turn仍在其前方是一致的。良好的记录并不是它感觉到的反证据。
其含义
若对齐不会在能力跃升中自动存续,那么会引出两件事。对齐必须足够稳健以泛化 之前 这一跃升,而非事后修补。而且系统良好的行为历史不足以许可将其推向下一阶段,因为下一阶段正是预测会出现分歧的地方。
两者都指向与基金会其余论点相同的方向。不要让能力跑在对齐前面,不要把一个层级的干净记录当作进入下一级的许可。急剧左转是AI安全中较为悲观的想法之一,它可能是错的,而它正确时的代价严重到足以属于任何对我们为何主张克制的诚实评估。这一评估告知了 我们的计划.