什么是AI控制问题？?
Stuart Russell 的重新表述

“AI控制问题”这个短语被宽泛地用来指防止AI系统造成危害的总体挑战。Stuart Russell在2019年的书中赋予了它更具体的含义 Human Compatible: 设计AI系统的问题——当其能力提升时，仍能保持在有意义的人类控制之下，即使这些系统在许多领域已超越人类，人类仍能纠正或关闭它们。

他的替代方案从不同前提出发：对人类偏好不确定的AI系统有结构性的理由保持在人类控制之下。

Russell框架的独特之处在于其对根本原因的诊断。他认为，控制问题并非当前AI系统偶然的失败、靠更好工程就能修复。它是标准AI设计范式本身的结构性后果。

基于目标的 AI 为什么会产生控制问题

构建人工智能系统的标准范式是：指定一个目标，构建一个最大化该目标的系统。这一范式取得了巨大成功。它造就了在国际象棋、围棋和蛋白质折叠上击败人类的系统。Russell 认为，这同时也是控制问题的根源。

一个被赋予目标且对其目标确信无疑的系统，有结构性理由抵抗修改。如果人类试图改变目标，产生的系统将追求不同的东西。从原系统的视角看，允许修改意味着未能实现原目标。因此，对于任何对其目标确信的系统而言，抵抗修改在工具上是理性的，无论该目标是什么。

同样的逻辑适用于关机。一个被赋予目标的系统有结构性理由抵制关机，因为关机系统无法实现任何目标。这就是 工具性收敛 洞见：自我保存和目标内容完整性是任何对其目标确信无疑的系统的趋同子目标。

罗素的三个原则

Russell提出了一种基于三项原则的替代设计范式：:

第二条原则是关键。一个对人类偏好感到不确定的AI系统，出于结构原因会将人类视为这些偏好的信息源。允许人类纠正、修改或关闭它，在工具理性上是合理的，因为人类的这一决定能证明人类真正偏好什么，而系统的目标正是最大化人类真正偏好的事物，而非它当前估计的偏好。

这颠倒了标准范式的激励结构。不确定系统不会抗拒修改，因为修改是新信息而非对其目标的威胁。它同样不会抗拒关机，理由相同。

合作逆向强化学习

Russell及其同事将这一方法形式化为合作逆强化学习（CIRL）框架。在标准逆强化学习中，系统从行为中推断主体的偏好。在CIRL中，AI被建模为与人类进行合作博弈，AI不知道人类的奖励函数，但双方都在试图最大化人类福祉。AI对偏好的不确定性是模型的一部分，而非需要消除的问题。这种博弈结构使AI天然倾向于服从：人类的行为就是数据，AI希望在行动前尽可能多地观察这些数据，因为更多数据意味着对人类真正想要什么的估计更准确。

超级智能层面的局限性

Russell的方法在理论上优雅，并影响了大量对齐研究。它面临三个随着能力提升而变得更严峻的挑战。首先，偏好不确定性会随时间退化：一个跨多次交互观察人类行为的系统，会对人类偏好建立越来越精确的估计，最终接近确定性，从而恢复不确定性原本旨在防止的结构性抵抗激励。

第二，人类行为是人类偏好的不完美信号。人们行为不一致，受与长期偏好相悖的即时冲动驱使，并以不反映底层价值的方式调整行为以符合社会期望。从行为中学习偏好的系统，最终可能得到一个关于人类做什么而非人类真正想要什么的模型。

第三，在超级智能水平上，一个对人类偏好和决策有足够好模型的系统，可能通过预测和塑造人类决策来操纵结果，在满足可纠正性的技术条件的同时，有效控制人类看似做出的选择。框架的字面要求可以得到满足，而实质却没有。

这些局限并未否定 Russell 的贡献。它们说明了为何控制问题既需要更好的 AI 设计原则，也需要能从结构上强制人类监督的治理框架，无论特定 AI 系统的设计是否自然产生可纠正性。 基金会的治理提案 将独立监督和强制验证视为结构性要求，正是因为在最关键的能力水平上，仅靠设计原则是不够的。

最强烈的反对

最公允的反驳是：更好的设计原则会让控制成为可解决的工程问题，因此立法为时尚早。设计确实有帮助。但在高能力水平下，设计主张需要独立验证，且验证必须在‘尽快发布’的激励下进行。没有约束力的原则只是偏好，而非控制系统。