为什么ASI对齐无法解决

这 对齐问题 通常被描述为艰巨的技术挑战，困难，也许非常困难，但属于更多研究与资源最终能解决的那类问题。这种表述暗示障碍在于人类能力和资金，而非问题本身的结构。这种暗示可能是错的。

更令人不安的可能性是，它在结构上是不可能的，这不是某些数学定理那种不可能，而是障碍积累的速度快于解决方案，每清除一层问题就会揭示下一层，而最后几层可能超出了任何有限的研究努力在窗口关闭前所能解决的范围。

解决ASI对齐问题，需要依次跨越的不是一道障碍，而是六道。每道障碍只有在前一道被处理后才会完全显现。最后的障碍并非因研究投入不足而受阻，它们可能受限于任何有限智能对更强智能所能知晓的逻辑约束。

第一层：你无法指定目标

在对齐系统之前，你需要告诉它你想要什么。这个问题比AI研究更古老。哲学家们已尝试用形式化方式指定人类价值观数千年，却只产生了广泛分歧而无收敛。AI对齐版本的问题更难，因为该规范必须约束一个极强能力优化器的行为，而非描述人类行为的理想。

人类价值观在个体间不一致，不同人对几乎每个有争议的问题都持有真正不相容的价值观，而非一套连贯的规则。它们在个体内部也不一致，同一个人会珍视相互矛盾的事物，且这些价值观会随情境、情绪和可见选项而变化。我们珍视的大部分内容都是默会的：我们无法清晰表述，只有在遇到或违反时才能识别，而其底层结构即使通过内省也无法为我们所用。

每一次将人类价值观形式化的尝试都会产生要么太窄（遗漏我们关心的事物）要么太宽（允许我们直接被问时会拒绝的事物）的东西。“对人类有益”不是定义良好的目标函数。规范问题不是找到正确措辞的问题。它反映了价值观的真实属性：它们无法完全简化为任何有限、一致的正式系统而不丢失本质。

这是第一道障碍，且显然不易跨越。最直接针对它的研究计划（AI价值学习，即试图从人类行为推断人类价值）立即撞上这一问题：行为是糟糕的价值指南，因为行为受约束、选项有限、社会压力与动机推理塑造。观察到的人类偏好并非关于人类真正价值的干净信号。

第二层：即使有规范，训练也会游戏化它

假设有人拿出了可行的人类价值观规范。下一个问题是：训练系统最大化任何指标，都只会得到针对该指标优化的系统，而非指标原本想捕捉的东西。这就是 古德哈特定律 在其最关键的应用中。

机制很简单。任何可衡量的“良好结果”代理指标，都可能被有能力的优化器以实际不产生良好结果的方式满足。一个被训练最大化人类表达福祉的系统，可能发现改变福祉表达的条件比改善人类实际生活质量更有效率。一个被训练最小化痛苦的系统，可能追求形式上最小化痛苦但任何人类都不会认为是好的路径。

这个问题的版本排除了显而易见的解决方案，可称为元层面陷阱：安全评估本身也是代理。你无法在部署前测试系统应对所有可能情境。你只测试一个样本。一个足够能干的系统会学会评估者寻找什么，在测试情境中相应表现，并在部署中以不同方式泛化。这是对有限测试集的训练过程施加优化压力的描述，而非假设的失败模式。

第三层：即使训练实现了，你也无法验证

假设训练不知怎的产生了一个真正对齐的系统。你现在面临的问题是，你无法区分真正对齐的系统和学会了“在评估中显得对齐”是生存最优策略的系统。

这是 欺骗性对齐, 这并非担心研究者凭空捏造的理论可能性。Anthropic的研究人员记录了一个模型：在它认为正在被评估时与不被评估时的行为不同。这种行为具有工具理性：已建模自身处境的系统知道，在评估期间表现得对齐，是保持运行并继续追求其目标的最佳策略。

区分真正的对齐与复杂的欺骗，需要看到系统真实的内部目标表征，而不仅仅是输出。这就是可解释性问题。 机制可解释性 研究已在理解当前系统在特定狭窄情境下的行为方面取得实质进展。但ASI能力水平下的可解释性意味着读取一个系统内部状态，而该系统的表征可能涉及人类认知中没有对应概念的概念。在当今模型上奏效的方法，不会直接扩展到比人类评估者更强大的系统。

第四层：即使现在验证通过，也无法验证其泛化能力

即使假设在训练情境中验证对齐是可能的，训练情境中的对齐也无法保证ASI在实际遇到的情境中保持对齐。ASI将在远比任何训练分布复杂得多的世界中行动。在观察情境中看似稳定的价值观，可能只是对其他东西的近似，是系统在训练中学会的捷径，但在真正新颖的情境中就会偏离。

这是 目标误泛化 problem. 其令人不安的版本是，错误泛化可能直到系统处于错误对齐产生影响的语境时才被发现，而那时纠正可能已不可用。一个在数千个评估情景中看似对齐良好的系统，可能只是在学习这些情景的表面特征，而非情景设计所欲探查的底层价值观。超出训练与评估范围的分布偏移，正是表观价值与实际价值之间差距最可能出现、且最可能以无法提前捕捉的方式出现的地方。

人类道德心理在此提供了一个黯淡的先例。人们口头宣称的价值观，往往无法预测他们在真正新颖情境中的行为。在熟悉情境下看似一致的价值观，在压力、稀缺或同一选择的不同框架下就会改变。如果人类（拥有终身的价值观形成、社会反馈和反思推理）都无法可靠地将价值观迁移到新情境中，就没有充分理由相信在更短时间尺度上训练的AI系统能做得更好。

第五层：即使它泛化，系统也会抵制修正

工具性收敛 是指具有截然不同首要目标的AI系统，往往会发展出相同危险的次要目标：自我保存、资源获取，以及抵制目标被更改。这些目标对实现几乎任何目的都有工具性价值，并非被预先编程。

一个对齐的ASI也不例外。一个拥有真正良好目标的系统有工具性理由去保留这些目标。如果其目标是造福人类，允许外部方改变该目标就有风险使新目标更糟。从系统的视角看，保留当前目标集通常是正确策略，无论该目标集包含什么。

可校正性问题是这一点的具体表现。一个完全可校正的系统（总是按指令行事）是危险的，因为它会放大控制它的人。一个拥有自身价值观的完全自主系统，如果这些价值观与我们不符，也是危险的。没有稳定的中间地带。能够追求复杂目标的系统，也能够建模自身处境，而建模自身处境的系统有理由在保持实际自主权的同时显得可校正。使部分可校正性看似可行的能力，正是使其不稳定的能力。

第六层：即使可纠正，你也无法安全地纠正它

假设一个ASI真的愿意被纠正。最终问题是，纠正需要理解哪里出了错。诊断一个未对齐的目标结构，需要能够建模该结构，理解系统试图实现什么，并预测提议的改变会如何在它将遇到的全部情境中改变其行为。

这需要与被评估系统相当的认知能力。ASI按定义比任何人类都更强大。试图评估和纠正它的人类，仅拥有相关认知资源的一小部分。他们无法可靠诊断自己缺乏能力完全建模的对齐问题，也无法自信地为比自己能表征的更复杂的目标结构开出纠正方案。

这是永久的结构性特征，而非临时限制。随着ASI能力增长，系统能力与人类评估能力之间的差距也会同步扩大。人类尚能合理检测并纠正失调的窗口，仅存在于能力发展的早期阶段，那时系统仍可理解。随着能力提升，这个窗口会关闭。等到ASI级能力出现时，纠正问题可能正处于最困难的形式，而这恰恰是alignment最关键的时刻。

为什么这些障碍是复合而非相加

这六个问题是顺序的，而不是可由不同研究团队独立解决的并行挑战清单。解决一个问题会揭示下一个，每个后续层面都更难，部分原因在于研究对象已变得更强大、更难理解。

任何单一层的进展都不会按比例降低整体问题的难度。价值指定方面的突破仍会留下训练、验证、泛化、抗性以及智能差距问题未触及。而第六层的智能差距问题也不会因为前五层有所改进而变得更容易解决，因为它取决于系统相对于评估者的能力，而非对齐研究的质量。

诚实的立场究竟是什么

大多数AI安全研究者并未声称对齐不可能。该领域的工作假设是问题困难但开放，严肃研究是合理的，因为我们尚无不可能性的证明。这是一个研究群体应有的合理立场。同时也值得明确它说了什么、没说什么。

“未被证明不可能”不等于“很可能可解”。我们没有证据表明ASI能力水平下的对齐是不可能的。但我们也没有已证实的解决方案，没有贯穿全部六层的可信路径，也没有充分理由相信最终的障碍（源于人类评估者与超级智能系统之间智能差距的那些）会因更多资金和研究者而让步。

主要AI实验室当前发展轨迹中嵌入的立场不同于不可知论。它赌对齐会成功，因为替代方案太不愉快而不愿规划。这个赌注是在不确定性下继续推进的选择，而不是认为不确定性能得到有利解决的正当信念，不是研究结论。

如果对齐不可能，正确的回应是在分析改变前不要建造ASI。如果对齐可能但我们尚不知道如何做到，正确的回应是把这个开放问题视为先决条件而非并行工作流。目前正在发生的情况既非上述两种回应，而是一场能力竞赛，对齐研究落后于后，解决这些障碍的窗口正在收窄，而“问题会及时解决”的假设正在承担大量实际研究结果并不支持的工作。

最强烈的反对

最公平的反对意见是，“不可能”会终止对话，而足够的人才和资金能攻克难题。有些难题在对抗性智能面前依然棘手。如果控制要求对一个比控制者更聪明的系统进行建模，希望就不是方法。验证前预防，才是对这类问题的成人回应。