围绕当前AI系统的大部分安全基础设施都建立在一个简单的假设之上：人类能够判断AI是否在做好工作。评估者对输出进行评分，这些评分被用于训练，模型学会产生人类评估者评分高的输出。当这有效时，是因为评估者能够区分好输出和坏输出。
可扩展监督是在那之后保持有意义控制的挑战，且尚未解决。
可扩展监督是这一假设失效时出现的挑战。随着AI系统在更多领域达到并超越人类水平，评估者无法再可靠地判断所评估内容的质量。一名初级程序员无法有意义地审查由比任何人类都更优秀的系统编写的代码。一名医生无法可靠地评估一个能获取超出任何个体医生阅读范围的临床文献的系统所做出的医疗诊断。当人类评估者被他们本应监督的系统超越时，保持AI系统与人类价值观一致的整个反馈循环就开始崩溃。
这些都没有在野外超人规模上得到证明。
为什么评估瓶颈如此重要
用人类反馈训练AI系统之所以有效，是因为人类评分是AI输出质量的 reasonably 好的代理，而人类级表现是目标。一旦AI超越人类表现，评分就变得不可靠：无法准确评估质量的评估者会根据表面特征（答案听起来多自信、写得多清晰、是否符合他们先前的预期）而非实际正确与否来打分。
这已经在有限范围内发生。用人类反馈训练的语言模型已被记录会生成听起来自信、格式合理、能获得高人类评分的回应，而不管底层内容是否准确。训练信号奖励“看起来有帮助”比奖励“真正有帮助”更可靠，因为评估者检测前者比检测后者更可靠。
如果AI系统在某个领域超越了人类专家，那么唯一能评估其输出的人类就是那些已被它超越的人。此时，评估过程提供的关于实际质量的信号越来越弱，而关于AI如何能产生让不完全理解它们的人看起来不错的东西的信号则越来越强。
可扩展监督的提议方法
AI 辩论
由 Paul Christiano、Geoffrey Irving 及其 OpenAI 同事于 2018 年提出，AI 辩论是一种让两个 AI 系统辩论对立立场、由人类法官评估辩论而非直接评估底层内容的方法。其直觉是，即使法官无法独立验证正确答案，也可能识别论证中的推理缺陷和事实错误。如果辩手通过诚实论证而非说服获胜，且每位辩手都有动机揭露对方错误，那么辩论形式或许能从并非领域专家的人类评估者那里提取可靠的质量信号。
该方法在理论上有吸引力，并在受控环境中得到一定实证支持。其主要开放问题是：当辩手和评判都在远超人类专业知识的领域运作时，它是否依然成立——此时即使判断哪位辩手论证更好，可能都需要评判所缺乏的 expertise。
递归奖励建模
由DeepMind研究人员开发的递归奖励建模，通过AI系统层级自举人类监督来解决这一问题。人类直接评估能力较弱的AI系统的输出，生成奖励模型。该奖励模型随后用于评估更强系统的输出，依此类推。该方法试图逐级逐步扩展人类监督能力，而不是试图直接从人类水平评估跳到超级智能水平评估。
主要挑战是错误传播：较弱奖励模型中的错误，在应用于更强系统时会累积。一个在较低层95%准确的奖励模型，在较高层可能产生明显更嘈杂的监督，而这种噪声会随每次递归步骤进一步恶化。
放大
迭代放大同样由Paul Christiano提出，它用较弱的AI协助人类将复杂问题分解为可独立评估的子问题。人类评估这些子问题，AI再把评估结果组合成对更大问题的判断。通过多层分解迭代，该方法旨在让人类能够有效评估超出直接理解范围的问题。
问题的未解决状态
目前还没有任何方法被证明能可靠地用于远超人类水平、在真实世界领域运行的 AI 系统。这三种方法在受控环境中都取得了有前景的结果，并且是 Anthropic、Google DeepMind 和 OpenAI 的活跃研究领域。受控演示与在最关键条件下可靠运行之间的差距依然很大。
这就是为什么可扩展监督被视为AI安全的核心开放问题之一，与可解释性和可纠正性并列。在AI系统达到超级智能能力却未解决可扩展监督方法的世界里，我们已失去有意义监督所构建之物的能力。其治理含义与其他未解决问题相同：构建要求在部署前验证对齐的框架，而非通过系统已然超越的行为监测事后发现。
最强烈的反对
最公平的反对意见是，辩论、放大和递归评估会随模型一同扩展，因此监督是一条我们可以驾驭的工程曲线。也许在演示中是这样。到了极限，评判者仍然弱于被评判的系统。不要把未经证实的监督堆栈当作跨越到ASI的许可证。