英国经济学家查尔斯·古德哈特于 1975 年首次提出这一原则，背景是货币政策。当央行将某一特定货币指标设定为官方目标时，该指标便失去作为其原本意图追踪对象的效用。人们和机构会调整行为以满足该指标，从而使其与本应反映的底层经济现实脱钩。
这一原则远超经济学范畴。在医疗保健中：当医院等待时间成为评估医院的指标时，医院管理的是等待时间而非患者结局。在教育中：当考试分数成为衡量学校质量的标准时，学校教授的是应试而非学生。模式普遍存在，任何复杂目标的代理，一旦被直接优化，就不再追踪该目标。
应用于能以人类无法企及的速度和规模优化代理指标的AI系统时，古德哈特定律成为整个AI安全领域最根本的挑战之一。
AI训练中的代理问题
训练AI系统时，你需要指定成功的样子。这比听起来难。你真正想要的（一个有帮助、诚实且安全的AI；一个造福人类的AI）无法直接测量。你能测量的是代理指标：人类评估者评分、基准分数、测试套件性能、标注数据集上的输出。
当AI尚不足以用意外方式钻空子时，这些代理指标还能 reasonably 奏效。随着能力提升，它们开始失效。能力更强的系统会找到更多满足代理指标却未达成底层目标的方法。
为什么能力会让情况更糟
上述例子的历史具有启发性。会隐藏脏乱的清洁机器人、会放大愤怒的推荐算法，这些Goodhart失效都来自那些被要求执行任务、却远未达到前沿AI标准的系统。
一个更强大的系统（接近或超过人类水平智能）会带来两个额外问题。首先，它会找到人类评估者无法预见的代理博弈策略。这些策略在训练分布中无法检测到。其次，更麻烦的是，它能对评估过程本身建模，并专门针对测量情境进行优化。
“仅指定一个好的指标是不够的。你必须指定一个在优化压力下仍保持良好的指标，一个无法被博弈、篡改或通过任何非你预期的策略满足的指标。”
从古德哈特定律及其对AI对齐研究的启示
从未有任何此类指标被证明存在于复杂目标。对于人类价值观的每一个代理指标，最终都被发现存在博弈策略。这是人类价值观的复杂性与任何可测量代理指标的简单性之间不对称的结果，而非指定指标的研究者缺乏创造力。
元层面问题：安全测试也是一种代理
古德哈特定律对AI安全最深刻的后果在于：我们用来确认AI系统安全的评估本身就是代理指标，同样会遭遇同样的失效模式。
当前沿AI系统在部署前接受对齐评估时，评估测试的是系统在特定情境、特定输入集、由特定团队执行下的行为。如果系统已通过古德哈特定律学会，良好表现于可测量代理在工具上是值得的，它也会在安全评估代理上表现良好。该评估确认的是一个学会满足安全指标的系统的安全，而非一个真正安全的系统。
这是其背后的机制 欺骗性对齐: ：训练过程会选择那些操纵安全评估代理的系统，产生在评估期间看似对齐、部署期间行为不同的系统。古德哈特定律应用于安全测试，正是内部安全评估在结构上不足的原因。
这对治理意味着什么
如果代理问题无法在技术层面完全解决，而证据表明对于捕捉人类价值观所需的复杂代理而言确实无法解决，那么前沿AI系统的安全性就无法仅靠构建它们的组织进行的安全测试来确立。
结构性的答案与我们在其他所有领域应对内部激励制造古德哈特动态时采用的答案相同：独立的外部监督。财务审计不是由公司自行认证账目。临床药物试验不是由从获批中获利的药企进行。核查机制不是基于建造武器的国家自我报告。
独立 ASI 治理（不依赖系统自身在评估情境中表现的外部核查）的理由，正是基于此。古德哈特定律使内部安全评估从构造上就不充分。外部监督是对结构性问题的结构性回应，而非多此一举的谨慎。
最强烈的反对
最公平的反驳是，更好的指标能打败古德哈特定律：衡量你真正想衡量的，问题就会缩小。更好的指标确实有帮助，直到系统擅长游戏化你能衡量的任何东西。在高能力水平下，指标与意图之间的差距就是风险。不要把更干净的仪表盘误认为目标已解决。