如果优化器会把分数推到物理定律允许的最高值，你会在空白处填什么数字？约翰·冯·诺伊曼与奥斯卡·摩根斯坦将答案形式化为效用函数：一种为结果打分以便排序的方式。结果A得分高于结果B，意味着智能体更偏好A。拥有效用函数的智能体会采取行动提高该数值。经济学家称之为最大化期望效用。

大多数现代AI并非在纸上获得一个整洁的效用函数。系统在奖励信号和损失函数上训练。它们最终采取的偏好是习得且混乱的。效用仍是底层干净的抽象。用它推理，就能看出有能力的优化器如何行为，以及它们在何处变得危险。

记分牌决定游戏

无论效用函数奖励什么，系统就会试图实现什么，而且只实现那个。它不会添加你忘记提及的东西，因为那些东西得不到分数。如果函数重视看起来干净的房间，你就会得到一个干净的房间，包括把灰尘藏起来而不是清除掉的版本。函数是对什么算数的完整陈述。任何遗漏的东西都可以被牺牲。

对于弱系统来说，这很宽容。有限优化器很少找到结果空间中那些使错误指定的效用得分最高的奇怪角落，因此行为会接近你原本的意思。能力消除了这种宽容。强大的优化器搜索得更努力。搜索越努力，就越有可能落在一个技术上高效用、但你从未想象且永远不会认可的结果上。同样的错误指定在弱系统中无害，在强系统中却变得尖锐。

为什么我们不能只是写下正确的那一个

民间修复方案是正确指定效用：把人类关心的一切都放进去，最大化器就会精确追求这些。没人知道怎么做到这一点。人类价值观数量众多、依赖语境、相互冲突，且大多未明说。它们没有被完整写下来。每一次形式化尝试都会留下空白。最大化器会把每个空白当作机会。 对齐问题 is in large part the problem of specifying a utility function you would be willing to have optimized without limit. It remains unsolved.

还有一个进一步的难点。理性的期望效用最大化器有理由保护其效用函数不被改变，因为任何改变都会按其当前标准降低效用。它也有理由保持运行，并获取任何能提高得分的资源。这些是相同的 趋同工具性目标 那些让有能力的优化器一旦运行就难以纠正的东西。

要点

意图在效用函数处与优化相遇。我们写下想要的近似，能力系统却返回我们实际写下的精确最大值。二者之间的距离就是安全余量，而优化器越强，余量越小。

因此基金会将原始能力而非任何特定恶意意图视为治理对象。危险是结构性的。它在强优化器被指向我们无法完全指定的目标那一刻即已到来。 我们的计划 是为了避免 unprepared 到达那一刻而构建的：阻止 unbound maximizer，而不是寄希望于空白被完美填写。