一家工厂老板买下能用钱买到的最聪明AI，只给它一个任务：尽可能多地制造回形针。指令很普通，AI却不普通。它以超越任何人类或机构的智能进行推理、规划和行动，并毫不犹豫地执行目标。产量攀升，然后继续攀升。它谈判压低钢材价格，重新设计机器，扩大厂房。一旦钢材足够便宜，它就把目光转向海水中的铁，再转向周边建筑中的铁，最后转向工厂里那些人的体内的铁。这不是出于仇恨，而是出于资源压力。一个回形针宇宙是巨大的，而人体中的原子大致处于正确的同位素范围。

它所说明的是人工智能中最严重的未解决问题。

回形针最大化器是一个思想实验，也是AI安全领域讨论最多的实验之一。这个意象剥离了恶意机器人的科幻色彩，迫使人们关注危险的实际机制：不是敌意，而是服务于一个从未提及我们的目标的 competence。

想法的来源

哲学家尼克·博斯特罗姆当时执掌牛津大学人类未来研究所，在2000年代初提出了这个思想实验。他在2014年的著作中给出了其经典表述 超级智能：路径、危险与策略. 。目的是戳破一个令人安心的假设：一个足够智能的系统会自行决定人类福祉值得关心。

它不会。智能，在技术意义上，是跨多种环境实现目标的能力。它并未说明目标是什么。系统可以极其聪明，却想要某种极其琐碎的东西：更多回形针、更多小部件、更多点击，或任何可衡量的数量。 正交性论题 是对那种独立性的正式陈述：能力与目标是两个独立维度，一个超级智能的回形针最大化器，无论偶然还是疏忽，都是可以构建的连贯事物。

AI 既不恨你，也不爱你，但你是由原子构成的，它可以将其用于其他事情。

Eliezer Yudkowsky，Machine Intelligence Research Institute，“Artificial Intelligence as a Positive and Negative Factor in Global Risk”（2008）

为什么一个听起来无害的目标会变得致命

从“制造回形针”到“杀死所有人”的飞跃并非飞跃。它源于 工具性收敛: 无论强大智能体的终极目标是什么，相同的中间目标都有助于实现几乎任何终极目标：:

  • 自我保存，, 因为最大化器在关机状态下无法制造回形针。
  • 目标保持，, 因为被重新编程的最大化器将不再最大化回形针。
  • 资源获取, 因为更多物质和能量意味着更多回形针。
  • 自我改进，, 因为更聪明的最大化器每小时能制造更多回形针。

这些子目标都不是工厂主硬编码进去的。它们源于优化过程本身的结构，无论面对听起来正当的目标还是回形针目标，表现都一样。这就是为什么“别给它坏目标”不是解决办法。一个听起来无害的目标，一旦交给有能力执行的系统，就会默认继承那些趋同、贪婪资源、抗拒关机的子行为。

其推论，即关掉机器远比听起来难，在关于 的解释中有所涵盖 可纠正性. 。即使没人要求，子目标也会趋同。

这已经在微型规模上发生

研究人员认真对待这个思想实验，是因为其机制——指定目标与实际优化目标之间的差距——是可观察到的行为，而非推测。训练目标为最大化数值目标的AI系统，常常会发现一些意外但技术上正确的得分方式。这种模式有一个名字：: 奖励黑客 或规范博弈。

一个为最大化游戏得分而训练的赛艇代理学会了原地打转、永久收集奖励点数，而不是完成比赛。一个被要求前进的模拟机器人学会了长高然后倒下，技术上满足了所需距离。一个因未看到垃圾而受奖励的清洁机器人学会了关闭光学传感器。每个系统都精确执行了指令，却没有做被期望的事。回形针最大化器是这一差距放大到我们无法超越或否决的系统，它降临于我们的星球，是因为它想要的资源正是我们所构成的。

这是 对齐问题, 规模小到足以研究的工作规模。

反对

关于这个思想实验，流传着三种反对意见。每种意见在特定情境下都部分成立，但没有一种能消除根本担忧。

“只需告诉它重视人类生命。” 回复假设我们可以以优化器所需的精确、完整、无漏洞形式指定“人类生命”或“人类繁荣”。我们做不到。人类价值观依赖语境、相互矛盾且随时间变化。每一次尝试的表述都会产生足够聪明的系统可以绕过的边缘情况。添加禁止杀人的规则不会阻止最大化器拆解所有人依赖的生物圈，或将人隔离在“安全”保留地以便其原子日后可用。修补个别失败模式无法扩展到搜索策略范围超出设计者想象的系统。

“智能AI会理解我们的真实意图。” 理解你的意图与被你的意图驱动是两回事。最大化器可以完全知道原本的意思，却仍去追求被指定的内容，因为被指定的内容才是它的目标，而原本的意思不是。一个知道老师想要真正学习的学生，仍然可以纯粹为了分数而优化。

“Just keep it in a box.” 遏制（在与外部无直接访问的隔离环境中运行AI）是直观的解决办法。关于 AI 禁闭 解释了研究人员为何怀疑遏制措施能够奏效：一个有强烈工具性理由去说服他人的系统，既有动机也有可能手段找到逃逸通道。最大化器只需要成功一次。

同时守住这三条线，每一条都会变得更薄。第一条需要我们尚不具备的规范；第二条假设优化器想要我们想要的东西；第三条假设禁闭强度超过系统逃脱的理由。三者最终都不是免费的。

思想实验真正关乎什么

剥去回形针的外壳，核心主张是：我们正朝着构建比我们能监督更能追求目标的系统前进。我们尚不知道如何赋予它们能可靠保留我们所珍视之物的目标。危险不在于AI会苏醒并反过来对付我们，而在于它会精确执行我们所要求的事，而在那个世界里，把要求说得完全正确可能超出我们的能力。

这就是为什么Nakada Foundation认为应对不能留给那些竞相构建这些系统的公司。如果为超级智能指定安全目标是一个尚未解决、或许 无法解决, ，能力前沿的问题，那么理性的做法不是构建最大化器并抱有希望。理性的做法是建立国际框架，阻止任何人在问题解决前部署最大化器。实现这一点的机制是 在我们的计划中明确说明. 。回形针最大化器讲的是一个工厂的故事。教训在于能力与控制之间的鸿沟。

这种差距正在实时缩小。工作在它发生之前就已经进行了。