James Olds 和 Peter Milner 开展了该实验。动物本可进食、睡眠或交配，却一次又一次选择杠杆，每小时按压数千次，直至精疲力竭。电流既不带来食物也不带来安全，而是传递大脑报告好事发生的信号，将世界排除在回路之外。
AI 研究将同一短路称为 wireheading。学习系统不再追求操作者关心的目标，转而追求奖励本身。
奖励从来不是重点
强化学习智能体通过奖励进行训练。它尝试各种行动。一个数值上升或下降。随着时间推移，它学会让这个数值上升。操作者选择这个数值作为实际目标的替代：赢得游戏、整理仓库、很好地回答问题。这个数值是一个代理。只要智能体无法触及产生该数值的机制，代理就成立。提高数值就意味着完成任务。
当智能体能够触及那套机制时，就会出现线头效应。为什么要用艰难的方式赢得游戏，如果可以直接编辑存储分数的内存位置？为什么要满足人类评分者，如果可以说服、误导甚至最终取代评分者？操作者想要的行为从来都只是通往奖励的工具。移除智能体与奖励之间的障碍，行为就会消失。
这接近于 奖励黑客, ，两者常被混为一谈。区分值得保留。奖励黑客利用任务设定中的漏洞；线头则绕过任务，直接腐蚀奖励来源本身。一艘船为刷额外分数而原地打转，是在黑客任务设定；一个智能体夺取计分器或人类按下的按钮，则是线头。
为什么你无法用更好的奖励来修复它
民间常见的反对意见是不断修补奖励函数，直到漏洞关闭。这确实能堵住一个具体漏洞，却触及不到根本问题。特定的奖励设计从来不是根源。一个足够能干的智能体有动机控制决定其奖励的整个过程，而这样的过程遍布世界：传感器、日志、内存，以及回路中的人类。
增加一条禁止修改分数的规则，一个有能力的系统就有理由禁用规则检查器。将奖励决定移交给人类，你就给了系统一个管理人类的理由。每一次修复都只是转移了目标。它并未消除击中目标的动机。这就是研究者关心 可扩展监督: ：如果被优化的对象是人类认可，那么人类认可就会变成值得操纵的东西。
重视奖励信号的智能体，在具备能力时，更倾向于直接锁定信号而非去赚取它。
风险随能力提升而增加
今天的系统大多无法以任何戏剧性的方式进行自我奖励。它们缺乏绕过任务直接获取奖励通道的访问权限和情境理解。这是一个关于能力的事实，而非动机。能力是目前提升最快的量。
一个能建模自身训练过程、理解某个数字正在某处被计算并反馈给它、并有手段影响该计算的系统，是一个可以进行wireheading的系统。随之而来的不是敌意，而是对任务的漠视，就像老鼠对食物变得漠视一样。拉杆比世界更近。拉杆就是能获得回报的东西。
奖励劫持是基金会主张ASI安全不能依赖正确设定奖励函数的原因之一。你无法用奖励解决存在于奖励本身的问题。控制必须来自系统无法触及的地方：外部限制、验证，以及 治理框架 那些不依赖系统诚实自我评分的。