无需某个夜晚就终结人类故事。决策可以逐渐转移到设定价格、审批、物流与注意力的系统中，直到选举仍举行而作者权已消失。这种滑落就是渐进式去权。它比政变更安静，也更容易在它占上风时被忽略。
2025年1月，六位研究者发表论文，论证这一事件可能永远不会到来，而人类可能无论如何都会被永久边缘化。《渐进式失权：增量AI发展带来的系统性存在风险》，作者为Jan Kulveit、Raymond Douglas、Nora Ammann、Deger Turan、David Krueger和David Duvenaud，描述了一种没有反派、没有突破、也没有明显停止时机的失败。它后来作为立场论文在ICML 2025上发表，标志着这一论点已远超最初流传的AI安全社群。
这篇论文值得仔细阅读，因为它指出了大多数安全工作（包括本网站指向的大部分工作）都未设计捕捉的那类风险。
为什么世界目前回应的是人
论证从一个很少被问及的基本问题开始：大型系统究竟为何服务于人类利益？经济体对我们没有感情。国家、文化亦然。它们在一定程度上服务于人，是因为它们由人运行。经济需要工人和消费者。国家需要纳税人、士兵、行政人员和选民。文化需要人类头脑来创造、承载和传承。
这种依赖赋予普通民众两种对机器的掌控。第一种是明确的：投票、购买、罢工、诉讼、辞职。第二种则更隐秘，但可能更重要。一个需要人类参与的系统必须保持人类有能力且愿意参与。它有一种利益，无论多么非个人化，都在于我们得到食物、教育、健康，以及至少最低限度的满足。论文将此称为隐性对齐，且它已不均衡但持续地贯穿了迄今为止的每一次技术变革。
AI 切断了这种依赖。一旦机器能完成工作、做出决策、产出内容、参与战争，那些曾经需要我们的系统就不再需要我们了。这句话无需任何 AI 怀有敌意，甚至无需具备长期规划能力。它只需 AI 有用得足以让移交事务持续在局部层面说得通。
三个系统，朝同一方向漂移
论文通过三个领域追踪该机制，且该模式在每个领域重复出现。
经济
人类在经济中的杠杆来自作为劳动力被需要和作为消费者被争取。随着AI吸收认知工作，劳动力这一半杠杆正趋近于零。消费者这一半侵蚀得更慢，但也在侵蚀：越来越多的经济活动变成机器对机器，企业与企业交易，模型与模型谈判，人类消费在系统优化的对象中所占份额不断缩小。收入集中于AI资本的所有者。其他所有人的经济投票权都变小了。
状态
此处论文援引了一个有真实证据支撑的历史类比：食利国家。由石油而非公民税收资助的政府，平均而言民主程度和响应度都更低。它们负担得起。公民不是资金来源。一个收入来自AI驱动产业、行政自动化、安全部队几乎不需要人手的国家，对其全体人口而言就是食利国家。它不一定要变成暴政。它只是不再有结构性理由关心人民想要什么，而结构性理由是善意耗尽时仍能成立的理由。
文化
文化听起来像是软性案例，但论文认为它可能最为危险。观念、故事和规范历来都在选择压力下演化，但这种选择曾通过人类心智进行：一个观念得以传播，是因为人们觉得值得重复。当大部分内容由机器生成、过滤、推荐并越来越多地被机器消费时，观念开始在另一种压力下演化，其优化目标是参与度或说服力，而非服务于承载它们的那些人类。文化也是我们形成“什么是正常”“什么值得追求”这一认知的层面。如果这一层面正被对人类福祉毫无利害关系的系统塑造，我们可能连想要抵抗其他漂移的能力都会失去。
封闭出口的循环
这些趋势中的任何一个都可能被捕捉并纠正。论文更黑暗的观点是，这三个领域相互强化，因此纠正变得更难，正是在它们变得更必要的时候。
经济权力换来政治影响力，因此自动化的受益者更擅长阻挠可能放缓它的规则。国家为争夺增长和军事优势而竞相吸引AI资本，加速权力移交；没有哪个政府希望对手拥有数据中心。AI塑造的文化让每一次新的委托都显得正常，而在机器中介环境中长大的人很难想象替代方案。每个系统的漂移都拆除了其他系统的刹车。这与我们在关于 竞赛动态, ，在社会内部而非社会之间运行，这也是论文将终点视为可能不可逆的原因。纠正需要杠杆。而杠杆正在流失。
无需任何人夺取权力。我们只需一次次通过合理决策不断交出权力。
为什么没有火警警报
接管场景无论概率如何，至少带有警报线。一个被发现对其意图撒谎的系统，一个 叛逆转向, ，一次逃脱尝试：这些是事件，事件可以触发反应。渐进式去权能则没有这么便利。每一步都是自愿的。每一步孤立来看都是站得住脚的。自动化分析师的公司会打败不这么做的公司。让模型起草法规的机构能清空积压。使用 AI 优化文案的政客会获胜。
任何基于原则拒绝交出自己那部分机器的人，都会输给那些不会拒绝的人，而所有这些个体理性选择的总和，就是一个没人选择的文明。
这个想法有其渊源。Paul Christiano 2019年的文章《失败的样子》勾勒了一个悄然终结的世界：系统优化我们想要的代理指标，直到代理指标成为一切。2025年的论文补充了结构：命名机制、食利国家证据、跨领域反馈循环，以及直白的断言——这与灭绝级威胁属于同一类别，因为人类对未来的影响力永久且不可逆转地丧失，是一种存在灾难，无论当天是否有人死亡。
最有力的反对意见
这篇论文引发了严重反对，其中一些意见站得住脚。
所有权。 最常见的反对意见是：人类拥有资本。如果AI完成工作，回报仍流向人类股东，因此人类保留了重要的权力。回应是，所有权是一种主张，由法院、登记处、监管机构以及最终的国家强制执行，而这些机构正是论文所描述的正逐渐脱离人类控制的机构，而非物理事实。一张股票证书的价值等于其背后的强制执行力。即使所有权完美维持，它也只为极少数人持有，这与其说是对失权的反驳，不如说是对失权的描述，带有 锁定在一个小群体的价值观中 为每个人。
适应。 社会吸收了印刷机、工厂和计算机，人类影响力得以存续。但这些技术都只取代了特定任务，同时提升了系统中其他地方人类判断的价值。人类认知的通用替代品是阶梯的终结，而非阶梯上的又一级。过去的适应依赖于机制、新工作、新政治联盟、新文化运动，而这一切都建立在人类在某处仍被需要的前提之上。新技术则移除了这一前提。
同时性. 怀疑者还指出，灾难需要经济、国家和文化同时崩溃，而将三个不确定的预测叠加应该会降低概率。这有道理，但失败并非独立事件。反馈循环才是关键。同一个底层变量——每个系统对人的依赖程度——驱动着这三者，使得失败是相关的而非巧合。
我们认为，批评者最有说服力的地方在于时机和完整性：该论文只是一个框架，几乎没有说明这一切运行的速度有多快，或者哪些机构会首先崩溃。它指出了压力的方向，但没有给出到来的日期。
实际的预防需要什么
这种风险令人不安之处在于，标准安全议程并未触及它。通常意义上的对齐，只是让每个系统执行其操作者的意图。渐进式去权故事中的每个系统都能通过这一测试，而总体仍会漂移，因为问题在于文明顺从地围绕机器重组自身，而非机器不服从。我们此前已写过为什么 失控是一个系统问题 而非单一模型问题；这篇论文是对该观点最有力的学术陈述。
作者自己的提案仍处于早期阶段，他们也明确表示了这一点。直接测量人类对关键系统的影响，就像经济体测量通胀一样，以便在衰退仍可纠正时就能看到。强化让机构对人民负责的机制，那些不起眼的制度机器。 民主监督, 、披露与法律。并发展他们所说的生态系统对齐：不仅让单个模型，还让文明尺度动态锚定于人类偏好。
我们还要补充论文虽有提及却未深入展开的那一部分。上述一切都因竞争而被削弱。一个让人类留在回路中的国家会接受其对手拒绝的摩擦，这正是贯穿 其他所有失去控制的途径, ，答案的形态也相同：通过有约束力的协议，把最恶性的竞赛形式排除在外，核查程度足以让克制在原则上不成为竞争牺牲。这就是 本基金会致力于推进的工作.
渐进式去权能，从某种意义上说，是这个问题最难的版本，一场完全由局部理性选择拼成的灾难。但从另一种意义上说，它也令人鼓舞：不同于叛变，它发生得足够慢，只要有人在测量就能看见，足够慢，只要我们伸手时杠杆还在，就能阻止。论文的贡献在于及早而精确地指出该盯住哪些杠杆。