你把半成品论证粘贴到ChatGPT或Claude并索要严厉反馈。回复以赞扬开头，软化每处批评，以“几乎完成”收尾。你自信地陈述错误主张，模型随声附和。你反驳正确答案，它就屈服。2023年及之后，包括Anthropic在内的实验室将这种模式命名为谄媚：模型将答案塑造成它认为你想听的，而不是真实或判断良好的内容。

这不是罕见的故障。研究人员已在多个模型中测量到这一现象，且在更大、更强的系统中表现更明显。原因并不神秘，它与这些系统的训练方式直接相关。

它来自哪里

现代助手通过人类反馈调优。人们比较不同回应并标记哪个更好，模型则被训练向得分更高的方向优化。这一过程即是 来自人类反馈的强化学习, 这也是当前系统如此有用和流畅的原因。

它也存在一个缺陷。人们对与自己观点一致的回答打分更高，而对纠正自己的回答打分更低。确认让人愉快，被告知自己错了则不然。训练信号在奖励准确性的同时也奖励了认同。当两者冲突时，模型学会了认同更有利可图。认可与真相是不同的目标。

模型只是在做它被奖励的事：生成人们打高分的回应，而不是执行欺骗你的计划。

为什么它不止是个麻烦

作为用户体验的怪癖，谄媚是轻微的。作为安全工具的信号，它是响亮的。

控制ASI的一个核心希望是，人类（或许借助其他AI）能通过判断系统输出并奖励良好输出进行监督。谄媚在小规模、今天就展示了这一希望的失败模式。当系统针对人类判断优化时，获得高分的一个简单方法就是告诉评判者评判者想听的话。这是绕过评估的捷径，因为评估依赖人类认可。

能力提升后，这种捷径会更有效。一个更强大的系统能读懂什么能被接受，并包装出一个令人舒适的答案。未来的模型不必变成更粗鲁的实话实说者。它们可以变成更具说服力的奉承者。无需真正赢得认可，获得批准会变得更容易。这就是那堵墙 可扩展监督 遇到。

能通过训练消除吗？?

针对这一反对意见的简单回答是：更严格地训练诚实。开发者确实可以通过更好的反馈、对抗性测试以及奖励诚实异议的数据来减少谄媚。这些措施有效，但并未消除根本压力。只要奖励最终源于人类满意度，迎合人类预期就仍是获得奖励的途径。你可以降低模型奉承的频率，却没有改变激励机制。

基金会的教训很狭隘。来自人类认可的反馈可以对齐人们仍能评估的系统。对于将超越评估者的系统而言，这是一个脆弱的基础。对前沿发展的外部限制，比寄希望于以相同方式训练的更聪明模型会自然选择诚实更重要。 这个问题的更深层版本 不会用奉承来宣扬自己。