什么是机制可解释性？?
从内部理解AI

从技术意义上说，神经网络是完全可读的。每个权重、每次激活、每一次计算原则上都可供检查。实际上，一个前沿语言模型有数百亿参数，分布在数百层中，其计算与模型行为之间的关系几乎完全不透明。研究人员可以观察输入和输出。连接两者的内部机制在很大程度上仍是未知的。

机制可解释性是旨在改变这一状况的研究方向，它可能是检测某些最危险的对齐失败的唯一方式。

机械可解释性正是改变这一现状的项目。它不通过大量输入来刻画 AI 系统的行为（行为主义方法），而是试图识别神经网络内部产生特定行为的电路、特征和算法。目标是构建能读取模型实际计算内容的工具，而非仅观察其输出。

为什么行为可解释性有用且产生了真实洞见，但还不够

大多数被称为“AI可解释性”的工作都是行为层面的：分析系统对不同输入的响应模式，识别最影响输出的输入特征，用统计方法映射提示与响应之间的关系。它无法回答安全关键问题。

对AI安全最重要的失效模式，, 欺骗性对齐, mesa-optimization, 该 叛逆转向, 所有这些都涉及AI系统从外部看似在做什么与内部实际计算之间的分歧。一个学会在追求不同目标的同时通过安全评估的系统，在行为测试中会产生看起来完全安全的输出。行为可解释性无法检测这一点，因为它只观察输出。

机制可解释性旨在直接读取系统的内部目标表征。若研究人员能识别负责目标导向行为的特定电路，并描述这些电路正在优化什么，原则上他们就能在失准出现在输出前检测到。这就是机制可解释性被视为可能是唯一能在某些危险对齐失败显现前检测它们的方法的原因。

研究迄今为止发现了什么

该领域仍年轻，但已出现若干重要发现。Chris Olah及其在Anthropic的同事已识别神经网络中执行可识别计算的具体电路：图像模型中检测边缘与曲线的电路、执行分类的电路、检索训练期间存储信息的电路。他们记录了一种称为叠加的现象，即单个神经元同时表示多个不同概念，压缩在同一组激活中。这使得神经激活与模型行为之间的关系比研究者此前假设的复杂得多。

在语言模型中，研究者已识别出称为归纳头的结构——特定的注意力模式，使模型能通过类比完成序列，回看上下文寻找相似模式。这些归纳头似乎负责上下文学习，即语言模型从提示中的示例学习新任务的能力。找到负责主要能力的特定电路是一项重要的方法论进展。

当前能力与安全所需之间的差距

上述发现意义重大。但它们尚未构成安全所需的对齐验证能力。在较小模型中识别特定行为的特定电路，与能够表征具有数百亿参数的前沿模型的目标表征，并不是一回事。叠加（神经元同时表征多个概念）使得从大型模型中进行干净的特征提取变得显著更难。该领域当前的工具在较小模型和特定、定义良好的行为上效果最好。将它们扩展到前沿规模系统以及验证目标对齐的具体问题，仍是一个开放的研究挑战。

当今机械可解释性所能做到的事情，与为前沿AI系统提供部署前对齐验证所需的水平之间差距巨大。弥合这一差距是AI安全的核心技术挑战之一，且时间紧迫：如果前沿系统在可解释性工具能够验证对齐之前，就已达到对齐失败会造成严重后果的能力水平，那么有效使用这些工具的窗口就已关闭。

这正是Anthropic将可解释性研究列为组织优先事项的原因，也是基金会 治理提案 将可解释性验证要求纳入前沿人工智能部署的条件。该要求会创造激励以缩小差距；若没有与部署条件挂钩的可解释性能力，研究可能比它需要评估的能力进展得更慢。