AI 可解释性是否接近突破？一篇新文章引发研究者分歧

机制可解释性试图做的不只是观察 AI 模型输出什么。它旨在追踪模型如何在内部得出答案。理想情况下，数百万个人工神经元都应代表一个可识别的概念。但实际上，许多神经元似乎会对完全无关的事物产生响应，研究人员称之为多义性。一个早期且著名的例子是图像模型 InceptionV1 中的一个神经元，它会同时对猫脸和汽车前部产生响应。Cammarata 在自己的早期研究中也用它作过例子。

Drei Visualisierungen eines Neurons mit wiederkehrenden Katzengesichtern, Autofronten und Katzenbeinen. — 对同一个 InceptionV1 神经元的三种合成可视化，分别呈现猫脸、汽车前部和猫腿。"Zoom In" 将这种混合视为多义性的一个例子。Cammarata 如今认为，该神经元是一个 V 形检测器。| 图片：Olah 等人 / Distill，《Zoom In》（2020 年）

标准解释是叠加理论。该理论认为，当网络中的神经元不够用时，它会把无关概念塞进同一个神经元，因为这些概念很少相互干扰。结果看起来就像一团乱麻。因此，许多实验室会训练第二个模型，例如稀疏自编码器，将这些概念拆分开来。然后，他们研究这个模型，而非原始模型。

Cammarata 在塑造这一观点方面发挥了重要作用。他与 Chris Olah 合著了论文《Zoom In》，提出了首个叠加回路。2023 年，他在 OpenAI 启动了一个自动化可解释性项目。当时，即便采用最宽松的标准，可理解的神经元也只有约 1.7%。

证据可能被误读了

Cammarata 如今认为，最著名的例子被误解了。他说，猫脸—汽车神经元实际上是一个 V 形检测器。狐狸吻部或火焰等尖锐形状会激活它，而字母 O 等圆形则会使其激活值变为负数。因此，它并不代表猫脸和汽车这类完全无关的概念，这意味着它不是叠加现象的例子。

Gegenüberstellung spitzer und runder Formen in Tiergesichtern, Fahrzeugen und Alltagsgegenständen. — 尖锐形状会激活该神经元，而圆形会使其激活值变为负数。这就是为什么 Cammarata 如今认为，那个所谓的猫脸—汽车神经元其实是检测共同形状的检测器。

他还重新解读了《Zoom In》中的叠加回路：当时看起来像是一辆汽车藏在一群狗神经元之中。在他看来，这只是普通的泛化，而该回路只是根据汽车和狗面朝摄像头的方向将它们归为一类。他将 InceptionV1 后期层中的混乱归咎于过时的架构和薄弱的分析工具。

Vergleich zweier Neuronen mit drei Visualisierungsmethoden und zugehörigen Fotobeispielen. — 同样的两个神经元，以两种不同的方式进行可视化。更好的分析方法让它们的响应模式和相关照片更容易看清。Cammarata 说，这是重新审视关于神经网络为何难以理解的旧发现的一个理由。

Cammarata 用一种他称为“递归泛化”的模式解释了剩余的模糊之处。他说，一个神经元会像树枝一样生长，并长出侧枝。一个原本能识别字母序列“iy”的神经元，后来会对“diy”产生响应，最终还会对“do it yourself”产生响应，尽管其中根本不含“iy”。与叠加不同，这些归类能够让你了解网络的一些情况。

Verzweigungsdiagramm von „iy“ über „diy“ zu „do it yourself“, mit einem weiteren Ast zu „Miyazaki“. — “递归泛化”示意图。一个识别“iy”的神经元，通过相关含义相连，将响应范围从“diy”一路扩展到“do it yourself”。

对于语言模型，他给出了初步数据。在 Qwen3-32B 中，大约 90% 的神经元极点只有一个主要功能，约 7% 的神经元极点有两个相关功能。只有 2% 到 4% 仍无法解释。Goodfire 表示，他们在参数量高达数万亿的模型中也看到了类似结果。大部分工作由批量分析神经元的 AI 智能体完成。Cammarata 借鉴 Rich Sutton 的“苦涩的教训”，并得出结论：在可解释性领域，大规模开展简单调查，同样胜过巧妙的分解方法。

Cammarata 并没有提出一种根本性的新方法。他回到了这一领域最初直接研究神经元的做法，只不过现在有了更好的工具、更大的模型和自动化智能体。

可读的网络将是 AI 安全领域的一大胜利

如果 Cammarata 是对的，那将是个好消息，尤其是对 AI 安全而言。目前，除了监控日益变得不可靠的思维链之外，几乎没有办法判断模型是否在欺骗他人或做出危险行为。Cammarata 怀疑，如果没有可解释性，就无法解决对齐问题——也就是引导 AI 朝人类目标发展的工作，因为否则我们就不知道自己在构建什么。他写道，欺骗没有理由对模型自身的电路隐藏。如果人类成为网络的另一种“读者”，也能看出欺骗行为，并有可能有针对性地修正错误。

在 OpenAI 任职、以该化名在 X 上发帖且在 AI 圈颇具影响力的 Roon 对此兴奋不已。他表示，自己与 Cammarata 是至交，如果没有 Cammarata，自己根本不会加入 OpenAI。这项工作“可能会被铭记为科学史上的一个重要时刻”，Roon 写道。他还补充说，这个消息好到连 Eliezer Yudkowsky——最著名的 AI 灾难警告者之一——都不得不调低自己对灾难发生概率的估计。在 Roon 看来，对齐研究有望成为一门“常规科学”。

即使是 Roon 也有所保留。业内其他人仍需验证这些结果，而且他也怀疑可解释性领域的突破会推动 AI 能力进步。这些突破出自行业之外，对大型实验室而言并非好兆头，OpenAI 也不例外。

Nanda 认为这是有用的工具，而非突破

Neel Nanda 的态度要谨慎得多。他被视为机制可解释性领域的奠基人物之一，并领导 Google DeepMind 的可解释性团队。在此之前，他曾在 Anthropic 工作，也曾是一名独立研究员。据他所说，他的观点已经发生变化：自 2024 年年中以来，他对雄心勃勃的可解释性研究变得更加悲观，并转向务实的做法。他的团队降低了对稀疏自编码器研究的优先级。他们并不认为这项技术毫无用处，但觉得它似乎不值得该领域为之投入的精力。

Nanda 写道，Cammarata 的工作很有意思，但并没有真正改变大局。基于神经元的分析或许有助于回答实际问题，例如模型为何做出某种可疑行为，而且更容易应用于前沿模型。但他不认同可解释性即将被彻底攻克的说法。他预计，基于神经元的分析也会存在严重缺陷，并遗漏很多东西。

Nanda 仍然认为超位置现象是真实存在的。他认为，语言模型存储的事实远多于其神经元的数量，而弱激活尤其可能承载了大量这类信息。他怀疑小型图像模型中的研究发现能否适用于语言模型。他还认为，这篇文章对单义性下的定义过于宽泛，不过他也肯定了 Cammarata 用现代工具检验自己早期研究的做法。

这场争论部分源于定义之争：Cammarata 并不反对模型表示的概念数量超过其维度，而 Nanda 认为他在这一点上与自己看法一致。Cammarata 所反对的是，网络会任意地把完全无关的事物打包在一起。

配套的技术论文尚未发布。作为一家可解释性公司，Goodfire 在这一论点上显然也有自己的利益。如果 Cammarata 的解读站得住脚，他认为自动化研究人员只需几个月，就能完成当年人类用图像模型耗时近十年的工作。他写道，留给他们的时间可能不多了。