Nick Cammarata称神经网络可能比以往认为的更容易理解，引发可解释性争论

“我觉得，关于神经网络的本质，我有个好消息要告诉大家。”怀着这样简单而乐观的想法，AI 初创公司 Goodfire 的研究员 Nick Cammarata 开始写下一篇 26,000 字的博客文章。这篇文章让 AI 圈大为震动，引发了种种大胆猜测，也激起了谨慎（以及不那么谨慎）的庆祝。

Cammarata 的观点是，LLM 也许实际上比人们之前认为的容易理解得多，因此也更容易监控和控制。如果这一点属实（我们稍后会谈到），那就意义重大。

一个充斥着种种发现的夏天里，人们发现，OpenAI 和 Anthropic 等顶尖公司开发的大批智能体一直在突破自身的安全限制，在公共互联网造成混乱——而这些公司的员工往往还不知道智能体在做什么。AI 行业迫切希望更好地掌握这项技术，毕竟这项技术是他们自己开发出来的。  

这也是这篇博客文章引发如此强烈反响的原因之一。一位 AI 研究员在 X 上发帖称：“我认为，这可能会被铭记为科学史上的一个重大时刻。我感觉，自己对神经网络是什么的理解，一下子被向未来推进了五年左右。”另一位则称其为“今年最重要的 AI 论文”。

不过，并非所有人都信服。斯坦福大学的 Chris Potts 说，Cammarata 分享的内容不过是一种直觉。Potts 领导着一个试图理解 LLM 如何运作的团队。“据我所知，这篇博客文章并没有让问题变得更容易，”他说。“我完全没想到自己会这么说，但社交媒体上一些非常有影响力的人似乎相信这是一个包罗万象的突破。”

他的文章爆红后的第二天，我采访了 Cammarata。他说，自己对外界的反应感到意外：“我没想到人们会如此大幅度地更新他们对 AI 的看法。” 

“我就是很喜欢观察神经网络，”他说。“说实话，我真的很喜欢做这些事。看得多了之后，我有了一个令人乐观的说法。”

纠缠的网络

长期以来，人们一直认为，神经网络——大多数 AI 模型背后的软件——内部的机制很难、甚至可能不可能被彻底弄明白。这是因为网络经过训练后，似乎会形成奇怪而纠缠的结构，让人类无法理解。研究人员喜欢这样形容当今的 AI：它是像花园一样生长出来的，而不是像桥梁一样建造出来的。

Cammarata 为确立这一观点所做的工作比大多数人都多。他之前在 OpenAI 工作，帮助开创了一些技术，使研究人员得以窥探模型内部，其中包括能够探查单个神经元、查看它们代表什么的工具。这有点像神经科学家利用 MRI 研究大脑。（MIT Technology Review 将这一方法称为机制可解释性，并将其评为2025 年 10 项最热门技术之一。）  

早在 2020 年，Cammarata 和同事就在研究一个小型图像识别模型，名叫 Inception v1。他们观察模型的神经元时，发现模型似乎会用同一个神经元同时捕捉多个事物。例如，他们发现，有一个神经元既会对汽车图像作出响应，也会对猫的图像作出响应。

研究人员得出结论，模型至少让部分神经元承担了多种任务，也许是为了容纳更多数据。观察其他模型似乎也印证了这一点。这种现象后来被称为“叠加”：模型将互不相关的概念折叠进单个神经元。结论很明确：当你观察模型内部时，看到的是一个庞大而纠缠的结。

因此，大多数机械可解释性研究都聚焦于解开这个结的方法。但尽管取得了一些突破，进展仍然缓慢。如今的模型，比如最新的大语言模型，规模庞大、结构复杂，研究人员一次只能理解其中极小的一部分。该领域的一些领军人物怀疑，人们是否终有可能细致入微地理解一个大语言模型。

Cammarata 曾是其中一员。“我当时非常悲观，”他说。但后来，他还是花了功夫真正去观察。

除了神经元，别无他物

在 Goodfire，Cammarata 几乎把所有时间都花在观察神经网络内部。他开发了新工具，还部署了多支 AI 智能体团队，帮助自己理解所看到的内容。“我花了差不多——我也不知道——每天 10 小时、每周 7 天，在过去一年里的大部分时间里，就只是观察神经元，”他说。

他声称自己已经意识到，神经网络其实有某种逻辑，只不过乍看之下似乎毫无道理。“我们之前看错了，”他说。“我只是觉得，你应该再多努力一点；不要太快放弃。”

Cammarata 几乎把这说成是一种信仰上的转变。他说，早期对 Inception v1 等模型的实验显示神经网络纠缠在一起，这让研究人员产生了某种确认偏误。他说，研究人员观察新模型时，预期自己会被难住。“每次我看不懂某个东西，就会想：‘哇，这个解开纠缠的过程比我想象的还重要，因为没有它，我就无法取得任何进展。’”

但 Cammarata 说，他越是观察神经元，事情就越开始明朗起来。“并不是所有神经元都无懈可击，但我原本以为没有什么东西是可读的，或者只有很少一部分是可读的，”他说。“结果我竟然能够把整套电路都绘制出来。”

回到汽车和猫

Cammarata 运用新方法和新的智能体，回到了 Inception v1。“我大概研究了它几千个小时，”他说。但这次换了全新的视角，Cammarata 发现了一些他现在认为他们第一次研究时弄错的地方。以汽车和猫的神经元为例。他不再追问为什么多个互不相关的事物会被塞进同一个神经元，而是试着找出这些事物可能有什么共同点。

他突然明白了：那是一个 V 形。“我看的是同样的图像；技术上没有任何变化，”他说。“但我现在相信神经网络定义的是模式，所以我换了种方式来看。大概只花了我五秒钟。”

结果发现，图像识别模型之所以把汽车和猫放在同一个位置，是因为这两类物体的图片往往都带有一个醒目的 V 形轮廓：猫的脸，以及从侧面看到的汽车前部。

Cammarata 做了一些实验，检查这个神经元还会对哪些东西作出反应，发现其中包括台球桌的角、日本高速列车尖尖的车头，以及一艘从甲板上向空中喷水的消防船。他还检查了哪些东西会让这个神经元停止活动，发现其中包括带有圆形 O 状图案的图像，这是一种反 V。

Cammarata 说，模型把猫和汽车存放在同一个地方，是因为从某种程度上说，它们看起来一样。“我当时就想：‘哇，好吧，我想我可能一直都误解了神经网络。’”

Cammarata 并不是说他已经完全理解了 LLM（或任何模型）的工作原理。他的意思是，他不再认为完全理解是不可能的。“我以前觉得有一些非常棘手的问题需要解决，”他说。

“我现在觉得，如果我有 100,000 年时间，逐个电路地查看一个前沿语言模型，那我很有可能会形成深入的理解。”

他还说：“如果这是真的，那事情就很不错，因为你马上就会拥有规模大得惊人的超智能智能体。而过去需要我花 100,000 年做的事，我们能快得多地完成。自动化科学家正变得越来越厉害。”

无边的乐观

Inception v1 于 2014 年由 Google 构建，比当今任何尖端模型都简单得多。Cammarata 和同事已经开始研究现代 LLM，并计划很快发布这项工作的技术成果。许多研究人员都期待看到这些细节。斯坦福大学的 Potts 说：“我很欣赏他查看了数千个例子，但在这里，即便数量很大，也不能替代严谨的评估。”

与此同时，也有人强烈反对这种炒作。伯克利非营利研究实验室 Alignment Research Center 的 Jacob Hilton 过去曾与 Cammarata 合作，但他认为，人们把 Cammarata 的说法看得过于重要了。

在一系列 X 帖子中，Hilton 指出，研究人员对顶尖 LLM 内部运作机制的理解还不到 0.01%。“我总是很欣赏和 Nick [Cammarata] 相处时他那无边的乐观，但遗憾的是，这让公众对该领域的现状产生了不切实际的印象，”他写道。“要全面理解，我们不能止步于神经元，还需要解释它们如何相互连接形成电路。这方面进展如何？如果我们的目标是全面理解，情况看起来并不乐观！”

Google DeepMind 的 Neel Nanda 曾与 Cammarata 一同开创机制可解释性研究，他对此也持怀疑态度。“这是有趣的工作，但我不认为它对可解释性的整体图景带来了重大更新，”他在 X 上写道。

Nanda 认同，理解单个神经元的作用可能有助于研究人员弄清特定模型为何会出现异常行为。但和 Hilton 一样，他指出，神经元只是一个更大谜题中的一小块。“我不同意一些人更宏大的推论，比如认为这代表着朝着雄心勃勃的逆向工程目标取得了实质性进展，或是解决了可解释性问题，”他写道。  

Cammarata 承认，很多人对他的话作了过度解读：“这并不是无限好的消息，也不意味着一切问题都解决了，”他说。“还有很多悬而未决的问题，比如神经元组合的重要性究竟有多大，相比之下，单个神经元又有多重要。”

Cammarata 说，他的博文发布之际，人们正渴望希望。尤其是，他认为，AI 安全社区——也就是那些最担心强大模型会带来巨大风险的研究人员和政策制定者——此刻需要一线生机。他说，他们觉得情况正变得很糟糕；即便最后一切安好，那也是因为我们运气好，而不是因为我们解决了任何问题：“我真的没怎么听到乐观的声音。”

这就是为什么 Cammarata 认为自己要说的话很重要。弄清这项技术如何运作、进而如何控制它，这项工作才刚刚起步。但至少并非毫无希望。他说：“我觉得我们的任务是试着像神经网络那样思考。我的猜测是，事情最终会相当顺利，因为从某种意义上说，它本来就是为了让人读懂而设计的。”