Anthropic 提出将语言模型分解为可理解组件的方法

Anthropic 这篇研究公告对应论文《Towards Monosemanticity: Decomposing Language Models With Dictionary Learning》，主线是用字典学习把一个小型 Transformer 语言模型的内部表征拆解成可解释单元。研究者先指出长期困扰可解释性的难题：单个神经元往往同时在学术引用、英文对话、HTTP 请求与韩文文本等毫不相关的语境里激活，激活值在不同语境下含义不同，让以神经元为分析单位的路线难以推进。

团队提出以特征作为更合适的分析单位，每个特征对应一组神经元激活的线性组合。在实验里，他们把一个 512 神经元的层拆解出超过 4000 个特征，分别对应 DNA 序列、法律文本、HTTP 请求、希伯来文、营养成分声明等具体语义类别，这些性质在单个神经元层面几乎不可见。为了验证可解释性，团队让盲测的人类评估者给特征与神经元打分，特征得分明显高于神经元；同时引入 autointerpretability 流程，让大模型为小模型的特征生成简短描述，再由另一模型据此预测激活值，特征同样占优。研究还展示了人为激活某一特征会以可预测方式改变模型行为，提供了一种从内部干预模型的入口。

从特征整体看，不同模型间学到的特征大量复用，意味着对一个模型的可解释性结论可能迁移到其它模型；调整学到的特征数量则相当于调节观察分辨率，少量特征给出粗粒度视图、大量特征揭示细微属性。这项工作来自 Anthropic 在 Mechanistic Interpretability 方向的长期投入，研究者把它视为绕开'神经元不可解释'瓶颈的一条路径，并把下一步挑战明确为把方法扩展到比小模型大几个数量级的前沿模型，称此时主要障碍已从科学问题转为工程问题。