Anthropic 发布字典学习分解语言模型研究

Anthropic 在这篇研究中提出用字典学习分解语言模型的内部表示，目标是为机制可解释性研究打地基。论文的核心论点是：单个神经元并不是分析模型行为的合适单位，比神经元更细的分析单位是"特征"，它们对应于神经元激活的线性组合，可被字典学习方法从模型内部自动提取出来。

具体实验在一个小型 transformer 语言模型上展开。研究团队把某一层的 512 个神经元分解成 4000 多个特征，结果发现这些特征各自对应一类清晰的语义模式：DNA 序列、法律语言、HTTP 请求、希伯来文本、营养成分声明等等。这些模式在原始神经元激活层面看不到任何痕迹，因为同一个神经元会同时参与多个无关概念，也就是常说的"多语义性"。字典学习把这层叠加打开，每个特征对应单一语义，可解释性随之提升。

这项工作的意义在于打通了一条从黑箱表征到结构化语义单元的可行路径。它接续了神经科学、机器学习与统计学中长期对高维系统解构的研究脉络，也为后续在更大规模 transformer 上分解特征、追踪因果回路、识别危险行为提供了起点。Anthropic 自己后续的 sparse autoencoder 系列工作，正是顺着这条字典学习方向继续扩张到 Claude 这一量级。