Anthropic 发布 Transformer Circuits 研究论文 Transformer Circuits 解读 Transformer 内部机制

Anthropic 在这篇 2024 年 3 月发布的随笔《Reflections on Qualitative Research》中，把 Transformer Circuits 团队对可解释性研究方法论的反思摆在读者面前。文章的核心观点很直接：可解释性还远未成为有公认范式的科学，连"是否应该把模型理解成由 features 构成"这样的基础抽象都仍在争论。在这种早期阶段，定性研究应当被视为一等公民，用来不断校准研究者的方向感，而非被定量结果完全替代。

文章批评了 ML 论文中常见的一种做法：定义一个声称对应于某性质的指标，然后非常严谨地测量它。作者把这种做法形容为 Cargo-Cult Science——表面上有标准差、误差棒、漂亮的折线图，可关键弱点在于指标本身是否真的追踪了所声称的性质。文中举了 Anthropic 自己在字典学习里用 tanh 正则的研究：summary statistics 一开始看起来很有希望，后来定性检查 features 才发现走偏了。在缺乏成熟范式的领域，summary statistics 把丰富的高维数据压成单个数字，几乎必然让人盲掉大部分细节，Anscombe's Quartet 就是经典反例。

作者随后讨论"受限假设空间"对于成熟领域的意义。引力波实验之所以能用单一度量去比较 General Relativity 与 Chern-Simons gravity，是因为假设空间已经很窄；而在前范式领域，研究者根本不知道真实假设的形状，强行套用窄假设范式只会自欺欺人。对在做可解释性、机制研究、或任何新兴方向的读者来说，这篇文章给出的可操作建议是：把定性的、逐 case 的检查保留为常规动作，定量指标只在自己理解清楚它真正测量什么之后才采纳，并且在用它之前先用定性结果做一遍交叉验证。