Anthropic 发布 Toy Models of Superposition 研究

Toy Models of Superposition 是 Anthropic 可解释性研究的一篇基础论文。研究问题是：当神经网络要表示的特征比它的维度更多时会发生什么？团队用一组规模极小的 ReLU 网络在合成数据上做训练，输入特征被有意构造得稀疏，便于观察网络如何分配有限的表示空间。论文把模型在这种条件下把多个特征塞进同一组维度的现象命名为 superposition，并系统刻画了它的成因与代价。

实验给出的图景是：当特征足够稀疏时，superposition 让网络得到比线性模型更高的压缩率，代价是特征之间会互相干扰，需要 ReLU 这种非线性单元来做事后筛除。研究还观察到表示几何呈现出多面体结构，例如正四面体、正八面体这类对称布局，意味着网络在挤压维度时采取了类似最优编码的策略。论文进一步讨论了 superposition 与多义性神经元之间的关系，给可解释性领域长期面对的一个困境提供了正式定义：单个神经元同时承载多重含义并非偶然现象，根源在于稀疏特征加上压缩需求两者共同推动。

对读者来说，这篇论文的价值不在于直接调通某个工具，而在于给后续的特征字典学习、单义性神经元提取以及电路分析提供了理论根基。理解大型模型内部到底如何编码概念，必须先处理 superposition 这一底层机制。Anthropic 之后的 Scaling Monosemanticity 等工作正是从这里延伸出去，把 toy 模型上的结论推到 Claude 这样的前沿模型上。