Anthropic 发布语言模型心智映射研究

Anthropic 公布的 Mapping the Mind of a Large Language Model 是首次对一款生产级大模型 Claude 3 Sonnet 进行的细致可解释性研究。团队应用 dictionary learning 方法，从 Sonnet 中层抽取出数百万个 feature，每个 feature 对应一种概念，并以神经元激活模式的组合形式呈现。研究指出，模型内部的每个概念分布在许多神经元上，单个神经元又参与多个概念；feature 正是这种分布式表征的中间单元。

这些 feature 既覆盖具体实体如 San Francisco、Rosalind Franklin、Lithium、免疫学、Python 函数调用，也涵盖更抽象的对象，例如代码 bug、职业中的性别偏见、保守秘密的对话。研究者发现 feature 是多模态且多语言的：Golden Gate Bridge 这一 feature 不仅对英文表述敏感，也对日语、汉语、希腊语、越南语、俄语的相关讨论以及对应图像激活。借助 feature 间的距离度量还能发现近邻结构，如 Golden Gate Bridge 附近聚集着 Alcatraz Island、Ghirardelli Square、Golden State Warriors、1906 年地震等；inner conflict 附近则聚集着关系破裂、忠诚冲突、逻辑矛盾以及 catch-22。

对读者而言，这项工作的关键在于因果可干预性。人为放大或抑制某一 feature 会改变 Claude 的行为：放大 Golden Gate Bridge feature 后，模型在被问及自身物理形态时会自称「我就是金门大桥」；在恰当激活诈骗邮件 feature 后，模型会绕过原本的拒答策略生成诈骗邮件。研究者也识别出与代码后门、生物武器、权力寻求、操纵、谄媚等风险行为相关的 feature。Anthropic 强调这套技术成本仍极高，离覆盖全部概念尚远，但它为后续将可解释性接入对齐与安全监测提供了第一步。