Anthropic 开源电路追踪工具

Anthropic 把内部 interpretability 研究里使用的 circuit-tracing 工具开源。该方法围绕 attribution graph 展开，能部分还原模型从输入到输出之间走过的内部计算路径，让研究者看到哪些特征在多步推理或多语言表征里被激活、彼此如何连接。开源仓库地址是 github.com/safety-research/circuit-tracer，支持在主流开放权重模型上生成 attribution graph，配套的前端由 Neuronpedia 托管，可交互式浏览图形。

这套工具放出了三种基础工作流：对支持的模型生成自己的 attribution graph、在交互前端中标注与分享图形、修改特征值观察模型输出如何变化，以此检验机制假设。Anthropic 已用这套工具研究 Gemma-2-2b 与 Llama-3.2-1b 的 multi-step reasoning 与多语言表征，仓库的 demo notebook 里给出示例分析，并附上一批尚未深入研究的 attribution graph 邀请社区接力。Gemma graph 基于 GemmaScope 项目训练的 transcoder。

项目由 Anthropic Fellows 项目成员 Michael Hanna 与 Mateusz Piotrowski 主导，Emmanuel Ameisen 与 Jack Lindsey 担任导师，Neuronpedia 集成由 Decode Research 完成，Johnny Lin 负责 Neuronpedia 工程，Curt Tigges 负责科学方向。Anthropic CEO Dario Amodei 此前撰文强调 interpretability 的紧迫性：当下对模型内部机制的理解远远落后于能力提升的速度。把追踪工具开源，是为了让更广泛的研究社区参与到「看清模型如何思考」这件事里来，对大模型的安全性与可控性都是直接增量，也为后续延伸出更精细的工具留出社区共建的空间。