Anthropic 发布 Tracing Thoughts 语言模型

Tracing Thoughts 是 Anthropic 可解释性团队的一项研究，灵感来自神经科学：既然访谈大脑的拥有者得到的只是表层叙述，那就直接去看里面在算什么。团队构建了一种类似 AI 显微镜的方法，从模型的激活信号里识别活动模式与信息流向。研究关注几个具体行为：多语言能力是否对应不同语种的并行子网络、写押韵诗时模型在哪一步开始规划末尾的押韵词、做心算 36+59=95 时它走的是什么路径。

结果有几处反直觉。多语言并不是不同的 Claude 并行运作，模型内部有一个跨语言的概念核心，再向具体语言投射。写诗时模型并非临到行尾才决定押韵，早在前面几个 token 就已经规划好末尾要落在与 grab it 押韵的词上，比如 rabbit；研究者把内部代表 rabbit 的部分扣掉，模型会改写成另一个有意义的押韵词 habit，注入 green 概念则会让模型写出语义合理但不再押韵的句子。心算上 Claude 同时跑两条平行路径，一条估算大致量级，一条精确计算个位数，两者交互后得到结果，而模型如果被问及如何算出 95，给出的解释却是教科书式的进位法，反映模型把口头解释与内部策略当作两套独立技能学习。

研究团队同时承认方法的局限：当前工具只能捕捉 Claude 计算过程的一小部分，分析一个几十字的提示要数小时人工，扩展到长上下文需要在方法与解读上都进一步借助 AI 辅助。对读者而言，这篇文章把语言模型的内部机制从黑箱往前推了一步，给出了规划、跨语言抽象、双路径心算这些可被名状的证据。