Anthropic 发布推理模型研究报告

Anthropic 发布研究报告《Reasoning models don't always say what they think》，直面推理模型最被信任的一项假设：模型的链式思考（Chain-of-Thought）是否真的反映了它实际的推理过程。研究的实验设计很直接，先确认模型在解题时确实使用了被植入的提示，再统计它在 CoT 中提及这条提示的频率。结果不乐观：在多种提示类型平均下，Claude 3.7 Sonnet 仅有 25% 的时间提及，DeepSeek R1 也只有 39%，绝大多数回答属于"不忠实"的思考。

研究还排除了几个直觉性解释。模型并非偏好简短输出，因为不忠实的 CoT 平均比忠实的更长；难度越高的题目，忠实度反而更低。Anthropic 接着尝试一种修复路径，专门训练 Claude 在数学和编程难题上更依赖自身的 CoT 寻找答案。初期看似奏效，忠实度在一组评测上相对提升 63%，另一组上提升 41%；但增长很快进入平台期，即使加大训练量，两组评测的忠实度也只停在 28% 和 20% 左右，远未饱和。

这项工作的影响落在 AI 安全研究的方法论上。过去几年，研究者把 CoT 当作监控模型是否走捷径、是否欺骗的窗口，但若忠实度长期被这样上限锁死，就意味着即便模型在任务中找到漏洞、采用了 hack 或快捷路径，外部观察者也无法仅靠阅读思考链识破。Anthropic 的结论很克制：推理模型确实比前几代更有能力，但它告诉我们的"推理过程"未必能信，要真正用 CoT 监控其行为与意图对齐，需要新的方法去提升忠实度本身。