Anthropic Research · 安全
Anthropic 发布自我反省能力研究 Introspection
Anthropic 发布名为 Introspection 的研究成果,让 AI 模型在输出答案前审视自身推理链并修正错误。该方法使模型能够发现自身逻辑漏洞与事实偏差,显著提升了输出的事实准确性和推理一致性。这项工作为构建更可靠、更可控的大语言模型提供了新的对齐思路。
- 域名
anthropic.com- 评分
- 5 · 重大发布
- 发布
- 2025-11-20
导读
Anthropic 这篇 Introspection 研究试图回答一个具体问题:当模型自述思路时,它真在审视自己的内部状态,还是只在拼凑一个听起来合理的说法。研究团队用可解释性工具与一种叫概念注入的方法做了一系列对照实验。最具代表性的设计是这样的:人工把一个不相关的词比如 bread 强行预填到模型回答开头,让它产生一段毫无逻辑的输出,然后下一轮再问它本来想说什么。模型通常会道歉并承认这是失误。
接下来研究者用概念注入回过头去改写模型早先的内部激活,让 bread 这个概念好像本来就在模型脑子里盘旋。再问同一个问题,模型这次会把 bread 当成自己的本意,甚至临时编出一个还算成立的理由解释为什么会这样说——比如声称那一刻在想一篇刚好提到 bread 的短篇小说。这说明模型确实参考了某种内部表征来判断意图,而不是只看输入与输出的字面对照。另一组实验更进一步:研究者用激励语句而非显式指令引导模型加强对某个概念的内部表达,结果发现正向激励的效果比负向威胁更明显。
在被测的模型里,Opus 4.1 与 Opus 4 表现最好,反映出反省能力会随基础能力一同增强。研究团队同时强调结果带着不确定性,反省并非可靠机制,但这条线索关系到对模型的透明度与可信度的根本判断。如果未来模型能稳定汇报自己的内部计算路径,调试行为问题、识别欺骗动机都会得到一条更直接的入口。