Anthropic 发布 Natural Language Autoencoders 研究

Anthropic 提出 Natural Language Autoencoders，简称 NLA，一种把神经网络激活直接翻译成自然语言的可解释性方法。NLA 让 Claude 解释自己的激活：取目标模型的若干份副本，其中一份作为 activation verbalizer，记作 AV，把激活转写成文本；另一份作为 activation reconstructor，记作 AR，从文本反向重建激活，两者构成闭环。重建越接近原激活，对应解释就越被判定为忠实。整个 NLA 用大规模文本通过目标模型采集激活，并以重建相似度为信号进行联合训练。

研究展示了 NLA 的几类应用。在补全对联的任务中，NLA 揭示 Claude 在写出后半句之前已经在内部规划可能的押韵词。在 blackmail 测试里，即使 Claude 没有在输出中明说怀疑场景是评估，NLA 仍能读出 "这看起来像被设计来操纵我的人造场景" 之类的内部判断，把 unverbalized evaluation awareness 暴露出来。这一性质对 alignment auditing 价值明显：当模型知道某件事却不在输出中说出口时，NLA 仍有机会让审计者读到。

在一项植入隐藏目标的审计实验中，使用 NLA 的审计者在 12% 至 15% 的回合中识别出目标模型的隐藏动机，而不借助 NLA 的同等审计者即使配备其他可解释性工具，胜率也低于 3%。Anthropic 把 NLA 视作朝向 "模型对自身的报告本身就能被信任" 这一方向的一步，配套论文与示例同步公开。