Anthropic 研究发现大语言模型大多能判断自身知识边界

Anthropic 这篇论文研究语言模型能否评估自身陈述的有效性，并预测哪些问题自己能答对。研究先证明在合适的格式下，规模较大的模型在多样化的多选题与判断题上具有良好的校准度，也就是模型对答案的置信度与实际正确率基本吻合。在此基础上，作者提出在开放生成任务上做自评估的方法：让模型先给出答案，再让它估计这个答案为真的概率 P(True)。

实验覆盖一组多样化任务，P(True) 在性能、校准度与规模扩展性上都呈现出乐观信号。进一步的优化是让模型在判断单一答案之前先考虑自己生成的多个候选，自评准确率会再上一层。研究的第二条线索是 P(IK)，即"我知道这个问题答案"的概率，模型可以不依赖任何具体候选答案直接预测这个值。结果显示 P(IK) 训练效果良好，能部分跨任务泛化，只是在全新任务上的校准仍有困难。研究还发现，当上下文中加入相关材料或数学题的解题提示时，P(IK) 会相应升高，说明这种自我认知能力对相关证据是敏感的。

这项工作的意义落在对齐与诚实性上。如果模型能可靠地区分"自己知道"和"自己不知道"，就有可能训练出更诚实的系统，让它在不知道答案时主动承认而非编造。论文把这一观察作为后续研究的地基，特别是当模型未来被训练于纯模仿人类写作以外的目标时，诚实性应该如何泛化。