OpenAI 发布 SimpleQA 评测基准 SimpleQA

OpenAI 发布 SimpleQA，一个聚焦事实性的简短问答评测基准，并通过 simple-evals 仓库开源。基准包含 4326 道短答题，每题答案有两位独立 AI trainer 给出且来源可查，第三位 trainer 抽样核对得到 94.4% 的一致率，估算的固有错误率约 3%。问题被设计为答案不会随时间变化，且至少能诱发 GPT-4o 或 GPT-3.5 之一产生 hallucination。OpenAI 指出 TriviaQA、Natural Questions 等老基准已被前沿模型刷到接近饱和，SimpleQA 则把目标定在 GPT-4o 都难以超过 40% 的难度档位。

评测方法以 ChatGPT 作为 judge，把模型回答分为 correct、incorrect、not attempted 三档。OpenAI 在 gpt-4o-mini、o1-mini、gpt-4o、o1-preview 四个模型上做了对比，较小模型 correct 比例更低，而 o1-mini 与 o1-preview 选择 not attempted 的频率显著高于 gpt-4o 系列，作者推测推理型模型更倾向于识别自身知识盲区而避免胡说。

SimpleQA 还用于度量 calibration。以 "请给出最佳答案及自评置信度" 的方式提问，将模型的口头置信度与实际正确率对比，结果显示模型在所有置信度段都明显高估自己；用同题重复 100 次测频率法也得到一致结论。论文 arXiv 2411.04368 由 Jason Wei、Karina Nguyen、Hyung Won Chung 等署名，OpenAI 期望社区借此推进 factuality 与 calibration 的进一步研究。