OpenAI · 评测
OpenAI 发布 Gdpval 评测基准
OpenAI 推出 Gdpval，一个面向大语言模型的新型评测基准。该基准旨在更全面地评估模型在复杂推理、多步规划和事实一致性等方面的能力，弥补现有评测指标在深度和实用性上的不足。Gdpval 的发布为行业提供了更严格的模型能力衡量标准，有望推动模型在真实世界任务中的表现提升。
- 域名
openai.com- 评分
- 5 · 重大发布
- 发布
- 2026-05-22
导读
GDPval 是 OpenAI 推出的新评测，目标是衡量模型在经济上有价值的真实工作任务上的表现，名字取自 GDP，覆盖美国 GDP 贡献最高的 9 个行业中的 44 个职业。完整任务集包含 1320 道任务，其中 220 道作为 gold open-sourced set 公开，所有任务由平均 14 年从业经验的专业人员撰写与审核，对应法律 brief、工程图纸、客户支持对话、护理计划等真实交付物，输出形式覆盖文档、slides、diagrams、spreadsheets 与多媒体。
评估方法采用 blind comparison：行业专家在不知道作者身份的情况下，把 GPT-4o、o4-mini、OpenAI o3、GPT-5、Claude Opus 4.1、Gemini 2.5 Pro、Grok 4 与人类专业人员的交付物两两比较，并打 "better"、"as good as"、"worse than" 三档。结果上，Claude Opus 4.1 综合表现最强，在近一半任务上的产出被评为不输于人类专家，aesthetic 维度（文档排版、slide layout）尤其突出；GPT-5 在 accuracy 维度领先，体现在领域知识检索的准确度上。
GDPval 与既有评测的差异在于现实性与覆盖度。SWE-Lancer 等基准聚焦单一领域，Humanity's Last Exam、MMLU 则是合成的学术题型，而 GDPval 的任务带参考文件与上下文，输出形态贴近实际工作产品。报告承认当前版本仍是 one-shot evaluation，无法捕获多轮迭代与上下文建构的工作模式，后续版本将扩展到更具交互性的工作流。对追踪 frontier 模型经济价值的从业者，GDPval 把讨论从"模型能不能做"推进到"在专业人员的对照中能达到何种水平"。