OpenAI · 大模型
OpenAI 发布基于人类反馈的摘要学习研究
OpenAI 发表了一项利用人类反馈训练语言模型进行文本摘要的研究。该工作通过强化学习框架，让模型在生成摘要时对齐人类偏好，在摘要质量上取得了显著提升，为后续 InstructGPT 和 RLHF 技术路线奠定了基础。
- 域名
openai.com- 评分
- 5 · 重大发布
- 发布
- 2026-05-22
导读
这篇 Stiennon、Ouyang、Wu 等人 2020 年的论文，把 RLHF 流程系统化地应用到长文本摘要任务 上。研究背景是即便 GPT-3 级别的语言模型，按交叉熵训练得到的摘要在人类阅读体验上仍然 远不如人手撰写的版本，常出现重复、遗漏关键事实或引用错误信息。
论文方法把训练拆成可串接的若干阶段。先在 Reddit TL;DR 数据集上做监督微调；再用人类 标注员对成对摘要做偏好选择，训练一个奖励模型；后续以 PPO 在该奖励信号下继续优化 策略。作者还设计了 ensemble 与 KL 惩罚来防止策略与原模型分布距离过远而陷入奖励黑客。
在 TL;DR 与 CNN/DM 数据集上，1.3B 参数的 RLHF 模型显著优于 12B 的纯监督模型，并在多个 人类偏好维度上接近或超过参考摘要。这项工作建立了 RLHF 在生成任务上的可复制配方，后续 InstructGPT 与 ChatGPT 在指令跟随上的成功路径都建立在这一套训练设计之上。