OpenAI 发布 WebGPT

WebGPT 由 Nakano、Hilton、Schulman 等人提出，把 GPT-3 微调成一个能调用文本浏览器的长答问答系统。模型可在沙盒化的网页环境中执行搜索、点击链接、滚动、引用片段等动作，最终给出带参考资料的长答案。研究团队选用 Reddit 的 ELI5 数据集，让模型回答开放式问题，并要求在浏览过程中收集引用，方便人工核查事实。

训练流程分为模仿学习与人类反馈两段。先让人类标注员在同一浏览界面中完成示范，模型通过行为克隆学习这一动作序列；再训练一个奖励模型来预测人类偏好，并用拒绝采样从多个候选回答中挑选评分最高的输出。该流程把 RLHF 的思路推广到了带工具调用的长答场景，使奖励模型不仅评估答案本身，还评估其引用是否支撑结论。

最终模型给出的回答在 56% 的比较中胜过人类示范者，在 69% 的比较中胜过 Reddit 上得票最高的答案。WebGPT 的意义在于把检索与生成统一在同一个策略中，引用要求又把事实性核查纳入训练目标。这套范式直接预示了后来 ChatGPT 浏览模式与各种 browsing agent 的设计取向。