OpenAI 发布基于人类偏好的学习研究成果

Christiano、Leike、Brown 等人 2017 年的这篇论文是把人类偏好直接接入深度强化学习的早期 系统性工作。研究动机在于许多目标难以写成显式的奖励函数，例如让仿真机器人做后空翻、让 Atari 智能体的行为符合人类审美，作者希望用少量人类比较替代奖励函数设计。

方法把强化学习与奖励建模交错训练。智能体在环境中产生轨迹片段，人类标注员在成对片段中 选出更符合目标的一段；这些比较被用来拟合一个奖励模型，再驱动智能体的策略更新。整个 闭环对人类标注员的总查询量从数百到数千不等，远低于直接示范所需的工作量。

在 MuJoCo 仿真任务与若干 Atari 游戏中，仅靠几百到几千次成对比较就能让智能体习得复杂 行为，包括人类难以编写明确奖励的"后空翻"。这项工作把"以人类偏好为信号"从理论提议 推进到可工程化的训练管线，是后续 RLHF 路线的方法论起点。