OpenAI · 大模型
OpenAI 发布 RL2 强化学习框架
OpenAI 推出 RL2，一个面向大语言模型的新一代强化学习框架。RL2 将强化学习范式从单轮奖励信号扩展为多轮交互学习，使模型能在对话、代码生成等场景中持续从反馈中自我改进。该框架在数学推理和工具使用任务上展现出显著提升，为语言模型从静态推理走向动态适应提供了新的训练路径。
- 域名
openai.com- 评分
- 5 · 重大发布
- 发布
- 2026-05-22
导读
RL² 由 Duan、Schulman、Sutskever、Abbeel 等人提出，针对深度强化学习样本效率远低于动物快速学习这一长期问题。研究的思路不是手工设计一个"快"的 RL 算法，而是把整个算法本身参数化为一个 RNN，由一种慢速通用 RL 算法在大量任务上对其进行训练。换言之，外层 RL 学的是"如何在新任务上做 RL"，内层 RL 则由 RNN 的隐状态实时执行。
RNN 接收一个 MDP 中典型 RL 系统会接触的全部信号，包括观测、动作、奖励与回合终止标志，并在同一 MDP 的多个 episode 之间保持隐状态。训练时随机采样大量 MDP，强迫 RNN 学会在面对新 MDP 时迅速调整策略。在小规模实验中，RL² 在随机多臂赌博机和小型有限 MDP 上接近人类设计的近最优算法；在大规模实验中，它在基于视觉的导航任务上展现出可扩展性。
这项工作把元强化学习从"学初始化"推向"学算法"，与同期 MAML、Meta-RL 等路线一道，奠定了之后 in-context RL、LLM 作为决策器等研究的基础。把"算法"放进可训练的权重里，正是后来 agent 学习快速适应新工具与新任务时所沿用的范式。