OpenAI · 大模型
OpenAI 发布多目标强化学习研究
OpenAI 发布 Multi Goal Reinforcement Learning 研究，让强化学习智能体同时优化多个目标。这一方法不依赖单一奖励函数，而是用多个价值函数动态权衡任务优先级。在机器人操控和自动驾驶等需要处理多重约束的场景中，该技术有望赋予智能体更灵活的策略选择能力。
- 域名
openai.com- 评分
- 5 · 重大发布
- 发布
- 2026-05-24
导读
OpenAI 这份 2018 年 2 月的技术报告把 Multi-Goal Reinforcement Learning 摆到了机器人学界面前。报告同时承担两项任务：一是基于现有机器人硬件构造一套挑战性的连续控制任务，并将其整合进 OpenAI Gym；二是抛出一份具体的研究问题清单，邀请社区围绕多目标 RL 与 Hindsight Experience Replay 展开后续工作。
任务集覆盖 Fetch 机械臂的推、滑、抓放，以及 Shadow Dexterous Hand 的手内灵巧操作。所有任务都使用稀疏二值奖励，并遵循同一种范式：智能体除了状态观测之外，还会接收到一个额外输入，用来告知当前要达成的目标是什么。同一个策略要在不同目标之间切换，这正是多目标 RL 与单目标 RL 的关键差别所在。稀疏奖励意味着随机探索几乎没有有效反馈，需要 HER 这类后见之明重标记技巧来挤出学习信号。
报告的后半部分列出了若干开放问题，包括如何把 HER 与策略梯度结合、如何处理高维稀疏奖励、如何在硬件上实现稳定迁移等。这套基准随后被多个团队当作多目标 RL 的事实标准来使用，也间接推动了后来视觉-语言-动作模型在桌面操控任务上的评测惯例。