OpenAI 发布 Hindsight Experience Replay 训练方法

Hindsight Experience Replay 是 OpenAI 给稀疏奖励问题开出的一种简单但相当有效的处方。在很多机器人任务里，奖励信号只有任务完成时才为 1，其余时刻全是 0。传统离策略 RL 算法在这种环境下几乎学不到东西，因为绝大多数轨迹都在失败，回放出来也提供不了梯度信号。

作者的做法是把每条失败轨迹重新标记一次：既然智能体没有到达原本指定的目标，那就把它实际抵达的状态当成它要去的目标，并依此重新计算奖励。这样一条原本完全失败的经验，对如何到达自己刚才那个位置这一目标而言就变成了正例。HER 不绑定特定算法，可以叠加在任意离策略 RL 之上，效果上相当于为智能体生成了一份隐式课程，让它先从容易的目标学起再过渡到更难的目标。

论文在三个机械臂任务上验证：推动、滑动、抓取放置，奖励都只用二值指示。消融实验显示，没有 HER 时这些任务基本无法训练，加入 HER 后才能稳定收敛。仿真训练好的策略还能部署到真实机械臂上完成任务，说明 HER 在缓解奖励工程负担的同时，对仿真到真实的迁移也保留了足够的鲁棒性。