OpenAI 发布随机神经网络用于分层强化学习

这篇 Stochastic Neural Networks for Hierarchical Reinforcement Learning 给稀疏奖励、长时序任务提供了一条预训练加微调的路线。作者先在一个预训练环境里学习一组可复用技能，再让上层策略在下游任务中调用这些技能，从而把探索难度从原始动作空间下放到技能空间。

技能学习阶段只依赖一个代理奖励来引导，几乎不需要下游任务的领域知识。为了在一个网络里覆盖尽可能广的技能空间，作者引入随机神经网络作为策略主体，并在目标函数中加入信息论正则项，迫使不同潜变量对应行为彼此可区分。实验表明，这种组合可以在样本效率友好的前提下学到一批可解释的运动技能，例如向不同方向移动、姿态变换等。

在下游任务上，作者训练高层策略来选择潜变量，即从已学技能里挑出对当前奖励有帮助的那一支。结果显示无论是稀疏奖励迷宫还是腿足机器人任务，分层加 SNN 的组合相对扁平基线都有明显改进。这条思路为后续 option-critic、技能发现等研究提供了一种可量化的对照范式。