OpenAI 提出非对称 Actor-Critic 方法用于图像机器人学习

Asymmetric Actor-Critic 是 OpenAI 为视觉机器人学习提出的一种训练框架，主要利用仿真环境中可获得完整状态这一事实。在常规 actor-critic 中，critic 与 actor 看到的观测是一致的，但仿真器其实可以同时给出真实物理状态与渲染图像，把两者割裂使用并不合理。

论文的关键改动是让 critic 在训练时直接看到完整物理状态，例如物体位姿、关节角度等，从而获得更精确的价值估计，而 actor 仍只接收 RGBD 图像作为输入。critic 的精确价值反过来通过策略梯度回传指导 actor，于是 actor 在不离开图像输入的前提下，得益于一个看得更清楚的评论者。这种信息不对称只发生在仿真训练阶段，部署到真实机器人时 actor 仍然单独工作，不依赖任何状态估计器。

实验覆盖一系列仿真操控任务，作者展示了相较对称基线的明显增益。把该方法与域随机化结合后，作者进一步在真实机械臂上完成了抓取、推动、移动方块等任务，给出了图像策略从仿真迁移到真实环境的可重复路径。这一思路后来在视觉控制、人形机器人遥操作等方向都有延伸版本，被视为利用仿真器特权信息的代表性范式。