OpenAI · 大模型
OpenAI 发布从仿真中泛化的研究成果
OpenAI 发布了一项关于从仿真环境向现实世界泛化的研究成果。该工作旨在解决 AI 系统在模拟器中训练后，迁移到真实场景时性能下降的核心难题。研究提出了一种新的方法，使模型能够更好地适应仿真与真实环境之间的差异，从而提升在机器人、自动驾驶等领域的实用性与可靠性。这一进展为缩小仿真与现实之间的鸿沟提供了重要思路。
- 域名
openai.com- 评分
- 5 · 重大发布
- 发布
- 2026-05-24
导读
Pinto、Andrychowicz、Welinder、Zaremba、Abbeel 在《Asymmetric Actor Critic for Image-Based Robot Learning》中给出一条把仿真训练成果迁移到真实机器人的路径。研究背景是 sim-to-real 的老问题：仿真器内可以低成本、安全地采集海量经验，但策略一旦换到真实机器人上常常失灵，原因之一在于真实世界只能看到部分观测，例如 RGBD 图像。
方法的关键是不对称：训练时 critic 利用仿真器中可获得的完整物理状态（物体位姿、速度、关节角等）进行价值估计，而 actor 即策略本身只接受渲染图像作为输入。这样一来，critic 凭借特权信息提供低方差的训练信号，策略却被强制学习从图像直接到动作的映射，从而在部署时无需任何特权状态也能工作。论文进一步将该框架与域随机化结合，让仿真中的纹理、光照、物体物理参数随机变化，扩大策略的鲁棒域。
在抓取、推动、移动方块等任务上，真实机器人无需任何真实数据即可完成迁移。这套不对称 actor-critic 加域随机化的组合，成为后来 OpenAI 解魔方机器人、各类视觉伺服 RL 工作的基础组件，把仿真训练与真实世界部署之间的鸿沟显著收窄。