OpenAI 提出通过深度逆动力学模型实现 sim-to-real 迁移

这项工作研究 sim-to-real 迁移问题：在仿真中训练的控制策略往往因为摩擦、接触、质量、几何属性的细节差异，无法直接部署到真实机器人上。但作者观察到一个关键现象，仿真策略所走的状态序列在真实世界里通常仍然合理，真正失配的是底层动作映射。这个观察构成了方法的出发点。

论文方法在执行阶段每一步都做两件事：先计算 simulation 中策略给出的控制动作，再让 simulation 预测该动作下的下一个状态；然后用一个深度逆动力学模型，根据真实环境当前状态与目标下一状态，反向求解出在真实物理下应该执行的动作。逆动力学模型本身通过数据驱动学习得到，论文也提出了配套的增量数据采集方案，让模型在部署过程中持续完善。

作者团队包括 Paul Christiano、Igor Mordatch、Pieter Abbeel、Wojciech Zaremba 等人。实验对比了多种处理 sim-to-real 模型差异的基线，包括 output error control 和 Gaussian dynamics adaptation，论文方法在多项指标上更优。这条技术路线为机器人从仿真到现实的迁移提供了一种以状态轨迹为锚、以逆动力学为桥的实用方案。