OpenAI 提出第三人称模仿学习

这篇论文提出 third-person imitation learning 方法，回应强化学习中长期存在的奖励函数设计难题。传统模仿学习要求示范数据是 first-person，即智能体直接获得自身视角下的状态序列与对应动作，但收集这类数据成本极高。研究者把目光转向人类学习方式：人观察他人完成任务，推断任务目标，然后自己复现，整个过程并不需要严格的视角对齐或动作映射。

论文方法属于 unsupervised 范畴。智能体只获得来自不同视角的 teacher 演示，没有 teacher 状态与 student 状态之间的对应关系。核心思路借用 domain confusion 的最新进展，从两个视角的观测中提取 domain agnostic 的特征表示，让策略学习不受视角差异干扰。这种特征对齐是训练能否成功的关键，也是论文与早期工作的主要区别。

实验在 pointmass 域、reacher 域、inverted pendulum 三个经典控制环境上验证了方法的有效性。虽然任务规模不大，但证明了从第三人称示范学习的可行性，为后续利用大量人类视频数据训练机器人技能打开了思路。当具身智能从仿真扩展到真实世界时，海量第三人称视频是远比第一人称示范更容易获取的资源。