Meta AI · Agent
Meta AI 发布基于 250 亿帧训练的接近完美点目标导航模型
Meta AI 在具身智能导航方向取得重要进展。团队利用 250 亿帧仿真交互数据训练了一个点目标导航模型，在 Habitat 仿真环境中实现了接近完美的导航成功率，大幅刷新了此前 SOTA 的精度和鲁棒性基准。这项工作证明大规模仿真训练是解决具身导航任务的关键路径，为后续将导航能力迁移到真实机器人提供了技术储备。
- 域名
ai.meta.com- 评分
- 5 · 重大发布
导读
Meta AI 在 2020 年 1 月发布 DD-PPO，把具身导航研究往前推了一大步。任务是点目标导航：智能体被随机放入陌生 3D 环境，只靠 RGB-D 相机加 GPS 与罗盘，从起点走到给定坐标处，没有预制地图。此前最强系统成功率约 92%，DD-PPO 训练出的智能体把这一数字推到 99.9%，路径长度平均仅比理论最短路多 3%，基本宣告这个任务在 Habitat 仿真平台上被解决。
DD-PPO 全称 Decentralized Distributed Proximal Policy Optimization，是 Schulman 2017 年提出的 PPO 在多卡分布式场景的同步变体。传统分布式 RL 用一个参数服务器加上几千个 CPU rollout worker，但现代 3D 仿真器如 Habitat 高度依赖 GPU，CPU 集群跑不动，参数服务器又成为瓶颈。DD-PPO 取消参数服务器，每个 worker 既跑环境又算梯度，再同步聚合。难点在于不同环境模拟时间差异巨大，作者引入抢占阈值：当 60% 的 worker 完成 rollout，其余 worker 被迫提前结束以减少同步等待。这个设计让 DD-PPO 在 128 块 GPU 上获得 107 倍的接近线性加速。
训练规模达到 25 亿步，相当于人类 80 年的经验积累，在 64 块 GPU 上用不到三天完成，对比同期方法的 wall-clock 时间下降一个数量级。研究的另一个发现是性能在 10 亿步前都未饱和，意味着此前同方向论文的训练量普遍少了一两个数量级。论文同时给出一个挑战留白：去掉 GPS 与罗盘、只用 RGB 相机的设定下，25 亿步训练只能得到 16% 成功率，从仿真走向真实机器人仍有相当距离。