DeepMind · 其他

DeepMind 发布 Gemini Robotics 将 AI 带入物理世界

DeepMind 推出 Gemini Robotics,将大语言模型的能力延伸到物理世界中的机器人操作。该项目基于 Gemini 的多模态理解与推理能力,让机器人能够感知环境、理解自然语言指令并执行抓取、放置等精细动作。Gemini Robotics 标志着 AI 从数字空间向物理空间的跨越,为通用机器人提供了更灵活的大脑。

域名
deepmind.google
评分
5 · 重大发布
发布
2026-03-03

导读

Gemini Robotics 是 DeepMind 在 2025 年 3 月 12 日发布的机器人模型家族,把 Gemini 2.0 的多模态推理能力外推到物理世界。家族包含两款模型:Gemini Robotics 是 vision-language-action 模型,把物理动作作为新输出模态,直接驱动机器人;Gemini Robotics-ER 强化空间理解与具身推理,让机器人学家把它嵌入自己已有的低层控制栈。技术报告同步发布于 arXiv 2503.20020。

模型沿三条轴衡量。Generality 上,Gemini Robotics 在通用化基准上的平均得分较其他 VLA 模型翻一倍以上,能处理训练未见的物体、指令与环境;Interactivity 上,模型继承 Gemini 2.0 的语言能力,可解析多语种自然语言指令并对环境扰动实时重规划,物体掉落或被移动后能继续完成任务;Dexterity 上,模型可完成折纸、把零食装入 Ziploc 袋等多步精细操作。Gemini Robotics-ER 把指向、3D 检测、抓取轨迹规划等具身推理能力做了显著提升,端到端任务成功率较 Gemini 2.0 提升 2 到 3 倍;当代码生成不足以解决问题时,模型可借助 in-context learning 跟随少量人类示范。训练数据以双臂 ALOHA 2 平台为主,已验证可迁移到 Franka 双臂与 Apptronik 的 Apollo 人形机器人。

发布同期,DeepMind 与 Apptronik 合作开发下一代人形机器人,并把 Gemini Robotics-ER 开放给 Agile Robots、Agility Robotics、Boston Dynamics 与 Enchanted Tools 等可信测试者。安全方面采取分层方案:低层与传统碰撞回避、力矩限制控制器对接,高层延续 Gemini 的安全机制;团队同时发布 ASIMOV 数据集,并提出由自然语言生成的 Robot Constitution 框架。对读者来说,Gemini Robotics 标志大模型与机器人本体控制的栈正在合拢,VLA 模型由实验室原型迈向多型号机器人共享的通用大脑。