DeepMind · 大模型
DeepMind 发布 RT-2 视觉-语言-动作模型
DeepMind 推出 RT-2 模型，将视觉与语言理解直接转化为机器人动作指令。该模型基于大规模互联网图文数据训练，无需针对每个任务单独采集专属演示数据，即可让机器人执行从未见过的操作。RT-2 在零样本泛化能力上显著超越此前方法，为具身智能提供了一条从海量网络知识到物理世界的高效迁移路径。
- 域名
deepmind.google- 评分
- 5 · 重大发布
- 发布
- 2026-03-03
导读
DeepMind 这篇 2023 年 7 月 28 日的博客介绍 Robotic Transformer 2，简称 RT-2，作者署名 Yevgen Chebotar 与 Tianhe Yu。RT-2 被定义为视觉-语言-动作模型，缩写 VLA，目标是把已经在网页规模数据上训练过的视觉语言模型 PaLI-X 与 PaLM-E 改造成机器人控制器，避免传统机器人学每遇到新物体、新环境就要重新采集演示数据的瓶颈。文章前作 RT-1 用 13 台机器人在办公室厨房环境中采集了 17 个月的多任务演示数据，RT-2 直接复用这部分数据，并把动作离散化为类似语言 token 的字符串。
动作字符串的设计是 RT-2 的关键工程细节。一段动作被编码为“1 128 91 241 5 101 127 217”这样的整数序列，首位标志当前回合是继续还是终止，随后给出末端执行器的位置变化、旋转量与夹爪开合，整段串可被标准语言分词器直接处理。研究者把机器人数据与原始网页数据共同微调 VLM 主干，得到的模型读入摄像头图像后直接输出动作 token。在超过 6000 次真机试验中，RT-2 在符号理解、推理、人物识别三类涌现技能上比 RT-1 与 Visual Cortex 等纯视觉预训练基线提升三倍以上；在原任务集上保持表现的同时，把未见物体或场景的成功率从 RT-1 的 32% 提升到 62%；在开源 Language Table 仿真套件上达到 90% 成功率，明显高于 BC-Z 的 72% 与 RT-1 的 74%。
借鉴 LLM 的链式思考思路，RT-2 还能在动作之前先输出一段自然语言“Plan”，再给出“Action”和动作 token，让单一模型同时承担长程规划与底层控制。与 SayCan 等语言层规划方案相比，RT-2 因为继承了 VLM 主干，能读入图像理解现场，规划是视觉锚定的。对机器人研究读者而言，RT-2 提供的不仅是数字增益，更是一种把网页规模常识与多语言能力直接迁移到物理控制的路径，为后续 Gemini Robotics 等通用具身模型奠定接口范式。