Google AI · 其他
Google DeepMind 发布 RT-2 机器人 VLA 模型
Google DeepMind 发布 RT-2 视觉-语言-行动模型，将互联网预训练的视觉语言知识直接迁移到机器人动作指令中。该模型以 transformer 架构为核心，将机器人动作离散为 token 并纳入文本空间训练，实现了对未见于训练数据中的物体和新场景的零样本泛化抓取与搬运。RT-2 融合了 PaLM-E 和 PaLI 系列的视觉语言能力，让机器人不再依赖特定物体的预定义动作集，而是借助大语言模型的语义理解实时生成动作序列。这一方向为通用机器人的现实部署提供了新的可能性。
- 域名
blog.google- 评分
- 5 · 重大发布
- 发布
- 2026-01-07
导读
RT-2 是 Google DeepMind 在 2023 年 7 月推出的首个视觉-语言-行动模型，简称 VLA。模型以 Transformer 为底座，直接在网络抓取的文本和图像上训练，然后让网络的输出端不仅产生文字，还产生可执行的机器人动作。整套思路把过去拆成高层推理与低层操控的复杂栈压缩成一个模型：原本需要分别训练识别物体、规划动作、控制关节的多个模块，现在由同一个网络读入视觉与语言、直接吐出机器人动作 token。
设计上 RT-2 沿用了团队此前的两条线索：PaLM-E 让视觉模型具备机器人语义理解能力，RT-1 证明 Transformer 可以跨机型迁移操作经验。RT-2 把动作离散成 token 并塞回文本空间训练，从而让大模型在网络数据里学到的"垃圾是什么、香蕉皮吃完会变成什么"这类语义知识，直接迁移到"识别垃圾并扔掉"这类没专门训练过的动作上。论文中报告的 6000 多次真实机械臂测试显示，RT-2 在训练数据覆盖的"已见"任务上与 RT-1 持平，在未见过的新场景上把成功率从 RT-1 的 32% 拉到 62%，几乎翻倍。
对读者而言，RT-2 的意义在于把基础模型的泛化能力第一次稳定地引入物理操控。机器人不必再为每一类物体单独标数据，依托网络规模的视觉语言知识即可展开对新任务的尝试。这条路径为家庭、仓储、医疗等非结构化环境中的通用机器人留出了可扩展的工程基础。