DeepMind · 世界模型
DeepMind 发布 SIMA 2 智能体，可在虚拟 3D 世界中与人类共同游戏与学习
DeepMind 推出 SIMA 2，一个能在虚拟 3D 环境中与人类一同游戏、推理和学习的智能体。SIMA 2 不再只是被动执行指令，而是通过自然语言与人类协作，在开放世界中理解目标、规划行动并不断适应。这一进展将 agent 的能力从静态任务执行推进到动态交互学习，为构建更通用的虚拟世界智能体奠定了基础。
- 域名
deepmind.google- 评分
- 5 · 重大发布
- 发布
- 2026-03-03
导读
DeepMind 这篇 2025 年 11 月 13 日的博客由 SIMA 团队署名，介绍 SIMA 2，把 2024 年 3 月初版 SIMA 的指令跟随能力升级为可推理、可对话、可自我提升的虚拟世界 agent。初版 SIMA 学会了 600 多种语言指令对应的技能，如“左转”“爬梯子”“打开地图”，仅通过看屏幕、操控虚拟键鼠在多款商业游戏中行动，不接入底层游戏机制。SIMA 2 把 Gemini 模型嵌入为 agent 内核，使其在指令之外能够思考目标、解释自身行为、与用户对话。
训练数据混合了人类演示视频带语言标注，以及由 Gemini 生成的标注。结果是 agent 能用自然语言告诉用户它打算做什么、为什么这么做，并把抽象概念在不同游戏间迁移，比如把一款游戏里学到的“挖矿”理解为另一款里的“采集”。在合作游戏开发商提供的环境中，SIMA 2 在大量评估任务上把成功率从 SIMA 1 显著拉近到人类玩家水平；在训练时未见过的 MineDojo 与 ASKA 等保留游戏上仍能完成任务。研究者还把它与 Genie 3 结合，让 SIMA 2 进入由单张图片或文字提示生成的 3D 世界，结果显示 agent 能自我定位、理解指令、采取有意义的行动。
自我提升是这版 agent 最引人关注的能力。初次人类演示之后，SIMA 2 可以在新游戏里完全靠自主试错与 Gemini 反馈学习，所产生的经验数据又能用于训练下一代更强的 agent，包括 Genie 3 生成的全新世界。文章承认局限：长时程多步任务的推理仍受短上下文窗口与低延迟交互约束，精细键鼠动作与复杂 3D 场景视觉理解依然是开放问题。SIMA 2 当前以研究预览形式向少量学者与游戏开发者开放，团队同时强调它指向机器人具身智能的迁移可能，导航、工具使用、协作执行这些技能正是物理具身的基础组件。