DeepMind 发布 SIMA 通用 AI Agent，可操作 3D 虚拟环境

DeepMind 推出 Scalable Instructable Multiworld Agent，简称 SIMA，一个能根据自然语言指令在多款商业 3D 游戏中完成任务的通用 agent。研究的着眼点放在跨环境的指令跟随能力上，把语言、视觉与动作打通到同一套策略，而单一游戏的高分本身已经退居其次。

SIMA 与多家游戏厂商合作收集训练数据，覆盖 Coffee Stain 的《Valheim》《Satisfactory》《Goat Simulator 3》、Hello Games 的《No Man's Sky》、Keen Software House 的《Space Engineers》以及 Tuxedo Labs 与 Saber Interactive 的《Teardown》等作品。系统不接入任何游戏 API 或源码，只接收屏幕图像和文本指令，再以键盘鼠标输出回写到游戏，相当于一个会读屏的人类玩家。架构上由预训练视觉模型、图文对齐模型和一个预测下一帧动作的视频模型构成，最终融合为一个带记忆的策略网络。当前版本被评测过 600 项基础技能，包括“向左转”“爬梯子”“打开地图”等动作，每项任务可在约 10 秒内完成。

对读者而言，SIMA 的意义在于把 agent 的接口降到与人类一致的视觉-键鼠层，因此原则上可以扩展到任意有图形界面的虚拟环境。这是把语言模型的指令理解能力与第一人称空间推理拼接起来的一次系统化尝试，也为后来 SIMA 2、Genie 3 等更具自学习能力的世界模型铺了路。