DeepMind · Agent
DeepMind 从开放式博弈训练中发现通用型 agent 自发涌现
DeepMind 的研究团队通过开放式的博弈能训练环境，观察到智能体在反复对抗与协作中自发涌现出跨任务、跨场景的通用能力。该方法不依赖人工标注或预定义奖励，让 agent 在不断习得新技能的同时保持对陌生任务的上手能力。这项工作为通用智能体的自主学习路径提供了一条摆脱固定监督信号、向自主泛化迈进的关键路径。
- 域名
deepmind.google- 评分
- 5 · 重大发布
- 发布
- 2026-03-04
导读
DeepMind 的 Open-Ended Learning Team 在 2021 年发布了《Open-Ended Learning Leads to Generally Capable Agents》预印本，构建了一个名为 XLand 的大规模 3D 多人游戏空间，让单个 agent 在不依赖人类示范数据的前提下，学会跨越大量从未训练过的任务。
XLand 借助程序化生成把数十亿个任务铺展开来。agent 以第一人称视角观察 RGB 图像并接收文本目标，例如“靠近紫色立方体”或“看到对手且不被对手看到”。训练过程嵌套了三个时间尺度：内层用深度强化学习更新带注意力机制的 GOAT 神经网络；中层引入 Population Based Training 动态调节任务分布，让难度对每个 agent 都“刚刚好”；外层把多代 agent 串联起来，下一代以上一代为协作或对抗伙伴继续学习。最终一代 agent 经历了 2000 亿步训练，在约 70 万款游戏和 4000 个世界中累计触及 340 万种任务。
在留出的评测任务上，包括捉迷藏、夺旗等人类设计的玩法，最终一代 agent 几乎能在所有可行任务上获得回报，并表现出尝试、切换工具、回退重试等启发式行为。研究表明，只要环境与神经网络的表达力够丰富，开放式课程本身就能成为 agent 通用能力的来源，而无需为每个新任务重新设计监督信号。