DeepMind · Agent
DeepMind 发布 Agent57，在 Atari 基准上超越人类表现
DeepMind 推出 Agent57，一个在 57 款 Atari 游戏中全部超越人类平均水平的智能体。该 agent 结合了深度强化学习与元学习与内在奖励机制，在探索与利用之间取得更优平衡，解决了此前算法在部分游戏上表现不佳的问题。Agent57 的发布标志着通用游戏智能体在多样任务上首次全面超越人类，为强化学习研究提供了新的基准。
- 域名
deepmind.google- 评分
- 5 · 重大发布
- 发布
- 2026-03-11
导读
DeepMind 在 2020 年 3 月 31 日发布的这篇博客，正式介绍 Agent57，一个在 Atari57 全部 57 款游戏上均超过人类基准的深度强化学习智能体。作者团队由 Adrià Puigdomènech 等七人组成，配套论文同步发表于 arXiv 2003.13350。文章开篇反思了既有评估范式的盲点：研究界长期用平均得分衡量进展，但平均值会被极少数容易上分的游戏拉高，掩盖智能体在 Montezuma's Revenge、Pitfall、Solaris、Skiing 等四款硬骨头上的全面溃败。Agent57 转而用 5% 分位的成绩来度量"通用性"，并第一次让这条曲线越过人类水平线。
从技术谱系看，Agent57 是 DQN 一路演化而来的产物：在 double DQN、优先经验回放、Dueling 架构、分布式 Gorila 与 ApeX、加入 LSTM 短期记忆的 R2D2，以及引入情景记忆的 Never Give Up（NGU）之后，研究者发现 NGU 虽然攻克了 Pitfall，却牺牲了简单游戏的分数。Agent57 的关键贡献是引入一个 meta-controller：它用滑动窗口 UCB bandit 为每个 actor 动态选择"偏探索还是偏利用"以及折扣因子的大小，让不同游戏自动获得不同的时间视野与新颖性权重。短期内在动机由可控状态下的情景记忆生成，长期奖励由 Random Network Distillation 提供，两者相乘后再被 meta-controller 调度。
对读者而言，Agent57 给出的并不是单纯的 SOTA 数字，而是一种对"通用性"的重新表述。文章末尾承认这套系统仍受限于算力成本与样本效率，MuZero 在均值与中位数上仍可能更高，未来工作需要在表征、规划与信用分配上继续突破。它把 Atari 基准从"刷分游戏"重新还原成衡量算法多面性的标尺，也为后续世界模型与多任务强化学习的研究路线设定了参照点。