DeepMind · 大模型
DeepMind 发布 MuZero，无需规则掌握围棋、国际象棋、将棋和 Atari
DeepMind 推出 MuZero，一种无需事先了解游戏规则即可通过自我对弈掌握围棋、国际象棋、将棋和 Atari 游戏的强化学习算法。MuZero 将基于模型的规划与无模型学习结合，在多个棋类游戏和 Atari 基准上达到超越人类水平的表现，为通用人工智能的探索提供了新路径。
- 域名
deepmind.google- 评分
- 5 · 重大发布
- 发布
- 2026-03-12
导读
MuZero 是 DeepMind 在 2020 年 12 月发表于 Nature 的强化学习算法，作者包括 Julian Schrittwieser、Ioannis Antonoglou、Demis Hassabis、David Silver 等。与 AlphaZero 必须依赖游戏规则或完美模拟器不同，MuZero 自己学一个面向规划的环境模型，只建模对决策真正重要的三个量：当前位置的 value、下一步的 policy、上一步的 reward，其余视觉细节与物理过程一概不显式刻画。
这个学到的模型与 Monte Carlo Tree Search 联手，让 MuZero 在围棋、国际象棋、将棋三类棋类上匹配 AlphaZero 的超人类水平，同时在视觉复杂得多的 Atari 套件上刷新 SOTA。论文还演示一种叫 MuZero Reanalyze 的训练范式，Atari 实验里 90% 的训练步数都靠学到的模型对过往经验重新规划。围棋实验中，给每步 0.1 秒到 50 秒的不同思考时间，模型的 Elo 涨幅超过 1000 分，相当于从业余强棋手跨到职业顶尖；Ms Pac-Man 实验里即便每步只允许 6 到 7 次模拟，agent 仍能达到不错的成绩，说明模型能跨动作与情境做泛化。
这条路线最大的意义在于把规划与无模型学习这两条技术线合并到同一框架下，并且不再要求人类提供环境规则。DeepMind 在论文里把这套方法指向机器人、工业控制等真实场景，那里的 game rules 通常无法事先写清楚，正是 MuZero 这种自学模型加自带规划的算法擅长的地带。