DeepMind 分享 AlphaZero 与 MuZero 研究成果

DeepMind 在官网汇总了 AlphaZero 与 MuZero 两项里程碑式强化学习研究的现状。AlphaZero 是 AlphaGo 的后继者，仅获得各项规则就从零自学，9 小时掌握国际象棋、12 小时掌握将棋、13 天掌握围棋，在三项棋类上都成为史上最强对手。前世界冠军 Garry Kasparov 评价其下法风格高度动态且非传统，与他本人风格相近。

MuZero 把规划能力推进了一步，连规则也不需要事先告知。它通过学习一个环境模型来决策，并且只建模与决策直接相关的三个量：当前位置有多好、下一步选哪个动作最佳、上一步动作有多好。这种最小充分表征让 MuZero 在围棋、国际象棋、将棋上与 AlphaZero 平齐，同时学会一整套视觉复杂的 Atari 游戏。一个长期困扰研究界的问题，即如何让强化学习智能体在未知规则环境里做长期规划，由此向前推进一大截。

对读者而言，这两套系统的现实意义已经超出棋类。AlphaZero 的新版本发现了更快的排序、哈希与矩阵乘法算法，每天被全球应用调用上万亿次；MuZero 则被用于 YouTube 视频压缩，每天为数十亿用户节省网络流量并提升内容投递效率。DeepMind 把它们定位为通往真实世界一般决策智能的两块踏脚石，下一步指向机器人、工业系统等"规则未知"的混乱环境。