DeepMind 发布 AlphaZero 对国际象棋、将棋和围棋的新研究

这篇 2018 年 12 月 6 日发表的 DeepMind 博客，由 David Silver、Thomas Hubert、Julian Schrittwieser 与 Demis Hassabis 联合署名，宣布 AlphaZero 的完整评估结果登上 Science。AlphaZero 是一个单一系统，从零开始仅凭游戏规则学习国际象棋、将棋与围棋，并在三个项目上均击败了当时最强的程序：在 1000 局对 Stockfish 的比赛中赢 155 输 6、对 Elmo 取得 91.2% 胜率、对 AlphaGo Zero 取得 61% 胜率。训练时间分别约为 9 小时、12 小时与 13 天，单一架构、单一算法贯穿三种棋类。

方法上，AlphaZero 用一张未经预训练的神经网络替代传统引擎中数以千计的人工启发式，仅依靠基本规则与强化学习中的自我对弈。神经网络指导一种蒙特卡洛树搜索（MCTS），在每步只需检视约六万个局面，而 Stockfish 在同一时间约检视六千万个，差距三个量级。硬件配置上 Stockfish 与 Elmo 使用 44 核 CPU，AlphaZero 与 AlphaGo Zero 使用单机 4 个第一代 TPU 加 44 核 CPU，比赛每局 3 小时基础时间加每步 15 秒增量。在 TCEC 标准开局集、人类常用开局集与最新版 Stockfish 上的多组对照均显示，AlphaZero 维持稳定优势。

对围棋与国际象棋社区而言，文章更受关注的是棋风层面的观察。国际象棋大师 Matthew Sadler 与 Natasha Regan 在配套书 Game Changer 中归纳，AlphaZero 偏好牺牲子力以追求长期的子力活跃度与对方王位压力，常做出传统引擎避忌的弃子选择；将棋方面，棋圣羽生善治评论它"将王走到棋盘中央这种违背理论的手段，竟仍能控制全局"。AlphaZero 不止是一份算法 SOTA，文章结尾把它定位为通用学习系统迈向真实世界的一块试金石，呼应了 AlphaFold 等同期项目的研究路线。