DeepMind 发布 AlphaGo Zero 从零开始学习

DeepMind 在 2017 年 10 月 18 日的 Nature 论文中介绍了 AlphaGo Zero，团队由 David Silver 和 Demis Hassabis 领衔。这一版本与此前依赖数千局人类业余与职业棋谱进行监督训练的 AlphaGo 不同，完全从随机落子起步，仅靠自我对弈累积经验。经过三天的自我训练，AlphaGo Zero 以 100 比 0 击败了曾在 2016 年战胜李世石的旧版 AlphaGo；训练 40 天后，又超越了曾在线上击败聂卫平、柯洁等顶尖棋手的 Master 版本。

AlphaGo Zero 的算法核心是新型强化学习方式，让系统成为自己的老师。神经网络一开始对围棋一无所知，与强搜索算法结合后在自我对弈中持续微调，既预测下一手棋的概率，也预测最终胜负。每一轮迭代后更新的网络再与搜索算法结合，形成更强的下一代版本。相比旧版，AlphaGo Zero 只用黑白棋子作为输入，舍弃了人工设计特征；将原本分离的策略网络与价值网络合并为单一网络，训练与评估都更紧凑；并放弃了用于快速估计胜率的 rollout 模拟，转而完全依靠神经网络评估局面。

对读者而言，这项工作的价值在于展示了 tabula rasa 路径的可行性：在规则明确、可自动评估胜负的复杂博弈中，AI 可以绕过昂贵或不可靠的人类知识，自主发现新策略与新着法。论文指出，类似技术若能迁移到蛋白质折叠、降低能耗或新材料搜索等结构化问题上，可能带来类似量级的突破。