DeepMind · Agent
DeepMind 发布 AlphaStar 星际争霸 II 宗师级多智能体强化学习系统
DeepMind 发布了 AlphaStar，一个在《星际争霸 II》中达到宗师级别的多智能体强化学习系统。该系统通过多智能体协作与对抗训练，在实时战略游戏中展现出超越人类顶尖选手的决策与操作能力。AlphaStar 的突破不仅验证了多智能体强化学习在复杂博弈中的潜力，也为 AI 在动态环境中的自主决策研究提供了重要参考。
- 域名
deepmind.google- 评分
- 5 · 重大发布
- 发布
- 2026-03-03
导读
这篇 2019 年 10 月 30 日发表的 DeepMind 博客，由 AlphaStar 团队署名，宣布配套 Nature 论文 Grandmaster level in StarCraft II using multi-agent reinforcement learning 同步发表。AlphaStar 在 Battle.net 官方天梯匿名作战，使用与人类相同的地图与规则，分别用神族、人族、虫族三个种族打到了 Grandmaster 段位，超过该服务器 99.8% 的活跃玩家。相比 2019 年 1 月对阵 TLO 与 MaNa 的早期版本，这一版接受了职业选手认可的额外限制：摄像头视野与人类一致，动作频率被限制在每 5 秒不超过 22 次智能体动作；每个种族对应一个端到端神经网络，无需为不同种族单独工程化。
训练管线由两段构成。第一段是从 Blizzard 公开人类对局回放中做监督学习，使初始策略已达到天梯前 16% 玩家水平，并引入潜变量对开局分布建模，避免后续自博弈遗忘多样开局。第二段是 AlphaStar League：将传统自博弈扩展到一群智能体共同训练，引入主智能体与剥削者智能体两类角色，前者追求对所有对手胜率最大，后者专门暴露主智能体的弱点，从而打破自博弈常见的循环遗忘。研究者还设计了一种新的离策略强化学习算法，以应对 10^26 量级的每步动作空间。
对强化学习读者而言，AlphaStar 的价值集中在方法论层面。它把自博弈推广为多角色联赛的范式，给出比 fictitious self-play 更工程化的反遗忘机制；与此同时，它说明在不完美信息、长视野的实时博弈中，模仿学习与多智能体强化学习可以联合训练出端到端可部署的策略。职业选手 TLO 在文中评价 AlphaStar "战略评估出色，进退节奏精准，反应速度尚未超出人类范畴"，这恰好印证了博客的方法论主张：胜负来自策略与全局判断，APM 退居次要。