DeepMind 发布 AlphaStar 掌握星际争霸 II

这篇 2019 年 1 月 24 日发布的 DeepMind 博客，记录 AlphaStar 在《星际争霸 II》上首次击败顶级职业选手的完整过程。AlphaStar 在 2018 年 12 月 19 日的测试赛中以 5-0 战胜 Team Liquid 的神族选手 MaNa，此前已在与 TLO 的热身赛中同样以 5-0 胜出，比赛使用职业天梯地图 CatalystLE，未做任何规则改动。文章随即解释为何星际争霸长期被视为 AI 的"大挑战"：博弈论意义上没有最优策略，关键信息靠侦察、动作空间在每一帧约有 10^26 种合法选择、平均一盘要打一小时。

AlphaStar 的训练管线分为两段。神经网络主体把 transformer 躯干与深度 LSTM 核心、自回归策略头、指针网络、集中式价值基线串联，从原始游戏接口读取单位列表并输出动作序列。研究者先用 Blizzard 公开的人类对局回放做监督学习，让 agent 学到天梯水平的微操与运营，初版便能在 95% 的对局中击败内置 Elite AI。随后进入"AlphaStar 联赛"：一群 agent 不断分裂出新对手，部分对手被冻结作为历史档案，每个 agent 拥有不同的学习目标，比如专门击败某个对手或者构建某类兵种，再用人口策略与多智能体强化学习不断逼近联赛的 Nash 分布。最终交付的单个 agent 在 16 块 TPUv3 上训练 14 天，相当于经历 200 年的实时游戏时间，在桌面 GPU 上即可推理。

比赛细节进一步澄清了一个常见误解。AlphaStar 平均 APM 约 280，明显低于既有 bot 动辄上万的水准，对观察与动作之间还存在约 350 毫秒延迟；研究者随后训练了第二版必须主动操作摄像头的 agent，性能与原始接口几乎持平。这意味着 AlphaStar 的胜利建立在宏观与微观策略的判断之上，而非反应速度。博客末段把这套训练范式与长序列、不完美信息、安全鲁棒性等通用问题联系起来，指向其在天气预测、语言理解之外的潜在迁移空间。