DeepMind · Agent
DeepMind 将 MuZero 从研究推向现实世界应用
DeepMind 宣布将 MuZero 从研究环境带入实际应用，标志着这一知名强化学习算法首次商业化落地。MuZero 曾在围棋和 Atari 游戏上取得突破，其核心技术在不依赖环境模型的前提下自主学习最优策略。转向现实世界意味着 MuZero 可用于工业调度、物流优化、机器人控制等场景，进一步拓展了强化学习在实体经济中的影响力。
- 域名
deepmind.google- 评分
- 5 · 重大发布
- 发布
- 2026-03-03
导读
MuZero 是 DeepMind 继 AlphaGo 与 AlphaZero 之后推出的通用强化学习算法，无需预先知道游戏规则即可掌握围棋、国际象棋、将棋与 Atari 系列。本文是 DeepMind 在 2022 年 2 月发布的进展，MuZero 团队与 YouTube 合作，把这套算法首次从游戏环境移到真实生产系统，目标是改进开源 VP9 编解码器中的码率控制。arXiv 同步预印本编号 2202.06626。
视频编码器为每一帧选择 quantisation parameter，决定该帧的压缩力度。复杂场景应分配较高码率即较低 QP，静态场景反之；同时每帧 QP 又会影响后续帧的码率分配与整体画质，是典型的序列决策问题，正适合强化学习。团队把传统 VP9 的 rate control 模块替换为 MuZero-RC，让 MuZero 在 libvpx 这一开源 VP9 实现上做策略学习。落地的关键挑战是泛化与多目标平衡：YouTube 视频内容差异巨大，agent 必须能处理上线后才出现的新视频；PSNR、码率约束等多项指标要被同时优化。团队提出 self-competition 机制，把多目标压缩成 agent 当前表现对历史表现的胜负信号，从而让 MuZero 在丰富约束下仍可优化。
上线于 YouTube 一部分实时流量后，MuZero-RC 在大规模、多样化的视频集上实现了平均 4% 的码率下降，画质保持不变。对视频平台而言，码率直接决定加载时长、缓冲、画质与流量成本，4% 的稳定下降在 YouTube 量级上意味着可观的带宽与计算节约。对研究者而言，MuZero 这次"从研究跨进真实世界"的尝试，验证了在巨大组合动作空间内同时学习环境模型与搜索策略的可行性，也为 DeepMind 长期目标"一套算法优化数千个真实系统"提供了首个产线级证据。后续工业调度、物流、数据中心冷却等领域的 RL 应用，可循此路径展开。