DeepMind · 训练
DeepMind 发布大语言模型计算最优训练的实证分析
DeepMind 在超过400个不同规模和计算预算的模型上进行了实证分析，系统研究了语言模型训练的计算最优策略。研究显示，计算预算下的最优模型大小与数据量分配与经典 Chinchilla 法则不完全一致，且扩展律随架构和目标变化。该工作为理解大语言模型训练中的计算效率提供了更精细的实证基础。
- 域名
deepmind.google- 评分
- 5 · 重大发布
- 发布
- 2026-03-03
导读
这篇 2022 年 4 月 12 日发布的 DeepMind 博客，由 Jordan Hoffmann、Sebastian Borgeaud、Arthur Mensch 与 Laurent Sifre 联合署名，对应 arXiv 2203.15556。研究问题指向当时大模型领域的一个核心未决议题：在给定算力预算下，模型参数量与训练 token 数应当如何分配，才能让最终性能最优。彼时业内通行做法是把 100B+ 模型的训练 token 数固定在 3000 亿左右，把多出来的算力堆到参数上，作者认为这种取舍并未被实证检验。
为回答这一问题，团队训练了 400 多个不同规模、不同 token 数的语言模型，把训练 FLOPs、模型大小与最终损失放到同一张图上拟合扩展律。主要结论是当前一代大模型相对其算力预算明显"过大、训练不足"：以 Gopher 的 2800 亿参数与训练 FLOPs 计算，最优配置应当是参数缩小 4 倍、训练 token 增加 4 倍。为验证这一预测，作者训练了 Chinchilla，参数 700 亿、训练 1.3 万亿 token，训练算力与 Gopher 相当；结果 Chinchilla 在几乎所有评测任务上压过 Gopher，并在 TriviaQA、HellaSwag、PIQA、Winogrande、BoolQ、LAMBADA、MMLU 等多个标准基准上同时超过 GPT-3 与 Megatron-Turing NLG。文章还基于同一套扩展律预测，PaLM 在其 5 倍算力预算下，最优配置应为 1400 亿参数、3 万亿 token。
对大模型从业者而言，Chinchilla 论文的核心贡献是把扩展律修订了一版：在固定算力预算下，把更多 FLOPs 投到训练 token 上比堆参数更有性能回报。这一组新的 SOTA 数字本身只是结论的副产物。一个相对小但训练充分的模型，推理阶段的延迟与显存占用也显著低于同算力下的大模型，这把成本曲线在训练与服务两端同时往下压。此后两年里，开源社区与商用大模型纷纷把 token 数推到万亿量级，正是对这一结论的延伸验证。