OpenAI 发布神经语言模型 Scaling Laws 论文

这篇 2020 年 1 月 23 日发布的论文是 OpenAI 系统提出语言模型规模化定律的奠基工作，作者由 Jared Kaplan、Sam McCandlish、Tom Henighan、Tom Brown、Benjamin Chess、Rewon Child、Scott Gray、Alec Radford、Jeffrey Wu 与 Dario Amodei 共同署名，对应 arXiv 论文 2001.08361。摘要明确，团队研究了语言模型在 cross-entropy loss 上的经验规模化定律，发现 loss 随模型规模、数据规模与训练计算量三者均呈幂律下降，最广跨度覆盖超过七个数量级。

论文进一步指出，网络宽度或深度等结构细节在很大范围内对最终性能影响很小，简单方程就足以描述 overfitting 与模型大小、数据规模的关系，以及训练速度与模型大小的关系。更大的模型同时显示出明显更高的样本效率，因此在固定算力预算下，最优配置往往是把较大的模型放在相对较少的数据上训练，并在模型尚未完全收敛之前提前停止。

这套结果给后续 GPT-3 与一系列大模型的算力分配提供了理论锚点：模型规模、数据量与计算量不再被当作三个独立旋钮，而是被纳入一组可被外推的幂律关系。对研究者与基础设施团队而言，scaling laws 的最大价值在于把"做更大模型"从赌运气的工程任务转化为可预测的科学问题，由此驱动后续 Chinchilla、Compute-Optimal Scaling 等延续讨论。