OpenAI 发表 Deep Double Descent 研究论文

这篇 2019 年 12 月 5 日由 OpenAI 公开的 publication 把 Belkin 等人提出的"double descent"现象在 CNN、ResNet 与 Transformer 等现代深度模型上做了系统证据收集。配套 arXiv 论文 1912.02292 把核心观察概括为：随着模型规模、数据规模或训练时长增加，测试误差并非单调下降，而是"先降、再升、再降"，在模型刚好能拟合训练集附近出现明显的尖峰。

论文区分出三种维度的双重下降。一是 model-wise：固定数据时，扩大网络宽度会在 interpolation threshold 附近把测试误差顶上一个峰，越过这个临界值后再次下降；优化算法、训练样本数与标签噪声水平的任何调整都会平移这个峰的位置，添加 label noise 是放大这一效应最直接的方式。二是 sample-wise：在某些中等模型规模的红色箭头区，给 Transformer 翻译任务多投 4.5 倍训练样本反而让测试 loss 变差，因为更多样本同时把临界点推到右侧。三是 epoch-wise：固定模型大小、延长训练步数会让测试误差出现"过拟合后再回落"的非单调轨迹。

这组结果同时挑战了经典统计学家"模型越大越糟"的训诫与现代 ML"越大越好"的口号。作者在结尾承认，对现象成因尚无完整理论解释，主张把它列为后续研究方向。对实际训练大模型的研究者而言，这篇文章的实操含义是 early stopping 与正则化的设计要考虑临界区，而单纯扩规模或扩数据并不总能换来线性收益，后续 scaling laws 的研究也在此基础上继续推进。