arXiv · 训练
研究提出 Shannon Scaling Law 解释大模型非单调现象
现有大模型 scaling law 多为单调幂律，无法解释灾难性过训练和量化退化等非单调现象。这篇论文从香农信道视角重新审视模型容量，提出 Shannon Scaling Law，将计算量与信息论容量关联，为理解大模型性能边界提供了新理论框架。该工作对训练策略和量化部署有潜在指导意义。
- 域名
arxiv.org- 评分
- 4 · 重要更新
- 发布
- 2026-05-22
导读
这条暂时没有深度导读，点上方「访问项目本体」直接到源页面查看。
原文摘要
Existing scaling laws for Large Language Models (LLMs), predominantly monotonic power laws, fail to explain emerging non-monotonic phenomena such as catastrophic overtraining and quantization-induced degradation, where performance deteriorates despite increased compute. We propose the Shannon Scali…