arXiv · 训练
研究挑战 LLM 预训练蒸馏的强教师假设
知识蒸馏通常认为更强的教师模型能训练出更好的学生模型，但一篇新论文在 LLM 预训练场景下重新检验了这一假设。通过调整架构规模与训练 token 预算，作者发现弱教师在某些条件下反而能带来更优的学生表现，挑战了蒸馏领域长期以来的直觉。这项研究为预训练阶段的蒸馏策略提供了新的设计空间，也提醒从业者不应盲目追求教师模型的规模。
- 域名
arxiv.org- 评分
- 4 · 重要更新
- 发布
- 2026-05-22
导读
这条暂时没有深度导读，点上方「访问项目本体」直接到源页面查看。
原文摘要
Knowledge distillation generally assumes a strong-to-weak relationship where stronger teachers yield better students. In this work, we examine this assumption about distillation in large language model pretraining. By varying architecture sizes and training token budgets, we create strong-to-weak, …