arXiv · 训练
Complete-muE 提出 MoE 模型最优超参数转移与缩放框架
研究者提出了 Complete-muE 框架，用于在稠密前馈网络与任意混合专家配置之间转移超参数。与依赖固定架构的 μP 或固定每步 token 数的 SDE 不同，Complete-muE 不要求这些约束，能够直接适配不同规模的 MoE 模型。这项工作为大规模 MoE 训练提供了更通用的超参数缩放规律。
- 域名
arxiv.org- 评分
- 5 · 重大发布
- 发布
- 2026-05-22
导读
这条暂时没有深度导读，点上方「访问项目本体」直接到源页面查看。
原文摘要
We propose Complete-muE, a framework which targets hyperparameter transfer across dense FFN and any Mixture-of-Experts (MoE) setups in transformer blocks. Existing tools such as $μ$P (requires fixed architectue) or SDE (requires fixed per-step token count) cannot directly solve the hyperparameter t…