arXiv · 训练
Muon 优化器概率梯度流理论分析论文发布
arXiv 上出现了一篇从概率梯度流视角分析 Muon 优化器的理论论文。作者构建了正则化 Muon 在矩阵参数概率空间上的梯度流，发现正则化正交映射是光滑 Fenchel 对偶函数的梯度。这项工作为理解 Muon 优化器的收敛行为提供了数学框架，对深度学习训练理论有参考价值。
- 域名
arxiv.org- 评分
- 3 · 可关注
- 发布
- 2026-05-22
导读
这条暂时没有深度导读，点上方「访问项目本体」直接到源页面查看。
原文摘要
We develop a gradient flow on the space of probability measures defined on matrix-valued parameters induced by regularized Muon, an analytically smoothed version of the idealized Muon optimizer. The key observation is that the regularized orthogonalization map is the gradient of a smooth Fenchel-du…