Meta AI · 训练
Meta AI 提出 Stochastic Gradient Push 分布式深度学习通信算法
Meta AI 团队发布了 Stochastic Gradient Push (SGP) 算法，一种用于分布式深度学习的去中心化通信方法。不同于传统 All-Reduce 需要全局同步，SGP 采用异步的、基于 gossip 的梯度推送，在异构网络和计算节点间有效降低通信开销。实验表明该方法在带宽受限、拓扑动态变化的场景下保持了模型精度，为大规模分布式训练提供了一条不依赖中心调度器的轻量路径。
- 域名
ai.meta.com- 评分
- 4 · 重要更新
- 收录
- 2026-05-19
导读
这条暂时没有深度导读，点上方「访问项目本体」直接到源页面查看。