Meta AI · 训练
Meta AI 发布基础设施概览
Meta AI 发布了基础设施概览，详细介绍了支撑其大规模模型训练和推理的计算集群、网络架构及存储方案。该文档展示了 Meta 在 AI 基础设施层面的投入与设计思路，涵盖从硬件选型到系统优化的关键环节，为业界理解超大规模 AI 系统的底层工程提供了一手参考。
- 域名
ai.meta.com- 评分
- 5 · 重大发布
- 发布
- 2023-05-17
导读
Meta 公开下一代 AI 基础设施的整体规划，覆盖芯片、数据中心、超算与开源框架四层硬件软件栈。文章给出的三块关键成果分别是首款自研推理芯片 MTIA、面向 AI 工作负载重新设计的数据中心，以及研究超级集群 RSC 进入第二阶段、规模扩至 16000 块 GPU。这些项目服务于 Meta 旗下应用的 AI 能力升级，也支撑长期的 metaverse 愿景。
MTIA 全称 Meta Training and Inference Accelerator，是 Meta 自研的首款用于运行 AI 模型的定制芯片，与新数据中心设计配套部署，目标是端到端优化从物理层到软件层的整套体验。Meta 强调自己控制全栈意味着可以根据具体工作负载共置 GPU、CPU、网络与存储，并据此重新设计供电与散热方案。RSC 的第二阶段把 GPU 数量提升到 16000 块，是当时全球最快的 AI 超算之一。
软件层面，文章把 PyTorch 2.0 列为关键基础。PyTorch 由 Meta 在 2016 年与社区共同创立，2.0 版在编译器层做了重写，带来更快的执行性能，新增对加速 Transformer、动态形状等特性的支持。Meta 预计未来十年芯片设计会继续走向专用化与定制化，针对特定工作负载的 AI 基础设施、面向规模化部署的新系统与工具会成为重点投入方向。