Meta AI · 训练
Meta 发布下一代训练推理加速器 MTIA
Meta 公布了自研 AI 芯片的最新迭代——下一代训练推理加速器 MTIA。这款芯片专为 Meta 的推荐系统与生成式 AI 工作负载设计，旨在降低对大模型训练提速并优化推理效率。新 MTIA 在制程、算力和能效上较前代有明显提升，将支撑 Meta 内部 AI 服务，并减少对第三方芯片的依赖。Meta 持续加码自研硬件，MTIA 是其 AI 基础设施战略的关键一环。
- 域名
ai.meta.com- 评分
- 5 · 重大发布
- 发布
- 2024-04-09
导读
Meta 在这篇 2024 年 4 月 10 日的博客中公布了第二代 MTIA 加速器，即下一代 Meta Training and Inference Accelerator。这款芯片不针对通用大模型，而是为 Meta 自家的 ranking and recommendation 模型设计，核心目标是把内部的深度学习推荐工作负载从对 GPU 的依赖中迁出，并在功耗、面积、SRAM 配置等维度做针对性优化。
芯片层的数据相当透明。架构由 8x8 的 processing element 网格构成，dense 算力相对 MTIA v1 提升 3.5 倍，sparse 算力提升 7 倍，部分增益来自 sparse 计算 pipeline 化的架构改进。本地 PE 存储扩到 3 倍，片上 SRAM 容量翻倍且带宽提升 3.5 倍，LPDDR5 容量翻倍，新的 NoC 带宽翻倍以支持低延迟 PE 协同。系统层做了一个机架式平台，每机架最多容纳 72 个 accelerator，由 3 个机箱、每箱 12 块板、每板 2 颗芯片组成；主频从 v1 的 800 MHz 拉到 1.35GHz，功耗从 25W 上调到 90W，host 与 accelerator 间升级到 PCIe Gen5，可选 RDMA NIC 用于跨机架扩展。
软件栈是 Meta 强调的另一条线。MTIA 全栈与 PyTorch 2.0 集成，复用 TorchDynamo、TorchInductor、torch.export 的前端能力；Meta 还基于 OpenAI Triton 构建了 Triton-MTIA 编译器后端，把 Triton 语言扩展到非 GPU 硬件，支持 AOT 与 JIT 工作流，开发者写 kernel 的效率显著提升。性能侧给出的数字是：在四个关键模型上，新 MTIA 相对 v1 性能提升 3 倍，在 2x 设备数量与更强 CPU 的平台配置下吞吐提升 6 倍，每瓦性能提升 1.5 倍。第一代芯片到生产部署在 16 个区域上线只用了不到 9 个月，目前新一代已在数据中心提供推荐模型服务，与商用 GPU 形成互补。