Meta AI · 训练
Meta 发布 RSC 超级计算机
Meta 宣布其 AI 研究超级集群 RSC 正式投入使用。这套系统由数千块 NVIDIA A100 GPU 构成，专为大规模模型训练设计。Meta 表示 RSC 在计算能力、数据吞吐量和网络延迟上均达到顶级水平，将用于训练下一代 AI 模型，包括多模态和自然语言处理领域。该集群同时强化了数据安全与隐私保护机制。
- 域名
ai.meta.com- 评分
- 5 · 重大发布
- 发布
- 2023-05-17
导读
Meta 介绍其 AI 研究超级集群 RSC 投入研究使用后的进展。系统满负荷算力接近 5 exaflops，单位是百京次浮点运算每秒，由 2000 台 NVIDIA DGX A100 节点构成，合计 16000 块 NVIDIA A100 Tensor Core GPU，节点间通过 NVIDIA Quantum InfiniBand 16 Tb/s 网络互联。Meta 将 RSC 定位为高可靠训练集群，用于持续不断的实验和快速迭代。
影响训练耗时的三个变量是 token 数、参数量和参与训练的 GPU 数。Meta 用 RSC 的算力规模缩短了多个项目的训练时间。LLaMA 系列在 RSC 上完成预训练，LLaMA 65B 与 LLaMA 33B 各用 1.4 万亿 token，LLaMA 7B 用 1 万亿 token；最大的 LLaMA 65B 在 2048 块 A100 上以每 GPU 每秒 380 token 的吞吐量训练，仅用 21 天就完成 1.4 万亿 token 的预训练。
RSC 服务于多条研究线，包括基础模型预训练、计算机视觉自监督学习、语音与翻译模型等。Meta 在文章中强调，规模化训练能力允许在 token 与参数两个维度同步扩张，把以往按月计算的训练周期压缩到周或天的量级，使发布节奏显著加快。集群同时强化了数据安全与隐私保护机制，承载 Meta 内部敏感工作负载的训练任务。