Meta AI · 大模型
Meta 发布 Llama 3 大语言模型
Meta AI 正式发布 Llama 3 系列大语言模型，首批包括 8B 和 70B 两个参数规模的预训练及指令微调版本。基于超过 15T token 的公开数据训练，架构上引入了分组查询注意力机制，并优化了 tokenizer 效率至 120K 词汇表。Llama 3 在多项基准测试上超越了同等规模的竞品，也是最早支持 128K tokens 上下文的主流开源模型。
- 域名
ai.meta.com- 评分
- 5 · 重大发布
- 发布
- 2024-04-17
导读
Meta 在这篇 2024 年 4 月 18 日的博客中正式发布 Llama 3 首批模型，包括 8B 与 70B 两个参数规模的预训练版本与指令微调版本。Meta 把这次发布定位为该规模档位的新 state-of-the-art，宣称对手包括同期的 Claude 3 Sonnet、Mistral Medium 与 GPT-3.5。Meta AI 助手同时升级到 Llama 3 后端。
架构与训练数据的数据写得很清楚。模型仍是 decoder-only Transformer，但 tokenizer 词汇表扩到 128K，编码效率显著提升；8B 与 70B 都引入 grouped query attention 优化推理；训练序列长 8,192 token，使用 mask 隔离 document 边界。预训练数据超过 15T token，全部来自公开来源，是 Llama 2 数据规模的 7 倍，代码数据量 4 倍，多语言数据占比 5%，覆盖 30 多种语言。Meta 自陈让 Llama 2 担任 Llama 3 数据质量分类器的训练标签源，并开发了一系列基于启发式、NSFW、语义去重、文本质量预测的过滤流水线。
训练规模与工程同样可观。Meta 在两个 24K GPU 自建集群上跑训练，结合数据、模型、流水线三种并行，最优实现下 16K GPU 同时训练时单卡保持 400 TFLOPS 以上利用率，整体有效训练时间达到 95% 以上，相对 Llama 2 训练效率提升约 3 倍。Chinchilla 提示 8B 模型最优数据量约为 200B token，而 Meta 把训练推到 15T token，发现 8B 与 70B 性能在两数量级数据增量下仍呈对数线性提升。后训练结合 SFT、Rejection Sampling、PPO、DPO 多种方法，并附带 Llama Guard 2、Cybersec Eval 2 与新的 Code Shield 工具组成系统级安全方案。Llama 3 同时通过 torchtune 与 Hugging Face、Weights & Biases、EleutherAI 等社区组件集成。