Meta AI · 大模型
Meta 发布 Llama 3.1
Meta 正式发布 Llama 3.1，这是其开源大语言模型系列的重要更新。新版本在多项基准测试中展现出与闭源模型竞争的实力，同时延续了 Llama 系列的开源传统。Llama 3.1 的推出为开发者社区提供了更强大的基础模型选择，有望推动更多基于开源 LLM 的应用和创新落地。
- 域名
ai.meta.com- 评分
- 5 · 重大发布
- 发布
- 2024-07-22
导读
Meta 在 2024 年 7 月 23 日的这篇博客中正式发布 Llama 3.1 系列，旗舰是 405B 参数的 Llama 3.1 405B，Meta 把它定位为首个达到前沿水平的开源基础模型。同步发布的还有升级版 8B 和 70B，三档都扩展到 128K 上下文，原生支持包括英语在内的八种语言。截至发布日，Llama 全系列累计下载量已经超过 3 亿次。
训练侧给出的数据相当直接：Llama 3.1 405B 在超过 15 万亿 token 上训练，使用了 16,000 多张 H100 GPU，是 Llama 家族首次跑到这个规模。Meta 选择保留标准 decoder-only Transformer 架构而非引入 MoE，目标是最大化训练稳定性；后训练采用 SFT、Rejection Sampling 与 DPO 多轮迭代，并用 405B 生成合成数据反哺 8B 和 70B。为了支撑生产级推理，405B 从 BF16 量化到 FP8，可以装进单个服务器节点。在 150 多个基准与人类评测中，Meta 报告 405B 与 GPT-4、GPT-4o、Claude 3.5 Sonnet 处在同一梯队。
这次发布把 Llama 的定位从"模型"推向"系统"。Meta 同时开源 Llama Guard 3、Prompt Guard 这类安全组件，提交了 Llama Stack API 的 RFC 草案，并修改许可证允许开发者用 Llama 输出去训练其他模型，这正式打开了用 405B 做合成数据生成和模型蒸馏的合规路径。生态侧 AWS、NVIDIA、Databricks、Groq、Dell、Azure、Google Cloud、Snowflake 等 25 家以上合作伙伴在首日提供服务。对开发者而言，这意味着前沿能力第一次以可下载权重的形式出现，能在本地、自有云或第三方平台部署而不必把数据交给模型提供方。