Meta AI · 大模型
Meta AI 发布 Llama 大语言模型
Meta AI 正式发布其自研大语言模型 Llama，该模型在多项自然语言处理基准测试中展现出与 GPT-3 等主流模型相当的性能，同时参数量更小、推理效率更高。Llama 采用公开可用的训练数据和架构设计，旨在降低学术和工业界研究大模型的门槛。此次发布标志着 Meta 在基础模型领域的重要布局，为后续开源生态和 AI 研究提供了新的基础能力。
- 域名
ai.meta.com- 评分
- 5 · 重大发布
- 发布
- 2023-02-23
导读
Meta AI 发布 LLaMA，全称 Large Language Model Meta AI，是一组面向研究用途的基础语言模型，采用受限授权开放给学术机构、政府与民间组织的研究人员以及业界研究实验室，按申请逐案授权。Meta 把发布的动机定位为开放研究：当前大语言模型的资源门槛限制了研究者对其工作机制的理解，也阻碍了在鲁棒性、偏见、毒性、虚假信息生成等问题上的改进。
LLaMA 走小模型、多 token 的路线。Meta 训练了 LLaMA 65B 与 LLaMA 33B，两者各用 1.4 万亿 token；最小的 LLaMA 7B 用 1 万亿 token。这种配置便于研究者在更小的硬件预算下做再训练或微调，从而把模型适配到具体的产品场景。训练数据选自使用人口最多的 20 种语言文本，优先覆盖使用拉丁字母与西里尔字母的语种。
模型机制延续 next-word prediction：接收一段词序列，预测下一个词，再递归生成文本。Meta 把模型放在非商业研究许可下发布，并表示希望学术界、民间社会、政策制定者与产业界共同制定关于负责任 AI 与负责任大语言模型的清晰准则。研究者可以在论文中找到访问申请链接，Meta 期待社区基于 LLaMA 完成的研究与构建工作。