Meta AI · 大模型
Meta 开源 OPT-175B 大语言模型
Meta AI 正式开源 OPT-175B，一个 1750 亿参数的大语言模型，规模与 GPT-3 相当。该模型在 Meta 的 Research SuperCluster 上完成训练，权重、训练日志与代码全部公开，学术界和中小开发者可以自由下载、复现和进一步研究。这一动作打破了超大模型仅由少数公司掌握的格局，推动了 NLP 领域研究资源的开放与共享。
- 域名
ai.meta.com- 评分
- 5 · 重大发布
- 发布
- 2022-05-02
导读
Meta AI 在 2022 年 5 月开源 OPT-175B，是首个对外开放的 1750 亿参数量级语言模型。在此之前，超过 1000 亿参数的语言模型只能通过付费 API 间接访问，完整研究权限掌握在少数高资源实验室手中。Meta 的发布把预训练权重、训练代码、训练日志和 day-to-day 的训练记录一并交给学术界、政府、公民社会和工业研究机构，所采用的非商业许可证将模型用途限定在研究场景。
在数据上，OPT-175B 完全使用公开数据集训练，并附带 125M、350M、1.3B、2.7B、6.7B、13B、30B 等多档较小规模的基线模型，方便研究者单独研究模型规模的影响。在算力上，研究团队用 Megatron-LM 中 NVIDIA 的张量并行抽象搭配 Meta 自研的 Fully Sharded Data Parallel API，在 NVIDIA 80GB A100 GPU 上达到约 147 TFLOP/s/GPU 的利用率，比 NVIDIA 自身在类似硬件上披露的数据高出约 17%。最终训练 OPT-175B 的碳足迹大约只有 GPT-3 的 1/7，整套代码可以在 16 张 NVIDIA V100 GPU 上运行。
Meta 在文中把这次发布视为大模型研究民主化的一次尝试。研究者过去无法直接接触模型权重，意味着检测和缓解策略的设计被少数有资本机构垄断。OPT-175B 的开放让更多声音参与到关于偏见、毒性、责任发布等议题的讨论中，也为复现研究和环境足迹的横向比较提供了一份共享基线。同期附带的训练日志披露了大规模训练中基础设施失稳、人工干预的真实开销，这部分文档对后来者尤其有参考价值。