Meta AI · 大模型
Meta AI 发布多对多多语言机器翻译模型
Meta AI 推出多对多多语言机器翻译模型，支持多种语言之间的直接翻译，无需经过英语中转。该模型在翻译质量和效率上均有显著提升，覆盖语种广泛，为跨语言交流提供了更流畅的解决方案。Meta 表示，这一成果将推动全球信息无障碍传播，并计划开源模型权重以促进研究社区发展。
- 域名
ai.meta.com- 评分
- 5 · 重大发布
- 发布
- 2020-10-18
导读
Meta AI 在 2020 年 10 月发布 M2M-100，号称是首个不依赖英语中转、可在 100 种语言任意配对之间直接互译的多语言机器翻译模型，并将代码与权重在 GitHub 开源。以往多语种系统翻译中文到法文，要先训练中文到英文、再训练英文到法文，英语成为隐形枢纽，语义在两次中转中损耗。M2M-100 直接学习中法配对，BLEU 指标比英语中转的多语模型平均高出 10 分。
支撑这一结果的是一个 75 亿句对的训练集，覆盖 2200 个翻译方向，规模是此前最强英语中心模型的 10 倍。Meta 团队复用了多年积累的 ccAligned、ccMatrix、LASER 等挖掘工具，并升级出 LASER 2.0 与改进版 fastText 语种识别。考虑到 100 种语言全配对共有 4450 种组合，全部挖掘成本难以承受，团队按使用频次划分 14 个语系组，并在每组内选 1 至 3 种“桥接语言”做跨组挖掘，把数据采集量控制在工程可行范围内。模型参数规模 150 亿，借助 PyTorch 新出的 Fairscale 库实现流水线与张量并行，单卡放不下的模型也能训练。
低资源语言部分则配合回译方法补充合成数据，回译方向上 BLEU 平均提升 1.7 分。M2M-100 已经在 Facebook 平台每天 200 亿次翻译请求中接受实战检验，团队同时把数据集与训练评估脚本一并放出，方便研究社区做进一步扩展。