Mistral · 大模型
Mistral 发布 Mixtral 8x22b 模型
Mistral 开源了 Mixtral 8x22b，一款 141B 参数的稀疏混合专家模型，每 token 激活 39B 参数。该模型支持 64K token 上下文，在多语言理解、数学推理和代码生成方面表现突出，以 Apache 2.0 许可发布。Mixtral 8x22b 延续 MoE 架构路线，在推理成本与模型能力之间取得平衡，适合需要大容量模型但受限于计算资源的场景。
- 域名
mistral.ai- 评分
- 5 · 重大发布
- 发布
- 2025-01-30
导读
Mistral 在这篇标题为《Cheaper, Better, Faster, Stronger》的博文中开源了 Mixtral 8x22B，一款稀疏混合专家模型。参数账目算得很清楚：总参数 141B，每次前向只激活其中 39B，因此推理成本远低于同量级稠密模型，速度甚至快于任何 70B 稠密对手。模型以 Apache 2.0 许可发布，允许任何人在任何场景中无限制使用，延续 Mistral 7B 与 Mixtral 8x7B 一脉的开放路线。
能力侧重在三块。其一是推理与常识，文章在 MMLU、HellaSwag、Wino Grande、Arc Challenge、TriviaQA、NaturalQS 等基准上给出与其他开源模型的横向对比，Mixtral 8x22B 在大多数项目上领先。其二是多语言，模型原生支持法语、德语、西班牙语和意大利语，在这些语种的 HellaSwag、Arc Challenge、MMLU 上显著超过 LLaMA 2 70B。其三是数理与代码，HumanEval pass@1、MBPP pass@1、GSM8K maj@8 与 Math maj@4 都给出了数字，指令版的 GSM8K maj@8 拿到 90.8%、Math maj@4 拿到 44.6%。
Mistral 在文中把这次发布解释为"性能与推理预算权衡"路线的延续。同一家族里，Mistral 7B、Mixtral 8x7B 与 Mixtral 8x22B 共同构成一条 MMLU 与活跃参数量之间的性能曲线，给社区一个明确的尺度选择：哪怕只动 39B 参数，也能拿到大模型的能力天花板，而对算力受限的科研团队和初创公司来说，基座模型本身就是一份足够好的微调起点。