Mistral · 大模型
Mistral 发布 Mixtral of Experts 模型
Mistral 发布 Mixtral of Experts，一款基于稀疏混合专家架构的大语言模型。该模型通过路由机制动态激活部分专家层，在多项基准测试中展现出与更大规模模型相当的性能，同时保持较高的推理效率。Mixtral 的开源为社区提供了本地部署方案，推动了高效模型架构的普及。
- 域名
mistral.ai- 评分
- 5 · 重大发布
- 发布
- 2025-04-11
导读
Mistral 发布 Mixtral of Experts，是一款采用稀疏混合专家架构的大语言模型。结构上，Mixtral 是 decoder-only 模型，feedforward 块在 8 组不同参数中做选择；每一层、每一个 token，由路由网络挑出其中两组"专家"参与处理，并将其输出加性结合。整套模型在公开网络数据上预训练，专家与路由器同步训练。
在性能侧，Mistral 把 Mixtral 与 Llama 2 系列以及 GPT-3.5 base 模型同台比较，在多数基准上 Mixtral 匹配或超过 Llama 2 70B 与 GPT-3.5；在质量对推理预算的权衡曲线里，Mistral 7B 与 Mixtral 8x7B 都落在更低算力换取相近质量的位置。配套发布的 Mixtral 8x7B Instruct 经过监督微调与直接偏好优化（DPO）专门提升指令遵循能力，在 MT-Bench 上拿到 8.30 分，达到当时开源模型的最高水平，整体表现与 GPT-3.5 接近。
为方便社区直接跑起来，Mistral 把适配 Mixtral 的改动提交给了 vLLM 项目，整合 Megablocks CUDA kernel 以提升推理效率；Skypilot 支持在任意云实例上部署 vLLM 端点。对开源社区而言，这次发布的真正价值并不只在分数本身，而在于证明了 MoE 路线在公开权重场景下的可行性——在固定推理预算下用稀疏激活换取等效更大稠密模型的质量，自此成为开源阵营追赶闭源旗舰的常用技术范式。