Mistral · 大模型
Mistral 发布 Mistral Nemo 模型
Mistral 与 NVIDIA 联合发布 Mistral Nemo，一款 12B 参数、128K 上下文窗口的开源大语言模型，采用滑铁卢架构并整合 Nemotron-4 技术，以开源许可发布。该模型可运行于桌面端和云端，在多个基准上取得较优结果。Mistral 延续一贯的开放策略，提供模型权重和推理代码，允许开发者自行部署与微调。
- 域名
mistral.ai- 评分
- 5 · 重大发布
- 发布
- 2025-02-27
导读
Mistral AI 与 NVIDIA 联合发布 Mistral NeMo，参数 12B，原生上下文窗口 128k token，采用 Apache 2.0 许可同时提供预训练基座与指令微调两个 checkpoint。该模型沿用标准 transformer 结构，可作为 Mistral 7B 的 drop-in 替换。训练阶段已加入 quantisation-aware 优化，使其在 FP8 推理下不损失性能。官方对比表显示，NeMo 基座在多个公开基准上优于 Gemma 2 9B 与 Llama 3 8B。
多语言是这次发布的重点。NeMo 在英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语、印地语等场景下都接受过函数调用相关训练。配套的新分词器 Tekken 基于 Tiktoken，覆盖 100 多种语言；相比 Mistral 之前所用的 SentencePiece 分词器，对源代码、中文、意大利语、法语、德语、西班牙语和俄语的压缩率提升约 30%，对韩语和阿拉伯语分别达到 2 倍和 3 倍压缩率；与 Llama 3 分词器相比，Tekken 在约 85% 的语言上压缩率更优。
指令版本经过额外的微调和对齐流程，相较 Mistral 7B 在精确指令执行、多轮对话和代码生成上均有提升。模型权重托管在 HuggingFace，可通过 mistral-inference 直接调用，也可借助 mistral-finetune 改造。在 Mistral 的 la Plateforme 上以 open-mistral-nemo-2407 名称提供服务，同时打包为 NVIDIA NIM 推理微服务，可从 ai.nvidia.com 获取。对希望在边缘环境部署长上下文多语言模型的团队，这是一个权重开放、生态接入完整的选择。