Mistral · 大模型

Mistral 发布 Mistral Small 3

Mistral 发布 Mistral Small 3,一款轻量级语言模型,在较小参数规模下优化了指令跟随与代码生成能力,适合边缘设备与实时场景部署和低延迟推理场景。

域名
mistral.ai
评分
5 · 重大发布
发布
2025-02-27
Mistral 发布 Mistral Small 3

导读

Mistral AI 在 2025 年 1 月底发布 Mistral Small 3,参数规模 24B,采用 Apache 2.0 许可,定位是针对延迟优化的通用语言模型。官方基准显示其与 Llama 3.3 70B Instruct 表现相当,但在同等硬件上速度快出 3 倍以上;与 Qwen 32B、GPT-4o-mini 相比也有竞争力,MMLU 准确率超过 81%,单实例输出延迟可达 150 tokens/s。

设计取舍上,Mistral Small 3 显著减少了 transformer 的层数,单次前向传播因此更快,定位是覆盖"80% 的生成式 AI 任务"——即对语言理解、指令遵循要求扎实但对深度推理要求一般的场景。基础版本未使用 RL 和合成数据训练,处于训练流水线的早期阶段,可作为继续叠加推理能力的良好起点;Mistral 在公告中将其与 DeepSeek 系列定位为互补关系。量化后可在单张 RTX 4090 或 32GB 内存的 MacBook 上本地运行,便于隐私敏感的私有部署。

落地场景集中在低延迟对话助手、agentic 工作流中的快速函数调用、本地化推理和领域微调四类。客户案例覆盖金融服务的反欺诈、医疗的患者分流、机器人与汽车制造业的端侧指令控制等。模型权重已在 Hugging Face、Ollama、Kaggle、Together AI、Fireworks AI、IBM watsonx 上线,NVIDIA NIM、Amazon SageMaker、Groq、Databricks、Snowflake 紧随其后。Mistral 同时表态:通用模型将持续回归 Apache 2.0 许可,逐步淡出此前的 MRL 许可路线。