NVIDIA · 大模型
NVIDIA 发布 Mistral Nemo Minitron 8B 小语言模型
NVIDIA 与 Mistral AI 联合推出 Mistral Nemo Minitron 8B，一款面向边缘和本地部署的小语言模型。该模型在保持 8B 参数规模的同时，通过剪枝和蒸馏技术实现了高效推理，适合资源受限场景。Minitron 8B 在多个基准上展现了与更大模型相当的性能，为开发者提供了轻量级但能力不妥协的 LLM 选择。
- 域名
blogs.nvidia.com- 评分
- 5 · 重大发布
- 发布
- 2025-02-12
导读
NVIDIA 在 2024 年 8 月发布 Mistral-NeMo-Minitron 8B，参数规模从 Mistral NeMo 的 12B 压缩至 8B，定位是兼顾精度与体量的小语言模型。NVIDIA 应用深度学习研究副总裁 Bryan Catanzaro 在公告中表示，团队结合了两种优化方法：剪枝把 12B 参数缩到 8B，蒸馏把因剪枝下降的精度补回来。最终得到的模型在多项基准上与原版精度可比，但推理算力需求显著降低。
小语言模型可以在工作站、笔记本上实时运行，方便资源受限的组织在自有基础设施内部署生成式 AI，同时优化成本、运维效率与能耗。在边缘设备上本地运行也带来安全收益：数据无需从端侧上传到服务器即可完成推理。Minitron 8B 被打包为 NVIDIA NIM 微服务，针对低延迟和高吞吐做了优化，可在生产环境中提供更快响应。开发者还可借助 NVIDIA AI Foundry 在 Minitron 8B 基础上继续压缩为更小版本，仍保留较高准确率。
方法层面，剪枝先把对精度贡献最小的权重移除，蒸馏再用小规模数据集对剪枝后的模型做再训练以恢复精度，整个流程相比从零训练一个小模型可节省最多 40 倍算力开销。这意味着同一个模型家族内，多个不同体量的变体可以以较低成本派生。对希望在端侧或私有云上部署的团队，Minitron 8B 提供了一条具体的精简路径——保留 8B 的能力上限，同时落地到日常硬件即可承载的推理预算。