Mistral 发布 Mistral 7B 模型

Mistral AI 在 2023 年 9 月发布 Mistral 7B，参数规模 7.3B，采用 Apache 2.0 许可。官方基准测试显示，Mistral 7B 在所有评测上超过 Llama 2 13B，在多项基准上超过 Llama 1 34B，在代码任务上接近 CodeLlama 7B，同时保留对英文任务的良好处理能力。在 MMLU、常识推理、世界知识、阅读理解等维度，其表现接近 3 倍以上参数量的 Llama 2 模型，相当于显著节省了显存与推理吞吐成本。

架构层面，Mistral 7B 引入 Grouped-query attention 加速推理，并采用 Sliding Window Attention 机制——每一层只关注前 4096 个隐藏状态。借助 FlashAttention 与 xFormers 的定制改造，长度为 16k、窗口为 4k 的序列推理可获得约 2 倍加速。由于 transformer 层堆叠，第 k 层的 token i 可经由 k-1 层间接覆盖 [i-2×sliding_window, i] 的范围，更高层因此能访问更远的上下文。固定的注意力跨度也让缓存可以使用环形缓冲，长度 8192 序列的推理缓存可缩减一半，不影响生成质量。

发布方同步给出指令微调版本 Mistral 7B Instruct，仅基于 HuggingFace 公开数据集训练，未使用专有语料或额外技巧。该版本在 MT-Bench 上超过所有 7B 模型，与 13B 量级的对话模型可比。权重在 HuggingFace 公开，可在本地、AWS、GCP、Azure 通过 vLLM 与 skypilot 部署。Mistral AI 在文末提示，Instruct 版本不含审核机制，邀请社区共同探索安全护栏的实现路径。