Meta 发布 Llama 3.2 视觉与边缘模型

Meta 在 Connect 2024 大会上把 Llama 3.2 拆成两条线：11B 与 90B 补齐视觉能力，1B 与 3B 瞄准移动端与边缘设备。视觉版本能做文档级理解，包括图表读图、生成图像描述、根据自然语言在图中做视觉定位，例如基于销售曲线回答某月业绩或基于地图判断徒步线路坡度。轻量版保留多语言文本生成与工具调用能力，可在本地完成消息摘要、提取代办、调用日历 API 发出后续会议邀请等任务。

实现路径分两套。视觉模型在预训练 Llama 3.1 文本模型之上接入图像编码器与适配器，适配器由若干 cross-attention 层把图像表征送进语言模型，训练时只更新适配器与图像编码器的参数，保持文本模型不变，从而成为 Llama 3.1 的可直插替代。预训练分阶段进行，先在大规模噪声图文对上预热，再切换到中等规模高质量与领域增强数据；后训练沿用 SFT、拒绝采样、DPO 的组合，并以 Llama 3.1 生成合成数据。轻量模型走剪枝加蒸馏路线，从 Llama 3.1 8B 做一次性结构化剪枝得到 1B 和 3B，再用 Llama 3.1 8B 与 70B 的 logits 作为 token 级目标蒸馏，并将上下文扩展到 128K token。

Meta 给出的对照显示，11B 与 90B 在图像识别和视觉理解上与 Claude 3 Haiku、GPT-4o-mini 同档；3B 在指令遵循、摘要、提示重写、工具调用上超过 Gemma 2 2.6B 与 Phi 3.5-mini，1B 与 Gemma 同档。同时发布的 Llama Stack Distribution 把推理、工具调用、RAG 等 API 打包成在私有部署、云、单机、设备端通用的发行版，让开源开发者可在端侧直接构建带隐私边界的智能体应用。