Meta AI · 大模型
Meta AI 发布 Segment Anything 2.1 及多项研究更新
Meta AI 在最新 FAIR 新闻中集中发布了多项研究进展，包括图像分割模型 Segment Anything 2.1 的更新、语音语言模型 Spirit LM、层跳过技术 Layer Skip 以及多语言模型 Salsa Lingua。Segment Anything 2.1 在原有基础上提升了分割精度和效率，而 Spirit LM 则展示了语音与文本联合建模的新方向。这些成果共同体现了 Meta 在视觉、语音和多语言理解领域的持续投入。
- 域名
ai.meta.com- 评分
- 5 · 重大发布
- 发布
- 2024-10-17
导读
Meta FAIR 在这次集中更新里发布八项研究成果，指向团队所说的 AMI 长期目标，涵盖感知、语音、推理、对齐与材料发现等环节，配套开源代码、checkpoint 与数据集。Segment Anything 2.1 是发布 11 周内被下载逾 70 万次的 SAM 2 的迭代版，新增针对相似干扰物与小目标的数据增强，扩展更长帧序列训练以提升遮挡处理，并首次开放包含训练代码与 demo 前后端的 SAM 2 Developer Suite。
语音端的 Meta Spirit LM 在词级把语音和文本交错训练，跳过常规 TTS 流水线 ASR 转写、LLM 合成、TTS 还原的三段拼接，保留语音的情绪表达。Spirit LM Base 走音素 token，Expressive 版引入音高与风格 token，可生成带情绪色彩的语音并支持跨模态 ASR。Layer Skip 瞄准推理成本，让模型按子集层执行、用后续层做验证修正，对 Llama 2、Llama 3、Code Llama 的 checkpoint 能把生成速度提到 1.7 倍。
其余成果覆盖密码学、训练框架、材料发现、跨语言表征与奖励建模。Salsa 用于验证后量子密码标准；Meta Lingua 提供大规模训练的轻量代码库；Open Materials 2024 释放基于 1 亿条训练样本的无机材料模型与数据；Mexma 覆盖 80 种语言做跨语言句编码；Self-Taught Evaluator 以合成偏好数据训练 LLM-as-a-Judge，无需人类标注便在 RewardBench 上超过 GPT-4 与 Llama-3.1-405B-Instruct，在 AlpacaEval 上以 7 至 10 倍速度逼近 GPT-4 evaluator。这一批工作同时降低了视频分割、语音建模、推理加速与评估方法学的入门门槛。