xAI · 大模型
xAI 发布 Grok 1.5
xAI 推出 Grok 1.5，这是其大语言模型的一次版本更新。新模型在推理能力、上下文长度和指令遵循上均有提升，并优化了长文本处理与多轮对话表现。Grok 1.5 的发布表明 xAI 正在加速追赶主流大模型阵营。
- 域名
x.ai- 评分
- 5 · 重大发布
- 发布
- 2024-03-28
导读
xAI 在这篇 2024 年 3 月 28 日发布的博客中宣布 Grok-1.5，距离开源 Grok-1 权重与架构刚好过去两周。Grok-1.5 的更新围绕数学与代码能力的跃升，以及 128K 长上下文窗口的引入展开。文章说明这一版会逐步向 X 平台的早期测试者与现有 Grok 用户开放。
数学与代码的提升用具体数字摆出来。Grok-1.5 在 MATH 基准上 4-shot 拿到 50.6%，相比 Grok-1 的 23.9% 翻倍以上，与 GPT-4 的 52.9% 接近；GSM8K 8-shot 拿到 90%，超过 Mistral Large 5-shot 的 81% 与 Claude 2 0-shot CoT 的 88%；HumanEval 0-shot 拿到 74.1%，超过 Grok-1 的 63.2%、Mistral Large 的 45.1%、Claude 3 Sonnet 的 73%。MMLU 5-shot 从 73% 提升到 81.3%，仍落后于 Claude 3 Opus 的 86.8% 与 GPT-4 的 86.4%，但已经追平 Mistral Large 的 81.2%。
长上下文是这次更新的另一条主线。Grok-1.5 把 context window 从 8K 拓展到 128K，是上一代的 16 倍。文中给出的 Needle In A Haystack 评测结果显示，模型在整个 128K 窗口、所有插入位置上召回率全部为 100%，配图是一张全绿色的热力图。基础设施层 xAI 提到训练栈构建在 JAX、Rust 和 Kubernetes 之上，自研了一套 distributed training framework 处理 GPU 集群的可靠性问题：单卡或单链路异常自动剔除并触发训练 job 重启，把硬件故障对训练进度的拖累压到最低。这套设施为后续更大模型铺路。