xAI 发布 Grok 大模型

xAI 推出对话模型 Grok 的早期 beta 版本，向美国境内有限数量的用户开放试用。模型设计上带有幽默和反叛风格，并能通过 𝕏 平台访问实时信息，回答其它系统通常会拒绝的问题。底层是 Grok-1，xAI 在四个月内完成研发，先用 330 亿参数的 Grok-0 做原型，再迭代到 Grok-1。

在标准基准上，Grok-1 取得 GSM8k 62.9%、MMLU 73.0%、HumanEval 63.2%、MATH 23.9%，在同等计算量的模型中领先 ChatGPT-3.5 和 Inflection-1，但仍落后于训练数据与算力规模更大的 GPT-4。为规避基准数据可能进入训练集的风险，团队用 2023 年 5 月发布的匈牙利高中数学毕业考试做盲测，Grok-1 得 59%（C），Claude-2 得 55%（C），GPT-4 得 68%（B）。

基础设施层面，xAI 在 Kubernetes、Rust、JAX 之上搭建了自定义训练与推理栈。LLM 训练在数万 GPU 上跨月运行，硬件故障会被规模放大，团队构建分布式系统自动识别和处置每一类故障，把每瓦有效算力最大化。研究路线上，xAI 提出几个方向：工具辅助的可扩展监督、与形式化验证结合的安全保障、长上下文理解与检索、对抗鲁棒性，以及为 Grok 增加视觉和音频等多模态能力。