xAI 发布 Grok OS

xAI 把 Grok-1 的基础模型权重和网络架构以 Apache 2.0 许可开源，这是预训练阶段的原始检查点，预训练于 2023 年 10 月结束，未经任何任务的微调，也没有针对对话场景做对齐。开源仓库位于 github.com/xai-org/grok。需要说明的是，这次发布的是模型权重，并非操作系统级平台，原文标题为 Open Release of Grok-1。

Grok-1 是 3140 亿参数的 Mixture-of-Experts 模型，对任一 token 激活其中 25% 的权重，由 xAI 用自研训练栈从零训练而成，底层基于 JAX 和 Rust。MoE 结构在保持表达能力的同时降低单次前向的计算量，对推理部署友好；Apache 2.0 许可允许商业再分发，研究者和企业可在本地复现、改造或继续预训练。

对读者而言，这次发布把当时最大的 MoE 开源权重之一交给了社区。基础模型未做微调意味着拿到权重后不会像 ChatGPT 那样直接对话，需要自行进行 instruction tuning、RLHF 或下游适配；314B 的尺寸也对推理硬件提出要求，单卡难以承载，需要张量并行或专家路由方案。研究方向上，这套权重为开源社区提供了对比 Llama、DeepSeek 等同期 MoE 工作的参考点。