Google 发布下一代 Gemini 模型

Gemini 1.5 是 Google 在 2024 年 2 月发布的下一代基础模型，由 Sundar Pichai 与 Demis Hassabis 联合署名宣布。首个对外开放测试的版本是 Gemini 1.5 Pro，一款中等体量的多模态模型，在 Google 自有评测集上 87% 的指标超过 1.0 Pro，整体水平接近此前最大型号 1.0 Ultra，但训练和推理所用算力显著更少。架构层面，1.5 系列引入 Mixture-of-Experts 设计，把原来的单一大网络拆成若干专家子网，根据输入类型选择性激活，效率随之提升。

这一代最受关注的能力是长上下文。1.5 Pro 的标准上下文窗口为 12.8 万 token，在 AI Studio 和 Vertex AI 的私有预览中可扩到 100 万 token，研究中甚至跑通过 1000 万 token。100 万 token 意味着一次处理 1 小时视频、11 小时音频、超过 3 万行代码或 70 万字文本。Needle In A Haystack 评测中，1.5 Pro 在 100 万 token 长度下定位关键句子的准确率达 99%。模型还展现出新的 in-context learning 能力：仅靠提示中提供的语法手册，就能学会把英语翻译成 Kalamang 这类世界上使用者不足 200 人的语言，水平接近用同一份资料学习的人类。

对开发者和企业用户而言，这次更新把"超长文档一次性读完"从概念推到可调用接口。MoE 架构降低了同等性能所需的算力开销，长上下文使整本书、整段视频、整个代码仓库都能直接进入提示。Google 同时说明 100 万 token 窗口在测试期免费，但延迟更高，正式定价层级会从 12.8 万 token 起步逐级扩展。