xAI · 大模型
xAI 发布 Grok 1.5V 多模态模型
xAI 推出 Grok 1.5V，这是其首个多模态模型，能够处理图像、图表和文档等视觉信息，并在此基础上进行推理和问答。Grok 1.5V 在多个视觉理解基准上表现突出，尤其在数学推理和多模态理解任务中展现出竞争力。该模型延续了 Grok 系列实时信息获取的特点，同时将能力从纯文本扩展到视觉领域，为更丰富的交互场景提供了基础。
- 域名
x.ai- 评分
- 5 · 重大发布
- 发布
- 2024-04-12
导读
xAI 在这篇 2024 年 4 月 12 日的发布说明中推出 Grok-1.5V，这是公司的第一代多模态模型。除文本能力之外，Grok 现在可以处理文档、图表、屏幕截图、照片等多种视觉信息，xAI 把它定位为面向现实世界理解的助手雏形，并表示即将向早期测试者和现有 Grok 用户开放。
能力面给出的横向数据相当直接，所有评测在零样本无 CoT 设置下进行。Grok-1.5V 在 Mathvista 数学视觉推理上拿到 52.8%，超过 GPT-4V 的 49.9% 与 Claude 3 Sonnet 的 47.9%；TextVQA 文本阅读 78.1%，与 GPT-4V 持平且高于 Gemini Pro 1.5 的 73.5%；AI2D 图表理解 88.3%，与 Claude 3 系列同档；DocVQA 文档理解 85.6%，DocVQA、ChartQA 上落后于 Claude 3。MMMU 多学科推理 53.6%，介于 GPT-4V 与 Claude 3 Opus 之间。xAI 自己最看重的是 RealWorldQA 评测，Grok-1.5V 拿到 68.7%，明显超过 GPT-4V 的 61.4%、Claude 3 Opus 的 49.8%。
文中给出的示例覆盖几类典型场景：把流程图翻译成可运行的 Python 代码，把孩子手绘的草图想象成实物，从食品营养标签里推断卡路里摄入，把白板上的方程转写为 LaTeX。xAI 同时宣布开源 RealWorldQA benchmark，这是一份 700 多张图像、面向真实世界空间理解的评测集，附带 CC BY-ND 4.0 许可证。模型层面，Grok-1.5V 延续了 Grok 在 X 平台获取实时信息的特点，把这种数据接入向视觉扩展，给基于 X 内容流的多模态应用打开了一条入口。