OpenAI · 大模型
OpenAI 发布图像推理功能
OpenAI 推出“Thinking With Images”功能，让模型在推理过程中直接理解并处理图像信息。这一更新将视觉感知与逻辑推理深度融合，使模型能够基于图片内容进行多步分析、识别细节并生成结构化回答。该能力适用于图表解读、文档扫描、场景理解等场景，标志着多模态推理进入更实用的阶段。
- 域名
openai.com- 评分
- 5 · 重大发布
- 发布
- 2026-05-02
导读
Thinking with images 是 OpenAI 在 2025 年 4 月 16 日发布的 o3 与 o4-mini 模型新能力。区别于此前的多模态模型只是在输入端 see 图像，o3 和 o4-mini 把图像引入 chain-of-thought，让模型在内部推理过程中对图像执行 crop、zoom in、rotate 等变换操作，并把变换后的结果作为下一步推理的输入。这一过程原生集成在模型内，不再依赖外部专门视觉模型。
能力呈现上，模型可以处理摆放不规整、文字颠倒、多个问题挤在一张照片里的输入。文档示例展示了模型读取倒置笔记本上的手写文字时，会先 rotate 图像、再 crop 到关键区域、最后输出 4th February – finish roadmap 的内容。在解迷宫任务中，模型用 Python 工具加载图像、做阈值化、应用 BFS 搜索路径、绘制红色解路径，整个过程在 1 分 44 秒内完成，融合了视觉处理、代码执行和符号推理。
在多模态基准上，该方法把视觉与文本推理结合起来，开辟了 test-time compute scaling 的新维度。论文披露在多个 multimodal benchmark 上达到 state-of-the-art。这让 ChatGPT 的视觉智能从静态识别走向了 agentic 工作流，与 web search、image generation 等工具组合后可以完成更复杂的视觉任务。