OpenAI · 大模型
OpenAI 发布 GPT Realtime
OpenAI 推出 GPT Realtime，这是一项面向实时交互场景的模型能力更新。开发者可通过 API 直接接入低延迟的语音对话与流式推理，无需额外搭建中间层。GPT Realtime 降低了实时通信领域的大模型应用门槛，适合语音助手、客服系统和实时翻译等场景。
- 域名
openai.com- 评分
- 5 · 重大发布
- 发布
- 2026-05-22
导读
OpenAI 把 Realtime API 转为正式可用，同时发布最先进的 speech-to-speech 模型 gpt-realtime。Realtime API 直接处理音频输入与输出，省去传统 pipeline 把语音、文本、响应来回串起的多模型链路，延迟更低，语音中的细微情感与节奏也得以保留。本次更新引入对 remote MCP server、图像输入、SIP 电话协议的支持，让 voice agent 接入工具与上下文更顺。
gpt-realtime 在三项关键评测上有显著提升。Big Bench Audio 推理评测得分 82.8%，前代 2024 年 12 月模型为 65.6%；MultiChallenge audio 指令遵循评测得分 30.5%，前代 20.6%；ComplexFuncBench audio 的函数调用评测得分 66.5%，前代 49.7%。模型在英语、西班牙语、中文、日语、法语之间能识别字母数字串，捕捉笑声等 non-verbal 信号，并按 snappy and professional 或 kind and empathetic 这类指令调整语气，新增 Cedar、Marin 两款语音并升级既有 8 款。
接入侧，开发者在 session 配置里传入远端 MCP server 的 URL，工具调用即由 API 自动处理；图像按一帧加入对话的方式注入，让模型回答关于截图与照片的问题。SIP 支持把 voice agent 接到公共电话网与 PBX 系统；reusable prompts 允许跨 session 复用 developer messages、tools 与示例对话。定价相对 gpt-4o-realtime-preview 下调 20%。