OpenAI · Agent
OpenAI 发布 Computer Using Agent
OpenAI 推出 Computer Using Agent，一个能够直接操作电脑图形界面的智能体。该 agent 可以像人类一样观察屏幕、移动光标、点击按钮和输入文本，从而完成填写表单、操作软件等一系列需要 GUI 交互的任务。与以往依赖 API 或命令行的方式不同，CUA 以视觉理解为基础，绕过了接口限制，为办公自动化、软件测试等场景提供了更直接的方案。
- 域名
openai.com- 评分
- 5 · 重大发布
- 发布
- 2026-05-18
导读
Computer-Using Agent（CUA）是 OpenAI 为 Operator 配套的底层 agent 模型，结合 GPT-4o 的视觉能力与基于强化学习的推理训练，把人类与图形界面交互的方式作为通用动作空间。模型直接以屏幕截图作为感知输入，通过虚拟鼠标与键盘动作输出，跳过对 OS 或 web 特有 API 的依赖，因此可以在没有官方接口的软件上执行表单填写、网页操作与多步骤任务。
benchmark 数据上，CUA 在 OSWorld 完整计算机使用任务上取得 38.1% 的成功率，在 WebArena 上 58.1%，在 WebVoyager 上 87%，刷新当时 computer use 与 browser use 两类基准的 SOTA。OpenAI 也观察到 test-time scaling 现象：放宽允许步数上限，CUA 的表现持续提升。人类在 OSWorld 上的基线为 72.4%，模型与人类仍有相当差距，复杂多步任务上需要更多迭代与自我纠错。
CUA 采用感知、推理、动作的迭代循环，在 chain-of-thought 内部跟踪历史截图与已执行动作以适应环境变化，并对登录信息输入、CAPTCHA 应答等敏感操作请求用户确认。OpenAI 在 Operator System Card 中详述了对抗 prompt injection 与 web 端误操作的多层防御，研究预览阶段先以 Operator 在 operator.chatgpt.com 向 Pro 用户开放。对自动化与软件测试领域而言，CUA 把"通用 GUI 操作"从需要逐应用适配的工程问题转化为一类可由单模型覆盖的任务。