Anthropic News · Agent

Anthropic 发布 Computer Use 计算机使用 功能

Anthropic 正式推出 Computer Use 功能,让 Claude 能够像人类一样操作计算机界面。该能力基于屏幕截图识别和鼠标键盘动作模拟,使模型可以完成填写表单、浏览网页、操作软件等任务。Anthropic 在开发过程中重点解决了视觉定位精度和操作可靠性问题,并公开了相关安全评估方法。这一功能将 agent 的能力从文本交互扩展到图形界面操作,为自动化办公和软件测试等场景提供了新路径。

域名
anthropic.com
评分
5 · 重大发布
发布
2025-08-28
Anthropic 发布 Computer Use 计算机使用 功能

导读

Anthropic 在这篇研究博文中介绍 Computer Use 功能的训练思路与安全考量。模型不再依赖定制工具,而是直接看屏幕截图、推理像素坐标,然后给出鼠标键盘指令。训练 Claude 准确计数像素被研究团队描述为关键能力,因为模型在这件事上的难度与回答 banana 里有几个 a 类似,缺少这一步就无法可靠地点击到正确位置。

研究团队只在 calculator 与文本编辑器等简单软件上做训练,出于安全考虑没有让模型在训练阶段接触互联网,但模型仍然在很少的训练样本下迅速 generalize 到新软件,并表现出遇到障碍时自我纠错与重试的能力。Anthropic 团队在文中提到,这种"反复回到白板"的研发节奏,与他们最初进入 AI 领域时想象的"理想化研究过程"很相似。

安全方面,Computer Use 当前停在 ASL-2 级别,团队判断应当在风险尚未升级时就开始把这类能力暴露给社区,提前积累经验。识别出的主要风险是 prompt injection:模型读取联网内容后,可能被截图里的恶意指令劫持。Trust & Safety 团队为此训练了分类器,并针对当时临近的美国大选场景部署了额外的监测与劝阻措施,限制 Claude 注册域名、发布社交媒体内容或与政府网站交互。文章也承认局限:当前 Computer Use 仍然偏慢且容易出错,无法做拖拽、缩放等动作,截图式的视觉输入会漏掉短暂出现的通知。