OpenAI 提出用推理时计算换取对抗鲁棒性

Trading Inference-Time Compute for Adversarial Robustness 是 OpenAI 发布的一项研究，给出初步证据表明 o1-preview 与 o1-mini 这类推理模型在思考时间变长后，对多种对抗攻击的鲁棒性也随之提升。研究背景是 2014 年以来的对抗机器学习领域虽然写了 Carlini 所说的九千多篇论文，但单纯扩大模型规模并未解决鲁棒性问题。

实验覆盖了多类任务和攻击面。任务侧包括两数相加到 MATH 数据集的数学题、SimpleQA 事实性基准的对抗变体、Attack Bard 论文里的对抗图像、StrongREJECT 滥用提示，以及内部一项 model spec 规则评估。攻击面侧包括 many-shot 攻击、soft token 优化、对抗式语言模型程序、多模态对抗输入。典型结果是，对每个固定攻击者资源量，攻击成功率随推理时算力增加而衰减，常常接近零。模型并不知晓攻击的性质，鲁棒性提升完全来自推理时算力本身，这意味着推理时扩展可能也对未知攻击有效。

研究也披露了几个限制：在某些场景下攻击成功率会先随推理算力上升再下降，因为完成攻击目标本身需要模型先解出问题；StrongREJECT 配合 LMP 攻击时，攻击者可以构造让规范允许的语境，使推理算力无法降低成功率；模型对自身推理算力的使用并不总是充分，攻击者有时能诱导模型不思考或浪费算力。OpenAI 把这一方向定位为对抗鲁棒性研究的新路径之一，并提示后续可以训练模型更智慧地分配算力。