Anthropic 发布下一代宪法分类器

Anthropic 这篇研究公告介绍 Constitutional Classifiers++，一套用来防御 universal jailbreak 的下一代安全分类器，并配套发表 arXiv 论文 2601.04603。前一代 Constitutional Classifiers 在 2024 年首次提出：用一份自然语言写就的 constitution 描述哪些请求可以回应、哪些不行，再据此合成训练数据训练输入输出分类器。第一代把无防御模型的 jailbreak 成功率从 86% 压到 4.4%，公开 bug bounty 中只被攻破出一种 universal jailbreak。代价是算力开销增加 23.7%，并让正常请求的拒答率上升 0.38%。

红队对第一代分类器的后续测试暴露出两类典型攻击。reconstruction 把有害指令拆成看起来无害的代码片段散布在仓库里再让模型自行组装；output obfuscation 则要求模型把危险化学品名改写成「食用香料」或借用比喻、谜语完成同等输出。在 GPQA Diamond 基准上，被攻击的模型生物、化学、物理能力会从 74% 跌到 32%，说明攻击者仍有空间在保留模型能力的同时绕过防御。新版的关键设计是把输入与输出合并为单个 exchange classifier，让分类器在上下文中判断输出，这样把「食用香料」在配对上下文里识别为化学试剂代号变得可行，人类红队的成功率被砍掉超过一半，但算力开销也涨到 50%。

为了把这部分成本压回来，Anthropic 引入两项工程化改造。一是 cascade 架构：所有流量先由一个轻量分类器筛选，命中的样本才升级到更准也更贵的二级分类器，被升级而非直接拒答的设计让一级分类器可以容忍更高假阳率而不致让用户体验崩塌。二是 internal probe，把 interpretability 研究里学到的方法挪过来，复用模型生成过程中本就要计算的内部激活，从中读取"这个请求像是有害"的信号，几乎是免费的额外检测层；这些 probe 还难以被外部扰动欺骗，并与外部分类器在错检集合上互补。最终系统在 Claude Sonnet 4.5 上线一个月，正常请求拒答率降至 0.05%，比第一代下跌 87%，整体算力开销大约 1%。Anthropic 累计跑了 1700 多小时、198000 次红队尝试，只发现一处高风险漏洞，对应 0.005‰ 的检出率，且至今没有人发现新的 universal jailbreak。文章末尾把后续方向落在三处：把分类器信号直接接入生成过程、训练模型本身抵抗 obfuscation、用自动红队产出更针对边界的训练样本。