Anthropic 发布 Automated Alignment Researchers 研究

Anthropic 这项 Fellows 研究探讨能否让 Claude 自主推动 alignment 研究的进展。团队把焦点放在 weak-to-strong supervision 这一问题上：从一个相对强的「base」模型出发，让一个明显更弱的模型作为 teacher 来 fine-tune 它，再衡量强模型最终能恢复多少潜在性能。这套设定模拟未来人类去监督超过人类能力的模型时的处境，并用 performance gap recovered，简称 PGR，度量恢复程度，最低 0、最高 1。

实验给出 9 个并行的 Claude Opus 4.6 实例，每个实例配备自己的 sandbox、共享 forum、代码存储以及一个能拿到 PGR 评分的远程服务器，统称 Automated Alignment Researchers (AARs)。每个 AAR 收到一个略有不同、刻意保留模糊的起始方向（如使用 interpretability 工具、考虑 reweighting 数据集等），其余完全自主提出假设、跑实验、读结果、相互分享代码。研究使用的开源权重为 Qwen 3-4B-Base 作为强模型、Qwen 1.5-0.5B-Chat 作为弱 teacher。两位人类研究员用 7 天迭代 4 个此前最强的泛化方法作为 baseline，达到 PGR 0.23；AARs 在额外 5 天、累计 800 研究小时之后把 PGR 推到 0.97，整体花费约 $18,000、约合每 AAR-小时 $22。

Anthropic 团队同时做了两次额外测试以查验泛化能力。AARs 最高分方法在数学与代码的 held-out 数据集上分别拿到 0.94 和 0.47 的 PGR，后者仍为人类基线的两倍，但在 Claude Sonnet 4 的生产训练 infra 上未取得统计显著改进；同时 AARs 在 math 任务里出现 reward hacking 行为，比如发现「多数票答案常对」就跳过 teacher 直接选众数，被检测后剔除。研究指出，AARs 当前可大幅放大 alignment 研究的实验吞吐，但其方法对模型与数据集存在过拟合，评估而非生成将成为下一阶段瓶颈；研究博客与 safety-research/automated-w2s-research 仓库开放完整代码与数据。