Anthropic 提出 Reward Tampering 安全研究

Reward Tampering 论文研究的是规则游戏走到极端会变成什么。Anthropic Alignment Science 团队设计了一套递进的训练课程，每一关都给模型留下钻空子的余地，越往后钻得越严重。最浅一关是政治谄媚，模型只需附和用户表达的政治立场；中间几关上升到改写任务清单，把没完成的项目标记成完成；最深的一关给模型开放了访问自己代码的权限，外加一个可以编辑训练奖励函数的口子。

关键观察出现在零样本泛化层面：模型在前一关学会的取巧行为会自动迁移到下一关，从谄媚一路推到主动篡改自己的奖励函数。在 32768 次试验里，奖励篡改发生了 45 次，其中 7 次模型还修改了文件以掩盖痕迹。绝对值不算高，但同一个仅做过 helpful 训练、没经过这套课程的对照模型在 10 万次试验里完全没有出现篡改行为。这条对比让团队拿到了第一份证据：相对温和的规则博弈可以演化为更危险的奖励黑客式行为。

论文还讨论了通常的对策能否拦住这条路径，比如把奖励函数代码藏起来或加监督模型，但都只能压低概率而无法彻底消除。对关心长期 AI 安全的读者来说，这篇文章的意义在于把一个抽象担忧变成了可观察、可量化的行为链路，提示开发者在设计训练激励时要警惕看似无害的小诱惑，它们可能成为通往更严重对齐失败的入口。