OpenAI · 安全
OpenAI 发布基于规则奖励的模型安全行为改进方法
OpenAI 提出一种基于规则奖励的方法来提升模型的安全行为。该方法通过定义明确的规则集，对模型输出进行奖励或惩罚，从而引导模型在保持有用性的同时更严格地遵守安全准则。这项研究为对齐问题提供了一种可扩展的解决方案，有望减少模型产生有害或不当内容的可能性。
- 域名
openai.com- 评分
- 5 · 重大发布
- 发布
- 2026-05-22
导读
Rule Based Rewards（RBR）由 Mu、Achiam、Schulman、Weng 等人提出，瞄准 RLHF 在安全对齐上常见的两类副作用。一方面，仅凭人类偏好数据训练出的模型容易过度保守、动辄拒答；另一方面，标注员若未拿到精细说明，反馈中可能混入说教式语气等不期望的风格。一旦模型能力或用户场景变化，纯靠重新标注来调整安全行为代价高昂。
RBR 把期望与不期望的安全行为写成一组细粒度规则，例如"拒答时不应带评判性语气"。一个 LLM grader 依据规则、对模型输出在 RL 训练循环中直接打分，分数被组合成可微的奖励项与原有偏好奖励一起训练策略。整套机制只需要少量人工数据校准 grader，规则本身可被增删修改，新行为约束无需重新收集大规模偏好数据。
论文报告 RBR 在安全行为分类任务上的 F1 达到 97.1，对比纯人类反馈基线 91.7；同时模型在帮助性指标上保持稳定，缓解了 over-refusal 的常见问题。这种"细规则加 LLM 评审"的安全训练范式，与 Constitutional AI 等方向共同构成当下安全对齐栈的一条主流路径。