Anthropic 发布基于人类反馈的强化学习训练安全助手研究

Anthropic 这篇研究论文系统记录了如何用基于人类反馈的强化学习训练一个既乐于助人又无害的对话助手。研究路径分成两层：第一层做偏好建模，让模型学会区分人类标注者更偏好的回答；第二层用强化学习把偏好模型作为奖励信号微调语言模型策略。论文发现这种对齐训练几乎在所有 NLP 评测上都带来性能提升，并且与 Python 编码、文本摘要等专项能力训练完全兼容，不存在显著的能力税。

方法层面最有意思的细节是迭代式在线训练。研究团队让偏好模型与 RL 策略以每周一次的节奏更新，每轮都接入新的人类反馈数据，由此形成数据和模型协同迭代的闭环。论文还系统考察了 RLHF 训练的稳健性，识别出一条经验规律：RL 奖励与策略相对初始化的 KL 散度的平方根之间存在近似线性关系，这给后续从业者设定 KL 预算与停止准则提供了量化参考。

围绕主结果，作者还做了一系列辅助分析：模型校准度、不同优化目标之间的冲突、用 OOD 检测识别分布外样本、与人类写作者的对比，以及在近期相关论文采用的提示词上的样本展示。这套方法论后来成为业界 RLHF 安全优化实验的原始模板，奖励建模 + 迭代偏好数据 + KL 控制三件套至今仍是主流对齐流水线的骨架。