OpenAI 发布 Reward Model Overoptimization 缩放定律研究

Scaling Laws for Reward Model Overoptimization 直接回答了 RLHF 训练实践中长期悬而未决的问题：当策略针对奖励模型优化得越来越激进时，真实人类偏好下的表现会按什么规律退化？这一现象常被概括为奖励黑客或 Goodhart 法则，作者把它量化成了一组缩放定律。

实验设计巧妙地绕过了反复采集真人偏好的高成本：作者用一个固定的金标奖励模型扮演真人，由它给出标签来训练一个代理奖励模型，再用 RL 或 best-of-n 采样去优化代理奖励，同时追踪策略在金标奖励下的得分。结果显示，金标得分随代理奖励优化程度变化的曲线，会按一种与优化方法相关的函数形式发生回落，并且这条曲线的系数随奖励模型参数量平滑变化。

作者还系统扫描了奖励模型数据量、奖励模型与策略参数量、KL 惩罚系数等因素的影响，给出了可外推的经验关系式。这些定律使得团队在做 RLHF 配置时不必再依靠摸索，而能预估在给定预算下应当何时停止针对奖励模型继续优化，对后续 RLHF 训练的稳定性设计具有直接工程价值。