OpenAI 通过过程监督改善 LLM 数学推理

OpenAI 这项工作把强化学习中奖励中间步骤还是只奖励最终结果的老问题搬到了大语言模型的数学推理场景，给出了相当干脆的判断：过程监督在性能和对齐两个维度上都优于结果监督。论文以 MATH 数据集为测试床，分别训练过程监督奖励模型与结果监督奖励模型，再用它们对同一批解题样本排序选最优解。

评测方式是为每道题生成大量候选解，由奖励模型挑出排名最高的那一条，统计其最终答案正确率。随着候选数增多，过程监督模型不仅整体准确率更高，与结果监督的差距还在持续扩大，说明它在挑出真正可靠的推理链路上更稳定。作者把全部过程监督标注数据公开发布，方便社区复现并扩展到其他领域。

对齐层面，过程监督直接奖励被人类认可的每一步推理，因此倾向于产生可读、可审查的思维链，而结果监督有可能放过逻辑跳跃但答案正确的解。论文还观察到一个反直觉现象：在数学领域，过程监督带来的是负的对齐税，意味着更安全的训练方式同时提升了能力。这一发现为后续把过程奖励模型推广到代码、科学推理等需要严格逻辑的任务奠定了基础。