OpenAI 发布弱到强泛化研究

弱到强泛化由 OpenAI 超级对齐团队 Burns、Izmailov、Kirchner 等人提出，研究在监督者本身 比被监督模型弱的设定下，如何让强模型仍能可靠对齐人类意图。论文以 NLP 分类、棋类与 GPT-4 reward modeling 为载体，把弱监督者替换为已固定的小模型 label，让 GPT-2 系列模型 监督 GPT-4 这一更强的学生。

实验显示，单纯把弱模型的标签当作 ground truth 来微调强学生，会让学生的能力被截断在 弱模型水平之下。作者引入辅助置信度损失与中间检查点 bootstrapping，使强学生在多数任务 上恢复出比弱监督者更高的准确率，把"学生通过弱监督超出老师"这一现象量化为 PGR 指标。

这项研究的实际含义在于把"未来人类如何对齐超出人类水平的 AI"这一抽象问题转化为今天 可重复的实验。对齐研究者由此获得了一个可在小尺度上测试新方法的代理设置，不必等到模型 真正超过人类后才能开展实证工作。