OpenAI · 安全
OpenAI 发布 Deliberative Alignment 对齐方法
OpenAI 提出 Deliberative Alignment，一种让模型在推理过程中主动进行安全对齐的新方法。不同于传统依赖后处理或微调的安全策略，该方法使模型在生成回答前，先通过链式思考对自身输出进行安全审查，从而在保持有用性的同时显著降低有害内容生成率。这项研究为构建更可靠的大模型提供了新的技术路径。
- 域名
openai.com- 评分
- 5 · 重大发布
- 发布
- 2026-05-22
导读
Deliberative Alignment 是 OpenAI 在 o-series 模型上提出的新对齐范式，让模型在生成回答前 先以链式思考方式查阅自身的安全规范，并依据规范对候选回答进行检验后再输出。与依赖训练 阶段灌输偏好的常规 RLHF 不同，这套方法把对齐逻辑显式放到推理阶段，模型可以读到具体 规则、复述其约束、解释为何拒绝某请求。
训练数据由两部分构成。一是 OpenAI 的内部安全规范全文，被切分为可在推理时检索的条款； 二是合成的 prompt-思考-回答三元组，思考过程示范了如何把规范应用到具体边界场景。 在监督微调与 RL 阶段，模型学会在面对模糊请求时自动调出相关规范来支撑判断。
实验显示这套方法在拒绝有害请求、避免过度拒绝合法请求两侧都比纯 RLHF 基线更优，且 规范一旦修改，模型行为可在不重新训练的情况下迅速跟随更新。对依赖第三方模型做合规 托管的企业而言，这种"规范即提示"的设计提供了一条更可审计的对齐落地路径。