OpenAI 发布指令层级机制

OpenAI 在 arXiv 2404.13208 公开了 The Instruction Hierarchy 研究，作者 Eric Wallace、Kai Xiao、Reimar Leike、Lilian Weng、Johannes Heidecke、Alex Beutel 在论文中指出，当前大模型容易受 prompt injection 与 jailbreak 攻击，根本原因是模型把 system prompt、用户输入、第三方工具返回内容当成同等优先级处理，无法识别谁是 application developer，谁是 untrusted user，谁又是夹带恶意指令的外部数据。

论文给出的方案是显式定义指令优先级，并在训练数据层面构造对齐目标。研究团队设计了一种数据生成方法，让模型在面对不同层级指令冲突时学会选择性忽略低权限指令，并把这套训练策略应用到 GPT-3.5 上做实证。结果显示，经过指令层级训练的模型对未见过的攻击类型也具备明显鲁棒性提升，与此同时常规任务能力损失维持在极小范围。这种 trade-off 是 prompt injection 防御里此前难以兼顾的两端。

指令层级机制后续被纳入 OpenAI 的 GPT 模型对齐流程，并对 agent、tool use、第三方插件场景具有直接价值。当 LLM 越来越多调用外部工具、读取外部网页、处理用户上传文档时，外部内容里夹带的指令必须被识别为数据而非命令，这是 agent 安全栈的底层假设。该工作把这一原则从工程实践推到训练目标层面。