OpenAI · 大模型
OpenAI 发布 Sparse Transformer
OpenAI 推出 Sparse Transformer，该模型引入稀疏注意力机制，使每个 token 只关注部分邻近 token，降低了长序列处理的计算开销。在 ImageNet 生成与分类任务中，它比传统密集注意力全连接的 Transformer 更高效。这项工作为后续高效 Transformer 架构提供了基础设计思路。
- 域名
openai.com- 评分
- 5 · 重大发布
- 发布
- 2026-05-24
导读
Sparse Transformer 是 OpenAI 于 2019 年提出的稀疏注意力 Transformer 变体，把自注意力的复杂度从 O(N²) 降到 O(N√N)，让单个模型可以在文本、图像、音频上处理长达数万元素的序列。论文给出的关键观察是，在 128 层 CIFAR-10 模型中，许多注意力头自发学到了结构化的稀疏模式，例如第 19 层按行汇聚信息、第 20 层再按列聚合，相当于把全注意力分解为两步行列扫描。
作者据此设计了两种稀疏注意力变体。strided 注意力让每个位置只关注自身所在行与列，适合二维网格数据；fixed 注意力关注一个固定列以及该列之后的元素，适合文本这类一维序列。为支持深层训练，作者还引入了梯度检查点，把注意力矩阵在反传时重算而非存储，使 64 层、4 头 Transformer 的注意力内存从存储版的几十 GB 降到重算版的百 MB 级，让 128 层模型在 12–32 GB 显存的常规 GPU 上得以训练。
在 CIFAR-10、Enwik8、ImageNet 64 三个密度建模基准上，Sparse Transformer 均刷新了 SOTA，损失低于稠密注意力，速度也更快。这一架构后来成为 GPT-3、长序列建模与多模态生成等方向的重要参考，作者 Rewon Child、Scott Gray、Alec Radford、Ilya Sutskever 也将其定位为 OpenAI 构建更强世界理解能力的基础组件。