DeepMind 发布 Perceiver AR 长上下文自回归生成模型

DeepMind 提出 Perceiver AR，一种把感知器架构扩展到自回归生成的设计，专门解决长上下文建模的算力瓶颈。标准 Transformer 每层算力随输入长度线性增长，实际可训练长度约为 2048 元素，相当于 1500 词左右或一张小图的六分之一，超过部分被截断。Perceiver 通过交叉注意力把任意长度输入编码进固定大小的潜空间，使每层算力不再依赖输入长度，已能处理约 10 万元素的真实任务。

Perceiver AR 的关键改动是把潜在变量与输入末尾的目标 token 一一对齐，并对输入做因果掩码，使每个潜变量只能看到对应位置之前的元素。这样既保留了交叉注意力把长上下文压入固定潜空间的优势，又满足自回归生成逐元素预测的约束。模型可端到端训练，部署方式与标准的 decoder-only Transformer 相近，但可处理长达标准 Transformer 50 倍的输入。一个 60 层、上下文长度 8192 的 Perceiver AR 在书本级生成任务上超过 42 层 Transformer-XL，同时实际墙钟时间更快。

实验在 ImageNet 64x64、PG-19、MAESTRO 三个长上下文基准上取得 state-of-the-art 结果。架构的几个特性带来直接好处。算力预算可在评估阶段调整，多投入即提升质量、少投入则平滑降级；同等算力下更大的上下文带来更好的性能，即便在 10 亿参数规模这一可负担尺度也成立；模型对生成顺序的敏感度低，适用于图像这类没有自然左到右顺序的数据。研究人员用钢琴音乐数据集训练 Perceiver AR，让其在完整历史上下文中生成新乐曲，旋律、和声与节奏的连贯性显著提升，代码、论文与 ICML 2022 报告均已公开。