DeepMind · 大模型
DeepMind 发布从数万亿 token 检索改进语言模型的研究
DeepMind 发表研究，提出从数万亿 token 中检索来改进语言模型。该方法在推理时从大规模语料库中检索相关文本，辅助模型生成答案，在事实性问答和长文本理解等任务上取得更好结果，且无需增大模型参数。这一工作探索了检索增强在超大规模语料上的应用。
- 域名
deepmind.google- 评分
- 5 · 重大发布
- 发布
- 2026-03-03
导读
这篇 2021 年 12 月 8 日发布的 DeepMind 博客，由 Sebastian Borgeaud、Arthur Mensch、Jordan Hoffmann 与 Laurent Sifre 联合署名，介绍检索增强型 Transformer，全称 Retrieval Enhanced TRansfOrmers，缩写 RETRO。文章针对当时大模型领域常见的扩参路径提出一种替代思路：与其继续把参数堆到千亿乃至万亿、为此付出训练能耗的指数级增长，不如把外部的大规模文本语料库作为可检索的"扩展记忆"，让一个相对较小的 Transformer 在推理时实时调阅相关段落。
方法层面，RETRO 把训练数据组织为段落级的索引库，对每一段输入文本做近邻搜索，返回若干相似序列及其后续延续，并把这些邻居通过交叉注意力嵌入到模型预测路径上；原有的文档级自注意力照常工作，新的段落级交叉注意力专门负责融合检索结果。检索库规模本身就是性能旋钮：在 The Pile 标准语言建模基准上，作者把检索语料从数千亿 token 一路推到 2 万亿 token，损失曲线仍在持续下降，相当于 175 个连续阅读的人类寿命。一个 75 亿参数的 RETRO 模型在 16 项任务的 10 项上超过 1750 亿参数的 Jurassic-1，在 9 项上超过 2800 亿参数的 Gopher。
对语言模型工程师而言，RETRO 的实证价值落在几个互相支撑的层面。"规模"这一维度被从参数计数扩展到检索库容量，给出在固定算力下更经济的扩展路径；检索机制本身提供了直接的事实性来源，文中给出的对照样例显示，基线 7B 模型只能写对 2 位数字，RETRO 在检索命中后能给出完整准确的数字；可干预的检索数据库还成为安全治理的接口，更换或过滤语料即可影响模型输出。这条路线后来在多个开源项目中被继承与改造。