DeepMind · 大模型
DeepMind 发布长程记忆新模型与数据集
DeepMind 发布了一项针对长程记忆能力的研究成果，同时推出了配套的模型与数据集。这项工作旨在提升大语言模型在处理超长上下文时的信息保持与检索能力，为需要持续记忆和推理的应用场景提供了新的技术路径。新模型在长序列任务上展现出显著改进，而公开的数据集则为后续研究建立了标准化的评估基准。
- 域名
deepmind.google- 评分
- 5 · 重大发布
- 发布
- 2025-12-03
导读
这篇 DeepMind 博客发布于 2020 年 2 月 10 日，同时介绍 Compressive Transformer 这一新模型与 PG-19 长程语言建模基准。开篇用人类记忆的特点切入：人在阅读时能记得几章前甚至前一本书里的人物，并在新情境下推断他们的动机，这种能力依赖大脑的选择、过滤与整合，而非存储全部细节。研究者把这种"压缩记忆"的设计目标搬进神经网络架构，意图给 AI 系统增加可在天、月、年时间尺度上推理的能力。
Compressive Transformer 借鉴睡眠在情景记忆巩固中的角色：模型沿着序列向前推进时持续收集细粒度记忆，过老的激活不再像 TransformerXL 那样被直接丢弃，而是被一个由辅助损失函数引导的神经网络压缩成更稀疏的表示。这种安排让重要信息可以跨越更长的时间窗口被检索。配合新基准 PG-19，该模型在 WikiText-103 与 Enwik8 两个常用长程语言建模基准上拿到当时不依赖外部训练数据的最优结果，对长篇书籍文本的提升尤为明显，并能用于语音建模、罕见词建模以及一个需要记忆的强化学习任务。
PG-19 数据集来自 Project Gutenberg 1919 年之前出版的约 28000 本图书，规模是早期 Billion Word Benchmark 的两倍以上，单文本平均上下文长度比 WikiText-103 长 10 倍以上，并几乎不做预处理与词表过滤。文章在末尾把发布意义拓展到通用智能：随着研究者构建能在数日、数周乃至数年时间尺度上运行的 agent，把原始输入逐帧塞进网络已经不可行，更具压缩力与稀疏性的记忆架构会成为必经之路，PG-19 与 Compressive Transformer 提供了朝这个方向迈进的工具与标尺。