DeepMind 发布 Differentiable Neural Computers

这篇 2016 年 10 月 12 日发布的 DeepMind 博客，由 Gregory Wayne 与 Alexander Graves 撰写，对应一篇同期登上 Nature 的论文。其核心提出名为 differentiable neural computer（DNC）的记忆增强神经网络架构，意在解决一个长期被回避的问题：神经网络擅长模式识别与快速反应，但缺乏存储复杂结构化数据并在其上做逻辑推理的能力。作者从柏拉图的蜡板比喻、洛克的联想说与普鲁斯特的玛德琳引入，把记忆从静态印象重新刻画为可重组的拼装件，再把这一视角落到模型设计上。

DNC 的架构由一个神经网络 controller 与一组可寻址的记忆位置构成，controller 类似计算机里的处理器。每个时钟步它都可以选择是否写入记忆，并在新位置或已用位置之间做出选择，从而模拟变量更新与内存回收；写入时同时记录"时间链路"，标记信息被写入的先后次序，每个位置还维护一个 usage 分数表示是否被占用。读取时既能按内容匹配寻址，也能沿时间链路向前或向后回放序列。文章强调，所有这些操作完全靠端到端的优化学习而来，没有显式编程：模型只看到答案的对错，就自行摸索出如何分配内存、如何检索内容。

实验把 DNC 放到三类结构化数据上。第一是图：训练时给随机图，测试时输入伦敦地铁的（站点，目标，线路）三元组，模型可以回答"从 Bond Street 沿 Central Line 走一站、再换 Circle Line 走四站、再换 Jubilee Line 走两站到哪儿"，也可以规划两站之间的最短路径。第二是家族树推理，仅靠父母、子女、兄妹关系即可推得"Freya 的舅公是谁"。第三是强化学习版本：DNC 控制一组彩色方块，按口令把它们摆成指定形态，每个目标对应一段可调用的子程序存进记忆。论文里的对照神经网络要么无法存下信息，要么学不到能泛化的推理方式。DNC 因此被作者既视为机器学习的工具，也视为认知科学与神经科学的新隐喻：一台可以自己学会组织事实并对其推理的学习机器。