DeepMind 发布神经场景表征与渲染研究成果

DeepMind 在 2018 年的 Science 论文里提出了 Generative Query Network，简称 GQN，让神经网络仅凭从场景内自行采集的视觉数据，就能学会理解三维空间并从未观察过的视角合成画面。研究团队希望摆脱对人工标注的依赖，让机器像婴儿一样在环境中自发积累视觉常识。

GQN 由表征网络与生成网络两部分组成。表征网络把若干视角的观测压缩成一段向量，描述场景中物体的位置、颜色和房间布局；生成网络再根据这段向量预测任意新视角下的图像。表征网络事先不知道会被查询哪个视角，因此必须把场景刻画得既紧凑又准确，再交由生成网络补全像素。在程序化生成的 3D 仿真环境里，模型不仅能合成清晰的新视角图像，还学会了对物体进行计数、定位和分类，并能在视野不全时用预测的方差表达自身的不确定性。

对读者而言，这项工作显示出场景理解可以摆脱逐像素标注，改以自监督路径让 agent 自行积累几何与光照知识。GQN 给出的紧凑表征还能直接喂给深度强化学习算法，让策略在仅约四分之一交互量下达到收敛，为后续 NeRF、World Model 与具身 agent 等方向铺垫了基础。