DeepMind · 图像模型
DeepMind 发布学习编写程序生成图像的方法
DeepMind 提出一种让模型学习编写程序来生成图像的新方法。不同于传统文生图模型直接输出像素，该方法让模型先生成可执行的绘图程序，再通过渲染得到图像。这种方式使生成过程具备可编辑、可复现、可解释的特性，用户能直接修改程序代码来调整图像细节。研究展示了程序化生成在可控性和精确性上的优势，为图像生成开辟了新的技术路径。
- 域名
deepmind.google- 评分
- 5 · 重大发布
- 发布
- 2026-03-11
导读
DeepMind 在 2018 年 3 月发表 SPIRAL，作者 Yaroslav Ganin、Tejas Kulkarni、Igor Babuschkin、S. M. Ali Eslami、Oriol Vinyals。这项工作不让模型直接吐像素，而是让深度强化学习 agent 操作一个真实的绘图程序 MyPaint，在数字画布上摆放笔触、调整笔刷大小、压力与颜色，最终通过笔画序列生成图像。
训练信号由一个判别器神经网络提供，它的唯一任务是分辨某张图是 agent 画出来的还是采自真实照片数据集，agent 的奖励等于成功骗过判别器的程度。这套设定与 GAN 类似，但生成端被替换为一个写绘图程序的策略：agent 输出的是动作序列而非像素张量。第一组实验让 agent 学画 MNIST 数字，模型只看过数字长什么样，从未被告知该怎么画，最终自己摸索出控制笔刷的策略，这种范式被研究者称为 visual program synthesis。
这条路线带来三个清晰收益。生成过程可解释，agent 输出的是一串可读的笔画指令而非黑箱像素；具备可迁移性，文中演示了把模拟画布上学到的策略迁移到机械臂控制真实笔的真实绘画任务上；表示更结构化，agent 学到的是观察背后的因果生成机制，而非表层纹理。CelebA 名人脸训练里，agent 用有限笔触捕捉脸型、肤色与发型的主要特征，效果接近街头速写艺术家。这条思路把生成模型从拟合像素分布转向重建生成程序，为后续 program-induced generative model 与具身视觉 agent 留下了原型。