OpenAI 发布生成式模型

Generative Models 是 OpenAI 早期博客中一篇综述与四项研究合集的发布文，系统介绍了生成模型这条无监督学习路线，并配套放出四个项目的论文与代码。文章引用费曼那句 What I cannot create, I do not understand 作为引子，把生成建模的核心动机说清楚：神经网络的参数量远小于训练数据量，模型必须发现并内化数据的本质特征才能生成相似样本。

文章拿 ImageNet 上 120 万张 256×256×3 的图像、约 200 GB 像素作为示例数据集，介绍了 GAN、VAE 与自回归模型三种生成框架。GAN 让生成器与判别器对抗，生成器试图骗过判别器，判别器则尽量分辨真假，最终生成器趋向于覆盖真实数据分布；VAE 在概率图模型框架下最大化数据对数似然的下界，支持隐变量下的贝叶斯推断；PixelRNN 等自回归模型对每个像素在已观察到的左方和上方像素条件下建模，训练稳定且对数似然最佳，但采样较慢。

文章随后介绍了 OpenAI 当时发布的四项工作：Improving GANs 引入了让 GAN 训练更稳定的若干技巧并将 GAN 扩展到 128×128 ImageNet，相关作者包括 Tim Salimans、Ian Goodfellow、Wojciech Zaremba；还有改进 VAE、InfoGAN、生成对抗模仿学习等方向。每个项目都发布了技术报告与源码。这篇综述为后续 GPT、DALL·E、Sora 等生成式系统的研究铺垫了概念基础。