OpenAI · 大模型
OpenAI 发布 Variational Lossy Autoencoder
OpenAI 提出变分有损自编码器（VLAE），将信息瓶颈与自编码器架构结合，在压缩与表示学习之间建立新的平衡。该方法通过引入有损编码机制，迫使模型在保留关键语义信息的同时丢弃冗余细节，从而获得更紧凑、更可解释的隐空间表示。VLAE 在图像生成与表征质量上均展现出优于传统 VAE 的效果，为生成模型与扩散模型的结合也显示出潜力。
- 域名
openai.com- 评分
- 5 · 重大发布
- 发布
- 2026-05-22
导读
Variational Lossy Autoencoder 是 Xi Chen、Diederik P. Kingma、Tim Salimans、Yan Duan、Prafulla Dhariwal、John Schulman、Ilya Sutskever、Pieter Abbeel 等人在 arXiv 1611.02731 发布的表示学习工作，2016 年 11 月提交，收录于 ICLR 2017。论文从一个表示学习问题出发：对于 2D 图像，好的表示应当描述全局结构而忽略局部纹理细节，但标准 VAE 并不天然具备这种分工。
论文方法把 Variational Autoencoder 与 RNN、MADE、PixelRNN/CNN 等自回归模型结合，通过架构设计让 global latent code 主动丢弃纹理等局部信息，得到 lossy 而非 lossless 的隐空间表示。具体做法是把自回归模型同时用作先验分布 p(z) 与解码分布 p(x|z)，由解码端的自回归能力承担局部细节建模，由 latent code 承担全局结构编码。
这种分工带来了两个收益。表示层面，latent code 更紧凑、更可解释，可直接服务于分类等下游任务。生成层面，VAE 的密度建模能力大幅提升，论文在 MNIST、OMNIGLOT、Caltech-101 Silhouettes 等密度估计任务上取得了当时的新 state-of-the-art。VLAE 把信息瓶颈思想引入 VAE 设计，为后续 hierarchical VAE 与扩散模型的层级表示思路提供了理论参照。