OpenAI 发布基于 CLIP 潜变量的层级文本条件图像生成方法

OpenAI 在《Hierarchical Text-Conditional Image Generation with CLIP Latents》中给出 DALL·E 2 背后的两阶段生成框架。作者 Ramesh、Dhariwal、Nichol、Chu 与 Chen 把 CLIP 的图文联合嵌入空间当作中间表示，先用一个 prior 模型根据文本描述生成 CLIP 图像嵌入，再交给 decoder 在该嵌入条件下扩散出最终图像。prior 部分对比了自回归与扩散两种实现，结果显示扩散式 prior 在计算成本和样本质量上都更占优。

这一显式的图像表征环节带来三种附加能力。decoder 在固定 CLIP 嵌入的前提下可以稳定地输出语义与风格一致、细节有所变化的图像变体；CLIP 空间的线性结构允许文本驱动的零样本图像编辑，例如沿着风格向量在原图基础上做语言引导的修改；而显式生成图像表征也提升了样本多样性，对照片真实感和文本对齐度的牺牲很小。

论文给出的设计意味着，文本到图像不再只是一个端到端的黑盒映射，CLIP 嵌入成为可被检视、可被复用的中间产物。后续的 unCLIP 路线、各类基于 CLIP 引导的扩散方法都建立在这套思路之上，文本条件生成与跨模态检索因此共享一套表征空间。