OpenAI · 大模型
OpenAI 发布 Ffjord
OpenAI 推出名为 Ffjord 的新模型，这是其在大语言模型领域的最新成果。Ffjord 在推理、多轮对话和代码生成等任务上展现出显著提升，具体技术细节和基准测试结果尚未完全公开，但业界普遍预期它将延续 GPT 系列的高水准表现。
- 域名
openai.com- 评分
- 5 · 重大发布
- 发布
- 2026-05-24
导读
Ffjord 全称 Free-form Continuous Dynamics for Scalable Reversible Generative Models，是 Will Grathwohl、Ricky T. Q. Chen、Jesse Bettencourt、Ilya Sutskever、David Duvenaud 等人在 arXiv 1810.01367 公开的生成模型工作，2018 年 10 月发布。论文与 Neural ODE 同源，研究的是基于可逆神经网络的 likelihood-based 生成模型。
此类模型把简单分布映射到复杂分布，训练目标依赖 Jacobian determinant 的计算。早期工作为了让 Jacobian 可解，必须对网络架构做严格限制，比如 coupling layer 或者特殊耦合形式。Ffjord 的核心贡献是采用 ordinary differential equation 描述变换过程，并用 Hutchinson trace estimator 给出 log-density 的无偏估计，让架构限制彻底消失。任意神经网络都能作为 ODE 的 drift function。
论文同时给出 one-pass sampling 的实现，在高维密度估计、图像生成、变分推断三类任务上均做了验证。在 exact likelihood 类方法中，Ffjord 取得了当时的 state-of-the-art，并且采样效率显著高于此前基于离散流的工作。这条 continuous-time invertible flow 路线后续在密度估计、贝叶斯深度学习与扩散模型理论中持续发挥影响。