OpenAI 发布视频生成模型作为世界模拟器

这篇 2024 年 2 月发布的技术报告将 Sora 定位为视频生成模型，同时把"世界模拟器"的命题摆到台面上讨论。OpenAI 在 visual data 上联合训练了 text-conditional diffusion 模型，跨越不同时长、分辨率与宽高比，骨干采用 transformer，输入为视频与图像隐编码切出的 spacetime patches。最大版本可一次生成约一分钟的高保真视频，作者据此推断扩大视频生成模型规模是构建通用物理世界模拟器的可行路径。

报告的核心论点是 patches 之于视频，相当于 token 之于 LLM：一种能统一不同分辨率、不同时长、不同纵横比视觉数据的可扩展表征。OpenAI 训练了高描述性的字幕模型给视频打标签，再用 ChatGPT 把用户的短提示扩写成长描述喂给 Sora，让生成质量在 prompt 端就被显著抬升。能力侧的例证包括画家在画布上留下的笔触随时间持续存在、咬过一口的汉堡保留咬痕，模型在一定程度上理解了动作的后果与对象的持久性。

报告同时承认局限。Sora 不依赖显式物理引擎，所谓"模拟"是对训练分布中视觉规律的统计建模，碰到玻璃破碎、绳索缠绕、流体细节等场景仍会失真，独立分析也指出现有行为证据不足以判定模型内部是否真的构建了 3D 场景的物理表征。对机器人训练、自动驾驶仿真等下游研究来说，这份报告的意义更多在于提出一条扩展路线，而非给出可直接使用的物理仿真器。