Meta 发布 Movie Gen 媒体基础模型

Meta 在博客中亮出 Movie Gen，一组覆盖图像、视频、音频的媒体生成基础模型，目标是把视频生成、视频编辑、个性化视频和音频合成放进同一套底座。其视频生成主体是 30B 参数的 Transformer，针对文生图与文生视频做联合优化，可按文本提示产出长达 16 秒、16 帧每秒的高清视频，模型能够推理对象运动、主客体交互与镜头运动，在多种概念上学习到符合物理直觉的动作。

在该底座上 Meta 扩展出三种应用形态：个性化视频以一张参考人像加文本提示生成视频，并在身份保持与运动还原上达到当时业内最好水平；视频编辑变体接收视频和提示词，能做添加、删除、替换元素的局部编辑以及背景、风格的全局变换，针对相关像素而不破坏其它内容；音频生成由独立的 13B 参数模型承担，能基于视频和可选文本提示输出最长 45 秒、与画面同步的环境声、Foley 音效与背景配乐，并配套音频延展技术处理任意长度视频，团队在音频质量、视频-音频对齐与文本-音频对齐三项指标上均报告了最先进结果。

Meta 把 Movie Gen 描述为人类评测下整体优于同类的研究系统，但同时承认推理时间和模型容量还有继续优化的空间，并明确生成式 AI 不会替代艺术家与动画师。后续团队计划与电影人和创作者合作，把反馈纳入模型迭代，并设想把 Reels 上的日常视频生成、WhatsApp 上的定制动画祝福等创作场景作为落地方向。对视频生成方向的研究者而言，这是一组同时覆盖生成、编辑、个性化和音频四个维度的统一参考系统。