DeepMind · 视频生成模型
DeepMind 发布视频音频生成技术
DeepMind 推出为视频同步生成音频的新技术，能够根据画面内容自动匹配环境音、动作音效乃至对话，无需人工后期配音。这项进展让视频制作流程进一步自动化，尤其对影视、游戏和虚拟内容创作有直接帮助。
- 域名
deepmind.google- 评分
- 5 · 重大发布
- 发布
- 2026-03-03
导读
DeepMind 公开了视频到音频 video-to-audio 技术的进展，简称 V2A，让仅有画面的视频自动生成同步音轨。系统读取视频像素与一段自然语言提示，输出包括环境音、动作音效、配乐乃至对白在内的完整声音层，并可与 Veo 等视频生成模型直接拼接。
在架构选型上，研究团队同时试过自回归与扩散两种路径，最终选定扩散方案，因为它对音画同步与声音质感的还原更稳定。系统先把视频压缩为潜在表征，再让扩散模型从随机噪声出发，根据视觉条件与文本提示反复迭代去噪，生成压缩音频，最后解码为波形并与原视频对齐。训练阶段额外引入了 AI 生成的声音描述和对白转录，让模型能分辨“恐怖片配乐”“水下气泡声”“恐龙幼崽的叫声”等具体声学概念，并根据正向、负向提示对同一段画面生成多版音轨。
对内容创作者而言，V2A 把配音、音效与配乐压缩进单一可控的生成步骤，覆盖从档案影像、默片到 AI 生成短片的各类场景。这也补齐了视频生成模型长期缺失的一环，让单一模型链路就能输出真正完整的视听片段。