DeepMind · 大模型

DeepMind 发布 Gemini Omni

DeepMind 正式发布 Gemini Omni,一款强调多模态统一感知与生成能力的全新模型。Gemini Omni 在文本、图像、音频、视频的输入与输出之间实现了端到端融合,支持任意模态的混合推理与实时交互,不再需要拼接多个独立专家模型。这一架构设计大幅降低了跨模态任务中的信息损失与延迟,为更自然的人机对话和多媒体理解场景提供了原生能力基础。

域名
deepmind.google
评分
5 · 重大发布
发布
2026-05-17
DeepMind 发布 Gemini Omni

导读

Gemini Omni 是 DeepMind 在 Google I/O 2026 当日发布的多模态生成模型,首版命名 Gemini Omni Flash,定位是能从任意输入生成视频的统一模型。模型接受图像、音频、视频、文本任意组合作为输入,输出基于 Gemini 现实知识做出常识与物理判断的高质量视频,并支持以对话方式逐轮编辑同一片段,保持角色一致性、物理连续性与场景记忆。

在能力维度上,Omni 强化了对引力、动能、流体动力学等基础物理直觉的建模,能渲染连贯的链式反应、镜面液化、雕塑材质替换这类对物理一致性要求较高的镜头。模型同时把 Gemini 的世界知识接入视觉生成,文档示例包括逐字母展示一项以该字母开头的物件并配下三分之一标题、protein folding 的 claymation 风格解释短片,这类需要把抽象概念与可视化表达对齐的镜头单靠模式匹配难以稳定生成。所有 Omni 输出嵌入不可见的 SynthID 水印,可通过 Gemini app、Gemini in Chrome 与 Google Search 验证来源。

发布日 Omni Flash 即向全球 Google AI Plus、Pro、Ultra 订阅者开放,入口包括 Gemini app 与 Google Flow,同时在 YouTube Shorts 与 YouTube Create App 免费上线。开发者与企业渠道的 API 接入随后几周跟进。对内容创作与教学可视化场景,Omni 把视频编辑从剪辑工具迁移到自然语言指令,对 motion graphics、product mockup、教学短片等以往依赖专业链路的工作流构成直接替代选项。