NVIDIA · 大模型
NVIDIA 发布 Nemotron 3 Nano Omni 多模态 AI Agent 模型
NVIDIA 推出 Nemotron 3 Nano Omni，这是一款同时处理文本、图像和音频输入的多模态模型，面向 AI Agent 场景设计。模型在边缘设备和机器人上提供实时推理能力，支持视觉问答、语音指令理解等交互，参数量较轻，适合部署在机器人等资源受限设备中。
- 域名
blogs.nvidia.com- 评分
- 5 · 重大发布
- 发布
- 2026-04-28
导读
NVIDIA 推出 Nemotron 3 Nano Omni，把视觉、语音、语言放进同一个开源 omni-modal 推理模型，用来取代 agent 系统里通常需要分别调用的三套模型。输入侧覆盖文本、图像、音频、视频、文档、图表与图形界面，输出侧只产生文本，定位是 agent 系统的感知 sub-agent，承担 eyes and ears 的角色，与 Nemotron 3 Super、Ultra 或第三方主模型协同。
架构为 30B-A3B 混合 MoE，引入 Conv3D 与 EVS 模块处理时空信息，上下文长度做到 256K，能在 computer use、文档智能、音视频推理这类长上下文 agentic workflow 中保持低延迟。NVIDIA 公布的数据显示，与同等交互性的其它开源 omni 模型相比，吞吐量提升达 9 倍，多模态准确率亦居领先位置，让企业级部署的成本与扩展性同步改善。
模型于 2026 年 4 月 28 日发布，通过 Hugging Face、OpenRouter、build.nvidia.com 与 25 个以上的合作平台同步上线，便于企业和开发者直接接入既有 agent 栈。这一发布的意义在于把多模态感知从多模型 pipeline 收敛到单模型，减少模型间数据传递的延迟与上下文丢失，对机器人、客户端 agent、文档处理与音视频应用场景具有直接的工程价值。