NVIDIA 发布 Nemotron 3 Nano Omni，把视觉、音频、文本塞进一个模型
NVIDIA 在 4 月 28 日的技术博客中发布 Nemotron 3 Nano Omni，作者署名为 Anjali Shah、Isabel Hulseman 和 Padmavathy Subramanian。这是一款开放权重的全模态模型，属于 Nemotron 3 系列的新成员，定位是智能体系统里的“感知子单元”：把原本分散的视觉、语言、音频三套堆栈合并成一次推理。
NVIDIA 给出的问题描述很直接。代理式系统在一个从感知到动作的循环里要同时处理屏幕、文档、音频、视频和文本，但工程上通常靠模型链拼接，视觉一个模型、语音一个模型、语言一个模型。跨模态切换带来推理跳转，编排复杂度上升，单项任务成本也跟着涨，跨模态上下文还容易断。Nemotron 3 Nano Omni 的做法是把这些输入放进同一个共享循环，让智能体在单次循环内完成感知和推理。
效率来自稀疏激活和分层压缩
模型采用按模态激活专家的结构，处理某一类输入时只调用对应专家，不整体前向。视觉侧使用 C-RADIOv4-H 作为基础编码器，在高分辨率细节保留和计算开销之间取平衡，并支持聚焦图像特定区域以维持 OCR 精度；视频侧用分层压缩策略配合基于编码器的摘要技术，应对长视频和大批量视频输入。
NVIDIA 称，在 Blackwell GPU 上以 NVFP4 量化运行时，Nemotron 3 Nano Omni 在开放式全模态模型中吞吐量最高，面向的是复杂文档、长视野推理和大规模视频批量这类企业负载。博客特别强调这不是合成基准上的数字，而是架构效率在真实代理负载下的表现：更多并发智能体、更高吞吐、更低的单项任务成本。
目标场景写得比较具体
NVIDIA 列出的落地领域包括金融、医疗健康、科学发现、媒体和娱乐，以及需要大规模处理视频与音频内容的广告技术平台。这些场景的共同点是输入模态混杂且批量大，单一文本模型处理不了，多模型拼接又不划算。
值得对照的是“开放”二字的分量。Nemotron 3 Nano Omni 把全模态能力放在开放模型里，企业可以在自己的环境中部署和微调，不必把文档、影像、通话录音送到外部接口。对金融和医疗这类数据敏感行业，这往往比多出几个基准点更重要。
Nemotron 3 Nano Omni 能否兑现“替代碎片化模型链”的说法，取决于它在真实文档和长视频上的准确率是否稳得住，以及 NVFP4 量化后的精度损失是否可接受。这两项，接下来几个月的第三方复现会给出答案。
来源