英伟达发布 Nemotron 3 Nano Omni，把视觉、音频和文本收进同一个推理循环
2026 年 4 月 28 日，NVIDIA 在开发者技术博客上公布了 Nemotron 3 Nano Omni，它是 Nemotron 3 系列的新成员，定位是智能体系统里负责多模态感知与上下文理解的子单元。文章署名 Anjali Shah、Isabel Hulseman 和 Padmavathy Subramanian 三人。
英伟达给出的问题描述很具体：代理式系统要在同一个“感知到动作”的循环里处理屏幕、文档、音频、视频和文本，但现有做法是视觉、音频、文本各自维护一套模型栈。模型链一长，跨模态之间的推理跳转和编排复杂度就上去了，推理成本随之推高，跨模态上下文的一致性反而被削弱。Nemotron 3 Nano Omni 的思路是把这几套堆栈合并成一个开放模型，让智能体在单个共享循环里完成多模态感知和推理。
吞吐量来自架构，不是跑分
在 Blackwell GPU 上，采用 NVFP4 量化的 Nemotron 3 Nano Omni 在开放式全模态模型中取得了最高吞吐量，面向的是复杂文档、长视野推理和大批量视频这类企业级负载。英伟达特别说明，这个结果不是合成基准测试的产物，而是在真实代理式工作负载中部署时体现出的架构效率：模型把多模态感知统一进单次循环，并且只激活每个模态各自需要的专家。按官方说法，代价是不牺牲准确率和响应能力，换来的是更高的并发智能体数量、更高的吞吐和更低的单任务成本。
视觉侧用分层压缩
高分辨率图像和动态视频是这类模型最容易吃算力的地方。Nemotron 3 Nano Omni 采用分层压缩策略，图像部分交给 C-RADIOv4-H 这个视觉编码器基础模型处理，在保留高分辨率细节和控制计算开销之间取平衡，并且能聚焦图像的特定区域，以维持 OCR 精度。视频部分则使用基于编码器的摘要技术。
适用场景被划在金融、医疗健康、科学发现、媒体和娱乐，以及需要大规模处理视频与音频内容的广告技术平台。对这批用户来说，真正要算的账不是单次推理快多少，而是一个感知循环里少了几次模型切换。Nemotron 3 Nano Omni 能不能把这笔账算平，取决于它在这些行业真实负载中的部署表现。
来源