Nvidia发布 Nemotron 3.5 Super VL，并推出两款 Bolt 模型

Nvidia 发布了 Nemotron 3.5 Super VL，这是一款拥有 1200 亿参数、面向企业智能体的开放式多模态模型。两款旨在将 AI 智能体带到本地 PC 和边缘设备的紧凑型 Bolt 模型也将同步推出。

Nvidia 为专用智能体打造了 Nemotron 3.5 Super VL，这些智能体会在后台持续运行，处理文本、图像、文档和视频。

正如该公司在技术博客文章中所述，该模型采用混合专家架构，每个 token 仅激活 1200 亿参数中的 120 亿。Nvidia 与Nemotron Coalition共同开发了该模型，该联盟成员包括 Mistral AI、Thinking Machines Lab、Perplexity 和 Black Forest Labs。

两款面向本地硬件的较小模型也同期推出。Nemotron 3.5 Bolt 74B-A9B 24GB 可在本地机器上运行智能体任务，而更小的 Bolt E4B 4GB 则面向快速语音助手，将于本月晚些时候推出。Nvidia 声称，两款模型的“每 GB 内存所能提供的智能水平最高”。

Super VL 和 Bolt 加入了现有的 Nemotron 产品系列。于 8 月发布的 Lightning专为高吞吐量打造，而Ultra则用于处理高难度推理任务。所有版本均针对 Nvidia 硬件进行了优化。

Bar chart of the Artificial Analysis Intelligence Index v4.3.2 with 27 models, led by Claude Opus 5.5 at 58 points. Nemotron 3.5 Super VL scores 26 points, Nemotron 3.5 Bolt 74B-A9B gets 21. — 在 Artificial Analysis 的综合排名中，Super VL 与领先的闭源模型相比差距较大，但胜过了 Nvidia 自家的 Nemotron 3 Ultra。| 图片：Nvidi

Nvidia 声称，其最大模型以五分之一的规模实现了同等准确率

Nvidia 从其最大的推理模型 Nemotron 3 Ultra 中蒸馏出了 Super VL。在智能体遵循指令、调用工具、处理多步骤业务流程或分析图像的任务中，Super VL 据称仅用约五分之一的参数，就能达到 Ultra 的准确率。Nvidia 表示，在 Hermes 和 LangChain 的智能体测试中，Super VL 的得分实际上高于 Ultra；在 SWE-bench 和 Terminal-Bench 编码基准测试中，它也胜过了前代 Nemotron 3 Super。

Scatter plot comparing SWE-bench Pro accuracy against hours to complete 10,000 tasks on four B200 GPUs. Nemotron 3.5 Super VL takes about 10 hours at roughly 51 percent accuracy. Qwen3.8 Flash Next and DeepSeek V4 Flash land at roughly 50 to 56 hours. Inkling Small takes nearly 120 hours. — 在编码基准测试中，Super VL 的准确率略逊于竞争对手，但 Nvidia 表示，它完成任务的速度快了四倍。| 图片：Nvidia

Nvidia 援引 Artificial Analysis 排行榜称，在单块 GPU 上，Super VL 执行智能体任务时的吞吐量最高可达类似规模其他开放模型的五倍。在 EXO Labs 于 DGX Spark 上进行的一项独立测试中，没有其他模型能同时做到准确率更高、速度更快。当智能体需要连续数天或数周处理大量任务时，这一速度优势就能发挥作用。

Scatter plot comparing the Artificial Analysis Intelligence Index for open models against output speed at 100,000 input tokens. Nemotron 3.5 Super VL sits alone in the highlighted quadrant at roughly 630 tokens per second. — Nvidia 表示，在 Intelligence Index 得分相当的情况下，Super VL 每秒生成的 token 数量最高可达同级别其他开放模型的五倍。| 图片：Nvidia

面对闭源前沿模型，Nvidia 正向希望使用自有数据微调模型并在自有服务器上运行、免受服务提供商服务条款约束的企业推介 Super VL。Nvidia 表示，这可能会吸引持续筛查理赔申请以查找欺诈行为的保险公司，或按自身标准评估信用度的金融服务公司。为支持定制化，该公司提供了 NeMo 框架、Python 流水线和开放数据集。

Chart from local.ai plotting the Intelligence Index of local models against end-to-end agentic task time on the DGX Spark. Nemotron 3.5 Super VL sits on the efficiency curve between Qwen 3.8 Flash Next and Qwen 3.6 35B A3B. DeepSeek V4 Flash, Inkling Small, and Qwen 3.8 27B fall below it. — 在 DGX Spark 上，测试过的模型中没有其他模型能同时做到比 Super VL 更准确、速度更快。| 图片：Nvidia

压缩和缓存可降低计算开销

Nvidia 使用其 4 位 NVFP4 格式压缩 Super VL。在 Blackwell GPU 上，该模型完全以 4 位精度运行；而在较旧的显卡上，只有权重以 4 位存储，计算则以 16 位进行。模型中对精度敏感的部分会保留更高精度。为避免质量下降，Nvidia 训练压缩版，使其输出与未压缩的原版相匹配。

Two bar charts showing Nemotron 3.5 Super VL on 16 B200 GPUs with and without Nvidia Dynamo. With Dynamo, the number of users served jumps from about 60 to over 500, and time to first token drops from 2.75 to roughly 0.4 seconds. — Nvidia 表示，借助其推理软件 Dynamo，Super VL 服务的用户数量可提高 8 倍，同时首个令牌生成时间缩短 85%。| 图片：Nvidia

内置的草稿组件会提前提出多个令牌，随后主模型通过一次前向传播进行验证。在 DGX Spark 上，Nvidia 建议改用自家的 LiLiCorr 方法，该方法会一并评估所有草稿令牌，以生成更连贯的输出。Nvidia 表示，与不使用推测性草稿相比，这种方法可将文本生成速度提高至多 2.3 倍。

智能体每次请求都会发送相同的指令、工具描述和对话历史，因此 Super VL 会缓存这些重复部分的计算结果，而不是每次都重新计算。Nvidia 的推理软件 Dynamo 还会将同一会话的请求路由到已保存该会话缓存的 GPU。在 16 块 B200 GPU 上，这使 Super VL 能够同时服务的用户数量提高 8 倍，首个令牌生成时间则缩短 85%。

Super VL 无需单独的视觉模型即可解析表格、图表和 PDF

在视觉方面，Nvidia 专注于智能体日常工作中会遇到的材料，包括 OCR、表格、图表、多页文档和视频。Super VL 可以解读图表，将其与同一文档其他位置的表格关联起来，并对两者进行总结，无需单独的图像模型。

Nvidia 表示，在图表基准测试 CharXiv 上，Super VL 的得分为 80.8%；较早的 Nemotron 3 Nano Omni 得分为 63%。若模型还可以运行 Python 代码，得分则会上升至 84%。Nvidia 称，在 OCRBench v2 排行榜上，该模型跻身最佳开放模型之列。

本地智能体仍需要昂贵的硬件

Bolt 74B-A9B 24GB 是 Super VL 的精简版，采用混合专家模型架构，每一步仅激活 740 亿参数中的 90 亿。为将其装入 24 GB 内存，Nvidia 对权重进行了激进的 2 位量化。

Nvidia 表示，Bolt 可处理日常本地任务，例如让智能体完成多步操作、调用工具或搜索网络。用户可以让它编写和调试代码，也可以让它判断哪些 PC 组件适合自己的系统。

该模型针对 Nvidia 的 RTX Spark——一款面向具备 AI 能力的 Windows 笔记本电脑的新芯片以及 DGX Spark——一款配备至多 128 GB 共享内存的紧凑型 AI 工作站进行了优化。它也可在 GeForce RTX PC、DGX Station 和 RTX PRO 工作站上运行，并支持 llama.cpp、Ollama、LM Studio 和 vLLM。

即便经过大幅压缩，24 GB 仍是很高的门槛。只有昂贵的高端硬件才提供如此大的内存容量，而按当前 GPU 价格，大多数消费者难以证明这笔开销合理。目前，这款本地智能体主要面向开发者和高性能工作站用户。

对于性能较弱的设备，Nvidia 计划推出 Bolt E4B 4GB，不过目前尚未发货。它专为在 GeForce RTX 显卡、Jetson 模组和 RTX/DGX Spark 上运行而设计，可用于驱动语音助手、互动角色或设备界面。该模型旨在进行自然对话，在多轮交互中使用工具，并了解当前应用中正在发生的事情。

早期采用者涵盖金融和网络安全领域

Nvidia 表示，已有数十家机构在针对自身需求微调 Super VL，主要来自文档处理量大且数据敏感的行业。Scale AI 为媒体公司 Skydance 改造了该模型，用于处理供应商贷项通知单，预计成本将降至原来的四十分之一，响应时间将缩短至五分之一。Ramp 使用该模型将收据照片转换为结构化数据，并预计响应速度将提升十倍。EY 将其用于收购尽职调查，Hebbia 则用它分析信贷协议。

Scatter plot comparing small models under 24 GB by GDPval-v2 score and speed on the AIPerf SPEED-Bench. Nemotron Bolt 24GB lands at roughly 78 tokens per second and just under 28 points, ahead of Qwen3.6 35B-A3B, Gemma 4 26B-A4B, and Muse Glimmer 30B. — Nvidia 表示，在 24 GB 以内的模型中，Nemotron Bolt 在速度和任务质量方面的综合表现最佳。 | 图片：Nvidia

第二波采用者来自网络安全领域。AI21 为安全公司 Alice 微调了 Super VL，后者用它分析威胁和漏洞；据 Nvidia 称，准确率提高了 40%。Dream 使用该模型搜寻漏洞，CrowdStrike 则正在构建用于保护企业网络的智能体。Salesforce 计划自动化政府工作流程，R1 正在审计医疗账单，Perplexity、Dassault Systèmes 和 Mercor 也在使用该模型。

Nvidia 发布数据集和训练方案

Nvidia 正在开放基础版、后训练版和 4 位压缩版模型的权重，同时发布数据集、训练方案和强化学习环境。相比许多通常只开放权重的开放权重模型，这让 Super VL 更加开放。

Nvidia 表示，该模型在预训练和持续预训练阶段使用了超过 25 万亿个 token；后训练和强化学习则在约 100 个开放训练环境中增加了约 400 万个样本。

Nvidia 还在 Hugging Face 上发布了多个数据集，供其他开发者用于训练或微调自己的模型。这些数据集涵盖智能体如何使用工具、遵循指令、处理长文本和理解图像；其他数据集则涉及金融、安全和公平性。

其中一个数据集专门针对印度使用的语言。Nvidia 与印度理工学院马德拉斯分校及其 AI 实验室 AI4Bharat 共同构建了该数据集，其中包含约 2.83 万亿个 token，涵盖 22 种印度语言的文本。

Bar chart comparing Sarvam-105B, Gemma-4-31B-it, and post-trained Nemotron 3.5 Super VL across five Indic-language benchmarks. Super VL leads in all of them, most clearly in Indic FrontierMath with 58 versus 27 and 22 points. — 使用 Indic 数据集微调后，Super VL 在印度语言基准测试中的表现超过了 Sarvam-105B 等更大型的专用模型。 | 图片：Nvidia

开放模型推动 Nvidia 硬件销售

Super VL 可在 DGX Spark、DGX Station、RTX PRO 和 RTX 等桌面系统上运行，也可在边缘设备中的 Jetson 模块上，以及数据中心和云端运行。通过 Nvidia NIM，企业可将该模型作为开箱即用的微服务部署，并获得经过验证的配置和支持，计划每两周更新一次。Nemotron 3.5 Super VL 120B-A12B 和 Nemotron 3.5 Bolt 74B-A9B 24GB 的权重可在 Hugging Face 上获取。

Nvidia 以开放方式发布这些模型，但会针对自家产品进行调优，产品范围从数据中心服务器到工作站。任何希望充分发挥 Nemotron 性能的人，最终都会购买 Nvidia 硬件。

Nvidia 开放模型背后的策略是利己的。使用自有开放模型的公司越多，对计算硬件的需求就越大，而且在可预见的未来，开放模型很可能仍会针对 Nvidia 进行优化。与此同时，Meta、Google、Anthropic 和 OpenAI 等公司正在打造自己的芯片，并针对这些芯片优化模型。为了进一步推动开放 AI 模型的普及，Nvidia 最近向 Hugging Face 投资了 129 亿美元。Hugging Face 是开发和分享这些模型最重要的平台之一。