跳到正文
NVIDIA Blog· Kari Briski·· 2 小时前精选AI 评分75

NVIDIA 发布 Nemotron 3.5 Super VL 与两款 Bolt 模型

Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models

AI 导读

NVIDIA 发布开源的 Nemotron 3.5 Super VL(120B 参数)及两款边缘模型 Nemotron 3.5 Bolt 74B-A9B 24GB 和 Bolt E4B 4GB,覆盖数据中心、边缘设备与本地硬件部署。

推荐理由

Nemotron 3.5 将大规模多模态智能体模型与适配本地设备的 Bolt 系列并行推出,展现其从数据中心到边缘部署的产品布局。

正文 · AI 翻译

NVIDIA 今日发布 Nemotron 3.5 Super VL。这是一款开放的 1200 亿参数模型,可为专用常驻代理提供最快的任务完成速度和最高准确率。

此外还有两款全新的边缘模型:Nemotron 3.5 Bolt 74B-A9B 24GB,针对本地代理工作负载进行了优化,可平衡每 GB 的智能水平与速度;以及 Nemotron 3.5 Bolt E4B 4GB,针对每 GB 的智能水平进行了优化,可支持快速对话代理。

Super VL 和 Bolt 74B-A9B 现已推出,Bolt E4B 将于 10 月 23 日推出。

这三款开放模型共同覆盖了代理部署的完整范围,从大型企业服务器到边缘设备和本地硬件均可适用。 

现在,任何希望在 NVIDIA 基础设施上运行代理的组织,都能为其所处层级找到开放且经过优化的模型,无需在能力与可部署性之间取舍。 

Super VL 和 Bolt 与Lightning及 Ultra 一同加入 Nemotron 系列。 

于 8 月发布的 Lightning 可处理高吞吐量工作负载;Ultra 可处理最艰巨的推理任务;Bolt 则将智能带到边缘。 

Nemotron 3.5 Super VL:以五分之一的规模实现前沿准确率

Super VL 与Nemotron Coalition合作构建,在多模态代理任务(包括指令遵循、工具使用、多步骤业务工作流和视觉理解)上实现领先准确率;其参数量约为 NVIDIA 最大型推理模型的五分之一,性能与之相当。

Nemotron 3.5 Super VL 在同类模型中为高流量代理工作流提供前沿级智能。

作为同类中速度最快的开放代理模型——比次佳模型快 5 倍——它可帮助企业代理更快完成跨越数天或数周工作流的高流量任务。 

在 Artificial Analysis Intelligence Index leadboard 上,Nemotron 3.5 Super VL 的吞吐量最高可达同类其他模型的 5 倍。

与封闭的前沿模型不同,组织可以使用自己的数据对 Super VL 进行后训练,将其部署在自己的基础设施上,并监督所构建的内容。

Nemotron 3.5 Bolt:边缘代理智能

Bolt 74B-A9B 24GB 专为在 NVIDIA RTX/DGX Spark 上本地运行日常代理任务而设计,采用原生 2 位量化,可将模型装入 24GB 内存并与其他应用同时运行。

与内存占用相近的其他模型相比,它在智能水平和速度之间实现了良好平衡:足够智能,能够完成大多数工作,同时又比最智能的模型快得多。

借助 Bolt 74B-A9B 24GB,用户可将项目交给常用的本地代理框架处理——从网络调查到写作和代码调试——所有工作负载都无需发送到云端。它在同类模型中位列PinchBench开放模型第 1 名,在BrowseComp开放模型中位列第 2 名。

Bolt E4B 4GB 专为在 GeForce RTX、Jetson 和 RTX/DGX Spark 上运行的实体代理和对话代理而构建。它将自然对话与多轮代理能力相结合,可支持快速的本地语音助手、互动角色和嵌入式界面。 

定制超级智能的采用

各行各业数十家组织正在使用自己的数据、工具、策略和工作流对 Super VL 进行后训练,以进一步提高其在定义智能体部署的专业任务上的准确率。 

各行各业的组织正在对 Super VL 进行后训练和定制。Scale AI为 Skydance 的供应商信贷融资智能体和 EY 的并购尽职调查智能体对该模型进行了后训练。 AfterQuery为 Hebbia 定制了该模型,用于信贷协议分析。 AI21 和 Alice对该模型进行了后训练,用于网络安全攻击韧性。 Mercor 使用 APEX-SWE 编码基准对该模型进行了后训练,用于能够规划、编写和调试代码的编码智能体。 ModelScope通过其ms-swift 框架,支持开发者针对专业多模态应用微调该模型。

其他定制 Nemotron 3.5 Super VL 的组织包括:Ramp 用于金融文档智能;Dream,用于由主权 AI 驱动的网络安全研究和漏洞分析; Lila Sciences 用于科学发现和搜索;以及 R1 用于医疗理赔分析和收入周期管理。TrainLoop使用 Nolla 的皮肤病学数据对该模型进行了后训练。Nolla 刚刚成为首家获批使用 AI 开具初始患者处方的公司。

集成 Nemotron 3.5 Super VL 的软件平台公司包括: 

  • Atlassian,用于跨 Jira 和 Confluence 等应用进行智能体搜索等任务。
  • CrowdStrike正在定制该模型,用于企业安全领域的智能体蓝队演练。
  • Dassault Systèmes为工程设计和仿真提供支持。 
  • Perplexity用于 Perplexity Search 和 Computer 中的搜索及智能体任务。
  • Salesforce正在定制 Nemotron,通过 Missionforce Operations 在安全的客户环境中驱动 AI 智能体,实现政府复杂工作流的数字化和自动化。
  • Synopsys用于半导体设计验证的软件可与该模型互操作。

Nemotron 3.5 Super VL 实际能看懂什么

Nemotron 3.5 Super VL 的视觉语言能力针对智能体在实际应用中遇到的内容:光学字符识别、表格、图表以及视觉文档中的结构化信息。 

它能处理网页、提取文本、读取图表,并根据发现的内容给出见解。对于 PDF 和智能体常用的其他文档也同样适用。

Nemotron 3.5 Super VL 能理解图像、网页和 PDF,并据此采取行动。将文本理解和视觉理解结合在一个模型中,意味着智能体无需在不同系统之间转派任务——随着工作从文档推进到数据再到决策,上下文也能始终连贯。 

开放模型,最大程度掌控、安全与隐私

开放性与可定制性相辅相成。该模型提供开放权重、开放数据集和训练方案。

控制分为两个方面。组织可以根据自身的安全和数据驻留要求,在任何指定位置运行模型。他们还可以选择采用能够自行调整的模型,而非受服务提供商限制的模型。

例如,在保险领域,定制智能体可以反复扫描理赔申请,查找欺诈迹象。在金融服务领域,智能体可以审核信用评分,并根据组织自身的贷款标准标记相关活动。模型保留在本地。数据也始终保密。

可通过 NVIDIA NeMo、基于 Python 的流水线和开放数据集进行定制。

Nemotron 3.5 Super VL 使用约 26 万亿个 token 进行了训练,涵盖 预训练和持续预训练,随后使用约 380 万个样本进行后训练,并在数十种环境中进行强化学习。

NVIDIA 还将在 Hugging Face 上发布开放数据集,涵盖 智能体工具使用、金融、指令遵循、长上下文、公平性和视觉语言理解,以及 NeMo Gym 中的强化学习环境。

NVIDIA NIM将该模型打包为可用于生产的微服务,提供经过性能优化和验证的配置以及企业级支持,并每两周更新一次安全补丁和性能改进。

此外,借助在 NVIDIA Dynamo 上运行的模型,组织可以服务多达 8 倍的用户,同时将延迟降低 85%。

Nemotron 3.5 Super VL 现已在 Hugging Face、Open Router、ModelScope 社区以及 NVIDIA NIM 上提供。

可在 DGX Spark、DGX Station 和 RTX 上运行

Nemotron 3.5 Super VL 可在 NVIDIA 的全系列硬件平台上运行:在 DGX Spark、DGX Station、  RTX PRO 和 RTX 系统上运行,为桌面提供本地智能;在 NVIDIA Jetson 上运行,部署于边缘端;也可在数据中心和云环境中运行。

Nemotron 3.5 Bolt 74B-A9B 24GB现已在 Hugging Face 上提供,并支持 llama.cpp、Ollama、LM Studio、Unsloth 和 vLLM。该模型专为 NVIDIA RTX Spark 笔记本电脑打造,将于 10 月 16 日推出,也可在 GeForce RTX PC、DGX Spark、DGX Station 和 RTX PRO 工作站上运行。

下载开放权重,通过 NVIDIA NeMo 探索定制资源,或阅读技术博客,了解完整的架构解析。

及时了解智能体、NVIDIA Nemotron等信息,请订阅 NVIDIA 新闻, 加入社区,并在以下平台关注 NVIDIA AI: LinkedIn、 Instagram、 X 和 Facebook。

探索 自定进度的视频教程和直播。

请参阅 通知,了解软件产品信息。

来源:NVIDIA Blog · blogs.nvidia.com