跳到正文
NVIDIA Blog· NVIDIA Writers·· 2 天前精选AI 评分66

NVIDIA 向 OCP 开放 Vera Rubin 架构,推动 AI 工厂基础设施扩展

OCP Global Summit: Amid Ecosystem Adoption, NVIDIA Opens Vera Rubin Architecture to Help Scale AI Factories Worldwide

AI 导读

NVIDIA 在 OCP 全球峰会上通过开放 NVIDIA MGX 架构,向 OCP 贡献 Vera Rubin 机架和计算托盘设计,并宣布多项面向 AI 工厂的合作与开源贡献。

推荐理由

文章梳理了 Vera Rubin 架构、数据中心规范与 DSX 开源组件的协同推进,呈现 AI 工厂从机架设计到电网和运维的基础设施路径。

正文 · AI 翻译

随着 AI 工厂从兆瓦级发展到吉瓦级,建设它们所需的不只是先进计算。开放标准正帮助行业更快、更高效、更可靠地扩展 AI 基础设施。

在圣何塞 McEnery 会议中心举行的 Open Compute Project (OCP) 全球峰会上,NVIDIA 宣布了新的合作关系和贡献,旨在为下一代 AI 基础设施打造共同基础。 

NVIDIA 通过开放的 NVIDIA Vera Rubin 机架和计算托盘设计,以及 NVIDIA MGX 架构,向 OCP 贡献了关键设计,为系统构建商开发下一代 AI 工厂基础设施提供了共同基础。

这些努力共同覆盖了 AI 工厂本身、为其供电的电网,以及现代加速计算核心的机架级架构。

NVIDIA 与合作伙伴宣布开放架构进展 

在 OCP 活动上,NVIDIA 与合作伙伴宣布了多项消息: 

  • NVIDIA 与超大规模云服务商发布了下一代 AI 工厂的开放标准,包括 AI 工厂设计标准和电网韧性标准。 
  • NVIDIA 为 NVIDIA DSX AI Factory 推出了新的开源软件组件。 
  • Meta 与 NVIDIA 借助 NVIDIA Spectrum-X Ethernet SuperNIC 和 Spectrum-6 创新,推进了开放式 AI 网络发展。
  • Visionbay 推出了面向 Vera Rubin 时代的 800V 直流 AI 工厂设计。
  • NVIDIA 与 Cisco 宣布了超高密度小型可插拔(Ultra-Dense Small Form Factor Pluggable,USFP)标准,这是业界首个面向基于 400Gb/s 的网络交换架构的模块标准。
  • NVIDIA 与 Google 宣布,未来的 NVIDIA ConnectX-10 SuperNIC 和 BlueField DPU 将支持 Falcon Transport。

在座无虚席的会场上,NVIDIA 超大规模与高性能计算副总裁 Ian Buck 讨论了开放基础设施如何成为在全球范围扩展 AI 工厂的关键要素。 

OCP 上的 新闻 聚焦于 NVIDIA 的极致协同设计如何与开放标准相结合,加速部署、提升能效并推动每瓦性能令牌数。


通过在 OCP 贡献 MGX 机架,Vera Rubin AI 工厂取得进展

NVIDIA 与行业领导者共同通过 OCP 的 Open DC Initiative 贡献了第三代 MGX AI 数据中心参考设计。

结合 MQD 和 MQDB 等开放式液冷技术,这项工作有助于将经过验证的 AI 工厂设计转化为行业标准,供其他企业采用、制造和扩展。

对于 NVIDIA Vera Rubin AI 工厂,更新后的 MGX 1.2 规范通过机架级盲插式液冷、可互操作的机架级互连基础设施,以及专为更高功率 AI 系统设计的液冷 5,000A 母线,扩展了 AI 工厂的开放架构。该规范还新增了对原生 19 英寸设备的支持和更高密度的机架设计。

MGX 1.2 通过可配置 I/O 托架、无风扇液冷计算托盘、标准化电源与冷却接口,以及帮助生态系统合作伙伴构建可互操作加速计算平台的通用基础设施,进一步拓展了模块化能力。它改善了组装、测试和维护时间,从而简化制造和现场服务,实现更快速、更高效的基础设施建设。该架构支持最高 250kW 的机架部署,同时简化维护、部署和基础设施复用。

Vera CPU 机架设计规范将 NVIDIA MGX 开放架构从加速计算扩展至更广领域,为不断发展的智能体 AI 时代提供专用平台。Vera Rubin NVL72 是大规模训练和推理的基础,而 NVIDIA Vera CPU 机架旨在支持工具调用、编排和沙箱执行,帮助 AI 智能体实时与应用程序、数据和服务交互。

Vera CPU 机架基于第三代 NVIDIA MGX 机架架构构建,采用相同的机架级设计理念,将计算、网络、电源和冷却整合到通用模块化平台中。这种方式使合作伙伴能够部署专用基础设施,同时受益于共享生态系统、简化的集成以及面向下一代 AI 工厂的一致基础。


NVIDIA 为 DSX AI 工厂推出新的开源软件组件

NVIDIA DSX AI 工厂平台 采用极致协同设计,将计算、网络、电源、冷却、设施和软件统一起来,帮助 AI 工厂作为单一优化系统运行,在可用基础设施约束下最大化 AI 产出。 这一统一系统的核心是 DSX OS,这一开放操作层可将 DSX 架构转化为协调一致、可重复且可规模化的运营。

在 OCP 上,NVIDIA 通过用于配置网络、验证集群、管理机架和配置裸机的开源组件扩展了 DSX OS: 

  • NVIDIA Config Manager:自动执行大规模交换机配置,使客户能够以极少甚至无需人工干预的方式部署、验证和维护一致的 AI 工厂网络架构。
  • NVIDIA Cluster Readiness Engine:通过使用真实工作负载模拟对 GPU 集群进行压力测试,帮助消除高成本的作业崩溃,在训练开始前确保硬件健康状况。
  • NVIDIA Rack Management Service:提供机架硬件抽象和运营解决方案,将机架视为一等单元,以改善 AI 工厂规模化固件管理。
  • Cluster API Provider for NVIDIA Infrastructure Controller:加速裸机部署和租户接入,将原始 AI 硬件转变为可投入生产的集群,所需时间从数天缩短至数小时。

这些开源组件基于 NVIDIA 运行 NVIDIA DGX Cloud 的经验开发,使云服务提供商和软件合作伙伴能够将 AI 工厂能力直接集成到其多租户平台中。 

开发者可访问 DSX AI Factory Github 页面,探索并参与 NVIDIA DSX AI Factory 平台中新增和现有的开源软件组件。


NVIDIA 与超大规模云服务商发布下一代 AI 工厂开放标准

要让 AI 基础设施在全球范围内扩展,仅有先进硬件还不够——还需要一个整个行业都能基于其构建的共同基础。

在 OCP 上,NVIDIA 与 AMD、Google 和 Meta 并发布了一项新的开放规范,为这一基础奠定标准。该 Open Data Center Specification v0.7定义了下一代 AI 工厂设施设计的统一蓝图,涵盖电力架构、冷却基础设施和物理布局。 

由 OCP Grid Resilience Specification,由 Google、Meta、Microsoft 和 NVIDIA 发布,规定了大型 AI 基础设施在公用电网受到干扰时应如何运行:保持连接、自动响应,并在不到两秒内恢复至接近满负载。

如今这些标准已开放,全球制造商有了共同的建设目标。设备制造商、托管服务提供商和数据中心运营商可以开始设计、制造并交付基础设施层,为全球在建的 AI 工厂提供动力,而无需等待各个客户提供专有规范。

作为 NVIDIA DSX 参考设计兼容方案,这些规范提供了经过验证、可部署的两项规范实现,涵盖从设施布局和电力架构,到实时监控并响应电网信号的软件。对于正在建设 Vera Rubin AI 工厂的运营商来说,如今从开放社区标准到运行中的系统,已可一气呵成。


Visionbay.ai 为 Vera Rubin 时代设计 800VDC AI 工厂

随着 AI 工厂规模不断扩大、功率不断提升,一个挑战始终摆在眼前:为推动下一代 AI 的加速计算系统提供充足电力。

在 OCP 上,Visionbay 公布了 K-1 的计划。这是一种围绕 800 VDC 架构设计的新一代 AI 工厂平台,并为未来部署 NVIDIA Vera Rubin 做好了准备。该项目将 NVIDIA 的 800 VDC 参考架构与 Vertiv 的电力和热管理技术相结合,为高密度 AI 基础设施打造可扩展的基础。

该设计应对着日益严峻的行业挑战。随着 AI 训练、推理和推理能力相关工作负载不断扩展,机架功率密度持续上升。传统的低压配电越来越难以扩展,需要更多铜材、更多电缆和更多电力转换设备。

通过采用 NVIDIA 的 800 VDC 架构,K-1 为构建更高密度的 AI 基础设施铺平道路,同时保留现有部署的灵活性。该平台并不要求第一天就完成全面转型,而是旨在逐步引入 800 VDC 配电,并优先应用于最能发挥其优势的场景,帮助运营商为未来几代加速计算做好准备,同时避免大规模改造设施。

该架构围绕集群级电力中心构建,集中进行交流电到直流电的转换,并将 800 VDC 配电延伸至更靠近计算资源的位置。这种方案简化了下游供电,支持模块化扩展,并为未来 AI 工厂的发展构建可重复使用的基础模块。

K-1 也体现了 NVIDIA AI 工厂背后的系统级设计理念,即将电力、冷却和计算作为一个整体进行设计。该项目支持液冷基础设施、可扩展配电以及未来 Vera Rubin 级部署,展示了生态系统合作伙伴如何将 NVIDIA AI 工厂架构转化为可部署的基础设施,为加速计算的新时代做好准备。


Meta 与 NVIDIA 借助 Spectrum-6 和多平面技术推进 AI 网络

在活动上,Meta 和 NVIDIA 宣布,Meta 将采用 NVIDIA Spectrum-6 102.4Tb/s 以太网交换机,基于开放式网络构建规模更大、性能更高的 NVIDIA Vera Rubin AI 工厂。 

Spectrum-6 的交换容量和每通道带宽均为 Spectrum-4 的两倍,可提供每通道 200G 的无损以太网 AI 网络,并具备高有效带宽和性能隔离能力,确保一个作业的流量不会拖慢另一个作业。

Meta 的 Spectrum-6 交换机 N-IceCube 安装在 Meta 的 100T 液冷机架 IcePack 中。N-IceCube 运行 Facebook Open Switching System (FBOSS),这是 Meta 的开源网络操作系统,Meta 已将其贡献给 OCP,以支持超大规模场景下的高效网络连接。 

FBOSS 基于 Switch Abstraction Interface 构建。NVIDIA 帮助开发了这一 OCP 标准,它提供了一种与供应商无关的交换机硬件控制方式。这些技术共同支持拥有超过 100,000 个 GPU 的智能体 AI 工厂,用于训练和运行规模庞大的混合专家模型。

这项公告标志着双方合作迈出新一步,将 Meta 在超大规模运营 AI 基础设施方面的经验与 NVIDIA 的网络技术相结合。

此次合作的核心是 Spectrum-X 多平面技术,该技术由 Spectrum-6 交换机和 ConnectX-9 SuperNIC 提供支持。多平面技术通过硬件将 GPU 流量分配到最多八个独立网络平面,使 AI 工厂能够以更少的交换机层级和更低的基础设施成本扩展至 100,000 个以上的 GPU。GPU 之间的多条路径可提升网络利用率和弹性:当某个组件发生故障时,流量会转移至其余平面,使 GPU 保持高效运行、AI 应用持续运行,即使带宽有所降低。

Meta 和 NVIDIA 通过部署经验和快速工程迭代,共同增强了这种弹性。双方团队在本地部署和云环境中验证了相关改进。 

Meta 数据中心与 AI 网络高级总监 Omar Baldonado 表示:“我们很高兴与 NVIDIA 紧密合作,让多平面网络在运营层面实现可扩展性和高性能。这对我们自身的基础设施建设以及共同的云合作伙伴而言,都是一项关键要求。将 FBOSS 扩展至 Spectrum ASIC,意味着我们可以在各个网络中运行同一软件栈;Meta 全新的 Spectrum 交换机 N-IceCube 则将其引入 Icepack——这是我们的液冷 102.4T 横向扩展网络机架,可连接我们集群中即将推出的多代加速器。”

Meta 与 NVIDIA 正在共同开发一种架构和运营方案手册,供其他 AI 基础设施运营商采用,将高要求生产工作负载中积累的经验转化为更具可扩展性、更可靠且更高效的 AI 工厂。


借助 USFP,NVIDIA 与 Cisco 为 AI 工厂规模重新构想可插拔光模块

随着 AI 工厂不断扩展,以支持更大的模型和激增的推理需求,基础设施栈的每个组件都必须实现更高性能、效率和简洁性——网络连接本身也不例外。 

在 OCP 上,NVIDIA 与 Cisco 宣布了计划,推出 USFP,这是一种全新的光可插拔收发器模块外形规格,旨在帮助 AI 工厂建设者扩展新一代 AI 网络,同时提高带宽密度和能效。

USFP 的外形尺寸与广泛采用的每通道 200Gb/s OSFP 外形规格大致相同,将为每通道 400Gb/s 网络提供发展路径,并延续已在多代数据中心网络中得到验证的基于收发器的部署模式。USFP 可容纳 16 条全双工通道,并计划扩展至 32 条,其带宽密度将达到传统每通道 200Gb/s 可插拔光模块的四倍。 

这样一来,无需增加可能导致延迟、功耗和复杂性上升的网络层级,就能连接更多计算资源。

这种新外形规格专为下一代 AI 工厂对规模和效率的需求而设计,在支持更高带宽网络的同时,保留了使可插拔光模块成为现代数据中心主流的灵活性和易维护性。它还将实现约 1.3 倍的能效提升,帮助运营商以更少的能源传输更多数据。   

为推动开放生态系统,NVIDIA 与 Cisco 正与 TE Connectivity 和 Amphenol 合作开发笼子、连接器和模块,并计划通过社区主导、多源参与的方式推进 USFP。各家公司正携手为更具可扩展性、更高效且互操作性更强的 AI 工厂网络奠定基础。


Google Falcon Transport 支持 NVIDIA ConnectX-10,实现互操作 AI 网络

NVIDIA 与 Google 还宣布,未来的 NVIDIA ConnectX-10 SuperNIC 和 BlueField DPU 将支持 Falcon Transport,从而帮助提升大规模 AI 基础设施的网络效率。 

Falcon 是一种传输协议,旨在通过以太网网络可靠地传输数据;在网络拥塞时,以太网网络可能会丢弃数据包。它通过多路径负载均衡、可编程拥塞控制、硬件丢包恢复和逐连接安全机制,支持 AI 和存储工作负载。

此次合作将 NVIDIA 硬件加速与 DOCA 软件相结合,以实现 Falcon,并将 NVIDIA 网络技术扩展至 Google 的 数据中心传输层。NVIDIA 和 Google 的 NIC 可通过通用传输协议相互通信,同时应用仍可使用标准 RDMA 编程接口。

Falcon 通过在多条路径间分配流量、适应拥塞、恢复丢弃的数据包并保护连接,帮助工作负载更好地利用可用带宽,并在以太网架构扩展时保持可预测的性能。

加入 NVIDIA 在 OCP 的活动,了解更多。

来源:NVIDIA Blog · blogs.nvidia.com