NVIDIA Omniverse：开发者如何借助前沿 AI 智能体将创意转化为仿真
Into the Omniverse: How Developers Turn Ideas Into Simulations With Frontier AI Agents
NVIDIA 展示开发者如何将前沿 AI 模型与 Omniverse libraries 结合，把仿真创意构建成可运行的应用。案例涵盖人形机器人、自动驾驶测试、数字孪生和空间站浏览器应用，开发者通过自然语言指令引导智能体连接资产、物理、渲染与传感器模拟，并检查和修改结果。一个机器人跨越单个栏架的实验在 100 次仿真试验中成功 64 次。
文章展示了开发者如何用自然语言指挥智能体连接仿真组件，并通过物理试验、传感器对比和迭代修改检查结果。
将仿真构想转化为可运行的应用，意味着要整合资产、连接物理与渲染，并检查场景行为是否符合预期。开发者正将前沿 AI 模型与 NVIDIA Omniverse 库相结合，助力完成这项工作——构建用于探索场景、调查故障和改进设计的应用。
开发者通过自然语言指令引导 AI 智能体、审查结果并指导修改。Omniverse 库提供 GPU 加速的物理、渲染和传感器仿真功能。
探索下方项目，了解 GPT-6 Astra 等前沿 AI 模型如何发挥作用；也请持续关注 NVIDIA 团队及生态系统开发者带来的新案例。
为仓库环境构建人形机器人模拟器
以第一人称和第三人称视角，探索游戏化、基于物理的机器人控制。
在自动化仓库任务之前，开发者需要一个交互式仿真环境，以探索任务行为并评估工作流程。NVIDIA Omniverse 产品经理 Frank DeLise 使用 Astra，将一个SimReady仓库和人形机器人转化为交互式模拟器，支持第一人称和第三人称视角。
DeLise 指示 Astra 连接用于物理仿真的 NVIDIA Omniverse 库（ovphysx）、场景更新（ovstage）、渲染（ovrtx）和用户界面（ovui）。他还将 Astra 与 SimReady（simready-foundation）结合，用于在仿真中创建物理场景。随后，Astra 生成动画和应用代码，将这些功能整合起来。
了解如何使用前沿 AI 模型和 NVIDIA Omniverse 库准备并验证 SimReady 机器人资产。
连接自动驾驶测试工作流
改变场景、传感器或驾驶模型，可能会对自动驾驶汽车仿真产生重大影响。NVIDIA 仿真技术团队经理 Doyub Kim 请 Astra 构建 Zero to Alpamayo——一个基于旧金山 Market Street 的可复用仿真环境。
Kim 指示 Astra 规划工作流，然后分阶段连接资产创建、交通、Omniverse RTX 传感器仿真和Alpamayo 驾驶，并检查每项集成。最终的原型可用于测试和比较模型，并追踪场景或传感器变化对下游驾驶行为的影响。在另一项 Cosmos3-Nano 实验中，Kim 改变录制仿真视频中的天气和光照条件，从而比较驾驶模型在不同条件下对同一场景的响应。
利用传感器差异创建并改进数字孪生
比较录制与仿真的摄像头和激光雷达输出，可为开发者提供基于关键绩效指标的反馈，以完善场景。
为了测试机器人和自动驾驶汽车，开发者需要了解模拟传感器与真实传感器的匹配程度。Ashley Reid 在 NVIDIA 负责 RTX 传感器验证，他指导 Astra 和 Claude Fable 5 智能体，将 ovrtx 摄像头和原始 LiDAR 输出与记录的数据进行比较。智能体从头创建了两个数字孪生，并改进了另外两个现有数字孪生。
在大约三天的时间里，Reid 指导智能体采用迭代工作流：测量差异、创建或修改 OpenUSD 场景，并检查结果。针对缺失的物体、几何形状和材质进行了修改，验收则取决于摄像头和 LiDAR 指标。这为开发者提供了一种利用测得的差异来指导场景创建和改进的方法。
首先，使用 ovrtx minimal Python example 渲染一个 OpenUSD 场景，然后定义一项传感器测量指标，与记录的数据进行比较。
机器人奥运会：通过仿真测试机器人技能
教机器人学习新的动作，意味着要检查这些动作是否符合物理约束。NVIDIA Omniverse 工程与产品负责人 Tae Kim 利用体育视频和自然语言指令指导 Astra 构建 Robo Olympics。这是一个实验性项目，用于测试模拟的 Unitree G1 人形机器人执行体育动作的表现。
在 Kim 的指导下，Astra 构建控制器，并通过物理仿真试验不断改进。 Newton Physics Engine 模拟机器人行为，开源的 NVIDIA Warp 框架加速计算，而 ovrtx 则渲染场景和虚拟摄像头图像。在一项实验中，机器人在 100 次仿真试验中有 64 次成功越过单个栏架。这些试验为 Kim 改进机器人的时机把握和控制提供了反馈。
观看 Kim 探索使用 Astra 和 NVIDIA Omniverse 库构建仿真。
结合计算机辅助设计和仿真测试机器人拆解
机器人拆解产品之前，开发者需要了解机器人的工具能否触及并移除零件。NVIDIA OpenUSD 高级产品经理 Jens Jebens 指导 Astra 在 PTC Onshape 中为汽车悬架建模，并在 NVIDIA Isaac Sim 中进行配置。
Jebens 借助 Astra 探索了 计算机辅助设计，并根据仿真结果调整机器人的工具设计。智能体测量了可用空间，并设计了一把扳手，供机器人触及悬架螺栓。Jebens 报告称，机器人在仿真中成功拆下了一个悬架部件。这将设计和工具决策与拆解结果联系起来，为机器人策略训练提供了起点。
了解 Onshape 导入器指南。
在浏览器中呈现国际空间站
将 3D 模型转化为应用程序需要连接资产、实时数据和界面。NVIDIA 工程总监 Nic Johns 提示 Astra 将 NASA 资产组装成一个带遥测数据的 OpenUSD 国际空间站模型。Johns 只用一个提示词就构建了该应用程序，随后又使用后续提示词将场景切换到地球的白昼一侧，使行星清晰可见。
该工作流使用 Blender 进行资产准备，并使用 Omniverse libraries 进行渲染（ovrtx）、场景运行时处理（ovstage）和流式传输（ovstream）。该应用程序将 3D 模型和运行数据引入浏览器，Johns 通过提示词和修正指导其开发。
试用 Omniverse Real-Time Viewer skill。
将捕捉的房间转变为测试环境
经过数字重建的房间需要具备可编辑的对象和准确的物理行为，开发人员才能测试交互。NVIDIA Isaac 工程应用团队的 Chirag Majithia 指导 Astra 将立体摄像头捕捉的数据转化为可编辑的 OpenUSD 工作室。
该工作流结合使用 PyCuSFM、FoundationStereo 和 nvblox 进行重建，并通过用户审核指导对象的选择和放置。Astra 组装生成的资产和由 Blender 创建的资产，并使用 USD Content Agents 配置对象在仿真中的移动和交互方式。Isaac Sim 测试为门和抽屉的碰撞及接触修订提供指导。该工作室将捕捉的几何体连接到交互测试，使缺陷和对象行为更易于检查。
有仿真创意？探索 NVIDIA Omniverse libraries，开始使用 AI 智能体进行构建。
来源：NVIDIA Blog · blogs.nvidia.com