Hugging Face 推出 SimReady Central 仿真就绪 3D 资产库
Announcing SimReady Central: An Open Library of Simulation-Ready 3D Assets for Robotics and AI Factories
Hugging Face 推出 SimReady Central Library,汇集 2,000 多个免费的 OpenUSD 仿真就绪资产,为机器人仿真和 AI 工厂数字孪生提供资源。资产可包含碰撞几何、质量、摩擦等仿真属性,开发者可按配置文件筛选并组合不同供应商的资产。
这座资源库把碰撞几何、质量和摩擦等仿真属性纳入可复用资产,降低了机器人场景与 AI 工厂数字孪生的手动准备工作。
构建机器人仿真和高保真AI 工厂数字孪生,需要的不只是 3D 模型。开发者通常还需要添加碰撞几何、质量和摩擦等属性。SimReady 资产是预先配置了仿真工作流所需属性的 3D 模型,可减少这类手动工作。
SimReady Central Library 在 Hugging Face 上汇集了 2,000 多个可用于仿真的 (SimReady) OpenUSD 资产,为开发者提供免费的开放入口,用于构建物理 AI训练环境和 AI 工厂数字孪生。该库包含各类基础设施和设备资产,从机械臂和夹爪到仓储设备、货架和冷却基础设施。开发者可以查看每项资产支持的功能,然后将不同供应商的资产组合到同一场景中。
设备制造商 (OEM) 现在可以根据 SimReady 要求准备并验证资产,并通过 SimReady Central Library 接触开发者,让终端客户能够更快地测试和仿真各种场景,加快决策。这使各行业能够围绕自己的产品构建仿真,同时管理自己的 Hugging Face 数据集。
我们将介绍 SimReady 资产的特点以及 OEM 如何为 SimReady Central Library 提供资产,随后展示开发者如何使用这些资产构建机器人抓取与放置场景,并比较 AI 工厂布局。
SimReady 资产有哪些特点?
SimReady 资产是经过准备、具备仿真工作流所需属性的 OpenUSD 资产。详细的 3D 模型(例如 CAD)是一个实用的起点。仿真还需要关于如何解读和使用该对象的其他信息。
对于机器人操作任务,这些信息可能包括对象的质量、碰撞几何和摩擦属性。对于 AI 工厂工作流,则可能包括设备几何信息,以及应用所需的电气或热学元数据。
OpenUSD 是一个开放且可扩展的框架,用于描述和组合 3D 场景。使用这些场景训练和评估自主机器,还需要有关物理行为、碰撞和传感器交互的信息。
SimReady Foundation 提供规范、配置文件和验证工具,明确规定这些要求。配置文件定义了一组功能和能力的逻辑分组,说明资产在特定用例中需要具备哪些特性。
图 1. SimReady Foundation 定义了特定仿真用例的资产表示要求,而开发者库则帮助根据这些要求准备和验证 OpenUSD 资产。
根据资产和配置文件的不同,这些特性可能包括:
| 资产结构要素 | 实现的功能 |
|---|---|
| 碰撞几何和物理属性 | 在受支持的运行时中进行接触和物理仿真。 |
| 关节结构和限位 | 机器人和设备的关节运动。 |
| 语义标签 | 对象识别和带标注的合成数据。 |
| 材质和传感器属性 | 渲染和辅助传感器仿真。 |
有关各仿真用例对应的要求,请参阅SimReady Foundation 要求和配置文件。开发者应从 SimReady Central 中选择配置文件与工作流需求相匹配的资产,并将其组合到 OpenUSD 场景中。
为什么要将 OEM 资产发布到 SimReady Central?
OEM 可以将其 CAD 设备模型转换为 SimReady 资产,供围绕其产品构建仿真的开发者使用。SimReady Central Library 让这些资产能够在 Hugging Face 上被发现,帮助制造商触达构建机器人仿真和 AI 工厂数字孪生的团队。
对于 AI 工厂 OEM,例如 Vertiv,该资源库提供了一种分发资产的途径,例如仓库设备机架、服务器机架、冷却设备,以及用于 AI 工厂数字孪生的配套基础设施。开发者和前沿智能体可以将这些资产整合到 AI 工厂数字孪生中,并复用其 SimReady 配置文件指定的几何结构和属性。
对于 机器人 OEM,例如 Comau、FANUC、Franka Robotics、Robotiq、Standard Bots 和 Universal Robots,该资源库让构建训练和评估环境的团队能够发现机器人手臂和夹爪。开发者可以将这些资产与工业设备结合,构建仓库和工厂场景。
对于 仿真资产提供商,例如 Palatial,该资源库收录了与 NVIDIA Robotics 合作发布的 NVIDIA Robotics 1K Dataset,以及基于文本、图像、扫描数据、数据手册和 CAD 生成的复杂关节资产。开发者可以构建用于机器人训练和评估的资产与场景。
对于 OEM,例如 LG Electronics (LGE),它们既开发家用机器人,也开发机器人所使用的家电,该资源库提供了分享冰箱和洗碗机等资产的途径。开发者可以利用 LGE 在家电和机器人领域的经验所提供的资产,构建用于机器人训练、评估和合成数据生成的家庭仿真环境。
对于 AI 辅助 CAD 提供商,例如 ForgeCAD,该资源库提供带有高质量纹理的关节式机器人道具,开发者可以用它们构建用于机器人感知和操作训练的环境,以及生成合成数据。
要进行贡献,OEM 可以使用 SimReady Central 提交技能,根据相关 SimReady 配置文件验证资产、将其打包,并提交以收录到资源库中。
图 2. OEM 根据 SimReady 配置文件准备并验证 OpenUSD 资产,然后将资产提交至 SimReady Central。开发者和 AI 智能体在资源库中发现资产,并用它们构建仿真环境。
使用 SimReady 资产构建仿真环境
SimReady Central 为机器人和工业领域的开发者提供了可复用的起点,用于构建机器人工作单元、工业环境和 AI 工厂数字孪生。开发者和 AI 智能体可以在 SimReady Central 中查找符合其工作流所需配置文件的资产,并将这些资产组合成 OpenUSD 环境。
开发者可以使用 SimReady 资产在训练环境中布置物体和障碍物,再改变它们的位置以评估机器人行为。这些环境可支持 Microduck 等项目;Microduck 是由 Hugging Face 和 Pollen Robotics 开发的开源机器人。
图 3. 资产数据集通过 Hugging Face 上的 SimReady Central 连接,并利用其 USD 搜索服务支持 Isaac 工作流、SimReady Central 资源库搜索和 AI 智能体工作流。
NVIDIA USD Search 为 SimReady Central Library 提供自然语言搜索功能,帮助开发者和 AI 智能体在参与的数据集中查找资产。Hugging Face 也已将 USD Search 集成到其平台搜索中,索引 USD 属性和仿真元数据,帮助智能体发现适用于物理 AI 仿真任务的 SimReady 资产。
AI 辅助创作让开发者能够以另一种方式利用这些资产进行构建。开发者可以结合资产搜索和场景创作工具,使用 OpenAI 的 GPT-6 Astra 等前沿模型,借助 SimReady Central Library 构建环境。根据任务要求和空间限制,Astra 可以帮助查找合适的资产、编写组装场景的代码,并创建不同的情景变体。
OEM 也可以借助 Astra,根据 SimReady Foundation 要求准备和完善 OpenUSD 资产,然后对其进行验证并提交至资料库。
构建机器人抓取与放置情景
例如,开发者要构建机器人抓取与放置情景,可以从以下提示词开始:
使用 Hugging Face 上 SimReady Central 的 SimReady 资产,在 Isaac Sim 中使用 PhysX 创建一个基本的仓库抓取与放置情景。
使用 nvidia-simready-central.hf.space 查找 FANUC 机械臂、兼容的 Robotiq 夹爪以及合适的仓库资产。生成用于组装场景并配置抓取与放置任务的 Python 代码。渲染 .mov 预览,以便我检查结果。
请包含脚本、资产版本和运行时版本,以便我重现该情景。
在此工作流程中,我们预期 Astra 会执行以下操作:
- 查询 SimReady Search API,查找分布在 Hugging Face 上的相关资产
- 将资产以 Reference/Payload 方式引用到 OpenUSD 阶段中
- 生成用于组装工作单元的 Python 代码
- 配置抓取与放置任务
- 渲染预览供用户检查
图 4. 由 SimReady 资产组装而成的机器人抓取与放置工作单元,展示了 AI 辅助场景创作如何将开发者需求转化为仿真情景,以便在 Isaac Sim 中进行检查和优化。
比较 AI 工厂布局
同样的方法也可用于构建 AI 工厂数字孪生的 ISV(独立软件供应商)。任务重点将从机器人交互转向设备布局:在规定的空间限制内安排机架、冷却设备和配套基础设施。
使用 Hugging Face 上 SimReady Central 的 SimReady 资产,创建两个包含机架和冷却设备的备选 AI 工厂布局。
使用提供的设备尺寸和通道净空要求。检查设备是否重叠、是否违反净空要求,并报告任何问题。
将每个布局保存为 OpenUSD 场景。请包含场景构建脚本、资产版本和运行时版本,以便我重现并比较结果。
在此工作流程中,Astra 会将选定的 SimReady 资产组装为两个 OpenUSD 布局,随后生成脚本,根据提供的要求检查设备重叠情况和通道净空。开发者随后可以在仿真应用程序中检查布局、比较设备摆放位置和通行路线,并查看标记出的任何问题,再对首选配置进行优化。
图 5. 由 SimReady 资产组装而成的 AI 工厂布局,展示了 AI 辅助场景创作如何支持 OpenUSD 中的设备布置、通道净空检查和布局优化。
在上述任一示例中,开发者都可以通过以下几种方式扩展环境:
- 复用环境:将布局和特定任务的更改分别保存在 OpenUSD 图层中,这样同一组源资产就能支持多项实验。
- 变换场景:从资源库中引入更多资产,并调整物体位置、设备配置或周边基础设施,以评估不同条件。
- 构建特定应用的测试:对于机器人技术,在 Isaac Lab 中配置训练和评估任务。对于 AI 工厂,将场景连接到设备数据和仿真工具,以开展电力分配或冷却性能等分析。
- 将经过验证的布局用于运营:对于 AI 工厂,将场景连接到实时 BMS 和 IT 遥测数据,使数字孪生与 AI 工厂设施保持同步。
共同塑造新一波资产
SimReady Central 的路线图包括引入更多 OEM 合作伙伴并不断扩充资产库,让开发者能够利用可复用内容组装更多设备和环境。
社区反馈将有助于确定哪些新增内容最为重要。请在评论中告诉我们你需要哪些资产、使用哪些运行时,以及遇到了哪些集成方面的缺口。
使用 资产提交指南,提交 OEM 资产以纳入 SimReady Central。
OEM 贡献能够丰富可用内容,开发者示例则可以展示资产在不同应用中的用法。请在评论中分享你构建的示例;如果发现错误,或有 SimReady 需求功能方面的建议,请在 SimReady Foundation 中提交问题。
在 Hugging Face 🤗 上开始构建
为下一个机器人仿真项目或 AI 工厂数字孪生,从 SimReady Central Library 中选择一项资产。使用以下资源查找资产、构建场景或贡献设备模型。
探索资产
- 查找适用于你任务的资产:Hugging Face 上的 SimReady Central Library
- 使用自然语言搜索:通过由 USD Search 提供支持的 SimReady Central 搜索端点,描述你需要的资产。
- 构建自己的资产浏览器:探索 SimReady Central GitHub 仓库中的索引到资源库技能。
构建场景
- 学习组装 OpenUSD 场景:学习免费的 OpenUSD 学习路径。
- 提升机器人技术和数字孪生技能:探索免费的物理 AI 课程。
- 构建机器人仿真:从 Isaac Sim 和 Isaac Lab 开始。
- 构建 AI 工厂:从智能体辅助的数字孪生工作流开始。
准备并贡献内容
- 启动 OEM 贡献流程:按照入门指南操作,并在 SimReady Central Library 文档中查找常见问题的解答。
- 选择资产的要求:查看 SimReady Foundation 中的配置文件。
- 为仿真准备 CAD 模型:使用 CAD-to-SimReady 技能。
- 验证、打包并提交资产:按照 SimReady Central 提交技能操作。
祝你构建顺利!我们迫不及待想看看你的创作!
来源:Hugging Face Blog · huggingface.co





