Microsoft Research 研究机器人真实物理 AI 的卸载推理

Two images showing the robot performing the same task of handing over a tape from one robot arm to another. The videos show that while the task succeeds when the inference latency is low, the handover fails with high inference latency as is the case with onboard robot GPUs.

一览

挑战机器人 AI 中的一个核心假设：我们的研究表明，仅在板载 GPU 上运行物理 AI 推理会限制机器人性能、电池续航和可扩展性，而将推理卸载到边缘或云端 GPU 可以带来显著优势。
展示推理卸载的可衡量收益：在具有代表性的移动操作工作负载中，卸载提升了任务成功率，支持更大的 AI 模型，并帮助机器人在动态的真实世界环境中更有效地响应。
延长机器人运行时间：用轻量级板载硬件和远程推理取代高耗电的板载 AI 计算，可以显著提升电池续航，使机器人在两次充电之间运行更久。
在 Physical AI Toolchain 中引入一项新能力：开发者现在可以使用基于 Kubernetes 的工具，将机器人 AI 工作负载容器化、部署并编排到机器人、边缘基础设施和云端，用于分布式推理。

现成可用的物理 AI，让机器人在制造、家庭和仓库场景中辅助用户，在广泛任务中提升安全性、生产力和辅助能力方面具有巨大潜力。在许多方面，面向物理世界的 AI 代表了 AI 的一个重要前沿。物理 AI 必须在开放且不可预测的环境中运行，与其他机器人和人类互动，并适应多样化的实体形态。实现这一愿景需要在三个维度上取得进展：机器人硬件、具身 AI 模型，以及用于训练和推理的系统基础设施。虽然机器人硬件和 AI 模型近年来进展迅速，但我们将重点转向一个相对未被充分关注的方面：物理 AI 的推理基础设施。要让机器人在物理世界中有效且安全地运行，将需要复杂的系统来处理大量分布式推理计算。

如今，物理 AI 的主流做法是在机器人板载配置 GPU，例如将 GPU 接入机器人。在这种模式下，机器人的推理将局限于板载 GPU，并为机器人提供执行任务所需的动作片段和序列。虽然更高层级的规划可能在云端完成，但任务执行通常仍与机器人本身绑定。我们对这一假设提出挑战。随着物理 AI 模型在规模和复杂性上不断增长，板载计算的约束变得越来越明显。GPU 会消耗大量电力、缩短电池续航、增加成本和重量，并可能限制运行最新一代 AI 模型的能力。

为了更好地理解物理 AI 的系统影响，我们开展了首个针对机器人工作负载的系统性研究。我们聚焦于移动机器人操作，其典型任务如“检查厨房是否有垃圾并将其放入垃圾桶”。这样的任务涉及规划前往厨房的路径、感知环境以找到垃圾、导航到垃圾处、捡起垃圾，并导航回垃圾桶进行处理。我们评估了覆盖三项核心能力的代表性模型：语义建图与规划、导航和操作，如图 2 所概述。

Mobile robotic manipulation involves the components of semantic mapping & planning, manipulation, and safe navigation. The table above lists the state-of-the-art models used for each of these components in our measurement study. — 图 2：用于移动操作不同组件的模型详情。

将物理 AI 推理从机器人上卸载出来，提升了其响应时间和准确性，同时改善了电池续航和成本。我们在一系列板载、边缘和云端计算配置下评估了这些推理模型。具体测试硬件的详细信息可见我们的技术报告。

Diagram showing that offloading Physical AI inference from robots improves performance, battery efficiency, and cost.

任务性能方面的益处：我们的评估显示，卸载推理可以在建图、规划、导航和操作等工作负载上显著提升机器人性能。一些较小的 GPU 无法容纳移动操作栈。在内存充足的 GPU 上，与 A100 相比，建图和规划速度最多慢了 383%，从而限制了机器人在动态空间中的能力。使用较轻量级的 GPU 时，导航对障碍物的及时检测下降了 30%。虽然 VLA 模型在较小 GPU 上并未显著变慢，但这种变慢仍足以使其准确率下降 50%。换句话说，板载 GPU 限制了机器人的性能，而将其推理卸载到本地部署或云端 GPU 可增强其运行能力，如下方视频所示，并在图表中进行了量化。随着物理 AI 模型在规模和复杂性上持续增长，卸载带来的益处很可能会更加显著。

图 3a：视频展示了使用板载 GPU 的交接任务。

图 3b：视频展示了推理被卸载时的交接任务。

Robots can support GPUs such as Jetson Nano and Orin AGX onboard. The graphs above show that the success rate of object handover and navigation are low with onboard GPUs, but increase substantially with beefier GPUs when offloaded such as Jetson Thor and A100. — 图 4：当使用不同 GPU（一些为板载，一些为卸载）执行推理时，机器人手臂相互交接物体的成功率。卸载提高了成功率。

电池续航方面的益处：除了性能之外，板载 GPU 还会显著消耗机器人的电池电量。我们比较了用 Raspberry Pi-5 板替换板载 GPU，并将所有数据发送到卸载 GPU 后电池续航的提升。较大的板载 GPU，例如 Jetson Thor，即使对于较大的机器人，也会使机器人电池多消耗最多 160%（或数小时）。

Battery lifetime of the Stretch-3 robot can improve by over 100% when their GPU inference is offloaded out of the robot. — 图 5：卸载 GPU 推理对机器人电池续航的影响；以上数字针对 Stretch-3 机器人。

上述结果表明，将 GPU 推理从机器人上卸载出来，对于在开放世界中使用大型模型并实现长电池续航至关重要。不过，将推理从机器人上卸载出来涉及性能、网络延迟和带宽以及可用 GPU 资源之间的复杂权衡。我们相信，我们的测量研究将为物理 AI 推理系统的设计提供参考。

自动卸载工具集

我们构建了一套工具集，便于将推理从机器人上卸载出来，并在边缘 GPU 和云端之间分发推理。Kubernetes 是一个天然适合的平台，可提供统一抽象，用于在机器人的计算资源、边缘 GPU 以及溢出到云端之间分发机器人 AI。该工具集允许使用声明式规范对机器人工作负载进行自动容器化和卸载，使用 Kubernetes 通过智能策略分发物理 AI 容器，并与机器人模拟器、LeRobot 和 ROS2 集成，以便于开发。下面的步骤序列展示了如何通过提示工具集指定要卸载的内容，以及它如何为 GPU 推理创建单独容器并将其卸载。

Toolset to make offloading of physical AI inference easy by automatically generating a container for GPU inference and deploying it using Kubernetes to the machine with GPU. — 图 6：卸载工具集中的容器化和部署步骤。

Microsoft 最近发布了 Physical AI Toolchain（在新标签页中打开），用于大规模将物理智能投入运营。Physical AI Toolchain 是一个开源、可用于生产的框架，将 Microsoft Azure（在新标签页中打开）云服务与 NVIDIA 的（在新标签页中打开）物理 AI 技术栈集成起来，加速机器人与物理 AI 开发者在感知、移动性、模仿学习和强化学习流水线中实现数据整理、增强和评估的自动化与规模化。我们宣布在 Physical AI Toolchain 中加入一项行业首创的能力：面向机器人的卸载式物理 AI 推理。此次发布包含用于卸载 SO-101 和 UR10e 推理的示例项目。下面的视频展示了将面向双臂机器人的 Microsoft 的 Rho 模型的推理卸载到 Jetson Thor GPU，该 GPU 控制 Mobile Aloha 机器人（在新标签页中打开）的动作。

图 7a：卸载控制 Mobile Aloha 机器人与 BusyBox 交互以按下蓝色按钮的 Microsoft Rho 模型的 GPU 推理。

图 7b：卸载控制 Mobile Aloha 机器人与 BusyBox 交互以将旋钮转到位置 4 的 Microsoft Rho 模型的 GPU 推理。

欢迎试用推理卸载功能、查看源代码，并告诉我们你的反馈。我们已经在许多真实世界用例中测试过它，并期待了解你的部署体验。

在新标签页中打开

文章面向真实世界物理 AI 机器人的卸载式推理最先出现在 Microsoft Research。