NVIDIA 发布 Cosmos3-H-Dreams 临床手术生成模拟器

想象一下，在一个能够实时响应的生成式手术场景中移动 Cadiere 抓钳、夹住胆囊并将其提起。今天，我们迈出下一步，推出 Cosmos3-H-Dreams，将交互式生成模拟带入临床手术的视觉与操作复杂性领域，呈现迄今最逼真的体内影像。

我们首次发布的 Cosmos-H-Dreams 基于 Cosmos-Predict2.5 构建，将交互式生成模拟引入 dVRK 桌面缝合任务，这是手术机器人领域的基础试验场。作为世界基础模型（WFM），Cosmos-H-Dreams 展示了数值模拟之外的另一种方案：它不对场景几何结构、组织变形和物理交互进行显式建模，而是直接从同步视频和机器人运动学数据中学习视觉动态，从而实现逼真度极高的交互式桌面任务模拟。

今天，Cosmos3-H-Dreams 通过学习 CMR Surgical Versius 平台临床手术期间记录的视频和机器人运动学数据，进一步提升了这项能力。据我们所知，这是首个基于临床胆囊切除术记录训练、支持实时运动学控制的实时生成式手术模拟器。Cosmos3-H-Dreams 由 Cosmos 3 驱动，并通过 NVIDIA 的加速流式推理库 FlashDreams 加速，可在单张 NVIDIA RTX PRO 6000 GPU 上交互式运行。

\n\t\n\t\n\t\t1. 从桌面任务到临床场景\n\t\n

在 Cosmos-H-Dreams 所处的受控桌面环境中，手术器械的操作对象背景相对简单。然而，在人体内部，即使是细微的器械移动也可能影响整个场景：组织会因牵拉而伸展，反光会发生变化，结构会被遮挡，烟雾也会影响能见度。给定初始图像和提供的器械动作后，生成式模拟器必须捕捉这些变化，同时在生成每个新的视频片段时保持解剖结构和器械的稳定。细微误差会随时间累积，逐渐改变器械几何形态或解剖结构，因此保持时间一致性至关重要。

因此，视觉逼真度是验证工作的起点，而非生物力学准确性的证明。生成的场景还必须遵循控制指令：平移、旋转和夹爪指令应产生连贯的解剖结构变化。忽略这些指令、看似合理的模拟过程，无法充当交互式环境。

要在实时控制回路中保持这种逼真度和响应能力，就需要低延迟生成。Cosmos3-H-Dreams 针对临床胆囊切除术进行模型专门化，并通过蒸馏实现实时生成，从而将动作条件交互带入具有复杂解剖结构、组织运动和遮挡的场景。

\n\t\n\t\n\t\t2. Cosmos3-H-Dreams 有何新意？\n\t\n

\n\t\n\t\n\t\t2.1 Cosmos 3 基础模型与更丰富的手术控制\n\t\n

Cosmos3-H-Dreams 基于 Cosmos3-H-Embodied-Nano 构建。该模型拥有 16-billion 个参数，基于 Open-H-Embodiment 进行预训练，并使用经过筛选的胆囊切除术视频和运动学数据对双向教师模型进行专门化。样本筛选要求画面中有两件清晰可见且正在操作的器械：左侧的 Cadiere 抓钳和右侧的单极电钩，同时限制摄像机指令，以突出由器械驱动的交互。

该模型使用 28 个动作维度：两条机械臂的姿态和夹爪信息，以及能量控制、摇杆轴和摇杆按钮。训练使用 832 x 480 视频，动作以 10 Hz 对齐；该采样率不同于运行时的生成吞吐量。

2.2 从教师模型到四步和两步学生模型

Cosmos3-H-Dreams 结合了为长时间自回归展开设计的教师到学生训练流程，以及通过 FlashDreams 实现的加速流式推理。

我们首先让双向教师模型适配 24 个未来帧，随后将时域扩展至 72 帧，即在 10 Hz 下的 2.4 秒和 7.2 秒。这让教师模型能够通过更长的序列学习手术动态。

接下来，蒸馏将双向教师模型转变为因果学生模型，使其能够随着新动作到来，以短片段生成视频。因果教师强制训练利用记录的上下文，让学生模型为序列生成做好准备。随后，自我强制训练让学生模型在教师模型和学习得到的评论器指导下，使用自身生成的上下文进行训练。这有助于解决交互式展开过程中误差累积的问题。

首个发布的学生模型每个生成片段使用四个去噪步骤。随后，我们采用两步调度对该学生模型进一步训练，生成第二个发布检查点。两步模型经过单独训练，并非只是让四步模型减少采样步数运行。

减少去噪步骤可以加快推理速度，但会降低视觉质量。这两个检查点都让开发者能够探索视觉质量与推理成本之间的平衡。

2.3 通过 FlashDreams 实现流式生成

FlashDreams 提供加速的流式运行时。长时间展开还需要管理模型的注意力历史。Cosmos3-H-Dreams 的集成使用经过改造的 FadeMem 模块，在长时间展开过程中整合不断增长的键/值缓存。这与自我强制训练相辅相成：蒸馏解决模型如何从自身生成的历史中学习，而缓存整合则解决流式生成过程中如何存储这些历史。

3. 探索未见过的轨迹

临床手术过程中可能出现并发症，或者外科医生可能有空间做出“新颖”的动作。因此，模拟器必须能够泛化到训练数据之外，并生成包含未见过动作的连贯帧。以下演示展示了 Cosmos3-H-Dreams 如何根据 VR 头显记录的器械动作，生成不同的胆囊切除术场景。

这两段视频从相同的初始帧开始，但采用不同的动作序列，展示了器械控制如何使同一场景产生不同的后续画面，并呈现符合物理规律的组织形变。

此外，这些展开过程还让我们能够检查器械是否遵循控制指令、组织是否对交互做出连贯反应，以及解剖结构和器械外观是否随时间保持一致。

4. 适配你自己的数据和控制器

Cosmos3-H-Dreams 提供用于胆囊切除术的四步和两步检查点。该系统可适配其他数据集，以及具有同步视频和兼容动作表示的具体应用。若要使用自己的数据集训练实时学生模型，我们在分步指南中提供了教师模型微调和 Self-Forcing 蒸馏的完整方案。指南介绍了数据准备、公开的教师模型训练工具和蒸馏阶段。控制器集成必须采用与训练相同的动作约定和归一化方式。

5. 接下来

视觉真实感的提升开辟了多个研究方向：

对完整手术流程建模。扩大覆盖范围并提升时间一致性，以便系统地探索胆囊切除术的所有阶段，并明确任务边界和成功标准。
连接生成式模拟与数值模拟。将学习得到的视觉真实感与显式几何、接触和组织力学相结合。数值模型和测量数据有助于约束和验证形变，让模拟行为既可信，也可供检查。
邀请外科医生参与评估。评估解剖结构准确性、器械行为和组织反应，并将专家反馈转化为可复现的基准。
支持更多器械。从两种受控器械扩展到更丰富的协同操作、遮挡和交互。
开发自主手术策略。在闭环中将世界动作模型与 Cosmos3-H-Dreams 结合，让策略能够学习定义明确的胆囊切除术子任务。

这些都是研究方向，并非已确立的临床能力。Cosmos3-H-Dreams 是一款研究模拟器，并非经过验证、可用于患者护理的系统。它为在日益逼真的环境中研究手术交互提供了基础。

6. 立即开始

探索 Cosmos3-H-Dreams 背后的模型、数据和运行时：

Cosmos3-H-Dreams 代码和示例：GitHub 仓库
Cosmos3-H-Dreams 模型：Hugging Face 检查点
Cosmos3-H-Embodied-Nano：Hugging Face 模型和GitHub 仓库
适配自己的数据：教师模型微调和 self-forcing 蒸馏分步方案
Open-H-Embodiment：Hugging Face 数据集
FlashDreams：GitHub 仓库
NVIDIA Cosmos 3：GitHub 仓库

带上你们的控制器、轨迹和研究问题。我们期待看到社区在这些全新的手术世界中创造出什么。