NVIDIA Cosmos3-H-Dreams: Bringing Clinical Surgery to Life Through Generative Simulation

NVIDIA Cosmos3-H-Dreams：通过生成式模拟重现临床手术场景

返回文章列表

[0

[-1

企业

+

]

文章

发布于 2026 年 10 月 20 日

点赞

-

[

Lukas Zbinden

lzbinden

关注

nvidia

Javier Gamazo

javirk1

Nigel Nelson

nigeln

Mostafa Toloui

mtoloui

Sean Huver

shuver

想象一下在生成的手术场景中操作 Cadiere 钳子，抓取胆囊并将其提起，场景能够实时响应。今天，我们迈出了下一步，推出 Cosmos3-H-Dreams，通过迄今为止最逼真的体内影像，将交互式生成式模拟带入临床手术的视觉和操作复杂性中。

我们的首次 Cosmos-H-Dreams 发布版本基于 Cosmos-Predict2.5，将交互式生成式模拟引入 dVRK 桌面缝合任务，这是外科手术机器人的重要验证平台。作为世界基础模型（WFM），Cosmos-H-Dreams 展示了与数值模拟的替代方案：无需显式建模场景几何、组织变形和物理交互，而是直接从同步视频和机器人运动学中学习视觉动态，从而实现高真实感的桌面任务模拟。

如今，Cosmos3-H-Dreams 通过在 CMR Surgical Versius 平台临床手术过程中记录的视频和机器人运动学数据进行学习，进一步提升了这一能力。据我们所知，这是首个基于临床胆囊切除术录像训练的实时生成式手术模拟器，支持实时运动控制。借助 Cosmos 3 和 NVIDIA 加速流推理库 FlashDreams 的加速，Cosmos3-H-Dreams 可在单块 NVIDIA RTX PRO 6000 GPU 上实现交互式运行。

1. 从桌面任务到临床场景

在 Cosmos-H-Dreams 这类受控桌面环境中，器械在相对简单的背景中操作。然而，在人体内部，微小的器械移动可能会影响整个场景：组织在牵引下拉伸，反光位置变化，结构被遮挡，烟雾影响能见度。给定初始图像和提供的工具操作，生成式模拟器必须在生成每段新视频时捕捉这些响应，同时保持解剖结构和器械的完整性。小错误会随时间积累，逐渐改变器械几何形状或解剖结构，因此时间一致性至关重要。

因此，视觉真实感是验证的起点，而非生物力学准确性的证明。生成的场景还必须遵循控制指令：平移、旋转和夹钳命令应产生连贯的解剖后果。忽略这些指令的看似合理的模拟结果无法作为交互环境。

在实时控制回路中保持这种保真度和响应性需要低延迟生成。Cosmos3-H-Dreams 通过专为临床胆囊切除术优化并针对实时生成进行蒸馏的模型，将动作条件交互引入包含复杂解剖结构、组织运动和遮挡的场景，解决了这一问题。

2. Cosmos3-H-Dreams 的新特性

2.1 基于 Cosmos 3 的基础模型与更丰富的手术控制

Cosmos3-H-Dreams 在 Cosmos3-H-Embodied-Nano 基础上进行开发，后者是一个基于 Open-H-Embodiment 训练的 160 亿参数模型。Cosmos3-H-Dreams 专门针对精选的胆囊切除手术视频和运动学数据，对双向教师模型进行专业化训练。样本选择聚焦于两个可见且参与操作的器械：左侧的 Cadiere 夹持器和右侧的单极钩，同时限制摄像头指令以强调器械驱动的交互。

该模型使用 28 个动作维度：双臂的位姿和夹爪信息，加上能量控制、摇杆轴和摇杆按钮。训练使用 832×480 分辨率的视频，动作以 10Hz 的频率对齐；该采样率与运行时生成的吞吐量存在显著差异。

2.2 从教师模型到四步和两步学生模型

Cosmos3-H-Dreams 结合了专为长序列自回归推理设计的教师-学生训练流水线，通过 FlashDreams 实现加速流式推理。

我们首先将双向教师模型扩展到 24 帧未来画面，然后将时间范围延长至 72 帧（即 2.4 和 7.2 秒，10Hz 采样率）。这使教师模型能够学习更长的手术动态序列。

随后通过蒸馏技术，将双向教师模型转化为因果学生模型，使其能够以短块形式生成视频。因果教师强制机制通过记录上下文为学生模型进行序列生成做准备。自强制训练则在学生自身生成的上下文中进行训练，由教师模型和学习到的批评者共同指导。这有助于解决交互式推理过程中误差累积的问题。

首次发布的学生模型每个生成块使用四步去噪。我们随后通过两步训练计划进一步训练该学生模型，生成第二个版本的检查点。两步模型是独立训练的，而非简单地减少四步模型的采样步骤。

更少的去噪步骤会牺牲视觉质量但提升推理速度。两个检查点都允许开发者探索视觉质量与推理成本之间的平衡。

2.3 通过 FlashDreams 实现流式推理

FlashDreams 提供加速流式推理的运行时环境。长序列推理还需要管理模型的注意力历史。Cosmos3-H-Dreams 集成采用改进的 FadeMem 模块，在长序列推理过程中整合不断增长的键/值缓存。这与自强制机制形成互补：蒸馏解决模型如何从生成历史中学习的问题，而缓存整合解决流式生成过程中如何存储这些历史信息的问题。

3. 探索未见过的轨迹

在临床手术过程中可能出现并发症或需要外科医生执行"新颖"动作。因此，模拟器必须能够超越训练数据进行泛化，生成包含未见过动作的连贯画面。以下演示展示了 Cosmos3-H-Dreams 在 VR 头显记录的器械动作条件下生成不同胆囊切除场景的能力。

两个视频从相同初始帧开始，但遵循不同的动作序列，展示了器械控制如何导致同一场景的不同物理合理组织变形延续。

此外，这些推理过程使我们能够检验器械是否遵循控制指令、组织是否对交互做出连贯响应，以及解剖结构和器械外观是否随时间保持一致。

4. 适配自定义数据和控制器

Cosmos3-H-Dreams 为胆囊切除术提供了四步和两步检查点。该系统可以适应其他包含同步视频和兼容动作表示的数据集及实现形式。要在自己的数据集上训练实时学生模型，我们提供了完整的教师模型微调和自强制蒸馏方案，详见我们的分步指南。该指南描述了数据准备、公开的教师训练工具以及蒸馏阶段。控制器集成必须使用与训练相同的动作规范和归一化方式。

5. 未来方向

视觉真实感的提升开启了多个研究方向：

• 建模完整手术流程。扩展覆盖范围和时间一致性，使胆囊切除术所有阶段都能系统化探索，并明确任务边界和成功标准。

• 联合生成模型与数值模拟。将学习到的视觉真实感与显式几何、接触和组织力学相结合。数值模型和测量数据可用于约束和验证形变，使模拟行为既可检查又具说服力。

• 与外科医生评估。评估解剖准确性、器械行为和组织响应，将专家反馈转化为可复现的基准。

• 支持更多器械。超越对两个受控工具的限制，实现更丰富的协同、遮挡和交互。

• 开发自主手术策略。通过闭环将世界动作模型与Cosmos3-H-Dreams结合，使策略能够学习定义的胆囊切除术子任务。

这些是研究方向，而非已建立的临床能力。Cosmos3-H-Dreams 是研究模拟器，而非经过验证的患者护理系统。它为在日益真实的环境中研究手术交互提供了基础。

6. 立即开始

探索Cosmos3-H-Dreams背后的模型、数据和运行时：

• Cosmos3-H-Dreams 代码和示例：GitHub 仓库

• Cosmos3-H-Dreams 模型：Hugging Face 检查点

• Cosmos3-H-Embodied-Nano：Hugging Face 模型和 GitHub 仓库

• 适配您自己的数据：教师微调和自强制蒸馏分步方案

• Open-H-Embodiment：Hugging Face 数据集

• FlashDreams：GitHub 仓库

• NVIDIA Cosmos 3：GitHub 仓库

带上您的控制器、轨迹和研究问题。我们期待看到社区在这些新手术世界中构建的内容。

本文提及的模型 2

本文提及的数据集 1

更多作者文章

扩展印地语预训练：2.8万亿token与开放数据生成流水线

47

2026年10月16日

使用NVIDIA语音代理技能为您的领域微调ASR

13

2026年10月13日

社区

编辑

预览

通过拖拽、粘贴或点击此处上传图片、音频和视频

.

轻点或粘贴此处上传图片

评论

· 注册或登录以评论