英伟达开源 Cosmos3-H-Dreams：用临床胆囊手术录像训练的实时手术世界模型，单卡每秒 30 帧，可用于测试手术机器人

这件事意味着什么

【要点】

英伟达 10 月 20 日在 Hugging Face 发布 Cosmos3-H-Dreams，一个能实时交互的手术视频世界模型：给它一帧腹腔镜画面和两只机械臂的操作指令，它就逐段生成接下来的手术画面，组织会随器械的牵拉、抓取而变形。官方称这是第一个用真实临床胆囊切除手术录像训练、支持实时操控的生成式手术模拟器。

一、数据和底座：在 CMR Surgical 公司 Versius 手术机器人的临床胆囊切除录像上微调（模型卡写明训练用 64 段录像、约 526 分钟不重复视频），底座是 Cosmos3-H-Embodied-Nano，再往上是英伟达 Cosmos 3 世界模型。模型约 152 亿参数，输出 832×480 视频。

二、怎么做到实时：先训练一个双向的「教师」模型，再蒸馏成逐段生成的因果「学生」模型，发布了 4 步和 2 步去噪两个版本，并用英伟达的 FlashDreams 流式推理库运行。

三、速度（英伟达自测）：单块 RTX PRO 6000 Blackwell 工作站卡上，4 步版本每秒 30 帧，2 步版本每秒 43.2 帧；也能在 DGX Spark 上以较低分辨率运行。

四、用途：评估手术机器人策略、用 VR 头显等设备遥操作探索、生成合成训练数据。官方明确说这是研究用模拟器，不是经过验证的临床系统，画面逼真不等于力学准确。

五、许可：NVIDIA Open Model License，模型卡写明可用于商业和非商业用途；代码、权重和训练教程都已公开。

【可核验】

官方博客：https://huggingface.co/blog/nvidia/cosmos3-h-dreams

模型权重：https://huggingface.co/nvidia/Cosmos3-H-Dreams

底座模型：https://huggingface.co/nvidia/Cosmos3-H-Embodied-Nano

代码：https://github.com/isaac-for-healthcare/Cosmos3-H-Dreams

FlashDreams：https://github.com/NVIDIA/flashdreams

【我们的判断】

一、手术机器人很难在真人身上反复试错，能实时响应操作指令的模拟器可以让策略在上真机前先被大量测试，这是世界模型在医疗机器人上一个具体的落地方向。

二、目前只覆盖一种手术、两种器械和一家厂商的机器人，训练录像也只有几十段，泛化能力还需要外部团队和外科医生评估。

三、所有速度和效果数据都来自英伟达，第三方尚未复现。