AGI Pulse
模型发布NVIDIA · agipulse

英伟达在 Hugging Face 发布 Nemotron Labs Dory1.0-4B 循环模型:同一份 4B 权重可选循环 1–4 轮,用推理算力换精度(自报 SWE-bench Verified 50.3→61.8),256K 上下文,OpenMDW-1.1 许可

阅读 0

发布日期
2026-10-18
类型
模型发布
相关机构
NVIDIA
信息来源
agipulse

这件事意味着什么

【要点】

英伟达在 Hugging Face 官方账号发布了 Nemotron Labs 系列的 Dory1.0-4B,一个 40 亿参数的「循环」(latent-recurrent)语言模型。模型把层分成输入、循环、输出三段,中间那组共享层可以重复跑 1 到 4 次:同一份权重,推理时多循环几轮就能多花算力换精度,不用重训,也不用换模型。模型卡标注的发布日期是 10 月 16 日,上下文最长 256K,仅支持英文,基于 nGPT 架构,先用英伟达的 4 位格式 NVFP4 原生预训练、再转 BF16 继续训练,提供 BF16、MXFP8、NVFP4 和 GGUF(Q5_K_M)几种格式,许可证为 OpenMDW-1.1,可商用。

按英伟达在模型卡里自报的成绩,SWE-bench Verified 1/2/4 轮循环分别是 50.3、59.5、61.8(同表 Qwen3.5-9B 为 61),Terminal-Bench 2.1 从 12.5 升到 22.2,GDPval-AA-V2 Elo 从 815 升到 967。模型卡建议默认用 2 轮,大部分提升来自第二轮。vLLM 和 llama.cpp 的支持目前还要从未合并的 PR 构建。英伟达的 Oleksii Kuchaiev 10 月 18 日在 X 上发帖推荐了这个模型。

【可核验】

Hugging Face 模型卡:https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16

GGUF 版本:https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF

【我们的判断】

一、看点在架构:「循环模型」把推理时的算力当成一个可调旋钮,4B 参数在 4 轮循环下的编程成绩接近 9B 级别的模型,对端侧和小显存部署有参考价值。

二、成绩都是英伟达自报,还没有第三方复现,循环轮数增加后的真实延迟和成本要按自己的场景测。

三、英伟达还没在博客、新闻室或官方 X 账号上正式宣布,目前只有 Hugging Face 上的发布和员工的推荐;生态支持还在 PR 阶段,近期上手门槛偏高。

原文 →

继续了解相关进展

本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策