AGI Pulse
模型发布NVIDIA · agipulse

NVIDIA 开源 Nemotron 3.5 Transcribe:可提示多语转写+说话人归因+翻译+音频问答;同步开源 Granary v2 数据管线

阅读 14

发布日期
2026-10-29
类型
模型发布
相关机构
NVIDIA
信息来源
agipulse

这件事意味着什么

【要点】

NVIDIA 于 2026-10-28 公开 Nemotron 3.5 Transcribe:开源权重、可提示的多语语音理解模型,把转写、说话人归因、翻译与音频问答收进同一 checkpoint。同步开源 Granary v2 数据管线与 NeMo Speech 微调配方。面向录制音频(非实时流式);格式含 BF16/FP8/NVFP4,可跑 RTX/DGX Spark、Jetson AGX Thor。

【可核验】

- NVIDIA 博客(RTX Spark 更新帖内宣布):https://blogs.nvidia.com/blog/local-ai-rtx-spark-laptops-updates-models-agents-games/(RSS pubDate 2026-10-28T15:00:46Z)

- Hugging Face 技术博文:https://huggingface.co/blog/nvidia/nemotron-transcribe-granary/(Published October 28, 2026)

- 模型卡:https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B

- 厂商/榜单自述(须标注来源,非本站实测):转写约 40 种语言,其中约 31 种可与英语互译;说话人归因内置(Sortformer cues)。Hugging Face Open ASR(英语、开源权重轨)约 5.33% 平均 WER;Artificial Analysis STT 开源侧约 2.8% AA-WER、约 4B active params;David AI 21 语 diarization DER ~18.26%;VoiceArena 14 系统 cpWER 领先。医疗案例称相对最佳 prompt 相对 WER 降约 45.8%。

- 站内相关对照:e/1051 Nemotron Bolt E4B(非本条);e/776 Microsoft MAI-Transcribe。

【我们的判断】

一、背景:语音栈正从「专用 ASR + 后处理 diarize/MT」走向「单模型、自然语言指令」的多任务接口。OpenAI Whisper 系、Microsoft MAI-Transcribe、Mistral Voxtral 3 与各类云 API 已占位;NVIDIA 用 Nemotron 语音线 + 开源数据(Granary v2)补「可本地、可微调、可提示」一侧,并与同日 RTX Spark 端侧叙事绑定。

二、横向:(1) 通用 ASR(Whisper/云 API)强转写、弱统一 diarize+翻译+QA;(2) MAI-Transcribe 偏流式/产品栈;(3) Voxtral 3 走 Mistral 音频全家桶。Transcribe 在开源榜(HF Open ASR / AA / David AI / VoiceArena)数字好看,但均为厂商引用或公开榜切片,跨榜不可直接合成「全面第一」;活跃参数约 4B 相对若干更大开源 ASR 更省算力,适合 Spark/边缘叙事。

三、影响:开源多语会议/医疗/课堂流水线可少拼多模型;与本地 agent 叠用时,录音→结构化文本门槛下降。Granary v2 + NeMo 微调把「提示级控制」延伸到训练,垂直词表(医学等)有案例支撑。短期仍受:非流式、量化/本地工具链仍在推进、厂商 demo 与独立复现可能有差距。本条只收 Transcribe+Granary 模型发布,不写同帖笔记本营销。

原文 →

继续了解相关进展

本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策