NVIDIA 开源 PixelUMM：不要 VAE 也不要视觉编码器，一个模型直接读写像素做图像和视频的理解与生成

这件事意味着什么

【要点】

NVIDIA 研究团队和滑铁卢大学开源了 PixelUMM，一个同时能看懂、也能生成图片和视频的统一多模态模型。论文《PixelUMM: Encoder-Free Unified Image and Video Understanding and Generation》9 月 29 日上线，代码（Apache 2.0）和模型权重随后在 GitHub 与 Hugging Face 放出。它最大的不同是把现在多模态模型里两块标配部件都拿掉了：不用 VAE 把图像压成潜空间，也不用单独的视觉编码器（ViT）提特征，而是直接读写原始像素。

【可核验】

据论文和模型卡，PixelUMM 以 Qwen3-8B 为语言底座，改成「混合 Transformer」结构：理解和生成各有一套专家参数，但共用同一个自注意力，文本、干净像素和加噪像素放在一起处理。图片切成 16×16 像素块、视频切成 16×16×4 帧的小管块，各自只经一层线性投影接入主干；文字用自回归预测，图像和视频在像素空间里用流匹配生成。模型卡写明总参数约 152 亿。项目页给出的图像理解成绩里，PixelUMM 的 MMMU 为 41.67，同类统一模型 BAGEL 为 55.30，同尺寸的 Qwen3-VL-Instruct 8B 为 69.60；AI2D 为 80.12（BAGEL 89.20），DocVQA 为 90.42（Qwen2.5-VL 7B 94.90）。团队也公开了短板：线性像素输出头会在天空、墙面这类平滑区域留下和 16 像素网格对齐的细微台阶纹，引导强度调高时更明显，而放出的检查点和所有演示用的正是这种线性头。权重采用 NVIDIA 单向非商用许可，只能用于研究和评估。

【我们的判断】

这项工作的价值在于证明「一个 Transformer 直接吃像素、吐像素」可以把图片和视频的理解与生成放进同一套结构里跑通，多模态系统少了两个要单独训练、单独对齐的大部件，长期看会让模型栈更简单。但成绩也说得很清楚，代价还不小：同样 8B 级别的底座，推理类理解指标比带视觉编码器的模型低一大截，生成侧还有网格伪影要靠更重的输出头去修。所以它现在更像一个方向验证，而不是能替换现有多模态模型的方案，加上权重不能商用，短期内落地有限。值得看的是后续能不能在更大规模上把理解差距补回来；如果能，大厂下一代多模态模型很可能会跟着丢掉 VAE 和视觉编码器。