AGI Pulse
模型发布Microsoft AI · agipulse

微软 AI 完成 MAI-Base-2 预训练:2.8 万亿参数 MoE(激活 800 亿),自称在留出评测上胜过所测全部开放模型

阅读 0

发布日期
2026-10-16
类型
模型发布
相关机构
Microsoft AI
信息来源
agipulse

这件事意味着什么

【要点】

微软 AI(MAI)10 月 15 日发表技术博客,宣布完成新基座模型 MAI-Base-2 的预训练:MoE 架构,总参数 2.8 万亿、激活 800 亿。它在 2026 年 8–9 月用 1.6 万块 GB200 训练了 38 天,平均 MFU 21%,有效训练时间占比 89%。

在留出评测(MAI 自己的代码库,以及委托供应商编写的 STEM、数学、问答集,按 bits-per-byte 计)上,MAI-Base-2 低于 DeepSeek-V4-Pro-Base、Kimi K3、Qwen3.8-2.4T-A95B 和 MiMo-V2.6-Pro-RL;后三者只有后训练版本可比,微软也注明了这一点。微软估算其训练配方比 DeepSeek-V4-Pro-Base 的算力效率高 4.2–12.3 倍,比 6 月的 MAI-Base-1 提升 6.3–12.7 倍。博客称预训练只用自有的「有机」数据、没有从其他模型蒸馏,计划通过 Foundry 向受信任伙伴授权权重。模型仍在后训练,Mustafa Suleyman 说后训练结果「很快」公布。

【可核验】

微软 AI 技术博客:https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/

Mustafa Suleyman 帖子:https://x.com/mustafasuleyman/status/2110766651344146564

【我们的判断】

一、这是微软自研前沿模型最明确的一步:2.8T 参数、万卡级集群、全链路自建,说明它在 OpenAI 之外认真准备自己的前沿底座。

二、目前只有基座模型和 bits-per-byte 指标,这衡量的是预测文本的能力,不等于做题或写代码的实际表现;真正的比较要等后训练版本和第三方评测。

三、「权重授权给受信任伙伴」不是开放权重,企业能否在 Foundry 上自托管、价格如何,是下一步要看的。

四、强调无蒸馏、数据来源可控,是在向企业客户卖合规与可追溯性,这可能比分数本身更有商业分量。

原文 →

继续了解相关进展

本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策