AGI Pulse
动态Artificial Analysis · agipulse

FrontierCode 1.1 榜单上线:考「维护者肯不肯合并」,Opus 5.5 以 52% 居首,小米 MiMo-V2.6-Pro 以每题 0.18 美元拿下 45%

阅读 0

发布日期
2026-10-13
类型
动态
相关机构
Artificial Analysis
信息来源
agipulse

这件事意味着什么

【要点】

第三方评测机构 Artificial Analysis 10 月 12 日上线 FrontierCode 1.1 排行榜。这套私有编程评测由 Cognition 和开源项目维护者一起搭建,每道题要求智能体给真实开源仓库提交改动,看的不只是测试能不能过,还看改动范围是否越界、diff 是否过大、有没有塞无用测试,判断标准是「维护者愿不愿意合并」。任何一项硬性检查不过,或被发现去查答案,该次得 0 分。Artificial Analysis 用自家 Stirrup 框架统一跑主集 100 题,每题 3 次。

首批 22 个模型里,Claude Opus 5.5(最高档)以 52.2% 居首,硬性检查通过率 58%;GPT-6.1 Sol 49.1%、Claude Fable 5.1 49.0%、GPT-6 Astra 47.0%、Claude Sonnet 5.5 45.8%。开放权重模型中小米 MiMo-V2.6-Pro 45.4% 最高,DeepSeek V4.1 Flash 44.0%、Kimi K3 43.6%、Qwen3.8 Max 43.2% 紧随其后。有 9 道题所有模型都没做出来。

成本差距在两个数量级:GPT-6 Luna 每题 0.09 美元拿 42%,MiMo-V2.6-Pro 0.18 美元拿 45%,GPT-6.1 Sol 0.81 美元拿 49%,Opus 5.5 则要 10.15 美元,Fable 5.1 高达 12 美元。GPT-6 系列每题输出约 2.7 万到 4.8 万 token,Opus 5.5 约 15.7 万,Sonnet 5.5 约 23.6 万。

【可核验】

排行榜、发布文章和方法说明都在 Artificial Analysis 官网,分数以 10 月 12 日发布时为准;Artificial Analysis 在 X 上同步发了要点。FrontierCode 目前是独立榜单,不计入其智能指数。

【我们的判断】

这份榜单最有意思的不是谁第一,而是前排有多挤:九个模型分属六家实验室,全挤在 43% 到 52% 之间。中资开放权重模型离榜首只差 7 个百分点左右,每题成本却只有 Opus 的约五十分之一。对要大规模跑编程智能体的团队,这个价差比那几个点更要紧。

也要看到局限:题目不公开,外部没法复现;首批没有刚发布的 Muse Wonder 和 Gemini 4 Argon,榜单很快会变。头部模型失败率仍超过四成,说明「能写代码」和「写出能合并的代码」之间还有明显距离。

原文 →

继续了解相关进展

本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策