Artificial Analysis Coding Agent Index 升至 v2.0:FrontierCode 顶替 DeepSWE,Claude Code + Opus 5.5 以 61.7 居首
阅读 1
- 发布日期
- 2026-10-23
- 类型
- 产业/资本
- 相关机构
- Artificial Analysis
- 信息来源
- agipulse
这件事意味着什么
【要点】
Artificial Analysis 于 2026-10-23(@ArtificialAnlys UTC 00:17,北京时间 08:17)发布 Coding Agent Index v2.0:按「模型 + 智能体脚手架」打分,三块等权共 290 题。
一、尺子:Cognition FrontierCode v1.1(100 道真实开源仓改动,按「维护者会不会 merge」打分、私有测试集)顶掉 DeepSWE;SWE-Atlas-QnA 改为 SWE-Atlas-QnA-AA(GPT-6 Luna xhigh 裁判、每条五票、127/1306 rubric 重写);Terminal-Bench 仍为 4.0(66 题)。
二、成绩(max):Claude Code + Opus 5.5 61.7(约 $11.42/题)居首;Sonnet 5.5 59.3;Muse Wonder Full 58.9。成本前沿:Codex+DeepSeek V4.1 Flash 47.3/$0.39、Codex+GPT-6.1 Sol 54.1/$1.50、Codex+GPT-6 Astra 54.7/$7.04、Opus 61.7/$11.42。FrontierCode 上 Opus 56.0%,DeepSeek Flash 52.6% 居次。
三、可比性:21 个两边都测过的配置,SWE-Atlas 均分约 58.8→57.1——多数下移是尺子更严,不是模型突然变差。
【可核验】
方法论:https://artificialanalysis.ai/methodology/coding-agents-benchmarking
榜单:https://artificialanalysis.ai/agents/coding-agents
官方 X:https://x.com/ArtificialAnlys/status/2113424551396934134
【我们的判断】
一、背景:编程智能体评测从「绿测试」迁到「维护者愿不愿意 merge」,直接回应 SWE-bench 类可刷分问题。私有测试集、反抄答案扫描和多票裁判是设计;分数普降是预期。
二、横向:Opus 优势主要在 FrontierCode;中段 15/24 个配置挤在 43%–49%,换脚手架往往比换同级模型更值钱。DeepSeek Flash + Codex 约 1/29 价格贴近中上段,更适合批量修仓;Opus 适合愿付 merge 质量溢价的路径。
三、影响:选型要同时看 Index、FrontierCode 分项和 $/task。下次换尺子分数会再挪——读榜带版本号。局限:成本按 API token 计,不含订阅与人工复核;FrontierCode 不可本地复现。
继续了解相关进展
本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策