Cohere Labs 测试编码智能体团队:ProgramBench 上团队胜过单体,强主管配便宜规划工人约 30% 成本逼近最佳;Claude Opus 5 试跑全部超时
阅读 0
- 发布日期
- 2026-10-15
- 类型
- 研究论文
- 相关机构
- Cohere
- 信息来源
- agipulse
这件事意味着什么
【要点】
Cohere Labs 10 月 14 日发布研究博客,系统测试编码智能体“团队”该怎么组织。主基准是 ProgramBench:200 个程序(从 jq、ripgrep 到 SQLite、FFmpeg、PHP 解释器),智能体只能运行原程序、读文档,从零重写,按隐藏行为测试通过率计分。主要用 GPT-5.6 的三个档位 Luna、Terra、Sol(能力和价格递增),每种配置跑 3 次取平均。
结果:同样的简单提示下,Sol 团队通过 61.8%,单个 Sol 为 52.1%;团队成本是单体的 4–7 倍。只把“探索与规划”交给工人、主管自己写代码和验证,得分 63.6%,与三个阶段全委派(63.2%)持平,成本 249 美元对 510 美元,单位成本收益约为次优阶段的两倍。Sol 主管配便宜的 Luna 规划工人,作者称可在约 30% 成本下接近全 Sol 团队(要点中给出 61.8% 对 63.2%,成本 510→155 美元)。但便宜工人补不了弱主管:Terra 主管加 Luna 工人 51.6%,不如 Sol 单干的 57.7%。给工人互发消息的工具几乎没有带来提升。
其他模型(30 题子集,单次运行):Claude Opus 4.8 团队最多提升 5.9 点;Opus 4.7 很少委派,提升有限;Claude Haiku 4.5 与 Gemini 3.7 Flash 委派得多却没有收益。Claude Opus 5 试跑的 8 题全部撞上 8 小时超时,每题约 500 美元,约为 Opus 4.8 团队的 15 倍,已停止。
【可核验】
Cohere 博客原文:https://cohere.com/blog/lessons-from-scaling-teams-of-frontier-coding-agents
【我们的判断】
一、结论很实用:加多少智能体不如加在哪里。黑盒复刻任务的瓶颈是弄清“要做什么”,所以规划最值钱;在规格已写明的 Commit0 上,实现阶段反而更值。
二、局限要看清:主要是单一框架和单一基准;其他模型只跑一次,几个点的差距可能是噪声;Opus 5 只是超时没跑完,不能据此判断其能力。
三、“强主管+便宜工人”给出了明确的降本路线,也说明“会带团队”本身是一项可以训练的能力,不同模型差别很大。
继续了解相关进展
本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策