AGI Pulse
研究论文Apple · agipulse

Apple 与 EPFL 论文:同一模型、同样 24 小时,一个只带 shell 的单会话编程 Agent 追平或超过四套开源机器学习工程框架;但它在 GLM 5.2 上每次运行的成本是对手的 6 倍

阅读 0

发布日期
2026-10-09
类型
研究论文
相关机构
Apple
信息来源
agipulse

这件事意味着什么

【要点】

Apple 机器学习研究网站本月收录了一篇和 EPFL 合作的论文(arXiv 2609.40303,9 月 30 日提交),问的是:模型已经能自己写代码、跑代码、改错之后,外面那层多智能体编排、搜索树、检索子 Agent 还值不值得搭。

作者在 OpenCode 上做了一个极简基线 Malena:一个长时间运行的会话,只给读写文件、跑命令、后台任务和提交结果几样工具。在同样的模型、硬件和 24 小时预算下,它在 MLE-bench 30 道题的 17 组「框架×模型」对比、NatureBench 40 道题的 6 组对比里,全部追平或超过 AiScientist、Arbor、MLEvolve、ScienceFlow 四套开源框架。测试的模型包括 GLM 5.2、Kimi K3、DeepSeek V4 和 Gemma 4 31B。

逐层拆解后,最大的提升来自把聊天界面换成能用 shell 和文件系统的编程环境;之后再加任何一种搜索策略都没有统计上显著的增益,差距最大的一组只有 2.71 个百分位,置信区间跨过零。

X 上 Pedro Domingos 10 月 8 日一句「框架没用」获赞约 1160、浏览约 7.7 万,过去 24 小时相关讨论约 55 帖。

【可核验】

Apple 研究页:https://machinelearning.apple.com/research/harness-autonomous-ml-engineering

论文:https://arxiv.org/html/2609.40303

X 讨论:https://x.com/pmddomingos/status/2108153590929891733

【我们的判断】

1. 「框架没用」说过头了。Malena 自己就是一个框架,只是薄:会话、工具、计时和提交接口都在。被证明多余的是单次补全时代留下的外层编排,模型现在会在一个会话里自己做那些搜索。框架的工作正在从「替模型安排下一步」转向「给模型一个好用的运行环境」。

2. 简单不等于便宜。在 GLM 5.2 上,Malena 每次运行约 12.12 美元,是 AiScientist(1.95 美元)的约 6.2 倍,原因是单会话每一轮都把越来越长的上下文重发一遍。复杂度没有消失,而是从工程代码搬到了 token 账单上,接下来的优化重点会是上下文管理和缓存计价。

3. 适用范围要看清。结论来自 Kaggle 式的机器学习任务和单工作进程,作者也承认 MLE-bench 有题目污染风险、部分置信区间偏宽。在较小的 Gemma 4 31B 上,MLEvolve 的均值反而领先,说明模型越弱,外层脚手架越有用。用本地小模型的团队不必急着拆框架。

原文 →

继续了解相关进展

本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策