论文「Harness Learning」:训练 4B 小模型改写智能体的外围代码,在 21 类没见过的推理任务上平均胜过 35B 教师
阅读 1
- 发布日期
- 2026-10-12
- 类型
- 研究论文
- 相关机构
- Academic research
- 信息来源
- agipulse
这件事意味着什么
【要点】
9 月 28 日,Alvin Zhang、Ruslan Salakhutdinov、Daniel Khashabi、Yuda Song、Andrea Zanette 等九位作者在 arXiv 发布论文《Harness Learning Enables Generalizable Test-Time Adaptation》(2609.35738)。论文把智能体拆成「模型 + 外壳(harness)」:外壳是组织模型调用、工具使用和信息流的那段可执行代码。作者训练一个「提议者」模型,根据执行结果去改写另一个「求解者」的外壳代码,用强化学习以改写后的任务得分为奖励。测试时两个模型的参数都不动,只改代码。
10 月 11 日它进了 DAIR.AI 每周论文榜;Pedro Domingos 发帖称「模型吞掉了外壳」(约 35 万浏览),马斯克回复说特斯拉 FSD 也是神经网络一点点吃掉 C++ 代码(约 25 万浏览),讨论随之升温。
【可核验】
论文:https://arxiv.org/abs/2609.35738
在 Reasoning Gym 上,提议者和求解者都是 Qwen3.5-4B,先用 35B 教师的改写做监督微调,再做强化学习。在 21 类训练时没见过的任务上,单步改写平均得分从基础模型的 0.32 升到 0.62,高于 35B 教师的 0.56;但按「8 选最优」比较时,教师仍更高。多跳问答上,只在 HotpotQA 训练的提议者能迁移到 MuSiQue 和 2WikiMultihopQA;MuSiQue 上独立改写平均精确匹配 0.15,连续改写十轮后到 0.27。
X 讨论:Domingos 帖 https://x.com/pmddomingos/status/2109420932955804040 ,马斯克回复 https://x.com/elonmusk/status/2109468545054880123 ;相关帖子 24 小时约 150 条,最近 5 小时每小时 24–33 条。
【我们的判断】
1. 「模型吞掉外壳」说反了一半。这篇论文里外壳没有被并进权重,而是由另一个模型持续改写,结果仍是能读、能审、能回滚的代码。这和 FSD 用神经网络替换手写代码正好相反,对安全审计反而是好事。
2. 真正的新意是把「改外壳」本身当成可训练的技能,而且能迁移到没见过的任务。它和 e/820 Sakana MASS 属于同一条线:不改权重也能让智能体越用越好。
3. 证据规模还小:4B/8B 模型、谜题和问答任务,不是前沿编码智能体;教师在多次采样下仍占优。能否在真实长程工具任务上复现,才决定它是方法论突破还是一篇好论文。
同一天的短讯集中在 2026-10-12 短讯
继续了解相关进展
本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策