Sakana AI 联手伯克利发布 MASS:同一个 27B 模型自己组队干活、自己改流程、自己当裁判,两轮「递归自我改进」后研究类基准单位 token 得分升到 1.2–1.6 倍
阅读 0
- 发布日期
- 2026-10-12
- 类型
- 研究论文
- 相关机构
- Sakana AI
- 信息来源
- agipulse
这件事意味着什么
【要点】
Sakana AI 与加州大学伯克利分校(作者含 Matei Zaharia)10 月 11 日发布「多智能体自监督」(MASS),研究在没有人类或更强模型打分的情况下,模型能否靠自己变强。做法是让同一个模型同时担任三个角色:分工协作的执行团队、改写团队工作流程的优化器、比较成果的裁判。内循环里模型反复改写流程并自评,留下自认为最好的;外循环把最佳流程各跑 18 次、自己排序,挑出最多 16 条轨迹做 LoRA 微调,再让新模型重新担任三个角色。
实验从 Qwen3.6-27B 起步跑了两轮。在金融、机器人、制药三类合成研究任务的留出题上,外部裁判(GPT-5.5、Claude Opus 4.8)判第二轮模型胜过基础模型的比例为 69.9%;在 MLR-Bench、DSBench、ScienceAgentBench、AstaBench 四个公开研究类基准上,单位输出 token 的得分升到基础模型的 1.2–1.6 倍。只训练干活的轨迹,优化器和裁判的能力也跟着提升,裁判与外部裁判的一致率从 73% 升到 93%。
【可核验】
博客 pub.sakana.ai/mass,论文 arXiv:2610.12176(10 月 8 日提交),代码在 GitHub SakanaAI/mass。官方帖文发布约 3 小时浏览约 3.5 万、收藏 430 多次。论文自己写明:Terminal-Bench 2.0 和 SWE-bench Verified 上单位 token 得分是基础模型的 0.96 倍和 0.94 倍,迁移并不均匀;MLR-Bench 上交出论文的次数从 31/60 升到 50/60,但已交论文的平均分从 3.07 降到 2.88;训练任务描述由 GPT-5.5 预先生成。
【我们的判断】
一、这是「模型自己当老师」的一次小规模实证,结果属于效率改进,不是能力飞跃。主指标是单位 token 得分,绝对分提升有限,而且只跑了两轮,还看不出能不能持续滚下去。
二、真正值得关注的是「只练干活、优化和评判也变强」这一条。如果在更大模型上成立,自我改进循环的瓶颈会从缺乏外部监督转向优化器本身,这正是论文说的发现。
三、团队自己点出了风险:模型给自己打分时,共同的盲点可能被当成进步写进权重。这项工作用外部模型做裁判,恰恰说明完全自闭环的进步目前还需要独立评估来兜底。
继续了解相关进展
本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策