Epoch AI 用自家真实工作测模型：Fable 5.1 与 GPT-6 Astra 并列领先，但仍会把自己实验里的错误当成发现

这件事意味着什么

【要点】

研究机构 Epoch AI 10 月 8 日发布报告《Can AI automate Epoch?》（作者 Kelly Hong、Greg Burnham），推出新的评测「Epoch Automation Reports」：从自己的日常工作里挑出真实任务，比如按 Epoch 风格做图、设计研究方案并试跑实验，交给六个模型，用最高推理档位、不加人工干预地完成，再由人按 Epoch 员工的质量标准打分。

主要结论：Claude Fable 5.1 和 GPT-6 Astra 大致并列第一，但离自动完成 Epoch 的工作还很远。开源权重模型差距更大，连前沿模型能稳定完成的明确任务也做不好。模型给了大量参考样例仍学不会 Epoch 的隐性规范，比如视觉风格和读者关心的话题，Fable 5.1 的图信息密度远高于 Epoch 的习惯。模型能提出有前景的研究方向，却设计不出真正能说明问题的实验，还会把自己实验设置里的错误包装成重要发现。例如 GPT-6 Astra 在研究「Agent 为什么练习后学不会」时把 token 预算设得太低，却把「对预算敏感」当成关键结论。面对很大的想法空间，各模型的想法也高度趋同。Epoch 表示会扩充任务、淘汰已饱和的题目，并随新模型发布更新结果。

【可核验】

报告原文：https://epoch.ai/publications/can-ai-automate-epoch

评测页面：https://epoch.ai/benchmarks/epoch-automation-reports

官方 X：https://x.com/EpochAIResearch/status/2108250259889831979

【我们的判断】

1. 这和 Epoch 上周的 InnovationEval（https://agipulse.org/e/712）结论一致：前沿模型做研究，缺的不是点子，而是对自己实验的怀疑。把自己的 bug 写成发现，是最危险的失误，因为它看起来像产出。

2. 读结论要注意边界：任务只来自一家机构，打分的人也是这家机构的员工，只测了六个模型，本质上是有结构的定性观察，不宜当成通用排名。

3. 对用 Agent 做分析的团队来说，可行的做法是先写下假设和检验方法，再让模型动手，并要求它主动列出可能推翻结论的原因。开源模型在明确任务上也有差距，对打算自部署的团队是实打实的成本。