研究论文OpenAI · OpenAI
OpenAI 发布 BioBasicsBench:与 Ligo 合作的 100 题湿实验智能体基准;xhigh 下 GPT-6 Astra 66.7%、GPT-5.6 Sol 43.8%
阅读 15
- 发布日期
- 2026-11-07
- 类型
- 研究论文
- 相关机构
- OpenAI
- 信息来源
- OpenAI
这件事意味着什么
【要点】
OpenAI 于 2026-11-06 发布 BioBasicsBench:与酶设计公司 Ligo 合作的湿实验智能体基准,用 100 道日常实验台任务测模型能否解读原始实验数据、发现错误,并在证据不够时拒绝下结论——而不是只读论文精选图。
一
- 任务覆盖蛋白方法、成像与流式、定量与检测、核酸方法、分子克隆
- 输入保留凝胶/印迹、菌落平板、显微镜 z-stack、测序文件、仪器屏幕与协议视频等「脏」证据。
- 任务由科学家用自有实验数据编写,经 Ligo 内审、外部湿实验 PhD 与最终内审,按细则给分。
二官方 xhigh 结果
- GPT-6 Astra 平均 66.7%(95% CI 60.3–73.1),GPT-5.6 Sol 43.8%
- 同表还有 GPT-6.1 Sol 62.0%、Luna 38.3% 等七模型、37 种设置、每任务五次共 18500 次。
- 文中称 Astra 更能识别通道串扰、错误抗生素标签的假对照与 z-stack,但仍会在菌落 PCR 解读、液泡概括与菌落计数上出错。
三动机
现有生物基准多围绕论文图表,易漏失败实验与歧义观察;误读对照会浪费后续实验,也牵涉生物安全判断。
【我们的判断】
一
- 它把目标从「读懂论文图」挪到「读懂台面原始证据」,与 LifeVal 分处同一能力轴两端:社会日常任务 vs 实验台多模态。
- 对进实验室工作流的智能体,这比再刷精选生物学问答更贴真实失败模式。
二
- 数字全是 OpenAI×Ligo 自测,高分仍伴对照误读;约 65% 说明「靠谱实验助手」还远。
- 横向看,它不同于 DeepMind 密码分析 agent(e/1093)或 OpenAI 自主漏洞流水线(e/1089)——那些是安全攻防,这里是生物证据判读与拒绝能力。
三
- 后续盯开放题目/非 OpenAI 成绩,以及是否并进生物安全评估。
- 在那之前,当作 OpenAI 自研湿实验进度尺,而非行业通用标准。
【可核验】
- 分数为 OpenAI 自报。
- 站内相关但不同:Google Research 湿实验 grounding 文
- OpenAI LifeVal(e/1082,日常任务评测,非湿实验原始数据)。
继续了解相关进展
本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策