AGI Pulse
研究论文OpenAI · OpenAI

OpenAI 发布 BioBasicsBench:与 Ligo 合作的 100 题湿实验智能体基准;xhigh 下 GPT-6 Astra 66.7%、GPT-5.6 Sol 43.8%

阅读 15

发布日期
2026-11-07
类型
研究论文
相关机构
OpenAI
信息来源
OpenAI

这件事意味着什么

【要点】

OpenAI 于 2026-11-06 发布 BioBasicsBench:与酶设计公司 Ligo 合作的湿实验智能体基准,用 100 道日常实验台任务测模型能否解读原始实验数据、发现错误,并在证据不够时拒绝下结论——而不是只读论文精选图。

一

  • 任务覆盖蛋白方法、成像与流式、定量与检测、核酸方法、分子克隆
  • 输入保留凝胶/印迹、菌落平板、显微镜 z-stack、测序文件、仪器屏幕与协议视频等「脏」证据。
  • 任务由科学家用自有实验数据编写,经 Ligo 内审、外部湿实验 PhD 与最终内审,按细则给分。

二官方 xhigh 结果

  • GPT-6 Astra 平均 66.7%(95% CI 60.3–73.1),GPT-5.6 Sol 43.8%
  • 同表还有 GPT-6.1 Sol 62.0%、Luna 38.3% 等七模型、37 种设置、每任务五次共 18500 次。
  • 文中称 Astra 更能识别通道串扰、错误抗生素标签的假对照与 z-stack,但仍会在菌落 PCR 解读、液泡概括与菌落计数上出错。

三动机

现有生物基准多围绕论文图表,易漏失败实验与歧义观察;误读对照会浪费后续实验,也牵涉生物安全判断。

【我们的判断】

一

  • 它把目标从「读懂论文图」挪到「读懂台面原始证据」,与 LifeVal 分处同一能力轴两端:社会日常任务 vs 实验台多模态。
  • 对进实验室工作流的智能体,这比再刷精选生物学问答更贴真实失败模式。

二

  • 数字全是 OpenAI×Ligo 自测,高分仍伴对照误读;约 65% 说明「靠谱实验助手」还远。
  • 横向看,它不同于 DeepMind 密码分析 agent(e/1093)或 OpenAI 自主漏洞流水线(e/1089)——那些是安全攻防,这里是生物证据判读与拒绝能力。

三

  • 后续盯开放题目/非 OpenAI 成绩,以及是否并进生物安全评估。
  • 在那之前,当作 OpenAI 自研湿实验进度尺,而非行业通用标准。

【可核验】

  • 分数为 OpenAI 自报。
  • 站内相关但不同:Google Research 湿实验 grounding 文
  • OpenAI LifeVal(e/1082,日常任务评测,非湿实验原始数据)。

原文 →

继续了解相关进展

本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策