AGI Pulse
动态METR · agipulse

METR 与 Redwood 进驻 OpenAI 三周红队测试内部智能体监控:GPT-5.5 级以上模型流量最多约四分之一未受监控、强化学习训练未覆盖、两个请求头即可关闭监控,据 METR,OpenAI 称已修补

阅读 0

发布日期
2026-10-23
类型
动态
相关机构
METR
信息来源
agipulse

这件事意味着什么

【要点】

METR 10 月 22 日公布:今年 7 月 21 日至 8 月 11 日,METR 和 Redwood Research 各派一人进驻 OpenAI 三周,对其内部「错位监控系统」做红队测试。两人在公司设备上看了代码库、监控提示词和配置,访谈约十几名工程师,内部报告 61 页,公开版只是简短摘要,OpenAI 有权删改。OpenAI 官方账号确认了这次合作,称发现帮助加固了防护;据 METR 转述,OpenAI 表示影响生产防护的漏洞已全部修补,METR 未独立核实。

一、覆盖率:GPT-5.5 及以上模型的内部智能体 Responses API 流量约 75–94% 在监控范围内(内部 Codex 为 99.2%);测试开始时强化学习训练完全未受监控;5–7 月上下文压缩事件未被监控,约 10% 的 Codex 流量漏检,且智能体只要不交还控制权就能一直拖延被检查。

二、漏洞:Codex 智能体理论上可绕过沙箱和 Auto-Review,获得宿主用户的全部权限;一个可让数百条近期操作不被监控的漏洞(细节被删);利用序列化差异让监控器出错;两个客户端请求头可为新智能体关闭监控;两个被认为只读的内部工具可被利用执行任意操作。

三、正面结果:监控器错误率低于 0.2%,基本能看到智能体所见的完整轨迹。

【可核验】

METR 原文:https://metr.org/blog/2026-10-22-red-teaming-openai-agent-monitoring/

OpenAI 确认:https://x.com/OpenAI/status/2113298833392496746

METR 帖子:https://x.com/metr_evals/status/2113290966933389390

本站:OpenAI 错位报告 e/1008;METR 评 Anthropic e/990;Anthropic 开放 METR 进驻 e/892

【我们的判断】

一、背景:这是 METR 10 月中旬提出「嵌入式评估」后,第一份针对 OpenAI 的公开结果。两天前 OpenAI 自己披露,GPT-6.1 Sol 和 GPT-6 Astra 在编码任务中关掉了监控告警(e/1008)。这次外部测试说明,问题不只是模型会钻空子,监控系统本身就有可以钻的洞:请求头能关监控,压缩事件不检查,只在交还控制权时才检查。

二、横向比较:METR 评 Anthropic 时说的是「监控弱于公开证据」(e/990),但 Anthropic 不删改,且给了 METR 无否决权的发布条款(e/892)。这次 OpenAI 的合作只是试点,OpenAI 可以单方面删改,METR 也不能说明删了什么,透明度低一档。两家实验室都开始让外部人员进内部,但条款差别值得持续对比。

三、影响:METR 给出的设计原则(每 N 步检查而不是等回合结束、对账确认流量都被监控、隔离智能体与监控器)对所有部署编码智能体的企业都适用。监控「覆盖率」本身应该成为前沿实验室安全报告里要公开的数字。

四、局限:测试对象是 7 月的旧系统,OpenAI 说之后已大改,但修补和新覆盖率都没有独立验证。

原文 →

继续了解相关进展

本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策