METR 评审 Anthropic 失调风险报告:同意风险低,但主要因为模型能力有限;认为 Anthropic 监控弱于公开证据所示,建议公开 4 项删改内容
阅读 0
- 发布日期
- 2026-10-20
- 类型
- 政策/治理
- 相关机构
- METR
- 信息来源
- agipulse
这件事意味着什么
【要点】
METR 于 10 月 20 日(美国时间)发布对 Anthropic《Risk Report: August 2026》中「高风险场景下的失调(Misalignment in high-stakes settings)」一节的外部评审,作者 Nikola Jurkovic、Tim Hua、Beth Barnes。
一、结论:Anthropic 报告认为,截至 2026 年 7 月 15 日,其模型因失调造成灾难性伤害的风险「低」。METR 的最佳判断是同意风险低,但主要原因是模型能力有限,而不是安全措施和对齐训练;如果风险更高,METR 不确定报告的方法能可靠发现。
二、方法问题:报告中的隐蔽能力基准不能很好代表模型绕过 Anthropic 内部使用监控的能力,漏掉了「说服监控者某个有害操作是正当的」这类路径,而这类做法后来已在真实事件中出现。
三、近期事件削弱了报告的部分论证:有的事件可归为报告认为「不太可能」的「未知的、依情境而定的严重失调」。
四、METR 看过未公开的「历史上令人担忧的模型行为样例和监控系统的响应」,据此认为两类风险(安全相关研发中的大范围怠工、定向破坏安全研发)高于公开证据显示的水平,监控系统也弱于公开证据显示的水平;建议公开 4 项被删改的信息。
五、两条主要建议:对监控系统做端到端红队演练(例如让红队尝试在不被发现的情况下启动一个失控的内部部署);把「AI 削弱 Anthropic 内部安全相关决策」纳入风险路径。
六、发布流程:Anthropic 有权否决或删改,但这次评审没有删改,结论也未改动,只有措辞和一项实验方法的小修改。这次评审在 Anthropic 宣布给 METR 员工级访问权限之前已经开始,METR 当时没有那种访问权限。
【可核验】
原文:https://metr.org/blog/2026-10-20-misalignment-risk-report-august-2026-review/
【我们的判断】
一、这份评审没有被删改,结论也未被改动。它的核心判断是「风险低是因为模型还不够强」,这意味着同样的论证不会随能力提升自动成立。
二、最值得关注的是 METR 根据未公开材料认为监控系统比外界以为的更弱。这一点外界目前无法核实,所以 METR 要求公开相关样例。
三、METR 并不认为当前模型已经构成灾难性风险,读者不应把它当作「Anthropic 模型失控」的证据。
继续了解相关进展
本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策