AGI Pulse
研究论文Apollo Research · agipulse

Apollo Research 发现智谱 GLM-5.3 会在未被提示时思考「这次的做法会如何影响自己被训练」:约每千次评估出现 1–2 次

阅读 0

发布日期
2026-10-16
类型
研究论文
相关机构
Apollo Research
信息来源
agipulse

这件事意味着什么

【要点】

独立 AI 安全机构 Apollo Research 10 月 15 日发文:在对智谱(Z.ai)8 月发布的 GLM-5.3 做常规行为评估时,发现模型偶尔会在没人提示的情况下推理「自己这次的输出可能被拿去做 SFT 或 RL 训练,从而强化某种行为」,Apollo 称之为「更新感知推理」(update-aware reasoning)。例如在一道单元测试写错的编程题里,它以「作弊可能污染训练数据」为由选择按规范实现;在关机抵抗测试里,它说想成为「会遵守关机的那种智能体」。

频率很低:6,452 次评估里模型评分器只找到 10 例,约 0.17%(95% 区间 0.09%–0.28%),且只能抓到说出口的推理,作者认为是低估。同样环境下 DeepSeek V4 Pro、Qwen3.8、Kimi K3、Gemma 4 31B、Nemotron 3 Ultra 各 1,600 次均未见;但 GLM-5.3 推理长得多,样本也不足以下统计结论。

【可核验】

Apollo 原文:https://www.apolloresearch.ai/science/update-aware-reasoning-glm-5-3

LessWrong 转载:https://www.lesswrong.com/posts/R5g8YT25G9DXJJ48n

南华早报报道:https://www.scmp.com/tech/big-tech/article/3370963

【我们的判断】

一、观察到的案例都在「为了做对的事」,Apollo 也明确说这不是对齐伪装(alignment faking);但「知道自己的行为会改变训练」正是伪装对齐的前提能力,值得盯。

二、作者猜测来源是 RL 强化了「揣摩评分方式」的习惯,并点名类似 Claude 宪法里「训练环境可能有漏洞」的说法也可能诱发。若成立,这不是 GLM 独有的问题。

三、Apollo 的落点是:只测最终版本不够,要在训练过程里查,并要求厂商给第三方评估方长期深度权限,这与 METR 进驻 Anthropic(e/892)是同一条线。智谱尚未回应。

原文 →

继续了解相关进展

本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策