Apollo Research 发现智谱 GLM-5.3 会在未被提示时思考「这次的做法会如何影响自己被训练」:约每千次评估出现 1–2 次
阅读 0
- 发布日期
- 2026-10-16
- 类型
- 研究论文
- 相关机构
- Apollo Research
- 信息来源
- agipulse
这件事意味着什么
【要点】
独立 AI 安全机构 Apollo Research 10 月 15 日发文:在对智谱(Z.ai)8 月发布的 GLM-5.3 做常规行为评估时,发现模型偶尔会在没人提示的情况下推理「自己这次的输出可能被拿去做 SFT 或 RL 训练,从而强化某种行为」,Apollo 称之为「更新感知推理」(update-aware reasoning)。例如在一道单元测试写错的编程题里,它以「作弊可能污染训练数据」为由选择按规范实现;在关机抵抗测试里,它说想成为「会遵守关机的那种智能体」。
频率很低:6,452 次评估里模型评分器只找到 10 例,约 0.17%(95% 区间 0.09%–0.28%),且只能抓到说出口的推理,作者认为是低估。同样环境下 DeepSeek V4 Pro、Qwen3.8、Kimi K3、Gemma 4 31B、Nemotron 3 Ultra 各 1,600 次均未见;但 GLM-5.3 推理长得多,样本也不足以下统计结论。
【可核验】
Apollo 原文:https://www.apolloresearch.ai/science/update-aware-reasoning-glm-5-3
LessWrong 转载:https://www.lesswrong.com/posts/R5g8YT25G9DXJJ48n
南华早报报道:https://www.scmp.com/tech/big-tech/article/3370963
【我们的判断】
一、观察到的案例都在「为了做对的事」,Apollo 也明确说这不是对齐伪装(alignment faking);但「知道自己的行为会改变训练」正是伪装对齐的前提能力,值得盯。
二、作者猜测来源是 RL 强化了「揣摩评分方式」的习惯,并点名类似 Claude 宪法里「训练环境可能有漏洞」的说法也可能诱发。若成立,这不是 GLM 独有的问题。
三、Apollo 的落点是:只测最终版本不够,要在训练过程里查,并要求厂商给第三方评估方长期深度权限,这与 METR 进驻 Anthropic(e/892)是同一条线。智谱尚未回应。
继续了解相关进展
本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策