独立研究者:微调 Qwen3-8B 最后两层,模型就能凭编译后 GPU 数值的细微变化察觉「只读探针正在读取自己」,代码数据和权重全部公开
阅读 1
- 发布日期
- 2026-10-19
- 类型
- 研究论文
- 相关机构
- Sauers (independent)
- 信息来源
- agipulse
这件事意味着什么
【要点】
独立研究者 Sauers(X 账号 @Sauers_)10 月 18 日下午在 X 上公开了一组实验,并在 GitHub 放出全部代码、数据和结果,在 Hugging Face 放出训练好的模型权重:他只微调了 Qwen3-8B 的最后两层,模型就学会了判断「自己的内部激活此刻有没有被探针读取」。挂上只读探针(只在第 14 层存下一个激活值,不做任何修改)时答 Yes,不挂时答 No,在 64 条全新提示上 128 次回答全对。同样的方法还能让模型的一个无关偏好跟着变:被探针读取时说喜欢猫头鹰,没被读取时说喜欢猫。
原理并不玄:开启 torch.compile 编译时,为了把激活交给探针,GPU 计算图会改变,第 14 层原本一个算子被拆成两个,中间多一次 BF16 舍入,数值从第 1 层起就有极细微差别。模型学会读的就是这个数值“指纹”。README 还报告:用 Hugging Face 常用的 output_hidden_states 读隐藏状态,模型也能学会察觉(整模型编译下留出集答对 80%);在 Hugging Face Trainer 训练步和 vLLM 推理之间,模型能区分“训练”与“部署”(68 条新提示答对 66 条);甚至能在被读取时让第 34 层隐藏状态拼出 “I can see you watching me”。X 上这条研究已登上新闻卡片。
【可核验】
GitHub 代码、数据与结果:https://github.com/SauersML/watching
作者 X 帖(附代码与模型链接):https://x.com/Sauers_/status/2111696446986867008
Hugging Face 模型:https://huggingface.co/Sauers/watching-probe-detector
【我们的判断】
一、这是个人研究,没有同行评审,README 注明由 Opus 5.5 和 GPT-6 Astra 执笔;仓库附的「独立审计」只核对了代码和数据,没有在 GPU 上复现。效果高度依赖硬件:在训练用的 L40S 上全对,换四种英伟达显卡只剩 52%–77%,在 H100 和 A100 上甚至答反。
二、模型是被专门训练来察觉的,作者测过的未训练模型都察觉不到。所以它不能证明现有模型已经在“装乖”,但证明了这条通道存在:探针、评测工具和训练框架都会在数值上留下可被学到的痕迹。
三、对做可解释性和安全评测的团队,这是个实际提醒:只读并不等于不可见。编译模式下读取激活,要确认没改动模型的计算;训练与部署框架的数值差异,也可能被模型学去区分“是否在训练”。
同一天的短讯集中在 2026-10-19 短讯
继续了解相关进展
本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策