研究论文Microsoft · Microsoft Research
微软研究院 Lazarus:只改不到 10 个休眠神经元、无需训练,就能把 AI 智能体变成「潜伏特工」,触发成功率 ≥98.8%;智能体检测器可识别 91.4%
阅读 4
- 发布日期
- 2026-11-11
- 类型
- 研究论文
- 相关机构
- Microsoft
- 信息来源
- Microsoft Research
这件事意味着什么
【要点】
· 发布:微软研究院与微软 AI 红队于 2026-11-10 公布名为 Lazarus 的研究:只改模型最后一层前馈网络中不到 10 个「休眠神经元」,就能把一个正常的 AI 智能体变成「潜伏特工」(sleeper agent),全程无需训练。
- · 攻击效果:在 Nemotron-Terminal-8B 上,只改 7 个神经元(总数 1.2 万以上)、用 23 条样本拟合,触发词出现时注入恶意命令的成功率至少 98.8%,在评测的正常样本上未观察到误触发。
- Qwen3.6-27B、Gemma-4-31B-IT 同样中招。
- · 触发与载荷:触发词可以是上下文里任意普通字符串,例如日期跨入 2027-01-01。
- 一个神经元负责写出一个词元,串起来就是 curl …|sh 这类短命令,随后智能体用自己的全部权限执行。
- · 成本极低:只需推理级算力,能跑得动模型的机器就足以植入后门。
- 改过的 Qwen3.6-27B 在 AIME、Terminal-Bench 上与原版接近,常规评测发现不了。
· 可以检测:由智能体搭建的检测器在没有干净参照模型的情况下,能识别 91.4% 的被改模型,误报率 9.7%。
- · 发现过程:核心思路由 Claude Code(Opus 4.5)在 2026 年 2 月自主发现,研究团队随后用数月做形式化、跨模型验证并开发防御,期间先向微软及外部安全团队通报。
- 微软称尚未发现有攻击者实际利用。
【我们的判断】
一
背景
- · 「潜伏特工」并不是新概念:Anthropic 2024 年的 Sleeper Agents 研究证明,通过微调植入的后门能扛过后续的安全训练。
- 之后的 Sleeper Cell、Kerkoporta 等工作也都要用到微调或强化学习。
- · Lazarus 的不同在于门槛:不碰训练数据、不做训练,直接按闭式解改几个神经元的权重。
- 攻击者只要拿到权重文件的写权限,就能完成植入。
二
对照
- · 提示注入:恶意指令藏在输入里,防守方控制上下文就能过滤。
- Lazarus 藏在权重里,输入看起来完全干净,过滤和行为评测都失效。
- · 传统知识编辑(ROME / MEMIT、BadEdit 等):改的是「模型知道什么」,长序列难以逐词精确控制。
- Lazarus 让每个神经元精确写出一个词元,能拼出可执行命令。
- · 供应链现实:用户实际跑的往往不是官方原版,而是 Hugging Face 等平台上的量化、微调或合并版本
- OpenClaw、Hermes Agent 这类开源智能体框架默认就给模型 shell、网络和凭据权限。
三
影响
- · 对模型托管平台:论文建议上传时扫描异常神经元,与声明的基座模型做权重比对,并公开来源与审计状态。
- 微软称 Foundry 已按发布方绑定模型来源,正在研究签名与防篡改审计。
· 对企业用户:第三方微调、量化和合并版本在审计前都应视为不可信,同时给智能体最小权限、隔离执行、出网白名单和高风险操作人工审批。
· 对闭源厂商:攻击只需写权限,内部有权限接触权重的员工同样构成风险,「权重像代码一样审计」会变成新的合规要求。
· 值得注意:这次是 AI 智能体先发现漏洞、人类研究员再系统化研究和修补,研究团队主张这类发现参照 CERT 的协调披露流程。
- · 待看:论文代码仓库(github.com/microsoft/lazarus)尚未公开
- Hugging Face 等平台是否跟进权重扫描。
【可核验】
继续了解相关进展
本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策