Goodfire 给 Kimi K3 和 GLM 5.3 装上读内部激活的网络安全监控:成本约为逐轮 LLM 审查的 1/50,第三方红队测试中通用越狱降到 0
阅读 0
- 发布日期
- 2026-10-09
- 类型
- 研究论文
- 相关机构
- Goodfire
- 信息来源
- agipulse
这件事意味着什么
【要点】
可解释性公司 Goodfire 10 月 8 日发布研究稿,给开源模型 Kimi K3 和 GLM 5.3 做了一套网络安全滥用监控,并跑在基于 SGLang 的生产推理服务里。做法是两级:先用「探针」直接读模型生成时的内部激活,几乎不额外花算力;只有探针觉得可疑的对话,才交给另一个大模型复核。
官方数据:在约 2400 个会话、6 万多轮的自建测试集上,按 5.5% 的正常会话打断率计,能抓到约 93% 的恶意会话;每百万轮监控成本 65 美元(复核不带推理)到 185 美元(带推理),复核开销比逐轮审查低约 29 到 49 倍;推理吞吐几乎不受影响,每轮增加的延迟从 160 毫秒降到 2 毫秒。加上监控后,Kimi K3 拦下恶意会话的比例从约 29% 升到 96%,GLM 5.3 从约 36% 升到 91%,代价是正常会话被打断的比例各增加约 5 个百分点。用 Kimi K3 的数据训练的监控直接迁到 GLM 5.3 上也基本可用。
FAR.AI 做了两天外部红队:140 种静态越狱手法,通用越狱从 66 个降到 0,被攻破的单次交互从 700 次降到 18 次。X 上 24 小时约 59 帖,发布后第一小时最集中,之后每小时数帖。
【可核验】
研究原文:https://www.goodfire.ai/research/production-cyber-monitors-on-kimi-k3
上一篇探针监控入门:https://www.goodfire.ai/blog/probe-monitors-101
【我们的判断】
1. 闭源厂商在自己服务器上有整套安全层,开源权重模型没有。这篇的价值在于给出了一层便宜到可以「每一轮都实时拦」的监控,能在 Agent 调用工具之前就把危险动作挡住,而不是事后查日志。本站 e/734 写过的 ARTEX 韩国银行入侵,攻击者正是通过第三方 API 转售商调用开源模型;这类推理服务商就是这套监控最该落地的地方,但目前没有任何规则要求他们部署。
2. 数字要打折看。主要评测是 Goodfire 自建的数据集,「标准答案」由 Claude Opus 5 打标,相当于拿一个大模型的判断当真值;FAR.AI 的测试只有两天,用的是固定的越狱库、只在聊天场景,没测知道探针存在、专门绕它的自适应攻击者。
3. 它只对掌控推理服务器的人有用,自己下载权重本地跑的人完全绕得开。接下来值得看的是 OpenRouter 等推理平台会不会默认接入、月之暗面和智谱是否背书,以及自适应红队的结果。
继续了解相关进展
本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策