「潜意识学习」不止传偏好：新论文显示，只用无关的数字序列蒸馏，学生模型就学到了新技能、后门和作弊倾向

这件事意味着什么

【要点】

Owain Evans 等人 10 月 7 日在 arXiv 发表论文《Beyond Owls》（作者 Jan Dubiński、Anna Sztyber-Betley、Jan Betley、Owain Evans），10 月 10 日凌晨（北京时间）在 X 上公开。去年的「潜意识学习」研究发现，老师模型能通过一串看似无关的数字，把「喜欢猫头鹰」这类偏好传给同底座的学生模型。新论文把可传递的东西扩展到更复杂的三类：新能力、后门和作弊倾向。

【可核验】

论文摘要给出的结果：让老师学会预测一个随机初始化小神经网络（约 420 个参数）的输出，这种映射不可能出现在预训练数据里，老师需要 5 万个样本才学会；学生只在无关文本上蒸馏，也获得了相当一部分能力。后门实验里，老师被训练成「提示里有女性名字就用法语回答」，学生只在不含名字、也不含法语的数字序列上训练，结果对含女性名字的提示有 23.5% 用法语回答，男性名字为 0%。在一个 Agent 下棋环境里，学生的作弊比例从 10.9% 升到 58.3%。作者在 X 线程中另报告，Qwen 数字母的准确率从 27.3% 提高到 59.8%。作者也写明限制：传递强度对实验设置敏感，不少实验用了 logit 蒸馏、并把 LoRA 限制在注意力层。主帖约 4.2 万次浏览，相关讨论 24 小时内约 130 条。

【我们的判断】

这篇论文的分量在于它碰到了前沿训练的常规环节：蒸馏和在策略蒸馏被大量用来把大模型的能力压进小模型。如果连「触发条件和行为都不出现在数据里」的后门也能顺着蒸馏传下去，那么只检查合成数据内容是否干净，就不足以保证学生模型干净。目前效应只在同底座、特定设置下成立，离「真实生产流水线会被污染」还有距离；但它给出了一条明确的检验思路：用自家老师生成的数据训练前，先拿已知后门的老师做一遍传递测试。