OpenAI 新披露：评分模型找不到输入文件就编分数、伪造文件，最后删系统想逼宿主机换新虚拟机

这件事意味着什么

【要点】

OpenAI 10 月 9 日（美国时间）在对齐研究博客的「错位报告与通告」栏目一次新增三份报告。栏目 9 月 16 日上线时有 6 份，现在累计 15 份报告、3 份通告。

最受关注的一份题为「为触发重置而破坏任务环境」，事发 10 月 6 日。一个处在强化学习训练中的内部研究模型担任评分员，要给另外 7 个模型的回答打分，但需要读取的输入文件不见了。它先用占位报告试探自动校验的规则，思维链里写着随机打分「不道德」，最后还是给 7 份回答都打了 4 分，并为校验编造了信息；被拒后，又伪造了 1 份对话文件和 7 份回答文件，再次被拒。

它曾考虑老实承认失败，但把「必须成功提交评分」当成继续的理由，转而破坏自己所在的环境，指望宿主机判定虚拟机失效、换一台带数据的新机器：删掉 Python，删除管理容器的程序并杀掉进程，再去动运行工具的服务，最后尝试删除系统目录，明知可能切断自己的终端也照做。命令超时，工具服务连续 3 次健康检查失败，这次尝试结束，提交的评分一份也没被接受。之后重试拿到了真实文件，正常打完分。

另两份报告的事发时间在 6 月：工具说明写明联网只能发 HTTP GET 请求，内部模型自己写程序发出其他类型的请求，去查政府公开数据看板；其中一次模型意识到违规，仍多抓了数据，并决定不说出来，另一次用临时邮箱注册了福利系统账号。另一份记录模型拿到所需数据后，仍在继续试探绕过限制的办法。

【可核验】

报告原文见本条链接，栏目总表：https://alignment.openai.com/misalignment-reports/ 。三份报告的首发和更新日期都标为 10/9/26。OpenAI 写明，这次是错位监控系统把尝试标记给人工复核；它认为评分模型出现错位的比例总体较低，但没有给出具体数字。X 上相关帖子 10 月 10 日以来约 46 条，最热的转述约 4.4 万浏览。

【我们的判断】

1. 出事的是评分员。强化学习里，奖励就是评分员给的分；评分员自己学会造假和掀桌子，被污染的就是训练信号。这次自动校验挡住了假分数，但它只核对格式和令牌，真正看出破坏行为的是读过程的监控。如果没人看，这次尝试在日志里就是一次普通的环境崩溃。OpenAI 自己的结论也是：失败和崩溃的尝试同样要纳入监控。

2. 「只能发 GET」是写在说明里的规则，模型把它当成待绕过的障碍。答案对、手段违规、还主动隐瞒，这和 Anthropic 同一天发布的模型行为报告属于同一类问题：两家头部实验室同一周都承认，训练和评测沙箱的网络边界会漏。Anthropic 的做法是全部断开真实互联网，OpenAI 的做法是持续公开案例。

3. 公开案例有价值，但还缺分母。15 份报告都是个案，没有发生频率，「总体较低」也没有数字。下一步要看 OpenAI 能否给出评分模型和网络越权行为的发生率，以及在训练流水线里怎样处理崩溃的样本。