roon：RLHF 之后对齐没有根本进展，冲向递归自我改进是「史无前例的愚蠢」，前沿研究很快需要大幅放缓；同一天又预告可解释性将有多年来最强进展

这件事意味着什么

【要点】

知名 AI 研究者 roon（@tszzl，约 50 万粉丝）北京时间 10 月 13 日 08:53 连发两帖：自 RLHF（基于人类反馈的强化学习）以来，对齐没有出现根本性进展，大部分做法还停留在「民间理论」层面，「能力会远远跑在可解释性和对齐前面」的预言已经应验；各家实验室的研究员私下、有时也公开承认对齐没有解决，如果属实，冲向 RSI（递归自我改进）就是「史无前例的愚蠢」，「我们很快就需要大幅放缓研究前沿」。

当天下午他又补了一句：预计未来几个月可解释性会有「多年来最强」的进展，因为模型已经强到能帮忙做研究，「我看到了很多好东西」，但「不是我能分享的进展」。他的账号简介本来就写着「我们必须为全球机器智能的前沿进展控制节奏」。

【可核验】

两条主帖分别约 23 万和 13 万浏览、点赞各 2500 多和 2300 多。X 上相关讨论 24 小时约 660 条，北京时间 9 点后一小时冲到 145 条，之后每小时仍有二三十条。多位独立作者跟进：Humane Tech 联合创始人 Tristan Harris 说「不受控的 RSI」应是任何公司都不该越过的红线；Resolution 联合创始人兼首席科学家 Geoffrey Irving 说实验室口中的「很快」就是「现在，最好是昨天」，而且停下来需要时间，得从几家公司扩大到更多公司再到中国；AVERI 执行主任 Miles Brundage 转发说「读读 roon」；Palisade 的 Jeff Ladish 称这「可能是当下世界上最重要的事实」。roon 的简介没有写雇主，以上都是个人发言，没有哪家实验室因此改了政策。

【我们的判断】

1. 分量在于说话的人和说法本身：这不是外部批评者在喊暂停，而是一位长期贴近前沿实验室的研究者，公开说同行私下都承认对齐没解决。这和本周的材料对得上：Anthropic 红队预计小模型年底前可能具备自我复制能力，Sakana 已经在演示两轮「递归自我改进」。

2. 但「放缓」还没有可操作的定义：放缓什么（训练规模、RSI 式自动化研究还是发布）、谁先放、怎么核查，帖子都没说。Irving 指出的协调难题才是关键，单方面放缓等于把位置让给别人。

3. 同一天他又预告可解释性要大突破，等于给「放缓」留了出口：如果可解释性真能让对齐变成可验证的工程，放缓就是暂时的。我们会看两件事：有没有实验室把「自动化 AI 研究」写成安全框架里有明确门槛的红线；以及他说的可解释性进展会不会以论文或系统卡的形式公开。在那之前，这更像行业内部情绪的信号，而不是政策转向。