GitHub 公开 AI 代码审查基准 ReviewBench：219 个真实 PR、评分模型和规则全公开，离线分数能提前预判线上 A/B 结果

这件事意味着什么

【要点】

GitHub 10 月 5 日在官方博客发布 ReviewBench，一个专门衡量 AI 代码审查 Agent 的公开基准，研究预览版已经上线。它要回答的问题很直接：一个 AI 审查员到底能抓住 PR 里多少真问题，又会制造多少噪音。数据集、评分规则、评分模型配置和自助运行工具全部公开，任何团队都能把自己的审查 Agent 接进去跑分、上排行榜。

【可核验】

GitHub 先分析了 1.039 亿个真实 PR 的语言、仓库规模和改动大小分布，再挑出 187 个开源仓库里的 219 个 PR，覆盖 19 种语言，并刻意少放单文件小改动、多放值得认真审的多文件改动。「标准答案」来自多路来源：真人审查意见、作者后续修复提交反推出的问题、静态分析工具和多家前沿大模型，去重后由 Claude Sonnet 5 按统一规则判定真伪。发布前，未参与建库的资深工程师从零重标了全部标准答案，与基准结论一致率 96.6%。指标分两类：只按已知答案算的「基准精确率/召回率」，以及允许 Agent 因发现标准答案之外的真问题而得分的「扩展」指标。GitHub 说，用它评估 Copilot 代码审查的改动时，离线结果和后来的线上 A/B 测试方向一致；一次多模型合并审查的实验里，线上采纳率升 8.0%、召回升 13.6%、评论量升 61%、单次审查成本降 8.0%。

【我们的判断】

AI 写代码的速度早已超过人审代码的速度，审查正在变成新的瓶颈，而这个环节一直缺一把公开、可复现的尺子。ReviewBench 的价值在于把「这个审查工具好不好用」变成能对照检查的数字，并公开了判分模型和规则，这比厂商各自的宣传数字可信得多。但要清楚两点：出题方本身就是 Copilot 的厂商，排行榜由维护者审核后才公开；判卷的是大模型，而据第三方对公开数据的统计，真人审查意见只贡献了约 1.5% 的真问题，标准答案主要由机器产出。第三方 10 月 6 日抄录的排行榜显示，最好的审查 Agent 也只找到约四分之一的已知问题，说明 AI 审查目前更像高精度的补充，而不是能放心替代人审的那道关。