Harvey 法律 Agent 评测加上「幻觉一票否决」：最好的 Grok 4.7 也只有 9.4%，超过六成原本过关的答卷含实质性错误

这件事意味着什么

【要点】

北京时间 10 月 9 日凌晨，Artificial Analysis 与法律 AI 公司 Harvey 发布 Harvey LAB-AA v1.1，改了法律 Agent 评测的计分方式：120 道私有法律任务（并购、资本市场、税务、诉讼、破产等 24 个领域），每份交付物都要和任务原始材料逐条核对，只要有一处会误导读者的实质性幻觉，这道题就记零分。

新的总分榜上，Grok 4.7 以 9.4% 第一，Muse Spark 1.3 为 8.9%，GPT-6 Astra 为 8.6%，GPT-6.1 Sol 6.9%，Claude Fable 5.1 6.4%，Kimi K3 5.3%，Claude Opus 5.5 4.2%。不算幻觉时 Muse Spark 1.3 以 26.7% 领先，但其中三分之二的过关答卷含实质性错误。官方称，所有模型里超过 60% 原本过关的结果都有实质性幻觉；GPT-6 Astra 在 120 道题里只被查出 4 处，Gemini 3.8 Flash 平均每题 13.96 处，开放权重模型每题都在 2.09 处以上。

【可核验】

公告原文：https://artificialanalysis.ai/articles/harvey-lab-aa-v1-1

排行榜：https://artificialanalysis.ai/evaluations/harvey-lab-aa

官方发帖：https://x.com/ArtificialAnlys/status/2108264572545310824

评分由 GPT-6 Sol、Grok 4.7、Claude Opus 5.5 三个模型组成的评审团打分，幻觉核查固定用 GPT-6 Sol。v1.1 与 v1.0 的分数不能直接比较。

【我们的判断】

1. 最值得记住的不是谁第一，而是第一名只有 9.4%。大多数模型能完成 85% 以上的评分项，但能交出一份既完整又没有实质错误的法律文书的比例不到十分之一。法律 Agent 离「交给它直接用」还很远，人工复核仍是刚需。

2. 把幻觉单独计分会重排名次，这说明「完成度」和「可靠性」是两种能力。只看完成度的榜单会系统性高估那些写得多、写得全但会编细节的模型。

3. 绝对数字要谨慎看。同一批答卷，换不同模型当核查员，查出的实质性幻觉从 57 处到 470 处不等，选的又是最严格的 GPT-6 Sol。不过 GPT-6 Astra 在六个核查模型下都是零，它的低幻觉不像是核查员偏向自家模型造成的。