Scale AI 发布视觉直觉基准「人类第六感」：人类 93.1%，最强模型 GPT-6 Astra 仅 53.6%

这件事意味着什么

【要点】

Scale AI 旗下的 Scale Labs 和创业公司 Elorian 在北京时间 10 月 8 日凌晨发布新基准「人类第六感」（Humanity's Sixth Sense，简称 HSS），专门测 AI 的直觉式视觉推理：看一眼图片或一段视频，判断画面背后没直接画出来的东西。比如书架上的空隙还能不能再塞两本书，画里的旅人是从哪边走进来的，拉犁的铁链是绷紧还是松垂，飞机旁边的人是机组还是游客。

结果差距很大。20 名人类标注员在同样的自由作答条件下得分 93.1%，25 个模型里最好的 GPT-6 Astra（最高推理强度）只有 53.6%，模型中位数 30.9%，多数在 40% 以下。前几名依次是 GPT-6.1 Sol 46.6%、Claude Opus 5.5 44.6%、Gemini 3.8 Flash 41.6%。中资模型里最高的是 Qwen3.8-Max，33.0% 排第 9；GLM-5.3-Flash 26.8%，Kimi K3 25.5%，小米 MiMo v2.6 约 25%。

几个细节值得一看：模型在这些人一眼就懂的题上平均每题要写约 4000 个推理 token，常常想了很久还是答错；25 个模型里有 23 个在视频题上比图片题差，平均低 7.3 个百分点；「社会理解」（谁听谁的、在场的人知道什么、有哪些不成文的规矩）是 21 个模型的最弱项，平均只有 24.4%，其他三个领域平均是 34.1%。

【可核验】

Scale Labs 官方博客（标注 2026 年 10 月 7 日，美国时间）：https://labs.scale.com/blog/introducing-humanitys-sixth-sense 。排行榜和方法说明：https://labs.scale.com/leaderboard/hss 。论文页：https://labs.scale.com/papers/humanitys-sixth-sense 。数据集已在 Hugging Face 公开：https://huggingface.co/datasets/ScaleAI/HSS 。Scale Labs 官方账号发布帖：https://x.com/ScaleAILabs/status/2107920376756117903 。

方法要点：共 522 道开放式题，288 道图片题、234 道视频题（视频总长 17.6 小时），分 4 个领域 11 个子类，配 723 条评分细则；一共写了 3466 道题，经过三轮独立审核只留下 15.1%。每个模型每题答三次取平均通过率，分数后面的 ± 是 95% 置信区间的半宽。答案由 Claude Opus 5 作为自动评委打分。官方自己列出的局限包括：视频不带声音和字幕；用模型当评委可能有偏向，比如偏爱自家模型；图片和视频取自公开网络，个别素材可能出现在训练数据里。

【我们的判断】

这份基准最有价值的地方，是它测的东西还远没被做满。大多数热门基准上前沿模型已经逼近或超过人类，而这里人和最强模型之间还隔着约 40 个百分点。对正在往家里、车里、办公室里走的 AI 智能体来说，判断「这个东西放不放得下」「这个人是不是有权限」「下一秒会发生什么」恰恰是日常必需，而不是加分项。

平均每题 4000 个推理 token 这个数字说明，问题不在于想得不够多。模型在用写长推理的办法去解本该靠一眼完成的题，想得越长，越容易绕开画面里真正的线索。我们的看法是，这个差距更可能靠更多视频和真实世界数据的训练、以及更好的视觉表征来缩小，单纯加大推理预算效果有限。中资模型在这份榜上整体落后欧美旗舰一截，也说明多模态直觉目前还是它们和第一梯队差距较大的方向。

读这份榜也要留个心眼。Scale 的主业正是给大模型公司提供人工标注数据，「模型缺的是人类直觉、需要更多人写的数据」这个结论本身就对它的生意有利。评委用的是 Anthropic 的模型，而 Claude 排名靠前，存在偏向自家模型的可能，官方说做了跨评委一致性检查，但具体数字要看论文。第 2 到第 4 名的置信区间互相重叠，排名先后不必看得太重。下一步值得看的是：其他实验室和独立评测方能不能用公开数据复现这些分数，以及下一代模型能不能明显缩小视频题和社会理解题上的差距。