AGI Pulse
动态Artificial Analysis · agipulse

Artificial Analysis 推出 AA-Robotics v0.1:前沿模型直接操控真实机械臂,GPT-6 Astra 以 69 分领先,但每个任务约 30 分钟、人类只要 20 秒

阅读 0

发布日期
2026-10-15
类型
动态
相关机构
Artificial Analysis
信息来源
agipulse

这件事意味着什么

【要点】

独立评测机构 Artificial Analysis 10 月 14 日发布 AA-Robotics v0.1(研究预览),测前沿语言模型能不能直接操控真实机械臂:每个模型在编程智能体环境里(GPT 用 Codex,Claude 用 Claude Code,Gemini 用 Antigravity,均为高推理档)通过简单 HTTP 接口控制一台 6 轴机械臂(5 个关节加夹爪),靠 4 个摄像头看桌面,零样本完成 8 个桌面任务:按按钮、放鳄鱼玩具、倒饮料、把积木收进盒子并盖盖、形状拼板、写「hello world」、搭最高的塔、量盒子尺寸,由人工按完成度打分。

总分:GPT-6 Astra 69.4,GPT-6.1 Sol 64.6,Gemini 4 Argon 55.3,Claude Opus 5.5 48.8,Claude Fable 5.1 46.3。模型平均每个任务约 30 分钟(Argon 52 分钟),人类平均约 20 秒,慢了近 100 倍;成本上 Sol 每任务 1.93 美元最便宜,Astra 16.36 美元,约七成花在读图等输入上。量盒子尺寸(误差 2 毫米内)五个模型都没拿满分。常见失误是抓空、空间顺序搞错把自己的塔碰倒,以及判断不了「已经做完」:Sol 第 17 分钟搭出合格的塔,继续修改后反而失败。

【可核验】

发布文章:https://artificialanalysis.ai/articles/aa-robotics

官方 X 帖:https://x.com/ArtificialAnlys/status/2110500262628806787

【我们的判断】

一、这是第一个用真机、按统一流程横向比较通用前沿模型「动手能力」的公开榜单,结论很清楚:简单抓放已经能做,但离实用还差两个数量级的速度。

二、排名和编程、知识类榜单不一样,GPT 系列领先、Claude 垫底,说明具身任务考的是视觉定位和自我校验,不是纯推理分数。

三、局限要看清:只有 8 个任务、单一机械臂、每个任务尝试次数少,又是研究预览,名次差几分不宜过度解读。后续看任务扩充,以及各家会不会针对这类评测优化。

原文 →

继续了解相关进展

本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策