AGI Pulse
模型发布Ant Group · Robbyant (Ant Group)

蚂蚁灵波开源触觉基础模型 LingBot-Touch:近 5,000 小时真实触觉预训练,跨传感器与灵巧手迁移,接入 π0.5/LingBot-VLA 后真机成功率提升 22–25 个百分点

阅读 10

发布日期
2026-11-10
类型
模型发布
相关机构
Ant Group
信息来源
Robbyant (Ant Group)

这件事意味着什么

【要点】

· 发布:蚂蚁集团旗下具身智能公司灵波科技(Robbyant)于 2026-11-09 开源 LingBot-Touch,一个面向灵巧操作的触觉基础模型。

  • · 方法:基于 JEPA,在隐空间里做掩码预测。
  • 三种触觉传感(压阻、磁、视触觉)各用一个专用 tokenizer,再共用一个 Haptic Transformer,并把所有传感器的触点映射到同一套「标准指尖坐标」。
  • · 数据:预训练用了 4,983 小时真实触觉数据,约 13.3 亿帧、46.4 万个交互片段。
  • 按传感类型分:压阻 2,197h、磁 1,136h、视触觉 1,650h。
  • 数据来自人戴的触觉手套和遥操作的机器人手。
  • · 权重:Tiny 545 万参数,Small 2,176 万参数,都是 12 层;HF 权重文件约 22MB / 87MB。
  • Apache-2.0 许可,HF 不需申请即可下载。
  • · 真机:在 Sharpa Wave 和 XHand1 两种灵巧手上测了 26 个任务,每个任务 20 次。
  • 只在后训练时加入冻结的触觉特征,成功率变化:Diffusion Policy 21.6%→35.6%,π0.5 48.1%→69.9%,LingBot-VLA 48.3%→73.1%,T-Rex 45.4%→68.6%。
  • 新增参数不到 0.2%。

· 仿真:12 个强化学习任务的平均成功率为 69.0%,任务专用 CNN 特征为 45.6%,不用触觉为 21.4%。

· 迁移:XHand1 用的磁传感器型号不在预训练数据里,不做任何重训练也能用,探测任务全面优于加了专用适配器的 FTP-1。

【我们的判断】

一

背景

· 触觉一直没有「ImageNet 时刻」,因为每种传感器的通道、布局和采样率都不一样,数据没法合到一起训练。

  • · LingBot-Touch 的思路是先把传感器差异抹平:统一坐标,再加专用 tokenizer,然后才堆数据。
  • 这次放出的只有推理代码、冻结编码器和少量样例数据,5,000 小时语料和训练代码都没有公开。
  • · 它也是灵波 LingBot 具身系列的一部分。
  • 论文里的主力下游策略就是自家的 LingBot-VLA。

二

对照

· 对比 Meta 的 Sparsh、Sparsh-skin、Sparsh-X(后者基于 Digit 360):Sparsh 系列大多只覆盖一种传感,LingBot-Touch 用一个编码器同时处理压阻、磁、视触觉三类。

  • · 对比 FTP-1:论文报告,在没见过的传感器上,LingBot-Touch 的触点中心误差比 FTP-1 在已见传感器上的误差还低一个数量级以上。
  • 这是作者自测,尚无第三方复现。
  • · 对比 NVIDIA GR00T 2(本站 e/1095):GR00T 2 是视频加动作的世界-动作模型,代码 12 月才开放。
  • LingBot-Touch 是可以直接插进现有策略的触觉编码器,今天就能下载。
  • 两者互补,不是竞争关系。

三

影响

  • · 最值得注意的一点:直接把原始触觉信号喂给策略,最多只能拿到约一半的提升,在 104 组对比中还有 22 组变差。
  • 这说明决定效果的是表示,不是有没有装传感器。

· 接下来要看三件事:第三方能否在其他手和传感器上复现,语料或训练配方会不会开放,以及正式论文(BibTeX 待补)。

【可核验】

原文 →

继续了解相关进展

本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策