LingBot-Touch 蚂蚁灵波开源的触觉预训练基础模型

LingBot-Touch是什么

LingBot-Touch是蚂蚁灵波开源的触觉预训练基础模型，充当触觉传感器与机器人动作模型之间的翻译器。LingBot-Touch将磁触觉、视触觉、压阻式等异构传感器信号，统一编码为触觉Token，输出接触位置、受力大小与方向等动作模型可理解的特征，破解直接喂原始信号反而降低成功率的难题。LingBot-Touch基于JEPA路线训练，采用共享触觉Transformer主干，仅用约500万参数，已在26项真机任务上验证有效，能零样本迁移至未见过的传感器，补齐视觉管接触之前、触觉管接触之后的关键一环。

LingBot-Touch的主要功能

• 异构信号统一编码 ：将磁触觉、视触觉、压阻式三类传感器的原始信号统一翻译成标准化的触觉Token，让动作模型看得懂不同格式的触觉数据。
• 接触状态感知 ：从触觉信号中解析出接触位置、受力大小及方向随时间的变化，让机器人清楚手指碰在哪、用了多大劲、有没有打滑。
• 跨硬件迁移 ：采用统一坐标空间+共享主干架构，无需重新训练即可迁移到从未见过的传感器和灵巧手布局。
• 即插即用接入 ：作为冻结的特征编码器，可直接挂载到π0.5、Diffusion Policy、T-Rex等主流动作模型上，参数量仅增加约0.13%–0.16%。
• 高频高效推理 ：最小版本HaT-Tiny仅约546万参数，支持高频实时推理，满足灵巧操作的实时性要求。
• 提升操作成功率 ：在26项真机任务上平均成功率最高提升超20个百分点，尤其擅长拉拉链、拧瓶盖、插吸管等接触密集型精细操作。

LingBot-Touch的技术原理

• 标准化几何接口与Token地址机制 ：针对各传感器触点数量和排布差异巨大的问题，模型先将所有触点映射到统一的标准化指尖坐标空间，并为每个Token分配由时间、手指编号和三维位置构成的地址，通过旋转位置编码（RoPE）注入模型，摆脱对固定触点数量和布局的依赖，实现地址化的可扩展输入。
• 分入口、共主干的混合架构 ：模型为三类传感原理各自设计轻量化的专用Tokenizer，负责将原始读数转换为Token，用消化传感器间的硬件差异；之后所有Token汇入共享的触觉Transformer主干，让不同来源的接触物理规律在同一潜在空间中联合学习。
• 基于JEPA的特征空间预测 ：针对触觉信号大部分时间读数为0、模型易走学好背景捷径的问题，训练时随机遮蔽90%的触点且整段持续遮蔽，模型只需依据剩余10%的可见信号，在特征空间预测被遮蔽部分的潜在表征，迫使模型学习真正的接触信息。
• 触点扰动防止布局记忆 ：由于预训练仅覆盖三种传感器布局，模型直接背诵触点位置，因此训练过程中随机改变触点采样密度并对每个触点的位置做小幅度扰动，人为制造第四种布局，保证模型学到的是可迁移的接触物理表征。

如何使用LingBot-Touch

• 获取模型 ：从GitHub、Hugging Face或魔搭社区下载开源的技术报告、代码和模型权重。
• 接入传感器 ：将现有灵巧手上的磁触觉、视触觉或压阻式传感器原始信号接入模型，无需更换硬件或调整传感器本身。
• 编码特征 ：LingBot-Touch将原始信号编码为标准化触觉Token，输出接触位置、受力、方向等可理解的表征。
• 后训练策略 ：在训练动作模型（如π0.5、Diffusion Policy）时，将冻结的LingBot-Touch特征作为额外输入一起后训练，模型参数无需改动。
• 部署推理 ：将训练好的策略部署到真机上，LingBot-Touch以冻结编码器方式实时运行，参数量仅增加约0.13%–0.16%。

LingBot-Touch的核心优势

• 统一异构数据 ：将磁触觉、视触觉、压阻式等格式迥异的传感器信号统一编码为标准化Token，破解触觉数据互不通用、换一只手就从头再来的行业难题。
• 零样本跨硬件迁移 ：即使传感器从未出现在预训练数据中（如XHand），且参数一个未改，成功率仍从48%提升至74.17%，实现一款硬件的经验成为下一款机器人的起点。
• 即插即用、低侵入 ：作为冻结编码器可直接挂载到π0.5、Diffusion Policy等主流动作模型上，参数量仅增加0.13%–0.16%，不干扰原有模型架构。
• 极致轻量高效 ：最小版本HaT-Tiny仅约546万参数，支持高频实时推理，满足灵巧操作的毫秒级响应需求。
• 精度大幅领先 ：接触中心判断误差仅0.12–0.16毫米，远优于FTP-1的2.19–5.89毫米，且后者还需为每只手单独配备适配器。
• 标注成本极低 ：预训练数据仅需标注任务类别、无需标注力的大小，2/3数据来自手套采集，大幅降低了触觉数据的获取门槛。

LingBot-Touch的项目地址

• 项目官网 ：https://technology.robbyant.com/lingbot-touch
• GitHub仓库 ：https://github.com/Robbyant/lingbot-touch
• HuggingFace模型库 ：https://huggingface.co/collections/robbyant/lingbot-touch
• 技术论文 ：https://arxiv.org/pdf/2611.12806

LingBot-Touch的同类竞品对比

对比维度 | LingBot-Touch | FTP-1

LingBot-Touch的应用场景

• 零售分拣 ：在药房、便利店等场景中抓取大小不一、形状各异的商品，通过指尖触觉判断抓取力度与是否打滑，降低商品破损率。
• 物流分拣 ：分拣软包装、易碎品（如袋装物品、瓶装液体）时，靠触觉感知包裹形变与内部晃动，实现稳定抓放。
• 工业装配 ：完成插拔、旋拧、对位等精密装配动作（如拧瓶盖、插钥匙开锁），在摄像头视野被遮挡的接触阶段持续感知阻力变化。
• 餐饮/饮品操作 ：执行插吸管、挤牙膏、封袋等精细任务，感知薄膜刺破瞬间的力突变，避免用力过猛造成失败。