论文标题： A Reconfigurable Data Glove for Reconstructing Physical and Virtual Grasps

期刊：Engineering

作者：刘航欣, 张泽宇, 焦子元, 张振亮, 李旻辰, 蒋陈凡夫, 朱毅鑫, 朱松纯

发表时间： January 2024

DOI：https://doi.org/10.1016/j.eng.2023.01.009

微信链接：点击此处阅读微信文章

近日，北京通用人工智能研究院与北京大学人工智能研究所等机构组成的科研团队在中国工程院院刊《Engineering》上发表了一项重要研究成果 —— 用于采集物理和虚拟抓取的可重构数据手套。刘航欣、张泽宇、焦子元为共同第一作者，刘航欣、朱毅鑫为通讯作者。

该数据手套的设计旨在应对机器人操作和抓取领域的挑战。由于现有软硬件系统难以支撑智能体学习复杂操作技能，存在手势与力的理解需求、接触点信息获取困难以及操作事件结果关注不足等问题。

为此，研究团队提出了可重构的数据手套，它具有三种运行模式。在触觉感知模式下，通过配置惯性测量单元（IMU）重建手势，采用由柔性压敏材料 Velostat 制成的定制力传感器，能在不限制手部自然运动的同时感知大面积上的力分布，记录操作过程中的手势和手部施力情况。

虚拟现实（VR）模式利用基于包笼的方法，根据手指和物体碰撞的几何形状确定对虚拟物体的稳定抓取，并通过振动马达提供触觉反馈，方便地记录接触情况，解决了在 VR 中自然交互减少的问题。

仿真模式则集成了先进的有限元方法，首次实现了操作任务的四维细粒度数据采集，包括手和物体在三维空间中的运动以及物体物理变量在时间维度上的变化，从而分析动作背后的物理和因果关系，为研究手 - 物交互和复杂操作事件提供了新视角。

图 可重构数据手套的三种操作模式共享一个统一的IMU网络主干设计，用于记录手势。（a）触觉感知模式记录操作过程中手部的施力情况。（b）VR模式支持在VR应用中对虚拟物体的稳定抓取并通过振动电机提供触觉反馈；可以很方便地记录接触情况。（c）仿真模式结合了最先进的FEM仿真，通过使用物体属性的细粒度变化来增强抓取数据。N：在样机中使用的设备数量。

研究团队评估了该数据手套及其子系统，证明其在手势和手部施力记录、提高虚拟现实中的操作流畅性以及模拟不同工具使用中的物理效果等方面表现出色。

与以往研究相比，此数据手套系统有三大贡献。首先是提出基于可重构手套系统的概念，三种操作模式各具特色且能处理更广泛的下游任务，统一的主干设计确保了易于复制的特性。其次，集成先进的基于有限元的物理仿真，增强了抓取数据，为手 - 物交互和复杂操作事件研究带来新机遇。最后，一系列案例研究证实了该手套系统收集的数据对学习的有效性。

这一创新成果将为具身智能体的操作技能学习开辟新途径，也为未来操作数据集的收集方式带来重要影响，有助于机器人在学习中完成更广泛的操作任务。该研究在通用人工智能领域迈出了坚实的一步，为相关技术的发展提供了有力支持。

文章信息：

A Reconfigurable Data Glove for Reconstructing Physical and Virtual Grasps

用于采集物理和虚拟抓取的可重构数据手套

作者：

刘航欣, 张泽宇, 焦子元, 张振亮, 李旻辰, 蒋陈凡夫, 朱毅鑫, 朱松纯

引用：

Hangxin Liu,Zeyu Zhang,Ziyuan Jiao,Zhenliang Zhang,Minchen Li,Chenfanfu Jiang,Yixin Zhu,Song-Chun Zhu. A Reconfigurable Data Glove for Reconstructing Physical and Virtual Grasps. Engineering, 2024, 32(1): 202–216 https://doi.org/10.1016/j.eng.2023.01.009

Open access

开放获取全文

https://www.engineering.org.cn/engi/EN/10.1016/j.eng.2023.01.009

推荐阅读

专题征稿：通用人工智能大模型及其在体系工程优化中的应用

新型攻击手段威胁工业机器人安全，孙优贤院士团队提出应对方案

热管理技术的革新：可重构热穹实现针对带热源目标的三维热隐身

华理团队：利用二氧化碳自由基化解卤代抗生素处理难题

厉害了！北工大团队研发钨岛型高性能W-Cu不互溶双金属复合材料