华南理工大学罗晶博士和杨辰光教授团队发文提出遥操作机器人交互感知与学习算法

1、论文背景 

目前遥操作机器人在医疗临床、康复、深海探测、救援救灾等诸多领域得到了广泛的应用（图1）。但是在操作过程中，由于人机交互性能不足、感知能力不佳，机器人只能完成一些简单、重复的任务。例如，操作人员控制机器人执行pickup任务[1]和维护任务[2]。为了解决上述问题，我们提出了一种新型的人机交互感知机制和学习算法来提高遥操作机器人的操控性能。首先，为了增强遥操作系统的感知能力，我们设计了一个基于肌肉活性的人机交互界面，提取操作者的肌电信号，用于对外界环境做出反应。通过遥操作系统的触觉反馈和视觉反馈，人类操作者可以自然地作出反应，发出正确的控制命令。肌电信号的强弱随着操作任务的不同而不同，同时人机协作过程中的肌肉活性变化、机器人末端执行器的轨迹、操作者的运动，都可以用来表征人机协作任务和意图。机器人可以通过学习人类的操作行为来提升智能化程度，学习的内容不仅包括运动轨迹，还有人类执行任务时的刚度。通过学习人类的操作行为，遥操作机器人可以独立完成重复性任务或者不确定性任务。

图1机器人遥操作示意图

2、系统概述

如图2所示，我们利用从端机器人的末端执行器来完成执行人机协作任务，采用隐半马尔科夫模型获取人机协作任务模型。在示教过程中，操作者可以通过生物信号感知界面感知操作过程中外力的变化，实时调整所需的增益/刚度，并将其映射到从端机器人的控制器中。示教过程中主要考虑了任务轨迹、刚度和力等数据，通过任务学习与复现阶段，形成了人在闭环系统中的技能建模方案。如图3所示，如图该框架中将人机协作任务分为两个阶段：学习阶段和复现阶段。在学习阶段，基于隐半马尔科夫和混合高斯模型方法可以对人机协作任务进行学习，建立基于运动轨迹的生成任务模型。在复现阶段，基于隐半马尔科夫和混合高斯回归方法可以对生成模型的任务轨迹进行修正，从学习的任务中复现结果[3]。

3、实验分析

操作者通过Touch X控制Baxter机器人执行绘图任务，整个任务过程进行3次人机协作示教，绘图任务在一张大小为210mm297mm (A4)的二维空间内进行。图4(a)所示为绘画任务的运动轨迹和刚度轨迹。灰色曲线为人机协作绘画的轨迹，红色曲线为任务生成阶段的结果。生成阶段可以划分为6个步骤(I-VI)和三个子任务。在步骤I和II中，Baxter机器人开始绘图子任务1。步骤II和步骤III，Baxter机器人右臂末端离开纸张进行下一次绘图操作。类似地，子任务2和子任务3分别由步骤III到IV和步骤V到VI完成。在任务学习阶段，操作者的手臂刚度是随着绘画任务过程的变化而变化。如图4(b)所示，Baxter机器人采用生成的刚度执行绘画任务。从图4(b)中的(a)-(f)可以得出，Baxter机器人利用生成的模型成功的完成了绘图任务。

4、分析与结论

本文提出了一种新型的触觉肌电感知机制和基于隐半马尔科夫模型-高斯混合理论的机器人学习框架。操作者通过调节自身的肌肉活性来应对外界环境的变化，同时观察和记录人机协作过程中的肌肉活动情况。利用采集的肌电信号和提出的任务学习框架，遥操作机器人系统可以自然地与外界环境进行交互、编码人机协作任务和生成任务模型，从而提升系统的类人化操作行为和智能化程度。

参考文献：
[1] Penco L, Scianca N, Modugno V, et al. A MultimodeTeleoperation Framework for Humanoid Loco-Manipulation: An Application for the iCub Robot. IEEE Robotics & Automation Magazine, 2019, 26(4): 73-82.
[2] MaddahiY, Zareinia K, Sepehri N. An augmented virtual fixture to improve task performance in robot-assisted live-line maintenance. Computers & Electrical Engineering, 2015, 43: 292-305.
[3] Yang C, Luo J, Liu C, et al. Haptics electromyography perception and learning enhanced intelligence for teleoperated robot. IEEE Transactions on Automation Science and Engineering, 2018, 16(4): 1512-1521.