机器人示教学习:学习低级技能运动基元轨迹运动技能

人们使用机器人的目的是节约人力和时间并高效完成任务。传统的机器人需要预先编程来满足特定任务，但如果任务发生变化，往往需要重新编程。而通过机器人的示教学习，它使机器人能够自主地执行新任务，允许用户通过示教任务来教授机器人所需的技能，而无需繁琐的重新编程。我们结合2020年ICIMIA 会议发表的《A Comprehensive Study onRobot Learning from Demonstration》文章，介绍了机器人示教学习LfD（Learning from Demonstration）的研究概况。

机器人可以通过采取行动与所处环境交互，导致当前状态到新状态的概率转换。机器人活动的环境可以被完全或部分观察到。观察性条件取决于示教数据采集方法的类型以及所选择的教学方法。在[6]中，对环境描述的方法进行了研究。定义明确的目标可以清晰的评价任务表现，并改进已学习的任务[7]。LfD目前没有标准的评估参数或方法，这是因为到目前为止LfD框架缺乏通用性，没有可以进行比较的基准。人类如何提供示教，基于与机器人的交互方式。

（1）低级技能

低级技能通常包括在三维空间中从一个点移动到另一个点。它可以包括原始的动作，如手势、触摸物体、挑选物体等，这种情况下获得的示教数据是机器人关节的位置、速度和加速度。低级运动可记录在关节空间、任务空间或扭矩空间[11]。然而，在某些情况下，任务目标不能完全由关节位置来表示，应提供任务框架方面的额外信息。例如，挑选一个在每次示教中可能位于不同位置的目标对象。当这种低级技能在机器人框架中学习时，轨迹可能没有相似性，因此很难提取模型。但是，如果在任务框架中表示相同的对象，则可以得到相同对象的一般模型。一种常用的方法是跟踪末端执行器相对于目标对象的笛卡尔坐标位置[12]。

低级技能学习或建模的三种主要方法：

1）动态运动基元(DMP)：DMP方法的中心思想是依赖于一个可靠的动态系统，调整该系统的非线性项，实现预期的吸引子行为。

图3 DMP方法:字母书写技巧[50]的不变性

在图3中，可以看出DMP的不变性性质的重要性。蓝线表示示教轨迹，红线表示技能执行轨迹。起点是相似的，但是，即使target_0和target_1表示的终点不同，它也能够执行低级技能。此外，还能根据示教的字母“a”生成“a”的一致放大版本。为了利用高度规则的结构和潜在空间来简化DMP方法，提出了一个高斯过程的隐藏变量模型[13]。在[9]中，通过调整DMP方程中的起始参数和目标参数，评估了一种泛化技能的方法，并在baxter机械臂上进行了进一步的论证。

2）高斯混合建模与回归(GMM-GMR)：该方法依赖于统计监督学习，由两部分组成：a）使用高斯混合模型(GMM)对技能进行编码 b）利用高斯混合回归(GMR)方法再现该技能。根据给定的示教，维度下降方法将数据投射到潜在空间中。这些方法可以执行局部线性变换[14]或利用任何全局非线性方法[15]。在[16]中，使用GMM作为一种技能学习算法，对7个关节角度的示教数据进行预处理，进一步采用k均值聚类算法确定期望最大值（EM）算法的初始均值和协方差。通过运行迭代算法提取一个GMM，并进一步使用该GMM来执行一项技能。在[17]中使用GMM-GMR对技能编码的类似方法进行了评估。

3）隐马尔科夫模型（HMM）：此类模型基于概率方法。为了用隐马尔可夫模型来建模低级技能，可以用隐藏状态序列和所有的概率分布来表示该技能。HMM模型学习由两部分组成：a）结构学习b）参数学习。结构学习处理识别隐藏状态的数量。除此之外，它还涉及到确定这些隐藏状态是如何相互联系的。HMM模型学习的另一部分是参数学习，用于估计先验、转移和观察概率分布。HMM模型使用概率分布，以便从当前状态前进到下一个状态，从而生成一个序列。该序列可以提供给控制器，以产生平滑的控制信号。应该注意的是，由于提供的示教并不是暂时一致的。所记录的重复示教或者一批示教，其时间值不相同。即使是一个熟练的示教者也不可能提供完全相同的重复示教。因此，预处理步骤涉及动态时间扭曲(DTW)技术，该技术测量多个示教的时间序列之间的相似性。