机器人示教学习:高级技能学习方法（学习计划和学习目标）

机器人可以在人类教师反馈的基础上来探索某项任务。反馈提供了关于机器人尝试的任务满足目标的程度的信息。大多数基于反馈的工作倾向于采用强化学习。传统的RL算法提供了一个反馈(奖励)信号，在这种情况下使用了人工响应。在某些情况下，除了人类的反馈，任务的表现直接受到老师的影响，老师允许选择下一步行动。在[10]中，这种方法将任务学习表现提高了约50%。

需要注意的是，有时选择的示教方法和获取的数据类型与学习算法的选择有关。一方面来自多个模态的示范增加了维数，增加了学习的复杂性。数据的维数可以降低，但是有些信息被忽略，导致从示教数据中学习不当。另一方面，缺少传感模态可能会在一开始就提供不完整的信息，导致学习算法表现不理想。

高级技能可以认为是一组低级技能或一组动作基元。除此之外，高级技能还包括对象可视性，涉及构建物理世界对象和机器人动作之间关系的知识。高级技能学习方法可以大致分为学习计划和学习目标。

1）学习计划:在这种高级技能的学习方法中，学习计划为从初始状态到最终状态的一系列动作。因此，动作是根据前置条件和后置条件定义的。前置条件为动作执行前的状态，后置条件为动作执行后的状态。除此之外，人类教师还用注释的形式提供附加信息。注释可以通过触觉、视觉或语义来提供。额外的信息允许更好地概括高水平的技能。可执行的动作可以是简单的低级技能，如抓住目标对象，拾起绿色的对象等，组合起来形成一个高级任务，如排序绿色的对象。另一方面，有一些方法可以通过在示教数据中寻找重复的结构来从高级技能示教中提取低级技能，这样就可以在不同的示教中识别它。在[2]中，一个示教学习范例是通过人类示教和在程序界面输入的用户目的来描述的。在[18]中，一些涉及一系列顺序旋转和转换的日常对象操作的示教被用来提取顺序的低级技能，并进一步构建一个计划。这项工作还示教了从一个对象到其他类似对象的学习知识转移。

2）学习目标:推断高级技能的目标。人类教师提供的示教被用来推断执行高级技能的意图。通过生成假设，可以从重复的示教中推断出目标。现代方法也使用基于奖励函数的强化学习方法来实现期望目标。如果奖励函数是从给定的示教中学习的，那么它就被认为是目标学习。一些基于强化学习的方法得到了很好的研究[19]。

3、讨论总结

技能的学习直接依赖于示教的准确性。大多数方法[20]手动消除了部分示教中的噪声。结合强化学习，在奖励和探索机制的基础上对技能学习进行改进。另一种改进技能的方法涉及示教者反馈[21]。当机器人在一个稍微不熟悉的情况下执行学习到的技能时，从人类教师那里得到关于执行技能可取性的反馈。目前为了实现这种技能细化的方法，研究人员主要从两个方面进行了研究：（1）控制机器人和人类教师之间的信息交互，（2）提供反馈。