农业机器人视觉识别杂草技术

杂草是农作物生产中的一大威胁，因为它与农作物争夺养分、水分、空间和光照。每年，虽然投入了大量的劳力、除草剂和精力，但杂草的侵袭给全世界的农业生产造成了巨大的损失。目前，化学除草仍是农业生产体系中控制杂草的主要方式。通过在全田均匀喷洒除草剂，可以迅速消灭大部分杂草，成本低、效率高。随着人们对食品安全和环境保护的日益重视，尽量减少化学除草剂的使用是大势所趋。通过以非化学方式自动清除杂草或精准施用除草剂，机器人系统被认为是减少传统农业中二氧化碳排放和农用化学品环境负荷的可行选择。为了实现高性能的机器人除草，特别是行内处理，必须正确检测和定位作物和杂草。世界各地的研究人员已经探索出了广泛的植物检测和定位方法，这些方法基于RTK GPS(实时运动学全球定位系统)、机器视觉、激光传感器、X射线、超声波等。RTK GPS系统可以为机器人除草提供作物植株和杂草的绝对位置，其前提是在处理前利用RTK GPS引导种植系统对作物进行种植，或者已经建立了作物/杂草分布图[1，2]。基于RTK-GPS的除草系统不会受到杂草密度、阴影、缺株的不利影响，但会受到卫星分布、天气状况、无线电干扰和地理环境的影响。一些研究者研究了用激光传感器检测植物的方法[3，4，5]。激光传感器通常价格相对较高，并且需要复杂的程序来处理输出的三维点云。X射线可以用于作物检测，因为植物的主茎会吸收X射线能量[6]。然而，X射线系统的安全性和成本是人们最关心的问题。在这一领域的研究报道非常少。随着计算机技术、图形学和图像处理技术的快速发展，机器视觉已被广泛应用于各种农业任务中。沿作物行的自主引导、单个植株的检测、机器人除草的杂草图绘制等都是应用机器视觉的重要领域。由于机器视觉可以提供目标物的颜色、形状、纹理、深度等丰富的信息，且精度相当高，成本相对较低，因此以往关于植物检测的研究大多基于机器视觉。                       

 图1 各类农业机器人
田间环境是复杂多变的非结构化环境，受气候、时间、农艺措施等因素影响。因此，研究人员在设计机器视觉系统和图像处理算法时，必须考虑到除草作业的要求以及田间环境的特点。基于机器视觉的系统应用于机器人除草中，一个值得关注的问题是，它们很可能受到自然光的影响，而自然光会随着时间的变化而变化。这主要给植被(作物和杂草)和背景(裸露的土壤、岩石和残留物)之间的分割以及特征提取带来困难。另一个挑战是区分外表相似的农作物和杂草。此外，当植物之间发生严重遮挡时，识别单个植物是非常具有挑战性的。到目前为止已经在1）应对不同的室外光照，2）作物/杂草识别方面付出了大量的努力。本文根据近期发表的论文Review of Machine-Vision-Based Plant Detection Technologies forRobotic Weeding，一起了解相关工作。
 
二、处理多变的自然光
当机器视觉系统在野外环境中工作时，日光的强度和光谱内容可能会随着时间的推移而变化。在晴天，由于图像中存在高光和阴影，图像处理变得更加困难。因此，有必要设计出对光线变化具有鲁棒性的系统及其算法。许多研究者已经研究了在不同自然光照下提高机器视觉系统性能的方法，如使用阴影、特别注意选择分割指数，或其他方法使图像处理算法对可变光照更加强大。

A. 阴影和人工照明
在许多研究中，为了获得恒定的光照条件，采用了人工照明和遮光等物理方法。如图1(a)所示，[7]所述的杂草识别系统拥有三盏400 W金属卤素灯的专用植物灯来照亮视野，并有一个防光的聚乙烯薄膜罩来遮挡自然光。商用机器人除草系统Steketee IC[8]的金属罩下安装有摄像头和大功率LED灯，用于监控每行作物，如图1(b)所示。金属罩保证了不会受到阳光和阴影的影响。图1(c)中的BoniRob农业田间机器人[9]也是利用阴影以及人工照明来控制作业区域的光照度。有些系统只采用人工照明来维持相对稳定的照明条件。如图1(d)所示，Robovator行内除草系统[10]在每个摄像头后面安装了一个卤素灯，以保持相对稳定的照明。但在图像采集区域上方没有配备遮挡物。AgBot II[11，12]在摄像头后面配备了脉冲照明模块，以提高采集图像的质量，如图1(e)所示。至于这两套系统，从环境中反射的自然光及其机械部件的阴影仍可能影响机器视觉系统。对于视场较窄的视觉系统来说，通过拼接机械方案和人工照明来应对多变的自然光，降低开发图像处理算法的难度。然而，一些除草系统，如图1(f)所示的Garford Robocrop InRow除草机[13]，使用每台摄像机监视多行作物。为了获得足够宽的视野，摄像机应安装在较高的位置。在这种情况下，阴影和人工照明会导致机器更加笨重和昂贵。许多研究人员坚持不懈地致力于设计对可变光照更为稳健的图像处理算法。
 
B. 考虑光照变化的图像处理
在大多数植物检测方法中，首先要对植被(农作物和杂草)和土壤背景进行分割，然后进行农作物/杂草识别和定位程序。因此，植被和土壤背景的分割直接受到光照条件变化的影响。目前大多方法均在自然光照下采集的图像上进行了测试，取得了一些良好的效果。但是，现场条件复杂多变，一种指数或分割方法很难具有普遍适用性。在更具挑战性的情况下，如处理中午在强烈阳光下采集的带有部分阴影的图像，需要进一步的测试和验证，以改进现有的方法，开发出更通用、更稳健的方法。
 
三、作物/杂草识别  
在机器人除草的作物和杂草检测程序中，最重要的一步是正确区分作物植株和杂草。由于杂草的种类繁多且分布不规则，而农作物和杂草在物理特征上又有相似之处，因此区分农作物和杂草并不是一件容易的事情。传统的方法通常是利用农作物和杂草在颜色（或光谱特征）、形状、质地、大小、高度和分布等特征上的差异。随着深度学习技术的兴起，越来越多的研究者开始应用深度神经网络来进行端到端的作物/杂草识别。
 
A. 基于颜色的作物/杂草识别
虽然大多数作物和杂草都是绿色的，但它们的光谱特征是不同的。直观地说，它们呈现出不同的绿色。颜色特征的提取比较简单快速，这对于根据颜色的区别来区分农作物和杂草是有利的。基于颜色特征的方法与基于纹理或形状特征的方法相比，通常不那么复杂。当待区分植物的颜色（光谱特征）比较接近时，使用颜色特征不能达到满意的区分效果。在更多的研究中，研究人员将颜色与其他特征结合起来进行作物/杂草的识别。
 
B. 基于形状的作物/杂草识别
由于田间植物的叶子形状各异，为视觉上区分不同植物提供了重要的信息来源。因此，许多方法设计并提取形状特征来区分作物和杂草。当植物叶子完好无损且无遮挡时，基于形状的方法可以非常有效。当植物叶片上有重叠和损伤时，提取形状特征的难度明显增加。此外，由于作物和杂草种类繁多，目前还缺乏一套通用的形状特征用于作物/杂草的识别。
 
C. 基于纹理的作物/杂草识别
 在田间图像中，由于植物在叶子大小、轮廓、脉络分布和密度上的差异，植物呈现出不同的纹理。因此，可以利用纹理特征来区分作物和杂草。基于纹理的方法在植物冠层的纹理频率存在显著差异的情况下非常有用。与形状特征类似，纹理特征提取也是一个相对复杂、计算量大的图像处理过程。通常情况下，特征选择和降维算法来选择贡献度较好的特征作为分类器的输入。纹理特征的优点是当作物和杂草的叶子相互遮挡时，它比形状特征在分离和识别方面更加稳健。
 
D. 基于高度的作物/杂草识别
通常，在同一田块中，作物植株的高度与杂草的高度大体相近，而与杂草的高度不同。特别是在移栽的作物田中，作物植物在高度上比杂草有明显的优势。立体视觉系统可以获得视野内的深度信息，这为根据作物和杂草的高度进行分割提供了一种方法。基于立体视觉的方法优势明显，因为它们可以利用二维图像的信息，同时引入植物的高度。另一方面，它们的缺点是需要复杂而耗时的程序来处理三维点云数据。
 
E. 基于分布的作物/杂草识别
由于大部分农作物都是按一定的行距种植的，现有的很多方法都是根据农作物植株的线性分布来提取农作物行，在此基础上可以有效地将农作物与行间杂草分开。植物的空间排列可以成为一个可靠的特征，因为它受视觉外观变化的影响更小。但是，它需要根据作物种植模式对每块田地进行调整，并且受到缺株和种植不准确的干扰。
 
F. 基于深度学习的作物/杂草识别
由于作物和杂草种类繁多，且缺乏一个通用的特征，大多数方法通过结合多个特征来判别作物和杂草。针对不同的识别对象和环境，选择合适的特征和分类方法是提高算法鲁棒性的关键。与传统方法相比，深度学习技术极大地改变了特征选择和分类方式。深度卷积神经网络(CNN)呈现出强大的特征提取能力，可以进行端到端的预测。深度学习技术在作物和杂草识别中的应用已成为新的研究前沿。深度学习方法的性能明显优于依靠手工制作特征的传统方法。它们还呈现出良好的泛化能力，这对于在真实的农业环境中工作是一个重要的特征，因为植物的种类和外观会随着田地和表象的变化而变化。然而，绝大多数基于深度学习的方法都采用监督学习，需要大量的训练数据才能获得最佳性能。
 
G. 现有数据集
目前，能够找到的开源野外图像数据集非常少。这主要是由于植物种类和田间条件的多样性，而且田间图像的标注过程具有挑战性，非常耗时。其中一个被广泛使用的公开田间图像数据集是由Chebrolu等人创建的[9]。该数据集包含了一个农业机器人上配备的传感器收集的5TB数据，包括一个4通道多光谱相机、一个RGB-D传感器和其他传感器，在三个月的时间里从甜菜田里收集到的数据。目前，仍缺乏大规模、高质量、多物种、开源的田间图像数据集，用于训练植物深度识别模型，进行公平比较，促进该研究领域的技术进步。
  
四、结论
从目前研究情况可以明确以下几点：1)为了应对野外环境中多变的自然光，已经提出了大量的物理解决方案以及算法，而物理解决方案被认为更可靠，更容易实现。2）虽然基于深度学习的方法已经优于传统的手工的特征方法，但将手工的特征和其他先验知识与深度学习模型相结合，有望减少训练和重新调整模型的标注工作；3）立体相机和多光谱相机可以参与到更多的系统中，因为它们可以提供更多的信息，有助于提高系统在挑战性条件下的准确性和鲁棒性。我们预计，未来在在线大数据和计算源的支持下，基于人工智能和通信技术的进步，植物识别将更加准确和精细。