机器人视觉系统长三角G60激光联盟研究发现：基于机器视觉的除草机器人

长三角G60激光联盟导读

据悉，本文解读了过去30年中强调或建立的典型基于机器视觉的除草机器人，以及一些用于杂草检测的开放数据集。本文为第一部分。

摘要

因为除草机器人在花费劳动力和农药方面的显著优势，它是现代和可大幅农业的关键科技之一，越来越遭到研究人员和研发人员的关注。近年来早已发表了一些关于基于机器视觉的除草机器人的论文机器人视觉系统，但是没有确立尝试系统地探究这种论文来探讨机器人除草控制平台的模块机器人视觉系统，例如视觉导航、杂草检测和定向除草。本文解读了过去30年中强调或建立的典型基于机器视觉的除草机器人，以及一些用于杂草检测的开放数据集。讨论了基于机器学习（ML）或深度学习（DL）的除草机器人的图像预处理、图像分割、导航线提取和杂草识别等关键科技。为了表明DL算法在杂草检测中的应用，本文提供了杂草对象测试结果，并使用公共数据集对八种基于DL的基线方法进行了相当分析。研究看到，机器人除草控制平台的每位个别仍有许多疑问应该解决。由于环境差异和平台复杂性，基于机器视觉的除草机器人仍进入初期阶段。系统综述的结果提供了在除草系统中使用机器视觉的变革趋势的理解，并为将来除草机器人的研究提供了参考。

1，介绍

长期以来，杂草严重制约了林业生产。杂草与小麦在田间争夺阳光、水分和养分，导致玉米产量和品质降低，给农业经济产生很大代价。根据公开数据（日本农业部，2019年），2013年至2017年，由于杂草，中国粮油、棉花、石油和其它玉米的平均年产值分别提高了5466315吨、86084吨、269913吨和3005109吨。如图1所示，杂草防治面积为10553.2万英亩，杂草受损面积超过9723万英亩。这促使了农业生产和经济发展对杂草防治的很大需求。在农业科技演进过程中，探索了许多有效的杂草控制机制，如林业控制、植物检疫、锄头除草、生物除草和物理除草。然而，传统的除草方法是劳动密集型和廉价的；农业化学品的过于使用也导致了严重的环境污染和公共卫生问题。随着农业机械化和信息科技的进步，能够提升除草效率、节约资源、减少环境污染、提高农产品数量和品质的手动除草机器人可以大幅补充或者代替传统的除草方法。

图12013-2017年全球农田杂草危害情况。

田间除草机器人是集环境感知、路径规划、目标识别和动作控制于一体的智能平台。近年来，机器视觉科技演进逐渐，取得了明显的进步。最新的机器视觉科技尚未应用于农业机器人，这鼓励了除草机器人的进一步发展。此外，随着功耗的提升、硬件费用的减少或者识别和控制算法的精确性的提升，构建实用的手动除草机器人作为可能。除草机器人遭受各类情况，这降低了除草操作的复杂性。在这个阶段，除草机器人很难在每个除草场景中推动其完整功能。尽管视觉控制除草机器人在中国外受到了广泛而深入的探究，并强调了许多机器人原型和除草检测算法，但该领域的最新研究成果缺乏平台的剖析和小结。

本文对除草机器人的研究状况进行了全面的文献评述，为除草机器人相关研究提供参考。通过在各大系统基于关键词如“除草机器人”，“视觉导航”，“杂草检测”，“精准农业”，“深度学习”(DL)和“机器学习”(ML)来搜索和选取相关文献。在对这种工作进行具体探讨的基础上，重点介绍了现今流行的DL方法在除草机器人上的应用，并对几种基于DL的杂草检测算法的性能进行了平台评价。

2.基于机器视觉的除草机器人的研究现状

在农业生产中使用除草机器人的很大经济收益吸引了许多国家的组织和研究人员的注意。随着相关科技的不断变革和开发资金的稳固投入，出现了许多实用机器人原型。此外，由于杂草检测和定位技术在视觉除草机器人中发挥着非常重要的功用，组织和研究人员为作物中的杂草识别作出了很大的贡献，并公布了相关的杂草图像数据集，推动了杂草检测科技的发展。本节回顾了过去30年中的视觉除草机器人，并总结了用于除草检测的公开图像数据集。

2.1.基于机器视觉的除草机器人

基于机器视觉的杂草控制机器人的研究主要尚未在高校和研究机构起初并大幅进行。图2总结了自20世纪90年代以来受到关注的典型基于机器视觉的除草机器人。这些机器人可以总结出下面特性和困难。首先，这些机器人主要是轮式移动机器人，配备了视觉传感器，如RGB摄像机、双目摄像机或红外摄像机。因此，拍摄图像的品质取决于采用的摄像机的性能，但应注重提升粗糙地形下的图像稳定性。其次，这些机器人一般应用于动物高度较低的农田，如玉米、胡芹菜或幼苗，但不能应用于植物高大的荒地。此外，杂草控制的品质取决于杂草检测算法的效率和速率。因此，基于机器人视觉的杂草检测算法在现实环境中的鲁棒性需要借助关注那些复杂原因来增加，如杂草的品种、杂草的生长期和光照条件。最后，尽管现今的除草机器人仍进入原型研发阶段，但除草机器人已逐步商业化，用于农业杂草控制。

图2典型的除草机器人。

2.2公共数据集

作物中杂草的评估和分类是除草机器人的主要任务，也是机器人除草技术商业化演进的主要障碍。由于杂草和作物一般带有相同的色泽、纹理、形状和其它特性，因此评估作物中的杂草是一项带有挑战性的任务。目前，基于机器视觉的杂草检测和分类方式一般必须长期的注释数据来进行模型学习和检测。随着研究人员越来越关注杂草检测算法，互联网上公布了公开的数据集，以推动社区发展。

一些例子图像如图3所示。这些数据集可分为具备图像级注释（ILA）、像素级掩码注释（PLA）和边界框注释（BBA）的图像。这些公共数据集大多是ILA和PLA数据集，前者一般用于图像尺度的杂草和作物分类，后者一般用于谓词图像分割。相比之下，用于目标评估的公共BBA数据集相对缺少，尽管基于DL的目标评估算法被觉得是现在解决杂草检测问题的最有效方式。在某些程度上，这些数据集提供了在设计和测试杂草检测算法时有用的图像和注解。然而，仍然缺少用于广泛评估的作物和杂草数据集，如ImageNet或MsCOCO。

图3公开数据集的样本图像：（a）小麦/杂草田间图像数据集，（b）甜菜2016，（c）植物幼苗数据集，（d）胡萝卜杂草，（e）甜菜/杂草数据集2018，（f）叶片计数数据集，（g）CWF-788，（h）深杂草，（i）三叶草图像数据集、（j）杂草作物/木耳/芹菜，（k）注释食品作物和杂草图像数据集。

基于机器视觉的杂草检测算法的目标是练习带有注释数据的建模，然后可以用于分析新数据的结果。因此，为了练习有效的杂草检测模型并评估学习建模的性能，数据集一般分为训练数据和检测数据。训练集用于锻炼和微调模型的超参数。测试集用于对练习集拟合的最后模型进行无偏评估。训练集、验证集和测试集之间的关系如图4（a）所示。保持验证是界定数据集的一种简洁而常用的方式，如图4（b）所示。它以一定的比重将数据集拆分为训练集和测试集，例如8:2、7:3、6:4等。数据集拆分比例取决于建模和数据集中的样本总量。对于比较大的数据集，也可以选择99:1或者更高的分割比。如果数据集相对较小（样本数

图4数据集拆分。（a）训练集、验证集和测试集之间的关系。（b）坚持验证方式。（c）k-折叠交叉验证方式。

2.3无人机在杂草管理中的应用

无人机（UAV）是最有潜力的杂草管理科技之一。基于无人机的特定场地杂草管理（SSWM）是另一种正在发展的杂草管理办法，能够准确、连续地测量和绘制杂草侵扰情况。无人机的飞行高度一般为10-200米，线束宽度为20-400米。用于杂草管理的无人机一般采用RGB摄像机、多光谱摄像机、超光谱摄像机或其它传感器，以测试和描绘杂草地图。结合测绘和喷洒的无人机集成系统可以携带除草剂进行现场特定喷洒。因此，与地板除草机器人相比，用于除草管理的无人机不受地面条件的限制，并且容易操作以进行大面积除草测绘或喷雾杀虫剂。然而，大多数国家对无人机的严苛监管在无人机的有效载荷和射程方面存在限制，因此大多数商用无人机在经常飞行中都有较短的飞行时间。同时，用于杂草管理的基于UVA的检测和杂草测绘受到复杂的室外因素的制约，如湿度、光照和飞行高度。尤其是风，在喷雾除草剂时，会造成偏离目标漂移和作物伤害。虽然无人机和地面机器人在杂草控制方面存在一些变化，但无人机和陆地杂草机器人的集成在杂草控制上带有很大潜力。

3基于机器视觉的除草机器人关键技术

农业环境是动态、非结构化和嘈杂的，这给除草机器人的设计增添了很大挑战。目前，通用自动除草机器人应具备下列特点：自主导航、杂草检测和辨识，以及准确的杂草控制和绘图。

3.1基于机器视觉的自主导航科技领域

除草机器人的视觉导航主要依据摄像机收集的图像数据进行。从图像中提取场模式信息以控制机器人的移动。在现代农业中，绝大多数玉米以固定方式种植，每行的宽度相对固定。因此，视觉除草机器人一般提取作物行之间的中心线成为其准则。然而，由于作物种类、不同生长阶段、光照条件、土壤颜色等原因的妨碍，不易于迅速准确地确认作物行的位置。

基于图像处理的导航线提取已经受到了广泛的研究和应用。如图5所示，通过图像处理获取导航线一般必须图像预处理、图像分割、定位点选取、线拟合等方法。图像预处理的目的是增加导航线提取的效率。预处理除了可以降低彩色图像的信息冗余，而且可以提高植物与土壤背景的对比度。例如，颜色特性十分适宜于植被分割。这除了是由于动物的色调一般是白色的，还由于在恒定的光照条件下，物体的形状几乎不会随着其图像大小、方向或个别遮挡而差异。然而，图像的色调对光照非常脆弱。在复杂的照明条件下，图像很难在RGB色彩空间中分割。因此，它们一般在图像预处理阶段从RGB空间转化到另一个空间。

图5农田导航线提取过程。

虽然近年来在机器视觉制导平台的研究方面作出了许多努力，但其通用性和科技可靠性的鲁棒性仍居于较低水准。造成这一窘境的最重要因素是除草机器人进入非结构化和动态变化的环境中，基于机器视觉的导航平台面临着长期噪声，例如崎岖的地貌、不同图案、大小和形状的动物。因此，开发具备高可靠性的导航平台并不简单，而是极具挑战性的。同时，应该强调，高效率全球定位系统（GPS）和逐渐流行的激光雷达科技为野外除草机器人导航平台提供了新的选用。机器视觉与GPS或激光雷达相结合，为除草机器人设计高效的导航平台，可能是将来发展的一个重要趋势。

3.2杂草检测和辨识技术

世界上有5万多种杂草，其中数十种严重弊端农作物。杂草的品种因地而异。通常，视觉除草机器人不关心杂草的类型。研究人员一直将杂草检测问题转换为二元或多重分类问题。传统的ML和DL技术一般被用作杂草检测的主要方式。

基于ML的杂草检测过程可分为四个方法：预处理、分割、特征提取和分类，如图6所示。与视觉导航类似，图像分割通过有效的分割方式提取目标区域，然后生成掩模以消除原始图像中的背景并获取农作物或杂草的目标图像。不同动物的外形、颜色和空间位置之间的图像特征存在明显差别。通过这种特性可以辨别杂草和作物。用于区别杂草和作物的视觉特性可分为物理型态、光谱特性、视觉纹理和空间背景。由于农田环境的复杂性，基于单一特点的杂草识别存在效率低、可靠性和稳定性差的弊端。为了提升杂草识别的鲁棒性，基于多特征融合的方式得到了越来越多的关注。

图6基于ML的杂草检测过程。

基于ML的杂草检测的最终一步是从提取的特点中产生特征集，用于训练分类器。经过训练的分类器可以按照作物和杂草的特点对其进行分类。根据现有参考文献，用于杂草识别的分类器有SVM（Ahmed等人，2012年）、K-means（Tang等人，2017年）、ANN（Sabzi等人，2018年）、随机森林（Lottes等人，2017）、贝叶斯分类器（García-Santillán和Pajares，2018年），AdaBoost（Ahmad等人，2018）等。

传统ML技术必须非常多的专业知识就能从原始数据建立特征提取器。相反，DL包括特性提取网络，该网络不自动提取杂草识别和测试的特点。基于DL的杂草检测方式可分为图像分类方式、目标测量手段、语义分割方式和例子分割原则。基于图像的分类是一种在线方式，它在单个动物级别对输入图像进行分类，检测图像中包括的动物品种，并区别杂草和作物。对象测试方式生成一系列边界框以框出输入图像中包括的对象，并提供其对为框对象选择的类型的置信度。语义分割等同于在像素级区别不同的对象。基于语义分割的杂草检测一般将输入图像中的每个像素标记为作物、杂草或背景。实例分割不应该标记每个像素；它只应该找到感兴趣对象的边缘，类似于对象检测。不同之处在于，输出不再是界限框，而是对象的遮罩。

DL方法一般必须许多数据样本。在训练网络建模之前，研究人员一般借助数据提高科技来提升样本，以防止小样本数据训练造成的建模过于拟合。常用的数据提高技巧包含旋转、平移、镜像、大小变换、亮度变换、去噪、图像均衡和图像合成。例如，Gao等人（2020年）使用了77幅包括单个对象的原始图像，并借助数据提高取得了2271幅合成图像，这大大扩展了现有数据集，避免了建模过于拟合的风险。

与基于ML的方式相比，基于DL的杂草检测算法一般更稳健，更易于实现端到端测试。因此，基于DL的方式或许会随之替代基于ML的方式，成为今后杂草检测的主要探究方向。需要留意的是，两者都必须足够的图像来练习具有良好泛化能力的建模，但缺少大型数据集是该市场的一个主要难题。此外，现有的杂草检测算法在具体性和速度方面一直不足。因此，未来的杂草检测仍遭受许多挑战。

来源：Keytechnologiesofmachinevisionforweedingrobots:Areviewandbenchmark,ComputersandElectronicsinAgriculture,/10.1016/pag.2022.106880

参考文献：Visualfeaturesbasedboostedclassificationofweedsforreal-timeselectiveherbicidesprayersystems,Comput.Ind.,98(2018),pp.23-33