一种杂草识别方法及杂草处理设备

IPRDB

API 数据接口

专利申请

使用指引 chat嘟嘟

会员体验

联系我们

交流群

现在联系顾问~

一种杂草识别方法及杂草处理设备
申请号	CN202010323507.6	申请日	2020-04-22	公开(公告)号	CN111523457A	公开(公告)日	2020-08-11
申请人	七海行(深圳)科技有限公司;			发明人	郭霄; 宋佳音;
摘要	本发明实施例提供了一种杂草识别方法及杂草处理设备，可以通过所述图像采集装置采集地面的图像，得到待识别图像；利用预设的亮度门限对所述待识别图像进行二值化处理，得到二值化图像；确定所述二值化图像中各个植物所在的图像区域；将各个所述图像区域输入预训练的植物识别模型，得到各个所述图像区域中各个植物的识别结果；根据各个所述识别结果识别所述待识别图像中的杂草。应用本发明实施例提供的方案，通过对杂草的自动识别来提高自动化除草的精准度，并且替代人工来对杂草进行处理，提高处理效率。
权利要求	1.一种杂草识别方法，其特征在于，应用于杂草处理设备，所述杂草处理设备包括：图像采集装置和杂草处理装置，所述方法包括：通过所述图像采集装置采集地面的图像，得到待识别图像；利用预设的亮度门限对所述待识别图像进行二值化处理，得到二值化图像；确定所述二值化图像中各个植物所在的图像区域；将各个所述图像区域输入预训练的植物识别模型，得到各个所述图像区域中各个植物的识别结果，其中，所述植物识别模型为：利用植物样本图像和其中植物的类型对神经网络模型进行训练得到，用于识别图像中所包含植物的类型的模型；根据各个所述识别结果识别所述待识别图像中的杂草。 2.如权利要求1所述的方法，其特征在于，所述根据各个所述识别结果识别所述待识别图像中的杂草的步骤之后，还包括：将所述二值化图像划分为nm个网格区域；分别统计每一个网格中表征植物的像素点的覆盖率，并将覆盖率大于预设数值的网格确定为植物所在的网格；利用各个植物所在网格区域构成的联通区域分别更新各个所述图像区域。 3.如权利要求2所述的方法，其特征在于，所述将覆盖率大于预设数值的网格确定为植物所在的网格的步骤，包括：同一网格中表征作物的像素点的覆盖率和表征杂草的像素点的覆盖率均高于预设数值的情况下，将网格确定为作物所在的网格。 4.如权利要求2所述的方法，其特征在于，所述利用各个植物所在网格区域构成的联通区域分别更新各个所述图像区域的步骤之后，还包括：确定更新后各个图像区域的中心点；利用所确定的各个中心点对所述待识别图像中的植物进行标记。 5.如权利要求2-4任一项所述的方法，其特征在于，所述利用各个植物所在网格区域构成的联通区域分别更新各个所述图像区域的步骤之后，还包括：获取所述图像采集装置与所述地面在竖直方向上的距离，以及所述图像采集装置与所述杂草处理装置在水平方向上的距离，分别作为第一距离和第二距离；利用所述第一距离、第二距离以及待识别图像的分辨率计算所述地面中杂草距离所述杂草处理装置之间的距离。 6.一种杂草处理设备，其特征在于，包括：图像采集装置和杂草处理装置，所述杂草处理设备还包括：采集模块，与所述图像采集装置相连接用于通过所述图像采集装置采集地面的图像，得到待识别图像；处理模块，与所述采集模块相连接用于利用预设的亮度门限对所述待识别图像进行二值化处理，得到二值化图像；第一确定模块，与所述处理模块相连接用于确定所述二值化图像中各个植物所在的图像区域；得到模块，与所述第一确定模块相连接用于将各个所述图像区域输入预训练的植物识别模型，得到各个所述图像区域中各个植物的识别结果，其中，所述植物识别模型为：利用植物样本图像和其中植物的类型对神经网络模型进行训练得到，用于识别图像中所包含植物的类型的模型；识别模块，与所述得到模块和所述杂草处理装置相连接用于根据各个所述识别结果识别所述待识别图像中的杂草。 7.如权利要求6所述的杂草处理设备，其特征在于，所述杂草处理设备还包括：划分模块，与所述识别模块相连接用于将所述二值化图像划分为nm个网格区域；统计模块，与所述划分模块相连接用于分别统计每一个网格中表征植物的像素点的覆盖率，并将覆盖率大于预设数值的网格确定为植物所在的网格；更新模块，与所述统计模块相连接用于利用各个植物所在网格区域构成的联通区域分别更新各个所述图像区域。 8.如权利要求7所述的杂草处理设备，其特征在于，所述统计模块还用于，同一网格中表征作物的像素点的覆盖率和表征杂草的像素点的覆盖率均高于预设数值的情况下，将网格确定为作物所在的网格。 9.如权利要求7所述的杂草处理设备，其特征在于，还包括：第二确定模块，与所述更新模块相连接用于确定更新后各个图像区域的中心点；标记模块，与所述第二确定模块相连接用于利用所确定的各个中心点对所述待识别图像中的植物进行标记。 10.如权利要求7-9任一项所述的杂草处理设备，其特征在于，还包括：获取模块，分别与所述更新模块和标记模块箱连接用于获取所述图像采集装置与所述地面在竖直方向上的距离，以及所述图像采集装置与所述杂草处理装置在水平方向上的距离，分别作为第一距离和第二距离；计算模块，与所述获取模块和杂草处理装置相连接用于利用所述第一距离、第二距离以及待识别图像的分辨率计算所述地面中杂草距离所述杂草处理装置之间的距离。
说明书全文	一种杂草识别方法及杂草处理设备技术领域 [0001] 本发明涉及自动化技术领域，特别是涉及一种杂草识别方法及杂草处理设备。背景技术 [0002] 目前农田除草方法通常包括：农用机械大面积作业(如大面积喷洒农药)和人工作业(如选择性喷药，挖草等)两种方式。 [0003] 然而，实际应用中，使用机械大面积作业方式存在精准度差、浪费农药、土壤农药残留大等问题；人工性作业存在效率低、农药毒性对人员的人身健康存在影响等问题。发明内容 [0004] 本发明实施例的目的在于提供一种杂草识别方法及杂草处理设备，以实现提高对农田中的杂草进行识别的精准性并替代人工来进行杂草处理，节省人力资源。具体技术方案如下： [0005] 本发明实施的一方面提供的一种杂草识别方法，应用于杂草处理设备，所述杂草处理设备包括：图像采集装置和杂草处理装置，所述方法包括： [0006] 通过所述图像采集装置采集地面的图像，得到待识别图像； [0007] 利用预设的亮度门限对所述待识别图像进行二值化处理，得到二值化图像； [0008] 确定所述二值化图像中各个植物所在的图像区域； [0009] 将各个所述图像区域输入预训练的植物识别模型，得到各个所述图像区域中各个植物的识别结果，其中，所述植物识别模型为：利用植物样本图像和其中植物的类型对神经网络模型进行训练得到，用于识别图像中所包含植物的类型的模型； [0010] 根据各个所述识别结果识别所述待识别图像中的杂草。 [0011] 可选的，所述根据各个所述识别结果识别所述待识别图像中的杂草的步骤之后，还包括： [0012] 将所述二值化图像划分为nm个网格区域； [0013] 分别统计每一个网格中表征植物的像素点的覆盖率，并将覆盖率大于预设数值的网格确定为植物所在的网格； [0014] 利用各个植物所在网格区域构成的联通区域分别更新各个所述图像区域。 [0015] 可选的，所述将覆盖率大于预设数值的网格确定为植物所在的网格的步骤，包括： [0016] 同一网格中表征作物的像素点的覆盖率和表征杂草的像素点的覆盖率均高于预设数值的情况下，将网格确定为作物所在的网格。 [0017] 可选的，所述利用各个植物所在网格区域构成的联通区域分别更新各个所述图像区域的步骤之后，还包括： [0018] 确定更新后各个图像区域的中心点； [0019] 利用所确定的各个中心点对所述待识别图像中的植物进行标记。 [0020] 可选的，所述利用各个植物所在网格区域构成的联通区域分别更新各个所述图像区域的步骤之后，还包括： [0021] 获取所述图像采集装置与所述地面在竖直方向上的距离，以及所述图像采集装置与所述杂草处理装置在水平方向上的距离，分别作为第一距离和第二距离； [0022] 利用所述第一距离、第二距离以及待识别图像的分辨率计算所述地面中杂草距离所述杂草处理装置之间的距离。 [0023] 本发明实施的又一方面还提供了一种杂草处理设备，包括：图像采集装置和杂草处理装置，所述杂草处理设备还包括： [0024] 采集模块，与所述图像采集装置相连接用于通过所述图像采集装置采集地面的图像，得到待识别图像； [0025] 处理模块，与所述采集模块相连接用于利用预设的亮度门限对所述待识别图像进行二值化处理，得到二值化图像； [0026] 第一确定模块，与所述处理模块相连接用于确定所述二值化图像中各个植物所在的图像区域； [0027] 得到模块，与所述第一确定模块相连接用于将各个所述图像区域输入预训练的植物识别模型，得到各个所述图像区域中各个植物的识别结果，其中，所述植物识别模型为：利用植物样本图像和其中植物的类型对神经网络模型进行训练得到，用于识别图像中所包含植物的类型的模型； [0028] 识别模块，与所述得到模块和所述杂草处理装置相连接用于根据各个所述识别结果识别所述待识别图像中的杂草。 [0029] 可选的，所述杂草处理设备还包括： [0030] 划分模块，与所述识别模块相连接用于将所述二值化图像划分为nm个网格区域； [0031] 统计模块，与所述划分模块相连接用于分别统计每一个网格中表征植物的像素点的覆盖率，并将覆盖率大于预设数值的网格确定为植物所在的网格； [0032] 更新模块，与所述统计模块相连接用于利用各个植物所在网格区域构成的联通区域分别更新各个所述图像区域。 [0033] 可选的，所述统计模块还用于， [0034] 同一网格中表征作物的像素点的覆盖率和表征杂草的像素点的覆盖率均高于预设数值的情况下，将网格确定为作物所在的网格。 [0035] 可选的，还包括： [0036] 第二确定模块，与所述更新模块相连接用于确定更新后各个图像区域的中心点； [0037] 标记模块，与所述第二确定模块相连接用于利用所确定的各个中心点对所述待识别图像中的植物进行标记。 [0038] 可选的，还包括： [0039] 获取模块，分别与所述更新模块和标记模块箱连接用于获取所述图像采集装置与所述地面在竖直方向上的距离，以及所述图像采集装置与所述杂草处理装置在水平方向上的距离，分别作为第一距离和第二距离； [0040] 计算模块，与所述获取模块和杂草处理装置相连接用于利用所述第一距离、第二距离以及待识别图像的分辨率计算所述地面中杂草距离所述杂草处理装置之间的距离。 [0041] 本发明实施例提供的杂草识别方法及杂草处理设备，可以通过所述图像采集装置采集地面的图像，得到待识别图像；利用预设的亮度门限对所述待识别图像进行二值化处理，得到二值化图像；确定所述二值化图像中各个植物所在的图像区域；将各个所述图像区域输入预训练的植物识别模型，得到各个所述图像区域中各个植物的识别结果；根据各个所述识别结果识别所述待识别图像中的杂草。应用本发明实施例提供的方案，通过对杂草的自动识别来提高自动化除草的精准度，并且替代人工来对杂草进行处理，提高处理效率。附图说明 [0042] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。 [0043] 图1为本发明实施例提供的一种杂草识别方法的流程示意图； [0044] 图2为本发明实施例提供的一种杂草处理设备的运行示意图； [0045] 图3为本发明实施例提供的一种图像采集装置采集到的地面的图像； [0046] 图4所示为本发明实施例一种植物所在图像区域的示意图； [0047] 图5为本发明实施例提供的一种离散化处理后的二值化图像； [0048] 图6为本发明实施例提供的一种杂草处理设备的结构示意图。具体实施方式 [0049] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 [0050] 参见图1为本发明实施例提供的一种杂草识别方法的流程示意图，应用于杂草处理设备，所述杂草处理设备包括：图像采集装置和杂草处理装置。参见图2为本发明实施例提供的一种杂草处理设备的运行示意图，图中图像采集装置部署在杂草处理设备前进方向的前端，对地面进行拍摄；杂草处理装置部署在杂草处理设备上位于图像采集装置的后方，杂草处理设备在根据图像采集装置采集的图像识别出地面上的杂草之后，可以控制杂草处理装置对杂草进行处理，比如，对杂草进行拔出、对杂草进行喷药等。 [0051] 具体的，上述杂草识别方法包括： [0052] S100，通过图像采集装置采集地面的图像，得到待识别图像。 [0053] 在实施中，图像采集装置可以与地面垂直设置，当然也可以根据采集范围来实时调整图像采集装置与地面之间的角度；图像采集装置与地面之间的距离可以根据地面上植物的高度来调整，将图像采集装置与植物之间的距离维持在一定的范围之内。 [0054] 在实施中，图像采集装置可以按照预定的采集频率来实时采集地面的图像，如图3为本发明实施例提供的一种图像采集装置采集到的地面的图像。 [0055] S110，利用预设的亮度门限对待识别图像进行二值化处理，得到二值化图像。 [0056] 在实施中，农田地面场景中包含的元素较少，并且，农田中的植物通常以绿色为主，因此，一种实现方式中，预设的亮度门限可以为RGB中绿色通道的亮度，利用预设的亮度门限值对待识别图像进行二值化处理之后得到一个黑白图像，也就是二值化图像。 [0057] S120，确定二值化图像中各个植物所在的图像区域。 [0058] 在实施中，由于二值化图像中植物与背景的区别会比较明显，可以通过方框将各个植物外围标记出来，相应地，方框范围内的图像区域也就是各个植物所在的图像区域，如图4所示为本发明实施例一种植物所在图像区域的示意图。 [0059] S130，将各个图像区域输入预训练的植物识别模型，得到各个图像区域中各个植物的识别结果。 [0060] 其中，植物识别模型为：利用植物样本图像和其中植物的类型对神经网络模型进行训练得到，用于识别图像中所包含植物的类型的模型。 [0061] 在实施中，可以利用一定数量的植物样本图像和其中植物的类型对神经网络模型进行训练来得到植物识别模型，训练过程可以包括以下步骤： [0062] 第一步，将样本图像标准化为统一分辨率；第二步，对样本图像进行两次33空间卷积操作，并记录结果；第三步，对第二步的输出结果进行22池化操作；第四步，对第三部的输出结果进行两次33卷积操作，并记录结果；第五步，对第四部的输出结果进行22池化操作；第六步，对第五步的输出结果进行两次33的卷积操作，并记录结果；第七步，对第六步的输出结果进行上22上采样操作；第八步，对第七步的输出结果和第六步的输出结果进行矩阵横向拼接；第九步，对第八步的拼接结果进行两次33的空间卷积操作；第十步，对第九步的操作结果进行22上采样操作；第十一步，对第十步的采样结果和第四步的输出结果进行矩阵横向拼接操作；第十二步，对十一步的拼接结果进行两次33卷积操作；第十三步，对十二步的操作结果进行尺寸变换操作，大小恢复为原始图像的大小，最后使用softmax激活函数完成模型训练。 [0063] 利用植物样本图像和其中植物的类型对神经网络模型进行得到植物识别模型之后，即可利用植物识别模型来识别各个图像区域中包含的各个植物的种类。在实施中，可以逐个将各个图像区域输入至植物识别模型；而为了加快识别速度也可以多个并行的方式将各个图像区域输入植物识别模型，此种情况，在将各个图像区域输入植物识别模型进行识别时，可以对各个图像区域进行标记，比如，利用各个图像区域在待识别图像中的坐标来对各个图像区域进行标记。 [0064] 在实施中，为了降低植物识别模型的识别量，可以仅识别作物的类型，而对杂草的类型不做细分处理，统一归为杂草。 [0065] S140，根据各个识别结果识别待识别图像中的杂草。 [0066] 在实施中，各个图像区域中各个植物的识别结果，也就是待识别图像中各个植物的识别结果。具体的，当采取逐个将各个图像区域输入至植物识别模型的方式时，得到该图像区域的识别结果之后，则可以结合该图像区域在待识别图像中的位置来识别待识别图像中的杂草； [0067] 而当采取多个并行的方式将各个图像区域输入植物识别模型的方式时，在得到多个图像区域的识别结果之后，则可以结合各个图像区域的标记，来确定待识别图像中的杂草。 [0068] 在实施中，为了进一步提高后续杂草处理的精度，在识别待识别图像中的杂草之后，还可以对图像进行离散化处理，具体的，包括： [0069] 将二值化图像划分为nm个网格区域；分别统计每一个网格中表征植物的像素点的覆盖率，并将覆盖率大于预设数值的网格确定为植物所在的网格；利用各个植物所在网格区域构成的联通区域分别更新各个图像区域。 [0070] 如图5所示，为本发明实施例提供的一种离散化处理后的二值化图像。在实施中n和m的值可以根据处理精度来确定，不难理解的是，n和m的值越大，对二值化图像划分得到的网格区域越大，相应地，后续更新后的图像区域所表征的植物在二值化图像中的区域越准确。 [0071] 在实施中，作物和杂草可能存在重叠区域，相应地，当同一网格中表征作物的像素点的覆盖率和表征杂草的像素点的覆盖率均高于预设数值的情况下，可以将网格确定为作物所在的网格，避免将作物被当做杂草而造成误处理。 [0072] 在实施中，在对杂草进行处理时，某些杂草的处理方法依赖于对其生长中心点的识别，比如，对该杂草进行处理时需要对其根部进行喷洒药液，对于此种情况，本发明实施例一种实现方式中，可以确定更新后各个图像区域的中心点；利用所确定的各个中心点对所述待识别图像中的植物进行标记。也就是将各个区域的中心点作为作为的生长中心点。 [0073] 一种实现方式中，当需要对杂草进行处理时，可以获取图像采集装置与地面在竖直方向上的距离，以及图像采集装置与杂草处理装置在水平方向上的距离，分别作为第一距离和第二距离；利用第一距离、第二距离以及待识别图像的分辨率计算地面中杂草距离杂草处理装置之间的距离。 [0074] 具体距离计算过程包括：待识别图像的下沿为杂草处理装置被布置的位置，进行实际标定过程中，可以通过测量得到待识别图像的上沿到下沿之间高度对应的实际距离H，待识别图像的宽度对应的实际距离L；同时已知待识别图像的分辨率为ij，i和j分别为待识别图像的横向分辨率和纵向分辨率。这样已知待识别图像上一个点的坐标为(p,q)时，那么该点的真实位置坐标则为(x,y)，其中，x＝(L/i)p，y＝(H/j)q，进而得到地面中杂草距离杂草处理装置之间的距离。 [0075] 在实施中，计算得到了杂草距离杂草处理装置之间的距离之后，杂草处理设备则可以在向前继续移动计算得到的距离之后，控制杂草处理装置来对杂草进行处理。 [0076] 应用本发明实施例提供的方案，通过对杂草的自动识别来提高自动化除草的精准度，并且替代人工来对杂草进行处理，提高处理效率。 [0077] 参见图6为本发明实施例提供的一种杂草处理设备的结构示意图，包括：图像采集装置和杂草处理装置，所述杂草处理设备还包括： [0078] 采集模块600，与所述图像采集装置相连接用于通过所述图像采集装置采集地面的图像，得到待识别图像； [0079] 处理模块610，与所述采集模块相连接用于利用预设的亮度门限对所述待识别图像进行二值化处理，得到二值化图像； [0080] 第一确定模块620，与所述处理模块相连接用于确定所述二值化图像中各个植物所在的图像区域； [0081] 得到模块630，与所述第一确定模块相连接用于将各个所述图像区域输入预训练的植物识别模型，得到各个所述图像区域中各个植物的识别结果，其中，所述植物识别模型为：利用植物样本图像和其中植物的类型对神经网络模型进行训练得到，用于识别图像中所包含植物的类型的模型； [0082] 识别模块640，与所述得到模块和所述杂草处理装置相连接用于根据各个所述识别结果识别所述待识别图像中的杂草。 [0083] 可选的，所述杂草处理设备还包括： [0084] 划分模块，与所述识别模块相连接用于将所述二值化图像划分为nm个网格区域； [0085] 统计模块，与所述划分模块相连接用于分别统计每一个网格中表征植物的像素点的覆盖率，并将覆盖率大于预设数值的网格确定为植物所在的网格； [0086] 更新模块，与所述统计模块相连接用于利用各个植物所在网格区域构成的联通区域分别更新各个所述图像区域。 [0087] 可选的，所述统计模块还用于， [0088] 同一网格中表征作物的像素点的覆盖率和表征杂草的像素点的覆盖率均高于预设数值的情况下，将网格确定为作物所在的网格。 [0089] 可选的，还包括： [0090] 第二确定模块，与所述更新模块相连接用于确定更新后各个图像区域的中心点； [0091] 标记模块，与所述第二确定模块相连接用于利用所确定的各个中心点对所述待识别图像中的植物进行标记。 [0092] 可选的，还包括： [0093] 获取模块，分别与所述更新模块和标记模块箱连接用于获取所述图像采集装置与所述地面在竖直方向上的距离，以及所述图像采集装置与所述杂草处理装置在水平方向上的距离，分别作为第一距离和第二距离； [0094] 计算模块，与所述获取模块和杂草处理装置相连接用于利用所述第一距离、第二距离以及待识别图像的分辨率计算所述地面中杂草距离所述杂草处理装置之间的距离。 [0095] 应用本发明实施例提供的方案，通过对杂草的自动识别来提高自动化除草的精准度，并且替代人工来对杂草进行处理，提高处理效率。 [0096] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。 [0097] 本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。 [0098] 以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。