一种除草机器人及其除草路径的规划方法、装置和介质转让专利
申请号 : CN202111147412.4
文献号 : CN113597874B
文献日 : 2021-12-24
发明人 : 崔龙飞 , 薛新宇 , 乐飞翔 , 孙涛 , 张宋超 , 陈晨 , 金永奎 , 徐阳 , 孙竹 , 丁素明 , 周晴晴 , 蔡晨 , 顾伟 , 孔伟
申请人 : 农业农村部南京农业机械化研究所
摘要 :
权利要求 :
1.一种除草机器人除草路径的规划方法,其特征在于,包括以下步骤:基于神经网络模型训练,获取图像分割模型,所述图像分割模型用于识别并分割杂草目标特征、土壤目标特征和作物目标特征;
基于所述杂草目标特征,采用相机内跟踪所述杂草目标特征,以及多相机间跟踪所述杂草目标特征,规划除草机器人的除草机械臂的除草路径,以使所述机械臂根据所述除草路径进行除草;
沿所述除草机器人前进方向上依次间隔布置的第一相机、……、第i相机、……、第N相机;
所述基于所述杂草目标特征,采用相机内跟踪所述杂草目标特征,以及多相机间跟踪所述杂草目标特征,规划除草机器人的除草机械臂的除草路径,以使所述机械臂根据所述除草路径进行除草包括以下步骤:获取所述第一相机采集的第一图像,调用所述图像分割模型对所述第一图像进行识别和分割,生成第一杂草目标特征及其杂草标签;
获取所述第i相机采集的第i图像,根据密度空间聚类方法提取所述第i图像中的目标特征,并与所述第i‑1杂草目标特征进行匹配,获取与所述第i‑1杂草目标特征对应的第i杂草目标特征,以及对应的杂草标签;
根据所述第i杂草目标特征以及对应的杂草标签,规划所述除草机器人的除草机械臂的除草路径;
依次类推,直至获取所述第N相机采集的第N图像,根据密度空间聚类方法提取所述第N图像中的目标特征,并与第N‑1杂草目标特征进行匹配,获取与所述第N‑1杂草目标特征对应的第N杂草目标特征,以及对应的杂草标签;
根据所述第N杂草目标特征以及对应的杂草标签,修正所述除草机器人的除草机械臂的除草路径;
其中,N≥2,1
2.根据权利要求1所述的除草机器人除草路径的规划方法,其特征在于,可替换的为,沿所述除草机器人前进方向上依次间隔布置的第一相机、……、第j相机、……、第N相机;
所述基于所述杂草目标特征,采用相机内跟踪所述杂草目标特征,以及多相机间跟踪所述杂草目标特征,规划除草机器人的除草机械臂的除草路径,以使所述机械臂根据所述除草路径进行除草包括以下步骤:获取所述第一相机采集的第一图像,调用所述图像分割模型对所述第一图像进行识别和分割,生成第一杂草目标特征及其杂草标签;
获取所述第j相机采集的第j图像,通过第j相机重构出杂草的三维场景图,其中,所述第j相机为双目相机、深度相机或者多线激光雷达传感器中的任意一种;
将第j‑1杂草目标特征以及杂草标签与所述三维场景图中的杂草匹配,然后分离出杂草的三维图,提取作物主茎秆的位置坐标,形成图像模板;
获取所述第j+1相机采集的第j+1图像,根据密度空间聚类方法提取所述第j+1图像中的目标特征,并与所述图像模板进行匹配,获取所述第j+1杂草目标特征以及对应的杂草标签;
根据所述第j+1杂草目标特征以及对应的杂草标签,规划所述除草机器人的除草机械臂的除草路径;
依次类推,直至获取所述第N相机采集的第N图像,根据密度空间聚类方法提取所述第N图像中的目标特征,并与第N‑1杂草目标特征进行匹配,获取与所述第N‑1杂草目标特征对应的第N杂草目标特征,以及对应的杂草标签;
根据所述第N杂草目标特征以及对应的杂草标签,修正所述除草机器人的除草机械臂的除草路径;其中,N≥2,1
3.根据权利要求1或2所述的除草机器人除草路径的规划方法,其特征在于,还包括:基于有督导神经网络的训练方法,获取轻量级目标检测器;
在每次获取杂草目标特征以及对应的杂草标签之后,通过轻量级目标检测器重新处理每个相机采集的图像,以验证获取的杂草目标特征以及所述杂草标签是否正确。
4.根据权利要求1或2所述的除草机器人除草路径的规划方法,其特征在于,沿所述除草机器人前进方向上的尾部设置的相机;
在根据所述第N杂草目标特征以及对应的杂草标签,修正所述除草机器人的除草机械臂的除草路径后包括:
控制所述除草机器人的除草机械臂依据所述除草路径进行除草;
通过所述相机获取除草后的图像,并与所述第一图像进行对比分析,建立评价函数:,其中,所述第一图像中的杂草的总数量为n1、农作物的总数量为m1,根据所述第一图像和所述除草后的图像获取成功去除杂草的数量为n2、误伤农作物的数量为m2;
依据评价函数S的值调整除草机械臂驱动电机的控制参数。
5.根据权利要求1所述的除草机器人除草路径的规划方法,其特征在于,所述基于神经网络模型训练,获取图像分割模型包括:在多个不同参数下通过相机采集多个原始图像,其中,所述参数包括作物的生长阶段、光照强度、温度、湿度、土壤类型和采集时间;
对多个所述原始图像按照作物的生长阶段进行分类,并对每个所述原始图像中的作物、杂草和土壤进行打标签,形成标签图像;
将作物的不同生长阶段的原始图像和标签图像拆分为训练集、验证集和测试集;
定义神经网络构架,采用深度学习方法进行训练;
获取作物不同生长阶段的所述图像分割模型。
6.根据权利要求1所述的除草机器人除草路径的规划方法,其特征在于,所述杂草目标特征包括杂草轮廓、颜色、形状、纹理、位置中的一种或几种组合;
所述作物目标特征包括作物轮廓、颜色、形状、纹理、位置中的一种或几种组合;
所述土壤目标特征包括土壤轮廓、颜色、形状、纹理、位置中的一种或几种组合。
7.一种除草机器人除草路径的规划装置,其特征在于,应用于如权利要求1‑6任一项所述的除草机器人除草路径的规划方法,所述装置包括:模型获取模块,用于基于神经网络模型训练,获取图像分割模型,所述图像分割模型用于识别并分割杂草目标特征、土壤目标特征和作物目标特征;
路径规划模块,用于基于所述杂草目标特征,采用相机内跟踪所述杂草目标特征,以及多相机间跟踪所述杂草目标特征,规划除草机器人的除草机械臂的除草路径,以使所述机械臂根据所述除草路径进行除草。
8.一种除草机器人,其特征在于,包括如权利要求7所述的除草机器人除草路径的规划装置;
还包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,存储每一相机采集的图像、图像模板以及三维场景图中对应的坐标信息;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1‑6中任一所述的除草机器人除草路径的规划方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1‑6中任一所述的除草机器人除草路径的规划方法。
说明书 :
一种除草机器人及其除草路径的规划方法、装置和介质
技术领域
背景技术
除草,但是人工除草成本非常高。随着我国城镇化发展,田间除草所面临的两大问题:一是
从事农业劳动的人员不断减少,用于除草的人力成本不断上升;二是环境保护意识不断提
高,各地对除草剂使用量的限制程度不断增加。近年来,人工智能技术、机器人技术的出现
为解决以上问题提供了有效途径。现有的物理除草机器人系统,可以成功清除植物行之间
的杂草。但是,当杂草位于农作物的茎部时,清除植物茎部附近的杂草这是一项非常具有挑
战性的任务。
(CNN)会引入一个长而不确定的时间延迟,导致除草的精度大大降低,无法应用到真的农业
场景中,相关研究都处于试验阶段。另一方面,传统的单相机杂草追踪系统由于视场有限,
往往不能适应长时间的杂草检测延迟。机器人行走过程中相机视角和视点的变化可能会引
起对象外观的显著变化,尤其是对于那些高的杂草而言图像变化较大,传统方法很容易跟
丢目标、误伤作物。
发明内容
高除草的精准度。
除草路径进行除草。
所述除草路径进行除草包括以下步骤:
第i杂草目标特征,以及对应的杂草标签;
征对应的第N杂草目标特征,以及对应的杂草标签;
所述除草路径进行除草包括以下步骤:
使用GNSS接收机卫星定位信息,作物杂草三维场景图都是基于大地坐标系建立的;
草标签;
征对应的第N杂草目标特征,以及对应的杂草标签;
除草机器人的除草机械臂摆动到所述第一杂草目标特征对应的杂草的位置的时间。
总数量为n1、农作物的总数量为m1,根据所述第一图像和所述除草后的图像获取成功去除
杂草的数量为n2、误伤农作物的数量为m2;
述机械臂根据所述除草路径进行除草。
规划方法。
割模型用于识别并分割杂草目标特征、土壤目标特征和作物目标特征;基于所述图像分割
模型,采用相机内跟踪,以及多相机间跟踪,规划除草机器人的除草机械臂的除草路径,从
而基于相机内和相机间的跟踪,可靠的记录、追溯杂草的位置,以缓解图像处理延迟带来的
有害影响,提高除草的精准度。
附图说明
具体实施方式
于描述,附图中仅示出了与本发明相关的部分而非全部结构。
作物竞争并降低生产力的植物,它们和农作物争夺水、养分、空间和阳光,导致了作物产量、
质量下降。事实上,今天的作物种植做法在很大程度上依赖于统一使用除草剂来控制杂草。
在这个范围内,开发农业机器人系统对于精确农业的实现至关重要。但现有技术中,一般采
用视觉的分类方法,通过使用复杂的卷积神经网络,这样会引入一个长而不确定的时间延
迟,导致除草时,除草相机拍摄图像将图像处理完毕,可能机器人已经走过了除草目标,除
草机械臂还未运动到指定位置,从而,大大降低除草的准确率。
系统由于视场有限,往往不能适应长时间的杂草检测(图像分割)延迟和机械臂动作延迟。
同时,机器人行走过程中由于地面起伏导致底盘颠簸,使相机视角和视点的发生变化,传统
方法可能会引起对象外观的显著变化(扭曲、模糊),尤其是对于那些高的杂草而言图像变
化较大,很容易跟丢目标、误伤作物。
标特征、土壤目标特征和作物目标特征;基于所述杂草目标特征,采用相机内跟踪杂草目标
特征,以及多相机间跟踪杂草目标特征,规划除草机器人的除草机械臂的除草路径,以使所
述机械臂根据除草路径进行除草,从而使得除草机械臂可提前运动到指定除草位置,缓解
了图像处理延迟带来的有害影响,提高了除草的精准度。
草路径的规划方法包括:
类,并对每个原始图像中的作物、杂草和土壤进行打标签,形成标签图像;将作物的不同生
长阶段的原始图像和标签图像拆分为训练集、验证集和测试集;定义神经网络构架,采用深
度学习方法进行训练;获取作物不同生长阶段的图像分割模型。
始图像,多张生长期的作物以及杂草和土壤的原始图像,多张成熟期的作物以及杂草和土
壤的原始图像。
1,杂草标签为2,其中,标签处理可以人工使用标签软件对原始图像打标签处理,分割每一
张图片中的作物、杂草和土壤,生产标注图像,即通道灰度图,其灰度值表示其分类类别。接
着将多张苗期标签图像以及多张苗期原始图像拆分为训练集、验证集和测试集,并定义神
经网络架构采用深度学习方法进行训练;获取苗期作物的图像分割模型。本实施例中组合
使用FCN、U‑NET、Deeplab v3+三种深度学习架构进行训练,以获取苗期作物的图像分割模
型,其中,三种深度学习架构的配置参数包括学习率、学习率衰减、处理批量大小、需要使用
的GPU数量,然后启动多GPU训练,训练过程中定期报告准确性和Jaccard指数,并存储验证
集中性能最佳的模型权重文件,针对苗期作物选出图像分割精度最高的网络架构。在实际
运行时,可以在除草机器人上安装一个带GPU设备的边缘计算机,安装Ubuntu系统和ROS开
发环境,新建图像实时语义分割的ROS节点,从而,部署在边缘计算机的模型在线运行,实现
实时的作物、杂草的分割。
进行识别,后一相机跟踪前一相机识别的结果对自身拍摄的图像进行杂草、土壤和作物的
识别,最终根据识别的杂草特征规划除草机器人的除草机械臂的除草路径,由于后一相机
跟踪前一相机的识别结果,从而,可以提前预测除草机械臂的除草路径,使得除草机器人的
除草机械臂提前摆动到除草位置,缓解图像处理延迟带来的有害影响,提高了除草的精准
度。
所述除草路径进行除草包括以下步骤:
法提取第i图像中的目标特征,并与第i‑1杂草目标特征进行匹配,获取与第i‑1杂草目标特
征对应的第i杂草目标特征,以及对应的杂草标签;
草目标特征,以及对应的杂草标签;
中,可通过一轻量级目标检测器来对作物的种类和生长阶段进行识别,从而调用合适的图
像分割模型),生成第一杂草目标特征及其杂草标签,控制除草机器人的除草机械臂4进行
启动,接着获取第二相机2采集的第二图像,根据密度空间聚类方法提取第二图像中的目标
特征,并与第一杂草目标特征进行匹配,获取与第一杂草目标特征对应的第二杂草目标特
征,以及对应的杂草标签;根据第二杂草目标特征以及对应的杂草标签,规划除草机器人的
除草机械臂的除草路径;此时,除草机械臂4已经基本到达预设位置;接着获取第三相机3采
集的第三图像,根据密度空间聚类方法提取第三图像中的目标特征,并与第二杂草目标特
征进行匹配,获取与第二杂草目标特征对应的第三杂草目标特征,以及对应的杂草标签;根
据第三杂草目标特征以及对应的杂草标签,修正除草机器人的除草机械臂的除草路径;从
而,当第三相机3移动到第一相机1的位置时,除草机器人的除草机械臂4已经提前做好了相
应的准备,仅需要微调,就可以进行除草,避免了仅有一个相机采集图像,并通过模型识别
造成的时间延迟问题,使得机器人走过了,除草机械臂才到达预设位置,造成对作物的误
伤。
行走速度相关)、以及第一相机至第N相机处理图像的时间之和,大于或等于除草机器人的
除草机械臂摆动到第一杂草目标特征对应的杂草的位置的时间。进而,使得除草机械臂可
以提前摆动到预设位置,并根据后续相机的图像处理结果微调整除草机械臂,更精准的进
行除草。
所述除草路径进行除草包括以下步骤:
中,所述第j相机为双目相机、深度相机或者多线激光雷达传感器中的任意一种;当第j相机
为双目相机时,三维重建的方式可以为视觉里程计的方法,当第j相机为激光雷达传感器
时,三维重建的方式可以为激光雷达三维场景重构的方法。
草目标特征,以及对应的杂草标签;
到第一杂草目标特征对应的杂草的位置的时间。
特征进行匹配,使得最终获取的除草机械臂的除草路径更加精准。因为机器人在行走过程
中相机视角和视点的变化可能会引起对象外观的显著变化,尤其是对于高的杂草而言图像
变化较大,容易跟丢目标。本实施例提出的视觉里程计方法在构建作物/杂草/土壤的三维
场景结构,然后将二维图像分割结果和三维场景图进行匹配,以便在实现准确的目标跟踪
和杂草剔除。
为3像素/cm,系统下田工作之前,将所有的相机进行标定和校准,补偿镜头带来的畸变。为
了相机免受阳光强度变化的影响,可以在每个相机旁边安装补光灯。
电机15和第四电机17,以及第一转动关节11和第二转动关节19,以及大臂12,小臂16,丝杠
和导轨14,割刀18。
相机在机器人上的安装位置是已知的,三维场景建模使用了GNSS接收机卫星定位信息,作
物杂草三维空间模型都是基于大地坐标系的,根据机械臂的结构,可以将作物杂草三维结
构都换算到机械臂第二转换关节19坐标系之下,第二转换关节19处安装有角度反馈传感
器,因此割刀18在坐标系之下的位置已知,从而使得割刀18的位置与杂草和作物的位置均
统一在同一坐标系中。
度;杂草C11到小臂16运动圆弧上投影距离L=y11‑Rcosβ;则可计算出到达时间间隔t1=L/v;
设当前时刻为t,机械臂小臂转动到位置β的时刻为t+t1;以此类推,计算出小臂摆动目标轨
迹(摆动角和时间历程曲线);然后计算第二转动关节19的实际角度与目标轨迹点的位置偏
差;偏差作为PID控制算法的输入,计算出电机控制指令值;控制器输出指令信号,第三电机
15驱动机械臂的小臂16在在两行作物之间摆动。
提高了机器人系统对杂草的感知精度。
机之间位置信息的关联(多相机位置之间的位置坐标和变化矩阵是已知的),和基于多传感
器的(IMU惯性测量单元、双目相机、GNSS接收机)视觉里程计方法得到杂草的三维空间位置
信息,精确构建作物/杂草/土壤的三维场景结构,然后将二维图像分割结果和三维场景图
进行匹配,将第一相机的检测结果扩展到多相机检测方法中,确定包含作物茎秆位置的图
像模板,并不断更新模板。基于图像模板中杂草的茎秆坐标,以机械臂能耗最小为目标,规
划除草运动轨迹。提升了除草精度。其中,三维场景图可以为三维场景点云图。
构,采用相机内跟踪、相机间跟踪,控制算法预测触发时间和刀盘位置,调节除草机械臂的
方位角,调节割草电机的倾斜角,估算出除草刀片与杂草的距离,触发割刀切除杂草。其中,
除草执行单元为除草机械臂,割草电机为第四电机。
图像,并通过图像分割模型进行分割识别之后,还可以通过轻量级目标检测器进行验证,如
果图像分割模型处理的结果与轻量级目标检测器检测结果一致,那么说明图像分割模型处
理的结果无误,可以传送至下一相机作为分类标准,接着控制除草机械臂进行除草,如果图
像分割模型处理的结果与轻量级目标检测器检测结果不一致,那么说明图像分割模型处理
的结果不准确,需要停机检修等工作,防止分类错误而损伤到作物。
为n1、农作物的总数量为m1,根据第一图像和除草后的图像获取成功去除杂草的数量为n2、
误伤农作物的数量为m2。
不理想,需要减低机器人的行驶速度,同时,调节除草机械臂中的电机的控制参数,提高响
应速度。
函数S。
根据所述除草路径进行除草。
特征对应的第i杂草目标特征,以及对应的杂草标签;
特征对应的第N杂草目标特征,以及对应的杂草标签;
征以及对应的杂草标签;
特征对应的第N杂草目标特征,以及对应的杂草标签;
除草机器人的除草机械臂摆动到第一杂草目标特征对应的杂草的位置的时间。
正确。
的总数量为n1、农作物的总数量为m1,根据第一图像和除草后的图像获取成功去除杂草的
数量为n2、误伤农作物的数量为m2;
的处理器401、存储装置402、输入装置403和输出装置404可以通过总线或其他方式连接,图
8中以通过总线连接为例。
处理器401通过运行存储在存储装置402中的软件程序、指令以及模块,从而执行设备的各
种功能应用以及数据处理,即实现上述的除草机器人及其除草路径的规划方法。
此外,存储装置402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少
一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置402
可进一步包括相对于处理器401远程设置的存储器,这些远程存储器可以通过网络连接至
设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
法中的相关操作。
佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的
部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质
中,如计算机的软盘、只读存储器(Read‑Only Memory,ROM)、随机存取存储器(Random
Access Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设
备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
割模型用于识别并分割杂草目标特征、土壤目标特征和作物目标特征;基于所述图像分割
模型,采用相机内跟踪,以及多相机间跟踪,规划除草机器人的除草机械臂的除草路径,从
而基于相机内和相机间的跟踪,可靠的记录、追溯杂草的位置,以缓解图像处理延迟带来的
有害影响,提高除草的精准度。
重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行
了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还
可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。