一种无人驾驶清扫车颠簸路面自适应安全行驶方法及系统转让专利

申请号 : CN202010855733.9

文献号 : CN111708372B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 李睿李浩周江涛王松青

申请人 : 广州赛特智能科技有限公司

摘要 :

本发明公开了一种无人驾驶清扫车颠簸路面自适应安全行驶方法及系统,本发明通过单目摄像头、双目摄像头、超声波传感器、IMU惯性导航组件和三个振动传感器融合对颠簸路段进行识别,和结合清扫车的行走极限、振动情况以及对颠簸路面的清扫效果将颠簸路段进行等级划分,针对不同颠簸等级的颠簸路面,控制清扫车做出避让、减速通过或直接通过的行驶策略,实现使清扫车依据颠簸等级自适应地调整其行驶策略,保证清扫车安全通过颠簸路段的同时,最大极限保证清扫车的清扫覆盖度和作业效果。

权利要求 :

1.一种无人驾驶清扫车颠簸路面自适应安全行驶方法,其特征在于:包括以下步骤:

S1:单目摄像头采集清扫车前进方向10-15米处路况的图像,所述路况的图像经单目识别单元进行识别处理识别出颠簸路段的颠簸类型和颠簸路段尺寸,依据颠簸类型和颠簸路段尺寸得出颠簸路段对清扫车运行的影响程度,并将颠簸类型和颠簸路段尺寸、颠簸路段的影响程度发送至主控模块;

S2:主控模块判断颠簸路段对清扫车运行的影响程度是否达到预设的安全通过性阈值,若是,则发送减速指令给控制模块控制清扫车减速前行,若否,则发送原速行驶指令给控制模块控制清扫车按原速度继续前行,并将颠簸类型、颠簸路段尺寸信息上报给云端后台系统;

S3:当清扫车前行至距离所述颠簸路段4-5米时,双目摄像头采集所述颠簸路段的图像,颠簸路段的图像经双目识别单元进行识别处理得出颠簸路段的颠簸类型、颠簸路段尺寸和颠簸路段深度,并将颠簸类型、颠簸路段尺寸和颠簸路段深度发送至主控模块;

S4:主控模块判断验证单目摄像头与双目摄像头识别处理得出的颠簸类型是否一致,若是,则判定单目摄像头对颠簸路段的颠簸类型识别准确,提高单目摄像头的颠簸类型识别置信度,若否,则以双目摄像头识别得出的颠簸类型为准,并将此识别信息上存至单目摄像头,供单目摄像头学习修正,提高单目摄像头的颠簸类型识别准确度,另外将单目摄像头处理得出的颠簸路段尺寸和双目摄像头处理得出的颠簸路段尺寸进行对比,判断两者差异是否在尺寸阈值范围内,若是,则判定单目摄像头识别准确,提高单目摄像头的置信度,若否,则以双目摄像头识别的颠簸路段尺寸为准,并将此颠簸路段尺寸反馈给单目摄像头,供单目摄像头修正学习,提高单目摄像头的识别精确度;

S5:主控模块依据双目摄像头测出的颠簸路段深度和步骤S4中判断验证后的颠簸类型与颠簸路段尺寸识别出颠簸路段的颠簸等级;

S6:主控模块依据步骤S5识别的颠簸等级发送与颠簸等级相对应的行驶策略给控制模块,控制模块控制清扫车按相应的行驶策略通过颠簸路段。

2.根据权利要求1所述一种无人驾驶清扫车颠簸路面自适应安全行驶方法,其特征在于:所述颠簸类型的分类如下:

A类颠簸:凸起减速带、下水道井盖、特定路面材质路段、特定地形路段类永久性存在类颠簸路段;

B类颠簸:以路面缺损型坑洼为典型的可修复性颠簸路段;

C类颠簸:碎石路段、残留树枝路段临时性颠簸路段。

3.根据权利要求2所述一种无人驾驶清扫车颠簸路面自适应安全行驶方法,其特征在于:所述颠簸等级分类如下:

一级颠簸:是指严重危及清扫车运行安全性的颠簸路况;清扫车无法通过的颠簸、容易造成清扫车关键零部件或整车振动损害的颠簸;

二级颠簸:是指有可能危及清扫车运行安全性以及严重影响清扫车清扫效果的颠簸路况,清扫车必须低于限定速度缓慢通过以保证行走安全性的颠簸,清扫车清扫效果极差的颠簸路况;

三级颠簸:是指对即使持续一段时间也对清扫车运行安全性无明显影响,但对清扫效果有一定程度影响的颠簸况。

4.根据权利要求3所述一种无人驾驶清扫车颠簸路面自适应安全行驶方法,其特征在于:步骤S6中所述的行驶策略如下:当识别的颠簸等级为一级颠簸,清扫车启动避障策略,在原路径规划基础上进行绕开颠簸路段的局部路径规划,完成避障后,再返回原规划继续执行任务,并上报信息给云端后台系统,上报信息颠簸路况信息、避让结果:成功、实拍图像5张;若遇上无法避障的路况,清扫车停车回倒车掉头返回库房,并上报信息给云端后台系统,上报信息包括颠簸路况信息、避让结果:失败、实拍图像5张;

当识别的颠簸等级为二级颠簸,清扫车启动避障策略,在原路径规划基础上进行绕开颠簸路段的局部路径规划,完成避障后,再返回原规划继续执行任务,并上报信息给云端后台系统,上报信息包括颠簸路况信息、通过方式:避让绕过、实拍图像5张;如果遇上无法避障的路况,清扫车关闭清扫功能、减速至限定速度,并上报信息给云端后台系统,上报信息包括颠簸路况信息、通过方式:减速通过、实拍图像5张;

当识别的颠簸等级为三级颠簸,清扫车减速至限定速度,缓慢通过颠簸路段,实现最大限度保证清扫作业覆盖率,保持清扫作业状态,并上报信息给云端后台系统,上报信息包括颠簸路况信息、通过方式:减速通过、实拍图片5张;

其中,颠簸路况信息包括颠簸路段的颠簸等级、颠簸类型、GPS位置。

5.根据权利要求4所述一种无人驾驶清扫车颠簸路面自适应安全行驶方法,其特征在于:当清扫车减速通过颠簸等级为二级颠簸和三级颠簸的颠簸路段且行驶至颠簸路段前

40-60cm时,还包括以下步骤:

(1):通过超声波传感器检测所述颠簸路段的深度信息,并将深度信息发送至深度识别单元进行处理得出颠簸路段深度;

(2):将超声波传感器检测得到的颠簸路段深度和双目摄像头处理得出的颠簸路段深度进行对比,判断两者差异是否在深度阈值内,若是,则判定双目摄像头识别准确,提高双目摄像头的置信度,若否,则以超声波传感器检测的颠簸路段深度信息为准,并依据超声波传感器检测的颠簸路段深度和步骤S4中判断验证后的颠簸类型与颠簸路段尺寸重新识别颠簸路段的等级得出最新颠簸等级,判断最新颠簸等级是否符合或低于步骤S5所识别得出的颠簸等级,若是,则清扫车按与步骤S5所识别得出的颠簸等级相对应的行驶策略继续前行,若否,则清扫车按与最新颠簸等级相对应的行驶策略紧急执行紧急减速,并将超声波传感器检测得到的颠簸路段深度信息反馈给双目摄像头,供双目摄像头修正学习,提高双目摄像头的识别精确度。

6.根据权利要求5所述一种无人驾驶清扫车颠簸路面自适应安全行驶方法,其特征在于:当清扫车以限定速度通过颠簸等级为二级颠簸或三级颠簸的颠簸路段过程中,还包括以下步骤:①:IMU惯性导航组件采集Z轴的加速度变化数据信号,振动数据处理单元采用稳马尔克夫模型(HMM)对IMU惯性导航组件采集的数据信号进行判断评估获得清扫车振动的第一数据;

②:振动传感器采集清扫车的振动数据,振动数据处理单元通过加权融合计算,获得清扫车振动的第二数据;

③:振动数据处理单元对第一数据和第二数据通过卡尔曼滤波算法进行计算估测出最终振动数据获得振动等级,其中振动等级分为一级振动、二级振动和三级振动;

④:主控模块判断振动数据处理单元得到的振动等级与步骤(2)识别的颠簸等级是否相应,若是,则判定颠簸路况识别模块的识别准确,提高颠簸路况识别模块的置信度,若否,则依据振动数据处理单元得出的振动等级将步骤(2)识别的颠簸等级变更为与振动等级相应的颠簸等级,并反馈到云端后台系统,供颠簸路况识别模块训练、修正。

7.根据权利要求6所述一种无人驾驶清扫车颠簸路面自适应安全行驶方法,其特征在于:所述步骤④还包括:

当清扫车以限定速度通过颠簸等级为二级颠簸的颠簸路段时,若振动数据处理单元得出的振动等级为二级振动,则判定颠簸路况识别模块对颠簸等级的识别准确,并反馈给云端后台系统,增加颠簸路况识别模块的置信度,若振动数据处理单元得出的振动等级为一级振动,则将该颠簸路段的颠簸等级变更为一级颠簸,判定颠簸路况识别模块对颠簸等级识别错误,并反馈给云端后台系统,供颠簸路况识别模块训练、修正;

当清扫车以限定速度通过颠簸等级为三级颠簸的颠簸路段时,若振动数据处理单元得出的振动等级为三级振动,则判定颠簸路况识别模块对颠簸等级的识别准确,并反馈给云端后台系统,增加颠簸路况识别模块的置信度,若振动数据处理单元得出的振动等级为二级振动或背向摄像头检测到清扫效果低于预设的清扫阈值时,则将该颠簸路段的颠簸等级变更为二级颠簸,判定颠簸路况识别模块对颠簸等级识别错误,并反馈给云端后台系统,供颠簸路况识别模块训练、修正。

8.根据权利要求7所述一种无人驾驶清扫车颠簸路面自适应安全行驶方法,其特征在于:所述步骤S6还包括:

对于A类颠簸的路段,若在同一位置做了两次GPS标记确认,则标记该颠簸路段为固定类颠簸路段,若清扫车连续两次经过该位置也没识别到颠簸或识别到的颠簸分类为非A类,则取消标记该颠簸路段为固定类颠簸路段,若连续三次标记等级为一级颠簸且为避让结果为失败时,则在进行全局路径规划时避开该路段,除非人工手动标记该路段为可通行路段时,则将此前的标记清空,重新识别,如果标记为一级颠簸但避让结果为成功时,或是二级颠簸和三级颠簸时,则在进行全局路径规划时可在该位置提前做好局部性避障或减速策略;

对于B类颠簸的路段,若连续三次标记等级为一级颠簸且避让结果为失败时,则在进行全局路径规划时避开该路段,除非人工手动标记该路段为可通行路段时,则将此前的标记清空,重新识别,如果标记为一级颠簸且避让结构为成功时,或为二级颠簸和三级颠簸时,则在进行全局路径规划时可在该位置提前做好局部性避障或减速策略;

对于C类颠簸的路段,若连续两次在该位置没有识别到颠簸信息,则取消该位置的颠簸标记,否则在全局路径规划时可在该位置提前做好局部性避障或减速策略。

9.应用如权利要求1-8任一项所述安全行驶方法的一种无人驾驶清扫车颠簸路面自适应安全行驶系统,其特征在于:包括云端后台系统、清扫车,所述清扫车内置主控模块,所述云端后台系统通过通信设备和所述主控模块连接,所述主控模块连接单目摄像头、双目摄像头、背向摄像头、控制模块、GPS模块,所述主控模块内置有深度识别单元、振动数据处理单元,所述深度识别单元连接超声波传感器,所述振动数据处理单元连接IMU惯性导航组件和振动传感器,所述单目摄像头、双目摄像头和超声波传感器分别设置在所述清扫车的车体前侧,所述IMU惯性导航组件和振动传感器设置在所述清扫车的车体底盘,所述背向摄像头设置在所述清扫车的车体后侧,所述单目摄像头、双目摄像头和超声波传感器组成颠簸路况识别模块。

10.根据权利要求9所述一种无人驾驶清扫车颠簸路面自适应安全行驶系统,其特征在于:所述单目摄像头包括单目识别单元,所述单目识别单元连接有一个摄像头,所述双目摄像头包括双目识别单元,所述双目识别单元连接有两个摄像头。

说明书 :

一种无人驾驶清扫车颠簸路面自适应安全行驶方法及系统

技术领域

[0001] 本发明涉及清扫车技术领域, 具体为一种无人驾驶清扫车颠簸路面自适应安全行驶方法及系统。

背景技术

[0002] 无人驾驶清扫车作为全新一代智能无人化环卫产品,因其自主驾驶、自主定时执行清扫任务、作业效率高、作业时间长等优势正逐渐受到环卫行业的青睐与应用。但是受限于无人驾驶技术尚未成熟以及坏境适应性差等因素,无人驾驶清扫车在国内应用的场景非常受限。例如无人驾驶清扫车常见应用坏境包括城市道路、园区、停车场、公园等场所,而上述场所的路面情况经常存在碎石、减速带、下水丼盖、坑洼等恶劣路况,导致清扫车在历经此类路况时无法做出正确判断而陷入危险情况,如果对所有识别到的颠簸路面都做避让策略,则使得清扫车的清扫效果受到极大的影响,甚至导致清扫车无法运行。

发明内容

[0003] 本发明的目的是克服上述现有技术的缺点,提供一种可控制清扫车以不同的行驶策略通过不同颠簸等级的颠簸路段,保证清扫车通过颠簸路段的同时,最大极限保证清扫车的清扫覆盖度和作业效果的无人驾驶清扫车颠簸路面自适应安全行驶方法及系统。
[0004] 本发明是通过以下技术方案来实现的:一种无人驾驶清扫车颠簸路面自适应安全行驶方法,其特征在于:包括以下步骤:
[0005] S1:单目摄像头采集清扫车前进方向10-15米处路况的图像,所述路况的图像经单目识别单元进行识别处理识别出颠簸路段的颠簸类型和颠簸路段尺寸,依据颠簸类型和颠簸路段尺寸得出颠簸路段对清扫车运行的影响程度,并将颠簸类型和颠簸路段尺寸、颠簸路段的影响程度发送至主控模块;
[0006] S2:主控模块判断颠簸路段对清扫车运行的影响程度是否达到预设的安全通过性阈值,若是,则发送减速指令给控制模块控制清扫车减速前行,若否,则发送原速行驶指令给控制模块控制清扫车按原速度继续前行,并将颠簸类型、颠簸路段尺寸信息上报给云端后台系统;
[0007] S3:当清扫车前行至距离所述颠簸路段4-5米时,双目摄像头采集所述颠簸路段的图像,颠簸路段的图像经双目识别单元进行识别处理得出颠簸路段的颠簸类型、颠簸路段尺寸和颠簸路段深度,并将颠簸类型、颠簸路段尺寸和颠簸路段深度发送至主控模块;
[0008] S4:主控模块判断验证单目摄像头与双目摄像头识别处理得出的颠簸类型是否一致,若是,则判定单目摄像头对颠簸路段的颠簸类型识别准确,提高单目摄像头的颠簸类型识别置信度,若否,则以双目摄像头识别得出的颠簸类型为准,并将此识别信息上存至单目摄像头,供单目摄像头学习修正,提高单目摄像头的颠簸类型识别准确度,另外将单目摄像头处理得出的颠簸路段尺寸和双目摄像头处理得出的颠簸路段尺寸进行对比,判断两者差异是否在尺寸阈值范围内,若是,则判定单目摄像头识别准确,提高单目摄像头的置信度,若否,则以双目摄像头识别的颠簸路段尺寸为准,并将此颠簸路段尺寸反馈给单目摄像头,供单目摄像头修正学习,提高单目摄像头的识别精确度;
[0009] S5:主控模块依据颠簸路段深度和判断验证后的颠簸类型与颠簸路段尺寸识别出颠簸路段的颠簸等级;
[0010] S6:主控模块依据步骤S5识别的颠簸等级发送与颠簸等级相对应的行驶策略给控制模块,控制模块控制清扫车按相应的行驶策略通过颠簸路段。
[0011] 进一步地:所述颠簸类型的分类如下:
[0012] A类颠簸:凸起减速带、下水道井盖、特定路面材质路段、特定地形路段等类永久性存在类颠簸路段;
[0013] B类颠簸:以路面缺损型坑洼为典型的可修复性颠簸路段;
[0014] C类颠簸:碎石路段、残留树枝路段等临时性颠簸路段;
[0015] 进一步地:所述颠簸等级分类如下:
[0016] 一级颠簸:是指严重危及清扫车运行安全性的颠簸路况。清扫车无法通过的颠簸、容易造成清扫车关键零部件或整车振动损害的颠簸;
[0017] 二级颠簸:是指有可能危及清扫车运行安全性以及严重影响清扫车清扫效果的颠簸路况,清扫车必须低于限定速度缓慢通过以保证行走安全性的颠簸,清扫车清扫效果极差的颠簸路况;
[0018] 三级颠簸:是指对即使持续一段时间(如20S)也对清扫车运行安全性无明显影响,但对清扫效果有一定程度影响的颠簸况;
[0019] 进一步地:步骤S6中所述的行驶策略如下:
[0020] 当识别的颠簸等级为一级颠簸,清扫车启动避障策略,在原路径规划基础上进行绕开颠簸路段的局部路径规划,完成避障后,再返回原规划继续执行任务,并上报信息给云端后台系统,上报信息颠簸路况信息、避让结果:成功、实拍图像5张;若遇上无法避障的路况,清扫车停车回倒车掉头返回库房,并上报信息给云端后台系统,上报信息包括颠簸路况信息、避让结果:失败、实拍图像5张;
[0021] 当识别的颠簸等级为二级颠簸,清扫车启动避障策略,在原路径规划基础上进行绕开颠簸路段的局部路径规划,完成避障后,再返回原规划继续执行任务,并上报信息给云端后台系统,上报信息包括颠簸路况信息、通过方式:避让绕过、实拍图像5张;如果遇上无法避障的路况,清扫车关闭清扫功能、减速至限定速度,并上报信息给云端后台系统,上报信息包括颠簸路况信息、通过方式:减速通过、实拍图像5张;
[0022] 当识别的颠簸等级为三级颠簸,清扫车减速至限定速度,缓慢通过颠簸路段,实现最大限度保证清扫作业覆盖率,保持清扫作业状态,并上报信息给云端后台系统,上报信息包括颠簸路况信息、通过方式:减速通过、实拍图片5张;
[0023] 其中,颠簸路况信息包括颠簸路段的颠簸等级、颠簸类型、GPS位置。
[0024] 进一步地:当清扫车减速通过颠簸等级为二级颠簸和三级颠簸的颠簸路段且行驶至颠簸路段前40-60cm时,还包括以下步骤:
[0025] (1):通过超声波传感器检测所述颠簸路段的深度信息,并将深度信息发送至深度识别单元进行处理得出颠簸路段深度;
[0026] (2):将超声波传感器检测得到的颠簸路段深度和双目摄像头处理得出的颠簸路段深度进行对比,判断两者差异是否在深度阈值内,若是,则判定双目摄像头识别准确,提高双目摄像头的置信度,若否,则以超声波传感器检测的颠簸路段深度信息为准,并依据超声波传感器检测的颠簸路段深度和步骤S4中判断验证后的颠簸类型与颠簸路段尺寸重新识别颠簸路段的等级得出最新颠簸等级,判断最新颠簸等级是否符合或低于步骤S5所识别得出的颠簸等级,若是,则清扫车按与步骤S5所识别得出的颠簸等级相对应的行驶策略继续前行,若否,则清扫车按与最新颠簸等级相对应的行驶策略紧急执行紧急减速,并将超声波传感器检测得到的颠簸路段深度信息反馈给双目摄像头,供双目摄像头修正学习,提高双目摄像头的识别精确度。
[0027] 进一步地:当清扫车以限定速度通过颠簸等级为二级颠簸或三级颠簸的颠簸路段过程中,还包括以下步骤:
[0028] ①:IMU惯性导航组件采集Z轴的加速度变化数据信号,振动数据处理单元采用稳马尔克夫模型(HMM)对IMU惯性导航组件采集的数据信号进行判断评估获得清扫车振动的第一数据;
[0029] ②:振动传感器采集清扫车的振动数据,振动数据处理单元通过特定比例加权融合计算,获得清扫车振动的第二数据;
[0030] ③:振动数据处理单元对第一数据和第二数据通过卡尔曼滤波算法进行计算估测出最终振动数据获得振动等级,其中振动等级分为一级振动、二级振动和三级振动;
[0031] ④:主控模块判断振动数据处理单元得到的振动等级与步骤(2)识别的颠簸等级是否相应,若是,则判定颠簸路况识别模块的识别准确,提高颠簸路况识别模块的置信度,若否,则依据振动数据处理单元得出的振动等级将步骤(2)识别的颠簸等级变更为与振动等级相应的颠簸等级,且反馈到云端后台系统,供颠簸路况识别模块训练、修正。
[0032] 进一步地:所述步骤④还包括:
[0033] 当清扫车以限定速度通过颠簸等级为二级颠簸的颠簸路段时,若振动数据处理单元得出的振动等级为二级振动,则判定颠簸路况识别模块对颠簸等级的识别准确,并反馈给云端后台系统,增加颠簸路况识别模块的置信度,若振动数据处理单元得出的振动等级为一级振动,则将该颠簸路段的颠簸等级变更为一级颠簸,判定颠簸路况识别模块对颠簸等级识别错误,并反馈给云端后台系统,供颠簸路况识别模块训练、修正;
[0034] 当清扫车以限定速度通过颠簸等级为三级颠簸的颠簸路段时,若振动数据处理单元得出的振动等级为三级振动,则判定颠簸路况识别模块对颠簸等级的识别准确,并反馈给云端后台系统,增加颠簸路况识别模块的置信度,若振动数据处理单元得出的振动等级为二级振动或背向摄像头检测到清扫效果低于预设的清扫阈值时,则将该颠簸路段的颠簸等级变更为二级颠簸,判定颠簸路况识别模块对颠簸等级识别错误,并反馈给云端后台系统,供颠簸路况识别模块训练、修正。
[0035] 进一步地:所述步骤S6还包括:
[0036] 对于A类颠簸的路段,若在同一位置做了两次GPS标记确认,则标记该颠簸路段为固定类颠簸路段,若清扫车连续两次经过该位置也没识别到颠簸或识别到的颠簸分类为非A类,则取消标记该颠簸路段为固定类颠簸路段,
[0037] 若连续三次标记等级为一级颠簸且为避让结果为失败时,则在进行全局路径规划时避开该路段,除非人工手动标记该路段为可通行路段时,则将此前的标记清空,重新识别,如果标记为一级颠簸但避让结果为成功时,或是二级颠簸和三级颠簸时,则在进行全局路径规划时可在该位置提前做好局部性避障或减速策略;
[0038] 对于B类颠簸的路段,若连续三次标记等级为一级颠簸且避让结果为失败时,则在进行全局路径规划时避开该路段,除非人工手动标记该路段为可通行路段时,则将此前的标记清空,重新识别,如果标记为一级颠簸且避让结构为成功时,或为二级颠簸和三级颠簸时,则在进行全局路径规划时可在该位置提前做好局部性避障或减速策略;
[0039] 对于C类颠簸的路段,若连续两次在该位置没有识别到颠簸信息,则取消该位置的颠簸标记,否则在全局路径规划时可在该位置提前做好局部性避障或减速策略。
[0040] 一种无人驾驶清扫车颠簸路面自适应安全行驶系统,包括云端后台系统、清扫车,所述清扫车内置主控模块,所述云端后台系统通过通信设备和所述主控模块连接,所述主控模块连接单目摄像头、双目摄像头、背向摄像头、控制模块、GPS模块,所述主控模块内置有深度识别单元、振动数据处理单元,所述深度识别单元连接超声波传感器,所述振动数据处理单元连接IMU惯性导航组件和振动传感器,所述单目摄像头、双目摄像头和超声波传感器分别设置在所述清扫车的车体前侧,所述IMU惯性导航组件和振动传感器设置在所述清扫车的车体底盘,所述背向摄像头设置在所述清扫车的车体后侧,所述单目摄像头、双目摄像头和超声波传感器组成颠簸路况识别模块。
[0041] 进一步地:所述单目摄像头包括单目识别单元,所述单目识别单元连接有一个摄像头,所述双目摄像头包括双目识别单元,所述双目识别单元连接有两个摄像头。
[0042] 本发明的有益效果
[0043] 与现有技术相比,本发明通过利用单目摄像头、双目摄像头、超声波传感器、IMU惯性导航组件和多个振动传感器融合对如减速带、坑洼、凹凸条纹水泥砖等颠簸路面的形状、尺寸以及深度或高度进行识别,结合清扫车的行走极限情况、振动情况以及对颠簸路面清扫效果将颠簸路面进行颠簸等级划分,针对不同颠簸等级的颠簸路面,控制清扫车做出避让、减速通过或直接通过的行驶策略,实现使清扫车依据颠簸等级自适应地调整其行驶策略,保证清扫车安全通过颠簸路段的同时,最大极限保证清扫车的清扫覆盖度和作业效果。

附图说明

[0044] 图1为本发明无人驾驶清扫车颠簸路面自适应安全行驶系统架构图;
[0045] 图2为本发明清扫车的正视图;
[0046] 图3为本发明清扫车的仰视图;
[0047] 图4为本发明清扫车的侧视图。
[0048] 附图标记说明:1-云端后台系统,2-通信设备,3-清扫车,31-车体,32-底盘,4-单目摄像头,5-双目摄像头,6-背向摄像头,7-超声波传感器,8-IMU惯性导航组件,9-振动传感器。

具体实施方式

[0049] 图2至图4为本发明提供的一种无人驾驶清扫车颠簸路面自适应安全行驶系统实施例结构示意图,包括云端后台系统1、清扫车3,清扫车3内置主控模块,云端后台系统1通过通信设备2和主控模块连接,主控模块连接单目摄像头4、双目摄像头5、背向摄像头6、控制模块、GPS模块,主控模块内置有深度识别单元、振动数据处理单元,深度识别单元连接超声波传感器7,振动数据处理单元连接IMU惯性导航组件8和振动传感器9,单目摄像头4、双目摄像头5和超声波传感器7分别设置在清扫车3的车体31前侧,IMU惯性导航组件8和振动传感器9设置在清扫车3的车体底盘32,振动传感器9设置有三个,背向摄像头6设置在清扫车3的车体31后侧,单目摄像头4、双目摄像头5和超声波传感器7组成颠簸路况识别模块,单目摄像头4包括单目识别单元,单目识别单元连接有一个摄像头,双目摄像头5包括双目识别单元,双目识别单元连接有两个摄像头。
[0050] 其中,背向摄像头6用于检测清扫效果,控制模块用于依据颠簸路况控制清扫车执行停车、减速、转向、避障等动作,云端后台系统1用于对颠簸路况信息进行标记、识别模型库进行训练和修正、对清扫车作业任务进行角度和路径规划等。
[0051] 参考图1,本发明的无人驾驶清扫车颠簸路面自适应安全行驶方法包括以下步骤:
[0052] S1:单目摄像头采集清扫车前进方向10-15米处路况的图像,所述路况的图像经单目识别单元进行识别处理识别出颠簸路段的颠簸类型和颠簸路段尺寸,依据颠簸类型和颠簸尺寸得出颠簸路段对清扫车运行的影响程度,并将颠簸类型和颠簸路段尺寸发送至主控模块;
[0053] S2:主控模块判断颠簸路段对清扫车运行的影响程度是否达到预设的安全通过性阈值,若是,则发送减速指令给控制模块控制清扫车减速前行,若否,则发送原速行驶指令给控制模块控制清扫车按原速度继续前行,并将颠簸类型、颠簸路段尺寸信息上报给云端后台系统;
[0054] S3:当清扫车前行至距离所述颠簸路段4-5米时,双目摄像头采集所述颠簸路段的图像,颠簸路段的图像经双目识别单元进行识别处理得出颠簸路段的颠簸类型、颠簸路段尺寸和颠簸路段深度,并将颠簸类型、颠簸路段尺寸和颠簸路段深度发送至主控模块;
[0055] 本申请中,在本申请中,步骤S1中所述的单目识别单元采用单目摄像头颠簸类型训练模型对所述路况图像进行识别得出颠簸类型,步骤S3中所述的双目识别单元采用双目摄像头颠簸类型训练模型对所述颠簸路段的图像进行识别得出颠簸类型,其中,单目摄像头颠簸类型训练模型和双目摄像头颠簸类型训练模型的训练方法相同,均包括以下步骤:
[0056] <1>:采集样本图片:
[0057] 样本包括含有下水道井盖、减速带、碎石、树枝等的路面图片;
[0058] <2>:特征标记:
[0059] 通过人工方式对样本图片进行颠簸元素的标记,例如对图片中的下水道井盖、减速带、碎石等进行标记,并且人工做好分类,基本原则为是否属于永久性或临时性,具体每个分类应该包括的元素可依据实际情况人为确定;
[0060] <3>:训练模型:
[0061] 将标记好的图片作为输入元素进行模型训练,依据模型训练结果输出颠簸类型的预测模型,其中,将标记好的图片作为输入元素进行模型训练包括不局限于通过KNN、决策树、朴素叶贝斯、逻辑回归、支持向量机的训练方法进行模型训练;
[0062] <4>:模型识别:
[0063] 通过将测试样本(无人工标记)输入预测模型,预测模型依据此前的训练经验输出颠簸类型识别结果,从而实现颠簸路段类别的分类和识别。
[0064] 单目识别单元通过单目摄像头计算模块对所述颠簸路段进行处理得到颠簸路段尺寸,双目识别单元通过双目摄像头计算模块对所述颠簸路段进行得到颠簸路段尺寸。
[0065] S4:主控模块判断验证单目摄像头与双目摄像头识别处理得出的颠簸类型是否一致,若是,则判定单目摄像头对颠簸路段的颠簸类型识别准确,提高单目摄像头的颠簸类型识别置信度,若否,则以双目摄像头识别得出的颠簸类型为准,并将此识别信息上存至单目摄像头颠簸类型训练模型,供单目摄像头学习修正,提高单目摄像头的颠簸类型识别准确度,另外将单目摄像头处理得出的颠簸路段尺寸和双目摄像头处理得出的颠簸路段尺寸进行对比,判断两者差异是否在尺寸阈值范围内,若是,则判定单目摄像头识别准确,提高单目摄像头的置信度,若否,则以双目摄像头识别的颠簸路段尺寸为准,并将此颠簸路段尺寸反馈给单目摄像头计算模块,供单目摄像头修正学习,提高单目摄像头的识别精确度;
[0066] 其中,颠簸类型的分类如下:
[0067] A类颠簸:凸起减速带、下水道井盖、特定路面材质路段(凹凸条纹水泥砖等)、特定地形路段(波浪线等)等类永久性存在类颠簸路段;
[0068] B类颠簸:以路面缺损型坑洼为典型的可修复性颠簸路段;
[0069] C类颠簸:碎石路段、残留树枝路段等临时性颠簸路段;
[0070] S5:主控模块依据颠簸路段深度和判断验证后的颠簸类型与颠簸路段尺寸识别出颠簸路段的颠簸等级;
[0071] 其中,一级颠簸:是指严重危及清扫车运行安全性的颠簸路况。清扫车无法通过的颠簸(超出清扫车设计极限的凹坑、减速带、特殊路段)、容易造成清扫车关键零部件或整车振动损害的颠簸(可导致清扫车因颠簸振动而失效的路况);
[0072] 二级颠簸:是指有可能危及清扫车运行安全性以及严重影响清扫车清扫效果的颠簸路况,清扫车必须低于限定速度缓慢通过以保证行走安全性的颠簸,清扫车清扫效果极差的颠簸路况;
[0073] 三级颠簸:是指对即使持续一段时间(如20S)也对清扫车运行安全性无明显影响,但对清扫效果有一定程度影响的颠簸况;
[0074] 本申请中,依据清扫车设计时硬件因素(轮胎类型、轮胎直径、电机功率、电机转矩、轴间距)的通行能力,包括越障能力、越沟能力、防侧翻能力等,确定清扫车通过颠簸路段时的极限值和预设危险阈值, 极限值包括清扫车对减速带等类似凸起状颠簸路段的最大极限高度、对坑洼等凹陷类颠簸的极限深度,如果识别到的颠簸路段大于极限值,则判断为一级颠簸;如果识别到的颠簸路段小于极限值,并大于预设危险阈值,则判定为二级颠簸;如果识别到颠簸路段小于预设危险阈值,则判定为三级颠簸。
[0075] S6:主控模块依据步骤S5识别的颠簸等级发送与颠簸等级相应的行驶策略给控制模块,控制模块控制清扫车按相应的行驶策略通过颠簸路段,行驶策略如下:
[0076] 当识别的颠簸等级为一级颠簸,清扫车启动避障策略,在原路径规划基础上进行绕开颠簸路段的局部路径规划,完成避障后,再返回原规划继续执行任务,并上报信息给云端后台系统,上报信息包括颠簸路况信息、避让结果:成功、实拍图像5张;若遇上无法避障的路况,清扫车停车回倒车掉头返回库房,并上报信息给云端后台系统,上报信息包括颠簸路况信息、避让结果:失败、实拍图像5张;
[0077] 当识别的颠簸等级为二级颠簸,清扫车启动避障策略,在原路径规划基础上进行绕开颠簸路段的局部路径规划,完成避障后,再返回原规划继续执行任务,并上报信息给云端后台系统,上报信息包括颠簸路况信息、通过方式:避让绕过、实拍图像5张;如果遇上无法避障的路况,清扫车关闭清扫功能、减速至限定速度,并上报信息给云端后台系统,上报信息包括颠簸路况信息、通过方式:减速通过、实拍图像5张;
[0078] 当识别的颠簸等级为三级颠簸,清扫车减速至限定速度,缓慢通过颠簸路段,实现最大限度保证清扫作业覆盖率,保持清扫作业状态,并上报信息给云端后台系统,上报信息包括颠簸路况信息、通过方式:减速通过、实拍图片5张;
[0079] 其中,颠簸路况信息包括颠簸路段的颠簸等级、颠簸类型、GPS位置。
[0080] 当清扫车减速通过颠簸等级为二级颠簸和三级颠簸的颠簸路段且行驶至颠簸路段前40-60cm时,还包括以下步骤:
[0081] (1):通过超声波传感器检测所述颠簸路段的深度信息,并将深度信息发送至深度识别单元进行处理得出颠簸路段深度;
[0082] (2):将超声波传感器检测得到的颠簸路段深度和双目摄像头处理得出的颠簸路段深度进行对比,判断两者差异是否在深度阈值内,若是,则判定双目摄像头识别准确,提高双目摄像头的置信度,若否,则以超声波传感器检测的颠簸路段深度信息为准,并依据超声波传感器检测的颠簸路段深度和步骤S4中判断验证后的颠簸类型与颠簸路段尺寸重新识别颠簸路段的等级得出最新颠簸等级,判断最新颠簸等级是否符合或低于步骤S5所识别得出的颠簸等级,若是,则清扫车按与步骤S5所识别得出的颠簸等级相对应的行驶策略继续前行,若否,则清扫车按与最新颠簸等级相对应的行驶策略紧急执行紧急减速,并将超声波传感器检测得到的颠簸路段深度信息反馈给双目摄像头计算模块,供双目摄像头修正学习,提高双目摄像头的识别精确度。
[0083] 当清扫车以限定速度通过颠簸等级为二级颠簸或三级颠簸的颠簸路段过程中,还包括以下步骤:
[0084] ①:IMU惯性导航组件采集Z轴的加速度变化数据信号,振动数据处理单元采用稳马尔克夫模型(HMM)对IMU惯性导航组件采集的数据信号进行判断评估获得清扫车振动的第一数据;
[0085] ②:振动传感器采集清扫车的振动数据,振动数据处理单元通过特定比例加权融合计算,获得清扫车振动的第二数据;
[0086] ③:振动数据处理单元通过卡尔曼滤波算法对第一数据和第二数据进行计算估测出最终振动数据获得振动等级,其中振动等级分为一级振动、二级振动和三级振动;
[0087] ④:主控模块判断振动数据处理单元得到的振动等级与步骤(2)识别的颠簸等级是否相应,若是,则判定颠簸路况识别模块的识别准确,提高颠簸路况识别模块的置信度,若否,则依据振动数据处理单元得出的振动等级将步骤(2)识别的颠簸等级变更为与振动等级相应的颠簸等级,且反馈到云端后台系统,供颠簸路况识别模块训练、修正。
[0088] 步骤④还包括:
[0089] 当清扫车以限定速度通过颠簸等级为二级颠簸的颠簸路段时,若振动数据处理单元得出的振动等级为二级振动,则判定颠簸路况识别模块对颠簸等级的识别准确,并反馈给云端后台系统,增加颠簸路况识别模块的置信度,若振动数据处理单元得出的振动等级为一级振动,则将该颠簸路段的颠簸等级变更为一级颠簸,判定颠簸路况识别模块对颠簸等级识别错误,并反馈给云端后台系统,供颠簸路况识别模块训练、修正;
[0090] 当清扫车以限定速度通过颠簸等级为三级颠簸的颠簸路段时,若振动数据处理单元得出的振动等级为三级振动,则判定颠簸路况识别模块对颠簸等级的识别准确,并反馈给云端后台系统,增加颠簸路况识别模块的置信度,若振动数据处理单元得出的振动等级为二级振动或背向摄像头检测到清扫效果低于预设的清扫阈值时,则将该颠簸路段的颠簸等级变更为二级颠簸,判定颠簸路况识别模块对颠簸等级识别错误,并反馈给云端后台系统,供颠簸路况识别模块训练、修正。
[0091] 在本申请中,所述稳马尔克夫模型训练的方法如下:
[0092] 振动数据处理单元对IMU惯性导航组件采集的数据信号进行截取,采用经验模态分解法(EMD)进行分解,生成多个信号分量的和,即本征模式函数(IMF),将本征模式函数分量对应的能量占比进行编码作为判断颠簸路段等级导致的振动程度的特征向量。信号分量的能量计算公式为: ,其中N为信号长度,对信号分量的能量进行归一化处理,并构造特征向量,特征向量的计算公式为: ,其中E为信号总能量,对特征向量进行编码得到编码结果,将编码结果输入到稳马尔克夫模型(HMM)中进行不同颠簸等级导致的振动程度识别的训练,每一种颠簸等级导致的振动程度都训练出一个HMM模型。
[0093] 步骤S6还包括:
[0094] 对于A类颠簸的路段,若在同一位置做了两次GPS标记确认,则标记该颠簸路段为固定类颠簸路段,若清扫车连续两次经过该位置也没识别到颠簸或识别到的颠簸分类为非A类,则取消标记该颠簸路段为固定类颠簸路段,
[0095] 若连续三次标记等级为一级颠簸且为避让结果为失败时,则在进行全局路径规划时避开该路段,除非人工手动标记该路段为可通行路段时,则将此前的标记清空,重新识别,如果标记为一级颠簸但避让结果为成功时,或是二级颠簸和三级颠簸时,则在进行全局路径规划时可在该位置提前做好局部性避障或减速策略;
[0096] 对于B类颠簸的路段,若连续三次标记等级为一级颠簸且避让结果为失败时,则在进行全局路径规划时避开该路段,除非人工手动标记该路段为可通行路段时,则将此前的标记清空,重新识别,如果标记为一级颠簸且避让结构为成功时,或为二级颠簸和三级颠簸时,则在进行全局路径规划时可在该位置提前做好局部性避障或减速策略;
[0097] 对于C类颠簸的路段,若连续两次在该位置没有识别到颠簸信息,则取消该位置的颠簸标记,否则在全局路径规划时可在该位置提前做好局部性避障或减速策略。
[0098] 综上所述通过利用单目摄像头、双目摄像头、超声波传感器、IMU惯性导航组件和多个振动传感器融合对如减速带、坑洼、凹凸条纹水泥砖等颠簸路面的形状、尺寸以及深度或高度进行识别,结合清扫车的行走极限情况、振动情况以及对颠簸路面清扫效果将颠簸路面进行颠簸等级划分,针对不同颠簸等级的颠簸路面,控制清扫车做出避让、减速通过或直接通过的行驶策略,实现使清扫车依据颠簸等级自适应地调整其行驶策略,保证清扫车安全通过颠簸路段的同时,最大极限保证清扫车的清扫覆盖度和作业效果。
[0099] 上列详细说明是针对本发明可行实施例的具体说明,该实施例并非用以限制本发明的专利范围,凡未脱离本发明所为的等效实施或变更,均应包含于本案的专利范围中。