深度学习智能车车道巡线优化方法转让专利

申请号 : CN202211654542.1

文献号 : CN115631479B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 赵泽宇张锐张超杰

申请人 : 北京钢铁侠科技有限公司

摘要 :

本发明公开了一种深度学习智能车车道巡线优化方法,属于智能车车道巡线领域。通过对比前后两帧车道巡线图片的推理结果,从而判断当前帧的车道巡线图片的推理结果是否存在问题,若当前帧的车道巡线图片的推理结果存在错误,则在数据库集中寻找到与当前帧的车道巡线图片最相似的图片,将该图片替换当前帧的车道巡线图片,并得出该图片的推理结果即可使得智能车正常巡线。本发明在整体流程上比较了前后帧车道巡线图片的推理结果,能够保证整体的输出结果连贯,并且能够有效处理光照、遮挡等复杂场景,避免了智能车因为复杂场景导致的推理结果错误的问题,解决了智能车在车道巡线过程偏离车道的问题。

权利要求 :

1.一种深度学习智能车车道巡线优化方法,其特征在于,包括以下步骤:

步骤1:采集车道巡线训练数据,卷积神经网络利用车道巡线训练数据训练得到车道巡线模型;

步骤2:智能车在车道巡线过程中采集车道巡线图片,车道巡线图片送入车道巡线模型进行推理,得到推理结果;

步骤3:建立一个推理结果列表,推理结果列表中能够存放推理结果;

步骤4:当前帧的车道巡线图片经过车道巡线模型推理后得到一个推理结果result,将推理结果result与前一帧车道巡线图片经过车道巡线模型推理后得到的一个推理结果list[‑1]进行比较;

步骤5:设定一个比较阈值,推理结果result与推理结果list[‑1]做比较后如果小于比较阈值,则代表当前帧的车道巡线图片的推理结果result大致在正确范围,可以直接将推理结果result添加到推理结果列表里,并输出;

设定一个数据集库,推理结果result与推理结果list[‑1]做比较后如果大于比较阈值,则代表推理结果result存在错误,进而将当前帧的车道巡线图片和数据集库里的所有图片进行一一对比,从数据集库中找到一张和当前帧的车道巡线图片最相似的图片,并用此最相似的图片替换当前帧图片,然后将最相似的图片输入车道巡线中的到一个新的推理结果;将新的结果与推理结果list[‑1]做比较,如果小于比较阈值,则将新的推理结果添加到推理结果列表里,并输出;如果大于比较阈值,则摒弃掉这个最相似的图片,重新在数据集库中寻找到最相似的图片,直到得到的推理结果与推理结果list[‑1]做比较后小于比较阈值,之后将最终得到的推理结果输出。

2.根据权利要求1所述的一种深度学习智能车车道巡线优化方法,其特征在于,步骤2中,每一帧的车道巡线图片经过车道巡线模型推理后,都会得到一个推理结果。

3.根据权利要求1所述的一种深度学习智能车车道巡线优化方法,其特征在于,步骤3具体包括:

所述推理结果列表中存放推理结果之前,需要先判断推理结果列表是否为空,若推理结果列表为空,则代表当前帧的车道巡线图片为第一帧的车道巡线图片,第一帧的车道巡线图片的推理结果直接存入推理结果列表中;若推理结果列表不为空,则执行步骤4。

4.根据权利要求1所述的一种深度学习智能车车道巡线优化方法,其特征在于,所述数据集库中包含的车道巡线图片是智能车在车道巡线过程中能够正常巡线的常规图片。

5.根据权利要求1所述的一种深度学习智能车车道巡线优化方法,其特征在于,步骤5中从数据集库中找到一张和当前帧的车道巡线图片最相似的图片的具体过程为:采用ORB特征提取算法,提取当前帧的车道巡线图片中的特征,再从数据集库中提取所有的图片的特征,并将提取到的当前帧的车道巡线图片中的特征与数据集库中提取所有的图片的特征进行比对,从数据集库中找到一张车道巡线图片的特征与当前帧的车道巡线图片中的特征最相似的图片。

说明书 :

深度学习智能车车道巡线优化方法

技术领域

[0001] 本发明涉及智能车车道巡线领域,具体涉及一种深度学习智能车车道巡线优化方法。

背景技术

[0002] 目前现有的智能车车道巡线过程大多通过卷积神经网络进行深度学习,在利用卷积神经网络进行深度学习后,智能车在行驶过程中通常会遇到复杂多变的场景和情况,比如光照的变化、目标被遮挡等,在这种场景下,经过深度学习的智能车可能会因为输入数据不佳而导致推理结果错误,导致智能车在车道巡线过程偏离车道。因此需要提供一种更优化的智能车车道巡线方法。

发明内容

[0003] 针对现有的智能车巡线时存在的当遇到复杂多变的场景易发生车辆偏离车道的问题,本发明提供了一种深度学习智能车车道巡线优化方法。
[0004] 本发明采用以下的技术方案:
[0005] 一种深度学习智能车车道巡线优化方法,包括以下步骤:
[0006] 步骤1:采集车道巡线训练数据,卷积神经网络利用车道巡线训练数据训练得到车道巡线模型;
[0007] 步骤2:智能车在车道巡线过程中采集车道巡线图片,车道巡线图片送入车道巡线模型进行推理,得到推理结果;
[0008] 步骤3:建立一个推理结果列表,推理结果列表中能够存放推理结果;
[0009] 步骤4:当前帧的车道巡线图片经过车道巡线模型推理后得到一个推理结果result,将推理结果result与前一帧车道巡线图片经过车道巡线模型推理后得到的一个推理结果list[‑1]进行比较;
[0010] 步骤5:设定一个比较阈值,推理结果result与推理结果list[‑1]做比较后如果小于比较阈值,则代表当前帧的车道巡线图片的推理结果result大致在正确范围,可以直接将推理结果result添加到推理结果列表里,并输出;
[0011] 设定一个数据集库,推理结果result与推理结果list[‑1]做比较后如果大于比较阈值,则代表推理结果result存在错误,进而将当前帧的车道巡线图片和数据集库里的所有图片进行一一对比,从数据集库中找到一张和当前帧的车道巡线图片最相似的图片,并用此最相似的图片替换当前帧图片,然后将最相似的图片输入车道巡线中的到一个新的推理结果;将新的结果与推理结果list[‑1]做比较,如果小于比较阈值,则将新的推理结果添加到推理结果列表里,并输出;如果大于比较阈值,则摒弃掉这个最相似的图片,重新在数据集库中寻找到最相似的图片,直到得到的推理结果与推理结果list[‑1]做比较后小于比较阈值,之后将最终得到的推理结果输出。
[0012] 优选地,步骤2中,每一帧的车道巡线图片经过车道巡线模型推理后,都会得到一个推理结果。
[0013] 优选地,步骤3具体包括:
[0014] 所述推理结果列表中存放推理结果之前,需要先判断推理结果列表是否为空,若推理结果列表为空,则代表当前帧的车道巡线图片为第一帧的车道巡线图片,第一帧的车道巡线图片的推理结果直接存入推理结果列表中;若推理结果列表不为空,则执行步骤4。
[0015] 优选地,所述数据集库中包含的车道巡线图片是智能车在车道巡线过程中能够正常巡线的常规图片。
[0016] 优选地,步骤5中从数据集库中找到一张和当前帧的车道巡线图片最相似的图片的具体过程为:
[0017] 采用ORB特征提取算法,提取当前帧的车道巡线图片中的特征,再从数据集库中提取所有的图片的特征,并将提取到的当前帧的的车道巡线图片中的特征与数据集库中提取所有的图片的特征进行比对,从数据集库中找到一张车道巡线图片的特征与当前帧的的车道巡线图片中的特征最相似的图片。
[0018] 本发明具有的有益效果是:
[0019] 本发明提供的深度学习智能车车道巡线优化方法,通过对比前后两帧车道巡线图片的推理结果,从而判断当前帧的车道巡线图片的推理结果是否存在问题,若当前帧的车道巡线图片的推理结果存在错误,则在数据库集中寻找到与当前帧的车道巡线图片最相似的图片,将该图片替换当前帧的车道巡线图片,并得出该图片的推理结果即可使得智能车正常巡线。本发明在整体流程上比较了前后帧车道巡线图片的推理结果,能够保证整体的输出结果连贯,并且能够有效处理光照、遮挡等复杂场景,避免了智能车因为复杂场景导致的推理结果错误的问题,解决了智能车在车道巡线过程偏离车道的问题。

附图说明

[0020] 图1为深度学习智能车车道巡线优化方法的流程图。

具体实施方式

[0021] 下面结合附图和具体实施例对本发明的具体实施方式做进一步说明:
[0022] 结合图1,一种深度学习智能车车道巡线优化方法,包括以下步骤:
[0023] 步骤1:采集车道巡线训练数据,形成训练集,智能车中卷积神经网络利用训练集训练得到车道巡线模型。
[0024] 步骤2:智能车在车道巡线过程中采集车道巡线图片,车道巡线图片送入车道巡线模型进行推理,得到推理结果。
[0025] 具体的,智能车通过摄像头采集行驶过程中的车道巡线图片。
[0026] 采集到的每一帧的车道巡线图片经过车道巡线模型推理后,都会得到一个推理结果。
[0027] 步骤3:建立一个推理结果列表,推理结果列表中能够存放推理结果。
[0028] 具体包括:
[0029] 推理结果列表中存放推理结果之前,需要先判断推理结果列表是否为空,若推理结果列表为空,则代表当前帧的车道巡线图片为第一帧的车道巡线图片,第一帧的车道巡线图片的推理结果直接存入推理结果列表中;若推理结果列表不为空,则执行步骤4。
[0030] 步骤4:当前帧的车道巡线图片经过车道巡线模型推理后得到一个推理结果result,将推理结果result与前一帧车道巡线图片经过车道巡线模型推理后得到的一个推理结果list[‑1]进行比较。
[0031] 步骤5:设定一个比较阈值,推理结果result与推理结果list[‑1]做比较后如果小于比较阈值,则代表当前帧的车道巡线图片的推理结果result大致在正确范围,可以直接将推理结果result添加到推理结果列表里,并输出;
[0032] 设定一个数据集库,推理结果result与推理结果list[‑1]做比较后如果大于比较阈值,则代表推理结果result存在错误,进而将当前帧的车道巡线图片和数据集库里的所有图片进行一一对比,从数据集库中找到一张和当前帧的车道巡线图片最相似的图片,并用此最相似的图片替换当前帧图片,然后将最相似的图片输入车道巡线中的到一个新的推理结果。将新的结果与推理结果list[‑1]做比较,如果小于比较阈值,则将新的推理结果添加到推理结果列表里,并输出;如果大于比较阈值,则摒弃掉这个最相似的图片,重新在数据集库中寻找到最相似的图片,直到最终找到的相似图片的推理结果与推理结果list[‑1]做比较后小于比较阈值,之后将最终得到的推理结果输出。
[0033] 其中,数据集库中包含的车道巡线图片是智能车在车道巡线过程中能够正常巡线的常规图片。
[0034] 数据集库中的车道巡线图片在输入车道巡线模型后都能得出一个近乎完美的推理结果,这些推理结果能够使得智能车在车道巡线过程中能够正常巡线行驶。数据集库中的车道巡线图片可以逐步进行添加完善。
[0035] 从数据集库中找到一张和当前帧的车道巡线图片最相似的图片的具体过程为:
[0036] 采用ORB特征提取算法,提取当前帧的车道巡线图片中的特征,再从数据集库中提取所有的图片的特征,并将提取到的当前帧的的车道巡线图片中的特征与数据集库中提取所有的图片的特征进行比对,从数据集库中找到一张车道巡线图片的特征与当前帧的的车道巡线图片中的特征最相似的图片。
[0037] 实施例1
[0038] 由于光照变化导致摄像头采集的当前帧的车道巡线图片不清楚,在经过车道巡线模型推理后得到一个推理结果result与前一帧的车道巡线照片的推理结果list[‑1]做比较后,大于比较阈值,则当前帧的车道巡线图片的推理结果必然会导致车道巡线出现偏差,在此情况下,采用ORB特征提取算法,提取当前帧的车道巡线图片中的特征,再从数据集库中提取所有的图片的特征,并将提取到的当前帧的的车道巡线图片中的特征与数据集库中提取所有的图片的特征进行比对,从数据集库中找到一张车道巡线图片的特征与当前帧的的车道巡线图片中的特征最相似的图片,该图片在在输入车道巡线模型后得到的推理结果能够使得智能车能够正常巡线行驶,从而用该图片替换当前帧的车道巡线图片,然后使用模型进行推理输出即可。
[0039] 本发明在整体流程上比较了前后帧车道巡线图片的推理结果,能够保证整体的输出结果连贯,并且能够有效处理光照、遮挡等复杂场景,避免了智能车因为复杂场景导致的推理结果错误的问题,解决了智能车在车道巡线过程偏离车道的问题。
[0040] 当然,上述说明并非是对本发明的限制,本发明也并不仅限于上述举例,本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换,也应属于本发明的保护范围。