一种虚拟车道线识别方法及装置、设备、介质转让专利
申请号 : CN201811609887.9
文献号 : CN109711341B
文献日 : 2021-03-09
发明人 : 冯汉平 , 高三元
申请人 : 宽凳(北京)科技有限公司
摘要 :
权利要求 :
1.一种虚拟车道线识别方法,其特征在于,包括:获取多个预定类别的道路样本图像,所述预定类别至少包括虚拟车道线类别和其他类别,所述虚拟车道线用于界定指定车道的至少一侧边界;
调整所述虚拟车道线类别对应的训练权重,并根据调整后的训练权重和所述道路样本图像,训练机器学习模型,以在第一训练阶段内偏重针对所述其他类别训练;
调整所述其他类别对应的训练权重,并根据调整后的训练权重和所述道路样本图像,再训练所述机器学习模型,以在晚于第一训练阶段的第二训练阶段内偏重针对所述虚拟车道线类别训练;
利用第二训练阶段训练后的机器学习模型,在待识别图像中识别虚拟车道线。
2.如权利要求1所述的方法,其特征在于,所述指定车道包括应急车道,所述虚拟车道线用于界定所述应急车道的其中一侧边界,所述其中一侧边界处不包含真实车道线。
3.如权利要求2所述的方法,其特征在于,所述虚拟车道线与用于界定所述应急车道的另一侧边界的真实车道线宽度一致。
4.如权利要求2所述的方法,其特征在于,所述其中一侧边界处包含以下至少一种要素:栅栏、路沿、凸型屏障。
5.如权利要求4所述的方法,其特征在于,所述虚拟车道线位于所述要素靠近所述应急车道的一侧,且位于所述应急车道的路面上。
6.如权利要求1所述的方法,其特征在于,所述预定类别包括路面类别,所述虚拟车道线位于路面上;
在所述第二训练阶段后,所述方法还包括:至少调整所述虚拟车道线类别和所述路面类别以外的类别对应的训练权重,并根据调整后的训练权重和所述道路样本图像,再训练所述机器学习模型,以在第三训练阶段内偏重针对所述虚拟车道线类别和所述路面类别训练,并利用第三训练阶段训练后的所述机器学习模型,在待识别图像中识别虚拟车道线。
7.如权利要求1所述的方法,其特征在于,所述调整所述虚拟车道线类别对应的训练权重,具体包括:
将所述虚拟车道线类别对应的训练权重调整为0,以在第一训练阶段内不针对所述虚拟车道线类别训练;
所述调整所述其他类别对应的训练权重,具体包括:调整所述其他类别对应的训练权重和所述虚拟车道线类别对应的训练权重,使得调整后的所述其他类别对应的训练权重大于0,且与调整后的所述虚拟车道线类别对应的训练权重的比小于或等于0.01,以在第二训练阶段内相应减少针对所述其他类别的训练。
8.如权利要求1所述的方法,其特征在于,在所述训练机器学习模型前,所述方法还包括:
适应于所述虚拟车道线的定义方式,在所述道路样本图像中标注虚拟车道线,所述标注得到的信息用于对所述机器学习模型的有监督训练。
9.如权利要求1~8中任一项所述的方法,其特征在于,所述机器学习模型包括基于卷积神经网络的图像语义分割模型。
10.一种虚拟车道线识别装置,其特征在于,包括:样本图像获取模块,获取多个预定类别的道路样本图像,所述预定类别至少包括虚拟车道线类别和其他类别,所述虚拟车道线用于界定指定车道的至少一侧边界;
第一调整训练模块,调整所述虚拟车道线类别对应的训练权重,并根据调整后的训练权重和所述道路样本图像,训练机器学习模型,以在第一训练阶段内偏重针对所述其他类别训练;
第二调整训练模块,调整所述其他类别对应的训练权重,并根据调整后的训练权重和所述道路样本图像,再训练所述机器学习模型,以在晚于第一训练阶段的第二训练阶段内偏重针对所述虚拟车道线类别训练;
虚拟车道线识别模块,利用第二训练阶段训练后的机器学习模型,在待识别图像中识别虚拟车道线。
11.如权利要求10所述的装置,其特征在于,所述指定车道包括应急车道,所述虚拟车道线用于界定所述应急车道的其中一侧边界,所述其中一侧边界处不包含真实车道线。
12.如权利要求11所述的装置,其特征在于,所述虚拟车道线与用于界定所述应急车道的另一侧边界的真实车道线宽度一致。
13.如权利要求11所述的装置,其特征在于,所述其中一侧边界处包含以下至少一种要素:栅栏、路沿、凸型屏障。
14.如权利要求13所述的装置,其特征在于,所述虚拟车道线位于所述要素靠近所述应急车道的一侧,且位于所述应急车道的路面上。
15.如权利要求10所述的装置,其特征在于,所述预定类别包括路面类别,所述虚拟车道线位于路面上;所述装置还包括:第三调整训练模块,在所述第二训练阶段后,至少调整所述虚拟车道线类别和所述路面类别以外的类别对应的训练权重,并根据调整后的训练权重和所述道路样本图像,再训练所述机器学习模型,以在第三训练阶段内偏重针对所述虚拟车道线类别和所述路面类别训练,并利用第三训练阶段训练后的机器学习模型,在待识别图像中识别虚拟车道线。
16.如权利要求10所述的装置,其特征在于,所述第一调整训练模块调整所述虚拟车道线类别对应的训练权重,具体包括:所述第一调整训练模块将所述虚拟车道线类别对应的训练权重调整为0,以在第一训练阶段内不针对所述虚拟车道线类别训练;
所述第二调整训练模块调整所述其他类别对应的训练权重,具体包括:所述第二调整训练模块调整所述其他类别对应的训练权重和所述虚拟车道线类别对应的训练权重,使得调整后的所述其他类别对应的训练权重大于0,且与调整后的所述虚拟车道线类别对应的训练权重的比小于或等于0.01,以在第二训练阶段内相应减少针对所述其他类别的训练。
17.如权利要求10所述的装置,其特征在于,所述装置还包括:虚拟车道线标注模块,在所述训练机器学习模型前,适应于所述虚拟车道线的定义方式,在所述道路样本图像中标注虚拟车道线,标注得到的信息用于对所述机器学习模型的有监督训练。
18.如权利要求10~17中任一项所述的装置,其特征在于,所述机器学习模型包括基于卷积神经网络的图像语义分割模型。
19.一种虚拟车道线识别设备,其特征在于,包括:至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:获取多个预定类别的道路样本图像,所述预定类别至少包括虚拟车道线类别和其他类别,所述虚拟车道线用于界定指定车道的至少一侧边界;
调整所述虚拟车道线类别对应的训练权重,并根据调整后的训练权重和所述道路样本图像,训练机器学习模型,以在第一训练阶段内偏重针对所述其他类别训练;
调整所述其他类别对应的训练权重,并根据调整后的训练权重和所述道路样本图像,再训练所述机器学习模型,以在晚于第一训练阶段的第二训练阶段内偏重针对所述虚拟车道线类别训练;
利用第二训练阶段训练后的机器学习模型,在待识别图像中识别虚拟车道线。
20.一种虚拟车道线识别非易失性计算机存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令设置为:获取多个预定类别的道路样本图像,所述预定类别至少包括虚拟车道线类别和其他类别,所述虚拟车道线用于界定指定车道的至少一侧边界;
调整所述虚拟车道线类别对应的训练权重,并根据调整后的训练权重和所述道路样本图像,训练机器学习模型,以在第一训练阶段内偏重针对所述其他类别训练;
调整所述其他类别对应的训练权重,并根据调整后的训练权重和所述道路样本图像,再训练所述机器学习模型,以在晚于第一训练阶段的第二训练阶段内偏重针对所述虚拟车道线类别训练;
利用第二训练阶段训练后的机器学习模型,在待识别图像中识别虚拟车道线。
说明书 :
一种虚拟车道线识别方法及装置、设备、介质
技术领域
背景技术
待识别图像进行二值化,再通过使用霍夫变换等方法检测直线以识别出车道线。
管部门在路面上绘制的车道线。
发明内容
应急车道的右边界,如果使用栅栏、路沿、凸型屏障等要素界定,也存在要素多考虑不全,要
素本身界定困难问题。
拟车道线类别训练;
内偏重针对所述虚拟车道线类别和所述路面类别训练,并利用第三训练阶段训练后的所述
机器学习模型,在待识别图像中识别虚拟车道线。
应的训练权重,以在第二训练阶段内相应减少针对所述其他类别的训练。
他类别训练;
段内偏重针对所述虚拟车道线类别训练;
再训练所述机器学习模型,以在第三训练阶段内偏重针对所述虚拟车道线类别和所述路面
类别训练,并利用第三训练阶段训练后的机器学习模型,在待识别图像中识别虚拟车道线。
所述虚拟车道线类别对应的训练权重,以在第二训练阶段内相应减少针对所述其他类别的
训练。
型的有监督训练。
拟车道线类别训练;
拟车道线类别训练;
界,能够简化模型训练所需针对的类别,不仅如此,在训练模型时,还通过调整类别的训练
权重,使得包括虚拟车道线类别在内的各类别都能够得到充分训练,有利于使用训练好的
模型更准确地识别车道线。
附图说明
具体实施方式
部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做
出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
提出了一种虚拟车道线,用于界定该至少一侧边界,以便于机器识别。该至少一侧边界在实
际生活中往往是由栅栏、凸型屏障、路沿等要素界定,不便于机器识别。
对这种情况,还提出了一种模型训练方案,有利于针对虚拟车道线类别充分训练。
务器、机器学习服务器集群、图像分割服务器等,从程序角度而言,执行主体相应地可以是
搭载于这些计算设备上的程序,比如,神经网络建模平台、图像处理平台等。
类别。一个道路样本图像可以属于多个不同类别。
界定,而非真实车道线。除了应急车道以外,可能还有其他一些应道也存在类似情况,一侧
边界或者双侧边界不包含真实车道线,比如,县道、乡道、非正规道路等,指定车道也可以是
这些车道。
模型针对虚拟车道线以外的类别也进行了训练,则也可以用于识别这些类别的要素,比如,
虚线车道线、路面等。
要素所处区域,或者部分处于路面上另一部分处于这些要素所处区域等;还可以按照样式
等其他维度定义虚拟车道线。下面一些实施例主要以定义虚拟车道线完全处于路面上为例
进行说明,在这种情况下,虚拟车道线实际上可以由路面像素构成,当然,虚拟车道线的具
体样式(比如,宽度如何、是虚线还是实线等)仍然可以是多样的,可以根据需求定义。
述其他类别训练。
割模型比如可以是图像语义分割模型,有助于进一步地提高识别结果的准确性。
练。
型时平等地针对各类要素进行训练,则虚拟车道线类别难以被充分训练,进而会影响后续
识别效果,基于此,考虑针对虚拟车道线类别与其他类别,分训练阶段区别性地有偏重地进
行训练,以求在不同训练阶段分别能够尽量充分地训练一部分类别,各训练阶段具体持续
多久,达到怎样的训练充分程度可以根据实际情况确定,这里不做具体限定。
针对该训练权重对应的类别训练。
的大小,从而影响该类别的训练充分程度。调整方案可以是多样的,比如可以将虚拟车道线
类别对应的训练权重尽量调低,优选地可以降为0,当然,也可以将其他类别对应的训练权
重调高。
所述虚拟车道线类别训练。
将虚拟车道线类别对应的训练权重还原为正常水平,甚至可以调高。可以使在调整后,其他
类别对应的训练权重大于0,且远小于虚拟车道线类别对应的训练权重,比如,其他类别对
应的训练权重为虚拟车道线类别对应的训练权重的0.01倍等。需要说明的是,也可以将其
他类别对应的训练权重调整为0,但是持续时间不宜过长,以免使其他类别中的一些不太显
著的类别更加地不显著,后续难以再有效训练。
者其他需要识别的要素。
地训练或者调整,以求达到更好的训练效果,之后再用于识别待识别图像。
训练模型时,还通过调整类别的训练权重,使得包括虚拟车道线类别在内的各类别都能够
得到充分训练,有利于使用训练好的模型更准确地识别车道线。
线与其他路面像素,可以在至少一个训练阶段内偏重于训练虚拟车道线类别和路面类别,
而相对地忽视除此之外的其他类别。该至少一个训练阶段比如是晚于第二训练阶段的第三
训练阶段,当然,第三训练阶段也可以在第一训练阶段或者第二训练阶段之前,最后训练效
果可能会有所区别。
样本图像,再训练所述机器学习模型,以在第三训练阶段内偏重针对所述虚拟车道线类别
和所述路面类别训练,并利用第三训练阶段训练后的所述机器学习模型,在待识别图像中
识别虚拟车道线。
拟车道线以及与构成虚拟车道线的像素一致的其他像素。
能够界定该应急车道右边界的一条凸型屏障,另外,还用虚线(这条虚线实际是不存在的)
标示出了一条虚拟车道线。该虚拟车道线可以代替该凸型屏障,用于界定该应急车道右边
界。可以看到,该虚拟车道线也位于路面上,由路面像素构成,该虚拟车道线位于凸型屏障
靠近应急车道的一侧(左侧),宽度可以与该真实车道线一致。当然,根据前面的说明也可
知,图2中的虚拟车道线只是为了便于理解,用一种示例性的位置和样式表示的,并非唯一
的位置和样式。
类别对应的训练权重,以在第二训练阶段内相应减少针对所述其他类别的训练,偏重训练
虚拟车道线类别。
其他类别训练;
阶段内偏重针对所述虚拟车道线类别训练;
像,再训练所述机器学习模型,以在第三训练阶段内偏重针对所述虚拟车道线类别和所述
路面类别训练,并利用第三训练阶段训练后的机器学习模型,在待识别图像中识别虚拟车
道线。
的所述虚拟车道线类别对应的训练权重,以在第二训练阶段内相应减少针对所述其他类别
的训练。
模型的有监督训练。
拟车道线类别训练;
拟车道线类别训练;
备和介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见
方法实施例的部分说明即可。
行了详细说明,因此,这里不再赘述装置、设备和介质的有益技术效果。
施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机
可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产
品的形式。
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
示例。
计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动
态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除
可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、
数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备
或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算
机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要
素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要
素的过程、方法、商品或者设备中还存在另外的相同要素。
替换、改进等,均应包含在本申请的权利要求范围之内。