车道线识别方法及装置转让专利
申请号 : CN202111496191.1
文献号 : CN113903015B
文献日 : 2022-04-05
发明人 : 董颖 , 刘国清 , 郑伟 , 杨广
申请人 : 深圳佑驾创新科技有限公司
摘要 :
权利要求 :
1.一种车道线识别方法,其特征在于,包括:将车辆前方的道路图像输入第一模型中,得到所述道路图像中的每个像素点对应的二值化特征值;
将所述二值化特征值输入第二模型中,得到每个所述二值化特征值对应的聚类特征值,所述聚类特征值用于标识所述二值化特征值距其所在的车道线的中心点的距离;所述聚类特征值满足目标条件;所述目标条件为:所述聚类特征值使得位于同一条车道线上的像素点之间的距离小于第二阈值,且使得位于不同车道线上的像素点之间的距离大于第三阈值,所述第二阈值小于所述第三阈值;
根据所述聚类特征值将所述二值化特征值进行聚类,得到多个聚类簇;
根据每个所述聚类簇中包括的二值化特征值,确定所述道路图像中的车道线分割结果。
2.根据权利要求1所述的方法,其特征在于,在将车辆前方的道路图像输入第一模型中之前,还包括:
获取包括标注信息的原始样本图像,所述标注信息包括车道线语义标签和车道线实例标签,所述原始样本图像为在不同场景、不同视角下采集的多张车辆前方的道路图像;其中,所述车道线语义标签用于区分所述原始样本图像中的车道线上的像素点和背景像素点,所述车道线实例标签用于区分所述原始样本图像中不同的车道线;
根据所述原始样本图像和由所述车道线语义标签生成的包含二值化特征值的第一标注图像,建立第一样本数据集;
根据所述第一标注图像和由所述车道线实例标签生成的第二标注图像,建立第二样本数据集;
利用所述第一样本数据集对第一神经网络进行训练,得到第一模型;
利用所述第二样本数据集对第二神经网络进行训练,得到第二模型。
3.根据权利要求2所述的方法,其特征在于,所述利用所述第一样本数据集对第一神经网络进行训练,得到第一模型,包括:以所述第一样本数据集中的原始样本图像作为输入,并以所述第一标注图像中的二值化特征值作为标签,对所述第一神经网络进行训练;
当所述第一神经网络输出的原始样本图像的二值化特征值与对应的所述第一标注图像中的二值化特征值之间的差距小于第一阈值时,确定所述第一神经网络训练完成,得到第一模型。
4.根据权利要求2所述的方法,其特征在于,所述根据所述第二样本数据集对第二神经网络进行训练,得到第二模型,包括:以所述第二样本数据集中的第一标注图像作为输入,并以所述第二标注图像中的车道线实例标签作为标签,对所述第二神经网络进行训练;
当所述第二神经网络输出的所述像素点的聚类特征值满足目标条件时,确定所述第二神经网络训练完成,得到第二模型。
5.根据权利要求1所述的方法,其特征在于,所述根据所述聚类特征值将所述二值化特征值进行聚类,得到多个聚类簇,具体包括:利用聚类算法对所述二值化特征值对应的聚类特征值进行聚类,得到多个以所述二值化特征值为数据点的聚类簇。
6.根据权利要求1所述的方法,其特征在于,所述根据每个所述聚类簇中包括的二值化特征值,确定所述道路图像中的车道线分割结果,包括:根据每个所述聚类簇中包括的二值化特征值,确定每个所述聚类簇对应的车道线;
对每个所述聚类簇对应的车道线进行可视化处理,得到所述道路图像中的车道线分割结果。
7.一种车道线识别装置,其特征在于,包括:第一预测模块,用于将车辆前方的道路图像输入第一模型中,得到所述道路图像中的每个像素点对应的二值化特征值;
第二预测模块,用于将所述二值化特征值输入第二模型中,得到每个所述二值化特征值对应的聚类特征值,所述聚类特征值用于标识所述二值化特征值距其所在的车道线的中心点的距离;所述聚类特征值满足目标条件;所述目标条件为:所述聚类特征值使得位于同一条车道线上的像素点之间的距离小于第二阈值,且使得位于不同车道线上的像素点之间的距离大于第三阈值,所述第二阈值小于所述第三阈值;
聚类模块,用于根据所述聚类特征值将所述二值化特征值进行聚类,得到多个聚类簇;
确定模块,用于根据每个所述聚类簇中包括的二值化特征值,确定所述道路图像中的车道线分割结果。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:获取模块,用于获取包括标注信息的原始样本图像,所述标注信息包括车道线语义标签和车道线实例标签,所述原始样本图像为在不同场景、不同视角下采集的多张车辆前方的道路图像;其中,所述车道线语义标签用于区分所述原始样本图像中的车道线上的像素点和背景像素点,所述车道线实例标签用于区分不同的车道线;
第一样本建立模块,用于根据所述原始样本图像和由所述车道线语义标签生成的包含二值化特征值的第一标注图像建立第一样本数据集;
第二样本建立模块,用于根据所述第一标注图像和由所述车道线实例标签生成的第二标注图像建立第二样本数据集;
第一训练模块,用于利用所述第一样本数据集对第一神经网络进行训练,得到第一模型;
第二训练模块,用于利用所述第二样本数据集对第二神经网络进行训练,得到第二模型。
9.一种计算机设备,其特征在于,所述计算机设备包括:处理器和存储器;所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;当所述处理器执行所述计算机指令时,所述计算机设备执行如权利要求1‑6中任意一项所述的车道线识别方法。
10.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在计算机设备上运行时,使得所述计算机设备执行权利要求1‑6中任意一项所述的车道线识别方法。
说明书 :
车道线识别方法及装置
技术领域
背景技术
传感器,设计算法从车辆前方的道路图像中识别出每条车道线的技术,在本领域中又称作
车道线实例分割。
道路图像中每个像素点的二值化特征值的同时,还会通过另一个特征向量分支输出道路图
像中每个像素点的聚类特征值。结合特征向量分支的结果,进一步将道路图像中每个像素
点的二值化特征值转化成车道线分割结果,使得每条车道线上的像素点有相同的标识,不
同车道线上的像素点标识不同,从而实现车道线实例分割。
于多任务模型的输入为摄像头采集的道路图像,使得聚类特征向量的提取引入了更多噪
声,降低了车道线实例分割的准确性。
发明内容
道线实例标签,原始样本图像为在不同场景、不同视角下采集的多张车辆前方的道路图像;
其中,车道线语义标签用于区分原始样本图像中的车道线上的像素点和背景像素点,车道
线实例标签用于区分原始样本图像中不同的车道线;根据原始样本图像和由所述车道线语
义标签生成的包含二值化特征值的的第一标注图像建立第一样本数据集;根据第一标注图
像和由所述车道线实例标签生成的第二标注图像建立第二样本数据集;利用第一样本数据
集对第一神经网络进行训练,得到第一模型;利用第二样本数据集对第二神经网络进行训
练,得到第二模型。
图像作为输入,并以第一标注图像中的二值化特征值作为标签,对第一神经网络进行训练;
当第一神经网络输出的原始样本图像的二值化特征值与对应的第一标注图像中的二值化
特征值之间的差距小于第一阈值时,确定第一神经网络训练完成,得到第一模型。
图像作为输入,并以第二标注图像中的车道线实例标签作为标签,对第二神经网络进行训
练;当第二神经网络输出的像素点的聚类特征值满足目标条件时,确定第二神经网络训练
完成,得到第二模型;其中,目标条件为:聚类特征值使得位于同一条车道线上的像素点之
间的距离小于第二阈值,且使得位于不同车道线上的像素点之间的距离大于第三阈值,第
二阈值小于第三阈值。
素点对应的二值化特征值,确定与道路图像对应的二值化图像。
行聚类,得到多个以二值化特征值为数据点的聚类簇。
定每个聚类簇对应的车道线;对每个聚类簇对应的车道线进行可视化处理,得到道路图像
中的车道线分割结果。
标签,原始样本图像为在不同场景、不同视角下采集的多张车辆前方的道路图像;其中,车
道线语义标签用于区分原始样本图像中的车道线上的像素点和背景像素点,车道线实例标
签用于区分不同的车道线;第一样本建立模块,用于根据原始样本图像和由所述车道线语
义标签生成的包含二值化特征值的第一标注图像建立第一样本数据集;第二样本建立模
块,用于根据第一标注图像和包括每个像素点的二值化特征值和由所述车道线实例标签生
成的的第二标注图像建立第二样本数据集;第一训练模块,用于利用第一样本数据集对第
一神经网络进行训练,得到第一模型;第二训练模块,用于利用第二样本数据集对第二神经
网络进行训练,得到第二模型。
化特征值作为标签,对第一神经网络进行训练;当第一神经网络输出的原始样本图像的二
值化特征值与对应的第一标注图像中的二值化特征值之间的差距小于第一阈值时,确定第
一神经网络训练完成,得到第一模型。
线实例标签作为标签,对第二神经网络进行训练;当第二神经网络输出的像素点的聚类特
征值满足目标条件时,确定第二神经网络训练完成,得到第二模型;其中,目标条件为:聚类
特征值使得位于同一条车道线上的像素点之间的距离小于第二阈值,且使得位于不同车道
线上的像素点之间的距离大于第三阈值,第二阈值小于第三阈值。
视化处理,得到道路图像中的车道线分割结果。
机指令时,车辆行驶装置执行如第一方面及其任一种可能的实现方式的车道线识别方法。
实现方式中任意一项的车道线识别方法。
第二模型中,得到每个二值化特征值对应的聚类特征值,而后根据聚类特征值将二值化特
征值进行聚类,得到多个聚类簇,最终根据每个聚类簇中包括的二值化特征值,确定道路图
像中的车道线分割结果。本实施例将传统车道线实例分割模型中的两个模型分支解耦,单
独使用第一模型和第二模型分别获得输出结果,分别提高了两个模型输出结果的准确性,
从而提高了最终的车道线分割结果的准确性。同时,由于第二模型的输入为道路图像的二
值化特征值,相对于现有技术中的道路图像,其噪点更少,输出的聚类特征值也会更准确,
进一步提升了车道线分割结果的准确性。
附图说明
具体实施方式
本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他
实施例,都属于本发明保护的范围。
隐含地包括一个或者更多个该特征。在本公开实施例的描述中,除非另有说明,“多个”的含
义是两个或两个以上。
的值。
路图像中的每个像素点对应的二值化特征值,再将二值化特征值输入第二模型中,得到每
个二值化特征值对应的聚类特征值,其中,聚类特征值用于标识二值化特征值距其所在的
车道线的中心点的距离,而后根据聚类特征值将二值化特征值进行聚类,得到多个聚类簇,
并最终根据每个聚类簇中包括的二值化特征值,确定道路图像中的车道线分割结果。
最终的车道线分割结果的准确性。同时,由于第二模型的输入为道路图像的二值化特征值,
相对于现有技术中的道路图像,其噪点更少,输出的聚类特征值也会更准确,进一步提升了
车道线分割结果的准确性。
道线识别方法的应用场景示意图,在车辆行驶过程中,车载摄像设备101可以获取实时的道
路图像102,而后通过计算机设备103对道路图像进行车道线实例分割,得到车道线分割结
果104,从而辅助车辆进行自动驾驶。
S204。
素点的二值化特征值相同,背景图像上的每个像素点的二值化特征值相同,且车道线上的
像素点的二值化特征值与背景图像上的像素点的二值化特征值不同。示例性的,车道线上
的每个像素点的二值化特征值可以都为1,背景图像上的每个像素点的二值化特征值可以
都为0。
型可以提取该道路图像中的每个像素点,并输出每个像素点的二值化特征值。可以理解的
是,通过道路图像中每个像素点的二值化特征值,第一模型可以输出一个能够区分出车道
线上的像素点和背景图像上的像素点的二值化图像,以图3示出的第一模型处理流程示意
图为例,将道路图像102输入第一模型,可以得到道路图像102对应的二值化图像105,该二
值化图像105可以是单通道的灰度图。将二值化图像105与对应的道路图像102做对比,可以
用于可视化地评估第一模型的性能强弱。
素点和背景图像上的像素点是不够的,在此基础上,还需要根据每个像素点的位置,对像素
点进行聚类,以使位于同一车道线上的像素点属于同一类,位于不同车道线上的像素点属
于不同类。
二值化特征值对应的像素点所处的位置。具体的,聚类特征值可以用于标识二值化特征值
对应的像素点距其所在的车道线的中心点的距离,使得计算机设备可以基于聚类特征值,
通过基于划分的典型聚类算法,例如k均值聚类算法,对每个像素点进行聚类,从而得到多
个以所述二值化特征值为数据点的聚类簇。
个聚类簇对应的车道线,并对每个像素点做可视化处理,区别出不同的车道线,从而实现车
道线实例分割。
像素点,对其着相同的颜色,针对不同聚类簇中的车道线上的像素点,对其着不同的颜色,
从而使得各条车道线的颜色不同,可视化地实现不同车道线的识别。在另一种可能的实现
方式中,计算机设备还可以针对同一聚类簇中的车道线上的像素点,对其可视化地输出相
同的灰度,针对不同聚类簇中的车道线上的像素点,对其可视化地输出不同的灰度,从而使
得各条车道线的明暗程度不同,可视化地实现不同车道线的识别。可以理解的是,可视化地
区分各条车道线的方式较多,在此不做过多赘述。
型中,得到每个二值化特征值对应的聚类特征值,而后根据聚类特征值将二值化特征值进
行聚类,得到多个聚类簇,最终根据每个聚类簇中包括的二值化特征值,确定道路图像中的
车道线分割结果。本实施例将传统车道线实例分割模型中的两个模型分支解耦,单独使用
第一模型和第二模型分别获得输出结果,分别提高了两个模型输出结果的准确性,从而提
高了最终的车道线分割结果的准确性。同时,由于第二模型的输入为道路图像的二值化特
征值,相对于现有技术中的道路图像,其噪点更少,输出的聚类特征值也会更准确,进一步
提升了车道线分割结果的准确性。
中,车道线语义标签用于区分原始样本图像中的车道线上的像素点和背景像素点,车道线
实例标签用于区分原始样本图像中不同的车道线。
中每个像素点的二值化特征值,该原始样本图像为可以包括在不同场景、不同视角下采集
的多张车辆前方的道路图像。示例性的,该原始样本图像可以包括有大车视角的道路图像
和小车视角的道路图像,每张道路图像中都包括人工标注好的车道线语义标签和车道线实
例标签。
据集,该第一样本数据集可以用于训练上述实施例中的第一模型。
第二样本数据集可以用于训练上述实施例中的第二模型。
第一模型。计算机设备还可以利用第二样本数据集,以第二样本数据集中的第一标注图像
为输入,以第二标注图像中的车道线实例标签作为标签,对第二神经网络进行训练,得到第
二模型。
据集,根据所述第一标注图像和由所述车道线实例标签生成的第二标注图像建立第二样本
数据集,并利用第一样本数据集对第一神经网络进行训练,得到第一模型,利用第二样本数
据集对第二神经网络进行训练,得到第二模型,实现了对上述实施例中所使用的第一模型
和第二模型的单独训练,从而提升了第一模型输出的二值化特征值和第二模型输出的聚类
特征值的准确性,提升了车道线分割结果的准确性。另外,由于原始样本图像包括了在不同
场景、不同视角下采集的多张车辆前方的道路图像,以此训练出的第一模型和第二模型的
性能更好,可以更好的适应在不同场景、不同视角下的车道线识别。
模型。
值化特征值之间的差距小于第一阈值的过程。第一阈值可以是预设的期望值,第一阈值越
小,训练完成后得到的第一模型的预测结果就越准确。
的原始样本图像的二值化特征值与对应的第一标注图像中的二值化特征值之间的差距小
于第一阈值时,确定第一神经网络训练完成,得到第一模型。除此之外,对第一模型的训练
还可以通过设置迭代次数来实现,即模型训练的迭代次数达到预设迭代次数后,无论第一
神经网络输出的原始样本图像的二值化特征值与对应的第一标注图像中的二值化特征值
之间的差距为多少,都会结束第一神经网络训练,得到第一模型。此处对于第一模型的训练
方式不做限定。
的原始样本图像的二值化特征值与对应的第一标注图像中的二值化特征值之间的差距小
于第一阈值时,确定第一神经网络训练完成,得到第一模型。本实施例为第一模型提供了具
体的模型训练方式,同时,通过适度地降低第一阈值,可以在一定限度内提升第一模型的预
测准确度,从而提升车道线分割结果的准确性。
第三阈值。
出的像素点的聚类特征值满足目标条件时,确定第二神经网络训练完成,得到第二模型。
标条件,即同一条车道线上的像素点之间的距离小于第二阈值,且位于不同车道线上的像
素点之间的距离大于第三阈值,为后续区分不同车道线提供了数据基础。
84。
离;
始样本图像为在不同场景、不同视角下采集的多张车辆前方的道路图像;其中,车道线语义
标签用于区分原始样本图像中的车道线上的像素点和背景像素点,车道线实例标签用于区
分不同的车道线;第一样本建立模块86,用于根据原始样本图像和由所述车道线语义标签
生成的包含二值化特征值的第一标注图像建立第一样本数据集;第二样本建立模块87,用
于根据第一标注图像和由所述车道线实例标签生成的第二标注图像建立第二样本数据集;
第一训练模块88,用于利用第一样本数据集对第一神经网络进行训练,得到第一模型;第二
训练模块89,用于利用第二样本数据集对第二神经网络进行训练,得到第二模型。
网络输出的原始样本图像的二值化特征值与对应的第一标注图像中的二值化特征值之间
的差距小于第一阈值时,确定第一神经网络训练完成,得到第一模型。
经网络输出的像素点的聚类特征值满足目标条件时,确定第二神经网络训练完成,得到第
二模型;其中,目标条件为:聚类特征值使得位于同一条车道线上的像素点之间的距离小于
第二阈值,且使得位于不同车道线上的像素点之间的距离大于第三阈值,第二阈值小于第
三阈值。
道线分割结果。
执行本发明前述实施方式提供的车道线识别方法。
明的保护范围应以所述权利要求的保护范围为准。