用于检测车道线的数据处理方法及存储介质转让专利
申请号 : CN202111375395.X
文献号 : CN113807333B
文献日 : 2022-03-18
发明人 : 钱磊 , 郭波 , 罗壮 , 张海强 , 李成军
申请人 : 智道网联科技(北京)有限公司
摘要 :
权利要求 :
1.一种用于检测车道线的数据处理方法,其特征在于:包括:按照第一预设规则从图像中获取至少一条车道线中采样像素坐标,其中所述第一预设规则用于获取所述图像y方向的像素坐标,所述车道线的延伸方向不与所述y方向重合;
将多个所述采样像素坐标转换为无人车的坐标系中的点之后,获得多个采样点数据;
按照第二预设规则过滤所述多个采样点数据,得到目标采样点集合,所述第二预设规则用于过滤所述无人车的坐标系下的车道线上的非目标采样点;
对所述目标采样点集合进行曲线拟合处理,若拟合处理得到的曲线对应的曲率半径大于预设阈值,则输出所述车道线,否则放弃输出;
其中,所述按照第一预设规则从图像中获取至少一条车道线中采样像素坐标,包括:获取分割图像,所述分割图像为对所述车道线图像语义分割得到的图像;
对所述分割图像中的车道线像素不等间隔采样,得到所述至少一条车道线分布不均的多个采样像素坐标;
所述对所述分割图像中的车道线像素不等间隔采样包括:沿所述图像y方向从所述分割图像的底部到顶部至少划分成两个区域;
对每个区域中对应的所述车道线像素以预设间隔做等间隔采样,不同区域中所设置的预设间隔不同;或者,
在所述无人车的坐标系下对所述车道线像素以预设距离为间隔等间隔选取车道线像素点;
将所述车道线像素点利用内外参反算至所述分割图像。
2.根据权利要求1所述的方法,其特征在于:所述对每个区域中对应的所述车道线像素以预设间隔做等间隔采样,包括:沿所述图像y方向从所述分割图像的底部到顶部划分为第一区域、第二区域和第三区域;
将位于所述第一区域中所述车道线像素以5个像素为间隔采样,将位于所述第二区域中所述车道线像素以3个像素为间隔采样,将位于所述第三区域中的所述车道线像素以2个像素为间隔采样。
3.根据权利要求1所述的方法,其特征在于:所述将多个所述采样像素坐标转换为无人车的坐标系中的点之后,获得多个采样点数据,包括:利用所述分割图像中所述车道线作为连通域,选取所述连通域的两个边界;
选取所述采样像素坐标中位于所述两个边界的中点;
将所述中点转换为无人车的坐标系中的点,得到所述采样点数据。
4.根据权利要求1‑3中任一项所述的方法,其特征在于:所述按照第二预设规则过滤所述多个采样点数据,得到目标采样点集合,包括:将所述多个采样点数据排序;
从顺序排布的所述多个采样点数据的一端为起点,从所述起点以连续的两个以上所述采样点数据作为滑窗,并向另一端以预设的步长移动所述滑窗;
计算所述滑窗中的所述多个采样点数据的均值和方差;
基于所述均值和方差获取引起所述方差最大的采样点数据,判断该采样点数据到均值的距离是否大于第一门限,若是,则删除该采样点数据。
5.根据权利要求1‑3中任一项所述的方法,其特征在于:所述按照第二预设规则过滤所述多个采样点数据,得到目标采样点集合,包括:将所述多个采样点数据排序;
从顺序排布的所述多个采样点数据的一端为起点,从所述起点以连续的两个以上所述采样点数据作为初始滑窗,将所述初始滑窗以1m的步频0.5m向另一端移动形成移动滑窗;
若所述移动滑窗中位于两端的采样点数据之间存在其他采样点数据,则继续移动所述移动滑窗,否则删除所述移动滑窗中远离所述起点端的采样点数据以及之后的其它采样点数据。
6.根据权利要求1‑3中任一项所述的方法,其特征在于:所述对所述目标采样点集合进行曲线拟合处理,若拟合处理得到的曲线对应的曲率半径大于预设阈值,则输出所述车道线,否则放弃输出,包括:
采用随机采样一致算法对所述目标采样点集合进行多次迭代曲线拟合处理而输出曲线,识别所输出的曲线的曲率半径,当曲率半径大于250m时,则输出所述曲线作为车道线,否则放弃输出。
7.一种存储介质,其特征在于,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1‑6中任一项所述的方法。
说明书 :
用于检测车道线的数据处理方法及存储介质
技术领域
背景技术
可以帮助汽车预先感知路面复杂信息,如车道线、坡度、曲率以及航向等,结合智能路径规
划,让汽车做出正确决策。由此可知,在高精度地图中精确的车道线或其他路面标志信息能
够帮助高精度地图关键交通要素的生成,是实现自动驾驶的重要条件之一,而车道线利用
语义分割算法进行拟合的方案容易出现误识别以及出现杂点的情况,降低了车道线或其他
路面标志信息的拟合精度,进而影响高精度地图的精度。
发明内容
素以2个像素为间隔采样。
窗;
样点数据。
线,否则放弃输出。
转换为无人车的坐标系中的点之后,获得多个采样点数据;按照第二预设规则过滤多个采
样点数据,得到目标采样点集合,第二预设规则用于过滤无人车的坐标系下的车道线上的
非目标采样点;对目标采样点集合进行曲线拟合处理,若拟合处理得到的曲线对应的曲率
半径大于预设阈值,则输出车道线,否则放弃输出。能够将分割图像中的包含车道线信息的
像素点进行滤除,以避免语义分割时出现的误识别点和杂点影响车道线的拟合精度。并且
在滤除误识别点和杂点时,为了能够有效的滤除对应的点,提高滤除速度和效果,降低滤除
难度,故将包含车道线信息的像素点通过转换至无人车的坐标系下点的方式,由于基于无
人车的坐标系下对应的车道线的能够表现出线性的物理距离,在基于此坐标系下对车道线
的像素进行过滤处理时,能够提高杂点、误识别点的识别精度和过滤精度,简化了过滤算
法。再将过滤后得到的目标采样点集合进行曲线拟合处理后,所得到的曲线精度更高,选取
符合条件的拟合曲线输出作为车道线信息,有利于高精地图中车道线信息的精度,为自动
驾驶提供有用的车道线信息。
附图说明
通常代表相同部件。
具体实施方式
相反,提供这些实施方式是为了使本申请更加透彻和完整,并且能够将本申请的范围完整
地传达给本领域的技术人员。
形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包
含一个或多个相关联的列出项目的任何或所有可能组合。
在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以
被称为第一信息。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更
多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限
定。
车道线为例,通过安装在汽车上和/或道路上的传感器使得汽车在道路上行驶的过程中进
行数据采集,以得到车道线的图像信息。之后,对采集到的图像信息利用语义分割进行处
理,由于语义分割大都是基于视觉的深度学习方案,在进行分割算法时不可避免的会出现
一些误识别以及一些杂点出现的情况,在进行车道线的拟合时,杂点以及误识别的点都严
重影响了车道线的拟合精度。
下单个像素表现的物理距离不是线性的,会使得相应用于过滤点的算法变得异常复杂,导
致杂点滤除的难度加大。
精度地图中制得的车道线精度。
平延伸方向。基于具有图像坐标系的图像,在对其进行语义分割以获取分割图像时,分割图
像中的各像素同时具有了在图像坐标系下的坐标信息,后续不再单独强调。
像按照第一预设规则获取至少一条车道线的多个采样像素坐标。
理,而能够将分割图像中的包含车道线信息的像素点进行滤除分割时的杂点以及误识别的
点等非目标采样点,以避免语义分割时出现的误识别点和杂点影响车道线的拟合精度。
式,由于基于无人车的坐标系下对应的车道线上的点能够表现出线性的物理距离,在基于
此坐标系下对车道线对应的像素点进行过滤处理时,能够提高杂点、误识别点的识别精度
和过滤精度,简化了过滤算法。
为自动驾驶提供有用的车道线信息。
括:
等具有区域性的图像。
息,不同类别之间的像素可以通过不同的颜色标记。而本实施例中所要获得的车道线类别
被标记为相同颜色的多个像素的集合,如图像中存在多条车道线,多条车道线属于同一车
道线类别,则属于车道线的像素均被标记为相同的颜色,在此不做详细说明。
为其他的方式,在此不做具体限定。
道线之间。为了保证所获取的车道线的精度,车道线上像素的采集需要根据图片中车道线
的变化而做出相应调整。所以说,由于车道线在图像中为由近到远的延伸,对于属于车道线
像素的采集也需要调整为不等间隔采样,才能够保证在图像上所采样的像素更符合实际车
道线上的采样需求,也就意味着所采样的实际车道线像素更均匀,这样所获取到的像素在
进行后处理时才有利于所得到的拟合车道线为较高的精度。
道线的近景,并从底部到顶部方向将分割图像中的车道线划分成第一区域、第二区域、第三
区域……第N区域,本申请以划分成三个在分割图像上相等的区域为例,但并不限于此。在
三个区域中将车道线像素分别以预设间隔采样,其中,第一区域的预设间隔>第二区域的
预设间隔>第三区域的预设间隔,以获得最终的采样像素坐标。
的三个区域为例,在第一区域中预设间隔可以设置为以5个像素为间隔,第二区域中预设间
隔可以设置为以3个像素为间隔,第三区域中预设间隔可以设置为以2个像素为间隔。这样
在分割图像的图像坐标系下,越靠近底部,单个像素沿多个区域的排布方向(底部到顶部的
图像y方向)所对应的物理距离越短。
为第二区域,其采样的预设间隔为3个像素,240‑300pix作为第三区域,其采样的预设间隔
为2个像素。
的是,无人车的坐标系,是基于图像所对应的三维环境下,以该车辆中车尾位置相对两侧身
的中点,且以地面为基准平面,所建立的无人车的坐标系。
够通过无人车的坐标系下获取的像素的点通过与图像坐标系下的像素建立映射关系,进而
通过反算等手段实现对车道线相关像素的选取。我们所获取的目标为车道线对应的像素,
为了得到精度较高的车道线,所以无人车的坐标系中的原点需要建立在地面上,使得地面
上的像素在移动设备坐标系中表现出来的高度一致。因此,无人车的坐标系的原点可以为
基于无人车的尾部位置相对两侧身的中点,x方向为相对两条车道线的对称中心线垂直的
方向,y方向为相对两条车道线平行的方向,z方向为垂直于地面的方向且原点位于地面。无
人车的坐标系与图像坐标系相比,两者的x方向和y方向并不重合。
离,选取车道线上对应的点。然后再利用内外参反算到图像坐标系下,所选取车道线上对应
的点在图像坐标下图像y方向对应的车道线上的像素则选取作为采样像素坐标。基于无人
车的坐标系下等间隔采样的点利用与图像坐标系下的分割图像所建立的对应关系,而获取
图像坐标系下的采样像素坐标,提高了车道线的像素点选取的精度,避免误识别和错识别,
有利于后处理时车道线拟合的精度。
图像中像素点与图像坐标系下的像素点的对映射关系,其具体实现方式在此不做具体限
定。基于无人车的坐标系下识别为车道线类别并采用等间隔采样得到的车道线像素点映射
到图像坐标系下时,寻找以车道线像素点匹配的像素找到与之具有映射关系的车道线像素
而作为采样像素坐标,此种方式所得到的多个采样像素坐标,在图像坐标系下表现出来的
为不等间隔,且基于无人车的坐标系下所获取的车道线像素点比直接在图像坐标系下采样
的车道线像素的准确度更多,降低了误识别和错识别的情况。
隔采样:y=ord_num*np.log(gt)/np.log(beta),其中,ord_num为采样的像素数量,beta为
最远的采样距离,gt为[0‑beta]等间隔采样的像素的点,其具体算法和实现手段在此不做
详细说明。
为均匀的多个像素,以提高融合形成车道线的精度,在此不做具体限定。
标为在分割图像中呈不同形状不均匀排布,且由于车道线本身在是具有一定宽度的,所以
车道线在宽度方向(即x方向)所采集的一个采样像素坐标可以包括多个子像素,位于最外
侧的两个子像素相对远离的边缘分别形成车道线的左右两侧边缘。为了保证融合得到的车
道线为有效车道线信息,提高车道线的精度,获得多个采样点数据的方法可以包括:
以其中的一个采样像素坐标为例,一个采样像素坐标对应连通域的两个边界为采样像素坐
标在x方向两个最外侧的边缘。可选地,采样像素坐标可以包括多个子像素,位于最外侧的
两个子像素相对远离一侧的边缘分别对应连通域的两个边界。为了便于车道线的融合,利
用连通域的两个边界,选取采样像素坐标中对应两个边界的中点,再将中点根据对应关系
转换到无人车的坐标系下,得到采样点数据。以此类推,分别对沿y方向不等间隔采样得到
的多个采样像素坐标按此种方式处理后最终得到无人车的坐标系下的多个采样点数据。通
过统一车道线上像素的采样标准,仅通过采样得到多个点的形式,使得多个点转换到无人
车的坐标系后进行拟合而更容易得到更为精准的车道线信息。
用于检测车道线的数据处理方法第六流程示意图。以下在上述中所获得的无人车的坐标系
下的多个采样点数据基础上,对如何获取目标采样点集合进行举例说明,但并不限于以下
几种具体实施方式。
像素数据中就存在了混入误识别、错识别的杂点,即非目标采样点,为了能够便于滤除杂
点,在滤除前对具有宽度的采样像素坐标进行处理以获得多个采样点数据,通过对多个采
样点数据的滤除即可方便有效的得到目标采样点集合的车道线信息。
数值,选取该采样点数值的集合,以集合中沿y方向最靠近分割图像底部的采样像素坐标对
应的采样点数据作为一端的起点,最靠近分割图像顶部的采样像素坐标对应的采样点数据
作为另一端的终点。在该集合中,通过建立的一个滑窗将起点以及与其相邻的至少一个采
样点数据框选在滑窗内,滑窗从起点向终点的方向移动,每次移动预设的步长而建立新的
滑窗,滑窗的长度以及框选的采样点数据的数量不变。在每个滑窗中,计算滑窗内的多个采
样点的均值和方差,基于均值和方差获取得到滑窗内某个引起方差最大的采样点数据,对
该采样点数据进行判断,当该采样点数据到均值的距离大于第一门限时,代表该采样点数
据可能为车道线的杂点,则删除该非目标采样点,否则保留,保留下来的采样点数据以及滑
窗内的其他采样点数据均作为目标采样点集合中的一个数据,至集合中的所有采样点数据
均通过滑窗的方式过滤掉杂点,得到多个目标采样点集合。以通过此种滑窗的方式,对集合
中的多个采样点数据分别进行对比,以过滤掉车道线两侧某些误选取的非目标采样点,避
免杂点影响车道线的拟合精度,有利于提高高精度地图中车道线的精度。
1.27,1.7,1.3,1.31……,以起点为基准建立的滑窗中第一组数据为{1.16,1.21,1.22,
1.27,1.7},在该滑窗中,对5个采样点数据求均值和方差,mean=1.312,var=0.155,找到引
起方差最大的元素1.7,计算该元素到均值的距离为0.388,判断0.388>2*0.155,则去除
1.7。
的采样点过滤掉,所以在此滑窗中,虽然仅移动了一个采样点数据,但是为了保证滑窗中始
终维持在5个点的数据,故将后面的采样点数据补足到滑窗内。在该新的采样点数据组成的
滑窗中,计算五个采样点数据的均值和方差,mean=1.262,var=0.038,找到引起方差最大的
元素1.21,计算该元素到均值的距离为0.052,0.052<2*0.038,则保留1.21以及其他数据
对应的采样点数据均作为目标采样点集合中一个数据。
应的采样点组合形成目标采样点集合。可以理解的是,第一门限是根据计算后的均值和方
差所得到的对应数据,并不限制于某一具体数值。
据。
认为是杂点需要过滤掉。具体地,选取该车道线中采样点数据的集合,以集合中沿y方向最
靠近分割图像底部的采样像素坐标对应的采样点数据作为一端的起点,最靠近分割图像顶
部的采样像素坐标对应的采样点数据作为另一端的终点。在该集合中,通过建立的一个滑
窗,将起点以及与其相邻的至少两个连续的采样点数据框选在滑窗中,沿终点的方向以1m
步频0.5米移动滑窗,在每个滑窗中,判断位于滑窗内位于两个最外端的采样点之间是否存
在其他采样点数据,若是,则移动到下一个滑窗,若否,则删除滑窗内靠近终点一侧的采样
点数据以及与其相邻的一个滑窗距离的采样点数据。此种过滤的方式,适用于过滤掉车道
线延长线上以及相邻车道线较远距离中误识别的杂点。当滑窗在滑动过程中遇到两端的采
样点数据之间不存在其他采样点数据时,将靠近终点一侧的采样点数据以及对应该采样点
数据的下一滑窗中的采样点数据全部删除,表示形成该线段的采样点数据可能为相邻车道
线上的线段或车道线延长线上间隔的其他车道线线段,属于误识别到本车道线的情况,从
而通过多个采样点数据同时滤除的方式过滤异常线段,剔除混入该条车道线采样点数据中
的一系列杂点。
到目标采样点后,对目标采样点进行曲线拟合,从而得到车道线。为了能够使得目标采样点
最终所拟合得到的曲线精度更高,以提高车道线的精度信息,可以采用随机采样一直算法
对目标采样点进行多次迭代的曲线拟合以得到效果较好的曲线作为车道线输出。
大于250m时,则认为是比较好的车道线拟合而作为车道线信息输出;若曲率半径小于250m
时,则认为不是好的车道线拟合,则放弃此条车道线的输出。
或行车记录仪等,本申请实施例在此不做具体限定。
Processor,DSP)、专用集成电路 (Application Specific Integrated Circuit,ASIC)、现
场可编程门阵列 (Field‑Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分
立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也
可以是任何常规的处理器等。
久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去
存储的指令和数据的非易失性存储设备。在一些实施方式中,永久性存储装置采用大容量
存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中,永久性存储装置
可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性
可读写存储设备,例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行
时需要的指令和数据。此外,存储器可以包括任意计算机可读存储媒介的组合,包括各种类
型的半导体存储芯片(DRAM,SRAM,SDRAM,闪存,可编程只读存储器),磁盘和/或光盘也可以
采用。在一些实施方式中,存储器可以包括可读和/或写的可移除的存储设备,例如激光唱
片(CD)、只读数字多功能光盘(例如DVD‑ROM,双层DVD‑ROM)、只读蓝光光盘、超密度光盘、闪
存卡(例如SD卡、min SD卡、Micro‑SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含
载波和通过无线或有线传输的瞬间电子信号。
程序代码指令。
算机程序、或计算机指令代码)被电子设备(或电子设备、服务器等)的处理器执行时,使处
理器执行根据本申请的上述方法的各个步骤的部分或全部。
术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨
在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的
其它普通技术人员能理解本文披露的各实施例。