基于车路协同感知的车道定位方法

摘要

本发明涉及一种基于车路协同感知的车道定位方法，包括：视频录制与感兴趣区域设置；透视变换，图像预处理和车道线检测；车道线线型判断；图像还原并基于V2X对照车道线；根据投影方向定位车道。本发明通过车侧图像感知结合V2X即车路协同的方法来定位车道，不依赖高精地图和GPS来获取车辆当前的车道信息，在GPS信号受限的地区同样适用，且相比建立大范围的高精地图更为经济；本发明相比纯粹的车侧感知定位方法，有效弥补了单纯依赖视觉所面临的识别不准确的问题；本发明仅需路侧设备广播车道数、车道线数、车道线顺序线型等数条简易信息，无需路侧进行大量的感知计算和信息交互，成本相对更低且适用于隧道等特殊场景。

权利要求

1.一种基于车路协同感知的车道定位方法，其特征在于，包括

（1）视频录制与感兴趣区域设置：通过安装在车辆前侧的摄像头录制实时道路视频，对采集到的每一帧道路图像设置感兴趣区域，根据摄像头视角对图片做沿道路边缘的裁切，去除背景区域，减少图像像素量以加快后续处理速度；

（2）透视变换与车道线检测：通过透视变换将车辆视角的感兴趣区域图片变换为俯瞰视角，对变换后的图像做车道线检测前的预处理后采用Hough变换检测和拟合车道线；

（3）车道线线型的判断：预处理后对在图像中对每一车道线位置进行标记，将图像由RGB色彩空间转换到HSV色彩空间，利用饱和度数值差异区分出对应的车道线，随后对图像做窗口滑动处理，设定车道线长度阈值，根据图像车道线标记位置的像素连续性判断对应车道线为虚线还是实线，得出对应的车道线类型；

（4）图像还原并基于V2X对照车道线：将经过透视变换的图像还原，被标记的车道线也会还原到车侧视角的图像中，同时车载单元接收路侧单元发出的车道线信息，包括当前路段的车道线数以及车道线型，车辆根据接收到的准确车道线信息对识别到的车道线进行比对，从最右侧车道线开始依据车道线型与路侧单元发送的车道线顺序依次对照，即可将车侧识别到的车道线对应到每一个具体的车道上；

（5）确定车辆所在车道：确定完车道线数以及每个车道对应的车道线后，对所有车道线做y轴方向的投影，记录每条车道线投影后的矢量方向，矢量方向相反的两条相邻车道线即为车辆所在车道的左右车道线，根据车道线标记便可计算出车辆所在车道的排序。

2.根据权利要求1所述的基于车路协同感知的车道定位方法，其特征在于，步骤（2）中，预处理具体包括：图像灰度化，将原始三通道图像根据人眼对于R，G，B三种颜色的敏感度，按照一定的权值进行加权平均得到新的灰度化图像；

高斯滤波，去除图像噪声；

Canny边缘检测，对经过灰度化和滤波平滑的图像利用Sobel算子计算梯度幅值和方向，沿着梯度方向对幅值进行非极大值抑制，最后用双阈值算法检测和连接边缘。

3.根据权利要求2所述的基于车路协同感知的车道定位方法，其特征在于：R，G，B三通道的权重系数分别为0.3，0.59，0.11。

说明书

基于车路协同感知的车道定位方法

技术领域

[0001] 本发明涉及智能汽车道路测试技术领域，尤其涉及一种基于车路协同感知的车道定位方法。

背景技术

[0002] 车道的识别以及车辆所在车道的判断是无人驾驶行为决策过程中不可或缺的参考因素，目前的主流方法是采用建立高精地图的方式创建车道级路网图层，对路网进行精确的（厘米级）表征后，存储为结构化的道路数据，随后在定位图层中借助各类传感器来匹配定位。虽然采用高精地图导航的方式能清晰的给决策层提供必要的车道位置信息，但是高精地图的建立成本高昂，短时间内难以大范围应用落地，同时，在高楼密集的城区路段、隧道等特殊驾驶场景因障碍物的遮挡，易对GPS信号产生干扰，往往难以实现精确的导航定位，因此，需要一种适应性更好且成本更低的车道定位方法来弥补以上不足。但是，普遍的基于车侧的视觉检测方法受限于摄像头的视角大小、车道线遮挡、天气光照影响等因素，对于车道数量以及自身车辆所在车道顺序的判断并不准确，因此，需要一种新的车道判断方法，同时满足经济性与稳定性的要求。

发明内容

[0003] 本发明提出一种基于车路协同感知的车道定位方法，通过对车侧感知到的道路图像信息进行一系列的处理变换、边缘检测、车道线拟合和窗口滑动判断，识别出图像中的车道线和每条车道线对应的线型，结合路侧RSU广播的车道线数及对应顺序线型，对照出车侧图像中的每一条车道线的准确位置信息，最后依据车道线投影矢量方向判断车辆当前所处的车道位置。

[0004] 本发明的一种基于车路协同感知的车道定位方法，具体包括如下步骤：

[0005] （1）视频录制与感兴趣区域设置；（2）透视变换与车道线检测；（3）车道线线型的判断；（4）图像还原并基于V2X对照车道线；（5）确定车辆所在车道。

[0006] 具体方法如下：

[0007] （1）视频录制与ROI设置。通过安装在车辆前侧的摄像头录制实时道路视频，对采集到的每一帧道路图像设置ROI（感兴趣区域），根据摄像头视角对图片做沿道路边缘的裁切，去除道路外的天空、两侧树木等背景区域，减少图像像素量以加快后续处理速度。

[0008] （2）透视变换与车道线检测。通过透视变换将车辆视角的ROI区域图片变换为俯瞰视角，对变换后的图像做车道线检测前的预处理，即：1）图像灰度化，将原始三通道图像根据人眼对于R,G,B三种颜色的敏感度，按照一定的权值进行加权平均得到新的灰度化图像，其中R,G,B三通道的权重系数分别为0.3，0.59，0.11；2）高斯滤波，去除图像噪声；3）Canny边缘检测，对经过灰度化和滤波平滑的图像利用Sobel算子计算梯度幅值和方向，沿着梯度方向对幅值进行非极大值抑制，最后用双阈值算法检测和连接边缘；对预处理后的图像采用 Hough变换检测和拟合车道线。

[0009] （3）车道线线型的判断。拟合出车道线后对在图像中对每一车道线位置进行标记，将图像由RGB色彩空间转换到HSV色彩空间，黄色、白色的饱和度参数会产生明显的区分，白色的S（饱和度）参数值介于[0,30]之间，而黄色的S参数介于[43,255]之间，两者存在着清晰的界限，因此可利用黄、白两色的饱和度数值差异区分出对应的黄白车道线，随后对图像做窗口滑动处理，设定车道线长度阈值，根据图像车道线标记位置的像素连续性判断对应车道线为虚线还是实线，综合以上信息即可得出对应的车道线类型：黄色实线、黄色虚线、白色实线、白色虚线。

[0010] （4）图像还原并基于V2X对照车道线。将经过透视变换的图像还原，被标记的车道线也会还原到车侧视角的图像中，同时车载单元（OBU）接收路侧单元（RSU）发出的车道线广播信息，包括当前路段的车道线数以及车道线型，车辆根据接收到的准确车道线信息对识别到的车道线进行比对，从最右侧车道线开始依据步骤（3）的4种车道线型与路侧单元发送的车道线顺序依次对照，即可将车侧识别到的车道线对应到每一个具体的车道上。

[0011] （5）确定车辆所在车道。在步骤（4）确定完车道数以及每个车道对应的车道线后，对所有车道线做y轴方向的投影，记录每条车道线投影后的矢量方向，矢量方向相反的两条相邻车道线即为车辆所在车道的左右车道线，根据车道线标记便可计算出车辆所在车道的排序。

[0012] 本发明具有如下优势：

[0013] （1）本发明通过车侧图像感知结合V2X即车路协同的方法来定位车道，不依赖高精地图和GPS来获取车辆当前的车道信息，在GPS信号受限的地区同样适用，且相比建立大范围的高精地图更为经济；

[0014] （2）本发明相比纯粹的车侧感知定位方法，加入了V2X信息作为车道判断的依据，在车道线遮挡、车道线识别不全的情况下仍可对照车道线，有效弥补了单纯依赖视觉所面临的识别不准确的问题；

[0015] （3）本发明仅需路侧设备广播车道数、车道线数、车道线顺序线型等数条简易信息，无需路侧进行大量的感知计算和信息交互，成本相对更低且适用于隧道等特殊场景。

附图说明

[0016] 为了更清楚地说明本发明实施例的技术方案，更好体现发明创新性与实用性及基本技术原理，下面结合附图对本发明作进一步详细描述。

[0017] 图1是本发明的基于车路协同感知的车道定位方法的流程示意图；

[0018] 图2是黄色、白色在HSV色彩空间的颜色参数图表；

[0019] 图3是采用车道线投影方向识别车辆所在车道的示意图。

具体实施方式

[0020] 下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易被本领域人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

[0021] 如图1所示的一种基于车路协同感知的车道定位方法，依次包括如下步骤：

[0022] 视频录制与感兴趣区域设置；透视变换，图像预处理，车道线检测，边缘检测与拟合车道线；车道线线型判断；图像还原，并基于V2X对照车道线；根据投影方向定位车道，确定车辆所在车道。

[0023] 下面结合实例进行具体说明。

[0024] 本发明意在解决无高精地图导航情况下车辆对自身所在车道方位的定位问题。以单向三车道为例：

[0025] 步骤一：车载摄像头以每秒30帧录制前方道路视频，对采集到的每一帧道路图像设置感兴趣区域，裁切掉图片上半部分的天空及树木背景区域以加快后续图像处理速度。

[0026] 步骤二：对图像进行透视变换，在图片中选取构成一个梯形的四个角点中的其中三个像素点，经过变换后其对应的梯形在新的图像中构成矩形，其通用变换公式为：

[0027]

[0028] （x,y,z）为原始图像的像素点的齐次坐标，（X,Y,Z）为变换后的图像像素点的齐次坐标。

[0029] 对变换后的图像进行图像预处理：

[0030] （1）图像灰度化

[0031] 彩色图像包含R,G,B三个通道的像素信息，如果对三个通道依次进行图像处理，往往需要大量的运算时间，因此对图像灰度化以加快图像处理的进程。灰度化方法一般有分量法、最大值法、平均值法、加权平均法四种方法，依据人眼对R,G,B三种颜色的敏感度，采用加权平均的方法对图像灰度化，其公式如下：

[0032]

[0033] （2）高斯滤波

[0034] 采用高斯滤波除去图像中的噪声，二维高斯函数公式如下：

[0035]

[0036] 式中，σ为x的方差；

[0037] 卷积核每个位置的权重值，就取对应位置的二维高斯函数值，如下表：

[0038] f(‑1,‑1) f(‑1,0) f(1,0)f(0,‑1) f(0,0) f(0,1)
f(1,‑1) f(1,0) f(1,1)

[0039] （3）Canny边缘检测

[0040] 在图像灰度化和去噪处理后，采用Sobel算子计算梯度幅值和方向，分别利用Sobel水平和垂直算子与输入图像卷积计算dx、dy：

[0041]

[0042] 进一步可以得到图像在点（x,y）处梯度的幅值：

[0043]

[0044] 图像在点（x,y）处梯度的方向为：

[0045]

[0046] 沿着梯度方向对幅值进行非极大值抑制，最后用双阈值算法检测和连接边缘。

[0047] 最后采用Hough变换检测和拟合车道线，Hough变换公式如下：

[0048] ρ=x∗cos(θ)+y∗sin(θ)

[0049] 式中，ρ为直线到原点的垂直距离，θ为x轴到直线垂线的角度，取值范围为±90。

[0050] 步骤三：拟合出车道线后对在图像中对每一车道线位置进行标记，将图像由RGB色彩空间转换到HSV色彩空间，HSV是一种将RGB色彩空间中的点在倒圆锥体中的表示方法，HSV即H:色相(Hue)、S:饱和度(Saturation)、V:亮度(Value)，黄色、白色的饱和度参数会产生明显的区分，如图2所示，白色的S（饱和度）参数值介于[0,30]之间，而黄色的S参数介于[43,255]之间，两者存在着清晰的界限，因此可利用黄、白两色的饱和度数值差异区分出对应的黄白车道线。

[0051] 随后对图像做窗口滑动处理，设定车道线长度阈值，此实例设定阈值为80个周向连续像素，根据图像车道线标记位置的像素连续性判断对应车道线为虚线还是实线，综合以上信息即可得出对应的车道线类型：黄色实线、黄色虚线、白色实线、白色虚线。

[0052] 步骤四：依据透视变换逆矩阵将俯瞰图像还原为原始图像，上述步骤检测标记的车道线及对应线型也会还原到原始图像中，此实例中识别到图像中包含四条车道线，从右到左依次为黄色实线、白色虚线、白色虚线、黄色实线。从路侧设备（RSU）的广播信息得知，此处路段共有三条车道，车道线从右到左的顺序为黄色实线、白色虚线、白色虚线、黄色实线，与车侧检测到的车道线顺序线型相同，即可确认当前检测结果的正确性。

[0053] 步骤五：在确认当前车道数为3、车道线数为4后，将由Hough变换检测到的四条车道线沿y轴方向做投影，记录投影后的线段矢量方向，如图3所示，从右到左依次为x轴负方向、x轴负方向、x轴正方向、x轴正方向，第二、第三车道线投影矢量方向相反，即可确认车辆当前所在车道位于这两条车道线之间，所以可以得出结论：车辆当前处于第二车道。

[0054] 以上说明书中描述的只是本发明的具体实施方式，各种举例说明不对本发明的实质内容构成限制，所属技术领域的普通技术人员在阅读了说明书后可以对以前所述的具体实施方式做修改或变形，而不背离本发明的实质和范围。