一种基于路车融合感知的车道偏离预警方法

摘要

本发明公开了一种基于路车融合感知的车道偏离预警方法，涉及自动驾驶领域。首先路侧感知设备采集车道线和车辆的图像并预处理；然后保存行驶轨迹；同时进行车道线检测，通过逆透视变换获得车道线在世界坐标系的位置，同理将目标车辆的位置统一到世界坐标系，获取车辆中心点与两侧车道线之间的距离信息。将目标车辆的若干帧行驶轨迹进行拟合，计算车辆偏航角。最后车辆传感器获取车辆的方向盘转角和转向灯信息，若车辆的偏移行驶不是驾驶员意图，则采集车辆的速度、加速度信息并传输至车载端，车载端根据各测量信息判断车辆是否有偏离车道线的危险。本发明减少车载端数据处理量，提高了检测系统的准确性、鲁棒性，保证了行驶的安全性。

权利要求

1.一种基于路车融合感知的车道偏离预警方法，其特征在于，具体步骤如下：步骤一、当某目标车辆经过时，利用路侧感知设备实时采集车道线和该车辆的图像；

步骤二、针对每张图像，人工标定出ROI区域，采用高斯滤波算法进行预处理；

步骤三、路侧感知设备采用SSD算法对预处理后的每张图像进行检测，获取目标车辆的位置坐标和类别信息，并将最新若干帧图像的行驶轨迹进行保存；

步骤四、同时路侧感知设备采用霍夫变换法进行车道线检测，并将图像坐标系下的车道线进行逆透视变换，获得车道线在世界坐标系的位置；

设(x,y)为图像坐标系的某个点，(X,Y)为世界坐标系的点，则透视变换表示为：A＝HB

其中有：

A＝[x y 1]T

T

B＝[X Y 1]

H为透视变换矩阵，包含8个参数；

步骤五、同理将目标车辆的位置坐标及其行驶轨迹进行逆透视变换，将目标车辆的位置统一到世界坐标系，同时获取目标车辆中心点坐标与两侧车道线之间的距离信息；

步骤六、将逆透视变换后的目标车辆的若干帧行驶轨迹信息进行拟合，并计算目标车辆行驶轨迹与车道线的夹角，作为车辆偏航角；

步骤七、将目标车辆与两侧车道线之间的距离，车辆偏航角、车道数和车道宽度信息传输到车载端；

步骤八、车辆自身传感器获取车辆的方向盘转角和转向灯信息，判断车辆的偏移行驶是否为驾驶员意图，如果是，则返回预警系统初始状态，否则采集车辆的速度、加速度信息并传输至车载端；

当车辆自身传感器检测到转向灯开启或者方向盘转动，则断定为车辆偏移是驾驶员意图；

步骤九、车载端采用改进的TLC算法，判断车辆以现在状态行驶是否具有偏离车道线的危险，如果是，则对驾驶员进行预警；否则，返回预警系统初始状态；

所述步骤六具体为：

首先，设定目标车辆的最新若干帧轨迹曲线近似视直线，且以车道线中心线为x轴， 车道线垂直线为y轴，故车道线斜率不存在；

然后，判断车辆行驶轨迹的直线斜率是否存在，如果存在，则使用如下公式计算：tanα＝kv

α为目标车辆行驶轨迹的直线到车道线的夹角；kv为目标车辆行驶轨迹的直线斜率；

否则，目标车辆行驶轨迹的直线斜率和车道线的斜率均不存在，则使用如下公式计算：α＝0°；

所述步骤九具体为：

首先，针对预瞄时间T，利用目标车辆当前前轴的中心位置和车辆行驶预瞄时间T后前轴中心的位置，计算目标车辆在预瞄时间内车辆中心在y方向上移动的距离Δy；

yp＝yn+Δy

yp为目标车辆行驶预瞄时间T后前轴中心的位置，yn为目标车辆当前前轴中心位置，α为目标车辆行驶轨迹的直线到车道线的夹角，a为车辆的加速度，v为车辆的行驶速度；

然后，分别计算右前轮距右侧车道线的距离Δyr，以及左前轮距左侧车道线的距离Δyl进行判断；

公式如下：

wr为车道宽度，wv为目标车辆的宽度；yp为车辆行驶预瞄时间T后前轴中心的位置；

当Δyr＜0时，触发报警，此时车辆与车道右侧边界线接触，即将从右侧偏离车道；

当Δyl＜0时，亦触发报警，此时车辆与车道左侧边界线接触，即将从左侧偏离车道。

说明书

一种基于路车融合感知的车道偏离预警方法

技术领域

[0001] 本发明涉及自动驾驶领域，具体是一种基于路车融合感知的车道偏离预警方法。

背景技术

[0002] 交通安全已经成为威胁人民生命财产安全的重要因素，通过对交通事故起因进行调查和统计，发现很大部分交通事故是由于驾驶行为不当造成的，其中由于车辆驶出预定轨道的占多数，为了提高行车安全，车道偏离预警系统(Lane Departure Warning System，LDWS)应运而生。

[0003] LDWS是高级驾驶员辅助系统(Advanced Driver Assistant System，DAS)的代表系统之一，它利用传感器获取车道线和车辆的相对位置信息，利用偏离预警模块识别车辆是否有驶离车道的可能并决定是不是给驾驶员提供警告，图像采集装置获取车道边界线信息并传递给ECU，ECU综合车速信号、转向灯信号、转向盘转角信号和力矩信号等车辆状态信息判断车辆是否有偏离车道的危险。

[0004] 但是，包括LDWS在内的辅助驾驶系统主要依靠车载端，现有技术中基于车载端的车道偏离预警研究法，如专利号CN106184232A提出了一种基于驾驶员视角的车道偏离预警控制方法，存在以下几点不足，车辆在行驶过程中存在颠簸等情况导致车道线识别失效而无法进行预警，并且在光照较差或者车道线存在缺失或遮挡的情况下很难完成识别。

[0005] 因为路侧感知设备及道路均为固定装置，车道线相对于感知设备的相对位置固定，通过一次性或定期检测人工标记车道线的位置信息及车道宽度和车道数目信息以供调用，因此利用车道线检测速度和精度相比于车载端更具优势。

发明内容

[0006] 针对目前利用车载传感器进行车道线检测时存在的问题，本发明提出一种基于路车融合感知的车道偏离预警方法，采用路侧感知设备与车载感知设备融合，当车辆经过时计算车辆与车道线的位置关系，将信息通过通信单元发送给车载端，结合车载端感知设备信息，获取实时、准确、鲁棒性强的车道偏离信息，完成车辆的车道偏离预警。

[0007] 具体步骤如下：

[0008] 步骤一、当某目标车辆经过时，利用路侧感知设备实时采集车道线和该车辆的图像；

[0009] 步骤二、针对每张图像，人工标定出ROI区域，采用高斯滤波算法进行预处理；

[0010] 步骤三、路侧感知设备采用SSD算法对预处理后的每张图像进行检测，获取目标车辆的位置坐标和类别信息，并将最新若干帧图像的行驶轨迹进行保存。

[0011] 步骤四、同时路侧感知设备采用霍夫变换法进行车道线检测，并将图像坐标系下的车道线进行逆透视变换，获得车道线在世界坐标系的位置。

[0012] 设(x,y)为图像坐标系的某个点，(X,Y)为世界坐标系的点，则透视变换表示为：

[0013] A＝HB

[0014] 其中有：

[0015] A＝[x y 1]T

[0016] B＝[X Y 1]T

[0017]

[0018] H为透视变换矩阵，包含8个参数。

[0019] 步骤五、同理将目标车辆的位置坐标及其行驶轨迹进行逆透视变换，将目标车辆的位置统一到世界坐标系，同时获取目标车辆中心点坐标与两侧车道线之间的距离信息。

[0020] 步骤六、将逆透视变换后的目标车辆的若干帧行驶轨迹信息进行拟合，并计算目标车辆行驶轨迹与车道线的夹角，作为车辆偏航角；

[0021] 首先，设定目标车辆的最新若干帧轨迹曲线近似视为直线，且以车道线中心线为x轴，车道线垂直线为与y轴，故车道线斜率不存在。

[0022] 然后，判断车辆行驶轨迹的直线斜率是否存在，如果存在，则使用如下公式计算：

[0023] tanα＝kv

[0024] α为目标车辆行驶轨迹的直线到车道线的夹角；kv为目标车辆行驶轨迹的直线斜率。

[0025] 否则，目标车辆行驶轨迹的直线斜率和车道线的斜率均不存在，则使用如下公式计算：

[0026] α＝0°

[0027] 步骤七、将目标车辆与两侧车道线之间的距离，车辆偏航角、车道数和车道宽度信息传输到车载端；

[0028] 步骤八、车辆自身传感器获取车辆的方向盘转角和转向灯信息，判断车辆的偏移行驶是否为驾驶员意图，如果是，则返回预警系统初始状态，否则采集车辆的速度、加速度信息并传输至车载端；

[0029] 当车辆自身传感器检测到转向灯开启或者方向盘转动，则断定为车辆偏移是驾驶员意图。

[0030] 步骤九、车载端采用改进的TLC算法，判断车辆以现在状态行驶是否具有偏离车道线的危险，如果是，则对驾驶员进行预警；否则，返回预警系统初始状态。

[0031] 首先，针对预瞄时间T，利用目标车辆当前状态前轴的中心位置和车辆行驶预瞄时间T后前轴中心的位置，计算目标车辆在预瞄时间内车辆中心在y方向上移动的距离Δy；

[0032] yp＝yn+Δy

[0033]

[0034] yp为目标车辆行驶预瞄时间T后前轴中心的位置，yn为目标车辆当前前轴中心位置，α为目标车辆的行驶方向与车道线夹角，a为车辆的加速度，v为车辆的行驶速度。

[0035] 然后，分别计算右前轮距右侧车道线的距离Δyr，以及左前轮距左侧车道线的距离Δyl进行判断；

[0036] 公式如下：

[0037]

[0038] wr为车道宽度，wv为目标车辆的宽度；yp为车辆行驶预瞄时间T后前轴中心的位置。

[0039] 当Δyr＜0时，触发报警，此时车辆与车道右侧边界线接触，即将从右侧偏离车道；

[0040] 当Δyl＜0时，亦触发报警，此时车辆与车道左侧边界线接触，即将从左侧偏离车道。

[0041] 本发明具有以下优点：

[0042] 1.一种基于路车融合感知的车道偏离预警方法，路侧感知设备相对于道路标线或边缘位置固定，因此可以一次性或定期进行标定及检测处理，并将信息进行存储，后续可直接调用，大大减少数据处理量。

[0043] 2.一种基于路车融合感知的车道偏离预警方法，路侧感知设备标定识别完成后，使用车道线信息时不需再次识别，因此不受光线及天气环境的影响，即使后续由于道路磨损导致车道线缺失，依然不会对检测结果造成影响，提高检测系统的鲁棒性。

[0044] 3.一种基于路车融合感知的车道偏离预警方法，针对一些非结构化道路或车道标线不明显的道路时，可以通过在路侧感知设备人为标定道路边界信息或车道线信息，提高车辆在这些道路行驶的安全性。

[0045] 4.一种基于路车融合感知的车道偏离预警方法，城市道路及高速公路都装有路侧的摄像头等感知设备，因此无需加装其他传感器节省了大量的设备成本和安装成本，同时大大减少了车载端检测系统的数据处理量。

附图说明

[0046] 图1是本发明一种基于路车融合感知的车道偏离预警方法的流程图；

[0047] 图2是本发明车辆轨迹与车道线逆透视变换示意图，

[0048] 图3是本发明TLC算法模型示意图。

具体实施方式

[0049] 下面结合实施例和附图，对本发明的实施方式做详细、清楚的描述。

[0050] 本发明基于路车融合感知的车道偏离预警方法，总体包括三层：路车感知层，信息传输层和决策处理层。

[0051] 路车感知层：包括路侧感知层和车侧感知层，路侧感知层采集图像并利用SSD算法进行车辆识别，同时采用传统图像处理算法或者人为标记的方法获取车道线的位置信息，将车辆和车道线位置信息进行逆透视变换，获取车辆行驶方向与车道线的距离信息和夹角信息；车侧感知层包括车速传感器和方向盘转角传感器，获取车辆的速度和方向盘转角信息，并通过对速度信息的微分获取加速度信息。

[0052] 信息传输层：通信单元将路侧融合设备检测的信息传输给车载端，实现车载信息和路侧信息的融合处理。

[0053] 决策处理层：采用改进的TLC算法，通过在传统TLC算法的基础上引入车辆的加速度信息，在保留传统TLC算法较高检测率的同时，利用更加真实的车辆行驶状态信息进行预测，能够有效降低车道偏离检测的误警率。

[0054] 如图1所示，具体步骤如下：

[0055] 步骤一、当某目标车辆经过时，利用路侧感知设备实时采集车道线和该车辆的图像；

[0056] 路侧感知设备实时对车辆和车道线进行检测，并将信息进行存储，可以视情况定期调用该算法进行检测，以防止路侧设备晃动对检测结果的影响。

[0057] 步骤二、针对每张图像，人工分别标定出ROI区域，采用高斯滤波算法进行预处理；

[0058] 在对道路图像进行处理前，首先有针对性地确定一个ROI区域，目的是在保留当前车道信息的同时尽可能的排除干扰信息，以缩小运算范围，减少干扰。因为路侧设备与道路相对固定，本发明选用人工标定ROI的方法。

[0059] 高斯滤波对模板下的像素进行滤波，能够有效的抑制噪声，平滑图像。

[0060] 步骤三、路侧感知设备采用SSD算法对预处理后的每张图像进行检测，获取目标车辆的位置坐标和类别信息，并将最新若干帧图像的行驶轨迹进行保存。

[0061] SSD算法进行目标检测时，提前进行正负样本的训练，获取车辆检测模型；实现对车辆的实时检测，并将车辆的最新若干帧图像行驶轨迹进行保存。

[0062] 若干取值为5～20帧图。

[0063] 步骤四、同时路侧感知设备采用霍夫变换法进行车道线检测，将图像坐标系下的车道线进行逆透视变换，获得车道线在世界坐标系的位置。

[0064] 设(x,y)为图像坐标系的某个点，(X,Y)为世界坐标系的点，则透视变换表示为：

[0065] A＝HB

[0066] 其中有：

[0067] A＝[x y 1]T

[0068] B＝[X Y 1]T

[0069]

[0070] H为透视变换矩阵，包含8个参数。

[0071] 步骤五、同理将目标车辆的位置坐标及其行驶轨迹进行逆透视变换，将目标车辆的位置统一到世界坐标系，同时获取目标车辆中心点坐标和目标车辆与两侧车道线之间的距离信息。

[0072] 步骤六、利用逆透视变换后的目标车辆的若干帧行驶轨迹信息拟合车辆行驶方向，并计算目标车辆行驶轨迹与车道线的夹角，作为车辆偏航角；

[0073] 首先，因选取目标车辆的最新5～20帧轨迹信息所在时段较短，车辆行驶轨迹曲线近似视为直线，且TTC算法以车道线中心线为x轴，车道线垂直线为与y轴，故车道线斜率不存在。

[0074] 然后，判断车辆行驶轨迹的直线斜率是否存在，如果存在，则使用如下公式计算：

[0075] tanα＝kv

[0076] α为目标车辆行驶轨迹的直线到车道线的夹角；kv为目标车辆行驶轨迹的直线斜率。

[0077] 否则，目标车辆行驶轨迹的直线斜率和车道线的斜率均不存在，则使用如下公式计算：

[0078] α＝0°

[0079] 如图2所示，黑色粗实线为车道线或车道边界，白色点迹为目标车辆最新5帧的位置，黑色细实线为历史轨迹拟合的车辆行驶轨迹。

[0080] 步骤七、将目标车辆与两侧车道线之间的距离，车辆偏航角、车道数和车道宽度信息传输到车载端；

[0081] 通信单元可采用目前车路协同领域信息传输应用较为广泛的专用短程通信技术标准(DSRC)或基于4G/5G蜂窝网络的LTE-V技术。

[0082] 步骤八、车辆自身传感器获取车辆的方向盘转角和转向灯信息，判断车辆的偏移行驶是否为驾驶员意图，如果是，则返回预警系统初始状态，否则采集车辆的速度、加速度信息、宽度信息及获取的路侧端信息并传输至车载端；

[0083] 当车辆自身传感器检测到转向灯开启或者方向盘转动，则断定为车辆偏移是驾驶员主动意图。

[0084] 步骤九、车载端采用改进的TLC算法进行预警，判断车辆以现在状态行驶是否具有偏离车道线的危险，如果是，则对驾驶员进行预警；否则，返回预警系统初始状态。

[0085] 当前的车道偏离预警算法大部分是先利用图像处理算法识别出车道线方程，然后根据决策算法来判断车辆是否存在偏离车道的危险。

[0086] 目前应用较为广泛的是基于道路模型和机器视觉的方法，主要包括于车辆当前位置(Car’s Current Position，CCP)的决策方法、基于车辆偏离车道时间(Time to Lane Crossing，TLC)的决策方法以及基于未来偏离距离(Future Offset Distance，FOD)的决策方法。

[0087] CCP算法以车辆当前位置与车道线的距离作为预警条件，不需要车辆的行驶状态信息，所以误警率较低，但是触发的阈值很难确定。TLC算法能够在车辆可能存在偏离危险时报警，但是该算法假设车辆的行驶状态保持不变，与实际情况不符，所以误警率较高。FOD算法同样基于预测车辆未来位置的方法，而且能够依据不同的驾驶习惯动态的调整阈值，但是与TLC方法相同，同样假设车辆的行驶状态保持不变，因此误差较大。

[0088] 综上本发明采用一种改进的TLC算法，将车辆自身的加速度信息引入，在预留充足的反应时间的同时，实现对车辆行驶状态精确获取，减少误警情况的发生。

[0089] 具体过程为：

[0090] 首先，假设在预瞄时间T内，车辆行驶方向不变，车辆在T时间内的行驶轨迹为一条直线。通常情况下，驾驶员的反应时间为0.5s-1.0s，但是在紧急情况下驾驶员的反应时间通常大于1s；再考虑到制动器的反应时间，本文的预瞄时间T选定为2s。

[0091] 如图3所示，针对预瞄时间T，利用目标车辆当前前轴的中心位置和车辆行驶预瞄时间T后前轴中心的位置，计算目标车辆在预瞄时间内车辆中心在y方向上移动的距离Δy；

[0092] yp＝yn+Δy

[0093]

[0094] yp为目标车辆行驶2s后前轴中心的位置，yn为目标车辆当前前轴中心位置，α为目标车辆的行驶方向与车道线夹角，a为车辆的加速度，v为车辆的行驶速度。

[0095] 然后，分别计算右前轮距右侧车道线的距离Δyr，以及左前轮距左侧车道线的距离Δyl进行判断；

[0096] 公式如下：

[0097]

[0098] wr为车道宽度，wv为目标车辆的宽度；yp为车辆行驶预瞄时间T后前轴中心的位置。

[0099] 当Δyr＜0时，触发报警，此时车辆与车道右侧边界线接触，即将从右侧偏离车道；

[0100] 当Δyl＜0时，亦触发报警，此时车辆与车道左侧边界线接触，即将从左侧偏离车道。

[0101] 车道偏离分为两种情况，一种是由于驾驶员的注意力分散等原因导致车辆行驶方向偏离，这种情况需要进行预警，提醒驾驶员或启动车道保持系统进行纠正；另一种是驾驶员主观意图想要超车或换道，可以通过是否转动方向盘判断，但也存在驾驶员在注意力分散时无意碰到方向盘导致方向盘转动的情况，因此增加转向灯作为联合判断依据，如果满足以上两个条件则判断为驾驶员主观意图，退出预警系统，若不是则启动预警系统。