本发明公开了一种基于单目视觉的驾驶员换道过程量化方法，包括以下几个步骤：步骤一：安装摄像头，获取车辆完整换道过程视频信息；步骤二：进行车道线检测，确定车道线数目及车道线端点坐标；步骤三：获取换道特征角；步骤四：对换道特征角与时间变量进行双曲正切函数拟合；与现有对换道过程的研究角度不同，本发明用车载摄像头获取的图像信息表示驾驶员视野中呈现的道路环境信息，以驾驶员换道时正前方视野的角度为切入点，提出量化方法。本发明提出了能够对驾驶员换道过程进行有效量化及阶段划分的换道特征角参量，并建立了该特征角与时间变量的双曲正切函数模型，使得任一换道过程都可以用与之对应的双曲正切函数从数值角度对其进行表述。
1.一种基于单目视觉的驾驶员换道过程量化方法，包括以下几个步骤：
步骤一：安装摄像头，获取车辆完整换道过程视频信息；
在车辆前方正中位置安装摄像头，通过摄像头获取车辆完整换道过程中前方道路环境的视频；
步骤二：进行车道线检测，确定车道线数目及车道线端点坐标；
针对步骤一中得到的视频，使用城市复杂道路环境下车道线检测算法，提取出整个换道过程的车道线信息，输出感兴趣区域中各时刻检测出的车道线数目及获取的车道线的端点坐标数值；具体包括以下步骤：(1)图像预处理
针对步骤一获取视频对应的视频图像，选取感兴趣区域，感兴趣区域选取原则为：当车辆处于车道保持行驶状态时，感兴趣区域内部显示且只显示出当前行驶车道的两条车道线；获取感兴趣区域的灰度图像，使用高斯滤波法对灰度图像进行平滑处理，去噪处理，对去噪后的灰度图像使用Sobel算子进行边缘检测，得到图像的边缘轮廓图，采用大津算法求取阈值，并利用求取的阈值结果对图像进行二值化处理，得到二值化图像；
对(1)中得到的二值化图像进行线段点扫描处理，线段点扫描采用每行从左至右、从下到上逐行扫描的形式，对已扫描过的像素点进行标记，不再对其进行二次扫描判断，遍历整个二值化图像的各像素点，将线段候选点集中点存储数量大于等于20的各相应点像素值保留，其余像素值置0；
第一、检测车道线，首先使用概率霍夫变换方法在扫描后的图像中筛选出符合设定条件的线段，将其作为候选车道线线段；
第二、对各候选车道线的交点进行聚类，由聚类交点向图像底边X轴引垂线，通过判断各候选车道线和垂线与底边X轴交点的位置关系确定真实车道线，并对车道线进行拟合，具体的：用感兴趣区域的轴对称线将其自身划分为左、右两部分，候选车道线线段中心点位于轴对称线线上或者左侧的被归为左侧候选车道线，其余被归为右侧候选车道线；首先，对左右两侧的候选车道线线段进行同向性的判别与筛选，剔除掉两侧少数与其他大多数线段斜率值符号相异的线段；之后，若两侧线段数均不为0，则将左侧所有候选车道线线段与右侧所有候选车道线线段分别延长相交，对交点使用K-均值聚类算法进行处理，求出当前簇的质心O的坐标值；否则，只对单侧候选车道线线段进行延长及交点聚类处理，同样求出该簇质心O的坐标值；最后，过该质心点向感兴趣区域的底边引垂线，设垂线与感兴趣区域底边交于一点O′，对于两侧候选车道线线段数均不为0的情况，分别判断感兴趣区域左右两侧与O′距离最近且线段所在直线与垂线的交点和质心O的相差距离不大于20的候选车道线，即为检测出的两条真实车道线；否则只对单侧候选车道线数不为0的一侧进行判断，与O′距离最近且线段所在直线与垂线的交点和质心O的相差距离不大于20的候选车道线即为一条真实车道线；对确定的真实车道线线段进行拟合、延长，使其与感兴趣区域边框相交，并将其交点的坐标值输出，用于表征与之相应的车道线；
依据建立的车道线几何模型及换道特征角计算公式，使用步骤二中得到的车道线端点的坐标数值计算出换道过程各阶段对应时刻的换道特征角；
步骤四：对换道特征角与时间变量进行双曲正切函数拟合；
将步骤三中求得的换道特征角与其对应的时间变量代入双曲正切函数进行拟合，得到系数确定的用来对该次换道过程进行数值描述的双曲正切函数，完成量化。
2.根据权利要求1所述的一种基于单目视觉的驾驶员换道过程量化方法，所述的步骤(2)具体为：step1:当扫描到一个像素点时，若该点像素值为0，则直接向后继续扫描；若该点前一像素值为0，其自身像素值为1，并且该点此时没有被任何线段包含，则将该点定义为计算线段的起始点，存储在一个线段候选点集中；
step2:若当前扫描点被判断为线段起始点，则按照左上、正上、右上、右的优先级，向线段起始点的四个方向点先后进行扫描，遇到像素值为1的点将其存储在对应的线段候选点集中，若四个方向的扫描点像素值都为0，则将该线段起始点的像素值直接置0；
step3:若当前像素值为1的扫描点被判别为某线段候选点集中的非线段起始点，则其下一步扫描方向由当前点与上一个线段候选点集中的扫描点共同确定，即以两点连线作为角平分线，按照左、左上、正上、右上、右的先后优先级，向其中的三个方向成90度扇形进行下一步的扫描工作；
step4:重复step3的步骤，直到最终扫描点像素值为0或者扫描到图像边缘，则结束该线段候选点集的成员点的筛选；
step5:返回step1，按照整体上从左至右、从下到上的方式进行下一个线段候选点集的筛选工作，遇到标记为已扫描点的像素点直接跳过；
经过上面5个步骤，遍历整个二值化图像的各像素点，将线段候选点集中点存储数量大于等于20的各相应点像素值保留，其余像素值置0。
3.根据权利要求1所述的一种基于单目视觉的驾驶员换道过程量化方法，所述的步骤(3)中第一步具体为：使用概率霍夫变换算法对扫描后的二值化图像进行处理，以筛选出符合设定条件的线段，将其作为候选车道线线段，概率霍夫变换算法的具体步骤如下：
1)类似霍夫变换，分割参数空间，为每个区间设计一个初始值为零的累加器acc(ρ,θ)，θ是某一直线对应的斜率夹角，ρ是该直线与原点之间的距离；将图像中检测到的所有边缘点放到待处理边缘点集；
2)检测待处理边缘点集是否为空，是则算法结束；否则随机从待处理边缘点集中取一象素点，投射到参数空间，在各个ρ值下计算相应的θ值，对应的累加器acc(ρ,θ)加1，并从待处理边缘点集中删除所取的点；
3)判断更新后的累加器值是否有大于阈值thr，若累加器值大于thr，就进行下一步骤，否则回到第2)步；
4)由上一步得到的值大于thr的累加器对应的参数确定一条直线，删除待处理点集中位于该直线上的点，此累加器清零；
4.根据权利要求1所述的一种基于单目视觉的驾驶员换道过程量化方法，所述的步骤三具体包括：依据提取出的车道线在平面图像中的位置，建立与之对应的车道线几何模型；感兴趣区域中车道线的各端点的坐标以及车道线方程均可由步骤二获得，感兴趣区域中最多可同时显示两条车道线；设(XLU,YLU)、(XLB,YLB)分别是位于左侧的车道线的上、下两端端点的坐标，(XRU,YRU)、(XRB,YRB)分别是位于右侧的车道线的上、下两端端点的坐标；θL、θR分别是左、右两侧车道线与图像竖直坐标轴的夹角，其计算公式分别如下：由(1)、(2)式，即可得到任一时刻平面图像中的车道线所对应的角度，以此为基础，根据平面图像中的车道线信息变化情况，将驾驶员换道过程分为三个阶段，各阶段定义如下：第一阶段，当||θL|-|θR||≥λ时，认为第一阶段开始，当λ＝10时，认为驾驶员有开始执行换道的趋势；
第二阶段，该段过程位于第一阶段之后，开始的标志为其对应的平面图像视野中车道线由两条变为一条，即只显示一条跨道车道线；
第三阶段，该段过程处于第二阶段之后，开始的标志为其对应的平面图像视野中车道线由一条变为两条，即显示出目标车道的两条车道线，当||θL|-|θR||<λ时，认为该阶段结束，即整个换道过程结束；
左换道时，特征角度θ在一二阶段过程中等于θL，在第三阶段中由θ＝θL变为θ＝θR；右换道时则正好相反，特征角度θ在一二阶段过程中等于θR，在第三阶段中变为θ＝θL；即选取的换道特征角度与在感兴趣区域内始终存在的跨道车道线的几何角度相对应，θ的计算公式如下：左换道时，
5.根据权利要求1所述的一种基于单目视觉的驾驶员换道过程量化方法，所述的步骤四具体包括：将步骤三中计算出的换道特征角θ与其对应换道时间t以双曲正切函数作为基准函数进行拟合，该双曲正切函数的模型为：θ(t)＝a×tanh(b×t-c)+d (3)
式中，θ(t)为车辆换道过程中t时刻所对应的特征角，a、b、c、d为每次换道过程中的待定系数，反应当次驾驶员换道过程特性；系数a反映驾驶员换道过程前后特征角的变化幅度，其大小受到车辆换道时初始与最终时刻所对应的横向位置的影响，即车辆换道始末时刻所跨越的横向位移越大，a值越大，且其正负性一定，即左换道时其为正，右换道时为负；
系数b反映驾驶员换道过程中特征角变化的急缓程度，反映了车辆位置变化的快慢情况，即b越大，说明θ与车辆自身位置的变化率越大；系数c的大小受到换道初始阶段判定标准的影响，反映了θ-t曲线相对于时间轴的横向位置；系数d反映了车辆换道始末时刻其横向位移中心线相对于跨道车道线的偏离程度。
一种基于单目视觉的驾驶员换道过程量化方法
技术领域
[0001] 本发明适用于智能交通技术领域，提供了一种对驾驶员换道过程进行数值描述的方法，尤其涉及一种基于单目视觉的驾驶员换道过程量化的方法。技术背景
[0002] 换道是常见的驾驶行为之一，其过程持续时间短、过程复杂，以往从驾驶员视野角度出发的研究只集中于对驾驶员在换道过程中视点转移行为特性的分析；且现有针对驾驶员换道过程的研究以驾驶模拟器和仿真模型为主，缺少适用于实车的能够对驾驶员换道过程实现有效量化的方法的研究。
发明内容
[0003] 本发明的目的在于为驾驶员换道过程的研究提供新的角度和思路，提供了一种基于单目摄像头获取车道线信息，在单目视觉系统显示的平面图像中建立坐标系，提取能够反映驾驶员换道过程的特征角度值，建立该角度值与时间的函数关系模型，从而对驾驶员换道过程实现量化及阶段划分的方法。
[0004] 本发明的技术解决方案：
[0005] 在车辆内后视镜的正上方车顶上安装摄像头，用于获取车辆正前方的道路环境信息，将车辆换道过程中正前方车道线位置的变化情况完整记录下来；使用城市复杂道路环境下车道线检测算法提取感兴趣区域内的车道线，记录车道线数目并获取车道线的端点坐标；依据建立的车道线几何模型及能反应驾驶员换道特性的换道特征角计算公式得到换道过程各阶段的换道特征角；对换道特征角与时间变量进行双曲正切函数拟合，得到系数确定的用来对该次换道过程进行数值描述的双曲正切函数，从而完成量化。
[0006] 本发明的优点在于：
[0007] 1、与现有对换道过程的研究角度不同，本发明用车载摄像头获取的图像信息表示驾驶员视野中呈现的道路环境信息，以驾驶员换道时正前方视野的角度为切入点，提出量化方法。
[0008] 2、提出了能够对驾驶员换道过程进行有效量化及阶段划分的换道特征角参量，并建立了该特征角与时间变量的双曲正切函数模型，使得任一换道过程都可以用与之对应的双曲正切函数从数值角度对其进行表述。
[0009] 3、设计了能够在复杂城市道路环境下检测出车道线的算法，该算法在实际道路环境复杂、背景干扰因素多的情况下，可以有效摒除路面阴影及车辆遮挡等因素的干扰，实现实际道路车道线的检测。
附图说明
[0010] 图1是换道过程量化方法流程图
[0011] 图2是车道线检测算法流程图
[0012] 图3是单目视觉系统显示的平面图像中的车道线几何模型图
具体实施方式
[0013] 下面结合附图和实施例对本发明进行详细陈述。
[0014] 本发明的一种基于单目视觉的驾驶员换道过程量化方法，流程如图1所示，包括以下几个步骤：
[0015] 步骤一：安装摄像头，获取车辆完整换道过程视频信息；
[0016] 在车辆内后视镜的正上方车顶上(即车辆前方的正中位置)安装摄像头，通过摄像头获取车辆完整换道过程中前方道路环境的视频，视频能够将车辆换道过程中正前方车道线位置的变化情况清晰完整地记录下来；
[0017] 步骤二：进行车道线检测，确定车道线数目及车道线端点坐标；
[0018] 针对步骤一中得到的视频，使用城市复杂道路环境下车道线检测算法，提取出整个换道过程的车道线信息，输出感兴趣(ROI)区域中各时刻检测出的车道线数目及获取的车道线的端点坐标数值；
[0019] 步骤三：获取换道特征角；
[0020] 依据建立的车道线几何模型及换道特征角计算公式，使用步骤二中得到的车道线端点的坐标数值计算出换道过程各阶段对应时刻的换道特征角；
[0021] 步骤四：对换道特征角与时间变量进行双曲正切函数拟合；
[0022] 将步骤三中求得的换道特征角与其对应的时间变量代入特定双曲正切函数进行拟合，得到系数确定的用来对该次换道过程进行数值描述的双曲正切函数，从而完成量化。
[0023] 所述的步骤二的流程图如图2所示，摄像头采集到车辆完整换道过程视频信息，首先根据检测需要截取相应的感兴趣区域，随后对ROI区域进行预处理，得到图像边缘检测后的二值化图像；针对城市道路路况复杂、检测背景干扰因素多的情况，对二值化图像上的非零点进行扫描判断，删除冗余点、保留线段候选点；接着，使用概率HOUGH变换对候选车道线线段进行筛选；最终通过对候选车道线的交点进行聚类并引垂线进行判断的方法确定并拟合出真实车道线，其具体处理步骤如下：
[0024] (1)图像预处理
[0025] 针对步骤一获取视频对应的视频图像，选取感兴趣区域，感兴趣区域选取原则为：因摄像头安装位置及安装角度的不同而改变，要求该区域能够有效地回避天空、显示出路面车道线信息；当车辆处于车道保持行驶状态时，感兴趣区域内部需要显示且只显示出当前行驶车道的两条车道线。获取感兴趣区域的灰度图像，使用高斯滤波法对灰度图像进行平滑处理，去噪处理，对去噪后的灰度图像使用Sobel算子进行边缘检测，得到图像的边缘轮廓图，采用大津算法求取阈值，并利用求取的阈值结果对图像进行二值化处理，得到二值化图像。
[0026] 实施例中，步骤一获取的视频流的帧率为每秒30帧，其对应的视频图像为1280*720RGB格式，根据道路结构的先验知识及现场试验标定，选取原始图像421至580行、401至
880列的像素，划分为480×160的感兴趣区域(ROI区域)。之后使用高斯滤波法对灰度图像进行平滑处理，并对去噪后的灰度图像使用Sobel算子进行边缘检测，得到图像的边缘轮廓图，最后采用大津算法求取阈值，并利用求取的阈值结果对图像进行二值化处理，得到二值化图像。
[0027] (2)线段点扫描，删除冗余点，保留线段候选点
[0028] 对(1)中得到的二值化图像进行线段点扫描处理，线段点扫描方法采用每行从左至右、从下到上逐行扫描的形式，对已扫描过的像素点进行标记，不再对其进行二次扫描判断，像素点扫描的具体的方法为：
[0029] step1:当扫描到一个像素点时，若该点像素值为0，则直接向后继续扫描；若该点前一像素值为0，其自身像素值为1，并且该点此时没有被任何线段包含，则将该点定义为计算线段的起始点，存储在一个线段候选点集中。
[0030] step2:若当前扫描点被判断为线段起始点，则按照左上、正上、右上、右的优先级，向线段起始点的四个方向点先后进行扫描，遇到像素值为1的点将其存储在对应的线段候选点集中，若四个方向的扫描点像素值都为0，则将该线段起始点的像素值直接置0。
[0031] step3:若当前像素值为1的扫描点被判别为某线段候选点集中的非线段起始点，则其下一步扫描方向由当前点与上一个线段候选点集中的扫描点共同确定，即以两点连线作为角平分线，按照左、左上、正上、右上、右的先后优先级，向其中的三个方向成90度扇形进行下一步的扫描工作。
[0032] step4:重复step3的步骤，直到最终扫描点像素值为0或者扫描到图像边缘，则结束该线段候选点集的成员点的筛选。
[0033] step5:返回step1，按照整体上从左至右、从下到上的方式进行下一个线段候选点集的筛选工作，遇到标记为已扫描点的像素点直接跳过。
[0034] 经过上面5个步骤，遍历整个二值化图像的各像素点，将线段候选点集中点存储数量大于等于20的各相应点像素值保留(即为1)，其余像素值置0。该线段扫描方法可以有效剔除非车道线的冗余点的干扰，大大净化车道线的检测判断背景，从而得到干扰信息少的便于进行车道线检测的二值化图像。
[0035] (3)车道线检测、拟合
[0036] 第一、检测车道线，首先使用概率霍夫变换方法在扫描后的图像中筛选出符合设定条件的线段，将其作为候选车道线线段，具体的：
[0037] 使用概率霍夫变换算法对扫描后的二值化图像进行处理，以筛选出符合设定条件的线段，将其作为候选车道线线段，概率霍夫变换算法的具体步骤如下：
[0038] 1)类似霍夫变换，分割参数空间，为每个区间设计一个初始值为零的累加器acc(ρ,θ)(θ是某一直线对应的斜率夹角，ρ是该直线与原点之间的距离)；将图像中检测到的所有边缘点放到待处理边缘点集；
[0039] 2)检测待处理边缘点集是否为空，是则算法结束；否则随机从待处理边缘点集中取一象素点，投射到参数空间，在各个ρ值下计算相应的θ值，对应的累加器acc(ρ,θ)加1，并从待处理边缘点集中删除所取的点；
[0040] 3)判断更新后的累加器值是否有大于阈值thr，本发明中将阈值thr设置为15，若累加器值大于15，就进行下一步骤，否则回到第2)步；
[0041] 4)由上一步得到的值大于thr的累加器对应的参数确定一条直线，删除待处理点集中位于该直线上的点，此累加器清零；
[0042] 5)返回第2)步。
[0043] 经过以上步骤筛选出的线段被当作候选车道线线段，为第二步对真实车道线的检测奠定基础。
[0044] 第二、对各候选车道线的交点进行聚类，由聚类交点向图像底边X轴引垂线，通过判断各候选车道线和垂线与底边X轴交点的位置关系确定真实车道线，并对车道线进行拟合，具体的：
[0045] 用感兴趣区域的轴对称线将其自身划分为左、右两部分，候选车道线线段中心点位于轴对称线线上或者左侧的被归为左侧候选车道线，其余被归为右侧候选车道线。首先，对左右两侧的候选车道线线段进行同向性的判别与筛选，剔除掉两侧少数与其他大多数线段斜率值符号相异的线段。之后，若两侧线段数均不为0，则将左侧所有候选车道线线段与右侧所有候选车道线线段分别延长相交，对这些交点使用K-均值聚类算法进行处理(K＝1)，求出当前簇的质心O的坐标值；否则，只对单侧候选车道线线段进行延长及交点聚类处理，同样求出该簇质心O的坐标值。最后，过该质心点向感兴趣区域的底边引垂线，设垂线与感兴趣区域底边交于一点O′，对于两侧候选车道线线段数均不为0的情况，分别判断ROI区域左右两侧与O′距离最近且线段所在直线与垂线的交点和质心O的相差距离不大于20的候选车道线，即为检测出的两条真实车道线；否则只对单侧候选车道线数不为0的一侧进行判断，与O′距离最近且线段所在直线与垂线的交点和质心O的相差距离不大于20的候选车道线即为一条真实车道线。对确定的真实车道线线段进行拟合、延长，使其与ROI区域边框相交，并将其交点的坐标值输出，用于表征与之相应的车道线。
[0046] 步骤三：获取换道特征角；
[0047] 图3是步骤三中建立的车道线几何模型；
[0048] 依据提取出的车道线在平面图像中的位置分布情况，本发明建立了与之对应的车道线几何模型。ROI区域中车道线的各端点的坐标以及车道线方程均可由步骤二获得，ROI区域中最多可同时显示两条车道线。(XLU,YLU)、(XLB,YLB)分别是位于左侧的车道线的上、下两端端点的坐标，(XRU,YRU)、(XRB,YRB)分别是位于右侧的车道线的上、下两端端点的坐标。θL、θR分别是左、右两侧车道线与图像竖直坐标轴的夹角，其计算公式分别如下：
[0049]
[0050]
[0051] 由(1)、(2)式，即可得到任一时刻平面图像中的车道线所对应的角度，以此为基础，根据平面图像中的车道线信息变化情况，将驾驶员换道过程分为三个阶段，各阶段定义如下：
[0052] 第一阶段，当||θL|-|θR||≥λ时，认为第一阶段开始。λ一值需要对驾驶员换道与直线行驶具有较好的效果分割性。本发明中当λ＝10时，认为驾驶员有开始执行换道的趋势。
[0053] 第二阶段，该段过程位于第一阶段之后，开始的标志为其对应的平面图像视野中车道线由两条变为一条，即只显示一条跨道车道线。
[0054] 第三阶段，该段过程处于第二阶段之后，开始的标志为其对应的平面图像视野中车道线由一条变为两条，即显示出目标车道的两条车道线，当||θL|-|θR||<λ时，认为该阶段结束，即整个换道过程结束。
[0055] 在此基础上，为了使定义的换道特征角能够对整个换道过程进行表征，本发明中将换道特征角定义如下：
[0056] 左换道时，特征角度θ在一二阶段过程中等于θL，在第三阶段中由θ＝θL变为θ＝θR；右换道时则正好相反，特征角度θ在一二阶段过程中等于θR，在第三阶段中变为θ＝θL。即选取的换道特征角度与在ROI区域内始终存在的跨道车道线(换道初始车道与目标车道的共用车道线)的几何角度相对应，θ的计算公式如下：
[0057] 左换道时，
[0058]
[0059] 右换道时，
[0060]
[0061] 步骤四，将步骤三中计算出的换道特征角θ与其对应换道时间t以双曲正切函数作为基准函数进行拟合，该双曲正切函数的模型为：
[0062] θ(t)＝a×tanh(b×t-c)+d (3)
[0063] 式中，θ(t)为车辆换道过程中t时刻所对应的特征角，a、b、c、d为每次换道过程中的待定系数，反应当次驾驶员换道过程特性。系数a反映驾驶员换道过程前后特征角的变化幅度，其大小受到车辆换道时初始与最终时刻所对应的横向位置的影响，即车辆换道始末时刻所跨越的横向位移越大，a值越大，且其正负性一定，即左换道时其为正，右换道时为负；系数b反映驾驶员换道过程中特征角变化的急缓程度，也从侧面反映了车辆位置变化的快慢情况，即b越大，说明θ与车辆自身位置的变化率越大；系数c的大小受到换道初始阶段判定标准的影响，反映了θ-t曲线相对于时间轴的横向位置；系数d反映了车辆换道始末时刻其横向位移中心线相对于跨道车道线的偏离程度。
[0064] 通过以上四个步骤，可以针对每一个驾驶员换道过程确立一个θ(t)双曲正切函数关系式，从而实现对驾驶员换道过程的有效量化。不同次的换道过程之间所对应的θ(t)函数关系式的a、b、c、d各系数存在差异，以各系数所对应的意义为参考，通过对比各过程所对应函数的系数的大小，可以对不同次换道过程之间的换道差异特性进行判断；对于任一名驾驶员而言，其各换道过程所对应的函数系数a、b、c、d分别在一定的范围内变化(即各系数分别存在界限)且各系数出现的频率存在一定的统计特性，通过该量化方法对驾驶员实车换道过程进行处理得到的量化数据，可以为换道驾驶辅助系统提供真人驾驶经验数据的参考，也可以被用来对不同驾驶员之间的换道特性进行对比及分析；另外，本发明中用来实现换道过程量化的换道特征角及其函数能够为换道模型、换道控制方法及换道决策机制的制定提供重要的参考变量和目标函数。
