本发明涉及自动化领域，公开了一种基于双目摄像头的路面坑洼检测和避让方法及系统，特别是设计了路面坑洼区域宽度以及车辆与路面坑洼相距距离计算方法和避让判断规则，仅需要在车顶两侧安装双目摄像头并记录安装高度、角度与摄像机参数等信息，结合双目摄像头同一时刻所拍摄的左右图像即可计算路面坑洼区域宽度以及车辆与路面坑洼区域相距距离，最后根据计算结果和车辆的行驶速度、减速度以及轮胎间距做出避让判断。本发明解决了现有技术中坑洼路面与车辆相距距离以及坑洼路面宽度的计算不够准确的问题，本发明所述检测和避让方法不仅投入成本低，而且具有较高准确率。
1.一种基于双目摄像头的路面坑洼检测和避让方法，其特征在于：包括以下步骤：S1、读取双目摄像头同一时刻所得左右图像，对其进行预处理，降低图像噪声，增强边缘轮廓，将预处理后的图像输入到利用路面数据集训练好的ROI分割模型中，提取图中ROI即图中车辆可行驶区域；
S2、利用路面坑洼数据集训练坑洼区域分割模型，并对处理好的左右图像分别进行坑洼区域分割，提取路面坑洼区域分割结果；
所述步骤S2中的具体的步骤如下：根据步骤S1所得左右图像的ROI二值图像修改原图，将原图中非ROI区域的像素值改为(0,0,0)之后分别输入到利用路面坑洼数据集训练坑洼区域分割模型中，提取出路面坑洼区域；
S3、结合摄像机安装高度、角度与摄像机参数信息与路面坑洼区域分割结果，计算路面坑洼区域宽度以及车辆与路面坑洼区域相距距离；
步骤1、标记左图的边缘点对应点El；然后在极线上利用SSIM算法滑动窗口搜索双目成像右图中与El最相似的点Er；
是两个图像采样窗口中的灰度；N是采样窗口中像素点总个数，i是像素点序数，i∈[1,N]， ， 分别是两个图像采样窗口中所有像素点的平均灰度；
步骤1.2、然后使用标准差无偏估计来计算窗口的对比度：
其中 、 为常数，优选 ， ，L为图像灰度级数，K是常数，对
步骤1.4、得到SSIM指数最大的两个点El与Er：
步骤2、利用步骤1中的SSIM指数最大的两个点El与Er，计算双目摄像头的两图像的视差得到边缘点P的三维坐标 ，最后生成坑洼的深度图：其中，z表示空间点P离相机的距离，x表示空间点P在极平面上的横向坐标，y表示空间点P在极平面上的纵向坐标，f表示相机的焦距，t表示双目摄像头两成像中心的水平距离，与 表示空间点P在左成像面和右成像面上的坐标；
步骤3、根据得到的路面坑洼区域深度图，求出路面坑洼区域宽度 ：
其中 与 表示在深度图中坑洼的左右边缘点， 表示坑洼的宽度；
其中 为最大的深度坐标， 为车辆与路面坑洼相距距离；
S4、根据计算所得路面坑洼区域宽度以及车辆与路面坑洼区域相距距离进行避让判断。
2.根据权利要求1所述的一种基于双目摄像头的路面坑洼检测和避让方法，其特征在于：所述步骤S1中的预处理步骤包括：将双目摄像头同一时刻所得左右图像，利用高斯滤波器进行平滑，对平滑后的图像求导获取梯度图像，再将平滑后图像和梯度图像加权相加，增强图像中景物的边缘和轮廓。
3.根据权利要求2所述的一种基于双目摄像头的路面坑洼检测和避让方法，其特征在于：所述的ROI分割模型是基于改进的ENet网络结构，在保证准确率的前提下，利用处理后的图像作为输入进行训练，同时简化了特征提取网络，删除部分重复的卷积层，并将剩余的部分常规卷积替换为深度可分离卷积，降低网络参数量，提高模型运行速度，最后，利用1x1卷积修改输出图像通道数为1。
4.根据权利要求3所述的一种基于双目摄像头的路面坑洼检测和避让方法，其特征在于：所述路面坑洼数据集训练坑洼区域分割模型与步骤S1所述的ROI分割模型网络结构相同，但使用的训练集与分割目标不同；具体地说，路面坑洼数据集训练坑洼区域分割模型是利用ROI分割模型提取路面坑洼数据集中每个图像的ROI区域，将非ROI区域的像素值改为(0,0,0)并进行归一化处理，将处理好的带标签的路面坑洼图片打乱，按照7:3的比例划分训练集与验证集，再根据训练设备性能设置训练周期、一次训练中同时读入的样本数与初始化学习率进行模型训练；训练完成后，在验证集上验证坑洼区域分割模型的准确率，若准确率不能满足需求，则调整训练参数继续训练，直到满足要求。
5.根据权利要求1所述的一种基于双目摄像头的路面坑洼检测和避让方法，其特征在于：所述步骤S4中的具体的步骤如下：根据路面坑洼区域宽度以及所在位置确定是否需要绕过路面坑洼区域；当路面坑洼区域宽度小于车辆水平轮胎间距时，若路面坑洼区域正位于轮胎正前方，则减速行驶并调整方向使坑洼区域处于轮胎之间；若路面坑洼区域不位于轮胎正前方，则正常行驶；当路面坑洼区域宽度大于车辆水平轮胎间距时，则根据车辆行驶速度以及车辆减速度确定车辆制动安全时间，再根据当前车速和制动安全时间计算制动安全距离：其中v表示车辆行驶速度，a表示车辆减速度，Tsafe表示制动安全时间，Ssafe表示制动安全距离；当安全距离小于车辆和路面坑洼相距距离时，车辆将减速绕过路面坑洼区域；当安全距离大于车辆和路面坑洼相距距离时，车辆将紧急制动停车。
6.一种基于双目摄像头的路面坑洼检测和避让系统，其特征在于：采用权利要求1‑5中任一项所述的基于双目摄像头的路面坑洼检测和避让方法，包括图像预处理模块，用于读取双目摄像头同一时刻所得左右图像，对其进行预处理，降低图像噪声，增强边缘轮廓并提取图中ROI；
路面坑洼分割模块，用于对输入的图像进行图像分割，提取路面坑洼区域；
计算模块，用于计算路面坑洼区域宽度以及车辆与路面坑洼区域相距距离；
一种基于双目摄像头的路面坑洼检测和避让方法及系统
技术领域
[0001] 本发明涉及自动化领域，尤其涉及一种基于双目摄像头的路面坑洼检测和避让方法及系统。
背景技术
[0002] 近年来，随着市场对汽车主动安全和智能的需求不断增加，自动驾驶技术的价值日益凸显，越来越多的科研人员致力于自动驾驶技术的研究。路面如果存在坑洼情况，不仅会使车辆的机械结构损伤以及油耗增加，还会影响乘坐人员的安全性。因此检测前方道路坑洼情况并有效进行避让是自动驾驶技术中有待解决的问题之一。
[0003] 以机器学习为代表的人工智能技术为自动驾驶带来新的可能，在自动驾驶车辆上方设置高清摄像头，利用图像分割技术可以实现前方路面坑洼情况的实时监测。然而仅仅检测出前方存在路面坑洼情况是不够的，如何准确计算坑洼路面与车辆相距距离以及坑洼路面宽度也是急需解决的问题。因此探索一种准确计算坑洼路面与车辆相距位置并有效的避让的方法仍有着深远的应用前景，是研究热点之一。
发明内容
[0004] 针对现有技术中的缺陷，本发明提供一种基于双目摄像头的路面坑洼检测和避让方法及系统，利用摄像头所拍摄图像检测前方路面是否存在坑洼，结合双目摄像头参数信息对检测到的坑洼路面进行距离与宽度的估算，再根据结果进行对应的避让操作以解决现有技术中存在的上述问题。
[0005] 本发明是通过以下技术方案实现的：
[0006] 一种基于双目摄像头的路面坑洼检测和避让方法，包括以下步骤：
[0007] S1、读取双目摄像头同一时刻所得左右图像，对其进行预处理，降低图像噪声，增强边缘轮廓，将预处理后的图像输入到利用路面数据集训练好的ROI分割模型中，提取图中ROI（Region of interest，即图中车辆可行驶区域，是我们所关注的区域）；
[0008] S2、利用路面坑洼数据集训练坑洼区域分割模型，并对两张图像分别进行图像分割，提取路面坑洼区域；
[0009] S3、结合摄像机安装高度、角度与摄像机参数信息与路面坑洼区域分割结果，计算路面坑洼区域宽度以及车辆与路面坑洼区域相距距离；
[0010] S4、根据计算所得路面坑洼区域宽度以及车辆与路面坑洼区域相距距离进行避让判断。
[0011] 进一步的，所述步骤S1中的预处理步骤包括：将双目摄像头同一时刻所得左右图像，利用高斯滤波器进行平滑，对平滑后的图像求导获取梯度图像，再将平滑后图像和梯度图像加权相加，增强图像中景物的边缘和轮廓。
[0012] 进一步的，所述的ROI分割模型是基于改进的ENet网络结构，在保证准确率的前提下，利用处理后的图像作为输入进行训练，同时简化了特征提取网络，删除部分重复的卷积层，并将剩余的部分常规卷积替换为深度可分离卷积，降低网络参数量，提高模型运行速度，最后，利用1x1卷积修改输出图像通道数为1。
[0013] 进一步的，所述步骤S2中的具体的步骤如下：根据步骤S1所得左右图像的ROI二值图像修改原图，将原图中非ROI区域的像素值改为(0,0,0)，之后分别输入到利用路面坑洼数据集训练坑洼区域分割模型中，提取出路面坑洼区域。所述的坑洼区域分割模型与S1所述的ROI分割模型网络结构相同，但使用的训练集与分割目标不同。
[0014] 具体地说，该模型利用ROI分割模型提取路面坑洼数据集中每个图像的ROI区域，将非ROI区域的像素值改为(0,0,0)并进行归一化处理，将处理好的带标签的路面坑洼图片打乱，按照7:3的比例划分训练集与验证集，再根据训练设备性能设置训练周期、一次训练中同时读入的样本数与初始化学习率进行模型训练。训练完成后，在验证集上验证坑洼区域分割模型的准确率，若准确率不能满足需求，则调整训练参数继续训练，直到满足要求。
[0015] 进一步的，所述步骤S3中的具体的步骤如下：
[0016] 步骤1、标记左图的边缘点对应点El；然后在极线上利用SSIM算法滑动窗口搜索双目成像右图中与El最相似的点Er；
[0017] 步骤2、首先计算窗口中所有像素点的平均灰度：
[0018]
[0019] 是两个图像采样窗口中的灰度；N是采样窗口中像素点总个数，i是像素点序数，i∈[1,N]，μa，μb分别是两个图像采样窗口中所有像素点的平均灰度；
[0020] 步骤3、然后使用标准差无偏估计来计算窗口的对比度：
[0021]
[0022] 其中 与 为两个窗口的对比度；
[0023] 步骤4、最后计算SSIM指数：
[0024]
[0025] 其中 为常数，优选 ， 为图像灰度级数，K是常数，对于8‑bit灰度图像， ；
[0026] 步骤5、利用步骤（1）中的SSIM指数最大的两个点 与 ，计算双目摄像头的两图像的视差得到边缘点P的三维坐标 ，最后生成坑洼的深度图：
[0027]
[0028] 其中， 表示空间点P离相机的距离， 表示空间点P在极平面上的横向坐标，表示空间点P在极平面上的纵向坐标， 表示相机的焦距，表示双目摄像头两成像中心的水平距离， 与 表示空间点P在左成像面和右成像面上的坐标；
[0029] 步骤6、根据得到的路面坑洼区域深度图，求出路面坑洼区域宽度 ：
[0030] ，
[0031] 其中 与 表示在深度图中坑洼的左右边缘点， 表示坑洼的宽度；
[0032] 步骤7、求出车辆与路面坑洼相距距离 ：
[0033] ，
[0034] 其中 为最大的深度坐标， 为车辆与路面坑洼相距距离。
[0035] 进一步的，所述步骤S4中的具体的步骤如下：根据路面坑洼区域宽度以及所在位置确定是否需要绕过路面坑洼区域；当路面坑洼区域宽度小于车辆水平轮胎间距时，若路面坑洼区域正位于轮胎正前方，则减速行驶并调整方向使坑洼区域处于轮胎之间；若路面坑洼区域不位于轮胎正前方，则正常行驶；当路面坑洼区域宽度大于车辆水平轮胎间距时，则根据车辆行驶速度以及车辆减速度确定车辆制动安全时间，再根据当前车速和制动安全时间计算制动安全距离：
[0036] ，
[0037] 其中v表示车辆行驶速度，a表示车辆减速度，Tsafe表示制动安全时间，Ssafe表示制动安全距离；当安全距离小于车辆和路面坑洼相距距离时，车辆将减速绕过路面坑洼区域；当安全距离大于车辆和路面坑洼相距距离时，车辆将紧急制动停车。
[0038] 一种基于双目摄像头的路面坑洼检测和避让系统，包括图像预处理模块，用于读取双目摄像头同一时刻所得左右图像，对其进行预处理，降低图像噪声，增强边缘轮廓并提取图中ROI；
[0039] 路面坑洼分割模块，用于对输入的图像进行图像分割，提取路面坑洼区域；
[0040] 计算模块，用于计算路面坑洼区域宽度以及车辆与路面坑洼区域相距距离；
[0041] 避让判断模块，用于判断车辆是否需要避让处理。
[0042] 本发明的有益效果体现在：本发明有针对性的设计了一种基于双目摄像头的路面坑洼检测和避让方法流程，特别是设计了路面坑洼区域宽度以及车辆与路面坑洼相距距离计算方法和避让判断规则，仅需要在车顶两侧安装双目摄像头并记录安装高度、角度与摄像机参数等信息，结合双目摄像头同一时刻所拍摄的左右图像即可计算路面坑洼区域宽度以及车辆与路面坑洼区域相距距离，最后根据计算结果和车辆的行驶速度、减速度以及轮胎间距做出避让判断。这种方式不仅投入成本低，而且具有较高准确率。
附图说明
[0043] 下面结合附图与实施例对本发明做进一步的解释说明。应注意的是，本发明的示意性实施例及其说明仅用于解释本发明，并不构成对本发明的不当限定。
[0044] 图1为本发明实施例中所述的基于双目摄像头的路面坑洼检测和避让系统的流程示意图。
[0045] 图2为本发明实施例中所述的路面坑洼计算方法示意图。
[0046] 图3为本发明实施例中所述的避让判断流程图。
具体实施方式
[0047] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。
[0048] 实施例一
[0049] 一种基于双目摄像头的路面坑洼检测和避让方法，如图1所示，包括以下步骤：
[0050] 步骤S1：将双目摄像头同一时刻所得左右图像预处理，提取图中ROI（Region of interest，即图中车辆可行驶区域，是我们所关注的区域）。具体地说，我们获取双目摄像头同一时刻所得左右图像，对两张图像分别利用高斯滤波器平滑图像，对平滑后的图像求导获取梯度图像，再将平滑后图像和梯度图像加权相加，增强图像中景物的边缘和轮廓。最后将处理后的图像输入到训练好的语义分割模型，即可输出左右图像中的ROI提取结果的二值图像。该语义分割模型结构是基于改进的ENet网络结构，在保证准确率的前提下，利用处理后的图像作为输入进行训练，同时简化了特征提取网络，删除部分重复的卷积层，并将剩余的部分常规卷积替换为深度可分离卷积，降低网络参数量，提高模型运行速度；最后，利用1x1卷积修改输出图像通道数为1。
[0051] 步骤S2：利用坑洼区域分割模型，提取路面坑洼区域。具体地说，根据步骤S1所得左右图像的ROI二值图像修改原图，将原图中非ROI区域的像素值改为(0,0,0)，之后分别输入到利用路面坑洼数据集训练坑洼区域分割模型中，提取出路面坑洼区域。所述的坑洼区域分割模型与步骤S1所述的ROI分割模型网络结构相同，但使用的训练集与分割目标不同。
[0052] 具体地说，该模型利用ROI分割模型提取路面坑洼数据集中每个图像的ROI区域，将非ROI区域的像素值改为(0,0,0)并进行归一化处理，将处理好的带标签的路面坑洼图片打乱，按照7:3的比例划分训练集与验证集，再根据训练设备性能设置训练周期、一次训练中同时读入的样本数与初始化学习率等训练参数进行模型训练。训练完成后，在验证集上验证坑洼区域分割模型的准确率，若准确率不能满足需求，则调整训练参数继续训练，直到满足要求。
[0053] 步骤S3：结合摄像机安装高度、角度与摄像机参数信息与路面坑洼区域分割结果，计算路面坑洼区域宽度以及车辆与路面坑洼相距距离。
[0054] 具体地说，如图2所示，步骤1、标记左图的边缘点对应点El；然后在极线上利用SSIM算法滑动窗口搜索双目成像右图中与El最相似的点Er；
[0055] 步骤2、首先计算窗口中所有像素点的平均灰度：
[0056]
[0057] 是两个图像采样窗口中的灰度；N是采样窗口中像素点总个数，i是像素点序数，i∈[1,N]，μa，μb分别是两个图像采样窗口中所有像素点的平均灰度；
[0058] 步骤3、然后使用标准差无偏估计来计算窗口的对比度：
[0059]
[0060] 其中 与 为两个窗口的对比度；
[0061] 步骤4、最后计算SSIM指数：
[0062]
[0063] 其中 为常数，优选 ， 为图像灰度级数，K是常数，对于8‑bit灰度图像， ；
[0064] 步骤5、然后找到最相似的，即SSIM指数最大的两个点 与 ，计算双目摄像头的两图像的视差得到边缘点P的三维坐标 ，最后生成坑洼的深度图：
[0065]
[0066] 其中， 表示空间点P离相机的距离， 表示空间点P在极平面上的横向坐标，表示空间点P在极平面上的纵向坐标， 表示相机的焦距， 表示双目摄像头两成像中心的水平距离， 与 表示空间点P在左成像面和右成像面上的坐标；
[0067] 步骤6、之后根据得到的路面坑洼区域深度图，求出路面坑洼区域宽度 ：
[0068] ，
[0069] 其中 与 表示在深度图中坑洼的左右边缘点， 表示坑洼的宽度；
[0070] 步骤7、然后求出车辆与路面坑洼相距距离 ：
[0071] ，
[0072] 其中 为最大的深度坐标， 为车辆与路面坑洼相距距离。
[0073] 步骤S4：根据计算结果进行避让判断。具体地说，如图3所示，根据路面坑洼区域宽度以及所在位置确定是否需要绕过路面坑洼区域。当路面坑洼区域宽度小于车辆水平轮胎间距时，若路面坑洼区域正位于轮胎正前方，则减速行驶并调整方向使坑洼区域处于轮胎之间；若路面坑洼区域不位于轮胎正前方，则正常行驶。当路面坑洼区域宽度大于车辆水平轮胎间距时，则根据车辆行驶速度以及车辆减速度确定车辆制动安全时间，再根据当前车速和制动安全时间计算制动安全距离：
[0074] ，
[0075] 其中v表示车辆行驶速度，a表示车辆减速度，Tsafe表示制动安全时间，Ssafe表示制动安全距离。当安全距离小于车辆和路面坑洼相距距离时，车辆将减速绕过路面坑洼区域；当安全距离大于车辆和路面坑洼相距距离时，车辆将紧急制动停车。
[0076] 实施例二
[0077] 本实施例的目的在于提供了一种基于双目摄像头的路面坑洼检测和避让系统，包括：图像预处理模块，用于读取双目摄像头同一时刻所得左右图像，对其进行预处理，降低图像噪声，增强边缘轮廓并提取图中ROI；
[0078] 路面坑洼分割模块，用于对输入的图像进行图像分割，提取路面坑洼区域；
[0079] 计算模块，用于计算路面坑洼区域宽度以及车辆与路面坑洼区域相距距离；
[0080] 避让判断模块，用于判断车辆是否需要避让处理。
[0081] 实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0082] 以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。
