一种位于交通路口及弯道的检测预警方法及系统

摘要

本发明提供了一种位于交通路口及弯道的检测预警方法及系统，通过摄像设备在距离目标路口或目标弯道第一预设距离处连续采集原始图像；通过基于条件生成对抗网络的去雾算法对所述原始图像进行去雾处理，获得无雾图像；通过图像检测网络检测所述无雾图像中的车辆和行人；当检测到目标物，则将该目标物和该目标物距离路口或弯道的距离通过警示设备进行显示。本发明能够实时地监控弯道、路口等复杂路段，为驾驶员提供准确而及时的路况信息，填补农村弯道、路口预警方案的空白，适用于复杂的农村环境，大幅降低农村交通事故发生率。

权利要求

1.一种位于交通路口及弯道的检测预警方法，其特征在于，包括：通过摄像设备在距离目标路口或目标弯道第一预设距离处连续采集原始图像，所述摄像设备设于目标路口的入口处、或设于目标弯道的外侧；

通过基于条件生成对抗网络的去雾算法对所述原始图像进行去雾处理，所述基于条件生成对抗网络包括生成器和判别器；将所述原始图像输入生成器，获得无雾图像；将所述无雾图像与所述原始图像通过判别器进行对比，通过所述判别器的孪生神经网络进行相似度判断以获知该无雾图像是否为所述原始图像的无雾图像，若是，则输出该无雾图像；

通过图像检测网络检测所述无雾图像中的目标物，所述目标物包括车辆和行人；

当检测到目标物，则将该目标物和该目标物距离路口或弯道的距离通过警示设备进行显示；所述警示设备设于距离目标路口或目标弯道第二预设距离处，且位于所述目标路口或所述目标弯道的内侧；

所述生成器为Unet++网络，采用一条下采样通道和四条上采样通道，利用连接结构、并通过维度拼接的方法进行特征叠加；且在下采样阶段的每个卷积模块中，使用空洞率为[1,

2,3,5]的串联空洞卷积组。

2.根据权利要求1所述的检测预警方法，其特征在于，所述基于条件生成对抗网络的去雾算法的损失函数为：2

LossG＝log(D(x,G(x)))*W1+(y‑G(x)) *W2；

所述判别器的损失函数为：

LossG＝‑(log(D(x,y))+log(1‑D(x,G(x))))；

其中，G为生成器，D为判别器，x为原始图像，y为无雾图像，W1和W2为损失权重。

3.根据权利要求1所述的检测预警方法，其特征在于，所述判别器包括Block_1、Block_

2、Block_3、Block_4，其中：Block_2为inception_v4网络中的inception‑A模块；Block_3为inception_v4网络中的inception‑B模块；Block_4为inception_v4网络中的inception‑C模块。

4.根据权利要求1所述的检测预警方法，其特征在于，所述当检测到目标物，则将该目标物和该目标物距离路口或弯道的距离通过警示设备进行显示还包括：将该目标物所位于的车道通过警示设备进行显示。

5.根据权利要求1所述的检测预警方法，其特征在于，还包括：

以第一预设时间段为间隔，保存所述第一预设时间内获取的若干张所述无雾图像中清晰度最高的一张无雾图像，作为分析图像；

若检测到该第一预设时间段内的交通事故，则通过图像识别获取所述分析图像中的车辆的车牌号。

6.根据权利要求5所述的检测预警方法，其特征在于，所述若检测到该第一预设时间段内的交通事故，则通过图像识别获取所述分析图像中的车辆的车牌号还包括：若无法检测获取车牌号，则将该分析图像进行标记保存。

7.根据权利要求1所述的检测预警方法，其特征在于，所述第二预设距离大于20米。

8.一种位于交通路口及弯道的检测预警系统，其特征在于，包括摄像模块、处理模块和警示模块；

通过所述摄像模块在距离目标路口或目标弯道第一预设距离处连续采集原始图像，所述摄像模块设于目标路口的入口处、或设于目标弯道的外侧；

通过所述处理模块内的基于条件生成对抗网络的去雾算法对所述原始图像进行去雾处理，获得无雾图像，所述基于条件生成对抗网络包括生成器和判别器；将所述原始图像输入生成器，获得无雾图像；将所述无雾图像与所述原始图像通过判别器进行对比，通过所述判别器的孪生神经网络进行相似度判断以获知该无雾图像是否为所述原始图像的无雾图像，若是，则输出该无雾图像；并通过所述处理模块内的图像检测网络检测所述无雾图像中的目标物，所述目标物包括车辆和行人；

当检测到目标物，则将该目标物和该目标物距离路口或弯道的距离通过所述警示模块进行显示；所述警示模块设于距离目标路口或目标弯道第二预设距离处，且位于所述目标弯道的内侧；

所述生成器为Unet++网络，采用一条下采样通道和四条上采样通道，利用连接结构、并通过维度拼接的方法进行特征叠加；且在下采样阶段的每个卷积模块中，使用空洞率为[1,

2,3,5]的串联空洞卷积组。

9.根据权利要求8所述的检测预警系统，其特征在于，所述摄像模块包括设有云台的摄像头；所述警示模块包括设有灯具和扩音器的大屏显示器。

说明书

一种位于交通路口及弯道的检测预警方法及系统

技术领域

[0001] 本发明涉及图像检测技术领域，尤其涉及一种位于交通路口及弯道的检测预警方法及系统。

背景技术

[0002] 在我国农村交通中，每年都会发生大量的交通事故，造成很多人致伤、致残甚至致死。农村交通中发生交通事故的原因有很多，其中一个重要原因是农村道路路况复杂，驾驶员不能及时地获取到交通状况信息，尤其是弯道、或者路口等不易看清路况的路段，进而导致了繁多的交通事故。因而，引入先进的基于摄像头的检测技术来对弯道、路口等复杂路段进行实时监测，提取路况信息并展示出来，为当前路段的驾驶员提供准确且实时的路况信息，起到大幅降低农村交通事故的作用。然而，当前的一些检测技术并不能很好地适用于农村交通，由于农村道路多靠近山地、农田等地理环境，风沙较大，雾气也大，用于检测的抓拍照片大多不太清晰。

[0003] 现有技术的检测算法应用场景皆为环境较好、抓拍图片清晰的场景，对进一步复杂且并不良好的环境则支持的不是很友好。在农村环境中尚未被引用进入实际使用，一部分原因便是因为农村环境复杂，难以实现较好的工作效果。目前较流行的基于深度学习的目标检测技术是基于摄像头拍摄的照片来进行检测，因而对输入图像的质量要求较高，且若输入照片有噪声扰动则会对检测结果造成很大影响。

发明内容

[0004] 为了克服上述技术缺陷，本发明的目的在于提供一种适用于雾气、风沙等环境干扰因素较大的弯道的。

[0005] 本发明公开了一种位于交通路口及弯道的检测预警方法，包括：通过摄像设备在距离目标路口或目标弯道第一预设距离处连续采集原始图像，所述摄像设备设于目标路口的入口处、或设于目标弯道的外侧；通过基于条件生成对抗网络的去雾算法对所述原始图像进行去雾处理，所述基于条件生成对抗网络包括生成器和判别器；将所述原始图像输入生成器，获得无雾图像；将所述无雾图像与所述原始图像通过判别器进行对比，通过所述判别器的孪生神经网络进行相似度判断以获知该无雾图像是否为所述原始图像的无雾图像，若是，则输出该无雾图像；通过图像检测网络检测所述无雾图像中的目标物，所述目标物包括车辆和行人；当检测到目标物，则将该目标物和该目标物距离路口或弯道的距离通过警示设备进行显示；所述警示设备设于距离目标路口或目标弯道第二预设距离处，且位于所述目标路口或所述目标弯道的内侧。

[0006] 优选的，所述基于条件生成对抗网络的去雾算法的损失函数为：

[0007] LossG＝log(D(x,G(x)))*W1+(y‑G(x))2*W2；所述判别器的损失函数为：

[0008] LossG＝‑(log(D(x,y))+log(1‑D(x,G(x))))；其中，G为生成器，D为判别器，x为原始图像，y为无雾图像。

[0009] 优选的，所述生成器为Unet++网络，采用一条下采样通道和四条上采样通道，利用连接结构、并通过维度拼接的方法进行特征叠加；且在下采样阶段的每个卷积模块中，使用空洞率为[1,2,3,5]的串联空洞卷积组。

[0010] 优选的，所述判别器包括Block_1、Block_2、Block_3、Block_4，其中：Block_2为inception_v4网络中的inception‑A模块；Block_3为inception_v4网络中的inception‑B模块；Block_4为inception_v4网络中的inception‑C模块。

[0011] 优选的，所述当检测到目标物，则将该目标物和该目标物距离路口或弯道的距离通过警示设备进行显示还包括：将该目标物所位于的车道通过警示设备进行显示。

[0012] 优选的，还包括：以第一预设时间段为间隔，保存所述第一预设时间内获取的若干张所述无雾图像中清晰度最高的一张无雾图像，作为分析图像；若检测到该第一预设时间段内的交通事故，则通过图像识别获取所述分析图像中的车辆的车牌号。

[0013] 优选的，所述若检测到该第一预设时间段内的交通事故，则通过图像识别获取所述分析图像中的车辆的车牌号还包括：若无法检测获取车牌号，则将该分析图像进行标记保存。

[0014] 优选的，所述第二预设距离大于20米。

[0015] 本发明还公开了一种位于交通路口及弯道的检测预警系统，包括摄像模块、处理模块和警示模块；通过所述摄像模块在距离目标路口或目标弯道第一预设距离处连续采集原始图像，所述摄像模块设于目标路口的入口处、或设于目标弯道的外侧；通过所述处理模块内的基于条件生成对抗网络的去雾算法对所述原始图像进行去雾处理，获得无雾图像；并通过所述处理模块内的图像检测网络检测所述无雾图像中的目标物，所述目标物包括车辆和行人；当检测到目标物，则将该目标物和该目标物距离路口或弯道的距离通过所述警示模块进行显示；所述警示模块设于距离目标路口或目标弯道第二预设距离处，且位于所述目标弯道的内侧。

[0016] 优选的，所述摄像模块包括设有云台的摄像头；所述警示模块包括设有灯具和扩音器的大屏显示器。

[0017] 采用了上述技术方案后，与现有技术相比，具有以下有益效果：

[0018] 1.通过Unet++网络结构对拍摄的路况照片进行去雾处理，减少图像中的干扰因素，适用于尘沙较大、雾气较重等道路环境复杂的农村弯道、路口等；几乎不会发生颜色失真，高度还原无雾场景，提高去雾准确率，为检测流程输入清晰度更高的图像，保证了道路环境复杂的农村环境下各类检测算法的精度；本发明能够实时地监控弯道、路口等复杂路段，为驾驶员提供准确而及时的路况信息，填补农村弯道、路口预警方案的空白，适用于复杂的农村环境，大幅降低农村交通事故发生率。

附图说明

[0019] 图1为本发明提供的检测预警方法流程图；

[0020] 图2为本发明提供的基于条件生成对抗网络的去雾算法流程；

[0021] 图3为本发明提供的Unet++网络结构图；

[0022] 图4为本发明提供的判别器网络的其中一结构图；

[0023] 图5为本发明提供的附图4判别器网络的Block_1的结构图；

[0024] 图6为本发明提供的判别器网络的孪生神经网络的结构图。

具体实施方式

[0025] 以下结合附图与具体实施例进一步阐述本发明的优点。

[0026] 这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

[0027] 在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

[0028] 应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

[0029] 在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

[0030] 在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

[0031] 在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

[0032] 参见附图1，本发明公开了一种位于交通路口及弯道的检测预警方法，包括实时拍摄、图像去雾、图像检测和路口预警：

[0033] S1、通过摄像设备在距离目标路口或目标弯道第一预设距离处连续采集原始图像；

[0034] S2、通过基于条件生成对抗网络的去雾算法对原始图像进行去雾处理，基于条件生成对抗网络包括生成器和判别器；将原始图像输入生成器，获得无雾图像；将无雾图像与原始图像通过判别器进行对比，通过相似度判断该无雾图像是否为原始图像的无雾图像，若是，则输出该无雾图像；

[0035] S3、通过图像检测网络检测无雾图像中的目标物，目标物包括车辆和行人；

[0036] S4、当检测到目标物，则将该目标物和该目标物距离路口或弯道的距离通过警示设备进行显示。

[0037] 在S1过程中，为了保证摄像足够的摄像范围，提高检测预警效果，摄像设备设于目标路口的入口处、或设于目标弯道的外侧。例如，对于交叉路口，摄像头安置在每个路口入口处，镜头面向路段里边，对于急弯路段，摄像头安置在弯道外侧。

[0038] 而对于S4过程中的警示设备，为了保证车辆接收到警示后有足够的制动距离，警示设备应设于距离目标路口或目标弯道第二预设距离处，且位于目标路口或目标弯道的内侧。例如，对于交叉路口，警示装置设备在距离交叉路口至少第二预设距离处；对于急弯路段，警示设备安置在弯道内侧，且距离弯道处至少第二预设距离处。

[0039] 警示内容为当前行驶路线上无法看到的前方路口其他路段内的路况信息，包括：是否有行人、是否有车辆，以及检测到的目标物距离路口的距离。

[0040] 农村环境下风沙和雾气较大，拍摄的照片很较为模糊，存在较多的噪声扰动，导致检测的精度急剧下降，因此需要对输入的图片做去雾处理。本发明采用采用基于条件生成对抗网络(GAN)改进实现，网络结构参见附图2。

[0041] 检测目标主要包括行人检测和车辆检测，其中车辆检测包括几类：客运车辆(包括大小客运车辆)检测、农用车辆(主要为拖拉机、旋耕机，以及三轮车)检测、摩托车检测、电瓶车检测、自行车检测等。检测算法采用基于YOLOv3改进、在农村场景数据下进行训练测试。

[0042] 基于条件生成对抗网络的去雾算法的损失函数为：Loss_G＝Loss_1*W1+Loss_2*W2。

[0043] W1和W2为损失权重，为了均衡判别器和生成器的能力，防止判别器太强、传回无效梯度或者判别器太弱、导致网络难收敛。W1和W2初始默认都为1，在训练中设置时需根据实际训练的损失值变化情况来调整。其中，Loss_1＝log(D(x,G(x)))；Loss_2为生成的图像G(x)和无雾图像y的损失，由于大气中雾气分布的原理，有雾图像中噪声比较均匀，几乎不存在异常点，因此采用鲁棒性更好的L2损失，定义为：Loss_2＝(y‑G(x))2。最后得到生成器的2
损失函数为：LossG＝log(D(x,G(x)))*W1+(y‑G(x)) *W2；其中，G为生成器，D为判别器，x为原始图像，y为无雾图像，z为随机噪声向量。生成器一般采用编码器‑解码器结构，旨在输入有雾图像，经过生成器后则输出无雾图像。

[0044] 为了在像素级上实现较高分辨率的去除雾化，生成器为Unet++网络，参见附图3，采用一条下采样通道和四条上采样通道，利用DenseNet的连接结构、并通过维度拼接的方法进行特征叠加，很好的利用4个层级的不同特征，实现细粒度的预测。且在本发明中，为了让卷积过程能获得更大的感受野，充分利用到局部和远距离的空间信息，在下采样阶段的每个卷积模块中，使用空洞率为[1,2,3,5]的串联空洞卷积组，既增加了感受野，提高去雾的效果，又避免了空洞卷积带来的棋盘效应问题。

[0045] 需要说明的是，连接结构并不一定要采用DenseNet的连接结构，其他网络的连接结构可以实现特征叠加也可采用。

[0046] 判别器在于比对生成的无雾图像和目标无雾图像的相似程度，采用孪生神经网络结构，网络结构如图6，包括左右两边共享网络参数，即两个一模一样的网络；输入两个样本，输出提取的两个特征向量，以比较两个样本的相似程度。其中，loss_out为提取到的两个特征图的欧氏距离，判别器的损失函数为：

[0047] LossG＝‑(log(D(x,y))+log(1‑D(x,G(x))))。

[0048] 判别器的内部网络结构参见附图4和附图5，包括Block_1、Block_2、Block_3、Block_4，其中：Block_1的结构参见附图5，Block_2为inception_v4网络中的inception‑A模块；Block_3为inception_v4网络中的inception‑B模块；Block_4为inception_v4网络中的inception‑C模块，采用了多种尺寸以及分离卷积核，旨在从大小不同的视野上对特征进行全面的提取，较为充分的对生成器生成的无雾图像和原始无雾图像进行比对。

[0049] 原始含雾图像经过条件生成对抗网络后，即可生成去雾后的图像，该图像输入到检测网络中，即可进行相应的检测。

[0050] 优选的，为了进一步提高预警效果，当检测到目标物，则将该目标物和该目标物距离路口或弯道的距离通过警示设备进行显示进一步还包括：将该目标物所位于的车道通过警示设备进行显示，以给来往车辆更全方位的信息预警，保证行车安全。

[0051] 本发明的检测技术，通过改进的图像去雾算法，为检测流程输入了清晰度较高的图像，确保了农村环境下的检测算法的精度，填补了农村交通中道路预警方案的空白，能极为有效的降低农村弯道和复杂路口的交通事故发生率。

[0052] 此外，针对农村存在较多交通事故中肇事逃逸的现象，故本发明的检测预警方案还包含了交通事件检测和车牌识别算法。以第一预设时间段为间隔，保存第一预设时间内获取的若干张无雾图像中清晰度最高的一张无雾图像，作为分析图像；若检测到该第一预设时间段内的交通事故，则通过图像识别获取分析图像中的车辆的车牌号。

[0053] 具体的，在进行检测时会间隔一定时间进行高清图抓拍，从去雾算法处理过的图像中抓取去雾后与原图比对中得分最高的图像做保存，一旦检测到路口处出现交通事故，则会对抓取的图像进行车牌识别。

[0054] 若从车辆出现到车辆消失后一定时间内未检测到交通事故，则认为没有分析的必要，删除保存的分析图片。经过上述实时抓拍检测，可以有效地缓解了农村道路上交通事故发生后出现肇事逃逸的现象。

[0055] 需要说明的是，车牌识别是针对带车牌的车辆，对于农用车等无牌车，则标记该分析图像并进行标记保存，后续调查情况则直接使用该分析图像作为后期处理事件的依据。

[0056] 较佳的，第二预设距离大于20米。

[0057] 另一较佳的，在同一道路上还可连续设置多个警示设备，即使行车人员在经过第一个警示设备时没有注意，也可以通过后面的一个或多个警示设备来获取消息，防止警示消息的传达漏洞。

[0058] 多个警示设备等距设置，也可以越靠近目标路口或目标弯道设置的越密集。例如对于同一个十字路口，设置三个警示设备，最靠近十字路口的警示设备与第二靠近的警示设备之间的距离小于第二靠近的警示设备与最后一个警示设备之间的距离。

[0059] 更佳的，还可以将越靠近目标路口或目标弯道的警示设备的显示范围设的更大。

[0060] 本发明基于农村交通中最常发生交通事故的弯道和路口场景，设计和优化检测方法，检测精度高，能准确、实时地对农村道路中复杂路段进行路况信息提取，并展示给路段上的驾驶员，降低交通事故发生率。

[0061] 本发明还公开了一种位于交通路口及弯道的检测预警系统，包括：

[0062] ‑摄像模块，摄像模块提供实时视频和照片抓拍；

[0063] ‑处理模块，处理模块对输入的视频和照片进行实时去雾处理和目标物检测，得到检测结果；

[0064] ‑警示模块，警示模块展示提取到的检测结果，为驾驶员提供实时的路况信息。

[0065] 具体的，通过摄像模块在距离目标路口或目标弯道第一预设距离处连续采集原始图像，摄像模块设于目标路口的入口处、或设于目标弯道的外侧。再通过处理模块内的基于条件生成对抗网络的去雾算法对原始图像进行去雾处理，获得无雾图像；并通过处理模块内的图像检测网络检测无雾图像中车辆和行人；当检测到目标物，则将该目标物和该目标物距离路口或弯道的距离通过警示模块进行显示；警示模块设于距离目标路口或目标弯道第二预设距离处，且位于目标弯道的内侧。

[0066] 较佳的，摄像模块包括设有云台的摄像头，可以保证更广的摄像范围。警示模块包括设有灯具和扩音器的大屏显示器，通过视觉警示和声音警示提示来往行车。

[0067] 对于一种更加的，在同一道路上连续设置多个警示设备，多个警示设备等距设置，也可以越靠近目标路口或目标弯道设置的越密集。还可以将越靠近目标路口或目标弯道的警示设备的显示范围设的更大，即越靠近目标路口或目标弯道，灯具形成的警示语更加大，且扩音播放声音更加大。

[0068] 应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。