一种基于深度学习的能见度检测方法

摘要

本发明涉及一种基于深度学习的能见度检测方法，包括图像训练部分和能见度检测部分：图像训练部分：输入已标记好能见度的图像，对所述图像进行尺度变换以获得三种不同尺度的图像，并分别输入三个深度卷积网络中，以能见度值作为目标函数进行训练，当训练误差收敛后，保存训练好的深度卷积网络；能见度检测部分：对图像进行多尺度变换，获得三种不同尺度的图像，将三种不同尺度的图像分别输入到三个训练好的深度卷积网络中并提取特征向量，将三个特征向量加权相加获得总的特征向量，根据总的特征向量利用softmax函数进行分类，最终输出能见度值。本发明针对不同天气情况，能根据拍摄的图像检测其对应的能见度，无需人工辅助手段，检测的准确率高且速度快。

权利要求

1.一种基于深度学习的能见度检测方法，其特征在于：实现步骤包括图像训练部分S1和能见度检测部分S2：图像训练部分S1的步骤如下：

步骤S11：将训练集中的图像按照能见度由高到低分为9个类，能见度最高的图片标签为0，能见度最低的图片标签为8；

步骤S12：对图像进行尺度变换获得三种不同尺度的图像作为深度卷积网络的输入图像；

步骤S13：将三种不同尺度的图像分别输入三个深度卷积网络中提取能见度图像的特征，每个深度卷积网络提取9维的特征向量，然后将三个特征向量加权相加成为9维的输出特征向量，三个特征向量的权重在深度卷积网络中训练；

步骤S14：将上述特征向量输入softmax函数，以能见度值作为目标函数，对深度卷积网络进行分类训练；

步骤S15：若训练误差未收敛，则继续训练深度卷积网络，直到训练误差收敛后，保存网络，作为检测能见度所用的最终网络；

能见度检测部分S2的步骤如下：

步骤S21：输入图像；

步骤S22：对图像进行尺度变换以获得三种不同尺度的图像；

步骤S23：将三种不同尺度的图像分别输入到步骤S1中三个训练好的深度卷积网络中，提取对应的能见度特征向量，并将特征向量加权相加，得到总的能见度特征向量；

步骤S24：将特征向量输入softmax函数中，计算每一类能见度的概率；

步骤S25：输出概率最大的能见度值。

2.根据权利要求1所述的基于深度学习的能见度检测方法，其特征在于：所述步骤S12和S22中，对图像进行尺度变换时，先对原始的输入图像进行尺寸缩放分别获得三种不同尺度的图像大小，分别为640*480，320*240，160*120，然后分别对缩放后的图像进行高斯平滑滤波获得尺度变换后的图像。

3.根据权利要求1所述的基于深度学习的能见度检测方法，其特征在于：所述步骤S13和S23中深度卷积网络由三层卷积层、三层池化层和两层全连接层组成，网络的输入/输出为三元数组，第一个数字代表特征图数量，第二三个数字代表特征图大小，对于不同尺度的图像其特征图大小作相应的调整。

4.根据权利要求1所述的基于深度学习的能见度检测方法，其特征在于：所述步骤S14和S24中的softmax函数为：其中，Pi(I)表示图像I属于第i类的概率，xj(I)表示图像I的能见度特征向量的第j维。

5.根据权利要求1所述的基于深度学习的能见度检测方法，其特征在于：步骤S25中，最终输出的能见度值取概率最大的类别值，即：其中，V是输出的能见度值，Pi(I)表示输入图像I属于第i类能见度的概率。

说明书

一种基于深度学习的能见度检测方法

技术领域

[0001] 本发明涉及一种基于深度学习的能见度检测方法，属于大气水平能见度技术领域。

背景技术

[0002] 大气水平能见度是气象观测的常规项目，它是表征大气透明程度的一个重要的物理量。大气能见度的概念最早来源于气象部门，在气象部门中称为气象能见度。近几年来，雾霾在我国各大城市愈演愈烈，部分地方甚至全年大部分时间都笼罩在雾霾下。雾霾较大时，能见度降低，会严重影响交通运输，给人们的出行造成困扰。

[0003] 由于大气能见度与人们的日常生活密切相关，与大气低能见度相伴随的恶劣天气往往会导致交通事故，妨碍海陆空交通运输，造成人们的生命和财产损失，因此对大气能见度检测的研究受到广泛关注。

[0004] 探测大气能见度最常用的是仪器测量。目前探测大气能见度的仪器按探测原理可分为透射式能见度仪和散射式能见度仪2大类，其中透射式大气能见度仪和散射式大气能见度仪中的前向散射仪应用最为广泛。由于常用的能见度仪器成本较高，价格昂贵，使用和安装都很复杂，因此，最近几十年，随着计算机技术和数字摄像技术的发展，用数字摄像法测量大气能见度的研究受到广泛地研究。

[0005] 文章[1]提出了采用双亮度差法来测量大气能见度，通过用照相机拍摄距离不同的两个黑色目标物，然后设法从图片中求得目标物与背景的相对亮度比，并以此来推算大气能见度值。此法测量能见度有较高的准确率，但是操作复杂，需要人工辅助放置目标物。

[0006] 文章[2]研究了一种利用内置车载外传感器来测量大气能见度的行车辅助系统，并且应用晴天及雾天拍摄的视频序列检测气象能见度，并可以检测出障碍物及大雾。这种方法适用场景有限且测量的范围较短(几百米以内)，仅适用于指导汽车驾驶。

[0007] 文章[3]提出采用机器学习的方法预测拍摄图像的大气消光系数，进而评估其能见度情况，他们首先利用暗原色先验理论和卷积神经网络分别计算图像的透射率和深度图，然后以透射率和深度为输入参数学习对应的能见度，由于精度较低，他们仅将能见度简单分为三个等级：clear，light，heavy，显然这种评估结果比较粗糙。

[0008] 文章[4]提出了一种无需人工标记的能见度检测方法，此法通过分析车道分割线来提取兴趣域以确保目标像素的高度一致，对比各像素与其四邻的对比度并将其最大值与给定阈值比较获得符合人眼可辨的像素，结合摄像机标定计算距离最远的可视像素并经kalman滤波去除干扰，最终得到能见度值，此系统充分利用已有的系统、路况图像，成本低、稳定性及精度较高，且实现了自动检测，但是其应用场景有限，只能适用于道路能见度检测，且摄像机位置需固定，无法适用于多变的场景下能见度检测。

[0009] 专利[5]提出了一种基于机器学习的方法来检测图像的能见度，根据暗通道先验原理求取图像的透射率，然后将透射率与光照图输入到神经网络中便可以预测当前天气的能见度情况，此法鲁棒性高，操作简单，易于移植到车载设备上进行能见度报警，但由于需要同时采集图像与对应场景的光照图，因此设备复杂，计算量较大。

[0010] 专利[6]提出了一种基于图像学习的方法来检测能见度，其通过提取图像特定的感兴趣区域的对比度作为训练数据，以此来拟合其对应的能见度，此法快捷方便，易于推广，但是其需要提取图像中特定的目标物，因此需要目标物轮廓清晰，且天气变化不是很剧烈，其使用条件有一定的限制。

[0011] 综上所述，目前的能见度检测方法的应用场景有限，只能适用于某一个特定的场景，或者需要人工辅助来检测大气能见度情况，自动化程度不高，实际应用中会受到诸多限制。

[0012] [1]吕伟涛，陶善昌，刘亦风，等.基于数字摄像技术测量气象能见度——双亮度差方法和试验研究[J].大气科学，2004，28(4):559-570.

[0013] [2]Hautière N,Labayrade R,Aubert D.Real-time disparity contrast combination for onboard estimation of the visibility distance[J].IEEE Transactions on Intelligent Transportation Systems,2006,7(2):201-212.[0014] [3]Li Y,Huang J,Luo J.Using user generated online photos to estimate and monitor air pollution in major cities[C]//Proceedings of the 7th International Conference on Internet Multimedia Computing and Service.ACM，2015:79.

[0015] [4]李勃，董蓉，陈启美.无需人工标记的视频对比度道路能见度检测[J].计算机辅助设计与图形学学报，2009(11):1575-1582.

[0016] [5]周海芳，刘南辉等 .基于数字摄像的能见度检测方法 .中国，CN106248635A.2016-12-21.

[0017] [6]郝红卫，殷绪成.基于图像学习的能见度测量方法.中国，CN102509102A.2012-6-20.

发明内容

[0018] 本发明技术解决问题：克服现有技术的不足，提供一种基于深度学习的能见度检测方法，针对不同天气情况，能根据拍摄的图像检测其对应的能见度，无需人工辅助手段，检测的准确率高且速度快。

[0019] 本发明技术方案分为两个部分：第一个部分是图像训练S1；第二个部分是能见度预测部分S2。

[0020] 所述图像训练部分S1的步骤如下：

[0021] 步骤S11：首先将训练集中的图像按照能见度由高到低分为9个类，能见度最高的图片标签为0，能见度最低的图片标签为8；

[0022] 步骤S12：对图像进行尺度变换获得三种不同尺度的图像作为输入图像，其大小分别为640*480，320*240，160*120；

[0023] 步骤S13：将三种尺度的图像分别输入三个深度卷积网络中提取能见度特征，网络结构如图3所示。每个网络提取9维的特征向量，然后将三个特征向量加权相加成为9维的输出特征向量，其权重需在网络中训练；

[0024] 步骤S14：将上述特征向量输入softmax函数，以能见度值作为目标函数，对深度卷积网络进行分类训练；

[0025] 步骤S15：若训练误差未收敛，则继续训练模型，直到训练误差收敛后，保存模型，作为检测能见度所用的最终模型；

[0026] 所述能见度预测部分S2的步骤为：

[0027] 步骤S21：输入图像，

[0028] 步骤S22：对图像进行尺度变换以获得三种不同尺度的图像，其大小分别为640*480，320*240，160*120；

[0029] 步骤S23：将三种尺度的图像分别输入对应的深度卷积网络模型中，提取对应的能见度特征向量，并将特征向量加权相加，得到总的能见度特征向量；

[0030] 步骤S24：将能见度特征输入softmax分类函数中，计算每一类能见度值的概率；

[0031] 步骤S25：输出概率最大的能见度值；

[0032] 上述步骤S12与S22中，对图像进行尺度变换时，先对原始的输入图像进行尺寸缩放分别获得640*480，320*240，160*120三种大小的图像，然后分别对缩放后的图像进行高斯平滑滤波。

[0033] 上述步骤S13与S23中提取图像特征所使用的深度卷积网络结构如图3所示，该卷积网络由三层卷积层，三层池化层和两层全连接层组成。其输入尺寸为三元数组，第一个数字代表特征图数量，第二三个数字代表特征图大小，对于不同尺度的图像其大小做相应的调整，例如对于640*480的RGB三通道图，其输入为3*640*480。

[0034] 上述步骤S14与S24中的softmax函数为：

[0035]

[0036] 其中，Pi(I)表示图像I属于第i类的概率，xj(I)表示图像I的能见度特征向量的第j维。

[0037] 上述步骤S25中，最终输出的能见度值取概率最大的类别值，即：

[0038]

[0039] 其中，V是输出的能见度值，Pi(I)表示图像I属于第i类的概率。

[0040] 本发明的原理在于：

[0041] 本发明根据拍摄的图片，利用深度学习方法预测当前天气的能见度指标。由于深度卷积网络能够有效提取图像特征，具有较高的鲁棒性，因此本发明构造了三层卷积网络提取图像特征，第一、二层网络能够提取图像的底层特征(如角点、边缘等)，第三层卷积层可提取图像的全局信息，在卷积层之间分别加入了三层最大值池化层，可以有效的去除噪声的影响，提高模型的鲁棒性，最后两层全连接层提取特征向量，便于进行能见度值的分类。

[0042] 为了提高模型的特征提取能力，提高其泛化性能，本发明提出了采用多尺度特征提取方法，将输入图像进行三个尺度的变换，对不同尺度下的图像进行特征提取，有利于网络学习到能见度特征，提高学习能力。

[0043] 本发明与现有技术相比的优点在于：

[0044] (1)自动检测能见度，无需辅助措施

[0045] 传统的基于数字摄像技术的能见度检测方法需要人工辅助(例如需要特定的人工标志物)或是存在应用条件限制，因此实际的应用范围有限，一般都是针对某一特定场景的能见度检测(如道路能见度检测)。本发明提出使用深度卷积网络训练能见度图像，并设计了专门用于能见度检测的深度卷积网络，训练好的网络可以对各种天气情况下的图像进行能见度检测，无需依赖其他人工辅助条件，鲁棒性高，具有很高的实用价值。

[0046] (2)检测准确度高

[0047] 本发明提出了多尺度特征提取方法，对每一张图像提取其三个尺度下的特征，有利于提高网络模型的泛化性能和检测的准确度，鲁棒性高。可以对不同角度、场景下拍摄的图像进行能见度检测，相比于传统的能见度检测方法具有更高的实用范围。

[0048] (3)检测速度快

[0049] 本发明提出的直接对采集的图像采用神经网络进行预测能见度，无需提取图像的特征点或计算局部对比度等额外操作，相比传统的能见度检测方法更加简单有效，极大地加快了能见度检测的速度，检测一张800万像素的图像耗时仅为513ms。

附图说明

[0050] 图1为本发明方法实现流图；

[0051] 图2为本发明的能见度检测模型；

[0052] 图3为本发明的深度卷积网络结构(输入图像大小640*480)。

具体实施方式

[0053] 下面结合附图及实施例对本发明进行详细说明。

[0054] 如图1所示，本发明流程包含两个部分：图像训练部分S1为：输入已标记好能见度的图像，对所述图像进行尺度变换以获得三种不同尺度的图像，将三种不同尺度的图像分别输入三个深度卷积网络中，以能见度值作为目标函数进行训练，当训练误差收敛后，保存训练好的深度卷积网络作为最终的网络；

[0055] 能见度检测部分S2为：输入图像，对图像进行多尺度变换，获得三种不同尺度的图像，将三种不同尺度的图像分别输入到步骤S1中三个训练好的深度卷积网络中并提取特征向量，然后将三个特征向量加权相加获得总的特征向量，根据总的特征向量利用softmax函数进行分类，最终输出能见度值。

[0056] 图像训练部分S1的具体步骤如下：

[0057] 步骤S11：输入图像及其对应的能见度值

[0058] 由于在深度学习中，训练的数据集对深度网络预测的准确率有很大的影响，因此获得一个好的数据集至关重要。本发明建议拍摄尽可能多的图像，并且需要包含各个场景，每个场景下都需拍摄能见度从低到高对应的图像作为训练所用的图像。在拍摄图像时，可依据当时天气情况对拍摄的图像进行能见度标记，可将其能见度标记为从低到高分为9个等级(0～8)。训练深度卷积网络时，输入图像及其对应的能见度值，将能见度值作为网络的目标函数。

[0059] 步骤S12：多尺度变换图像，获得三种不同尺度下的图像

[0060] 使用单一尺度的图像提取特征不利于提高网络的泛化能力，本发明提出了多尺度特征提取的方法来改善这一能力(步骤S12与步骤S22操作一样)，对图像的大小进行缩放然后进行高斯平滑滤波可得到尺度变换后的图像，不同的图像缩放大小对应了不同尺度的图像。本发明综合考虑能见度检测的精度与速度，采用了三种尺度的图像，其大小分别是640*480，320*240和160*120，既能保证提取到足够多的能见度信息，又能避免因图像过大而计算量大增。

[0061] 步骤S13：将三种尺度图像分别输入深度卷积网络中进行多次迭代训练[0062] 本发明采用的深度网络结构如图3所示的深度卷积网络，该网络由三层卷积层、三层最大值池化层和两层全连接层组成。在图3中共有5列数据项，‘层名称’列是每一层网络的名字；‘操作’列是对该层网络所进行的操作，包括输入输出、卷积和最大值池化等操作，其中最大值池化就是最大值滤波；‘核大小’列是对该层网络进行卷积操作的卷积核大小，以及进行池化操作的池化核的大小等；最后的‘输出尺寸’列是该层网络输出的数据大小，采用三元数组表示，第一个数字代表特征图数量，第二三个数字代表特征图大小，对于不同尺度的图像其特征图大小需做相应的调整，例如将640*480的RGB三通道图作为输入图像，则其输入层的输出尺寸应为3*640*480(即图3所示)，对于尺度为320*240与160*120大小的输入图像，其网络的输入层需做相应调整，分别为3*320*240和3*160*120。

[0063] 本发明提出的深度卷积网络中，前两层卷积层可以提取图像的底层信息(如角点、边缘等)，第三层卷积层可提取图像的全局信息，利于对图像的能见度进行特征表示。最大值池化层可以有效的剔除噪声的影响，提高模型的泛化性能。全连接层将提取的能见度特征表示为向量形式，有利于进行能见度分类，最后预测能见度值采用逻辑回归函数计算每一类的概率。

[0064] 在训练网络时，将三种尺度的图像分别输入三个深度卷积网络中提取能见度特征，每个网络提取9维的特征向量，然后将三个特征向量加权相加成为9维的输出特征向量，输入softmax函数进行分类训练，训练网络的流程如图2所示。当训练误差收敛后，保存此时的网络，作为检测能见度所用的最终网络。

[0065] 步骤S14：测试模型的误差是否收敛，若不收敛则返回步骤3继续训练，若收敛则进行步骤S15

[0066] 取数据集中的一部分为测试集，当训练达到一定次数后(如300次)，使用网络验证能见度预测的误差，若误差收敛则说明该网络学习能见度特征的能力已经到最佳，反之则说明网络的学习能力还可以继续提高，需继续训练。

[0067] 步骤S15：保存模型为最终模型，以备能见度检测所用

[0068] 训练网络达到收敛后说明其学习程度已经达到最佳，继续学习也无法继续提高其检测能力，因此可以将此时的网络参数保存，作为能见度检测所用的最终网络。

[0069] 能见度检测部分S2的步骤如下：

[0070] 步骤S21：输入图像

[0071] 本发明提出的深度卷积网络预测能见度的方法具有很高的鲁棒性，可以适用于各个场景下大气能见度的检测，在检测能见度时，可以直接使用数字摄像机拍摄照片进行能见度预测。本发明对所拍的图像大小与角度等没有限制，任意角度和任意场景均可自动检测。

[0072] 步骤S22：多尺度变换图像，获得三种不同尺度下的图像

[0073] 与前述步骤S12一样，将原始的输入图像进行尺度变换，获得三种尺度下的图像，图像的大小分别是640*480，320*240和160*120。

[0074] 步骤S23：使用卷积网络提取不同尺度图像的特征，并将其加权相加为总的特征向量

[0075] 使用图像训练部分中最终训练好的网络分别提取三种尺度下图像的能见度特征，并将这三个特征加权相加获得总的特征向量。提取多个尺度下的特征的方法可以提高特征提取的全面性与独特性，避免提取到干扰特征，可以提高网络的抗干扰能力，检测能见度的准确度大大提高。

[0076] 步骤S24：将特征向量输入softmax函数，计算每一类能见度的概率[0077] 此处的softmax函数可根据特征向量计算每一类能见度值的概率，函数的公式为：

[0078]

[0079] 其中，Pi(I)表示图像I属于第i类的概率，xj(I)表示图像I的能见度特征向量的第j维。

[0080] 步骤S25：输出能见度值。

[0081] 最终输出的能见度值则取概率最大的类别值，即：

[0082]

[0083] 其中，V是最终输出的能见度值，Pi(I)表示图像I属于第i类的概率。

[0084] 由于本发明所述的能见度等级为由低到高的0～8共9个等级，相邻两个等级能见度非常类似，因此在实际应用中，若预测值与真实能见度值相差为1以内皆可以认为预测准确，经过大量的各类场景图像测试，本发明的能见度预测准确率可以达到100％，具有较高的实用价值。

[0085] 提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。