本发明公开了一种基于混合颜色模型与神经网络的火灾图像检测方法。本发明方法首先对监控视频图像进行帧间差分法获得运动前景区域；接着通过混合颜色模型提取符合火焰颜色特征的区域，同时进行二次颜色区域扩展得到颜色模型过滤出的候选区域；将运动前景区域与颜色候选区域取并集得到疑似火焰区域；最后，构建密集连接卷积神经网络，通过训练好的网络模型与二次混合颜色模型综合判断疑似火焰区域是否出现火情。本发明方法通过运动检测和混合颜色模型获得了精度较高的火焰候选区域，检测速度快，深度神经网络则保证了火焰检测准确率以及泛化能力，可以广泛部署于实际的智能安防系统中，预警火情减少火灾带来的损失。
1.一种基于混合颜色模型与神经网络的火灾图像检测方法，其特征在于，该方法的具体步骤如下：步骤(1).利用帧间差分法获得监控视频帧的运动前景目标：
(1-1).通过对比视频中前后两帧图像的差异度，来识别是否存在运动物体，运动前景的前景掩膜的表达式为：其中，fmask(x,y)为前后帧图像的差分图像，即运动前景掩膜，255表示将运动目标在灰度图上设置为白色，0代表非运动区域设置为黑色，It和It-1分别表示原图像在t和t-1时刻的图像，T表示设定的阈值，即当差分出来的图像中非0点个数大于T时，则获取运动区域将差分图像二值化，二值化后的白色区域即表示运动区域；
(1-2).取得前景后，对其进行形态学操作以过滤细微抖动带来的噪声；
(1-3).将每n帧的前景掩膜累加，构成一个融合n帧运动信息的掩膜；
步骤(2).每隔n帧对图像采用混合颜色模型提取火焰的候选区域：(2-1).每n帧进行混合颜色模型提取火焰候选区域；将源监控视频RGB图像生成备份，并转换成HSV颜色空间，对两个颜色空间添加相应颜色模型约束，获取初步颜色候选区域，得到疑似火焰区域对应的颜色掩膜cmask，具体约束条件如下：Hmin＜H＜Hmax，
(S1min＜S＜S1max)∪(S2min＜S＜S2max)，Vmin＜V＜Vmax，
(abs(R-G)＞T1)∪(abs(G-B)＞T2)，
其中H、S、V分别为像素的色调、饱和度、明度，R、G、B分别为像素的红色、绿色、蓝色分量，Hmin和Hmax为色调分量的区间阈值，S1min和S1max为饱和度分量的一组区间阈值，S2min和S2max为饱和度分量的另一组区间阈值，Vmin和Vmax是明度的区间阈值，RT为红色分量阈值，ST为饱和度自适应阈值，T1和T2为RGB空间经验阈值；
(2-2).对颜色掩膜cmask进行二次区域扩展，补全疑似火焰区域的中心空洞：首先将源监控图像分成10×10等尺寸区域，统计每个区域的掩膜像素平均明度VA：然后获取每个区域的扩展颜色掩膜，当区域内像素的明度大于VA时，将该像素加入扩展颜色掩膜csup：最终的颜色掩膜cmask为：cmask＝cmask∪c sup；
步骤(3).通过运动前景区域fmask与颜色候选区域最终的颜色掩膜cmask得到候选火焰区域：将得到颜色候选区域最终的颜色掩膜cmask与运动前景区域fmask进行对比得到火焰候选区域掩膜Mask：Mask＝fmask∩cmask；
对火焰候选区域掩膜Mask进行形态学操作，并获取其最小外接矩形，从源监控图像中截取出来构成候选火焰图像集Frpn；
步骤(4).准备训练神经网络所需的训练图片集以及测试图片集：准备的训练数据包括带火焰图像的正样本和非火焰图像的负样本；正样本的构成包括人工截取的火焰图像和通过步骤(3)获取的视频帧图像共同构成；通过设置在路口和室内的监控，获取真实应用场景下的视频，将不存在火焰的视频帧构成负样本；
步骤(5).通过密集连接卷积神经网络对候选火焰图像进行分类：(5-1).构建密集连接卷积神经网络：
密集连接卷积神经网络是一种深度神经网络；网络层数共有121层，包括前置的1个卷积层和最大池化操作，接着交替进行4个密集连接块与3个过渡层的操作，后进行全局平均池化，最后接1层全连接层与激活函数softmax进行分类操作；
优化器设置为随机梯度下降，并在每m次迭代后学习率衰减0.1，保存训练的网络以及最优参数；
(5-3).对将步骤(3)获取的Frpn图像进行分类：将Frpn中每张图像输入到网络中，计算类别以及类别概率，若分类结果为火焰且类别概率大于类别阈值c，则保存该图像在源监控视频帧中的空间位置信息(x,y,w,h)；x、y为该图像的原点在源视频帧中的坐标，w、h为该图像的宽和高；保存下来的图像集标为Fc；
步骤(6).对Fc进行二次混合颜色判断：将Fc中的图像再一次重复步骤(3)，计算火焰候选区域掩模内的像素占该区域图像总像素值的百分比，若百分比高于阈值则认定该图像中确实出现火焰，在源视频帧中将该区域所在位置用矩形框框选出来报警。
2.如权利要求1所述的一种基于混合颜色模型与神经网络的火灾图像检测方法，其特征在于：步骤(4)中所述的正样本的数量大于10000张。
3.如权利要求1所述的一种基于混合颜色模型与神经网络的火灾图像检测方法，其特征在于：步骤(4)中正负样本张数比例为1:0.8～1.2。
4.如权利要求1所述的一种基于混合颜色模型与神经网络的火灾图像检测方法，其特征在于：步骤(5)中m＜10。
5.如权利要求1所述的一种基于混合颜色模型与神经网络的火灾图像检测方法，其特征在于：步骤(5)所述的密集连接卷积神经网络具体网络构成如下：将训练集中的图像大小固定为224×224尺寸，作为输入层；
第1层为卷积层，卷积核大小3×3，步长为2；进行批归一化后，采用Relu函数激活，最后进行最大池化操作，核函数大小为3×3，步长为2；最大池化将特征图不重叠地分割成多个同样大小的小块，每个小块只取最大的数字，舍弃小块中其他节点，保持原有的平面结构，起到降采样的作用；
第2层到第13层为第一个密集连接块，该密集连接块由6个卷积结构组成，每个卷积结构由批归一化加上Relu激活函数再加上卷积核大小为1×1，步长为1的卷积层，接上一组批归一化加上Relu激活函数加上卷积核大小为3×3，步长为1的卷积层的复合结构构成；每个卷积结构的输入由之前所有卷积结构的输出组合而成；
第14层为过渡层，由批归一化操作、Relu激活函数以及1个卷积核大小1×1，步长为1的卷积层构成，然后进行平均池化操作，核函数大小为2×2，步长为2；
第15层到第38层为第二个密集连接块，该密集连接块由12个卷积结构组成；第39层为过渡层；
第40层到第87层为第三个密集连接块，该密集连接块由24个卷积结构组成；
第89层到第120层为第四个密集连接块，该密集连接块由16个卷积结构组成；
第121层为全连接层，先进行2维自适应平均池化，核函数大小为1×1，即将之前的特征张量转换成全连接层所需的一维神经元；然后进行一层全连接层操作，输出的神经元个数为分类器类别的个数2，即火焰或非火焰；最后进行softmax操作，获得类别概率。
6.如权利要求5所述的一种基于混合颜色模型与神经网络的火灾图像检测方法，其特征在于：在所述的每个密集连接块之间添加了drop out操作来增加模型的泛化能力。
一种基于混合颜色模型与神经网络的火灾图像检测方法
技术领域
[0001] 本发明属于图像处理和目标检测技术领域，具体涉及一种基于混合颜色模型与神经网络的火灾图像检测方法。
背景技术
[0002] 现代社会中，火灾事故的频发威胁了人们的生命财产安全，如何实时准确的检测到火灾的发生一直是智能监控安防工程关注的重点领域，也是图像识别领域的一个重要课题。随着计算机视觉技术的不断进步，对于火灾这一具有显著视觉信息的灾害事故，通过监控视频实时检测到火灾的发生已成为可能。
[0003] 现有的火灾检测技术分为传统火灾识别传感器检测以及基于视频图像的火灾检测，其中传统火灾探测器有感光器型探测器、气体型探测器、感温型传感器以及感烟型传感器，他们大多利用火灾发生时的物理变化特性来识别是否出现火焰，但其都或多或少存在检测范围小、易受外界干扰、检测速度慢等缺点，尤其是检测范围的限制导致其只能部署在狭小室内，无法覆盖大片区域。而基于视频图像的火灾检测又分为基于颜色、形态等人工定义特征的方法与基于深度学习目标检测的方法，对于利用人工选定特征的火灾检测方法，其优点是检测速度快，但由于其特征不完善存在易误检、泛化能力差等缺点，对于颜色或形态相近的物体难以与火焰严格区分。随着深度学习技术的不断发展，采用卷积神经网络检测火焰的方法在检测精度方面得到了较大的提升，卷积神经网络通过已有标签的训练图像，在迭代学习的过程中自动获得火焰的图像的特征，且合理利用正则化和drop out方法，神经网络的提取特征的泛化能力大大优于手工提取的特征。但对于火灾检测工程而言，难以获得大型目标检测网络所需的带标签的训练样本，且由于这些算法的运算量很大，难以保证可以在监控环境下进行实时检测。
发明内容
[0004] 本发明的目的是针对现有技术不能很好的应用于实际工程中，提供一种基于混合颜色模型与神经网络的火灾图像检测方法，混合颜色模型能快速的识别出并精确定位可能存在火焰的区域，过滤视频帧中大量非火焰信息，在通过卷积神经网络精确地判断出是否出现火灾。
[0005] 本发明方法的具体步骤如下：
[0006] 步骤(1).利用帧间差分法获得监控视频帧的运动前景目标：
[0007] (1-1).通过对比视频中前后两帧图像的差异度，来识别是否存在运动物体，运动前景的前景掩膜的表达式为：
[0008]
[0009] 其中，fmask(x,y)为前后帧图像的差分图像，即运动前景掩膜，255表示将运动目标在灰度图上设置为白色，0代表非运动区域设置为黑色，It和It-1分别表示原图像在t和t-1时刻的图像，T表示设定的阈值，即当差分出来的图像中非0点个数大于T时，则获取运动区域将差分图像二值化，二值化后的白色区域即表示运动区域；
[0010] (1-2).取得前景后，对其进行形态学操作以过滤细微抖动带来的噪声；
[0011] (1-3).将每n帧的前景掩膜累加，构成一个融合n帧运动信息的掩膜。
[0012] 步骤(2).每隔n帧对图像采用混合颜色模型提取火焰的候选区域：
[0013] (2-1).为了实现监控视频实时检测的功能，加快程序运行效率，每n帧进行混合颜色模型提取火焰候选区域；将源监控视频RGB图像生成备份，并转换成HSV颜色空间，对两个颜色空间添加相应颜色模型约束，获取初步颜色候选区域，得到疑似火焰区域对应的颜色掩膜cmask，具体约束条件如下：
[0014] Hmin＜H＜Hmax，
[0015] (S1min＜S＜S1max)∪(S2min＜S＜S2max)，
[0016] Vmin＜V＜Vmax，
[0017] R＞RT，
[0018] R≥G＞B，
[0019] S≥((255-R)×ST/RT)，
[0020] (abs(R-G)＞T1)∪(abs(G-B)＞T2)，
[0021] abs(R-B)+abs(G-B)＞15；
[0022] 其中H、S、V分别为像素的色调、饱和度、明度，R、G、B分别为像素的红色、绿色、蓝色分量，Hmin和Hmax为色调分量的区间阈值，S1min和S1max为饱和度分量的一组区间阈值，S2min和S2max为饱和度分量的另一组区间阈值，Vmin和Vmax是明度的区间阈值，RT为红色分量阈值，ST为饱和度自适应阈值，T1和T2为RGB空间经验阈值；
[0023] (2-2).对颜色掩膜cmask进行二次区域扩展，补全疑似火焰区域的中心空洞：
[0024] 首先将源监控图像分成10×10等尺寸区域，统计每个区域的掩膜像素平均明度VA：
[0025]
[0026] 然后获取每个区域的扩展颜色掩膜，当区域内像素的明度大于VA时，将该像素加入扩展颜色掩膜csup：
[0027] 最终的颜色掩膜cmask为：cmask＝cmask∪c sup。
[0028] 步骤(3).通过运动前景区域fmask与颜色候选区域最终的颜色掩膜cmask得到候选火焰区域：
[0029] 将得到颜色候选区域最终的颜色掩膜cmask与运动前景区域fmask进行对比得到火焰候选区域掩膜Mask：Mask＝fmask∩cmask；
[0030] 对火焰候选区域掩膜Mask进行形态学操作，并获取其最小外接矩形，从源监控图像中截取出来构成候选火焰图像集Frpn。
[0031] 步骤(4).准备训练神经网络所需的训练图片集以及测试图片集：
[0032] 准备的训练数据包括带火焰图像的正样本和非火焰图像的负样本；正样本的构成包括人工截取的火焰图像和通过步骤(3)获取的视频帧图像共同构成，数量大于10000张；通过设置在路口和室内的监控，获取真实应用场景下的视频，将不存在火焰的视频帧构成负样本；正负样本张数比例为1:0.8～1.2。
[0033] 步骤(5).通过密集连接卷积神经网络对候选火焰图像进行分类：
[0034] (5-1).构建密集连接卷积神经网络：
[0035] 密集连接卷积神经网络是一种深度神经网络。网络层数共有121层，包括前置的1个卷积层和最大池化操作，接着交替进行4个密集连接块与3个过渡层的操作，后进行全局平均池化，最后接1层全连接层与激活函数softmax进行分类操作，具体网络构成如下：
[0036] 将训练集中的图像大小固定为224×224尺寸，作为输入层。
[0037] 第1层为卷积层，卷积核大小3×3，步长为2；进行批归一化后，采用Relu函数激活，最后进行最大池化操作，核函数大小为3×3，步长为2；最大池化将特征图不重叠地分割成多个同样大小的小块，每个小块只取最大的数字，舍弃小块中其他节点，保持原有的平面结构，起到降采样的作用；
[0038] 第2层到第13层为第一个密集连接块，该密集连接块由6个卷积结构组成，每个卷积结构由批归一化加上Relu激活函数再加上卷积核大小为1×1，步长为1的卷积层，接上一组批归一化加上Relu激活函数加上卷积核大小为3×3，步长为1的卷积层的复合结构构成；由于采用密集连接的方式，每个卷积结构的输入由之前所有卷积结构的输出组合而成；
[0039] 第14层为过渡层，由批归一化操作、Relu激活函数以及1个卷积核大小1×1，步长为1的卷积层构成，然后进行平均池化操作，核函数大小为2×2，步长为2；
[0040] 第15层到第38层为第二个密集连接块，该密集连接块由12个卷积结构组成。第39层为过渡层；
[0041] 第40层到第87层为第三个密集连接块，该密集连接块由24个卷积结构组成；
[0042] 第88层为过渡层；
[0043] 第89层到第120层为第四个密集连接块，该密集连接块由16个卷积结构组成；
[0044] 第121层为全连接层，先进行2维自适应平均池化，核函数大小为1×1，即将之前的特征张量转换成全连接层所需的一维神经元；然后进行一层全连接层操作，输出的神经元个数为分类器类别的个数2，即火焰或非火焰；最后进行softmax操作，获得类别概率；
[0045] 为了防止过拟合，在每个密集连接块之间添加了drop out操作来增加模型的泛化能力；
[0046] (5-2).通过训练集对网络进行训练：
[0047] 采用的损失函数为交叉熵损失函数：
[0048] 优化器设置为随机梯度下降，并在每m次迭代后学习率衰减0.1，m＜10，保存训练的网络以及最优参数；
[0049] (5-3).对将步骤(3)获取的Frpn图像进行分类：将Frpn中每张图像输入到网络中，计算类别以及类别概率，若分类结果为火焰且类别概率大于类别阈值c，则保存该图像在源监控视频帧中的空间位置信息(x,y,w,h)；x、y为该图像的原点在源视频帧中的坐标，w、h为该图像的宽和高；保存下来的图像集标为Fc。
[0050] 步骤(6).对Fc进行二次混合颜色判断：将Fc中的图像重复步骤(3)，计算火焰候选区域掩模内的像素占该区域图像总像素值的百分比，若百分比高于阈值则认定该图像中确实出现火焰，在源视频帧中将该区域所在位置用矩形框框选出来报警。
[0051] 本发明具有以下有益效果：
[0052] (1)本发明采用运动特征与混合颜色特征结合的候选区域选择机制，能有效的排除大部分监控视频帧非火焰区域，并采用每n帧进行混合颜色模型检查的方法，可以达到实时检测的效果，在720p的监控视频流中可以保持25帧每秒的稳定检测速度。
[0053] (2)本发明采用的混合颜色模型预选疑似火焰区域加明度模型扩展预选区域的操作，使得预选区域掩膜空洞更少，连通程度更好，在计算外包矩形的时能更完整精确地框选处疑似火焰的区域。
[0054] (3)本发明采用的密集连接卷积神经网络层数更深，但在加深层数的情况下因采用了密集连接，参数数量并没有增加，检测速度快且检测精度更高，能在训练数据不充分的情况下训练出更好的权重模型。
[0055] (4)由于深度神经网络分类器能很好的识别出正样本，本发明采用的二次混合颜色模型判断可以在不增加大量时间成本的情况下进一步减少误判。
[0056] (5)通过本发明设计的基于混合颜色模型与神经网络的火灾图像检测方法，可以在如森林、厂房内部、交通枢纽等不同场景下已布置的监控视频流实现火焰检测，在不增加额外的部署成本的同时实现火警智能安防。
附图说明
[0057] 图1是本发明方法的总体流程图。
具体实施方式
[0058] 以下将结合附图和具体实施例对本发明进一步详细说明。
[0059] 参照图1所示的流程图，本发明提出的一种基于混合颜色模型与神经网络的火灾图像检测方法，具体包括以下步骤：
[0060] 步骤(1).利用帧间差分法获得监控视频帧的运动前景目标：
[0061] (1-1).通过对比视频中前后两帧图像的差异度，来识别是否存在运动物体，运动前景的前景掩膜的表达式为：
[0062]
[0063] 其中，fmask(x,y)为前后帧图像的差分图像，即运动前景掩膜，255表示将运动目标在灰度图上设置为白色，0代表非运动区域设置为黑色，It和It-1分别表示原图像在t和t-1时刻的图像，T表示设定的阈值，即当差分出来的图像中非0点个数大于T时，则获取运动区域将差分图像二值化，二值化后的白色区域即表示运动区域；
[0064] (1-2).取得前景后，对其进行形态学操作以过滤细微抖动带来的噪声；
[0065] (1-3).将每n帧的前景掩膜累加，构成一个融合n帧运动信息的掩膜。
[0066] 步骤(2).每隔n帧对图像采用混合颜色模型提取火焰的候选区域：
[0067] (2-1).为了实现监控视频实时检测的功能，加快程序运行效率，每n帧进行混合颜色模型提取火焰候选区域；将源监控视频RGB图像生成备份，并转换成HSV颜色空间，对两个颜色空间添加相应颜色模型约束，获取初步颜色候选区域，得到疑似火焰区域对应的颜色掩膜cmask，具体约束条件如下：
[0068] Hmin＜H＜Hmax，
[0069] (S1min＜S＜S1max)∪(S2min＜S＜S2max)，
[0070] Vmin＜V＜Vmax，
[0071] R＞RT，
[0072] R≥G＞B，
[0073] S≥((255-R)×ST/RT)，
[0074] (abs(R-G)＞T1)∪(abs(G-B)＞T2)，
[0075] abs(R-B)+abs(G-B)＞15；
[0076] 其中H、S、V分别为像素的色调、饱和度、明度，R、G、B分别为像素的红色、绿色、蓝色分量，Hmin和Hmax为色调分量的区间阈值，S1min和S1max为饱和度分量的一组区间阈值，S2min和S2max为饱和度分量的另一组区间阈值，Vmin和Vmax是明度的区间阈值，RT为红色分量阈值，ST为饱和度自适应阈值，T1和T2为RGB空间经验阈值；
[0077] (2-2).对颜色掩膜cmask进行二次区域扩展，补全疑似火焰区域的中心空洞：
[0078] 首先将源监控图像分成10×10等尺寸区域，统计每个区域的掩膜像素平均明度VA：
[0079]
[0080] 然后获取每个区域的扩展颜色掩膜，当区域内像素的明度大于VA时，将该像素加入扩展颜色掩膜csup：
[0081] 最终的颜色掩膜cmask为：cmask＝cmask∪c sup。
[0082] 步骤(3).通过运动前景区域fmask与颜色候选区域最终的颜色掩膜cmask得到候选火焰区域：
[0083] 将得到颜色候选区域最终的颜色掩膜cmask与运动前景区域fmask进行对比得到火焰候选区域掩膜Mask：Mask＝fmask∩cmask；
[0084] 对火焰候选区域掩膜Mask进行形态学操作，并获取其最小外接矩形，从源监控图像中截取出来构成候选火焰图像集Frpn。
[0085] 步骤(4).准备训练神经网络所需的训练图片集以及测试图片集：
[0086] 准备的训练数据包括带火焰图像的正样本和非火焰图像的负样本；正样本的构成包括人工截取的火焰图像和通过步骤(3)获取的视频帧图像共同构成，数量大于10000张；通过设置在路口和室内的监控，获取真实应用场景下的视频，将不存在火焰的视频帧构成负样本；正负样本张数比例大致为1:1。
[0087] (5-1).构建密集连接卷积神经网络：
[0088] 密集连接卷积神经网络是一种深度神经网络。网络层数共有121层，包括前置的1个卷积层和最大池化操作，接着交替进行4个密集连接块与3个过渡层的操作，后进行全局平均池化，最后接1层全连接层与激活函数softmax进行分类操作，具体网络构成如下：
[0089] 将训练集中的图像大小固定为224×224尺寸，作为输入层。
[0090] 第1层为卷积层，卷积核大小3×3，步长为2；进行批归一化后，采用Relu函数激活，最后进行最大池化操作，核函数大小为3×3，步长为2；最大池化将特征图不重叠地分割成多个同样大小的小块，每个小块只取最大的数字，舍弃小块中其他节点，保持原有的平面结构，起到降采样的作用；
[0091] 第2层到第13层为第一个密集连接块，该密集连接块由6个卷积结构组成，每个卷积结构由批归一化加上Relu激活函数再加上卷积核大小为1×1，步长为1的卷积层，接上一组批归一化加上Relu激活函数加上卷积核大小为3×3，步长为1的卷积层的复合结构构成；由于采用密集连接的方式，每个卷积结构的输入由之前所有卷积结构的输出组合而成；
[0092] 第14层为过渡层，由批归一化操作、Relu激活函数以及1个卷积核大小1×1，步长为1的卷积层构成，然后进行平均池化操作，核函数大小为2×2，步长为2；
[0093] 第15层到第38层为第二个密集连接块，该密集连接块由12个卷积结构组成。第39层为过渡层；
[0094] 第40层到第87层为第三个密集连接块，该密集连接块由24个卷积结构组成；
[0095] 第88层为过渡层；
[0096] 第89层到第120层为第四个密集连接块，该密集连接块由16个卷积结构组成；
[0097] 第121层为全连接层，先进行2维自适应平均池化，核函数大小为1×1，即将之前的特征张量转换成全连接层所需的一维神经元；然后进行一层全连接层操作，输出的神经元个数为分类器类别的个数2，即火焰或非火焰；最后进行softmax操作，获得类别概率；
[0098] 为了防止过拟合，在每个密集连接块之间添加了drop out操作来增加模型的泛化能力；
[0099] (5-2).通过训练集对网络进行训练：
[0100] 采用的损失函数为交叉熵损失函数：
[0101] 优化器设置为随机梯度下降，并在每m次迭代后学习率衰减0.1，m＜10，保存训练的网络以及最优参数；
[0102] (5-3).对将步骤(3)获取的Frpn图像进行分类：将Frpn中每张图像输入到网络中，计算类别以及类别概率，若分类结果为火焰且类别概率大于类别阈值c，则保存该图像在源监控视频帧中的空间位置信息(x,y,w,h)；x、y为该图像的原点在源视频帧中的坐标，w、h为该图像的宽和高；保存下来的图像集标为Fc。
[0103] 步骤(6).对Fc进行二次混合颜色判断：将Fc中的图像重复步骤(3)，计算火焰候选区域掩模内的像素占该区域图像总像素值的百分比，若百分比高于阈值则认定该图像中确实出现火焰，在源视频帧中将该区域所在位置用矩形框框选出来报警。
[0104] 以上步骤即为基于混合颜色模型与神经网络的火灾图像检测方法的全过程。
