一种烟雾识别方法及装置、电子设备

摘要

本发明公开了一种烟雾识别方法及装置、电子设备，属于计算机视觉和烟雾检测领域。烟雾识别方法包括获取烟雾视频；计算烟雾视频的相邻帧图像的帧差，得到帧差图像序列；将烟雾视频输入空间支路提取烟雾的空间特征，得到烟雾的空间纹理信息；将帧差图像序列输入时间支路提取烟雾的时间特征，得到相邻帧的烟雾变化信息；空间支路和时间支路并行前向计算，并在前向计算过程中，空间特征与时间特征进行特征交叉融合；将最终交叉融合后的特征信息经过下采样进行压缩，并通过全连接层输出预测结果。所述装置包括对应方法设置的相应模块。所述电子设备能够执行所述方法。本发明能够有效的提高烟雾识别的准确率。

权利要求

1.一种烟雾识别方法，其特征在于，包括：获取烟雾视频；

计算烟雾视频的相邻帧图像的帧差，得到帧差图像序列；

将烟雾视频输入空间支路提取烟雾的空间特征，得到烟雾的空间纹理信息；将帧差图像序列输入时间支路提取烟雾的时间特征，得到相邻帧的烟雾变化信息；空间支路和时间支路并行前向计算，并在前向计算过程中，空间特征与时间特征进行特征交叉融合；

所述空间支路包括N层第一残差块，时间支路包括N层第二残差块，空间支路和时间支路并行前向计算时，每层第一残差块输出的空间特征均与对应层的第二残差块输出的时间特征进行特征交叉融合，并将交叉融合后的空间特征作为下一层第一残差块的输入，将交叉后的时间特征作为下一层第二残差块的输入；

所述空间特征与时间特征进行交叉融合的方法包括：获取空间支路第l层第一残差块计算得到空间特征图获取时间支路第l层第二残差块计算得到时间特征图通过逐元素相加方式进行特征融合，得到交叉融合后的空间特征和时间特征，计算公式为： 其中， 交叉融合后的空间特征， 为交叉融合后的时间特征，1≤l≤N,1≤i≤H,1≤j≤W,1≤c≤C，i,j,c分别代表特征图在长、宽、通道三个维度的索引；

将最终交叉融合后的特征信息经过下采样进行压缩，并通过全连接层输出预测结果。

2.根据权利要求1所述的方法，其特征在于，所述的计算烟雾视频的相邻帧图像的帧差，获得帧差图像的方法包括：

将相邻帧图像作差，计算方式为：其中，ResFramek表示第k时刻的帧差图像，Framek表示第k时刻的RGB输入图像，α为增强系数，β为限幅系数。

3.根据权利要求1所述的方法，其特征在于，第一残差块和第二残差块相同，均为ResNet、ShuffleNet、MobileNet、DenseNet或ResNeXt系列网络的残差块。

4.根据权利要求1所述的方法，其特征在于，空间支路和时间支路的输入数据维度相同。

5.一种烟雾识别装置，其特征在于，包括：视频图像获取单元，用于获取烟雾视频；

帧差计算单元，用于计算烟雾视频的相邻帧图像的帧差，得到帧差序列图像；

第一提取模块，用于将烟雾视频输入空间支路提取烟雾的空间特征，得到烟雾的空间纹理信息；

第二提取模块，将帧差图像输入时间支路提取烟雾的时间特征，得到相邻帧的烟雾变化信息；

交叉融合模块，用于空间支路和时间支路并行前向计算过程中，将空间特征与时间特征进行交叉融合；所述交叉融合模块包括：空间特征获取模块，用于获取空间支路第l层第一残差块计算得到空间特征图时间特征提取模块，用于获取时间支路第l层第二残差块计算得到时间特征图融合计算模块，用于通过逐元素相加方式进行特征融合，得到交叉融合后的空间特征和时间特征，计算公式为： 其中， 交叉融合后的空间特征， 为交叉融合后的时间特征，1≤l≤N,1≤i≤H,1≤j≤W,1≤c≤C，i,j,c分别代表特征图在长、宽、通道三个维度的索引；输出模块，将最终交叉融合后的特征信息经过下采样进行压缩，并通过至少一个全连接层输出预测结果。

6.根据权利要求5所述的装置，其特征在于，所述帧差计算单元通过将相邻帧图像作差得到烟雾视频的相邻帧图像的帧差，计算方式为：其中，ResFramek表示第k时刻的帧差图像，Framek表示第k时刻的RGB输入图像，α为增强系数，β为限幅系数。

7.一种烟雾识别电子设备，其特征在于，包括：处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行权利要求1‑4任一项所述的烟雾识别方法。

说明书

一种烟雾识别方法及装置、电子设备

技术领域

[0001] 本发明属于计算机视觉和烟雾检测领域，具体涉及一种烟雾识别方法及装置、电子设备。

背景技术

[0002] 火灾严重威胁着人类的生命健康和财产安全，大量异常烟雾通常是火灾的早期表现，因此，烟雾探测也是用于大范围火灾监控的有效方法。另外，工业废气排放也会对人类
健康和生态环境造成不利影响。随着深度学习技术的发展，计算视觉技术取得了长足发展，
深度学习技术在目标检测、行为识别、超分辨率等领域取得巨大成功，通过计算机视觉技术
进行火灾和烟雾探测获得了学术界和工业界的广泛关注。基于计算机视觉的烟雾检测技术
既能够帮助人民及早发现早期火灾，也能帮助监管部门取证和监督企业的排放情况。

[0003] 现有技术中，提供了很多烟雾识别的方法，例如，申请号为201310376899.2的中国专利公开了一种森林火灾烟雾识别方法及装置，该专利中使用多通道阈值法和每个像元的
36个光谱通道的反射率或亮温值，识别出烟雾像元和非烟雾像元，并将从36个光谱通道的
反射率或亮温值中获取神经网络分类器的输入特征，使用烟雾像元的烟雾输入特征和非烟
雾像元的非烟雾输入特征对神经网络分类器进行训练，得到烟雾识别分类单元，使用烟雾
识别分类单元能够精确识别出烟雾像元和非烟雾像元。再例如申请号为201810692696.7的
中国专利公开了一种基于多任务深度卷积神经网络的烟雾识别方法，该方法能够通过卷积
神经网络提取出单帧图像的静态特征结合视频相邻帧之间的动态特征进行多任务学习，并
融合了光流信息。

[0004] 然而，烟雾目标不同于一般的刚体目标，其通常没有明显的轮廓和纹理特征，并且外形和颜色也常常受天气、光照等因素影响，即使是人眼在识别烟雾目标时，也常常是通过
结合多帧的视觉运动特征进行推理。而缺乏稳定可靠的烟雾特征描述方式，一直是限制烟
雾识别精度的重要原因，从而导致现有方法对烟雾的识别准确率不高。

发明内容

[0005] 技术问题：针对现有方法对烟雾识别的精度不高的问题，本发明提供一种烟雾识别方法及装置，以及一种电子设备，从而能够对视频中的烟雾进行准确识别。

[0006] 技术方案：本发明提供了一种烟雾识别方法，包括：

[0007] 获取烟雾视频；

[0008] 计算烟雾视频的相邻帧图像的帧差，得到帧差图像序列；

[0009] 将烟雾视频输入空间支路提取烟雾的空间特征，得到烟雾的空间纹理信息；将帧差图像序列输入时间支路提取烟雾的时间特征，得到相邻帧的烟雾变化信息；空间支路和
时间支路并行前向计算，并在前向计算过程中，空间特征与时间特征进行特征交叉融合；

[0010] 将最终交叉融合后的特征信息经过下采样进行压缩，并通过全连接层输出预测结果。

[0011] 进一步地，空间支路包括N层第一残差块，时间支路包括N层第二残差块，空间支路和时间支路并行前向计算时，每层第一残差块输出的空间特征均与对应层的第二残差块输
出的时间特征进行特征交叉融合，并将交叉融合后的空间特征作为下一层第一残差块的输
入，将交叉后的时间特征作为下一层第二残差块的输入。

[0012] 进一步地，空间特征与时间特征进行交叉融合的方法包括：

[0013] 获取空间支路第l层第一残差块计算得到空间特征图

[0014] 获取时间支路第l层第二残差块计算得到时间特征图

[0015] 通过逐元素相加方式进行特征融合，得到交叉融合后的空间特征和时间特征，计算公式为： 其中， 交叉融合后的空间特征，
为交叉融合后的时间特征，1≤l≤N,1≤i≤H,1≤j≤W,1≤c≤C，i,j,c分别代表特征图在
长、宽、通道三个维度的索引。

[0016] 进一步地，所述的计算烟雾视频的相邻帧图像的帧差，获得帧差图像的方法包括：

[0017] 将相邻帧图像作差，计算方式为：

[0018]

[0019] 其中，ResFramek表示第k时刻的帧差图像，Framek表示第k时刻的RGB输入图像，α为增强系数，β为限幅系数。

[0020] 进一步地，第一残差块和第二残差块相同，均为ResNet、ShuffleNet、MobileNet、DenseNet或ResNeXt系列网络的残差块。

[0021] 进一步地，空间支路和时间支路的输入数据维度相同。

[0022] 本发明还提供了一种烟雾识别装置，包括：

[0023] 视频图像获取单元，用于获取烟雾视频；

[0024] 帧差计算单元，用于计算烟雾视频的相邻帧图像的帧差，得到帧差序列图像；

[0025] 第一提取模块，用于将烟雾视频输入空间支路提取烟雾的空间特征，得到烟雾的空间纹理信息；

[0026] 第二提取模块，将帧差图像输入时间支路提取烟雾的时间特征，得到相邻帧的烟雾变化信息；

[0027] 交叉融合模块，用于空间支路和时间支路并行前向计算过程中，将空间特征与时间特征进行交叉融合；

[0028] 输出模块，将最终交叉融合后的特征信息经过下采样进行压缩，并通过至少一个全连接层输出预测结果。

[0029] 进一步地，所述交叉融合模块包括：

[0030] 空间特征获取模块，用于获取空间支路第l层第一残差块计算得到空间特征图

[0031] 时间特征提取模块，用于获取时间支路第l层第二残差块计算得到时间特征图

[0032] 融合计算模块，用于通过逐元素相加方式进行特征融合，得到交叉融合后的空间特征和时间特征，计算公式为： 其中， 交叉融合后
的空间特征， 为交叉融合后的时间特征，1≤l≤N,1≤i≤H,1≤j≤W,1≤c≤C，i,j,c
分别代表特征图在长、宽、通道三个维度的索引。

[0033] 进一步地，所述帧差计算单元通过将相邻帧图像作差得到烟雾视频的相邻帧图像的帧差，计算方式为：

[0034]

[0035] 其中，ResFramek表示第k时刻的帧差图像，Framek表示第k时刻的RGB输入图像，α为增强系数，β为限幅系数。

[0036] 本发明还提供一种烟雾识别电子设备，包括：

[0037] 处理器；以及

[0038] 存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行所述的烟雾识别方法。

[0039] 有益效果：本发明的方法和装置通过对帧差进行增强和限幅操作，凸显烟雾的运动特征；并且空间支路与时间支路并行前向计算过程中，空间特征和时间特征不断进行交
叉融合，从而空间支路与时间支路相互引导，实现了从低到高多种尺度上的特征融合，增强
了对于不明显烟雾的识别能力和对干扰因素的判别能力，从而提高了对于烟雾的检测识别
能力，进而提高了烟雾识别的准确性，避免了在森林防火、废气排放监测等应用场景中的漏
报和误报。

[0040] 同时，所提出的电子设备可以便于将配置有所述烟雾识别方法的硬件设备进行部署，从而能够应用于各种烟雾场景中。

附图说明

[0041] 图1为本发明的烟雾识别方法的一种实施例的流程图；

[0042] 图2为本发明的烟雾识别方法的一种实施例中神经网络模型的结构图；

[0043] 图3为本发明的烟雾识别方法一种实施例中空间支路与时间支路构成的双路时空金字塔的示意图；

[0044] 图4为MobileNetV2网络的残差块结构图。

具体实施方式

[0045] 下面结合实施例和说明书附图对本发明作进一步的说明，其中属于“第一”、“第二”等进用于描述目的，并非对数量上的限定或先后顺序上的限定。

[0046] 图1为本发明提出的烟雾识别方法的一种实施例的流程图，该方法包括：

[0047] S100：获取烟雾视频。

[0048] 例如，可以通过图像采集设备如摄像机获取烟雾视频。并且，在将本方法应用于不同场景的烟雾识别时，可以借助相应场景的监控系统获取烟雾视频，比如，当应用于森林防
火领域时，可利用森林火灾监控系统获取烟雾视频。

[0049] S200：计算烟雾视频的相邻帧图像的帧差，得到帧差图像序列；

[0050] 在本发明的实施例中，通过将获取的烟雾视频的相邻帧图像作差的方式得到相邻帧图像的帧差，具体的计算方式为：

[0051]

[0052] 其中，ResFramek表示第k时刻的帧差图像，Framek表示第k时刻的RGB输入图像，α为增强系数，β为限幅系数。当烟雾视频有若干帧时，则会形成帧差图像序列。

[0053] 通过这种方式，烟雾扩散的过程会被凸显出来。虽然其他目标的运动同样会被凸显和放大，但因为限幅系数作用的缘故，烟雾的运动特征仍然是被相对放大。

[0054] S300：将烟雾视频输入空间支路提取烟雾的空间特征，得到烟雾的纹理信息；将帧差图像序列输入时间支路提取烟雾的时间特征，得到相邻帧的烟雾变化信息；空间支路和
时间支路并行前向计算，并在前向计算过程中，空间特征与时间特征进行特征交叉融合。

[0055] 在进行烟雾特征识别时，利用的是神经网络模型完成的，在本发明的实施例中，构建了包括空间支路和时间支路的烟雾识别神经网络模型，空间支路用于提取烟雾的空间特
征，而时间支路用于提取烟雾的时间特征，其中，空间支路包括依次连接的N层第一残差块，
时间支路包括依次连接的N层第二残差块。然后，每层第一残差块输出的空间特征都会与对
应层的第二残差块输出的时间特征进行特征交叉操作，从而实现空间特征与时间特征的交
叉融合。由此空间支路和时间支路构成了一个双路时空金字塔的网络结构，从而在空间支
路与时间支路并行前向计算过程中，能够生成多尺度的特征表示信息，并进行交叉融合、互
相引导，以增强整个神经网络模型对烟雾的识别建模能力，便于从低维到高维特征的充分
融合。

[0056] 图2为本发明的是一个实施例的神经网络模型的结构示意图，图2中所示神经网络结构，空间支路包括了4层第一残差块，时间支路包括4层第二残差块，因此空间支路与时间
支路构成了一个4层的双路时空金字塔结构，如图3为4层双路时空金字塔结构的示意图。

[0057] 在运算时，每层第一残差块输出的空间特征都会与对应层的第二残差块输出的时间特征进行特征交叉操作，交叉融合后的空间特征作为下一层第一残差块的输入，将交叉
后的时间特征作为下一层第二残差块的输入，空间支路和时间支路继续进行前向计算，并
在下一个交叉融合的位置执行交叉融合操作，直至最后一层第一残差块输出的空间特征和
最后一层第二残差块输出的空间特征融合后，完成烟雾的特征提取。

[0058] 说明的是，在最后一层第一残差块输出的空间特征和最后一层第二残差块输出的空间特征融合时，也即双路时空金字塔到了最顶端，神经网络已经到了最深层，执行的是与
浅层的残差块特征交叉融合时相同的操作，但因为已经到最后一层，融合后的特征无需再
严格区分空间特征和时间特征，而是直接将融合后特征用于分类预测。

[0059] 例如图2中的网络结构，第一层第一残差块输出的空间特征与第一层第二残差块输出的时间特征进行交叉融合后，融合后的空间特征作为第二层第一残差块的输入，融合
后的时间特征作为第二层第二残差块的输入；然后第二层第一残差块输出的空间特征和第
二层第二残差块输出的时间特征进行交叉融合，融合后的空间特征作为第三层第一残差块
的输入，融合后的时间特征作为第三层第二残差块的输入；接着第三层第一残差块输出的
空间特征和第三层第二残差块输出的时间特征进行交叉融合，融合后的空间特征作为第四
层第一残差块的输入，融合后的时间特征作为第四层第二残差块的输入；而第四层第一残
差块输出的空间特征和第四层第二残差块输出的时间特征交叉融合后，即完成烟雾的特征
提取。

[0060] 在本发明的一种特殊的实施情况中，即空间支路仅有一层第一残差块，时间支路仅有一层第二残差块，那么直接类似于最后一层第一残差块输出的空间特征和最后一层第
二残差块输出的时间特征融合时的情况。通常情况下，为了使得神经网络模型能够提取到
更多的烟雾特征，空间支路会包括多层第一残差块，时间支路也包括多个第二残差块，即N
＞1。

[0061] 对于任一层第一残差块输出的空间特征与对应的第二残差块输出的时间特征进行交叉融合的方法包括：获取空间支路第l层第一残差块计算得到空间特征图 获取
时间支路第l层第二残差块计算得到时间特征图 通过逐元素相加方式进行特征融
合，得到交叉融合后的空间特征和时间特征，计算公式为：
其中， 交叉融合后的空间特征， 为交叉融合后的时间特征，1≤l≤N,1
≤i≤H,1≤j≤W,1≤c≤C，i,j,c分别代表特征图在长、宽、通道三个维度的索引。

[0062] 为了降低特征处理和融合的难度，在本发明的实施例中，空间支路和时间支路的输入数据的维度相同，即输入空间支路的烟雾视频与输入时间支路的帧差图像序列的维度
相同。例如，输入空间支路的烟雾视频的维度为C×T×H×W，C代表RGB三个通道，T为视频帧
长度，H和W分别为图像的高和宽，则输入时间支路的帧差图像序列的维度也同样为C×T×H
×W。

[0063] 并且，在优选的实施例中，第一残差块和第二残差块为相同的神经网络残差块，从而空间支路和时间支路的网络结构是相同的，此时，处理相同输入维度的RGB数据和帧差数
据，使得双路上由浅入深的时空特征也具有相同的维度，从而便于特征的融合。

[0064] 在本发明的实施例中，第一残差块和第二残差块均为神经网络中标准的残差块，具体的可以采用ResNet、ShuffleNet、MobileNet、DenseNet或ResNeXt等系列网络模型的残
差块。例如MobileNet V2的残差块，如图4所示，包括3个子结构，第一个子结构为1个1×1的
扩展层、1个归一化层，并用ReLU6激活；第二个子结构包括1个3×3的深度可分离卷积层、1
个归一化层，并用ReLU6激活；第二个子结构包括1个投影层和1个归一化层。首先利用1×1
的扩展层提升通道数，然后利用3×3的深度可分离卷积层进行空间卷积运算，最后通过1×
1的投影层恢复通道数。

[0065] 再比如DenseNet网络共有四个残差块，以DenseNet系列网络DenseNet‑169的第三个残差块(Dense Block(3))为例，共包括32个1×1的卷积以及32个3×3的卷积，具体可参
考文献Densely Connected Convolutional Networks(arXiv:1608.06993v5[cs.CV])。

[0066] 需要说明的是，当空间支路包括多个第一残差块时，多个第一残差块的网络结构可以是不同的，例如，采用的是ResNeXt系列网络模型中的SE‑ResNeXt‑50网络的残差块构
建空间支路时，SE‑ResNeXt‑50网络包括四个残差块，那么可以构建一个包括4个第一残差
块的空间支路，然后4个第一残差块分别采用SE‑ResNeXt‑50网络的四个残差块，例如可以
表示为res1、res2、res3和res4，那么此时，这四个第一残差块的网络结构是不同，区别在于
res1、res2、res3和res4内部的卷积层数量的差别。

[0067] 同样，当时间支路包括多个第二残差块时，多个第二残差块的网络结构可以是不同的，例如，当时间支路也采用SE‑ResNeXt‑50网络的四个残差块，然后4个第二残差块分别
对应SE‑ResNeXt‑50网络的四个残差块。

[0068] S400：将最终交叉融合后的特征信息经过下采样进行压缩，并通过至少一个全连接层输出预测结果。

[0069] 下采样的目的是为了缩小图像或者得到一个像素，然后便于分类。具体的，在神经网络模型中可以采用多种网络结构进行下采样，例如可以通过至少一个1×1的卷积层进行
卷积，然后经过池化，得到缩小的图像或者像素；最后利用全连接层进行分类，从而输出预
测结果。也可以通过全局平均池化的方式进行下采样，然后用全连层进行分类输出。

[0070] 进一步地，本发明的给出一个基于SE‑ResNeXt‑50网络残差块的烟雾识别神经网络框架，模型结构和参数如表1所示。

[0071] 表1基于SE‑ResNeXt‑50网络残差块的烟雾识别神经网络模型

[0072]

[0073]

[0074] 说明：conv表示卷积层；pool表示池化层；res1、res2、res3、res4表示残差块；adaptive average pool表示自适应平均池化层；fully connected layer表示全连接层；
Spatial表示空间；Temporal表示时间。

[0075] 根据表1，空间支路和时间支路的结构相同，因此表1用res1表示第一层第一残差块和第二残差块，res2表示第二层第一残差块和第二残差块，res3表示第一层第一残差块
和第二残差块，res4表示第一层第一残差块和第二残差块。其中res1包括3个子残差单元，
每个子残差单元包括2个1×1的卷积层和1个3×3的卷积层；res2包括4个子残差单元，每个
子残差单元包括2个1×1的卷积层和1个3×3的卷积层；res3，包括6个子残差单元，每个子
残差单元包括2个1×1的卷积层和1个3×3的卷积层；res4包括3个子残差单元，每个子残差
单元包括2个1×1的卷积层和1个3×3的卷积层；具体参数和输出特征参见表1。

[0076] 并结合图2，输入空间支路的烟雾视频首先经过一次卷积和一次池化进入第一层第一残差块，输入空间支路的帧差图像序列首先经过一次卷积和一次池化进入第一层第二
残差块，空间支路和时间支路并行前向计算，然后空间支路中的第一层第一残差块输出的
空间特征与时间支路中的第一层第二残差块输出的时间特征进行交叉融合，并将融合后的
空间特征作为空间支路中的第二层第一残差块的输入，将融合后的时间特征作为时间支路
中的第二层第二残差块的输入；空间支路和时间支路继续进行前向计算，并在下一融合位
置进行类似交叉融合操作。直到空间支路中的第四层第一残差块输出的空间特征与时间支
路中的第四层第二残差块输出的时间特征进行交叉融合完毕。在表1所示的实施例中，空间
2
支路和时间支路输入的数据维度均为T×3×224 ，最后一层残差块输出后，空间特征和时
2
间特征的维度均为T×2048×7 ，因此，最后将融合后的特征进行利用2个1×1的卷积层的
和1个自适应平均池化层进行下采样降低数据维度，并利用全连接层分类得到预测结果。

[0077] 为了对本发明的方法进行验证，利用RISE数据集网站(https://github.com/CMU‑CREATE‑Lab/deep‑smoke‑machine)中的公开的烟雾数据集进行测试，并与现有技术文献中
公开的方法进行对比，以F‑score作为准确率评价指标，对比结果如表2所示。

[0078] 表2 RISE数据集上不同方法的对比实验，评价指标为F‑score

[0079]

[0080] 其中，S0～S5表示6个数据集，本申请之外的方法测试结果具体可参见文献RISE Video Dataset:Recognizing Industrial Smoke Emissions(arXiv:2005.06111
[cs.CV])。

[0081] 从表2可以看出，利用本发明的方法，无论利用的是MobileNetv2的残差块构建神经网络模型，还是利用SE‑ResNext‑50的残差块构建神经网络模型，最终的F‑score相对于
现有的方法都相对较高，从而可以看出，利用本发明的方法进行烟雾识别时，准确性得到显
著的提高。

[0082] 进一步的，本发明提供了一种烟雾识别装置，在一个实施例中，烟雾识别装置包括：

[0083] 视频图像获取单元，用于获取烟雾视频；帧差计算单元，用于计算烟雾视频的相邻帧图像的帧差，得到帧差图像；第一提取模块，用于将烟雾视频输入空间支路提取烟雾的空
间特征，得到烟雾的纹理信息；第二提取模块，将帧差图像输入时间支路提取烟雾的时间特
征，得到相邻帧的烟雾变化信息；交叉融合模块，用于空间支路和时间支路并行前向计算过
程中，将空间特征与时间特征进行交叉融合；输出模块，将最终交叉融合后的特征信息经过
下采样进行压缩，并通过至少一个全连接层输出预测结果。

[0084] 在各模块开始运算时，第一提取模块和第二提取模块并行计算，并在并行计算过程中，交叉融合模块不断的将提取空间特征和时间特征，将空间特征和时间特征进行交叉
融合。

[0085] 其中，帧差计算单元通过将相邻帧图像作差得到烟雾视频的相邻帧图像的帧差，计算方式为：

[0086]

[0087] 其中，ResFramek表示第k时刻的帧差图像，Framek表示第k时刻的RGB输入图像，α为增强系数，β为限幅系数。

[0088] 其中，交叉融合模块包括：空间特征获取模块，用于获取空间支路第l层第一残差块计算得到空间特征图 时间特征提取模块，用于获取时间支路第l层第二残差块计
算得到时间特征图 融合计算模块，用于通过逐元素相加方式进行特征融合，得到交
叉融合后的空间特征和时间特征，计算公式为： 其中，
交叉融合后的空间特征， 为交叉融合后的时间特征，1≤l≤N,1≤i≤H,1≤j
≤W,1≤c≤C，i,j,c分别代表特征图在长、宽、通道三个维度的索引。

[0089] 可以理解，该烟雾识别装置设置的各模块与烟雾识别方法是相对应的，因此对应的有有益效果也是相同的，这里就不再赘述。

[0090] 进一步地，本发明还提供了一种电子设备，电子设备包括处理器以及存储器，存储器中存储有计算机程序指令，计算机程序指令在被处理器运行时使得所述处理器执行本发
明所提出的烟雾识别方法。该电子设备可以应用于森林防火、工厂废气排放监测等涉及烟
雾的应用场景。

[0091] 其中，处理器可以为一个或多个，可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执
行期望的功能。

[0092] 存储器同样可以为一个或多个，存储器可以为各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器
(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、
硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器
可以运行所述程序指令，以实现上文所述的本申请的实施例中的烟雾识别方法。在所述计
算机可读存储介质中还可以存储诸如各阶段的特征图，以及烟雾视频、帧差图像序列等。

[0093] 在本发明的实施例中，电子设备还可以包括图像采集设备，例如摄像头，通过图像采集设备采集烟雾视频，然后存储在存储器中，并经过处理器进行处理，识别出烟雾视频中
的烟雾。利用该电子设备，可以有效地提高烟雾识别的准确率，当应用于具体的场景中时，
有效地降低烟雾的漏报和误报。

[0094] 上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明
权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。