基于跳跃连接卷积层的红外与可见光图像融合方法和装置

摘要

本申请涉及一种基于跳跃连接卷积层的红外与可见光图像融合方法、装置、计算机设备和存储介质。所述方法包括：获取红外图像样本和可见光图像样本，将红外图像样本和可见光图像样本输入红外与可见光图像融合网络；红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；基于跳跃连接的结构，适当增加中间连接层，将下采样特征图、下采样特征图经过一次上采样得到的上采样特征图跳跃连接到解码部分尺寸相同的特征图，融合后生成结果，最大化利用特征图，以提高对图像的还原度。

权利要求

1.一种基于跳跃连接卷积层的红外与可见光图像融合方法，其特征在于，所述方法包括：

获取红外图像样本和可见光图像样本，将所述红外图像样本和所述可见光图像样本输入红外与可见光图像融合网络；所述红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；

通过所述两路级联编码器分别对所述红外图像样本和所述可见光图像样本进行处理，分别得到两路级联编码器的第一级下采样特征图和其他的下采样特征图，并将所述两路级联编码器最后一级输出的下采样特征图融合后作为所述级联融合解码器的第一级输入；所述级联融合解码器对第一级输入进行处理，得到第一级输入对应的上采样特征图；所述其他的下采样特征图为所述两路级联编码器中从第二级到最后一级的下采样特征图；

通过所述支路解码器对所述其他下采样特征图进行处理，得到支路上采样特征图；

根据所述上采样特征图的尺寸匹配所述第一级下采样特征图、其他的下采样特征图以及所述支路上采样特征图，并将匹配结果与所述上采样特征图融合后作为级联融合解码器当前输入，得到当前输入对应的下一级上采样特征图；

在级联融合解码器的最后一层解码器网络的输出结果融合所述红外图像样本和所述可见光图像样本的源图像，激活输出预测融合图；

根据预先构建的损失函数和所述预测融合图，对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络；

通过训练好的红外与可见光图像融合网络进行红外与可见光图像融合。

2.根据权利要求1所述的方法，其特征在于，所述获取红外图像样本和可见光图像样本，将所述红外图像样本和所述可见光图像样本输入红外与可见光图像融合网络；所述红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器，包括：获取红外图像样本和可见光图像样本，将所述红外图像样本和所述可见光图像样本输入红外与可见光图像融合网络；所述红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；所述下采样包括卷积层、批量归一化层和LRelu激活层。

3.根据权利要求2所述的方法，其特征在于，所述获取红外图像样本和可见光图像样本，将所述红外图像样本和所述可见光图像样本输入红外与可见光图像融合网络；所述红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器，包括：获取红外图像样本和可见光图像样本，将所述红外图像样本和所述可见光图像样本输入红外与可见光图像融合网络；所述红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；所述上采样包括反卷积层、批量归一化层和LRelu激活层。

4.根据权利要求3所述的方法，其特征在于，所述根据预先构建的损失函数和所述预测融合图，对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络，包括：根据预先构建的损失函数和所述预测融合图，对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络；所述损失函数包括SSIM损失函数和MSE损失函数。

5.根据权利要求4所述的方法，其特征在于，所述根据预先构建的损失函数和所述预测融合图，对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络，包括：根据预先构建的损失函数和所述预测融合图，对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络；所述SSIM损失函数通过拉普拉斯算子分别计算两幅源图像的梯度信息，得到SSIM的权重信息，根据所述权重信息引导所述预测融合图向梯度信息较多的源图像靠拢。

6.根据权利要求5所述的方法，其特征在于，所述根据预先构建的损失函数和所述预测融合图，对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络，包括：根据预先构建的损失函数和所述预测融合图，采用mini‑batch的训练方法对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络。

7.根据权利要求1至6任意一项所述的方法，其特征在于，所述红外图像与所述可见光图像都为单通道灰度图。

8.一种基于跳跃连接卷积层的红外与可见光图像融合装置，其特征在于，所述装置包括：

样本获取模块，用于获取红外图像样本和可见光图像样本，将所述红外图像样本和所述可见光图像样本输入红外与可见光图像融合网络；所述红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；

编码器模块，用于通过所述两路级联编码器分别对所述红外图像样本和所述可见光图像样本进行处理，分别得到两路级联编码器的第一级下采样特征图和其他的下采样特征图，并将所述两路级联编码器最后一级输出的下采样特征图融合后作为所述级联融合解码器的第一级输入；所述级联融合解码器对第一级输入进行处理，得到第一级输入对应的上采样特征图；所述其他的下采样特征图为所述两路级联编码器中从第二级到最后一级的下采样特征图；

解码器模块，用于通过所述支路解码器对所述其他下采样特征图进行处理，得到支路上采样特征图；根据所述上采样特征图的尺寸匹配所述第一级下采样特征图、其他的下采样特征图以及所述支路上采样特征图，并将匹配结果与所述上采样特征图融合后作为级联融合解码器当前输入，得到当前输入对应的下一级上采样特征图；在级联融合解码器的最后一层解码器网络的输出结果融合所述红外图像样本和所述可见光图像样本的源图像，激活输出预测融合图；

训练模块，用于根据预先构建的损失函数和所述预测融合图，对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络；

使用模块，用于通过训练好的红外与可见光图像融合网络进行红外与可见光图像融合。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

说明书

基于跳跃连接卷积层的红外与可见光图像融合方法和装置

技术领域

[0001] 本申请涉及图像处理领域，特别是涉及一种基于跳跃连接卷积层的红外与可见光图像融合方法、装置、计算机设备和存储介质。

背景技术

[0002] 可见光与红外图像的成像特征具有显著差异，但其图像融合又有良好的互补性，在目标探测识别领域有广泛应用。红外与可见光融合方法大概分为两类：传统方法与深度学习方法。传统方法通常使用相关的数学变换和手动设计的融合规则来获取融合图像，大致有基于多尺度变换的方法、基于显著性的融合方法、基于混合模型的方法和基于稀疏表示的融合方法等。基于多尺度变换的方法，一般将红外和可见光图像分解为不同尺寸的分量，每个分量表示该尺度下的子图像。该类融合方法比较符合人眼的视觉特性，所以融合结果有较好的视觉效果，但是，现实中的对象通常包括了不同尺度的分量，多尺度分解算子复杂多样，且各有特点，需要先验算子进行融合。基于显著性的融合方法鲁棒性较强，适用于多种类型的图像融合，但是需要先对图像进行分解得到不同的图层，包括基础图和细节图，对不同图层用显著性提取模型提取显著性图，然后通过不同规则重构基础图和细节图，以此构建结果图，操作步骤较为繁琐。基于稀疏表示的融合方法，基于稀疏表示的方法需要预先构建完备稀疏字典，工作量较大。还有基于混合模型的方法，这种方法结合了上面几种方法，不可避免的也会包含这几种方法的缺点。这些传统方法大多数传统方法通常有三个步骤：图片转换、活动水平测量和融合规则设计。随着融合规则设计不断复杂化，计算量也随之增大。基于深度学习的方法无需人工设计融合规则，只需设计合适的网络结构和损失函数。常见的有基于CNN的联合图像融合方法、基于卷积稀疏表示的图像融合方法、基于DenseNet的图像融合方法等。目前提出的大多数网络较深，参数量较大，会使得运行和训练较慢。但是缩减网络层数，减少密集连接网络层可能会导致效果不佳。另外一些网络，如IFCNN，这种为保留图像信息整个网络不使用下采样，会使感受野有限，无法获得高维信息。还有基于生成对抗网络的方法，如FusionGAN，尽管融合效果较好，但是GAN网络训练时每次更新都需要先训练判别器，再反馈更新生成器的参数，会使得训练速度变慢。

[0003] 因此，现有技术存在计算量大、效果不佳的问题。

发明内容

[0004] 基于此，有必要针对上述技术问题，提供一种能够提升图像融合效果的基于跳跃连接卷积层的红外与可见光图像融合方法、装置、计算机设备和存储介质。

[0005] 一种基于跳跃连接卷积层的红外与可见光图像融合方法，所述方法包括：

[0006] 获取红外图像样本和可见光图像样本，将所述红外图像样本和所述可见光图像样本输入红外与可见光图像融合网络；所述红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；

[0007] 通过所述两路级联编码器分别对所述红外图像样本和所述可见光图像样本进行处理，分别得到两路级联编码器的第一级下采样特征图和其他的下采样特征图，并将所述两路级联编码器最后一级输出的下采样特征图融合后作为所述级联融合解码器的第一级输入；所述级联融合解码器对第一级输入进行处理，得到第一级输入对应的上采样特征图；

[0008] 通过所述支路解码器对所述其他下采样特征图进行处理，得到支路上采样特征图；

[0009] 根据所述上采样特征图的尺寸匹配所述第一级下采样特征图、其他的下采样特征图以及所述支路上采样特征图，并将匹配结果与所述上采样特征图融合后作为级联融合解码器当前输入，得到当前输入对应的下一级上采样特征图；

[0010] 在级联融合解码器的最后一层解码器网络的输出结果融合所述红外图像样本和所述可见光图像样本的源图像，激活输出预测融合图；

[0011] 根据预先构建的损失函数和所述预测融合图，对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络；

[0012] 通过训练好的红外与可见光图像融合网络进行红外与可见光图像融合。

[0013] 在其中一个实施例中，还包括：获取红外图像样本和可见光图像样本，将所述红外图像样本和所述可见光图像样本输入红外与可见光图像融合网络；所述红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；所述下采样包括卷积层、批量归一化层和LRelu激活层。

[0014] 在其中一个实施例中，还包括：获取红外图像样本和可见光图像样本，将所述红外图像样本和所述可见光图像样本输入红外与可见光图像融合网络；所述红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；所述上采样包括反卷积层、批量归一化层和LRelu激活层。

[0015] 在其中一个实施例中，还包括：根据预先构建的损失函数和所述预测融合图，对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络；所述损失函数包括SSIM损失函数和MSE损失函数。

[0016] 在其中一个实施例中，还包括：根据预先构建的损失函数和所述预测融合图，对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络；所述SSIM损失函数通过拉普拉斯算子分别计算两幅源图像的梯度信息，得到SSIM的权重信息，根据所述权重信息引导所述融合图像向梯度信息较多的源图像靠拢。

[0017] 在其中一个实施例中，还包括：根据预先构建的损失函数和所述预测融合图，采用mini‑batch的训练方法对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络。

[0018] 在其中一个实施例中，还包括：所述红外图像与所述可见光图像都为单通道灰度图。

[0019] 一种基于跳跃连接卷积层的红外与可见光图像融合装置，所述装置包括：

[0020] 样本获取模块，用于获取红外图像样本和可见光图像样本，将所述红外图像样本和所述可见光图像样本输入红外与可见光图像融合网络；所述红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；

[0021] 编码器模块，用于通过所述两路级联编码器分别对所述红外图像样本和所述可见光图像样本进行处理，分别得到两路级联编码器的第一级下采样特征图和其他的下采样特征图，并将所述两路级联编码器最后一级输出的下采样特征图融合后作为所述级联融合解码器的第一级输入；所述级联融合解码器对第一级输入进行处理，得到第一级输入对应的上采样特征图；

[0022] 解码器模块，用于通过所述支路解码器对所述其他下采样特征图进行处理，得到支路上采样特征图；根据所述上采样特征图的尺寸匹配所述第一级下采样特征图、其他的下采样特征图以及所述支路上采样特征图，并将匹配结果与所述上采样特征图融合后作为级联融合解码器当前输入，得到当前输入对应的下一级上采样特征图；在级联融合解码器的最后一层解码器网络的输出结果融合所述红外图像样本和所述可见光图像样本的源图像，激活输出预测融合图；

[0023] 训练模块，用于根据预先构建的损失函数和所述预测融合图，对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络；

[0024] 使用模块，用于通过训练好的红外与可见光图像融合网络进行红外与可见光图像融合。

[0025] 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

[0026] 获取红外图像样本和可见光图像样本，将所述红外图像样本和所述可见光图像样本输入红外与可见光图像融合网络；所述红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；

[0027] 通过所述两路级联编码器分别对所述红外图像样本和所述可见光图像样本进行处理，分别得到两路级联编码器的第一级下采样特征图和其他的下采样特征图，并将所述两路级联编码器最后一级输出的下采样特征图融合后作为所述级联融合解码器的第一级输入；所述级联融合解码器对第一级输入进行处理，得到第一级输入对应的上采样特征图；

[0028] 通过所述支路解码器对所述其他下采样特征图进行处理，得到支路上采样特征图；

[0029] 根据所述上采样特征图的尺寸匹配所述第一级下采样特征图、其他的下采样特征图以及所述支路上采样特征图，并将匹配结果与所述上采样特征图融合后作为级联融合解码器当前输入，得到当前输入对应的下一级上采样特征图；

[0030] 在级联融合解码器的最后一层解码器网络的输出结果融合所述红外图像样本和所述可见光图像样本的源图像，激活输出预测融合图；

[0031] 根据预先构建的损失函数和所述预测融合图，对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络；

[0032] 通过训练好的红外与可见光图像融合网络进行红外与可见光图像融合。

[0033] 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

[0034] 获取红外图像样本和可见光图像样本，将所述红外图像样本和所述可见光图像样本输入红外与可见光图像融合网络；所述红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；

[0035] 通过所述两路级联编码器分别对所述红外图像样本和所述可见光图像样本进行处理，分别得到两路级联编码器的第一级下采样特征图和其他的下采样特征图，并将所述两路级联编码器最后一级输出的下采样特征图融合后作为所述级联融合解码器的第一级输入；所述级联融合解码器对第一级输入进行处理，得到第一级输入对应的上采样特征图；

[0036] 通过所述支路解码器对所述其他下采样特征图进行处理，得到支路上采样特征图；

[0037] 根据所述上采样特征图的尺寸匹配所述第一级下采样特征图、其他的下采样特征图以及所述支路上采样特征图，并将匹配结果与所述上采样特征图融合后作为级联融合解码器当前输入，得到当前输入对应的下一级上采样特征图；

[0038] 在级联融合解码器的最后一层解码器网络的输出结果融合所述红外图像样本和所述可见光图像样本的源图像，激活输出预测融合图；

[0039] 根据预先构建的损失函数和所述预测融合图，对所述红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络；

[0040] 通过训练好的红外与可见光图像融合网络进行红外与可见光图像融合。

[0041] 上述基于跳跃连接卷积层的红外与可见光图像融合方法、装置、计算机设备和存储介质，通过获取红外图像样本和可见光图像样本，将红外图像样本和可见光图像样本输入红外与可见光图像融合网络；红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；通过两路级联编码器分别对红外图像样本和可见光图像样本进行处理，得到第一级下采样特征图和其他下采样特征图，并将两路级联编码器最后一级输出的下采样特征图融合后输入级联融合解码器；通过支路解码器对其他下采样特征图进行一次上采样，得到支路上采样特征图；通过级联融合解码器对融合图像进行处理；融合图像是第一级下采样特征图、其他下采样特征图和支路上采样特征图通过跳跃连接的结构与级联解码时相同尺寸的融合特征图进行融合得到的；在最后一层解码器网络的输出结果融合红外图像样本和所述可见光图像样本的源图像，激活输出预测融合图；根据预先构建的损失函数和预测融合图，对红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络；通过训练好的红外与可见光图像融合网络进行红外与可见光图像融合。本发明是在Unet网络基础上增加为两路编码器，基于跳跃连接的结构，适当增加中间连接层，在解码部分融合后生成结果，最大化利用特征图，以提高对图像的还原度。

附图说明

[0042] 图1为一个实施例中基于跳跃连接卷积层的红外与可见光图像融合方法的应用场景图；

[0043] 图2为一个实施例中红外与可见光图像融合网络的网络结构图；

[0044] 图3为一个实施例中红外与可见光图像融合前后对比示意图；

[0045] 图4为一个实施例中基于跳跃连接卷积层的红外与可见光图像融合装置的结构框图；

[0046] 图5为一个实施例中计算机设备的内部结构图。

具体实施方式

[0047] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

[0048] 本申请提供的基于跳跃连接卷积层的红外与可见光图像融合方法，可以应用于如下应用环境中。通过终端执行一种基于跳跃连接卷积层的红外与可见光图像融合方法，在Unet网络基础上增加双路编码器，分别对应红外图像与可见光图像，基于跳跃连接的结构，适当增加中间连接层，将下采样特征图、下采样特征图经过一次上采样得到的上采样特征图跳跃连接到解码部分尺寸相同的特征图，融合后生成结果，最大化利用特征图，以提高对图像的还原度。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。

[0049] 在一个实施例中，如图1所示，提供了一种基于跳跃连接卷积层的红外与可见光图像融合方法，包括以下步骤：

[0050] 步骤102，获取红外图像样本和可见光图像样本，将红外图像样本和可见光图像样本输入红外与可见光图像融合网络。

[0051] 红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器。

[0052] Unet网络最早用来解决医学图像的分割问题，在图像生成模型中是经典的网络，该网络结构由编码器和解码器组成，编码器使用下采样，解码器使用上采样，通过跳跃连接下采样和上采样中的各个特征图，这样可以更充分得利用网络提取的每层特征图。Unet++则通过增加中间的密集连接层来提高网络性能，但是增加密集连接层会使得网络参数量增加，网络复杂，降低运行效率。

[0053] 本发明将Unet网络中编码器扩充为两条，分别对应红外图像与可见光图像，通过各自编码生成特征图，可以更充分地利用源图像特征。

[0054] 多个支路解码器用于对除了第一级编码器输出的第一级下采样特征图之外的其他下采样特征图，每级下采样特征图经过一次上采样，通过跳跃连接的结构连接到解码部分对应的相同尺寸的特征图，跳跃连接的结构构成中间连接层，相当于借鉴了Unet++网络的优势，提高网络性能。每级下采样特征图只经过一次上采样，而不是多次，使得本发明中增加的中间连接层并不是Unet++网络中那样的密集连接层，适当增加中间连接层而不使用密集连接层可以避免密集连接层所导致的参数量过多，网络复杂，因而降低运行效率的问题。

[0055] 本发明没有使用池化层以最大保留信息，没有全连接层和池化层可以支持任意大小的图片输入。

[0056] 步骤104，通过两路级联编码器分别对红外图像样本和可见光图像样本进行处理，分别得到两路级联编码器的第一级下采样特征图和其他的下采样特征图，并将两路级联编码器最后一级输出的下采样特征图融合后作为级联融合解码器的第一级输入；级联融合解码器对第一级输入进行处理，得到第一级输入对应的上采样特征图。

[0057] 编码器使用下采样，下采样的过程可以提取出源图像的高维信息。

[0058] 步骤106，通过支路解码器对其他下采样特征图进行一次上采样，得到支路上采样特征图。

[0059] 对其他下采样特征图只进行一次上采样，增加了一些中间连接层，但没有采用Unet++中那样的密集连接层，即多次上采样直到图像恢复到源图像尺寸，相当于在Unet和Unet++之间进行了折中，相比Unet，适当增加连接层以提高性能，相比较Unet++的密集连接层较小，使得参数量较少，可以减少运算量，提高算法效率。

[0060] 步骤108，根据上采样特征图的尺寸匹配第一级下采样特征图、其他的下采样特征图以及支路上采样特征图，并将匹配结果与上采样特征图融合后作为级联融合解码器当前输入，得到当前输入对应的下一级上采样特征图。

[0061] 将图像的尺寸作为匹配标准，通过跳跃连接的结构将编码器输出的下采样特征图，支路经历过一次上采样的上采样特征图以及解码器输出的上采样特征图进行融合，既可以利用下采样提取出的源图像的高维信息，又可以利用跳跃连接最大程度的保留源图像的细节。

[0062] 步骤110，在级联融合解码器的最后一层解码器网络的输出结果融合红外图像样本和可见光图像样本的源图像，激活输出预测融合图。

[0063] 在最后一层网络中加入源图像，可以更充分利用原图信息。将最后一层网络融合后的图像经过Tanh激活层激活输出。

[0064] 步骤112，根据预先构建的损失函数和预测融合图，对红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络。

[0065] 步骤114，通过训练好的红外与可见光图像融合网络进行红外与可见光图像融合。

[0066] 上述基于跳跃连接卷积层的红外与可见光图像融合方法中，通过获取红外图像样本和可见光图像样本，将红外图像样本和可见光图像样本输入红外与可见光图像融合网络；红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；通过两路级联编码器分别对红外图像样本和可见光图像样本进行处理，得到第一级下采样特征图和其他下采样特征图，并将两路级联编码器最后一级输出的下采样特征图融合后输入级联融合解码器；通过支路解码器对其他下采样特征图进行一次上采样，得到支路上采样特征图；通过级联融合解码器对融合图像进行处理；融合图像是第一级下采样特征图、其他下采样特征图和支路上采样特征图通过跳跃连接的结构与级联解码时相同尺寸的融合特征图进行融合得到的；在最后一层解码器网络的输出结果融合红外图像样本和可见光图像样本的源图像，激活输出预测融合图；根据预先构建的损失函数和预测融合图，对红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络；通过训练好的红外与可见光图像融合网络进行红外与可见光图像融合。本发明是在Unet网络基础上增加为两路编码器，基于跳跃连接的结构，适当增加中间连接层，在解码部分融合后生成结果，最大化利用特征图，以提高对图像的还原度。

[0067] 在其中一个实施例中，还包括：获取红外图像样本和可见光图像样本，将红外图像样本和可见光图像样本输入红外与可见光图像融合网络；红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；下采样包括卷积层、批量归一化层和LRelu激活层，上采样包括反卷积层、批量归一化层和LRelu激活层。

[0068] 每次下采样采用4x4的卷积核，经过批量归一化层，到激活层；每次上采样采用4x4的反卷积核，经过批量归一化层，到激活层。激活函数采用LeakyRelu，该激活函数能够加快训练速度，同时能防止梯度消失，批量归一化层能加快收敛速度。

[0069] 在其中一个实施例中，还包括：根据预先构建的损失函数和预测融合图，对红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络；损失函数包括SSIM损失函数和MSE损失函数。SSIM损失函数通过拉普拉斯算子分别计算两幅源图像的梯度信息，得到SSIM的权重信息，根据权重信息引导融合图像向梯度信息较多的源图像靠拢。

[0070] 网络模型的损失函数包括两部分：SSIM损失和MSE损失，总损失为：

[0071] L＝Lssim+Lmse

[0072] 其中Lssim为结构相似度损失，Lmse为均方差损失。

[0073] 在红外与可见光融合过程中，没有标准图像作为真实对照图像，所以采用自监督的学习方法，使用SSIM结构相似度，用来衡量融合结果和源图像的相似程度。结构相似度损失为：

[0074] Lssim＝λi(1‑SSIM(O,I))+λv(1‑SSIM(O,V))

[0075] 其中，O是输出图像，I为输入红外图像，V为输入可见光图像。在一般的融合任务中，两幅源图像包含的信息量是不同的，如果无差别的等价融合，会导致结果中可能包含不需要的原图信息，也可能漏掉另一源图像地重要信息。本发明引入拉普拉斯算子分别计算红外和可见光原图梯度信息，并据此决定权重大小，引导结果图向梯度信息较多的源图像靠拢。按比例得到λi与λv，公式如下：

[0076]

[0077]

[0078] 其中，gv和gi分别表示可见光图像和红外图像的梯度信息量。

[0079] SSIM公式如下：

[0080]

[0081] 其中，μx和μy表示x，y的平均值，σx和σy表示x，y的标准差，σxy为x和y的协方差，C1和C2为常数，避免除零。

[0082] MSE为均方误差用于计算融合结果和源图像的欧氏距离：

[0083]

[0084] 其中yi和yi’分别是预测数据和真实数据，这里用生成图像分别和两幅源图像计算均方误差。

[0085] 在其中一个实施例中，还包括：根据预先构建的损失函数和预测融合图，采用mini‑batch的训练方法对红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络。

[0086] 在其中一个实施例中，还包括：红外图像与可见光图像都为单通道灰度图。

[0087] 应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

[0088] 在一个具体实施例中，如图2所示，提供了一种基于跳跃连接卷积层的红外与可见光图像融合网络，因考虑图像大小的原因，采用了3次下采样，每次下采样的卷积步长为2，以防止输入图像太小导致网络下层的卷积出错，没有使用池化层以最大保留信息，没有全连接层和池化层可以支持任意大小的图片输入。每次下采样采用4x4的卷积核，经过批量归一化层，到激活层，每次上采样采用4x4的反卷积核，经过批量归一化层，到激活层，激活函数采用LeakyRelu。该激活函数能够加快训练速度，同时能防止梯度消失，批量归一化层能加快收敛速度。如图，202为第一级下采样特征图，204、206为其他下采样特征图，210、214分别为206和204经过支路解码器经过一次上采样得到的支路上采样特征图，208为两路编码器输出图像融合后的图像，为级联融合解码器的第一级输入，212、216、218为当前对应解码器的上采样特征图，212与210以及204匹配，216与214以及202匹配，218与原图融合后输出预测融合图。

[0089] 在另一个具体实施例中，使用TNO公开红外可见光数据集，选取了50组图片作为训练集，20组图片作为测试集。由于数据集小，将图像随机裁剪成128x128大小增加数量。采用mini‑batch的训练方法，每批训练量为32对图片。采用Adam优化器更新网络参数，训练平台GPU为RTX2080ti，CPU为双E5。图3(a)为可见光图像，图3(b)为红外光图像，图3(c)为红外与可见光图像融合网络输出的融合图像。从图3的实验结果可以看到，可见光图像有较丰富的细节纹理信息，在右上的路牌和图片下方的灌木，可以清晰可见。中间的红外图像相对于可见光图缺少的纹理，但是包括丰富的轮廓信息，可以见到被灌木遮挡的人物，但是路牌上丢失了信息。融合后，能保留红外和可见光图像的多数信息，譬如，结果中包括了红外图像中房子里的人物信息，也可看到可见光图像中的路牌标识信息。

[0090] 在一个实施例中，如图4所示，提供了一种基于跳跃连接卷积层的红外与可见光图像融合装置，包括：样本获取模块402、编码器模块404、解码器模块406、训练模块408和使用模块410，其中：

[0091] 样本获取模块402，用于获取红外图像样本和可见光图像样本，将红外图像样本和可见光图像样本输入红外与可见光图像融合网络；红外与可见光图像融合网络包括：两路级联编码器、多个支路解码器以及一路级联融合解码器；

[0092] 编码器模块404，用于通过两路级联编码器分别对红外图像样本和可见光图像样本进行处理，分别得到两路级联编码器的第一级下采样特征图和其他的下采样特征图，并将两路级联编码器最后一级输出的下采样特征图融合后作为级联融合解码器的第一级输入；级联融合解码器对第一级输入进行处理，得到第一级输入对应的上采样特征图；

[0093] 解码器模块406，用于通过支路解码器对其他下采样特征图进行一次上采样，得到支路上采样特征图；根据上采样特征图的尺寸匹配第一级下采样特征图、其他的下采样特征图以及支路上采样特征图，并将匹配结果与上采样特征图融合后作为级联融合解码器当前输入，得到当前输入对应的下一级上采样特征图；在级联融合解码器的最后一层解码器网络的输出结果融合红外图像样本和可见光图像样本的源图像，激活输出预测融合图；

[0094] 训练模块408，用于根据预先构建的损失函数和预测融合图，对红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络；

[0095] 使用模块410，用于通过训练好的红外与可见光图像融合网络进行红外与可见光图像融合。

[0096] 训练模块408还用于根据预先构建的损失函数和预测融合图，采用mini‑batch的训练方法对红外与可见光图像融合网络进行训练，得到训练好的红外与可见光图像融合网络。

[0097] 关于基于跳跃连接卷积层的红外与可见光图像融合装置的具体限定可以参见上文中对于基于跳跃连接卷积层的红外与可见光图像融合方法的限定，在此不再赘述。上述基于跳跃连接卷积层的红外与可见光图像融合装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

[0098] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于跳跃连接卷积层的红外与可见光图像融合方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

[0099] 本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0100] 在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。

[0101] 在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。

[0102] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

[0103] 以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

[0104] 以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。