一种基于深度残差网络的红外热波图像去模糊方法

摘要

本发明涉及一种基于深度残差网络的红外热波图像去模糊方法，通过两阶段的网络模型共同实现模糊去处效果，网络包含模糊核估计网络以及去模糊网络，前者输入为模糊图像，输出为模糊核估计结果，后者输入为模糊图像与模糊核拼接结果，输出为清晰图像。在去模糊网络之中，为提高网络精度，在中间层数据传播过程中，不仅利用前一层的输出信息，还将利用模糊核估计网络中的残差信息，共同作为网络输入。网络输出结果有效去除图像模糊，深层的缺陷更加明显，边界更加锐化清晰，对于形状较小的缺陷也能实现较好的输出结果，为缺陷的定位和分析提供了便利。

权利要求

1.基于深度残差网络的红外热波图像去模糊方法，其特征在于，算法网络包括以下步骤：

构建深度残差网络模型，网络包含两个子网络结构，分别为模糊核估计网络及去模糊网络，网络结构中包含残差、池化、上采样操作以提取图像特征，模糊核估计网络输入为模糊图像，输出为模糊核估计结果，去模糊网络输入为模糊图像与模糊核拼接结果，输出为清晰图像，去模糊网络中从第2个残差模块开始，每个残差模块的输入除了前一层的特征，还将拼接模糊核估计中对应的中间层特征；优化网络的损失函数为其中

此项从梯度角度实现网络优化，

其中Lloss为网络的总损失函数，α,β,γ,ε为常数，上标D,B分别代表使用在去模糊网络或者模糊核估计网络上， 分别代表清晰图像、模糊图像、模糊核分布图像，其中h,w,c代表图像的高度、宽度、通道数，G(·)操作代表对图像求梯度； 训练过程即实现对损失函数的最小化，待损失函数曲线收敛视为训练完成。

2.根据权利要求1所述的基于深度残差网络的红外热波图像去模糊方法，其特征在于，每个残差块中包含若干个卷积层、批量归一化层以及激活函数，并在最后将输入与输出结果相加，实现残差连接。

3.根据权利要求1所述的基于深度残差网络的红外热波图像去模糊方法，其特征在于，残差模块内部的卷积核数目与输入此层的特征图尺寸相关，如果特征图尺寸大小与原始输入I一致，则卷积核数目为n，如果输入特征图尺寸为I的1/m，则卷积核数目为n*m。

说明书

一种基于深度残差网络的红外热波图像去模糊方法

技术领域

[0001] 本发明属于红外图像处理技术领域，尤其涉及一种基于深度残差网络的红外热波图像去模糊方法。

背景技术

[0002] 材料是人们用以制造机器、构件等多种物品的物质基础，金属材料时常出现在我们的生活之中，先进的复合材料已经广泛应用于航空航天领域，但是由于使用方式、时间、环境等多种因素的影响，材料缺陷已经成为了普遍存在的问题。材料缺陷不仅会影响所制物品的性能问题，严重时还将伴随安全隐患，因此对材料缺陷进行有效的检测和分析具有十分重要的意义。

[0003] 红外热波成像技术属于无损检测技术的一种，通过不同媒介材料表面及表面下的物理特性和边界条件对红外热波传输的影响反映在媒介表面的温度变化可以实现缺陷检测，此类检测方法不会破坏物体本身的结构以及材料性质，因此有着十分广泛的应用。然而由于不同材料的热性质不同，热波在传播过程中容易出现横向热扩散，成像距离不一致等多种因素，原始红外热波图像结果容易存在模糊的情况，表现为图像灰度值不高，边界区域不够锐化，严重影响了图像质量，对于缺陷的定位以及判断造成了困难。因此研究一种有效的红外热波图像去模糊方法有着巨大价值。

[0004] 随着图像处理技术的发展，深度学习的方法展示出优秀的图像处理能力，通过学习图像本身多维度的特征，在图像识别检测、超分辨率等多个领域有着重要的应用。在去模糊领域的应用中，深度学习的方法更多的是应用于可见光图像上，对于红外热波图像的去模糊效果不明显，图像质量提升程度不足以满足需求，尤其体现在图像边缘不够锐化。本专利旨在解决深度学习中去模糊算法领域中存在的上诉问题。

发明内容

[0005] 本发明的目的在于克服现有深度学习去模糊方法在红外热波图像上的技术不足，提供一种红外热波图像去模糊方法，有效提高模糊图像的图像质量，提升图像的纹理细节，实现图像边缘锐化的效果。

[0006] 本发明采用的技术方案为一种基于深度残差网络的红外热波图像去模糊方法，该方法的步骤如下：

[0007] 步骤一：构建深度残差网络模型，模型分为两个主要组成部分，分别为模糊核估计网络与去模糊网络，模糊核估计网络输入为模糊图像，输出为该图像的模糊核分布信息。去模糊网络输入为模糊图像与模糊核估计结果的拼接图像，拼接操作通过两张图像在通道维度上的叠加实现，输出为清晰图像。网络模型的设计理念遵循编码器‑解码器网络的设计思想。

[0008] 步骤二：采集红外热波图像，制作数据集用以网络模型的训练。

[0009] 步骤三：设计网络的损失函数，用于网络的训练优化，将红外热波图像数据集送入网络中进行训练，待损失函数收敛后网络模型训练完成。

[0010] 步骤四：输入需要去模糊的红外热波图像，网络输出即为清晰的图像结果。

[0011] 本发明提出了一种基于深度残差网络的红外热波图像去模糊方法，有效解决了红外图像在成像过程中产生的模糊问题，算法输出结果有效提升图像质量，恢复图像纹理细节，对于图像边界区域有着明显的锐化效果，对于去模糊后的输出图像，将峰值信噪比指标PSNR提高至44.43，相似结构性指标SSIM提高至0.9961，有效实现红外图像的去模糊操作，有利于后续对红外图像的检测分析。

附图说明

[0012] 图1是本发明的网络结构示意图

[0013] 图2是图1中的残差模块内部结构示意图

[0014] 图3是图像拼接操作示意图

[0015] 图4是原始的红外热波模糊图像

[0016] 图5是本发明的去模糊结果图像

具体实施方式

[0017] 为详细说明本发明的技术内容，实现效果，下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

[0018] 具体实施方法一：构建深度残差网络模型，模型分为两个主要组成部分，分别为模糊核估计网络与去模糊网络，图1所示的是网络结构的示意图，图中右侧的是去模糊网络，左侧的为模糊核估计网络，图2是其中残差模块的内部结构示意图。对于采集到原始红外热波图像，为RGB三通道图像，将多张图像封装为一个批次首先送入模糊核估计网络中，设输B,H,W,C入图像为I∈R ，B,H,W,C分别为封装的图像数量，图像的长、宽尺寸以及图像的通道数。

[0019] 1.模糊图像首先输入进模糊核估计网络，通过一个卷积核大小为3*3，卷积核数目为n，卷积步长为1的卷积层，并由此获得相应的卷积特征图：

[0020]

[0021] 其中 代表的是卷积特征结果，上标B为所在网络是模糊核估计网络，下标为图1中所在的层数，此处的1代表第一层。

[0022] 2.将获得的第一层卷积特征输入至残差网络模块中，残差模块内部的卷积核大小为3*3，卷积核数目与输入此层的特征图尺寸相关，如果特征图尺寸大小与原始输入I一致，则卷积核数目为n，如果输入特征图尺寸为I的1/m，则卷积核数目为n*m，卷积步长均为1。

[0023] 其中引入批量归一化层以及激活函数，批量归一化层即通过计算输入特征图的均值和方差，从而将输入特征图归一化至均值为0，方差为1的状态。激活函数选用的是PReLU函数，相应的数学表达式为：

[0024]

[0025] 单个残差模块总共包含3个卷积层，2个批量归一化层，2个激活函数，并在最后将输入与输出结果相加，实现残差连接，残差模块的输出可如下表示：

[0026]

[0027] 3.将残差模块的特征结果输入池化层，池化层选择的是最大值池化的方式，池化结果会导致输出的特征图的高度和宽度均缩小一半，但是输出的特征图数量不变：

[0028]

[0029] 4.重复上诉的第2与第3操作步骤3次，即可获得4种不同尺寸下的池化特征结果i代表的是图1中所示的池化层层数，从浅层至深层， 的图像尺寸依次为原始输入的1倍，1/2倍，1/4倍，1/8倍。

[0030] 5.将 作为输入，送入一个残差模块中获得 的特征输出。

[0031] 6.将前一层的特征结果图进行上采样，主要通过反卷积操作实现，卷积核大小为3*3，步长为2，卷积核数目与输入特征图数量一致，反卷积的结果会导致特征图的高度和宽度均扩大一倍，输出结果记为：

[0032]

[0033] 7.将 与 进行拼接，拼接操作如图3所示，即将两组特征图在图像矩阵的通道维度上进行叠加，拼接条件是两组图像的尺寸大小需保证一致，将拼接结果送入下一个残差模块，获得 其中Cconcat表示图像拼接操作。

[0034] 8.重复第6与第7操作步骤，即可获得不同尺寸下的上采样结果图像尺寸依次为原始输入的1/8倍，1/4倍，1/2倍，1倍。，以及残差模块输出结果[0035] 9.将最后一层的残差模块的结果经过一个卷积层，卷积核大小为3*3，卷积核数目为3，卷积步长为1，即可获得输入图像对应的模糊核估计结果B。

[0036]

[0037] 10.将模糊核估计结果与原始模糊图像进行拼接，拼接结果记为ID＝Cconcat(I,B)，将其送入去模糊网络之中，去模糊网络的网络结构与模糊核估计网络一致，区别在于学习的特征不同，去模糊网络输出的结果即为清晰图像，此网络的第一层输出结果记为：

[0038]

[0039] 为卷积特征结果，上标D为所在网络是去模糊网络，下标为图1中所在的层数，此处的1代表第一层。

[0040] 11.重复上述步骤2‑8的类似操作，可以得到去模糊网络的不同中间层特征结果，与模糊核估计网络的区别在于，去模糊网络输出的是清晰图像，在网络传播过程中，需要结合模糊核信息，以此提高输出结果的精确程度。为实现此目的，从第2个残差模块开始，每个残差模块的输入除了前一层的特征结果，还将拼接模糊核估计中对应的特征结果：

[0041]

[0042] 其中 代表的是第i层去模糊网络中残差模块的输出结果，Fres为残差模块表达式，Cconcat表示图像拼接操作， 分别表示第i‑1层的模糊核估计网络与去模糊网络的特征结果。

[0043] 12.将最后一层的残差模块的结果经过一个卷积层，卷积核大小为3*3，卷积核数目为3，卷积步长为1，将卷积特征加上原始输入图像即可获得输入图像对应的清晰结果O。

[0044]

[0045] 具体实施方法二：采集原始的红外热波图像数据，并制作清晰的图像，作为用以网络训练的红外热波数据集对。

[0046] 具体实施方法三：使用红外热波数据集对网络进行训练优化，所使用的损失函数如下：

[0047]

[0048]

[0049]

[0050]

[0051] 其中Lloss为网络的总损失函数，α,β,γ,ε为常数，公式11‑13为应用于不同网络部分的损失函数，上标D,B分别代表使用在去模糊网络或者模糊核估计网络上，I,B分别代表清晰图像、模糊图像、模糊核分布图像，其中 h,w,c代表图像的高度，宽度，通道数。G(·)操作代表对图像求梯度。训练过程即实现对损失函数的最小化，待损失函数曲线收敛视为训练完成。

[0052] 如图4所示，原始的模糊图像由于不同样品缺陷成像距离不一致，较深的缺陷则更为模糊不清，不易通过人眼观察得到，图像的模糊区域导致丢失了许多特征信息，边界不够锐化明显，对缺陷的定位以及分析带来困难。

[0053] 图5是本发明算法的去模糊结果，如图所示，网络输出结果有效去除图像模糊，深层的缺陷更加明显，边界更加锐化清晰，对于形状较小的缺陷也能实现较好的输出结果，为缺陷的定位和分析提供了便利。

[0054] 为更好的评估本发明的性能，现对本发明的测试结果进行峰值信噪比(Peak Signal to Noise Ratio，PSNR)以及结构相似性(Structural Similarity，SSIM)指标评价，并与对比算法1(Kupyn,Orest,et al."DeblurGAN:Blind Motion Deblurring Using Conditional Adversarial Networks."2018IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR)IEEE,2018.)以及对比算法2(Tao,Xin,et al."Scale‑recurrent Network for Deep Image Deblurring."2018IEEE/CVF Conference on Computer Vision and Pattern Recognition IEEE,2018.)进行比较分析，结果如下所示：

[0055] 表1不同方法图像去模糊结果

[0056]