基于UDCT和PCNN的可见光与红外图像融合方法

摘要

基于UDCT和PCNN的可见光与红外图像融合算法，本发明涉及图像处理技术领域，解决现有技术由于不能够判断待融合图像低频信息的相似性、不能够判断源图像的细节丰富程度而导致的融合图像不清晰、细节不明显等技术问题。本发明主要包括将可见光图像和红外图像的源图像分别进行UDCT变换分解后，可得到不同尺度不同方向的UDCT子带系数，其包含了低频和高频的UDCT系数；(2)按照特定的规则对各尺度层采用不同的方式进行融合处理，即对低频系数采用低频系数融合规则，而采用高频系数融合规则处理高频系数，最后可获取融合后的各层UDCT系数；逆变换融合后的各层UDCT系数得到的重构图像便是融合图像。

权利要求

1.基于UDCT和PCNN的可见光与红外图像融合方法，其特征在于，包括如下步骤，步骤1、获取可见光源图像和红外源图像，分别划分可见光源图像和红外源图像为可见光图像块和红外图像块；

步骤2、对可见光源图像和红外源图像进行均匀离散曲波变换，每幅源图像分别获得一组不同尺度且不同方向的低频子带系数和高频子带系数；

步骤3、选择高频融合规则并通过脉冲耦合神经网络对高频子带系数进行融合，获得高频融合系数；

步骤4、计算可见光图像块和红外图像块的能量相似度特征值，计算可见光图像块和红外图像块的高斯差分特征值，再根据能量相似度特征值和高斯差分特征值，选择低频融合规则并对低频子带系数进行融合，获得低频融合系数；

步骤5、根据低频融合系数和高频融合系数，获得融合系数，再根据融合系数，利用多尺度变换逆变换进行图像重构，获得融合图像；

所述的步骤3，包括如下步骤，

步骤3.1、通过对源图像进行UDCT变换获得UDCT变换系数，然后将其作为PCNN神经元的输入，输入进PCNN神经网络，由此，可生成一个与神经元点火次数的总和相对应的点火分布矩阵；

步骤3.2、将UDCT得到的各子带系数分别输入PCNN，经由同样次数的迭代得到各自对应的点火映射图；

步骤3.3、通过比较点火映射图对应像素处的点火次数，就可判定该对应处是否为高频信息丰富处，以此获得高频融合系数；

设源图像A，B的变换系数位置为(i，j)对应的PCNN神经元点火次数分别表示为PA(i,j)，PB(i,j)，高频融合规则为：为高频融合系数、 为可见光源图像A的高频子带系数、

为红外源图像B的高频子带系数；

所述的步骤4，包括如下步骤，

步骤4.1、通过如下公式，计算可见光图像块和红外图像块的能量相似度特征值S(i,j)其中，FA(i,j),FB(i,j)分别为可见光图像块和红外图像块，以图像二维坐标(i,j)为中心，min{E(FA(i,j)),E(FB(i,j))}为可见光图像块和红外图像块能量的最小值函数，max{E(FA(i,j)),E(FB(i,j))}为可见光图像块和红外图像块能量的最大值函数；

步骤4.2、预设相似度阈值，判断能量相似度特征值S(i,j)是否大于相似度阈值；

步骤4.2.1、若能量相似度特征值S(i,j)大于相似度阈值，选取平均规则融合低频子带系数；

步骤4.2.2、若能量相似度特征值S(i,j)小于或等于相似度阈值，选取能量相对更大的可见光图像块或红外图像块，并对其赋相对更大的加权；

步骤4.3、结合高斯差分特征值，通过更新如下公式

为融合公式

并设置阈值T，从而获得低频融合系数 其中，α1,α2为加权系数，以图像二维坐标(i,j)为中心， 为低频融合系数、 为可见光源图像A的低频子带系数、 为红外源图像B的低频子带系数， 为对图像A以坐标(i,j)中心进行高斯差分后的特征值， 为图像B以坐标(i,j)中心进行高斯差分后的特征值。

说明书

基于UDCT和PCNN的可见光与红外图像融合方法

技术领域

[0001] 本发明涉及图像处理技术领域，具体涉及基于UDCT和PCNN的可见光与红外图像融合方法。

背景技术

[0002] 当前，利用可见光与红外图像的融合技术来提升红外图像质量是红外图像增强领域的研究热点，而基于多尺度的融合技术则是这一热点中的主流研究方向。基于多尺度的融合技术原理如下：第一步，通过多尺度变换将源图分解为一系列的子图像，这些子图像尺度不同、频率和空间特性相异。第二步，按照特定的融合规则对源图像的变换系数作融合计算。第三步，将融合后的变换系数通过多尺度分解的逆变换得到融合后的高质量图像。尽管传统的基于多尺度分解的图像融合技术，例如小波分解的融合技术在一定程度上能够提升图像质量，但是却有着结构复杂，数据冗余度高的突出缺点。

[0003] 为了解决上述问题，本发明采用基于均匀离散曲波变换(Uniform Discrete Curvelet Transform，UDCT)来分解源图。将均匀离散曲波变换引入图像融合算法具有很多优点。首先，原始图像在UDCT辅助下进行多方向、多尺度的分解，契合于人类世界感知信息的方式，可以全方位地获取原始图像中的细节特征，进而为图像融合供给更为有效的参考信息。其次，UDCT的平移不变性可有效抑制由于配准精度差对融合结果产生的不良影响。此外，UDCT系数冗余度低且实现简单，并且尺度不同的系数具备空间相关性，所以在融合规则的选择上可以以更为灵活的方式来融合系数。

[0004] 此外融合规则是图像融合过程中的核心环节，融合规则的优劣将在很大程度上影响着图像融合的质量。由于认识到脉冲耦合神经网络(Pulse Coupled Neural Network，PCNN)具有脉冲发放、捕获以及变阈值的特征，与人类视觉系统相符，所以本发明提出了一种结合均匀离散曲波变换和脉冲耦合神经网络的可见光与红外图像融合方法。

发明内容

[0005] 针对上述现有技术，本发明目的在于提供基于UDCT和PCNN的可见光与红外图像融合方法，解决现有技术由于不能够判断待融合图像低频信息的相似性、不能够判断源图像的细节丰富程度而导致的融合图像不清晰、细节不明显等技术问题。

[0006] 为达到上述目的，本发明采用的技术方案如下：

[0007] 基于UDCT和PCNN的可见光与红外图像融合方法，包括如下步骤，[0008] 步骤1、获取可见光源图像和红外源图像，分别划分可见光源图像和红外源图像为可见光图像块和红外图像块；

[0009] 步骤2、对可见光源图像和红外源图像进行均匀离散曲波变换，每幅源图像分别获得一组不同尺度且不同方向的低频子带系数和高频子带系数；

[0010] 步骤3、计算可见光图像块和红外图像块的高斯差分特征值，再根据高斯差分特征值，选择高频融合规则并通过脉冲耦合神经网络对高频子带系数进行融合，获得高频融合系数；

[0011] 步骤4、计算可见光图像块和红外图像块的能量相似度特征值，再根据能量相似度特征值和高斯差分特征值，选择低频融合规则并对低频子带系数进行融合，获得低频融合系数；

[0012] 步骤5、根据低频融合系数和高频融合系数，获得融合系数，再根据融合系数，利用多尺度变换逆变换进行图像重构，获得融合图像。

[0013] 上述方法中，所述的步骤3，包括如下步骤，

[0014] 步骤3.1、通过对源图像进行UDCT变换获得UDCT变换系数，然后将其作为PCNN神经元的输入，输入进PCNN神经网络，由此，可生成一个与神经元点火次数的总和相对应的点火分布矩阵。

[0015] 步骤3.2、将UDCT得到的各子带系数分别输入PCNN，经由同样次数的迭代得到各自对应的点火映射图；

[0016] 步骤3.3、通过比较点火映射图对应像素处的点火次数，就可判定该对应处是否为高频信息丰富处，以此获得高频融合系数；

[0017] 设源图像A，B的变换系数位置为(i，j)对应的PCNN神经元点火次数分别表示为PA(i,j)，PB(i,j)，高频融合规则为：

[0018]

[0019] 上述方法中，所述的步骤4，包括如下步骤，

[0020] 步骤4.1、通过如下公式，计算可见光图像块和红外图像块的能量相似度特征值S(i,j)

[0021]

[0022] 其中，FA(i,j),FB(i,j)分别为可见光图像块和红外图像块，以图像二维坐标(i,j)为中心，min{E(FA(i,j)),E(FB(i,j))}为可见光图像块和红外图像块能量的最小值函数，max{E(FA(i,j)),E(FB(i,j))}为可见光图像块和红外图像块能量的最大值函数；

[0023] 步骤4.2、预设相似度阈值，判断能量相似度特征值S(i,j)是否大于相似度阈值；

[0024] 步骤4.2.1、若能量相似度特征值S(i,j)大于相似度阈值，选取平均规则融合低频子带系数；

[0025] 步骤4.2.2、若能量相似度特征值S(i,j)小于或等于相似度阈值，选取能量相对更大的可见光图像块或红外图像块，并对其赋相对更大的加权；

[0026] 步骤4.3、结合高斯差分特征值，通过更新如下公式

[0027]

[0028] 为融合公式

[0029]

[0030] 并设置阈值T，从而获得低频融合系数 其中，α1,α2为加权系数，X取F、A或B，以图像二维坐标(i,j)为中心， 对应X取值分别为低频融合系数、可见光源图像A的低频子带系数或红外源图像B的低频子带系数。

[0031] 与现有技术相比，本发明的有益效果：

[0032] 本发明融合方法使用系数块分析低频信息的相似度，如果信息相似，则采用简单平均，否则便使用高斯函数的差分特征来选择哪个源图像的细节较为丰富，并选择其作为融合图像；

[0033] 在高频信号的融合规则中，本发明方法摒弃了传统的直接对高频带通子带系数取绝对值的方法；通过引入脉冲耦合神经网络，将点火映射图中邻域特性更显著的，即邻域均值较大像素的子带系数作为融合图像对应像素的带通方向子带系数；通过在高频信号中引入脉冲耦合神经网络，本融合方法能充分利用红外图像和可见光图像中的特征信息；本方法能更好地捕捉可见光图像和红外图像的主体和细节信息，提升融合图像的视觉展现力；

[0034] 融合图像内景物层次感强，并且噪声较小，基本消除吉布斯块状效应，具有更好的视觉效果；相对于基于广义随机游走的方法，本发明保留图像的部分边缘信息，使对比度有所提高。

附图说明

[0035] 图1为本发明的图像融合方法框图；

[0036] 图2为使用的红外和可见光图像组图，(a)(b)为红外图像，(c)(d)分别为(a)(b)对应的可见光图；

[0037] 图3为各种方法对船图像融合结果的比较组图，(a)红外图像(b)可见光图像(c)基于小波方法的结果(d)基于Contourlet方法的结果(e)基于UDCT的融合方法(f)基于广义随机游走的融合方法(g)本发明方法的结果；

[0038] 图4为船图像可见光和红外图像对的融合结果矩形标注区域的局部放大图，图(a)–(g)为图3(a)–(g)中矩形区域的局部放大图；

[0039] 图5为各种方法对树林图像融合结果的比较组图，(a)红外图像(b)可见光图像(c)基于小波方法的结果(d)基于Contourlet方法的结果(e)基于UDCT的融合方法(f)基于广义随机游走的结果(g)本发明方法的结果。

具体实施方式

[0040] 本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

[0041] 下面结合附图对本发明做进一步说明：

[0042] 实施例1

[0043] 鉴于UDCT变换的优良性能，本文将其应用于红外与可见光图像的融合方法中。本算法可概述为以下三步：

[0044] (1)将可见光图像和红外图像的源图像分别进行UDCT变换分解后，可得到不同尺度不同方向的UDCT子带系数。其包含了低频和高频的UDCT系数。

[0045] (2)按照特定的规则对各尺度层采用不同的方式进行融合处理，即对低频系数采用低频系数融合规则，而采用高频系数融合规则处理高频系数，最后可获取融合后的各层UDCT系数。

[0046] (3)逆变换融合后的各层UDCT系数得到的重构图像便是融合图像。

[0047] 算法所采用的融合规则

[0048] 选择融合规则直接地决定了图像融合的质量，因此，融合规则在图像融合的过程之中非常重要，同时其也是图像研究中的热点。通常情况下，鉴于低频与高频部分具有不同的特性，因此对这两部分采用不同的融合规则进行处理。

[0049] 低频融合规则

[0050] 图像中的低频信号主要由图像的主体信息以及一些较小的图像细节信息组成。为了在融合图像中体现红外图像以及可见光图像的主体信息，传统的方法是应用加权平均或者简单平均的方法对低频部分进行融合：

[0051]

[0052] 其中，α1,α2为加权系数，当α1＝α2＝0.5时为简单平均。

[0053] 但是如果源图像之间的低频信息差异较大，通过简单平均获得的融合结果将不太理想，容易模糊一些特征。为了克服这一问题，本算法首先分析判断源图像的低频信息：若待融合的源图像低频信息较为相似，则采用简单平均方式；考虑图像融合旨在取得更为清晰且细节更为多样的融合图像。所以，若待融合的源图像低频信息不是很相似，就选取细节信息较为丰富的源图像为融合图像。

[0054] 为实现上述目标，就必须解决下面两个问题:

[0055] 1)如何判断融合源图像的低频信息不相似？

[0056] 2)如何判断哪个源图像的细节丰富？

[0057] 对于第一个问题，即如何判断融合源图像的低频信息不相似，可采用以下方法解决。

[0058] 由于图像(系数)块包含的信息远多于像素(系数)代表的信息，并且更不易受到噪声的影响，所以使用系数块分析低频信息的相似度。为了快速计算系数块之间的差异，可直接计算系数块的能量，然后分析能量之间的差异来计算相似度。本算法采用如下近似度(也称为相似度)函数S(.)来判断融合源图像的低频信息是否相似：

[0059]

[0060] 其中，FA(i,j),FB(i,j)分别为源图像A,B中以(i,j)为中心的一个系数块，系数块的大小设置为3×3；E(.)为计算系数块的能量。从上式可以明显分析出S(i,j)的取值范围为[0,1]。S(i,j)的值越高，源图像A,B的低频信息越相似；S(i,j)的值越低，源图像A,B的低频信息差异越大。如果源图像A，B的低频信息相似，即S(.)大于预先设定的一个阈值T，可采用平均规则进行融合；如果源图像的低频信息相似度低，即S(.)小于预先设定的一个阈值T，要选取具有能量更大的系数。这是因为该系数包含更多细节，而融合图像期望包含更多的细节。

[0061] 对于第二个问题，如何判断哪个源图像的细节更为丰富，可使用高斯函数的差分特征(Difference of Gaussian,DOG)对细节进行度量，DoG特征能量越大，说明细节越丰富，就越应该被选为融合图像。DOG为高斯函数的差分，它是两个不同参数的高斯滤波后的图像相减。

[0062] 高斯滤波函数表示为：

[0063]

[0064] 图像I的两个不同参数的高斯滤波为：

[0065]

[0066]

[0067] DoG特征表示为

[0068]

[0069] 其中， 分别表示参数为σ1和σ2的两个高斯函数，I为待处理图像；g2,g1分别为 对待处理图像高斯滤波后的图像。FDoG为获得的DoG特征。

[0070] 由于图像(系数)块代表的信息远多于像素(系数)代表的信息。因此，计算能量时以系数块为单位计算。即将源图像划分为多个图像块，然后计算图像块的DoG特征，选取特征最大的图像块的图像的系数为融合后的系数。对源图像低频信息不相似的区域，融合规则表示为：

[0071]

[0072] 其中，DA(i,j)为以(i,j)中心，对图像进行DoG滤波后的图像块的能量。

[0073] 综上所述，低频的系数融合规则具体表示为：

[0074]

[0075] 其中，T为预先设定的一个阈值。D为对图像进行DoG滤波后的图像块，以(i，j)为中心的能量。

[0076] 高频融合规则

[0077] 对于高频分量的融合规则，通常的做法是对高频带通子带系数取绝对值大值进行融合处理，因为一般来说，系数越大代表高频信息也越丰富:

[0078]

[0079] 本发明的算法通过对源图像进行UDCT变换获得UDCT变换系数，然后将其作为PCNN神经元的输入，输入进PCNN神经网络。即UDCT变换系数与PCNN输入神经元二者之间存在逐一对应关系。同时，每个神经元在链接域内和邻近的数个神经元互相链接，存在二种状态的神经元输出，也就是点火与非点火。由此，一个与神经元点火次数的总和相对应的点火分布矩阵就生成了。

[0080] 将UDCT得到的各子带系数分别输入PCNN，经由同样次数的迭代得到各自对应的点火映射图。再比较点火映射图对应像素处的点火次数，就可判定该位置处的目标是否是高频细节区域。因而在图像融合时，将源图像的UDCT变换系数输入PCNN，通过各神经元点火次数生成的点火映射图就可以有效地提取变换系数图中对应的边缘、纹理等高频信息。并且，某一变换系数点对应的神经元点火次数越多，则说明图像中该点的信息越丰富。

[0081] 融合图像对应像素的带通方向子带系数可直接取点火映射图中邻域特性较显著，即邻域均值较大像素的子带系数。

[0082] 设源图像A，B的变换系数位置为(i，j)对应的PCNN神经元点火次数分别表示为PA(i,j)，PB(i,j)，高频融合规则为：

[0083]

[0084] 基于UDCT变换和PCNN的融合算法流程

[0085] 基于UDCT和PCNN的图像融合示意图如图1所示。融合的基本步骤为：

[0086] 通过UDCT变换，分解源图像A和B，获得尺度不同且方向不同的UDCT子带系数。它的UDCT系数包含粗尺度和最高层细尺度。除了最高层，其他的各细尺度层都组成于不同方向的UDCT系数；采用不同的融合规程对各尺度层进行融合处理。

[0087] 实施例2

[0088] 为对算法的有效性进行验证，实验采用已配准的两组相同场景的红外和可见光图像。实验图像如图2所示。本发明提出的方法与基于小波变换的方法和基于非下采样小波变换的方法、基于Contourlet变换的方法、基于UDCT变换的方法以及基于广义随机游走的方法进行比较。实验中，小波变换和非下采样小波变换采用的都是3层分解，并使用Harr小波基函数，采用最大系数规则融合高频系数，使用平均规则融合低频系数。

[0089] 应用不同融合方法对图2中船图像的实验结果如图3所示。图3(a)和图3(b)分别为船的红外图像和可见光图像；图3(c)为基于小波方法的结果；图3(d)为基于Contourlet方法的结果；图3(e)为基于UDCT的融合结果；图3(f)为基于广义随机游走方法的结果；图3(g)为本发明提出方法的结果。从主观视觉效果上来看，各种融合算法均能够在不同程度上保留红外图像与可见光图像中的主要信息。

[0090] 图3各种方法对船图像融合结果的比较

[0091] 通过比较各融合图像可以发现，基于小波的融合结果的景物缺乏层次感，并且噪声较大，存在明显的吉布斯块状效应；基于Contourlet变换的融合结果与基于小波的融合结果效果类似。仔细观察会发现基于Contourlet变换的融合结果略优于基于小波的融合结果，这是由于Contourlet变换具有比小波变换更好的性能。基于UDCT的融合方法的结果优于前两个结果，这是由于UDCT变换优于小波变换和Contourlet变换。而基于广义随机游走的方法较前几种方法更新颖，其融合后图像较为平滑，整体效果比前几种方法要好。可以看出本发明提出的方法的融合效果层次感更强，具有更好的视觉效果，整体上明显优于基于小波的融合方法、基于Contourlet的融合方法和基于UDCT的融合方法。而基于广义随机游走的方法的结果虽然显得比本文方法的结果较为平滑，但是却抹灭图像的部分边缘信息，使其对比度有所降低。

[0092] 图5各种方法对树林图像融合结果的比较

[0093] 为了进一步地观察本发明算法的视觉效果，将图3中矩形标注区域进行放大，放大后的图像如图4所示。可以看出，基于小波和基于Contourlet的方法明显存在一些马赛克，并且吉布斯块状效应较为严重。基于UDCT的融合方法能够克服一定的块状效应，但是存在一定的噪声。而基于广义随机游走的方法整体却过于平滑，丢失部分边缘信息。而本文的算法能较好地克服这些问题，有更为清晰的视觉效果。这主要是本文不仅采用性能良好的UDCT变换，而且采用PCNN进行高频系数的融合，因此得到的融合效果较理想。

[0094] 图5为各种方法对树林图像融合结果的比较，仔细观察会得出与图3相同的结论。即本文算法相比于其它方法取得最好的视觉效果。

[0095] 表1算法总体性能试验的客观评价指标比较

[0096]

[0097] 为了客观地分析实验结果，这里采用了QSSIM，互信息和QAB/F三个客观的评价指数来分析融合结果。互信息是对融合图像从源图像中获取的信息量的反映，值越大表明融合的效果就越好；QAB/F是对融合图像的边缘丰富程度进行反映，其取值范围为0至1，值越大表明融合的效果就越好。QSSIM是图像结构相识度指标，表示相邻像素的关联性，其取值范围为-1至1，值越大表示融合的信号越相识。对不同方法融合结果的客观评价如表1所示。

[0098] 从表1中可以看出，尽管在QSSIM指标上本发明的方法与相比较的方法各有优劣，但是从其他二个指标上来看：基于小波的融合方法与基于Contourlet的融合方法性能相差不大，相对来说性能都较低。基于UDCT的方法性能明显优于基于小波的融合方法与基于Contourlet的融合方法。较新颖的基于广义随机游走的方法又大大好于前几种方法。而本发明方法虽在互信息这个指标上稍逊于基于广义随机游走的方法，但是在边缘丰富度上却明显优于它，这与主观视觉效果一致。

[0099] 表2额外五组图像对融合对比实验的MI比较

[0100]

[0101] 表3额外五组图像对融合对比实验的QAB/F比较

[0102]

[0103]

[0104] 为更客观地分析本发明算法的性能，表2、4-3和4-4展示了另外五组已配准图像对的对比实验结果。从这些表中的数据也印证上述实验分析，即本发明所提的方法虽然在互信息和结构相似度上和所对比的方法互有优劣，但是却具有较好的边缘保持度，因而融合后的图像目标特征较为清晰、主观视觉效果总体较好。但本发明算法在融合规则部分未考虑图像区域重要性，因而还存在进一步提升融合效果的可能性。

[0105] 表4额外五组图像对融合对比实验的QSSIM比较

[0106]

[0107] 本发明提出一种新的红外图像增强方法，即基于均匀离散曲波变换和脉冲耦合神经网络的可见光与红外图像融合方法。本方法的独特之处在于：

[0108] 充分利用均匀离散曲波变换多尺度、多方向的特性来分解源图像，更加有效地捕获到了源图像的细节特征信息，为下一步的融合打下了更好的基础。

[0109] 传统的融合方法对低频信号采用简单平均获得融合结果，其方法虽然简单易用，但是效果却不甚理想，容易产生主体模糊的情况。为克服这一问题，本发明研究的融合方法使用系数块分析低频信息的相似度，如果信息相似，则采用简单平均；否则便使用高斯函数的差分特征(DOG)来选择哪个源图像的细节较为丰富，并选择其作为融合图像。在高频信号的融合规则中，本发明方法摒弃了传统的直接对高频带通子带系数取绝对值的方法。通过引入脉冲耦合神经网络，将点火映射图中邻域特性更显著的，即邻域均值较大像素的子带系数作为融合图像对应像素的带通方向子带系数。通过在高频信号中引入脉冲耦合神经网络，本融合方法能充分利用红外图像和可见光图像中的特征信息。

[0110] 从实验结果来看，本发明提出的方法能更好地捕捉可见光图像和红外图像的主体和细节信息，提升融合图像的视觉展现力；同时，从实验的客观评价数据上分析，本发明提出的融合方法也优于传统的方法。

[0111] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。