基于双尺度空间的图像融合方法和装置

摘要

本发明提供了基于双尺度空间的图像融合方法：获取待融合源图像；对所述源图像进行非抽样形态小波分解，得到所述源图像在第二尺度空间的细节图像和尺度图像，所述细节图像为所述源图像与所述源图像分别经不同的分析滤波器变换后的平均值的差值，所述尺度图像由所述源图像分别经不同的分析滤波器变换生成；将所述尺度图像、细节图像进行系数融合；将融合的系数进行双尺度空间非抽样形态小波逆变换，得到融合后的图像。本发明对两个相同的尺度信号分别采用不同的分析滤波器进行变换，变换的差异大，相应的高频系数为两个尺度图像的平均值的值，使得图像融合时所需要分解的层数更少，能够有效的满足局部极值保持和局部极值缩减的尺度空间属性。

权利要求

1.基于双尺度空间的图像融合方法，其特征在于，所述方法包括：

获取待融合源图像，所述源图像包括第一源图像和第二源图像；

对所述源图像进行非抽样形态小波分解，得到所述源图像在第二尺度空间的细节图像和尺度图像，所述细节图像为所述源图像与所述源图像分别经不同的分析滤波器变换后的平均值的差值，所述尺度图像由所述源图像分别经不同的分析滤波器变换生成；

将所述第一源图像的尺度图像与第二源图像对应的尺度图像、第一源图像的细节图像与第二源图像对应的细节图像按照预定的系数融合规则进行系数融合；

将融合的系数进行双尺度空间非抽样形态小波逆变换，得到融合后的图像。

2.根据权利要求1所述方法，其特征在于，所述对所述源图像进行非抽样形态小波分解，得到所述源图像在第二尺度空间的细节图像和尺度图像，所述细节图像为所述源图像与所述源图像分别经不同的分析滤波器变换后的平均值的差值步骤具体包括：获取源图像在第一尺度空间的第一尺度信号和第二尺度信号，所述第一尺度信号、第二尺度信号相同与源图像相同；

对所述第一尺度信号和第二尺度信号分别经不同的分析滤波器变换得到第一尺度图像和第二尺度图像，由所述第一尺度信号和第二尺度信号取平均运算得到第一平均尺度信号；

根据所述第一尺度图像和第二尺度图像取平均运算得到第二平均尺度信号，由所述第一平均尺度信号减去第二平均尺度信号得到细节图像。

3.根据权利要求2所述方法，其特征在于，所述将融合的系数进行双尺度空间非抽样形态小波逆变换，得到融合后的图像步骤具体为：将融合后的所述第二平均尺度信号和所述细节图像取和，得到融合后的图像。

4.根据权利要求2所述方法，其特征在于，所述对所述第一尺度信号和第二尺度信号分别经不同的分析滤波器变换得到第一尺度图像和第二尺度图像步骤中，第一尺度信号采用膨胀运算作为分析滤波器变换得到第一尺度图像，第二尺度信号采用腐蚀运算作为分析滤波器得到第二尺度图像；或者第一尺度信号采用腐蚀运算作为分析滤波器变换得到第一尺度图像，第二尺度信号采用膨胀运算作为分析滤波器得到第二尺度图像。

5.根据权利要求1所述方法，其特征在于，所述对所述源图像进行非抽样形态小波分解，得到所述源图像在第二尺度空间的细节图像和尺度图像步骤具体包括：获取源图像在第一尺度空间的第一尺度信号和第二尺度信号，所述第一尺度信号、第二尺度信号相同与源图像相同；

采用方向结构元素分别提取所述第一尺度信号和第二尺度信号在不同方向上的非线性变化特征，得到所述源图像在每个方向的两个相同的尺度信号；

对所述源图像在每个方向上的尺度信号经不同的分析滤波器变换，得到所述源图像在每个方向的两个尺度图像；

由每个方向的尺度信号与所述方向上的两个尺度图像的平均值的差值，得到所述方向的细节图像。

6.根据权利要求5所述方法，其特征在于，所述将融合的系数进行双尺度空间非抽样形态小波逆变换，得到融合图像步骤具体为：将融合后的每个方向的两个尺度图像的平均值与所述方向的细节图像取和，得到每个方向的重构的图像信号，对所述每个方向的重构的图像信号求和取平均值，得到融合后的图像。

7.基于双尺度空间的图像融合装置，其特征在于，所述装置包括：

获取单元，用于获取待融合源图像，所述源图像包括第一源图像和第二源图像；

小波分解单元，用于对所述源图像进行非抽样形态小波分解，得到所述源图像在第二尺度空间的细节图像和尺度图像，所述细节图像为所述源图像与所述源图像分别经不同的分析滤波器变换后的平均值的差值，所述尺度图像由所述源图像分别经不同的分析滤波器变换生成；

系数融合单元，用于将所述第一源图像的尺度图像与第二源图像对应的尺度图像、第一源图像的细节图像与第二源图像对应的细节图像按照预定的系数融合规则进行系数融合；

逆变换单元，用于将融合的系数进行双尺度空间非抽样形态小波逆变换，得到融合后的图像。

8.根据权利要求7所述装置，其特征在于，所述小波分解单元包括：

第一获取子单元，用于获取源图像在第一尺度空间的第一尺度信号和第二尺度信号，所述第一尺度信号、第二尺度信号相同与源图像相同；

分析滤波器变换子单元，用于对所述第一尺度信号和第二尺度信号分别经不同的分析滤波器变换得到第一尺度图像和第二尺度图像，由所述第一尺度信号和第二尺度信号取平均运算得到第一平均尺度信号；

第一细节图像获取子单元，用于根据所述第一尺度图像和第二尺度图像取平均运算得到第二平均尺度信号，由所述第一平均尺度信号减去第二平均尺度信号得到细节图像。

9.根据权利要求7所述装置，其特征在于，所述小波分解单元包括：

第二获取子单元，用于获取源图像在第一尺度空间的第一尺度信号和第二尺度信号，所述第一尺度信号、第二尺度信号相同与源图像相同；

提取子单元，用于采用方向结构元素分别提取所述第一尺度信号和第二尺度信号在不同方向上的非线性变化特征，得到所述源图像在每个方向的两个相同的尺度信号；

尺度图像获取子单元，用于对所述源图像在每个方向上的尺度信号经不同的分析滤波器变换，得到所述源图像在每个方向的两个尺度图像第二细节图像获取子单元，用于由每个方向的尺度信号与所述方向上的两个尺度图像的平均值的差值，得到所述方向的细节图像。

10.根据权利要求9所述装置，其特征在于，所述逆变换单元具体用于将融合后的每个方向的两个尺度图像的平均值与所述方向的细节图像取和，得到每个方向的重构的图像信号，对所述每个方向的重构的图像信号求和取平均值，得到融合后的图像。

说明书

基于双尺度空间的图像融合方法和装置

技术领域

[0001] 本发明属于图像处理领域，尤其涉及基于双尺度空间的图像融合方法和装置。

背景技术

[0002] 图像融合是通过某种融合系统，将两个或多个互补的波段、传感器的有用信息综合成统一图像或综合图像特征以供观察或进一步处理，达到对目标或场景更为精确、全面的识别、分析和判决的图像处理方法。

[0003] 目前绝大多数图像融合研究都集中在多尺度图像融合中。多尺度分析的图像融合方法主要经历了金字塔变换、小波变换和超小波变换三个阶段。目前研究热点在于图像多尺度几何分析（也即超小波变换），旨在构建最优逼近意义下的高维函数表示方法，它的一个重要主题就是寻找更有效的核函数用于检测、表示和处理高维空间数据。

[0004] 现在应用较为广泛的研究成果是2005年提出的一种兼具平移不变性和多方向性的Contourlet变换：非下采样Contourlet变换（NSCT）。它是通过结合非下采样的塔式分解和非下采样的方向滤波器组实现的，不但继承了Contourlet变换的优良特性，而且具备平移不变性。但是相比于Contourlet变换，非下采样带来的图像数据的处理量大大增加，使得NSCT运算缓慢，不利于实时处理。采用线性滤波器的小波分析中的另一个问题是，在多尺度分解的过程中，低频图像中的边缘被不断模糊，导致不易定位。

[0005] 2000年，Heijmans和Goutsias采用形态算子代替线性滤波器实现了形态小波，这种非线性的小波变换具有良好的细节保持和抗噪声性能。相比于传统的小波变换，形态小波变换具有一些十分有用的性质：运算快捷非常适合实时图像处理(具有2×2的最小支撑区间)、整数变换、边缘信息更为有效的表示等，且兼顾了金字塔变换及小波变换的金字塔特性。自提出以来，受到了人们的关注，出现了一些在图像融合上的研究成果。然而由于形态小波中存在下采样，因此有移变性的缺陷，导致融合结果中出现块状效应，尤其是分解层数较高时会很明显。

[0006] 为了克服传统形态小波因缺乏平移不变性而引起的移变性，结合形态小波与非抽样小波变换中的àtrous小波提出了一种新的基于形态学的信号多尺度分解方法：形态非抽样小波(Morphological Un-Decimated Wavelet，MUDW)，但是其仅将其应用在一维信号上，实现特征检测的功能，在不引起歧义的前提下，本发明统一称为非抽样形态小波。

[0007] 为将非抽样形态小波应用于图像融合，提出了一种用膨胀和腐蚀运算的平均作为分析算子的DE-MUDW(Dilate-Erode MUDW，膨胀腐蚀形态非抽样小波)，并应用于实时图像融合的方法，取得了比其他实时图像融合方法更好的实时性，且融合效果更佳，（原文见：基于形态非抽样小波的实时图像融合方法[J],计算机应用,2012,32(10):2809-2813作者：邓苗,张基宏,柳伟）。它定义的分析算子能较好地提取图像中的边缘特性，具有良好的多尺度分解特性。同时，融合过程中设置了增强算子，从而提高了融合图像的质量。然而，DE-MUDW虽然取得了较好的融合质量，但是存在两个缺陷：

[0008] 1.从形态学尺度空间的属性上来说，它不能很好地满足局部极值保持和局部极值缩减的尺度空间属性。

[0009] 2.该方法中的结构元素采用的是矩形的结构元素，并没有考虑到图像中特征的方向各异性，导致融合后的图像会出现边缘附近暗/亮纹较重的现象。

发明内容

[0010] 本发明实施例的目的在于提供基于双尺度空间的图像融合方法，以解决现有技术使用膨胀和腐蚀运算的平均作为分析算子的DE-MUDW不能很好地满足局部极值保持和局部极值缩减的尺度空间属性的问题。

[0011] 本发明实施例是这样实现的，基于双尺度空间的图像融合方法，所述方法包括：

[0012] 获取待融合源图像，所述源图像包括第一源图像和第二源图像；

[0013] 对所述源图像进行非抽样形态小波分解，得到所述源图像在第二尺度空间的细节图像和尺度图像，所述细节图像为所述源图像与所述源图像分别经不同的分析滤波器变换后的平均值的差值，所述尺度图像由所述源图像分别经不同的分析滤波器变换生成；

[0014] 将所述第一源图像的尺度图像与第二源图像对应的尺度图像、第一源图像的细节图像与第二源图像对应的细节图像按照预定的系数融合规则进行系数融合；

[0015] 将融合的系数进行双尺度空间非抽样形态小波逆变换，得到融合后的图像。

[0016] 本发明实施例的另一方面，提供了基于双尺度空间的图像融合装置，所述装置包括：

[0017] 获取单元，用于获取待融合源图像，所述源图像包括第一源图像和第二源图像；

[0018] 小波分解单元，用于对所述源图像进行非抽样形态小波分解，得到所述源图像在第二尺度空间的细节图像和尺度图像，所述细节图像为所述源图像与所述源图像分别经不同的分析滤波器变换后的平均值的差值，所述尺度图像由所述源图像分别经不同的分析滤波器变换生成；

[0019] 系数融合单元，用于将所述第一源图像的尺度图像与第二源图像对应的尺度图像、第一源图像的细节图像与第二源图像对应的细节图像按照预定的系数融合规则进行系数融合；

[0020] 逆变换单元，用于将融合的系数进行双尺度空间非抽样形态小波逆变换，得到融合后的图像。

[0021] 本发明与现有的膨胀腐蚀形态非抽样小波DE-MUDW变换的图像融合方法相比，本发明对源图像中第一尺度空间的两个相同的尺度信号分别采用不同的分析滤波器进行变换得两个尺度图像，从而使得到的两个尺度图像之间的差异比现有的膨胀腐蚀形态非抽样小波DE-MUDW变换的差异要大，相应的高频系数，即细节图像为源图像与第二尺度空间的两个尺度图像的平均值的值，使得图像融合时所需要分解的层数更少，而且能够有效的满足局部极值保持和局部极值缩减的尺度空间属性。

附图说明

[0022] 图1是本发明第一实施例提供的图像融合方法的实现流程图；

[0023] 图2为本发明第一实施例提供的基于双尺度空间非抽样形态小波3CUMW的分解和重构流程示意图；

[0024] 图3为本发明第一实施例提供的基于双尺度空间非抽样形态小波3CUMW的图像融合过程；

[0025] 图4为本发明第二实施例提供的图像融合方法的实现流程；

[0026] 图5为本发明第二实施例提供的具有方向性的不同尺度的结构元素的示意图；

[0027] 图6为本明第二实施例提供的基于每方向的三通道非抽样形态小波MD-3CUMW的分解和重构示意图；

[0028] 图7为本发明所第三实施例提供的图像融合装置的结构示意图；

[0029] 图8为本发明所述方法和现有技术关于多聚焦图像融合的评价指标对比图；

[0030] 图9为本发明所述方法和现有技术关于红外/可见光图像融合的评价指标对比图；

[0031] 图10为本发明所述方法和现有技术关于遥感图像融合的评价指标对比图；

[0032] 图11为本发明所述方法和现有技术关于运算效率的对比示意图。

具体实施方式

[0033] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

[0034] 数学形态学是由一组形态学的代数运算子组成的，它的基本变换有膨胀、腐蚀、开启和闭合。设A为集合，B为结构元素，则A关于B的数学形态学变换定义为：

[0035] 腐蚀变换：ε=AΘB

[0036] 膨胀变换：δ=A⊕B

[0037] 开启变换：γ=AοB=(AΘB)⊕B

[0038] 闭合变换：

[0039] 非抽样形态小波是为了克服传统形态小波因抽样引起的移变性，结合了形态小波与非抽样小波(àtrous小波)的一种新的基于形态学的信号多分辨率分解方法。现有技术提出了非抽样形态小波构造方法的一般框架，如式(1)到(3)所示：

[0040]

[0041]

[0042]

[0043] 其中，xj是第j个尺度上的尺度信号，yj是细节信号，id是等同算子(identity operator)， 和 是第j个尺度的分析算子， 是第j个尺度的综合算子，T(·)为数学形态算子，可以根据信号处理的不同需求，选择基本形态算子或基本算子的某种组合形式。这种框架与àtrous小波很相似，都是二维二通道的分解，只不过非抽样形态小波是将àtrous小波中的线性滤波器替换成了非线性的T(·)。

[0044] 在这个框架下，现有技术提出了一种运算简单且物理意义明确的，适合于图像融合的非抽样形态小波变换，它采用膨胀和腐蚀算子的平均作为分析算子，记为DE-MUDW (Dilate-Erode MUDW)，如式(4)所示。

[0045]

[0046] Bj+1表示尺度j变换到尺度j+1使用的结构元素，(xj,Bj+1)表示用结构元素Bj+1对xj做形态学变换。Bj+1的定义如式(5)所示，通常结构元素B取3×3的方块。

[0047]

[0048] 高频分量的计算如式(6)所示。

[0049]

[0050] 进一步分析高频分量的意义，可以看到，由于id-ε(xj,Bj+1)和δ(xj,Bj+1)-id都是能够作为梯度的算子，因此yj+1实际上是一种xj的二阶导数的表达形式，而且导数的方向可以自适应地改变。这个特性对于图像而言，能很好地描述图像的边缘。

[0051] 实施例一：

[0052] 图1示出了本发明第一实施例提供的图像融合方法的实现流程，详述如下：

[0053] 在步骤S101中，获取待融合源图像，所述源图像包括第一源图像和第二源图像。

[0054] 具体的，所述待融合的源图像，可以包括两幅或者两幅以上，当所述待融合的源图像包括两幅以上时，可以将待融合的源图像按本发明所述方法，逐步进行两两融合。

[0055] 在步骤S102中，对所述源图像进行非抽样形态小波分解，得到所述源图像在第二尺度空间的细节图像和尺度图像，所述细节图像为所述源图像与所述源图像分别经不同的分析滤波器变换后的平均值的差值，所述尺度图像由所述源图像分别经不同的分析滤波器变换生成。

[0056] 具体的，所述对所述源图像进行非抽样形态小波分解，得到所述源图像在第二尺度空间的细节图像和尺度图像，所述细节图像为所述源图像与所述源图像分别经不同的分析滤波器变换后的平均值的差值步骤具体包括：

[0057] A、获取源图像在第一尺度空间的第一尺度信号和第二尺度信号，所述第一尺度信号、第二尺度信号相同与源图像相同；

[0058] B、对所述第一尺度信号和第二尺度信号分别经不同的分析滤波器变换得到第一尺度图像和第二尺度图像，由所述第一尺度信号和第二尺度信号取平均运算得到第一平均尺度信号；

[0059] C、根据所述第一尺度图像和第二尺度图像取平均运算得到第二平均尺度信号，由所述第一平均尺度信号减去第二平均尺度信号得到细节图像。

[0060] 具体如图2所示为对于源图像的每一层的分解和重构的示意图，其中， 和 代表两个尺度空间中的第一尺度信号和第二尺度信号，M表示平均运算。当尺度j为0的时候，得到初始值 和 分别是两个不同的分析滤波器，本发明中，它们分别为膨胀运算和腐蚀运算，所述对所述第一尺度信号 和第二尺度信号 分别经不同的分析滤波器变换得到第一尺度图像 和第二尺度图像 步骤中，第一尺度信号采用膨胀运算作为分析滤波器变换得到第一尺度图像 第二尺度信号 采用腐蚀运算作为分析滤波器得到第二尺度图像 或者第一尺度信号 采用腐蚀运算作为分析滤波器变换得到第一尺度图像 第二尺度信号 采用膨胀运算作为分析滤波器得到第二尺度图像

[0061] 由第一尺度信号 和第二尺度信号 变换得到第一尺度图像 和第二尺度图像 的变换如公式（7）所示：

[0062]

[0063] 其中，Bj+1的定义如公式(8)所示：

[0064]

[0065] 其中，结构元素B通常取3×3的方块。

[0066] 细节图像 即为两个相邻的尺度信号的平均值 与两个相邻尺度信号经分析滤波器变换后的平均值 的差值，其中

[0067] 在步骤S103中，将所述第一源图像的尺度图像与第二源图像对应的尺度图像、第一源图像的细节图像与第二源图像对应的细节图像按照预定的系数融合规则进行系数融合。

[0068] 所述将所述第一源图像的尺度图像与第二源图像对应的尺度图像、第一源图像的细节图像与第二源图像对应的细节图像按照预定的系数融合规则进行系数融合具体是：

[0069] 将第一源图像的第一尺度图像与第二源图像的第一尺度图像融合，将第一源图像的第二尺度图像与第二源图像的第二尺度图像融合，将第一源图像的细节图像与第二源图像的细节图像融合。

[0070] 所述预定的系数融合规则，根据融合的对象为高频系数（细节图像）或者低频系数（尺度图像）而相应的设定。

[0071] 在对低频系数的融合时，现在大多数采用像素均值法进行融合，通过将融合的图像的每个像素点单独进行膨胀或者腐蚀处理后，对小波分解后得到的对应的尺度图像的每个像素的低频系数进行均值计算。

[0072] 高频系数融合时，一般采用基于像素点绝对值取大的规则，即比较的对象是两幅原始图像的像素点的绝对值，而融合后图像的像素点的取值是两幅原始图像像素点绝对值大的那一点的值，即取绝对值大的那个点的实际值。

[0073] 在步骤S104中，将融合的系数进行双尺度空间非抽样形态小波逆变换，得到融合后的图像。

[0074] 具体的，所述将融合的系数进行双尺度空间非抽样形态小波逆变换，得到融合后的图像步骤具体为：

[0075] 将融合后的所述第二平均尺度信号和所述细节图像取和，得到融合后的图像。具体如图2所示的重构流程，由经过分析滤波器变换后得到的第一尺度图像 和经过分析滤波器变换后得到的第二尺度图像 的平均值与所述细节图像取yj+1平均值，得到融合后的图像。重构公式为：

[0076] 由于 因此，本发明实施例所述分解和重构过程满足完美重构条件。

[0077] 图3为本发明所述图像融合的过程示意图，假设分解的层数为L，那么首先将两幅源图像生成的低频系数 以低频融合规则进行融合，然后将两幅源图生成的另一个低频系数 也以低频融合规则进行融合，再将各尺度上的高频系数yj+1(j∈[0,L-1])以高频融合规则进行融合，最后将融合后的系数，进行重构反变换得到融合图像。

[0078] 本发明实施例与现有的膨胀腐蚀形态非抽样小波DE-MUDW变换的图像融合方法相比，本发明对源图像中第一尺度空间的两个相同的尺度信号分别采用不同的分析滤波器进行变换得两个尺度图像，从而使得到的两个尺度图像之间的差异比现有的膨胀腐蚀形态非抽样小波DE-MUDW变换的差异要大，相应的高频系数，即细节图像为源图像与第二尺度空间的两个尺度图像的平均值的值，使得图像融合时所需要分解的层数更少，而且能够有效的满足局部极值保持和局部极值缩减的尺度空间属性。

[0079] 实施例二：

[0080] 图4示出了本发明第二实施例提供的图像融合方法的实现流程，详述如下：

[0081] 在步骤S401中，获取待融合源图像，所述源图像包括第一源图像和第二源图像。

[0082] 在步骤S402中，获取源图像在第一尺度空间的第一尺度信号和第二尺度信号，所述第一尺度信号、第二尺度信号相同与源图像相同。

[0083] 在步骤S403中，采用方向结构元素分别提取所述第一尺度信号和第二尺度信号在不同方向上的非线性变化特征，得到所述源图像在每个方向的两个相同的尺度信号。

[0084] 在步骤S404中对所述源图像在每个方向上的尺度信号经不同的分析滤波器变换，得到所述源图像在每个方向的两个尺度图像；

[0085] 在步骤S405中，由每个方向的尺度信号与所述方向上的两个尺度图像的平均值的差值，得到所述方向的细节图像。

[0086] 在步骤S406中，将所述第一源图像的尺度图像与第二源图像对应的尺度图像、第一源图像的细节图像与第二源图像对应的细节图像按照预定的系数融合规则进行系数融合。

[0087] 在步骤S407中，将融合的系数进行双尺度空间非抽样形态小波逆变换，得到融合后的图像。

[0088] 与实施例一不同之处在于，本发明实施例通过方向结构元素提取源图像在不同方向上的非线性变化特征。随着尺度的增加，采用完全覆盖所有路径的方向结构会使得数量太多造成计算复杂度高，可以采用沿主要方向的结构元素。本发明实施例以四方向的双向线形的多尺度结构元素为例进行说明。

[0089] 如图5所示分别例举了尺度0、尺度1和尺度2的四方向结构元素，尽管未覆盖所有可能的路径，但其具有较好的图像融合效果。

[0090] 采用多方向结构元素提取不同方向上的非线性变化特征以及分解变换，获取图像在不同方向上的尺度图像（低频系数）和细节图像（高频系数），然后将各个方向上各个尺度图像综合起来得到高一级尺度上的图像。和传统的线性多尺度变换，本发明采用多方向结构元素进行分解变换和重构的方法具有运算快捷、设计简单、高频系数具有明显的物理含义的优点。

[0091] 图6为采用多方向结构元素进行图像的分解和重构的流程示意图，假设所有的尺↑ ↓度上的分解的方向数都为D个，分解L层，ψ 表示分析滤波器，ψ 表示重构滤波器。在重构时，从L层到第一层，依次采用图示的重构方法进行重构，然后将得到的 至按照图6所示的最终重构信号的合成方法得到重构图像。

[0092] 本发明实施例在第j个尺度上的分析滤波的作用过程的公式为：

[0093]

[0094] 分解的初始条件为：

[0095]

[0096] 分解过程的公式描述如下：

[0097]

[0098] 重构公式为：

[0099]

[0100]

[0101] 经证明：

[0102]

[0103]

[0104] 上述分解和重构过程满足完美重构条件。其中，d表示方向，范围为[1，D]， 是尺度j上的第i个方向的结构元素， 分别表示在j尺度d方向的两个尺度信号。

[0105] 本发明实施例与实施例一不同之处在于，本发明实施例对两个相邻的尺度信号的变换方式为采用方向结构元素（优选的方式为4方向结构元素），由于本发明实施例对于每层分解为多个方向，而每层的计算量相近，但是能够实现分解更少的层数达到同等程度的融合质量，因而与实施例1相比，可进一步提高图像融合的实时性。

[0106] 实施例三：

[0107] 图7示出了本发明第三实施例提供的图像融合装置的结构示意图，详述如下：

[0108] 本发明实施例所述装置包括：

[0109] 获取单元701，用于获取待融合源图像，所述源图像包括第一源图像和第二源图像；

[0110] 小波分解单元702，用于对所述源图像进行非抽样形态小波分解，得到所述源图像在第二尺度空间的细节图像和尺度图像，所述细节图像为所述源图像与所述源图像分别经不同的分析滤波器变换后的平均值的差值，所述尺度图像由所述源图像分别经不同的分析滤波器变换生成；

[0111] 系数融合单元703，用于将所述第一源图像的尺度图像与第二源图像对应的尺度图像、第一源图像的细节图像与第二源图像对应的细节图像按照预定的系数融合规则进行系数融合；

[0112] 逆变换单元704，用于将融合的系数进行双尺度空间非抽样形态小波逆变换，得到融合后的图像。

[0113] 具体的，所述小波分解单元702包括：

[0114] 第一获取子单元，用于获取源图像在第一尺度空间的第一尺度信号和第二尺度信号，所述第一尺度信号、第二尺度信号相同与源图像相同；

[0115] 分析滤波器变换子单元，用于对所述第一尺度信号和第二尺度信号分别经不同的分析滤波器变换得到第一尺度图像和第二尺度图像，由所述第一尺度信号和第二尺度信号取平均运算得到第一平均尺度信号；

[0116] 第一细节图像获取子单元，用于根据所述第一尺度图像和第二尺度图像取平均运算得到第二平均尺度信号，由所述第一平均尺度信号减去第二平均尺度信号得到细节图像。

[0117] 所述逆变换单元704具体用于将融合后的所述第二平均尺度信号和所述细节图像取和，得到融合后的图像。

[0118] 可选的，所述小波分解单元702包括：

[0119] 第二获取子单元，用于获取源图像在第一尺度空间的第一尺度信号和第二尺度信号，所述第一尺度信号、第二尺度信号相同与源图像相同；

[0120] 提取子单元，用于采用方向结构元素分别提取所述第一尺度信号和第二尺度信号在不同方向上的非线性变化特征，得到所述源图像在每个方向的两个相同的尺度图像[0121] 尺度图像获取子单元，用于对所述源图像在每个方向上的尺度信号经不同的分析滤波器变换，得到所述源图像在每个方向的两个尺度图像；

[0122] 第二细节图像获取子单元，用于由每个方向的尺度信号与所述方向上的两个尺度图像的平均值的差值，得到所述方向的细节图像。

[0123] 所述逆变换单元704还用于将融合后的每个方向的两个相邻的尺度图像的平均值与所述方向的细节图像取和，得到每个方向的重构的图像信号，对所述每个方向的重构的图像信号求和取平均值，得到融合后的图像。

[0124] 本发明实施例所述图像融合装置与实施例一和实施例二中所述图像融合方法相对应，在此不作重复赘述。

[0125] 本发明实施例一和实施例二所述方法的图像融合效果实验数据：

[0126] 为对融合质量进行正确而全面的评价，选取现有常用的分解方法非抽样Contourlet变换(NSCT)和非抽样形态小波做对比实验。为了定量评价融合结果的质量，本发明所有的实验中均采用常用的性能指标，包括与源图相似度的四个指标：

[0127] 1.互信息(MI)：体现了从源图像提取的信息量的多少，值越大说明提取了越多的信息量，融合效果越好。

[0128] 2.边缘保持度(QAB/F)：值越大说明源图像有越多的边缘信息量得到了保留。

[0129] 3.相似度(SIM)：融合图像和源图像每个位置最大梯度的相似度，值越大说明更多的最大梯度特征得到保持。

[0130] 4.QCF：专门针对具有增强效果的融合方法而设计，主要体现了边缘增强的幅度以及边缘梯度方向的保持特性。

[0131] 及单图清晰度评价的两个指标：

[0132] 5.信息熵(Entropy)：指融合图像所包含信息量的大小,在保证图像不失真和处理中没引入噪声的情况下,值越大说明图像融合效果越好。

[0133] 6.平均梯度(AVG)：值越大说明融合图像层次越多，也就越清晰。

[0134] 其中，QCF指标只在比较具有增强效果的融合图像时使用。值得注意的是，这些评价指标并非能完全准确地描述图像质量的好坏，有的时候某项评价指标值有下降，但这正是因为算法上效果的改进引起的，这种情况在本发明实验中也有出现。因此，我们结合所有评价指标，来判断图像融合质量的好坏。

[0135] 多聚焦图像融合

[0136] 在多聚焦图像融合中，L表示分解的层数，α表示增强因子，α=1表示不增强。对应的评价指标的对比如图8所示。其中NSCT表示非抽样Contourlet变换，DE-MUDW表示非抽样形态小波变换，DE-3CUMW表示实施例一所述的双尺度空间三通道非抽样形态小波变换，MD-3CUMW每方向三通道非抽样形态小波变换。

[0137] 红外/可见光图像融合

[0138] 红外/可将光图像融合结果对应的评价指标的对比如图9所示，实施例一和实施例二所述的两种方法的图像融合质量非常接近。

[0139] 遥感图像融合

[0140] 遥感图像融合结果对应的评价指标的对比如图10所示。可见采用双尺度非抽样形态小波的图像融合方法获得的结果对比度更好，采用双尺度空间每方向三通道分解的UMW获得的结果边缘质量更好。

[0141] 将本发明实施例一和实施例二以及现有技术中提出的所有方法进行运算效率的比较，如图11所示，实验的对象是512×512大小的源图像，实验平台是双核2.53Ghz，内存2GB的电脑，及Matlab版本2010b。比较的对象是同样具有平移不变性的几种典型的线性多尺度变换。可见本发明的方法运算速度均比类似的线性多尺度变换方法快，如果将之用更高效的语言如C++并行实现，可较好地实现实时运算，其中以3CUMW的实时性最高。针对实际应用的需求，可适当地减少分解层数以加快运算速度，或增加分解层数以增加融合图像的对比度。

[0142] 以上所述仅为本发明的较佳实施例以及实验数据而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。