本发明涉及图像处理及计算机图形学领域，为利用视觉显著性以及掩蔽效应提升拼接图像质量，降低边缘断裂引入的图像质量下降，获得符合视觉的高质量拼接融合图像。本发明采用的技术方案是，基于人眼视觉特性的图像拼接融合方法，步骤如下：对经过匹配运算处理后的两图重合区域进行处理，在该区域内寻找拼接路径：一、搜索重合区域内具有视觉掩蔽特性的区域；二、求平滑区域以及纹理区域的像素权重；三、求重合区域的视觉显著性；四、求解拼接路径；五、使用该路径完成图像拼接。本发明主要应用于图像处理场合。
1.一种基于人眼视觉特性的图像拼接融合方法，其特征是，步骤如下：
对经过匹配运算处理后的两图重合区域进行处理，在该区域内寻找拼接路径：
一、搜索重合区域内具有视觉掩蔽特性的区域，这类区域分为两类：一类是平滑区域；
另一类为具有细小纹理的区域；错位发生在第一类区域内时是不可视的，而发生在第二类区域内时，细小的错位被背景中的细小纹理掩蔽，不能有效引起人眼的注意；具体方法为：使用边缘检测算子提取图像中的边缘信息，得到关于边缘信息的2值图像C，图像C中，边缘像素对应的亮度为1，将图像C中的边缘以r的幅度进行形态学膨胀运算得到2值图像D，时2值图像D中亮度值为0的区域即可视为很少变化的区域，将图像D以参数r的幅度连续进行两次形态学腐蚀运算，得到图像E，2值图像E中亮度为1的区域即为具有细小纹理的区域；
二、求平滑区域以及纹理区域的像素权重，对平滑区域的像素点以公式1求得各像素窗口内的极差，得到表征该像素点与周围环境相似程度的数值：G＝xmax-xmin (1)
公式1中，G表示以待计算像素为中心的窗口的极差值，xmax代表窗口中的最大值，xmin代表窗口中的最小值，G越小代表该像素周围的环境越相似，细纹理区域的像素以公式2求得局部熵：(i，j)为像素在计算窗口内的坐标，窗口左上角的顶点为窗口的原点坐标(0,0)，p是当前像素灰度占局部总灰度的概率，m、n是像素窗口的长宽，∑为求和符号，H为像素的局部熵，代表该点处的混乱程度，根据求得的局部极差以及局部熵，按照公式3计算得到掩蔽区域的权值图mask：公式3中，mask代表掩蔽特性权值图，k1、k2分别为局部极差和局部熵的比重。
三、求重合区域的视觉显著性：使用适用性较广的视觉显著性算法对重合区域图像进行处理，得到重合区域的视觉显著性权值图Saliency，Saliency值越高的像素越易引起人眼的注意；
四、求解拼接路径：首先按照公式4求得拼接路径的选择权重：
cost＝k3·mask+k4·Saliency (4)
cost表示选择拼接路径像素的权重，k3、k4分别为掩蔽特性和显著性的比重；
以重合区域中处于两图边界交点为起始点按照cost搜索融合路径，在重合区域坐标范围内，按列依次选取路径点，若已得路径点坐标为(x，y)，则下一个路径点的搜索取范围为(x+1，y-a)到(x+1，y+b)，a、b为大于0的常数，取该范围内的cost值最小的点坐标为下一个路径点坐标，以此类推，得到基于人眼特性优化的拼接融合路径；
2.如权利要求1所述的基于人眼视觉特性的图像拼接融合方法，其特征是，一个具体实例为，使用canny算子检测图像的边缘，然后以5的幅值进行膨胀、腐蚀，得到具有掩蔽特性的区域，255减去平滑区域的局部极差值后乘以比重k1＝0.2，细纹理区域的局部熵乘以比重k2＝0.3得到掩蔽特性的权重图mask；
将mask乘以比重k3＝0.4与显著性Saliency乘以比重k4＝0.6相加得到拼接路径的选择权重cost；
搜索拼接路径时，当前路径点坐标为(x，y)下一个路径点的搜索取范围为(x+1，y-3)到(x+1，y+5)，选择cost最小的点作为下个路径点。
基于人眼视觉特性的图像拼接融合方法
技术领域
[0001] 本发明涉及图像处理及计算机图形学领域以及基于人眼特性提升图像质量领域。尤其涉及进行图像匹配拼接时，基于人眼视觉特性进行优化图像融合效果的领域。具体讲,涉及基于人眼视觉特性的图像拼接融合方法。
背景技术
[0002] 图像拼接融合技术广泛应用于汽车电子、无人机、军事、遥感等领域。该技术将两幅或者多幅具有重合区域的图像的特征信息进行提取、匹配、计算得到拼接参数、按照拼接参数将图像变形后融合为一幅视角宽广的图像。在实际应用中，由于拼接算法的局限性、拍摄方法以及镜头畸变会引入一些计算误差，导致计算得到的拼接参数不精确，变形后的图像重合区域不能完全重合，致使拼接图像出现断裂的边缘。被人眼捕获的断裂边缘，会严重影响拼接图像的质量，降低人眼对图像的主观感受。
[0003] 基于人眼视觉系统的图像质量评价近年来受到持续关注，因为采用该种方法可以获得与主观感受一致的客观图像质量评价。人类视觉系统具有多种特性。其中，视觉显著性和掩蔽特性是突出的两个特点。视觉显著性是人眼注意机制领域的研究热点，在计算机视觉领域主要表现为模拟人类视觉注意机制。人类的视觉注意机制能够将有限的认知资源聚集于场景中重要的刺激而抑制那些不重要的信息。对于图像而言，图像中的图形具有不同的形状、色彩，因而不同图形对人眼的刺激不同，具有不同的视觉显著性。掩蔽特性是人眼具备的另一个性质。人眼对对比强烈的图像具有更高的敏感度，当某一物体与背景很相似时,人眼就不能有效识别该物体。这是人眼掩蔽特性的一个具体体现。
发明内容
[0004] 为克服现有技术的不足，本发明旨在针对常用图像拼接方法中图像融合时出现的错位、边缘断裂、拼接缝隙等问题，本发明的目的是基于人眼特性，具体为利用视觉显著性以及掩蔽效应提升拼接图像质量，降低边缘断裂引入的图像质量下降，获得符合视觉的高质量拼接融合图像。本发明采用的技术方案是，基于人眼视觉特性的图像拼接融合方法，步骤如下：
[0005] 对经过匹配运算处理后的两图重合区域进行处理，在该区域内寻找拼接路径：
[0006] 一、搜索重合区域内具有视觉掩蔽特性的区域，这类区域分为两类：一类是平滑区域；另一类为具有细小纹理的区域；错位发生在第一类区域内时是不可视的，而发生在第二类区域内时，细小的错位被背景中的细小纹理掩蔽，不能有效引起人眼的注意；具体方法为：使用边缘检测算子提取图像中的边缘信息，得到关于边缘信息的2值图像C，图像C中，边缘像素对应的亮度为1，将图像C中的边缘以r的幅度进行形态学膨胀运算得到2值图像D，时2值图像D中亮度值为0的区域即可视为很少变化的区域，将图像D以参数r的幅度连续进行两次形态学腐蚀运算，得到图像E，2值图像E中亮度为1的区域即为具有细小纹理的区域；
[0007] 二、求平滑区域以及纹理区域的像素权重，对平滑区域的像素点以公式1求得各像素窗口内的极差，得到表征该像素点与周围环境相似程度的数值：
[0008] G＝xmax-xmin (1)
[0009] 公式1中，G表示以待计算像素为中心的窗口的极差值，xmax代表窗口中的最大值，xmin代表窗口中的最小值，G越小代表该像素周围的环境越相似，细纹理区域的像素以公式2求得局部熵：
[0010]
[0011] (i，j)为像素在计算窗口内的坐标，窗口左上角的顶点为窗口的原点坐标(0,0)，p是当前像素灰度占局部总灰度的概率，m、n是像素窗口的长宽，∑为求和符号，H为像素的局部熵，代表该点处的混乱程度，根据求得的局部极差以及局部熵，按照公式3计算得到掩蔽区域的权值图mask：
[0012]
[0013] 公式3中，mask代表掩蔽特性权值图，k1、k2分别为局部极差和局部熵的比重。
[0014] 三、求重合区域的视觉显著性：使用适用性较广的视觉显著性算法对重合区域图像进行处理，得到重合区域的视觉显著性权值图Saliency，Saliency值越高的像素越易引起人眼的注意；
[0015] 四、求解拼接路径：首先按照公式4求得拼接路径的选择权重：
[0016] cost＝k3·mask+k4·Saliency (4)
[0017] cost表示选择拼接路径像素的权重，k3、k4分别为掩蔽特性和显著性的比重；
[0018] 以重合区域中处于两图边界交点为起始点按照cost搜索融合路径，在重合区域坐标范围内，按列依次选取路径点，若已得路径点坐标为(x，y)，则下一个路径点的搜索取范围为(x+1，y-a)到(x+1，y+b)，a、b为大于0的常数，取该范围内的cost值最小的点坐标为下一个路径点坐标，以此类推，得到基于人眼特性优化的拼接融合路径；
[0019] 五、使用该路径完成图像拼接。
[0020] 一个具体实例为，使用canny算子检测图像的边缘，然后以5的幅值进行膨胀、腐蚀，得到具有掩蔽特性的区域，255减去平滑区域的局部极差值后乘以比重k1＝0.2，细纹理区域的局部熵乘以比重k2＝0.3得到掩蔽特性的权重图mask；
[0021] 将mask乘以比重k3＝0.4与显著性Saliency乘以比重k4＝0.6相加得到拼接路径的选择权重cost；
[0022] 搜索拼接路径时，当前路径点坐标为(x，y)下一个路径点的搜索取范围为(x+1，y-3)到(x+1，y+5)，选择cost最小的点作为下个路径点。
[0023] 本发明的特点及有益效果是：
[0024] 1.本发明使用图像中对错位有掩蔽效应的区域进行拼接融合，消除或弱化错位引起的视觉注意，提高了融合图像的质量；
[0025] 2.本发明使用视觉显著性低的像素作为拼接融合路径，使错位发生的位置远离人眼感兴趣的区域，发生在人眼注重的区域，保留了图像的关键信息，提升了图像的质量。附图说明：
[0026] 图1细纹理图形边缘及进行形态学膨胀运算后效果。
[0027] 图2形态学膨胀、腐蚀运算处理及得到的细纹理区域(最后一幅图黑色和灰色区域)。
[0028] 图3拼接路径的选择。
[0029] 图4本发明流程图。
具体实施方式
[0030] 图像拼接融合本质为以两幅图的重合区域为参考，将处理后的图像像素集合到一幅图上。常见的融合方法为以其中一幅输入拼接图像为基准，另一幅拼接图像运算之后进行填补。因此进行图像拼接融合的路径为基准图像的边界。当运算参数与实际存在一定偏差且图形边缘与拼接路径相交时，会发生边缘错位或断裂的现象。若这些错位出现在视觉显著性较高的区域，则会严重影响图像的质量。同时，图像中存在一些混乱程度比较高的纹理区域(如砂石，树冠等)，错位边缘发生在该区域时，由于人眼掩蔽特性，这些错位边缘不会被感知。因此本发明利用人眼特性，将可能出现错位的拼接路径约束在视觉显著性较低的区域以及具有掩蔽特性的细纹理区域，减少了人眼可识别的错位边缘数量，有效地提高图像质量。具体方法如下：
[0031] 对经过匹配运算处理后的两图重合区域进行处理。在该区域内寻找拼接路径。
[0032] 一、搜索重合区域内具有视觉掩蔽特性的区域。这类区域主要分为两类：一类是平滑区域，如天空，平静的湖面等；另一类为具有细小纹理的区域，如砂石，密集的树叶等。错位发生在第一类区域内时是不可视的，而发生在第二类区域内时，细小的错位被背景中的细小纹理掩蔽，不能有效引起人眼的注意。具体方法为：使用边缘检测算子提取图像中的边缘信息，得到关于边缘信息的2值图像C。图像C中，边缘像素对应的亮度为1。如图1所示，黑色的方格代表检测出的边缘像素点。将图像C中的边缘以r的幅度进行形态学膨胀运算得到2值图像D。此时2值图像D中亮度值为0的区域即可视为很少变化的区域(如图1中右图白色像素所示)。如图2所示，将图像D以r的幅度连续进行两次形态学腐蚀运算，得到图像E。2值图像E中亮度为1的区域即为具有细小纹理的区域，图2中灰色及黑色的区域。
[0033] 二、求平滑区域以及纹理区域的像素权重。对平滑区域的像素点以公式1求得各像素窗口内的极差，得到表征该像素点与周围环境相似程度的数值。
[0034] G＝xmax-xmin (1)
[0035] 公式1中，G表示以待计算像素为中心的窗口的极差值，xmax代表窗口中的最大值，xmin代表窗口中的最小值。G越小代表该像素周围的环境越相似。对细纹理区域的像素以公式2求得局部熵。
[0036]
[0037] (i，j)为像素在计算窗口内的坐标，窗口左上角的顶点为窗口的原点坐标(0,0)。p是当前像素灰度占局部总灰度的概率，m、n是像素窗口的长宽，H为像素的局部熵，代表该点处的混乱程度。根据求得的局部极差以及局部熵，按照公式3计算得到掩蔽区域的权值图mask。
[0038]
[0039] 公式3中，mask代表掩蔽特性权值图，k1、k2分别为局部极差和局部熵的比重。
[0040] 三、求重合区域的视觉显著性。使用适用性较广的视觉显著性算法对重合区域图像进行处理，得到重合区域的视觉显著性权值图Saliency。视觉显著性越高，人眼的关注度越高。
[0041] 四、求解拼接路径。首先按照公式4求得拼接路径的选择权重。
[0042] cost＝k3·mask+k4·Saliency (4)
[0043] cost表示选择拼接路径像素的权重，k3、k4分别为掩蔽特性和显著性的比重。
[0044] 以重合区域中处于两图边界交点为起始点按照cost搜索融合路径。在重合区域坐标范围内，按列依次选取路径点。如图3所示，若已得路径点坐标为(x，y)，则下一个路径点的搜索取范围为(x+1，y-a)到(x+1，y+b)。取该范围内的cost值最小的点坐标为下一个路径点坐标。以此类推，得到基于人眼特性优化的拼接融合路径。
[0045] 五、使用该路径完成图像拼接。
[0046] 在实施过程中，使用canny算子检测图像的边缘。然后以5的幅值进行膨胀、腐蚀，得到具有掩蔽特性的区域。255减去平滑区域的局部极差值后乘以比重k1＝0.2，细纹理区域的局部熵乘以比重k2＝0.3得到掩蔽特性的权重图mask。
[0047] 将mask乘以比重k3＝0.4与显著性Saliency乘以比重k4＝0.6相加得到拼接路径的选择权重cost。
[0048] 搜索拼接路径时，当前路径点坐标为(x，y)下一个路径点的搜索取范围为(x+1，y-3)到(x+1，y+5)。选择cost最小的点作为下个路径点。
[0049] 依照此实施方案，本发明具有最佳的拼接融合效果。
