一种快速的分步立体匹配方法，包括基于局部纹理特性的灰度变换，基于彩色图像分割的视差约束以及基于固定窗口的匹配代价计算三个方面。首先根据图像的局部纹理特性对图像进行灰度变换以突出图像的结构特征和灰度特征。然后，利用均值漂移算法分割图像，并以任意大小和形状的分割区域为支持窗口获得分割区域的匹配代价，形成基于图像分割的视差约束。最后，对图像对进行基于固定窗口的立体匹配代价计算，获得初始视差图。本发明方法具有提高匹配精度与匹配效率、减小计算量、缩小视差搜索范围等优点。
1.一种快速的分步立体匹配方法，其特征在于，所述匹配方法包括以下步骤：(1)输入两幅在不同角度下拍摄的相同场景的彩色图像，将其中一幅图像作为参考图像A1，另一幅图像作为目标图像B1，两幅图像均已经过极线矫正；
(2)分别对参考图像A1和目标图像B1进行基于局部纹理特性的灰度变换，获得灰度图像对A2和B2；
(3)利用均值漂移算法对参考图像A1进行彩色图像分割，得到彩色图像分割区域；采用零均值归一化互相关度量函数，以任意大小和形状的彩色图像分割区域作为支持窗口对灰度图像对A2和B2进行立体匹配，计算彩色图像分割区域的匹配代价值，根据彩色图像分割区域的匹配代价值对每个彩色图像分割区域进行分类，当彩色图像分割区域匹配代价大于等于0.5时，将彩色图像分割区域分类为可靠匹配区域，标记为1，当彩色图像分割区域匹配代价小于0.5时，将彩色图像分割区域分类为不可靠匹配区域，标记为0，根据分类结果估计各个区域内像素的视差范围，形成基于彩色图像分割的视差约束；
定义任意一对匹配区域(sp，sq)在假设视差为d的情况下的分割区域匹配代价为E(sp,sq,d)：E(sp,sq,d)＝Czncc(p,q,d)
其中，sp是参考图像经过色彩分割后的任意一个分割区域；sq是目标图像中与之对应的分割区域，即sp＝sq-d；d是假设的视差值；p是分割区域sp中的任意一个像素点；q是分割区域sq中与之对应的一个像素点，即p∈sp，q∈sq且p＝q-d；Czncc(p,q,d)为分割区域sp及其对应分割区域sq的相似度，采用零均值归一化互相关度量函数(Zero mean normalized cross-correlation，ZNCC)估计这一相似度，并将其作为分割区域的匹配代价E(sp,sq,d)；
是分割区域sp中所有像素灰度值的均值；是分割区域sq中所有像素灰度值的均值；
利用局部优化方法最大化分割区域匹配代价获得视差值ds，作为分割区域中所有像素点的估计视差，即：ds＝maxE(sp,sq,d)；d∈[dmin,dmax]
式中，dmin是最小视差值，dmax是最大视差值；
对分割区域匹配代价的结果进行分类，分类原则是当分割区域匹配代价E(sp,sq,d)≥
0.5时，分割区域sp被分类为可靠匹配区域，记为1；当分割区域匹配代价＜0.5时，分割区域sp被分类为不可靠匹配区域，记为0；
根据分类结果估计各个区域内像素的视差范围形成分步匹配的视差约束，约束准则定义为：d(sp)∈[down,up]
式中，down是进行视差约束后视差范围的最小值，up是进行视差约束后视差范围的最大值；
其中d(sp)为分割区域sp中所有像素视差取值范围；
(4)分别采用相关类测度归一化互相关度量函数(Normalized cross-correlation，NCC)和距离类测度灰度差的绝对值和度量函数(Sum of Absolute Difference，SAD)对灰度图像对A2和B2进行基于固定窗口的立体匹配，并利用基于彩色图像分割的视差约束来限制视差搜索范围，获得参考图像A1的视差图。
一种快速的分步立体匹配方法
技术领域
[0001] 本发明涉及一种计算机视觉和数字图像处理领域，尤其是一种快速的分步立体匹配方法。
背景技术
[0002] 目前，立体匹配(Stereo Matching)是计算机视觉理论和应用的基础，同时又是一个较难解决的问题。立体匹配的目标是从不同视点图像中找到匹配的对应点，它被广泛地应用在遥感图像、医学影像、三维重构、机器人视觉和图像测量等诸多领域中。一直以来有很多国内外学者对这个领域进行了深入的研究。其中，Szeliski和Scharsten对一些有代表性的立体匹配算法进行了研究和评价，将所有算法总结分为四大步骤，并且将现有的立体匹配算法划分为局部算法和全局算法两类。一般而言，全局算法精度较高，但计算繁琐，参数设定复杂；局部算法效率高且易于实现，但一直存在如何自适应确定支持窗口的大小和形状的问题，导致其难以达到较高的精度。国内外学者针对这一问题提出了不少具有代表性的局部匹配算法，主要概括分为以下三类：
[0003] 第一类集中于在预先给定的多个窗口中选择最优窗口作为支持窗口。该算法在一定程度上提高了图像匹配的精度，抑制了前景放大现象(foreground fattening effect)，但由于支持窗口大小和形状的选择被限定，缺乏灵活性，所以很难适应多变的图像结构，误匹配率仍然较高，且视差边缘也不够清晰。
[0004] 第二类集中于对已确定大小和形状的支持窗口内像素进行加权，或自适应选取支持窗口的大小和形状。该算法虽然使得匹配的歧义性大大减少，得到的视差结果可以和全局优化结果媲美，但由于计算复杂，运算开销大，无法体现局部算法的高效性。
[0005] 第三类集中于改进匹配的相似性测度。Zabih提出了一种用非参数变换进行立体匹配的算法。后来，很多学者都对基于非参数变换的立体匹配进行了改进，并取得了较好的效果。虽然非参数变换具有较好的信号转换能力，对噪声和幅度失真有一定的鲁棒性，并能平衡光照对像素灰度的影响，但只是简单地对原本的灰度值进行非参数变换，并没有利用像素间的互相关信息。
[0006] 综上所述，局部匹配算法具有难以兼顾匹配精度和匹配效率的缺点，所以在保证立体匹配精度的同时，提高匹配的速度至关重要。
发明内容
[0007] 本发明目的在于提供一种能够兼顾匹配精度与匹配效率的基于局部纹理特性和彩色图像分割的快速分步立体匹配方法。
[0008] 为实现上述目的，采用了以下技术方案，本发明所述匹配方法包括以下步骤：
[0009] (1)输入两幅在不同角度下拍摄的相同场景的彩色图像，将其中一幅图像作为参考图像A1，另一幅图像作为目标图像B1，假设两幅图像均已经过极线矫正；
[0010] (2)分别对参考图像A1和目标图像B1进行基于局部纹理特性的灰度变换，获得灰度图像对A2和B2；
[0011] (3)利用均值漂移算法对参考图像A1进行彩色图像分割，采用零均值归一化互相关度量函数，以任意大小和形状的分割区域作为支持窗口对灰度图像对A2和B2进行立体匹配，计算分割区域的匹配代价值，根据分割区域的匹配代价值对每个色彩分割区域进行分类，当分割区域匹配代价大于等于0.5时，将分割区域分类为可靠匹配区域，标记为1，当分割区域匹配代价小于0.5时，将分割区域分类为不可靠匹配区域，标记为0，根据分类结果估计各个区域内像素的视差范围，形成基于彩色图像分割的视差约束；
[0012] (4)分别采用相关类测度归一化互相关度量函数(Normalized cross-correlation，NCC)和距离类测度灰度差的绝对值和度量函数(Sum of Absolute Difference，SAD)对灰度图像对A2和B2进行基于固定窗口的立体匹配，并利用基于彩色图像分割的视差约束来限制视差搜索范围，获得参考图像A1的视差图。
[0013] 与现有技术相比，本发明具有如下优点：
[0014] 1、基于局部纹理特性的的灰度变换，充分利用图像的局部纹理特性，提高匹配精度，尤其是低纹理区域的匹配精度。
[0015] 2、基于彩色图像分割的视差约束，在进行立体匹配的过程中大大缩小视差搜索范围，减小计算量，提高匹配效率，同时也提高了遮挡区域的匹配精度。
[0016] 3、在未进行视差优化和自适应窗口选择的情况下，无论是选择相关类测度NCC，还是选择距离类测度SAD，均取得了良好的视差图，具有广泛的度量函数适应范围。
附图说明
[0017] 图1是本发明方法的流程图。
[0018] 图2a)是实施例一中的参考图像A1。
[0019] 图2b)是实施例一中的目标图像B1。
[0020] 图3a)是实施例一中的对参考图像A1进行基于局部纹理特性灰度变换后获得的灰度图像A2。
[0021] 图3b)是实施例一中的对参考图像A1进行普通灰度变换后获得的灰度图像A3。
[0022] 图3c)是实施例一中的对目标图像B1进行基于局部纹理特性灰度变换后获得的灰度图像B2。
[0023] 图3d)是实施例一中的对目标图像B1进行普通灰度变换后获得的灰度图像B3。
[0024] 图4是实施例一中的对参考图像A1进行彩色图像分割后获得的图像。
[0025] 图5a)是实施例一中的采用距离类测度SAD获得的初始视差图。
[0026] 图5b)是实施例一中的采用相关类测度NCC获得的初始视差图。
具体实施方式
[0027] 下面结合附图对本发明做进一步说明：
[0028] 如图1所示的本发明的流程图，本发明所述匹配方法包括以下步骤：
[0029] (1)如图2所示，获取两幅在不同角度下拍摄的相同场景的彩色图像并输入匹配系统，图2a)作为参考图像A1，图2b)作为目标图像B1，两幅图像均已经过极线矫正；
[0030] (2)分别对参考图像A1和目标图像B1进行基于局部纹理特性的灰度变换，获得灰度图像对A2和B2，以便在进行灰度变换的同时，最大限度地利用图像的局部纹理特性来突出图像的结构特征和灰度特征；如图3所示，图3a)是参考图像A1经过基于局部纹理特性灰度变换后的灰度图像A2，图3b)是目标图像B1经过基于局部纹理特性灰度变换后的灰度图像B2。首先将彩色图像转化成灰度图像A3和B3，然后在此基础上进行基于局部纹理特性的灰度变换，基于局部纹理特性灰度变换的具体计算过程如下：
[0031] 首先，以目标像素p为中心取一个大小为m×n的变换窗口W，计算该窗口内所有像素的局部纹理反差值Δm，将中心像素的灰度值I(p)改为I(p)+Δm；其中，m为变换窗口的长，n为变换窗口的宽；
[0032] 然后，比较各个邻域像素与更改后的中心像素灰度值的大小，将所有大于中心像素的像素灰度进行求和，将求和结果赋值给中心像素。
[0033] 局部纹理反差值Δm表示像素之间的纹理特性，其计算方法为：
[0034] 把窗口W内大于I(p)+Δm的灰度值累加起来记为sum1，个数为n1；小于I(p)+Δm的灰度值累加起来记为sum2，个数为n2，则有：
[0035]
[0036] (3)利用均值漂移算法对参考图像A1进行彩色图像分割，分割结果如图4所示；然后，采用零均值归一化互相关度量函数，以任意大小和形状的分割区域作为支持窗口对灰度图像对A2和B2进行立体匹配，计算分割区域的匹配代价值，根据分割区域的匹配代价值的范围判断每个色彩分割区域内像素的视差搜索范围，当分割区域匹配代价大于等于0.5时，将分割区域分类为可靠匹配区域，标记为1，当分割区域匹配代价小于0.5时，将分割区域分类为不可靠匹配区域，标记为0，根据分类结果估计各个区域内像素的视差范围，形成基于彩色图像分割的视差约束，具体计算过程如下：
[0037] 已知A2和B2分别为参考图像和目标图像经过基于局部纹理特性灰度变换后的图像。定义任意一对匹配区域(sp，sq)在假设视差为d的情况下的分割区域匹配代价为E(sp,sq,d)：
[0038] E(sp,sq,d)＝Czncc(p,q,d)
[0039]
[0040] 其中，sp是参考图像经过色彩分割后的任意一个分割区域；sq是目标图像中与之对应的区域，即sp＝sq-d；d是假设的视差值；p是分割区域sp中的任意一个像素点；q是区域sq中与之对应的一个像素点，即p∈sp，q∈sq且p＝q-d；Czncc(p,q,d)为分割区域sp及其对应区域sq的相似度，采用零均值归一化互相关度量函数(Zero mean normalized cross-correlation，ZNCC)估计这一相似度，并将其作为分割区域的匹配代价E(sp,sq,d)；是分割区域sp中所有像素灰度值的均值；是分割区域sq中所有像素灰度值的均值；
[0041] 利用局部优化方法(Winner-Take-All)最大化分割区域匹配代价获得视差值ds，作为分割区域中所有像素点的估计视差，即：
[0042] ds＝max E(sp,sq,d)；d∈[dmin,dmax]
[0043] 式中，dmin是最小视差值，dmax是最大视差值；
[0044] 分割区域匹配代价计算只需对参考图像进行色彩分割。彩色图像分割立足于平滑表面假设，即像素色彩值相似的区域内像素的深度值一般也相同，这些区域往往描绘的是平面场景，视差跳变处即为分割区域的边缘。根据这一假设，同一分割区域内的所有像素具有相同的匹配代价E(sp,sq,d)，即拥有相同的最佳视差ds。
[0045] 分割区域匹配代价E(sp,sq,d)的范围是-1到1之间，表示两个分割区域的相似程度。分割区域越相似，分割区域的匹配代价越高，即匹配程度越高。所以，以分割区域匹配代价为依据，对匹配结果进行分类，并对每个分类结果给予一定的约束准则形成视差约束，限定下一步匹配的视差搜索范围。
[0046] 对分割区域匹配代价的结果进行分类，分类原则是当分割区域匹配代价E(sp,sq,d)≥0.5时，分割区域sp被分类为可靠匹配区域，记为1；当分割区域匹配代价E(sp,sq,d)＜0.5时，分割区域sp被分类为不可靠匹配区域，记为0；此处分割区域是应该sp，sq是与之对应的区域；
[0047]
[0048] 根据分类结果估计各个区域内像素的视差范围形成分步匹配的视差约束，约束准则定义为：
[0049] d(sp)∈[down,up]
[0050] 式中，down是进行视差约束后视差范围的最小值，up是进行视差约束后视差范围的最大值；
[0051] 当sp＝1时，
[0052]
[0053] 当sp＝0时，
[0054]
[0055] 其中d(sp)为分割区域sp中所有像素视差取值范围。
[0056] (4)分别采用相关类测度归一化互相关度量函数(Normalized cross-correlation，NCC)和距离类测度灰度差的绝对值和度量函数(Sum of Absolute Difference，SAD)对灰度图像对A2和B2进行基于固定窗口的立体匹配，并利用基于彩色图像分割的视差约束来限制视差搜索范围，获得参考图像A1的视差图。如图5所示，图5a)是采用距离类测度SAD获得的初始视差图，图5b)是采用相关类测度NCC获得的初始视差图。
[0057] 以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
