本发明提出了一种精确高效的立体匹配方法。本发明的核心创新点如下：首先，本发明提出在超像素层次上实施局部α扩展。通过建立多层超像素分割结构限制扩展范围，更好地利用超像素内部的局部性及超像素边界的非连续性。其次，在传统的Graph‐Cut算法的能量函数中，本发明引入了一个新的法向约束项惩罚局部区域的法向过大变化，从而更好地保证三维标签的法向平滑。另外，针对光滑弱纹理甚至无纹理区域，本发明提出了一个新颖的法向调整算法——基于深度优先的相似链表进行法向调整，实现好的标签在弱纹理区域的传播，有效解决了由于纹理信息缺失而导致的误匹配问题。
1.一种精确高效的立体匹配方法，其特征在于，包括以下步骤：(1)将两幅图像进行立体矫正，使得两幅图像的视差在同一水平线；
(2)对矫正后的两幅图像进行多层次超像素分割，然后以超像素为基本单元，采用深度优先搜索策略建立超像素相似链表；
(3)对矫正后的两幅图像中的所有像素，利用随机初始化方法，获得任意像素p匹配代价最小的三维标签作为初始三维标签fp；
其中φ(p，fp)为初始三维标签fp下的匹配代价； 为视差平滑正则项，其代表相邻像素p,q之间的视差平滑量化值；ξ(fp，fq)为法向平滑约束正则项，其代表相邻像素p,q对应三维标签的法向平滑量化值；λ和γ是对应正则项的权重参数；Ω表示矫正之后的图像中的所有像素，N表示相邻像素集合；
其中np，nq表示相邻像素p，q对应三维标签的平面法向量；
(5)对所有像素的三维标签利用超像素α扩展算法进行标签扰动；然后根据能量函数，通过Graph-cut算法优化三维标签集合，满足：f(t+1)＝arg minfE(f)
其中α代表扰动的候选标签， 代表t次迭代时像素p对应的三维标签；f(t+1)表示t+1次迭代后得到的能量函数最小的标签集合；
(6)根据步骤(5)获得的最优三维标签集合，对步骤(2)获得的超像素相似链表进行优化；
根据矫正后的两幅图像中的每个像素的匹配代价，确定一个匹配阈值，将像素分为好匹配和差匹配，其中，好匹配为像素的匹配代价小于等于该匹配阈值，差匹配为像素的匹配代价大于该匹配阈值；
对于相似链表中的一个超像素i，计算其中包含的所有好匹配像素对应的三维标签的法向量的平均 将其中包含的所有差匹配像素对应的三维标签的法向量更新为其中ω为设定的用于调整超像素平均法向与超像素链表平均法向比例的参数；L表示超像素i所在的超像素链表的长度；
对更新后的差匹配像素对应的法向量 进行归一化处理，归一化为n′p＝(a′p，b′p，1)；然后调整c分量以保持视差值不变，调整方法如下：图像坐标系中某一像素点p＝(u，v)，其视差值可用三维标签技术参数化为一个三维标签fp＝(ap，bp，cp)，对应的视差dp(fp)可以表示为dp(fp)＝apu+bpv+cp.
其中，对于像素p对应三维标签中的三维平面fp，其法向量可表示为np＝(ap，bp，1).
如果一个像素对应的三维平面标签对应的法向量被调整为n′p＝(a′p，b′p，1)，可通过改变平面标签c分量以保持视差不变，可表示为c′p＝dp(fp)-a′p·u-b′p·v. (2)其中f′p＝(a′p，b′p，c′p)表示像素p的最优三维标签；
(7)根据步骤6计算所有像素的最优三维标签，结合最优三维标签与像素对应的坐标转换成视差图，进行左右一致性检查后处理生成最终的视差图。
2.根据权利要求1所述的方法，其特征在于，所述步骤(2)中的超像素分割，采用SLIC分割方法。
3.根据权利要求1所述的方法，其特征在于，所述步骤(3)中的随机初始化方法采用三维标签技术。
4.根据权利要求1所述的方法，其特征在于，所述步骤(4)中采用的graph-cut能量函数。
5.根据权利要求1所述的方法，其特征在于，所述步骤(5)中采用的超像素α扩展方法。
6.根据权利要求1所述的方法，其特征在于，所述步骤(6)中采用的三维标签法向调整方法。
一种精确高效的立体匹配方法
技术领域
[0001] 给定两幅图像，立体匹配(Stereo Matching)计算图像中每个像素对应的视差值。本发明针对立体匹配中由于纹理信息缺失而导致的误匹配问题，提出了一个高效精确的法向调整方法，可处理光滑无纹理区域的误匹配问题。其次，本发明提出了基于超像素的局部α扩展技术，更好地利用超像素内部的局部性及超像素边界的非连续性。
背景技术
[0002] 立体匹配技术是计算机视觉中的一个重要且困难的问题，其目标是从不同视点图像中找到每个像素匹配的对应点。立体匹配过程通常包括四个步骤：代价计算、代价聚合、视差计算和视差优化。立体匹配算法一般可分为局部方法和全局方法。局部的立体匹配方法假定一个窗口内的像素具有相同的视差值，视差值依赖于匹配窗口中的像素相似性且一般是整数，这种方法对噪音比较敏感，在光滑无纹理区域和不连续区域能难得到可靠的视差值。全局的立体匹配方法通过添加相邻像素的视差平滑将视差图的计算转化为一个全局优化问题。相对于局部立体算法，全局算法鲁棒性更强，精度更高。但是，全局优化的平滑项一般会使边缘处产生不可靠的结果。对于大区域的的光滑无纹理区域，局部立体匹配和全局立体匹配方法都难以获得精确的视差值。
发明内容
[0003] 本发明的目的是针对现有技术的不足，提供一种精确高效的立体匹配方法。
[0004] 本发明是通过以下技术方案实现的：一种精确高效的立体匹配方法，包括以下步骤：
[0005] (1)将两幅图像进行立体矫正，使得两幅图像的视差在同一水平线；
[0006] (2)对矫正后的两幅图像进行多层次超像素分割，然后以超像素为基本单元，采用深度优先搜索策略建立超像素相似链表。
[0007] (3)对矫正后的两幅图像中的所有像素，利用随机初始化方法，获得任意像素像素p匹配代价最小的三维标签作为初始三维标签fp；
[0008] (4)分别计算两张矫正之后的图像的能量函数：
[0009]
[0010] 其中φ(p，fp)为初始三维标签fp下的匹配代价； 为视差平滑正则项，其代表相邻像素p,q之间的视差平滑量化值；ξ(fp，fq)为法向平滑约束正则项，其代表相邻像素p,q对应三维标签的法向平滑量化值；λ和γ是对应正则项的权重参数。Ω表示矫正之后的图像中的所有像素，N表示相邻像素集合；
[0011]
[0012] 其中np，nq表示相邻像素p，q对应三维标签的平面法向量。
[0013] (5)对所有像素的三维标签利用超像素α扩展算法进行标签扰动；然后根据能量函数，通过Graph‐cut算法优化三维标签集合，满足：
[0014] f(t+1)＝argminfE(f)
[0015]
[0016] 其中α代表扰动的候选标签， 代表t次迭代时像素p对应的三维标签。f(t+1)表示t+1次迭代后得到的能量函数最小的标签集合。
[0017] (6)根据步骤5获得的最优三维标签集合，对步骤2获得的超像素相似链表进行优化。
[0018] 根据矫正后的两幅图像中的每个像素的匹配代价，确定一个匹配代价，将像素分为好匹配和差匹配，其中，好匹配为像素的匹配代价小于等于该匹配阈值，差匹配为像素的匹配代价大于该阈值。
[0019] 对于相似链表中的一个超像素i，计算其中包含的所有好匹配像素对应的三维标签的法向量的平均 将其中包含的所有差匹配像素对应的三维标签的法向量更新为其中ω为设定的用于调整超像素平均法向与超像素链表平均法向比例的参数；L表示超像素i所在的超像素链表的长度。
[0020] 对更新后的差匹配像素对应的法向量 进行归一化处理，归一化为n′p＝(a′p，b′p，1)；然后调整c分量以保持视差值不变，调整方法如下：
[0021] 图像坐标系中某一像素点p＝(u，v)，其视差值可用三维标签技术参数化为一个三维标签fp＝(ap，bp，cp)，对应的视差dp(fp)可以表示为
[0022] dp(fp)＝apu+bpv+cp.
[0023] 其中，对于像素p对应三维标签中的三维平面fp，其法向量可表示为[0024] np＝(ap，bp，1).
[0025] 如果一个像素对应的三维平面标签对应的法向量被调整为n′p＝(a′p，b′p，1)，可通过改变平面标签c分量以保持视差不变，可表示为
[0026] c′p＝dp(fp)-a′p·u-b′p·v. (4)
[0027] 其中f′p＝(a′p，b′p，c′p)表示像素p的最优三维标签。
[0028] (7)根据步骤6计算所有像素的最优三维标签，结合最优三维标签与像素对应的坐标转换成视差图，进行左右一致性检查后处理生成最终的视差图。
[0029] 进一步地，所述步骤2中的超像素分割，采用SLIC分割方法。
[0030] 进一步地，所述步骤3中的随机初始化方法采用三维标签技术。
[0031] 进一步地，所述步骤4中采用的graph‐cut能量函数。
[0032] 进一步地，所述步骤5中采用的超像素α扩展方法。
[0033] 进一步地，所述步骤6中采用的三维标签法向调整方法。
[0034] 本发明的有益效果在于：能够高效精确地求解光滑无纹理区域的视差，对较强光照以及立体矫正不完善的情况也能够很好的进行求解。
附图说明
[0035] 图1：超像素分割图。采用三层的超像素SLIC分割，初始尺寸分别为：5×5、15×15和25×25。
[0036] 图2：超像素局部α扩展示意图，从左至右分别为原始超像素分割图，超像素包围盒和超像素扩展区域图。
[0037] 图3：整体视差求解算法示意图。依次为：超像素分割，局部立体匹配获得初始视差值解，局部α扩展算法迭代t1次，三维标签法向调整，局部α扩展迭代t2次，输出视差图。
[0038] 图4：深度优先搜索得到的超像素相似链表示意图。
[0039] 图5：本发明在Middlebury 3.0上的测试结果截图。本发明在立体匹配测试集Middlebury 3.0上的默认标准精度测试结果排名第一，Middlebury 3.0测试集评测网址：http://vision.middlebury.edu/stereo/eval3/。
[0040] 表1：本发明在不同评价指标下的性能比较。本发明在多个准确度标准下均排名第一，其中还列出了其他准确度排名靠前的算法。
具体实施方式
[0041] 一种精确高效的立体匹配方法，包括以下步骤：
[0042] (1)将两幅图像进行立体矫正，使得两幅图像的视差在图像中处于同一水平线；
[0043] (2)在足够小的区域内，领域像素对应的视差值应保持平滑。本发明对矫正后的两幅图像进行多层超像素分割，本发明使用Achanta,R.,Shaji,A.,Smith,K.,Lucchi,A.,Fua,P.,Su¨sstrunk,S.:Slicsuperpixelscompared to state‐of‐the‐art superpixel methods.IEEE transactions on pattern analysis and machine intelligence 34(11)(2012)2274–2282中提出的SLIC分割技术实现不同粒度的分层分割。分割结果如图1所示，本发明采用了三层的超像素SLIC分割。在超像素分割之后，以超像素为基本单元，采用深度优先搜索策略建立超像素相似链表。所述超像素相似链表满足：相邻超像素之间的LAB颜色空间距离小于等于预先定义的LAB阈值63，链表长度小于最大长度阈值15。超像素相似链表连接图结果如图4所示，由图可知我们相似链表技术对于边缘分割效果较好。
[0044] (3)本发明使用Bleyer,M.,Rhemann,C.,&Rother,C.(2011,August).PatchMatch Stereo-Stereo Matching with Slanted Support Windows.In Bmvc(Vol.11,pp.1-11)中提出的三维标签技术。对矫正后的两幅图像中的所有像素，利用随机初始化方法，获得其匹配代价最小的三维标签作为初始三维标签，本发明使用Li,L.,Yu,X.,Zhang,S.,Zhao,X.,Zhang,L.:3d cost aggregation with multiple minimum spanning trees for stereo matching.Applied optics 56(12)(2017)3411–3420中提出的随机初始化方法。
[0045] (4)分别计算两张矫正之后的图像的能量函数：
[0046]
[0047] 其中φ(p，fp)为像素p在对应三维标签fp下的匹配代价； 为视差平滑正则项，其代表相邻像素p,q之间的视差平滑量化值；ξ(fp，fq)为法向平滑约束正则项，其代表相邻像素p,q对应三维标签的法向平滑量化值；λ和γ是对应正则项的权重参数。Ω表示矫正之后的图像中的所有像素，N表示相邻像素集合；
[0048]
[0049] 其中np，nq表示相邻像素p，q对应三维标签的平面法向量。本发明中的超像素扩展技术使用Taniai,Tatsunori,et al."Continuous 3D Label Stereo Matchingusing Local Expansion Moves."IEEE Transactions on Pattern Analysis and Machine Intelligence(2017)中的α扩展方法。超像素α扩展图如图2所示。
[0050] (5)基于超像素的局部α扩展方法能解决基于均等网格方法对局部细节针对性不强的问题，但是对于光滑弱纹理区域，基于超像素分割的方法仍然不能很好地求解视差。因此，本发明对所有像素的三维标签利用超像素α扩展算法进行标签扰动；然后根据能量函数，通过Graph‐cut算法优化三维标签集合，满足：
[0051] f(t+1)＝arg minf.E(f)
[0052]
[0053] 其中α代表扰动的候选标签， 代表t次迭代时像素p对应的三维标签。f(t+1)表示t+1次次迭代后得到的能量函数最小的标签集合。
[0054] (6)超像素α扩展对于光滑区域较大时不能很好的扩展传播求解。本发明根据步骤5获得的最优三维标签集合，对步骤2获得的超像素相似链表进行三维标签法向优化。
[0055] 根据矫正后的两幅图像中的每个像素的匹配代价，将像素分为好匹配和差匹配，其中，好匹配为像素的匹配代价小于等于该匹配阈值，差匹配为像素的匹配代价大于该阈值。
[0056] 对于相似链表中的一个超像素i，计算其中包含的所有好匹配像素对应的三维标签的法向量的平均值 将其中包含的所有差匹配像素对应的三维标签的法向量更新为其中ω为设定的用于调整超像素平均法向与超像素链表平均法向比例的参数；L表示超像素i所在的超像素链表的长度
[0057] 对更新后的差匹配像素对应的法向量 进行归一化处理，归一化为n′p＝(a′p，b′p，1)；然后调整c分量以保持视差值不变，调整方法如下：
[0058] 图像坐标系中某一像素点p＝(u，v)，其视差值可用三维标签技术参数化为一个三维标签fp＝(ap，bp，cp)，对应的视差dp(fp)可以表示为
[0059] dp(fp)＝apu+bpv+cp.
[0060] 其中，对于像素p对应三维标签中的三维平面fp，其法向量可表示为[0061] np＝(ap，bp，1).
[0062] 如果一个像素对应的三维平面标签对应的法向量被调整为n′p＝(a′p，b′p，I)，可通过改变平面标签c分量以保持视差不变，可表示为
[0063] c′p＝dp(fp)-a′p·u-b′p·v.
[0064] 其中f′p＝(a′p，b′p，c′p)表示像素p的最优三维标签。
[0065] (7)根据步骤6计算所有像素的最优三维标签，结合最优三维标签与像素对应的坐标转换成视差图，进行左右一致性检查后处理生成最终的视差图。视差结果为图3中算法流程结果图。根据图5和表1测试集中的精度比较可知本发明精度很高。
[0066] 表1
[0067]
