需要少量计算的立体图像匹配装置和方法

摘要

一种需要少量计算的立体图像匹配装置和方法。立体图像匹配装置包括处理器，所述图像匹配装置包括：位分配器，其将立体图像的每个像素的值分配为连续的N位，并且输出包括连续的N位的多个立体图像；多个代价计算器，各接收所述多个立体图像，并对立体图像的每个的每个像素计算匹配代价值；可信度计算器，其通过利用多个代价计算器计算的各个匹配代价值的代价特征来计算匹配可信度；以及深度确定器，其确定匹配可信度高并且匹配代价值相对低的深度值为最终深度值。

权利要求

1.一种包括至少一个处理器的立体图像匹配装置，其包括：

位分配器，其将立体图像的每个像素的值分配为多个连续的N位，并且并行地输出包括所述连续的N位的多个立体图像；

多个代价计算器，每个代价计算器接收多个立体图像中的包括相对应的连续的N位的左图像和右图像并对每个立体图像的每个像素计算匹配代价值；

可信度计算器，其通过利用所述多个代价计算器计算的各个匹配代价值的代价特征来计算匹配可信度；以及深度确定器，其将匹配可信度高并且匹配代价值最小的深度值确定为最终深度值。

2.根据权利要求1所述的包括至少一个处理器的立体图像匹配装置，其中，可信度计算器通过利用一和每个像素的匹配代价的第二最小值的差与一和每个像素的匹配代价的第一最小值的差的比以及匹配代价值的方差来计算匹配可信度。

3.根据权利要求1所述的包括至少一个处理器的立体图像匹配装置，其中，深度确定器通过利用匹配可信度而在所述多个代价计算器计算的各个匹配代价集合中选择代价集合，并且将与所选择的代价集合中的第一最小值相对应的深度值计算为最终深度值。

4.根据权利要求1所述的包括至少一个处理器的立体图像匹配装置，其中，N为2的倍增数，以及当立体图像的每个像素的数据的位的总数不是2的倍增数时，位分配器重叠地输出每个像素的值的某些位。

5.一种通过至少一个处理器执行的立体图像匹配方法，其包括下述步骤：将立体图像的每个像素的值分配为多个连续的N位，并且并行地输出包括所述连续的N位的多个立体图像；

接收多个立体图像中的包括相对应的连续的N位的左图像和右图像并对立体图像中的每个的每个像素计算匹配代价值；

通过利用多个立体图像的匹配代价值的代价特征来计算匹配可信度；以及将匹配可信度高并且匹配代价值最小的深度值确定为最终深度值。

6.根据权利要求5所述的通过至少一个处理器执行的立体图像匹配方法，其中，计算匹配可信度的步骤包括：通过利用一和每个像素的匹配代价值的第二最小值的差与一和每个像素的匹配代价值的第一最小值的差的比以及匹配代价值的方差来计算匹配可信度。

7.根据权利要求5所述的通过至少一个处理器执行的立体图像匹配方法，其中，确定步骤包括：通过利用匹配可信度而在多个立体图像的匹配代价集合中选择代价集合；以及将与所选择的代价集合中的第一最小值相对应的深度值计算为最终深度值。

8.根据权利要求5所述的通过至少一个处理器执行的立体图像匹配方法，其中，N为2的倍增数，以及当立体图像的每个像素的数据的位的总数不是2的倍增数时，输出多个立体图像的步骤包括重叠地输出每个像素的值的某些连续的位。

说明书

需要少量计算的立体图像匹配装置和方法

[0001] 相关申请的交叉引用

[0002] 本申请基于2016年7月5日在韩国知识产权局提交的韩国专利申请第10-2016-0084870号并要求该申请的优先权权益，上述申请的全部内容通过引用结合于本文。

技术领域

[0003] 本申请涉及立体图像匹配技术，并且更具体而言，涉及能够减小立体匹配的计算量的需要少量计算的立体图像匹配装置和方法。

背景技术

[0004] 随着各种传感器和摄像机技术的发展，对通过传感器和摄像机技术的结合而实现的自动驾驶技术的研究已在活跃地进行着。

[0005] 在自动驾驶技术中，用作车辆的眼睛的立体摄像机是把握在车辆前方的障碍的位置和移动的非常重要的元件。

[0006] 一般而言，在利用立体摄像机的图像处理技术中，执行通过比较左图像和右图像之间的相似性而进行的匹配代价计算过程、代价优化过程和最终深度确定过程。

[0007] 在这些过程中，对图像的所有像素重复执行匹配代价计算过程。因此，随着图像数据的量增加，产生了计算量和逻辑负载(logic load)的迅速增加。

[0008] 由于根据相关技术，高动态范围(HDR)图像的数据量为低动态范围(LDR)图像的数据量的1.5至2倍，当将根据相关技术的立体匹配算法原样应用于HDR图像时，计算速度迅速下降。

发明内容

[0009] 本申请已经解决了现有技术中存在的上述问题，同时完整地保持了现有技术所具有的优点。

[0010] 本申请的一个方面提供一种需要少量计算的立体图像匹配装置和方法，该装置和方法能够减少立体匹配的计算量。

[0011] 本申请的方面并不限于上述方面。也即，本领域技术人员可以根据下述说明而容易地理解未提及的其他方面。

[0012] 根据本申请的示例性实施方案，立体图像匹配装置包括至少一个处理器，所述立体图像匹配装置包括：位分配器，其将立体图像的每个像素的值分配为多个连续的N位，并且并行地输出包括连续的N位的多个立体图像；多个代价计算器，各接收所述多个立体图像中的包括相对应的连续的N位的左图像和右图像，并对立体图像的每个像素计算匹配代价值；可信度计算器，其通过利用经由多个代价计算器计算的各个匹配代价值的代价特征来计算匹配可信度；以及深度确定器，其确定匹配可信度高并且匹配代价值最小的深度值为最终深度值。

[0013] 根据本申请的另一示例性实施方案，通过至少一个处理器执行的立体图像匹配方法包括：将立体图像的每个像素的值分配为多个连续的N位，并且并行地输出包括连续的位的多个立体图像；接收所述多个立体图像中的包括相对应的连续的N位的左图像和右图像，并对立体图像的每个像素计算匹配代价值；通过利用对于多个立体图像的匹配代价值的代价特征来计算匹配可信度；并且确定匹配可信度高并且匹配代价值最小的深度值为最终深度值。

[0014] 确定步骤可以包括：通过利用匹配可信度来在对于多个立体图像的匹配代价集合中选择代价集合；并且将与在所选择的代价集合中的第一最小值相对应的深度值计算为最终深度值。

附图说明

[0015] 通过下述结合附图所呈现的具体实施方式，本申请的以上和其它目的、特征以及优点将会更加明显。

[0016] 图1为示出根据本申请的示例性实施方案的立体图像匹配装置的框图。

[0017] 图2为示出根据本申请的示例性实施方案的立体图像匹配装置的匹配图像的视图。

[0018] 图3为示出根据本申请的示例性实施方案的立体图像匹配方法的流程图。

[0019] 附图中每个元件的附图标记

[0020] 10:立体图像匹配装置

[0021] 110:位分配器

[0022] 120:第一代价计算器

[0023] 130:第二代价计算器

[0024] 140:可信度计算器

[0025] 150:深度确定器。

具体实施方式

[0026] 通过参考附图的对示例性实施方案的下述详细说明，本申请的前述方面和其他方面、优点和特征以及完成这些方面、优点和特征的方法将变得明显。然而，本申请并不限于下文描述的示例性实施方案，而可以以不同的形式实现，提出这些示例性实施方案仅用于使本申请更加完整，并允许本领域技术人员完全认识到本申请的范围，并且本申请将通过权利要求的范围而得到限定。在本说明书中使用的术语用于解释示例性实施方案，而不是限制本申请。在本申请中，除非明确地进行相反的描述，否则单数形态包括复数形态。通过在本申请中使用的术语“包括”和/或“包含”所提及的部件、步骤、操作和/或元件并不排除一个或更多个其他部件、步骤、操作和/或元件的存在。

[0027] 在下文中，将参考附图对本申请的示例性实施方案进行具体描述。图1为示出根据本申请的示例性实施方案的立体图像匹配装置的框图。

[0028] 如图1所示，根据本申请的示例性实施方案的立体图像匹配装置10包括位分配器110、多个代价计算器120和130、可信度计算器140和深度确定器150。

[0029] 位分配器110接收立体图像(左图像和右图像)，将所接收的立体图像的各个位分配为多个连续的N位，并且将多个连续的N位彼此并行地输出。例如，当左图像和右图像的每个像素包括16位时，位分配器110可以将立体图像的每个像素的数据分配为高8位和低8位，并且输出该高8位和低8位。

[0030] 在此，N可以为2的倍增数(multiplier)。因此，当立体图像的每个像素的数据的位的总数不是2的倍增数时，位分配器110可以重叠地输出每个像素的数据的某些位。例如，当左图像和右图像的每个像素包括12位时，位分配器110可以将立体图像的每个像素的数据分配为高8位和低8位，其中重叠地包括中间4位。

[0031] 在下述说明中，将通过示例的方式描述以下情形：其中，位分配器110将立体图像分配为包括高位的立体图像和包括低位的立体图像。

[0032] 多个代价计算器120和130分别接收彼此并行输出的包括N位的立体图像，并计算立体图像匹配代价。

[0033] 具体而言，第一代价计算器120接收包括高位的左图像和包括高位的右图像，并通过利用与左图像和右图像的相同行相对应的像素的值来计算匹配代价(下文中，称作第一代价值)。在此，第一代价计算器120可以通过利用基于区域的代价评估方法(例如绝对差的和(SAD)、平方差的和(SSD)等)来计算第一代价值。

[0034] 第二代价计算器130对包括低位的左图像和包括低位的右图像执行与第一代价计算器120执行的处理对应的处理，以计算第二代价值。

[0035] 另外，第一代价计算器120和第二代价计算器130针对输入立体图像的所有像素分别输出包括第一代价值的第一代价集合以及包括第二代价值的第二代价集合。

[0036] 可信度计算器140通过利用第一代价集合和第二代价集合的代价特征来计算匹配可信度。具体而言，可信度计算器140可以通过利用下述等式1来计算在第一代价集合和第二代价集合之间的匹配可信度(conf(C))。

[0037] 【等式1】

[0038] Conf(C)＝a*MinRatio(C)+b*Var(C)

[0039] 在此，C(＝C(d))是根据深度值(Depth)而改变的匹配代价，而Var(C)是匹配代价的方差值。MinRatio(c)由下述等式2表示，且a和b是实验地获得的任意常量。例如，a和b的值可以通过如下过程来确定：在改变a和b的值的同时计算立体图像之间的视差，并将该视差与参考视差比较。

[0040] 【等式2】

[0041]

[0042] 在此，Cf是匹配代价的第一最小值，而Cs是匹配代价的第二最小值。在此，可以理解，取决于视差的匹配代价的改变越大并且在匹配代价的第一最小值和第二最小值之间的差值越大，则匹配可信度(conf(C))越大。

[0043] 深度确定器150通过利用等式2所计算的匹配可信度来计算如下述等式3所表示的最终深度。

[0044] 【等式3】

[0045] d＝argmin(Cm)

[0046] Cm＝argmax(Conf(C0...Cn-1))

[0047] 更具体而言，深度确定器150可以对于每个像素选择第一代价集合和第二代价集合中使匹配可信度高的代价集合，并且对于每个像素确定与所选择的代价集合内的第一最小值相对应的深度值是最终深度值。

[0048] 然后，深度确定器150或另外的部件可以通过利用最终深度值来配置视差映射。

[0049] 在下文中，将参考图2对根据本申请的示例性实施方案的立体图像匹配装置的效果进行描述。图2为示出根据本申请的示例性实施方案的立体图像匹配装置的匹配图像的视图。

[0050] 如图2所示，作为包括高位的立体图像的匹配结果210，亮部的匹配成功可能性相对高，但是在暗部出现多个失败的区域。

[0051] 另一方面，作为包括低位的立体图像的匹配结果220，暗部的匹配成功可能性相对高，但是在亮部出现多个失败的区域。

[0052] 然而，在本申请中，通过利用可信度计算器140计算的匹配可信度而将第一代价计算器120和第二代价计算器130的匹配结果彼此合并，从而可以获得其中精确性在亮部和暗部都得到确保的深度图像230。

[0053] 如上所述，在本申请中，在将精确度维持为等同于或类似于整体立体匹配原始图像的方法的精确度的同时，可以显著减少匹配的计算量，从而能够显著地提高处理速度。与根据相关技术的整体匹配16位立体图像的方案相比，当在本申请中在16位立体图像上执行立体匹配时，匹配的计算量可以减少高达50％。

[0054] 另外，在本申请中，当对高动态范围(HDR)图像(根据相关技术，其亮部和暗部的纹理表现力比低动态对比度(LDR)图像的纹理表现力要好)进行立体图像处理时在亮部或暗部中发生匹配失败现象可以得到显著改善。

[0055] 此外，在LDR中使用的控制器可以按原样使用，并且由于HDR图像输入所导致的逻辑过载现象可以得到显著改善。

[0056] 上文描述的本申请的示例性实施方案可以应用至例如自动驾驶系统的立体摄像机模块、高级驾驶员辅助系统(ADAS)摄像机模块、ADAS集成控制器模块等的领域，从而能够减少匹配的计算量并提高处理速度。

[0057] 在下文中，将参考图3对根据本申请的示例性实施方案的立体图像匹配方法进行描述。图3为示出根据本申请的示例性实施方案的立体图像匹配方法的流程图。

[0058] 参考图3，位分配器110将立体图像的每个像素的值分配为连续的N位，并且输出包括分配的N位的多个立体图像(S310)。在此，当立体图像的每个像素的数据的位的总数不是2的倍增数时，如必要，位分配器110可以重叠地输出在分配的N位之中邻接于其他N位的位。

[0059] 第一代价计算器120和第二代价计算器130计算对于第一立体图像和第二立体图像的每个像素的匹配代价值(S320)。具体而言，第一代价计算器120和第二代价计算器130可以对第一立体图像和第二立体图像的所有像素计算代价值，并且输出对于每个像素的第一代价集合和第二代价集合。

[0060] 可信度计算器140通过利用多个立体图像的匹配代价值的代价特征来计算匹配可信度(S330)。在这种情况下，可信度计算器140可以计算每个代价集合的匹配可信度。

[0061] 深度确定器150确定与具有高匹配可信度的代价集合中的最小代价值相对应的深度值为最终深度值(S340)。在这种情况下，深度确定器150选择第一代价集合和第二代价集合中具有高可信度的代价集合，所述具有高可信度的代价集合被用于确定每个像素的深度值。另外，深度确定器150确定与在所选择的代价集合中具有最低代价的视差相对应的深度值为最终深度值。

[0062] 然后，深度确定器150或另外的部件可以通过利用对于每个像素确定的最终深度值来形成深度映射。

[0063] 如上所述，在本申请中的示例性实施方案中，在将精确度维持为等同于或类似于整体立体匹配原始图像的方法的精确度的同时，可以显著减少匹配的计算量，从而能够显著地提高处理速度。

[0064] 另外，在本申请的示例性实施方案中，当对高动态范围(HDR)图像进行立体图像处理时在亮部或暗部发生的匹配失败现象可以显著得到改善。

[0065] 如上所述，根据本申请的示例性实施方案，立体匹配的计算量可以减少，并且速度可以增加。

[0066] 另外，在本申请中，当对高动态范围(HDR)图像(根据相关技术，其亮部和暗部的纹理表现力比低动态范围(LDR)图像的纹理表现力要好)进行立体图像处理时在亮部或暗部中发生匹配失败现象可以得到显著改善。

[0067] 上文中，尽管本申请已经参考示例性实施方案和附图而进行描述，但是本申请并不限于此，而是可以由本申请所述领域技术人员在不脱离所附权利要求书中所要求的本申请的精神和范围的情况下进行各种修改和改变。