视差值导出装置、可移动设备和视差值产生方法

摘要

一种视差值导出装置，包括计算器，该计算器被配置为基于区域的亮度值，来计算与在基准图像中的基准区域对应的在比较图像中的对应区域的候选的代价。该装置还包括改变器，其被配置为将超过阈值的代价改变为高于该阈值的值；合成器，其被配置为使如下项合成，即对于在改变之后的对于一个基准区域的对应区域的候选的代价，以及对于在改变之后的对于另一个基准区域的对应区域的候选的代价；以及导出单元，其被配置为基于一个基准区域的位置和在比较图像中的对应区域的位置来导出视差值，对于在比较图像中的对应区域，合成之后的代价是最小的。

权利要求

1.一种用于导出视差值的视差值导出装置，所述视差值指示来自通过捕获对象的图像的第一成像单元所获取的基准图像和通过捕获所述对象的另一个图像的第二成像单元所捕获的比较图像中的所述对象的视差，所述视差值导出装置包括：计算器，其被配置为，基于基准区域的亮度值和对于对应区域的候选的亮度值，来计算与在基准图像中的所述基准区域对应的比较图像中的对应区域的候选的代价，所述对于对应区域的候选以如下方式来指定，即基于在所述比较图像中的基准区域，对于所述对应区域的各自的候选在核线上偏移各自的偏移量；

改变器，其被配置为，将在由所述计算器所计算的代价当中的超过阈值的代价改变为高于所述阈值的给定值；

合成器，其被配置为，关于所述偏移量中的每个，使如下项进行合成，即对于与由所述改变器改变之后的一个基准区域对应的对应区域的候选的代价，以及对于与由所述改变器改变之后的另一个基准区域对应的对应区域的候选的代价；以及导出单元，其被配置为，基于在基准图像中的一个基准区域的位置和在所述比较图像中的对应区域的位置，导出所述视差值，对于在所述比较图像中的所述对应区域，在由合成器合成之后的代价是最小的。

2.一种用于导出视差值的视差值导出装置，所述视差值指示来自通过捕获对象的图像的第一成像单元所获取的基准图像和通过捕获所述对象的另一个图像的第二成像单元所捕获的比较图像中的所述对象的视差，并且向用于基于所述视差值来识别所述对象的对象识别装置输出所述视差值，所述视差值导出装置包括：计算器，其被配置为，基于基准区域的亮度值和对于对应区域的候选的亮度值，来计算与在基准图像中的所述基准区域对应的比较图像中的对应区域的候选的代价，所述对于对应区域的候选以如下方式来指定，即基于在所述比较图像中的基准区域，对于所述对应区域的各自的候选在核线上偏移各自的偏移量；

改变器，其被配置为，将在由所述计算器所计算的代价当中的超过阈值的代价改变为高于所述阈值的给定值；

合成器，其被配置为，关于所述偏移量中的每个，使如下项进行合成，即对于与由所述改变器改变之后的一个基准区域对应的对应区域的候选的代价，以及对于与由所述改变器改变之后的另一个基准区域对应的对应区域的候选的代价；以及导出单元，其被配置为，基于在基准图像中的一个基准区域的位置和在所述比较图像中的对应区域的位置，导出所述视差值，对于在所述比较图像中的所述对应区域，在由合成器合成之后的代价是最小的，其中随着所述阈值的降低，由所述对象识别装置所识别的对象识别结果的尺寸而减小。

3.根据权利要求1或2所述的视差值导出装置，其中

所述给定值是第一给定值，以及

所述计算器将等于或小于所述阈值的代价改变为低于所述阈值的第二给定值。

4.根据权利要求3所述的视差值导出装置，其中所述第二给定值是零。

5.一种用于导出视差值的视差值导出装置，所述视差值指示来自通过捕获对象的图像的第一成像单元所获取的基准图像和通过捕获所述对象的另一个图像的第二成像单元所捕获的比较图像中的所述对象的视差，所述视差值导出装置包括：计算器，其被配置为，基于基准区域的亮度值和对于对应区域的候选的亮度值，来计算与在基准图像中的所述基准区域对应的比较图像中的对应区域的候选的代价，所述对于对应区域的候选以如下方式来指定，即基于在所述比较图像中的基准区域，对于所述对应区域的各自的候选在核线上偏移各自的偏移量；

改变器，其被配置为，将在由所述计算器所计算的代价当中的超过阈值的代价改变为等于或小于所述阈值的值；

合成器，其被配置为，关于所述偏移量中的每个，使如下项进行合成，即对于与由所述改变器改变之后的一个基准区域对应的对应区域的候选的代价，以及对于与由所述改变器改变之后的另一个基准区域对应的对应区域的候选的代价；以及导出单元，其被配置为，基于在所述基准图像中的一个基准区域的位置和在所述比较图像中的对应区域的位置，导出所述视差值，对于在所述比较图像中的所述对应区域，在由合成器合成之后的代价是最小的。

6.根据权利要求5所述的视差值导出装置，其中所述改变器将超过所述阈值的代价改变为所述阈值。

7.根据权利要求6所述的视差值导出装置，其中

所述阈值是第一阈值，以及

所述改变器将小于所述第一阈值并且等于或大于比所述第一阈值低的第二阈值的代价改变为所述第一阈值。

8.根据权利要求6所述的视差值导出装置，其中

在导出所述视差值之后，所述视差值导出装置向用于基于所述视差值来识别所述对象的对象识别装置输出所述视差值，所述阈值是第一阈值，

所述改变器将小于所述第一阈值并且等于或大于比所述第一阈值低的第二阈值的代价改变为所述第一阈值，以及随着所述第二阈值的降低，由所述对象识别装置所识别的对象识别结果的尺寸而减小。

9.根据权利要求7或8所述的视差值导出装置，其中所述改变器将小于所述第二阈值的代价改变为小于所述第二阈值的给定值。

10.根据权利要求9所述的视差值导出装置，其中小于所述第二阈值的所述给定值是零。

11.一种包括根据权利要求1到10中的任一权利要求所述的视差值导出装置的可移动设备。

12.根据权利要求11所述的可移动设备，其中所述可移动设备是车辆或机器人。

13.根据权利要求12所述的可移动设备，其中所述机器人是固定安装的工业机器人。

14.一种用于产生视差值的视差值产生方法，所述视差值指示来自通过捕获对象的图像的第一成像单元所获取的基准图像和通过捕获所述对象的另一个图像的第二成像单元所捕获的比较图像中的所述对象的视差，所述视差值产生方法包括：基于基准区域的亮度值和对于基于在所述比较图像中的所述基准区域的在核线上的对应区域的候选的亮度值，来计算与在基准图像中的所述基准区域对应的所述比较图像中的对应区域的候选的代价；

将在所计算的代价当中的超过阈值的代价改变为高于所述阈值的给定值；

关于偏移量中的每个，使如下项进行合成，即对于与在改变步骤中的改变之后的一个基准区域对应的对应区域的候选的代价，以及对于与在改变步骤中的改变之后的另一个基准区域对应的对应区域的候选的代价；以及基于在基准图像中的一个基准区域的位置和在所述比较图像中的对应区域的位置，导出所述视差值，对于在所述比较图像中的所述对应区域，在合成步骤的合成之后的代价是最小的。

15.一种用于产生视差值的视差值产生方法，所述视差值指示来自通过捕获对象的图像的第一成像单元所获取的基准图像和通过捕获所述对象的另一个图像的第二成像单元所捕获的比较图像中的所述对象的视差，所述视差值产生方法包括：基于基准区域的亮度值和对于对应区域的候选的亮度值，来计算与在基准图像中的所述基准区域相对应的比较图像中的对应区域的候选的代价，所述对于对应区域的候选以如下方式来指定，即基于在所述比较图像中的基准区域，对于所述对应区域的各自的候选在核线上偏移各自的偏移量；

将在所计算的代价当中的超过阈值的代价改变为高于所述阈值的给定值；

关于所述偏移量中的每个，使如下项进行合成，即对于与在改变步骤的改变之后的一个基准区域对应的对应区域的候选的代价，以及对于与在改变过步骤的改变之后的另一个基准区域对应的对应区域的候选的代价；以及基于在基准图像中的一个基准区域的位置和在所述比较图像中的对应区域的位置，导出所述视差值，对于在所述比较图像中的所述对应区域，在合成步骤的合成之后的代价是最小的，其中随着所述阈值的降低，由对象识别装置所识别的对象识别结果的尺寸而减小。

说明书

视差值导出装置、可移动设备和视差值产生方法

技术领域

[0001] 本发明涉及视差值导出装置、可移动设备、机器人、视差值产生方法和计算机程序。

背景技术

[0002] 远距离测量方法是传统公知的，其中从立体相机通过立体成像导出对于对象的视差，指示这种视差的视差值被用于基于三角测量原理来测量从立体相机到对象的距离。采用该距离测量方法，例如，测量在汽车之间的距离或者在汽车与障碍物之间的距离以用于防止汽车碰撞。

[0003] 立体匹配过程被用于获取视差值。在该立体匹配过程中，通过获取图像信号是最类似的所在的对应像素的位置，计算在通过立体相机中的两个相机中的一个所获取的基准图像与通过其它相机所获取的比较图像之间的视差值，同时，相对于在基准图像中的目标基准像素，依次偏移对于在比较图像中的对应像素的多个候选。一般地，比较通过两个相机获取的图像信号的亮度值，借此获取与在偏移量当中比较的亮度值有关的具有代价的最低的一个(在此，代价是“相异度”)的像素的位置(参见日本专利申请公开No.2006-090896)。

[0004] 然而，在指示对象的亮度改变幅度的纹理是弱的并且待提取的特征是稀缺的所在的区域中，即使通过执行边缘检测，也不能获取足够的效果。

[0005] 提出一种即使对于具有弱纹理的对象导出更加精确的视差的方法(参见，例如，日本专利申请公开No.2012-181142)。采用该方法，不仅在基准图像中的目标基准像素的代价，还有存在于接近远离基准像素的位置的其它像素的代价被聚合，以导出对于具有弱纹理的对象的视差。

[0006] 然而，当使用在日本专利申请公开No.2012-181142中描述的方法来测量在汽车之间的距离或其它距离时，对于公路或具有弱纹理的其它对象的代价被具有强纹理的环境(例如前方行驶的车辆)的代价所影响。这导致不能导出精确的代价。

发明内容

[0007] 本发明的目的是至少部分地解决在常规技术中的问题。

[0008] 根据实施例，提供一种用于导出视差值的视差值导出装置，所述视差值指示来自通过捕获对象的图像的第一成像单元所获取的基准图像和通过捕获所述对象的另一个图像的第二成像单元所捕获的比较图像中的所述对象的视差获取。视差值导出装置包括计算器，其被配置为，基于基准区域的亮度值和对于对应区域的候选的亮度值，来计算与在基准图像中的所述基准区域对应的比较图像中的对应区域的候选的代价，所述对于对应区域的候选以如下方式来指定，即基于在所述比较图像中的基准区域，对于所述对应区域的各自的候选在核线上偏移各自的偏移量；改变器，其被配置为，将在由所述计算器所计算的代价当中的超过阈值的代价改变为高于所述阈值的给定值；合成器，其被配置为，关于所述偏移量中的每个，使如下项进行合成，即对于与由所述改变器改变之后的一个基准区域对应的对应区域的候选的代价，以及对于与由所述改变器改变之后的另一个基准区域对应的对应区域的候选的代价；以及导出单元，其被配置为，基于在基准图像中的一个基准区域的位置和在所述比较图像中的对应区域的位置，导出所述视差值，对于在所述比较图像中的所述对应区域，在由合成器合成之后的代价是最小的。

[0009] 当结合附图考虑时，通过阅读本发明的当前优选的实施例的以下详细描述，将更好地理解该发明的以上和其它目的、特征、优点以及技术和工业意义。

附图说明

[0010] 图1是导出从成像装置到对象的距离的原理的图示。

[0011] 图2示出(a)基准图像的示例、(b)高密度视差图像的示例，以及(c)边缘视差图像的示例。

[0012] 图3示出在依次偏移对于相对于基准图像的比较图像中的对应像素的候选的偏移量的计算。

[0013] 图4是示出相对于偏移量的代价的图表。

[0014] 图5是用于导出合成代价的概念图。

[0015] 图6是示出相对于视差值的合成代价的图表。

[0016] 图7示出配备根据本发明的实施例的视差值导出装置的汽车。

[0017] 图8是视差值导出装置的示意图。

[0018] 图9是作为整体的视差值导出装置的硬件配置图。

[0019] 图10是视差值导出装置的主要部分的硬件配置图。

[0020] 图11是示出在第一实施例中的处理的流程图。

[0021] 图12示出基准图像的示例、部分基准图像、没有代价改变的高密度视差图像、具有代价改变且具有阈值Th＝40的高密度视差图像，以及具有代价改变且具有阈值Th＝20的高密度视差图像。

[0022] 图13示出没有代价改变的代价的图表、具有代价改变的代价的图表、没有代价改变的合成代价的图表，以及具有代价改变的合成代价的图表。

[0023] 图14是基准图像的概念图，该基准图像包括指示由对象识别装置识别的对象识别结果的尺寸的帧。

[0024] 图15是示出在第二实施例中的处理的流程图。

[0025] 图16示出基准图像的示例、部分基准图像、没有代价改变的高密度视差图像，以及具有代价改变的高密度视差图像。

[0026] 图17示出没有代价改变的代价的图表、具有代价改变的代价的图表、没有代价改变的合成代价的图表，以及具有代价改变的合成代价的图表。

[0027] 图18示出与图17的(b)等同的图表、与图17的(d)等同的图表，以及具有代价改变的合成代价的图表。

具体实施方式

[0028] 下面将参考附图描述本发明的实施例。

[0029] 使用SGM方法的距离测量方法的概述

[0030] 首先参考图1到图6，将描述使用半全局匹配(SGM)的距离测量方法的概述。SGM方法在由半全局匹配和相互信息的精确和有效的立体处理(Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information)中公开，并且在下面给出简要说明。

[0031] 距离测量的原理

[0032] 参照图1，将描述测量从立体相机到对象的距离的原理，其中通过使用立体相机来进行立体成像，对象的视差被导出为视差值，并且视差值被用于测量从立体相机到对象的距离。图1是导出从成像装置到对象的距离的原理的图示。为使说明更简单，以下描述相对于每个单个像素而不是相对于包括多个像素的每个预定区域来说明过程。

[0033] 当不以单个像素为单位而是以均包括多个像素的预定区域为单位时，包括基准像素的预定区域被表示为基准区域，并且包括对应像素的预定区域被表示为对应区域。基准区域可仅包括基准像素，并且对应区域可仅包括对应像素。

[0034] 视差值的计算

[0035] 由在图1中示出的成像装置10a和成像装置10b捕获的图像分别被表示为基准图像la和比较图像lb。在图1中，成像装置10a和成像装置10b以平行并且相同的高度来安装。在图1中，在成像装置10a的一个位置处以及还有在成像装置10b的一个位置处捕获在三维空间中的对象E上的点S，其中这两个位置在成像装置10a和成像装置10b的相同的水平线上。也就是，在基准图像la中的点Sa(x,y)以及在比较图像lb中的点Sb(x,y)处捕获在每个图像中的点S。在此，使用在成像装置10a的坐标中的Sa(x,y)和在成像装置10b的坐标中的Sb(x,y)，视差值Δ被表示为等式(1)。

[0036] Δ＝X-x  (1)

[0037] 在此，如在图1中的情况中，视差值被写为Δ＝Δa+Δb，其中Δa是在基准图像la中的点Sa(x,y)与从成像透镜11a法线延伸到成像表面的交点之间的距离，并且Δb是在比较图像lb中的点Sb(x,y)与从成像透镜11b法线延伸到成像表面的交点之间的距离。

[0038] 距离计算

[0039] 使用视差值Δ可导出从成像装置10a、10b到对象E的距离Z。具体地，距离Z是从包括成像透镜11a的聚焦位置和成像透镜11b的聚焦位置的平面到在对象E上的特定点S之间的距离。如图1所示，可使用成像透镜11a和成像透镜11b的焦距f、作为在成像透镜11a与成像透镜11b之间的距离的基线距离B以及视差值Δ并通过等式(2)来计算距离Z。

[0040] Z＝(B×f)/Δ  (2)

[0041] 从等式(2)，视差值Δ越大，则距离Z越小，并且视差值Δ越小，则距离Z越大。

[0042] SGM方法

[0043] 现在参照图2到图6，将描述使用SGM的距离测量方法。图2(a)是示出基准图像的概念图，图2(b)是示出对于图2(a)的高密度视差图像的概念图，并且图2(c)是示出对于图2(a)的边缘视差图像的概念图。在此，基准图像是由亮度表示对象的图像。高密度视差图像是通过SGM方法从基准图像导出的图像，并且是在基准图像的每组坐标中表示视差值的图像。边缘视差图像是通过常规使用的块匹配方法来导出的图像，并且是仅在具有相对强的纹理(例如基准图像中的边缘)的部分处表示视差值的图像。

[0044] SGM方法是甚至对于具有弱纹理的对象适当地导出视差值的方法，并且是基于在图2(a)中示出的基准图像导出在图2(b)中示出的高密度视差图像的方法。当使用块匹配方法时，基于在图2(a)中示出的基准图像来导出在图2(c)中示出的边缘视差图像。如通过比较由在图2(b)和图2(c)中的虚线所包围的椭圆可以理解的，与边缘视差图像相比，高密度视差图像可表示诸如具有弱纹理的道路之类的详细信息，并且因此使得能更详细地进行距离测量。

[0045] 在SGM方法中，通过计算代价并且之后进一步计算作为合成的相异度的合成的代价来导出视差值，而不是在计算作为相异度的代价之后立即导出视差值。在该方法中，最终导出表示在几乎所有像素中的视差值的视差图像(在此，高密度视差图像)。

[0046] 块匹配方法与计算代价的SGM方法相同。然而，不像SGM方法，在不计算合成代价的情况下，仅在具有诸如边缘的强纹理的部分处导出视差值。

[0047] 代价的计算

[0048] 首先参照图3和图4，将描述计算代价C(p,d)的方法。图3(a)是示出在基准图像中的基准像素的概念图，并且图3(b)是在相对于在(a)中的基准像素的比较图像中计算在依次偏移(位移)对于对应像素的候选时的偏移量(位移量)的概念图。图4是示出相对于偏移量的代价的图表。在此，对应像素是与在基准图像中的基准像素最类似的在比较图像中的像素。在以下描述中，假设C(p,d)表示C(x,y,d)。

[0049] 如图3(a)所示，基于在基准图像中的预定基准像素p(x,y)和在对应于基准像素p(x,y)的比较图像中的核线上的多个对应像素的候选q(x+d,y)中的亮度值，计算对应于基准像素p(x,y)的每个对应像素的候选q(x+d,y)的代价C(p,d)。变量d是对于对应像素的每个候选q的从基准像素p的偏移量(位移量)，并且在本发明中偏移量以像素为单位来表示。也就是，在图3中，在预定范围(例如，0

[0050] 如图4所示，如此计算的代价C(p,d)可通过相对于偏移量d的代价C的一组代价曲线的图表来表示。在图4中，因为当偏移量d＝5、12、19时代价C是零，不能获取最小值。在具有弱纹理的对象的情况中，因此难以获取代价C的最小值。

[0051] 合成代价的计算

[0052] 现在参照图5和图6，将描述计算合成代价Ls(p,d)的方法。图5是用于导出合成代价的概念图。图6是示出相对于视差值的合成代价的合成代价曲线。在本实施例中的计算合成的代价的方法中，计算在基准像素p(x,y)中的代价C(p,d)，并且对于存在于接近基准像素p(x,y)的较远位置的像素p(xn,yn)中的每一个的代价也被计算，作为对于另一个基准像素p(xn,yn)中的每一个的代价C。采用该配置，通过将对于基准像素p(x,y)的计算的代价C(p,d)与对于存在于接近基准像素p(x,y)的较远位置的其它基准像素p(xn,yn)的计算的代价C聚合，计算对于基准像素p(x,y)的合成代价Ls(p,d)。类似地，通过将对于一个基准像素p(xn,yn)的计算的代价C与对于存在于接近基准像素p(xn,yn)的较远位置的其它基准像素的计算的代价C聚合，计算对于基准像素p(xn,yn)中的每一个的合成代价Ls。

[0053] 现在将更具体地描述计算合成代价的方法。为了计算合成代价Ls(p,d)，首先，有必要计算路径代价Lr(p,d)。等式(3)是用于计算路径代价Lr(p,d)的等式，并且等式(4)是用于计算合成代价Ls的等式。

[0054] Lr(p,d)＝C(p,d)+min{(Lr(p-r,d),Lr(p-r,d-1)+P1,Lr(p-r,d+1)+P1,Lrmin(p-r)+p2}  (3)

[0055] 在此，在等式(3)中，r表示在聚合方向上的方向向量并且具有x方向和y方向的两个分量。术语min{}是用于获取最小值的函数。当在p在r方向上被偏移一个像素所在的坐标中改变偏移量d时，Lrmin(p-r)表示Lr(p-r,d)的最小值。Lr如在等式(3)所表示的被循环应用。P1和P2是预先通过实验设定的固定的参数，使得在路径上的(邻近基准像素的)视差值可能是连续的。例如，P1＝48、P2＝96。

[0056] 如在等式(3)中表示，通过向在基准像素p(x,y)中的代价C添加在图5中示出的在r方向上的像素中的每个像素的路径代价Lr的最小值来获取Lr(p,d)。如上所述，为了获取在r方向上的每个像素处的Lr，Lr首先从在基准图像p(x,y)的r方向上的最末端来获取，并且Lr沿着r方向来获取。

[0057] 如图5所示，获取在八个方向上的Lr0、Lr45、Lr90、Lr135、Lr180、Lr225、Lr270、Lr315，并且最终基于等式(4)来获取合成代价Ls。

[0058]

[0059] 通过表示相对于偏移量d的合成代价Ls(p,d)的合成代价曲线的图表，可表示如此计算的合成代价Ls(p,d)，如图6所示。在图6中，合成的代价Ls在偏移量d＝3时具有最小值并且因此作为视差值Δ＝3被计算。

[0060] 虽然在前述描述中r的数量是八，但数量不限于此。例如，八个方向可进一步二分成16个方向或者三分成24个方向。

[0061] 虽然被表示为“相异度”，代价C可被表示为作为相异度相反的“类似度”。在该情况中，诸如NCC(归一化互相关性)的已知方法被应用为计算代价C的方法。在该情况中，导出不具有最小而具有“最大”合成代价Ls的视差值Δ。类似度和相异度可包含地被表示为“匹配度”。

[0062] 本发明的具体描述

[0063] 下面参考附图给出本发明的具体描述。在此，将描述搭载在汽车上的对象识别系统1。

[0064] 不仅在作为车辆的示例的汽车上，而且在作为车辆的其它示例的摩托车、自行车、轮椅和农业耕种机上，可搭载对象识别系统1。不仅在作为可移动设备的示例的车辆上，而且在作为可移动设备的另一个示例的机器人上，可搭载对象识别系统1。机器人可能不是可移动设备，而可能是诸如在FA(工厂自动化)中固定安装的工业机器人之类的设备。固定安装的设备可能不是机器人，而是安全监视摄像头。

[0065] 实施例的配置

[0066] 首先，将参考图7到图9描述本实施例中的每个的总体配置。

[0067] 外部配置

[0068] 参考图7和图8，将描述在本实施例中的对象识别系统1的外部配置。图7(a)是描绘配备根据本发明的实施例的对象识别系统的汽车的侧面的示意图，并且图7(b)是描绘汽车的前面的示意图。图8是对象识别系统的示意图。

[0069] 如图7(a)和7(b)所示，在本实施例中的对象识别系统1包括成像装置10a和成像装置10b。安装成像装置10a和成像装置10b，以便于能够对在汽车行进方向上的前方场景成像。

[0070] 如图8所示，对象识别系统1包括主体2和在主体2上设置的一对圆柱成像装置10a和成像装置10b。

[0071] 总体硬件配置

[0072] 现在参照图9，将描述对象识别系统1的总体硬件配置。图9是作为整体的对象识别系统的硬件配置图。

[0073] 如图9所示，对象识别系统1包括在主体2中的视差导出装置3和对象识别装置5。从通过对对象E成像而获取的多个图像中，视差值导出装置3导出指示对于对象E的视差的视差值Δ，并且输出指示在每个像素中的视差值Δ的高密度视差图像。基于从视差值导出装置3输出的高密度视差图像，对象识别装置5执行诸如测量从成像装置10a、10b到对象E的距离之类的过程。

[0074] 在此，首先将描述视差值导出装置3的硬件配置。如图9所示，视差值导出装置3包括成像装置10a、成像装置10b、信号转换装置20a、信号转换装置20b和图像处理装置30。

[0075] 成像装置10a生成表示通过对前方场景成像的图像的模拟信号，并且包括成像透镜11a、光圈12a和图像传感器13a。图像透镜11a是一种光学元件，其用于使穿过成像透镜11a的光衍射以形成对象的图像。光圈12a切断穿过成像透镜11a的部分光，以调节输入到成像传感器13a(之后描述)的光的质量。图像传感器13a是一种半导体装置，其将从成像透镜
11a和光圈12a输入的光转换成电模拟图像信号，并且通过例如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)来实施。成像装置10b具有与成像装置10a相同的配置，并且将成像装置10b的描述省略。安装成像透镜11a和成像透镜11b，使得它们各自的透镜表面在相同的平面上。

[0076] 信号转换装置20a将表示捕获的图像的模拟信号转换成数字格式的图像数据，并且包括相关双采样(CDS)21a、自动增益控制(AGC)22a、模拟信号转换器(ADC)23a和帧存储器24a。通过来自由图像传感器13a转换的模拟图像信号的相关双采样，CDS 21a除去噪声。AGC 22a执行对控制具有被CDS 21a除去噪声的模拟图像信号的强度的增益控制。ADC 23a将通过AGC 22a进行增益控制的模拟图像信号转换成数字格式的图像数据。帧存储器24a存储由ADC 23a转换的图像数据。

[0077] 类似地，信号转换装置20b从由成像装置10b转换的模拟图像信号获取图像数据，并且包括CDS 21b、AGC 22b、ADC 23b和帧存储器24b。CDS 21b、AGC 22b、ADC 23b和帧存储器24b分别具有与CDS 21a、AGC 22a、ADC 23a和帧存储器24a相同的配置，并且将其描述省略。

[0078] 图像处理装置30是用于处理由信号转换装置20a和信号转换装置20b转换的图像数据的装置。图像处理装置30包括现场可编程门阵列(FPGA)31、中央处理器(CPU)32、只读存储器(ROM)33、随机存取存储器(RAM)34、接口(I/F)35和总线39，例如用于电连接如图9所示的部件31到35的地址总线和数据总线。

[0079] FPGA 31是集成电路并且依照来自CPU 32的指令执行计算由图像数据表示的图像中的视差值Δ的过程。CPU 32控制在视差值导出装置3中的每个功能。ROM 33存储图像处理程序以用于CPU 32执行控制在视差值导出装置3中的每个功能。RAM 34被用作用于CPU 32的工作区域。

[0080] I/F 35是一种接口，其用于通过诸如地址总线和数据总线之类的总线4来与在之后描述的对象识别装置5的I/F 55相通信。

[0081] 现在将描述对象识别装置5的硬件配置。如图9所示，对象识别装置5包括FPGA 51、CPU 52、ROM 53、RAM 54、I/F 55、CAN I/F 58，以及诸如用于电连接到如图9所示的部件51到55、58的地址总线和数据总线之类的总线59。

[0082] FPGA 51、CPU 52、ROM 53、RAM 54、I/F 55分别具有与在图像处理装置30中的总线59与FPGA 31、CPU 32、ROM 33、RAM 34、I/F 35和总线39相同的配置，并且将其描述省略。I/F 55是一种接口，其用于通过总线4来与在图像处理装置30中的I/F 35相通信。ROM 53存储对象识别程序以用于CPU 52执行控制在对象识别装置5中的每个功能。

[0083] CAN I/F 58是用于与例如外部控制器相通信的接口，并且可连接到例如汽车的控制器局域网(CAN)。

[0084] 在这样的配置中，当高密度视差图像通过总线4从图像处理装置30的I/F35传送到对象识别装置5时，根据来自在对象识别装置5中的CPU 52的指令，FPGA 51计算从成像装置10a、10b到对象E的距离Z。FPGA 31可在来自图像处理装置30的CPU 32的指令下计算距离Z，而不是FPGA 51在来自在对象识别装置5中的CPU 52的指令下计算距离Z。

[0085] 上述程序可记录在计算机可读存储介质上的可安装或可执行文件格式中以待分发。存储介质的示例包括光盘只读存储器(CD-ROM)和安全数字(SD)存储卡。

[0086] 实施例的具体描述

[0087] 下面将参考附图描述实施例的具体描述。

[0088] 第一实施例

[0089] 首先，将描述本发明的第一实施例。

[0090] 主要部分的硬件配置

[0091] 参照图3、图9和图10，将描述根据第一实施例的视差值导出装置3的主要部分的硬件配置。图10是根据第一实施例的视差值导出装置的主要部分的硬件配置图。

[0092] 在图9中的FPGA 31包括代价计算器310、代价合成器320和视差值导出单元330，如图10所示。虽然这些是FPGA 31的部分电路，通过图像处理程序的执行可执行相同的处理。

[0093] 如图3所示，基于在基准图像(参见图3(a))中的基准像素p(x,y)的亮度值，以及基于在比较图像(参见图3(b))中的基准像素p(x,y)的基础上的在核线EL上偏移的对应像素候选q(x+d,y)的亮度值，代价计算器310计算与基准像素p(x,y)相对应的对应像素候选q(x+d,y)的代价C。代价计算器310还用作代价改变器，并且在计算的代价C当中将超过阈值Th的代价改变为高于阈值Th的给定值H。

[0094] 为了输出合成的代价Ls，代价合成器320相对于每个偏移量d将如下项合成：与在由代价计算器310(代价改变器)改变之后的某基准像素p(x,y)相对应的对应像素候选q(x+d,y)的代价C，以及与在由代价计算器310(代价改变器)改变之后的另一个基准像素p'(x',y')相对应的对应像素的候选q'(x'+d,y')的代价C。该合成过程是通过如下方式来最终计算合成代价Ls的过程：基于等式(3)计算来自代价C的路径代价Lr，并且之后进一步基于等式(4)添加对于各方向的路径代价Lr。

[0095] 基于在某基准像素p(x,y)的基准图像中的位置(x,y)，并且基于由代价合成器320合成之后的合成代价Ls为最小的在比较图像中的对应像素q(x+Δ,y)的位置(x+Δ,y)，视差值导出单元330导出视差值Δ，并且输出指示在每个像素中的视差值的视差图像。

[0096] 实施例的处理或操作

[0097] 现在参照图9到图14，将描述本发明的处理或操作。在本实施例中，将描述从如图12(a)所示的基准图像中导出合成代价Ls的情况。为了更容易理解附图，在图12(b)中示出图12(a)的部分图像。

[0098] 图11是示出在本实施例中的处理的流程图。图12(a)是示出基准图像的概念图，图12(b)是示出部分基准图像的概念图，图12(c)是示出没有代价改变的对于图12(b)的高密度视差图像的概念图，图12(d)是示出具有代价改变且具有阈值Th＝40的对于图12(b)的高密度视差图像的概念图，以及图12(e)是示出具有代价改变且具有阈值Th＝20的对于图12(b)的高密度视差图像的概念图。图13(a)是示出没有代价改变的代价的图表，图13(b)是示出具有代价改变的代价的图表，图13(c)是示出没有代价改变的合成代价的图表，以及图13(d)示出具有代价改变的合成代价。在图13(a)和13(b)中的图表中，垂直轴表示代价C并且水平轴表示偏移量d。在图13(c)和13(d)中的图表中，垂直轴表示合成的代价Ls并且水平轴表示偏移量d。

[0099] 首先，在图9中示出的成像装置10a通过对对象E成像来生成模拟图像数据(步骤S1-1)。类似地，成像装置10a通过对对象成像来生成模拟图像数据(步骤S1-2)。

[0100] 信号转换装置20a然后将模拟图像数据转换成数字图像数据(步骤S2-1)。类似地，信号转换装置20b将模拟图像数据转换成数字图像数据(步骤S2-2)。

[0101] 信号转换装置20a然后向图像处理装置30的FPGA 31输出转换的数字图像数据作为基准图像的数据(步骤S3-1)。在图12(a)中示出该基准图像的概念图。类似地，信号转换装置20b向图像处理装置30的FPGA 31输出转换的数字图像数据作为比较图像的数据(步骤S3-2)。作为由成像装置10b捕获的图像的该比较图像不具有与在图12(a)中示出的基准图像的显著的不同，并且因此在未说明的情况下省略比较图像的概念图。

[0102] 如图13(a)中的图表所示，基于基准图像的数据和比较图像的数据，在图10中示出的代价计算器310然后计算相对于各个偏移量d的代价C(步骤S4)。在此，假设代价计算器310作为代价改变器不改变代价，代价合成器320生成并且输出相对于每个偏移量d的合成代价Ls，如图13(c)中的图表所示。在该情况中，因为偏移量d＝13给出最小的合成代价Ls(Ls1)，导出单元330的视差值输出视差值Δ＝13。在该情况中的高密度视差图像是如图12(c)所示的图像。

[0103] 相反，在本实施例中，代价计算器310作为代价改变器改变代价并且将超过阈值Th(例如，C＝40)的代价C改变成给定值(例如，C＝80)，如图13(b)中的图表所示(步骤S5)。作为代价计算器，代价计算器310进一步将等于或小于阈值Th(例如，C＝40)的代价C改变成给定值(例如，C＝0)，如图13(b)中的图表所示(步骤S6)。步骤S5和步骤S6可以以相反的次序来处理或者可以同时处理。

[0104] 在图10中示出的代价合成器320然后输出相对于各个偏移量d的合成代价Ls，如图13(d)中的图表所示(步骤S7)。在该情况中，因为偏移量d＝3给出最小的合成代价Ls(Ls2)，导出单元330的视差值输出视差值Δ＝3。在该情况中的高密度视差图像是如图12(d)所示的轮廓图像。该剪影图像是由对象识别装置5识别的在基准图像中的对象的示意图像，并且随着阈值Th的降低而减小尺寸。接近零的阈值Th具有增加合成代价Ls(p,d)的精度的优点，但具有增加用于计算合成代价Ls(p,d)的FPGA 31的电路规模的缺点。

[0105] 如上所述，视差值Δ在当代价计算器310不改变代价时与当它改变代价时之间改变。与在不改变代价的情况中的高密度视差图像(参见图12(c))相比，在改变代价的情况中的高密度视差图像(参见图12(d))更加忠实于对象。

[0106] CPU 32然后将由视差值Δ表示的高密度视差图像从在图9中示出的I/F35通过总线4传送到对象识别装置5的I/F 55。在来自对象识别装置5中的CPU 52的指令下，FPGA 51然后计算从成像装置10a、10b到对象E的距离Z。

[0107] 如图14所示，在基准图像中，对象识别装置5进一步识别指示对象E的尺寸的帧。图14是基准图像的概念图，该基准图像包括指示由对象识别装置识别的对象识别结果的尺寸的帧。在该情况中，因为当如图12(d)所示的阈值Th＝40时轮廓图像是大的，在图14中的基准图像中描绘帧1001(在此，由虚线表示)。另一方面，因为当如图12(e)所示的阈值Th＝20时轮廓图像是小的，在图14中的基准图像中描绘帧1002(在此，由短划线表示)。对象识别结果的尺寸可能不通过帧来指示，但可能通过纵向或椭圆形式，或者掩盖帧的其它形式来指示。

[0108] 实施例的主要有益效果

[0109] 如上所述，在本实施例中，当由代价计算器310计算的代价C超过阈值Th时，代价计算器310将超过阈值Th的代价C改变成高于阈值Th的第一给定值H。结果，高于第一给定值H的代价C被减小到第一给定值H，使得在具有弱纹理的对象中的代价不太受在具有强纹理的邻近对象中的代价的影响。因此，该处理实现了导出更精确代价的有益效果。

[0110] 将各种代价C改变成第一给定值H还实现了减小RAM或用于导出偏移量d的其它单元的电路规模的有益效果。

[0111] 代价计算器310进一步将等于或小于阈值Th的代价改变成小于阈值Th的第二给定值零。如上所述，通过将第一给定值H改变成第二给预定值零，代价C未被缩小。因此，通过采用只有两个值(也就是第一给定值H和第二给定值零)的计算，可导出偏移量d，借此实现进一步减小电路规模的有益效果。采用只有两个值(也就是第一给定值H和第二给定值零)的计算可减小在计算合成的代价Ls中的由代价C的幅度所带来的过度影响，并且使得视差值的导出更加忠实于实际对象。

[0112] 第二实施例

[0113] 现在将描述本发明的第二实施例。本实施例的主要部件的硬件配置与第一实施例的主要部件的硬件配置相同，并且将其描述省略。

[0114] 实施例的处理或操作

[0115] 现在参照图15到图18，将描述本实施例的处理或操作。在本实施例中，将描述从如图16(a)所示的基准图像中导出合成代价Ls的情况。为了更容易理解附图，在图16(b)中示出图16(a)的部分图像。

[0116] 图15是示出在第二示例实施例中的处理的流程图。图16(a)是基准图像的示例，图16(b)是部分基准图像，图16(c)是示出没有代价改变的对于图16(b)的高密度视差图像的概念图，图16(d)是示出具有代价改变的对于图16(b)的高密度视差图像。图17(a)是示出没有代价改变的代价的图表，图17(b)是示出具有代价改变的代价的图表，图17(c)是示出没有代价改变的合成代价的图表，以及图17(d)示出具有代价改变的合成代价。图18(a)和18(c)是分别与图17(b)和17(d)相同的图表。提供图18(a)和18(c)以促进其与图18(b)和18(d)的比较。图18(b)是示出具有进一步代价改变的代价的图表，以及图18(d)是示出具有进一步代价改变的合成代价的图表。

[0117] 在图17(a)和17(b)以及图18(a)和18(b)中的图表中，垂直轴表示代价C并且水平轴表示偏移量d。在图17(c)和17(d)以及图18(c)和18(d)中的图表中，垂直轴表示合成代价Ls并且水平轴表示偏移量d。在图15中示出的步骤S11-1到S14与在图11中示出的步骤S1到S4相同，并且将其描述省略。下面描述步骤S15和随后的步骤。

[0118] 在步骤S14的处理之后，代价计算器310作为代价改变器改变代价并且将超过阈值Th1(例如，C＝80)的代价C改变成阈值Th1，如图17(b)中的图表所示(步骤S15)。在该状态中，代价合成器320生成并且输出相对于每个偏移量d的合成代价Ls，如图17(d)中的图表所表示。在该情况中，因为偏移量d＝3给出最小的合成代价Ls(Ls3)，导出单元330的视差值输出视差值Δ＝3。在该情况中的高密度视差图像是如图16(d)所示的图像。

[0119] 代价计算器310作为代价改变器改变代价并且将小于阈值Th1以及等于或大于阈值Th2(例如，C＝40)的代价C改变成阈值Th1，如图18(b)中的图表所示(步骤S16)。代价计算器310作为代价改变器进一步改变代价并且将小于阈值Th2的代价C改变成零，如图18(b)中的图表所示(步骤S17)。在该状态中，代价合成器320生成并且输出相对于每个偏移量d的合成代价Ls，如图18(d)中的图表所表示。在该情况中，因为偏移量d＝3变成最小的合成代价Ls(Ls3)，导出单元330的视差值输出视差值Δ＝3。在该情况中，偏移量d＝13对应于局部最小合成代价Ls4，该局部最小合成代价Ls4是比如图18(d)所示的最小局部最小合成代价(即，最小合成代价Ls3)更大的合成代价。因为与图18(c)相比，图18(d)的局部最小合成代价Ls4的合成代价更大，在图18(d)的偏移量d＝3附近的合成代价Ls的低点变得突出。在步骤S15到S17中的处理可以以任何次序来执行或者可同时处理。

[0120] 在图10中示出的代价合成器320然后输出相对于每个偏移量d的合成代价Ls，如图18(d)中的图表所示(步骤S18)。在该情况中，因为偏移量d＝3给出最小的合成代价Ls(Ls3)，导出单元330的视差值输出视差值Δ＝3。在该情况中的高密度视差图像是如图16(e)所示的图像。视差值Δ因此在当代价计算器310不改变代价时与当它改变代价时之间改变。与在不改变代价的情况中的高密度视差图像(参见图16(c))相比，在改变代价的情况中的高密度视差图像(参见图16(d))更加忠实于对象。与在代价C未被二值化的情况中的高密度视差图像(参见图16(d))相比，在代价C被二值化的情况中的高密度视差图像(参见图16(e))是甚至更加忠实于对象的图像。

[0121] CPU 32之后将由视差值Δ表示的高密度视差图像从在图9中示出的I/F35通过总线4传送到对象识别装置5的I/F 55。在来自对象识别装置5中的CPU 52的指令下，FPGA 51然后计算从成像装置10a、10b到对象E的距离Z。

[0122] 因为当阈值Th2＝40时轮廓图像是大的，则以与第一实施例相同的方式，如图14所示的基准图像中描绘帧1001。另一方面，因为当阈值Th2＝20时轮廓图像是小的，如图14所示的基准图像中描绘帧1002。

[0123] 实施例的主要有益效果

[0124] 如上所述，在本实施例中，当由代价计算器310计算的代价C超过阈值Th1(例如，C＝80)时，代价计算器310(代价改变器)将超过阈值Th1的代价C改变成等于或高于阈值Th1的值。高于阈值Th1的代价C因此被减小到等于或小于阈值Th1的值，使得在具有弱纹理的对象中的代价不太受在具有强纹理的邻近对象中的代价的影响。因此，该处理实现了导出更精确代价的有益效果。

[0125] 代价计算器310(代价改变器)进一步将小于阈值Th1以及等于或大于阈值Th2(例如，C＝40)的代价C改变成阈值Th1。代价计算器310(代价改变器)将小于阈值Th2的代价改变成小于阈值的给定值(例如，C＝0)。如上所述，代价C被尽可能地缩小，并且如图18(b)所示，最终由两个值(C＝0、80)来控制。该处理因此实现了减小RAM或用于导出偏移量d的类似物的电路规模的有益效果。

[0126] 对实施例的补充说明

[0127] 在前述实施例中，代价计算器310用作代价改变器。然而，实施例不限于此，并且代价合成器320可用作代价改变器。在该情况中，代价合成器320在代价改变之后执行代价合成。

[0128] 在前述第二实施例中，第二给定值是零。然而，实施例不限于此，并且第二给定值可以是只要其小于阈值Th的诸如10、20或30的任何值。

[0129] 如上所述，对于合成代价，如果由代价计算单元计算的代价超过阈值，则超过阈值的代价被改变成高于阈值的给定值。高于给定值的代价C因此被减小到给定值，使得在具有弱纹理的对象中的代价不太受在具有强纹理的邻近对象中的代价的影响。本发明因此实现了导出更精确代价的有益效果。

[0130] 虽然已经关于特定实施例将本发明描述为完整和清晰的公开，所附权利要求并不因此受限，而是被解释为体现完全落入在本文中的前述基本教导之内的可对本领域技术人员发生的所有修改和替代。