测量工具、校准方法、校准装置和程序

摘要

在本发明的实施例中，测量工具具有：第一构件，具有包括用于立体相机的校准的图表的表面，以及安装在第一构件上的测量构件，其中测量构件包括：光源，其不管表面上的位置而发射均匀强度的光，以及第二构件，其覆盖光源，并且经由多个第一孔和大于第一孔的多个第二孔来发射光。

权利要求

1.一种测量工具，包括：

第一构件，具有包括图表的表面，所述图表用于立体相机的校准；以及测量构件，被布置在所述第一构件的表面上，其中

所述测量构件包括：

光源，用于不管表面上的位置而发射具有均匀强度的光，

第二构件，用于覆盖光源并且从多个第一孔和尺寸大于第一孔的多个第二孔放射光，所述第二构件包括彼此平行的两个平板，并且其中以第一间隔来提供在垂直于表面的方向上钻出的所述多个第一孔，并且以第二间隔来提供在垂直于表面的方向上钻出的所述多个第二孔，所述第一孔位于相应的两个平板的表面上的相同位置，并且

所述第二孔位于相应的两个平板的表面上的相同位置。

2.根据权利要求1所述的测量工具，其中所述两个平板通过所述两个平板之间的透明材料进行固定。

3.根据权利要求1或2所述的测量工具，其中

所述第一间隔不大于在立体相机和测量工具之间的校准距离内的立体相机的分辨率极限。

4.根据权利要求1或2所述的测量工具，其中

所述第二孔中的每个具有矩形形状，并且

所述第二孔以第二间隔被钻出在水平方向上所述第二构件的上端部和下端部中的至少一个，以及在垂直方向上所述第二构件的右端部和左端部中的至少一个。

5.一种通过测量工具来校准立体相机的校准方法，所述测量工具包括：第一构件，具有包括图表的表面，所述图表用于立体相机的校准；以及测量构件，被布置在所述第一构件的表面上，所述测量构件包括：光源，用于不管表面上的位置而发射具有均匀强度的光；以及第二构件，用于覆盖光源并且从多个第一孔和尺寸大于第一孔的多个第二孔放射光，所述校准方法包括以下步骤：获取捕获图像，其包括由立体相机捕获到的测量工具作为对象；

基于捕获图像中包括的多个第二孔的图中的最大亮度的位置，来指定在捕获图像中包括的多个第一孔的图中的最大亮度的位置，并且基于所述多个第一孔的图中的最大亮度的指定位置，来测量所述测量工具的朝向从与所述立体相机的直接面对位置的位移；以及基于所述测量工具的朝向上的位移和所述捕获图像来确定用于校准立体相机的校准参数。

6.根据权利要求5所述的校准方法，其中确定步骤包括以下步骤：从捕获图像计算所述图表的视差；

计算考虑到测量工具的朝向上位移的理想视差；以及

基于视差和理想视差，确定用于校准立体相机的校准参数。

7.一种校准装置，包括：

接收器，用于接收由立体相机捕获的捕获图像，所述捕获图像包括作为对象的测量工具，所述测量工具包括：第一构件，具有包括图表的表面，所述图表用于立体相机的校准；以及测量构件，被布置在所述第一构件的表面上，所述测量构件包括：光源，用于不管表面上的位置而发射具有均匀强度的光；以及第二构件，用于覆盖光源并且从多个第一孔和尺寸大于第一孔的多个第二孔放射光；

测量器，用于基于捕获图像中包括的多个第二孔的图中的最大亮度的位置，来指定在捕获图像中包括的多个第一孔的图中的最大亮度的位置，并且基于所述多个第一孔的图中的最大亮度的指定位置，来测量所述测量工具的朝向从与所述立体相机的直接面对位置的位移；以及确定器，用于基于所述测量工具的朝向上的位移和所述捕获图像来确定用于校准立体相机的校准参数。

8.一种使得计算机执行如下功能的程序：

接收器，用于接收由立体相机捕获的捕获图像，所述捕获图像包括作为对象的测量工具，所述测量工具包括：第一构件，具有包括图表的表面，所述图表用于立体相机的校准；以及测量构件，被布置在所述第一构件的表面上，所述测量构件包括：光源，用于不管表面上的位置而发射具有均匀强度的光；以及第二构件，用于覆盖光源并且从多个第一孔和尺寸大于第一孔的多个第二孔放射光；

测量器，用于基于捕获图像中包括的多个第二孔的图中的最大亮度的位置，来指定在捕获图像中包括的多个第一孔的图中的最大亮度的位置，并且基于所述多个第一孔的图中的最大亮度的指定位置，来测量所述测量工具的朝向从与所述立体相机的直接面对位置的位移；以及确定器，用于基于所述测量工具的朝向上的位移和所述捕获图像来确定用于校准立体相机的校准参数。

说明书

测量工具、校准方法、校准装置和程序

技术领域

[0001] 本发明涉及测量工具、校准方法、校准装置和程序。

背景技术

[0002] 能够测量到对象的距离的立体相机已经被利用。例如，通过车辆中配备的立体相机(此后称为“车载立体相机”)来测量到位于汽车前方的对象的距离并且控制汽车的技术已经投入实际使用。为了防止汽车碰撞、控制汽车之间的距离等目的，通过车载立体相机测量到的距离用于警示司机和控制制动、转向等。此外，校准配备在诸如汽车的移动体中的立体相机的技术已经为人所知。

[0003] 例如，专利文献1公开了如下发明：通过对于图像数据执行图像处理来调整立体相机的位置位移和光学畸变，所述图像数据通过捕捉具有特定图案的图表的图像来获取。

发明内容

[0004] 发明要解决的问题

[0005] 然而，在常规技术中，准确地测量图表和立体相机之间的相对位置的位移并且通过准确地考虑相位位置处的位移来校准立体相机，这是很难的。

[0006] 鉴于前述已经实现了本发明，本发明的目的是提供一种能够以更高的准确度校准立体相机的测量工具、校准方法、校准装置和程序。

[0007] 解决问题的手段

[0008] 为了解决上述问题和实现目的，本发明包括第一构件，所述第一构件具有包括图表的表面，所述图表用于立体相机的校准；以及布置在第一构件的表面上的测量构件。测量构件包括：光源，其用于不管表面上的位置而发射均匀强度的光；以及第二构件，其用于覆盖光源并且从多个第一孔和尺寸大于第一孔的多个第二孔放射光。

[0009] 发明的效果

[0010] 根据本发明，提供了以更高的准确度校准立体相机的优点。

附图说明

[0011] 图1示出根据第一实施例的测量工具、立体相机和校准装置的关系的示例。

[0012] 图2是示出根据第一实施例的立体相机的功能配置的示例。

[0013] 图3是通过使用立体相机测量距离的原理的说明示意图。

[0014] 图4是示出根据第一实施例的测量工具的前面的前视图。

[0015] 图5A是示出根据第一实施例的角度测量板的前面的前视图。

[0016] 图5B是根据第一实施例的角度测量板的沿线A-A的剖视图。

[0017] 图5C是根据第一实施例的角度测量板的沿线B-B的剖视图。

[0018] 图6是从第一相机的光学中心的位置看到在第二构件中钻出的第一孔106、107和108的情况的说明示意图。

[0019] 图7A示出当从第一相机的光学中心的位置看到第一孔106时的第一孔106的形状。

[0020] 图7B示出当从第一相机的光学中心的位置看到第一孔107时的第一孔107的形状。

[0021] 图7C示出当从第一相机的光学中心的位置看到第一孔108时的第一孔108的形状。

[0022] 图8示出在不包括光学模糊的情况下的角度测量板的示意图。

[0023] 图9示出在包括光学模糊的情况下的多个第一孔的示意图。

[0024] 图10是图9中亮度的钟形分布的边缘的半径的大小的示意图。

[0025] 图11是从第一相机的光学中心的位置看到在第二构件中钻出的第二孔121、122和123的情况的说明示意图。

[0026] 图12A示出当从第一相机的光学中心的位置看到第二孔121时的第二孔121的形状。

[0027] 图12B示出当从第一相机的光学中心的位置看到第二孔122时的第二孔122的形状。

[0028] 图12C示出当从第一相机的光学中心的位置看到第二孔123时的第二孔123的形状。

[0029] 图13是解释根据第一实施例的第二孔的期望目的概念示意图。

[0030] 图14是成像面上的第一孔的图中的峰值亮度的位置与角度测量板的倾斜的关系的说明示意图。

[0031] 图15是确定指示测量工具的位置的平面的方程的方法的说明示意图。

[0032] 图16是示出根据第一实施例的校准装置的配置的示例。

[0033] 图17是表示根据第一实施例的校准方法的示例的简单概览。

[0034] 图18是表示根据第一实施例的校准方法的示例的流程图。

[0035] 图19A是根据第二实施例的角度测量板的沿线A-A的剖视图。

[0036] 图19B是根据第二实施例的角度测量板的沿线B-B的剖视图。

[0037] 图20是关于光的折射角的说明示意图。

[0038] 图21是示出根据第二实施例的从第一洞发射出的光的说明示意图。

[0039] 图22是测量工具的倾斜与多个第一洞的图中的峰值亮度的位置的位移之间的关系的说明示意图。

[0040] 图23是关于第一孔的图中的波纹周期与峰值亮度的移动范围的关系的说明图。

[0041] 图24是关于相邻的第一孔的图中的峰值亮度的位置的说明图。

[0042] 图25是示出根据第一实施例和第二实施例的校准装置的硬件配置的示例的说明示意图。

具体实施方式

[0043] 将参考附图来详细说明测量工具、校准方法、校准装置和程序。

[0044] 第一实施例

[0045] 图1示出根据第一实施例的测量工具20、立体相机10和校准装置30的关系的示例。图1示出校准附加在汽车的风挡内的立体相机10(车载立体相机)所捕捉的图像的示例。

[0046] 立体相机10捕捉位于汽车前面的对象的图像，并且测量到该对象的距离。

[0047] 测量工具20用于获取测试数据，该数据使得能够确定校准立体相机10所使用的校准参数。测量工具20以落入立体相机10的成像范围的方式进行布置。例如，测量工具20以接近正对立体相机10的方式被布置在距离立体相机10大约两米远的位置。根据第一实施例的测量工具20具有角度测量板101和第一构件102。角度测量板101用于测量指示测量工具20在水平方向倾斜的位移的角度，和指示测量工具20在垂直方向倾斜的位移的角度。第一构件102用作允许校准立体相机10的图表。

[0048] 校准装置30是根据通过使用校准工具20所获取的测量数据来确定校准参数的计算机。

[0049] 接着，将说明根据第一实施例的立体相机10的功能配置。

[0050] 图2是示出根据第一实施例的立体相机10的功能配置的示例。根据第一实施例的立体相机10提供有第一相机1、第二相机2、存储单元3、外部接口(I/F)4、修正器5、以及计算器6。第一相机1捕捉对象的图像以获取第一图像。第二相机2捕捉对象的图像以获取第二图像。第一相机1和第二相机2平行地进行布置使得各自的光轴变得平行。第一相机1和第二相机2的图像捕捉定时是同步的，并且同时捕捉相同对象的相应图像。

[0051] 存储单元3存储第一图像、第二图像和校准参数。校准参数用于校准第一图像和第二图像中的由于立体相机、风挡等的装配公差的位移。在根据本实施例的校准方法中确定校准参数。外部接口4是允许向存储单元3输入数据并且从其输出数据的接口。立体相机10中所使用的校准参数在根据本实施例的校准方法被确定并且通过使用外部接口4存储在存储部3中。

[0052] 修正器5从存储单元3读取出第一图像、第二图像和校准参数。修正器5根据校准参数通过图像修正公式来修正第一图像和第二图像。图像修正公式通过第一图像(第二图像)的坐标变换来修正第一图像(第二图像)。例如，由于在经由仿射变换来修正第一图像(第二图像)的坐标的情况下，图像修正公式能够由矩阵来表示，所以校准参数时矩阵的分量。此外，在经由非线性变换来修正第一图像(第二图像)的坐标的情况下，校准参数是表示该变换的多项式表达中的系数。修正其5可以用于修正第一图像和第二图像中的一个图像。换言之，基于图像中的一个，图像修正公式能够修正图像中的另一个。修正器5将经修正的第一图像和经修正的第二图像输入到计算器6。

[0053] 计算器6基于经修正的第一图像和经修正的第二图像来计算每个对象的视差。这里，将对于视差和使用该视差的距离测量原理进行说明。

[0054] 图3是通过使用立体相机10来测量距离的原理的示意图。在图3的示例中，将第一相机1(焦距是f，光学中心O0，并且成像表面是S0)进行布置使得Z轴被设置为其光轴的方向。将第二相机2(焦距是f，光学中心O1，并且成像表面是S1)进行布置使得Z轴被设置为其光轴的方向。第一相机1和第二相机2被布置在平行于X轴彼此相距距离B(基线长度)的位置。图3中的坐标系统下面将被称为“相机坐标系统”。此外，基于第一相机1的光学中心的坐标系统将称为“第一相机坐标系统”。基于第二相机2的光学中心的坐标系统将称为“第二相机坐标系统”。

[0055] 位于在光轴方向上与第一相机1的光学中心O0距离为d位置处的对象A的图像形成在位置P0，P0是直线A-O0与成像表面S0的交点。在第二相机2中，相同的对象A的图像形成在成像平面S1上的位置P1。

[0056] 这里，穿过第二相机2的光学中心O1并且平行于直线A-O0的直线与成像平面的交点S1设置为P0’。此外，P0’与P1之间的距离设置为D。距离D指示通过两个相机所捕捉的相同对象在图像上的位置的位移量(视差)。三角形A-O0-O1和三角形O1-P0’-P1相似。因此，满足下面的公式(1)。

[0057]

[0058] 具体地，能够基于基线距离B、焦距f和视差D能够计算到对象A的距离d。这里，当第一相机1和第二相机2被准确地布置时，在第一相机坐标系统中计算出的距离d(第一相机1的光学中心O0与对象A在在光轴方向上的距离)对应于在第二相机坐标系统中计算出的距离d(第二相机2的光学中心O1与对象A在光轴方向上的距离)。

[0059] 至此已经说明的是通过立体相机10距离测量的原理。为了准确地计算到对象A的距离d，需要准确布置第一相机1和第二相机2。然而，存在着第一相机1(第二相机2)在位置上向着绕X轴、Y轴或Z轴的每个轴旋转的方向发生位移的可能性。第一图像(第二图像)的坐标相应地发生大约左右和上下的位移。而且，在车载立体相机经由风挡捕捉对象的图像的情况下，由于风挡的影响在第一图像(第二图像)中产生畸变。立体相机10使用校准参数来修正由于风挡而产生的第一图像(第二图像)中的畸变，以及由于两个相机的装配公差而产生的第一图像(第二图像)中的移位所造成的视差的误差，并且通过信号处理来修正第一图像(第二图像)。

[0060] 再参考图2，计算器6基于视差的计算所基于的图像(第一图像或第二图像)的像素的密度值，生成表示每个像素的视差的视差图像。计算器6通过使用视差图像和公式(1)来计算到对象的距离。

[0061] 接着，将说明根据第一实施例的测量工具20的结构。

[0062] 图4是示出根据第一实施例的测量工具20的前面的前视图。根据第一实施例的测量工具20提供有角度测量板101和第一构件102。角度测量板101布置在第一构件102表面的中心处。第一构件102包括位于角度测量板101的上部的标记111。标记111用作参考标记，用于计算第一构件102(测量工具20)与作为校准目标的立体相机10(第一相机1)之间的距离。第一构件102的前表面具有遮光图案，该图像使能能够在第二图像上易于检测到与第一图像上的点对应的点。

[0063] 接着，将说明根据第一实施例的角度测量板101的结构。

[0064] 图5A是示出根据第一实施例的角度测量板101的前面的前视图。图5B是根据第一实施例的角度测量板101的沿线A-A的剖视图。图5C是根据第一实施例的角度测量板101的沿线B-B的剖视图。

[0065] 角度测量板101(测量构件)包括光源103和第二构件104。光源103是具有均匀亮度分布的平面扩散光源。换言之，光源103发出具有均匀强度的光，而不管在第一构件102的表面上的位置如何(根据在表面上的位置的强度差异落入预定范围的光)。

[0066] 以覆盖光源103并且将光源103的光从多个第一孔100和多个第二孔120发射的方式来布置第二构件104。每个第一孔100被钻向(bored to)垂直于第一构件102的表面的方向。以纵向和横向对齐的方式以第一间隔a1来提供第一孔100。第一孔100具有直径为b1的圆形形状。此外，每个第二孔120被钻向垂直于第一构件102的表面的方向。在第二构件104的上端部和左端部以第二间隔a2(a2>a1)来提供第二孔120。第二孔120具有大小为b2×b3(b2>b1)的矩形形状。

[0067] 这里，第一孔100和第二孔120的数量、形状和对齐方式不限于图5A中示出的配置，可以任意设置。例如，可以在第二构件104的较低端部和右端部提供第二孔120。此外，第二构件104的材料可以任意设置。例如，第二构件104由金属形成。

[0068] 只要第一光源103位于来自该位置的光能够从第二构件104的第一孔100和第二孔120发射的位置，光源103不必布置在第一构件102的表面。

[0069] 对于第一孔100，在参考处于特定位置的第一100中将使用单独的附图标记。相似地，对于第二孔120，在参考处于特定位置的第一120中将使用单独的附图标记。

[0070] 下面，将说明第一孔100的预期目的。

[0071] 图6是从第一相机1的光学中心O0的位置看到在第二构件中钻出的第一孔106、107和108的情况的示意图。由于从光学中心O0位置处的视线与第二构件104的表面在第一孔106的位置相互成直角，所以可以看到第二构件104后面的光源103的光具有图7A中所示的形状。由于从光学中心O0的位置处的视线以第一孔107的位置处的角度进入第二构件104的第一孔107，所以可以看到在第二构件104后面的光源103的光具有如图7B中所示的形状中。
由于从光学中心O0的位置处的视线没有在第一孔108的位置进入第二构件104的第一孔
108，所以看不见在第二构件104后面的光源103的光。

[0072] 再参考图5A，当通过分辨率对于第一孔100的第一间隔a1足够高的第一相机1来捕捉角度测量板101的图像时，处于从第一相机1的光学中心O0的视线与第二构件104的表面成直角的位置附近的第一孔100的图像的区域以大尺寸出现。由于第一孔100远离从第一相机1的光学中心O0的视线与第二构件104的表面成直角的位置，所以看到第一孔100的图像的区域较不完整，并且第一孔100的图像的区域未出现在足够远的位置。

[0073] 在此，将说明第二构件104的第一孔100的第一间隔a1。图5A中的第一孔100的第一间隔a1被设置为窄于立体相机10的分辨率极限(第一相机1)。例如，在(半)视角为20度，成像距离(修正距离)是两米，并且像素传感器具有640×480像素的情况下，基于下面的公式(2)，第一间隔a1在等于或小于2毫米时变为小于像素间距。

[0074] tan(20[deg])×2000/320≈2.3    (2)

[0075] 当在第一间隔a1小于像素间距的情况下通过立体相机10(第一相机1)捕捉角度测量板101(第二构件104)的图像时，图像如图8中所示。然而，在彩色相机的情况下，第一间隔a1即使等于或小于2毫米，由于像素孔径的特性、图像形成光学系统的模糊、光学LPF(低通滤波器)的光学模糊等，实际上也会变得超过分辨率限制。在图像上，如图9中所示，无法区分单个的第一孔100，并且图像中所包括的第一孔100的图像呈现出一个大钟形分布的亮度(亮度分布)。图9中钟形亮度分布的顶部对应于例如图6中的第一孔106的附近。图9中钟形亮度分布的边缘对应于例如图6中的第一孔108的附近。

[0076] 图10是图9中钟形亮度分布的边缘的半径c的大小的示意图。第二构件104的厚度是40毫米，并且第一孔108的直径是1毫米。此外，立体相机10(第一相机1)的(半)视角是20度，像素传感器具有640×480个像素。在此情况下，基于下面的表达式(3)，成像表面40上的钟形亮度分布的边缘的半径c约为20像素。

[0077] c＝f/40×1＝320/tan(20[deg])/40≈22   (3)

[0078] 通过考虑平均的单个图像的连续亮度的大钟形分布，而不是考虑图10中的第一孔100的单个图像，即使在立体相机10(第一相机)的光学中心O0所处的位置不是紧挨与垂直于角度测量板101表面的方向对应的第一孔100上方的情况下，也能够掌握峰值亮度的位置作为垂直于角度测量板101表面的方向。因此，能够识别的是，捕获角度测量板101的图像的亮度上钟形分布(亮度分布)中的峰值亮度的位置指示出垂直于角度测量板101表面的方向，不论立体相机10(第一相机1)的光学中心O0的位置。

[0079] 这里，通过诸如高斯函数(exp(-r2))的函数来近似整个亮度上的钟形分布，估计大量像素值的平均分布，由此减少每个像素值中所包括的随机噪声的影响。

[0080] 下面，将说明第二孔120的预期目的。

[0081] 图11是从第一相机1的光学中心O0的位置看到在第二构件104中钻出的第二孔121、122和123的情况的说明示意图。由于从光学中心O0位置处的视线与第二构件104的表面在第二孔121的位置相互成直角，所以可以看到第二构件104后面的光源103的光具有图
12A中所示的形状。由于从光学中心O0的位置处的视线以第二孔122的位置处的角度进入第二构件104的第二孔122，所以可以看到在第二构件104后面的光源103的光具有如图12B中所、示的形状中。由于从光学中心O0的位置处的视线没有在第二孔123的位置进入第二构件
104的第二孔123，所以看不见在第二构件104后面的光源103的光(图12C)。

[0082] 在满足“第二孔的直径b2>第一孔的直径b1”的情况下，第二孔120中直至看不到光的角度较大。换言之，当通过掌握光量的变化来尝试知道角度变化时，第二孔120中的检测角度的范围较大时，每个角度的变化量变小，因此第一孔100更多地用于通过较小的单位有利于检测角度。

[0083] 图13是说明根据第一实施例的第二孔120的期望目的概念示意图。第一孔100的图100a、100b、100c和100d表示第一孔100的图中的亮度峰值。用这种方式，当图像中的第一孔
100的图像中存在多个亮度峰值时，能够确定哪个亮度峰值实际的垂直方向(正对立体相机
10的方向)。

[0084] 所以，配置的是根据第二孔120所形成的图中的峰值亮度的位置来确定真实的垂直方向，其中的第二孔120具有大于第一间隔a1的第二间隔a2并且其大小大于第一孔100。在图13的示例中，通过第二孔120的图120a、120b、120c和120d，基于在图像的上端部和右端部形成的条状图案，能够确定第一孔100的峰值亮度的位置。换言之，第二孔120的图120a表示在水平方向上第一孔100的图之中峰值亮度的位置，而第二孔120的图120d表示在垂直方向上第一孔100的图之中峰值亮度的位置。因此能够确定第一孔100的图形100c表示真实的垂直方向。

[0085] 因此，图像上呈现第一孔100的多个亮度峰值的情况例如是如下情况：由于第一孔100的图形中出现波纹现象而周期性地重复第一孔100的图形。将在第二实施例中说明在第一孔100的峰值亮度中出现波纹现象的情况。

[0086] 接着，将说明第一孔100的图形中的峰值亮度的位置与角度测量板101的倾斜之间的关系。

[0087] 图14是成像表面40上的第一孔的图中的峰值亮度的位置与角度测量板101的倾斜的关系的说明示意图。通过将成像表面40的中心设置为原点，以像素的单位来表示成像表面40的坐标。在此情况下，成像表面40(图像)上的峰值亮度的位置的坐标(ip,jp)表示从立体相机10(第一相机)的光学中心O0到角度测量板101的垂线的垂足的位置。因此，如果角度测量板101与立体相机10(第一相机)直接相互处于前方地面对，即如果关于测量工具20的表面的法线和立体相机10(第一相机)的光轴平行，假设峰值亮度的位置是图像的中心(原点)。换言之，当峰值亮度的位置(ip,jp)从图像的中心(原点)发生位移时，能够基于表示图像(成像表面40)的峰值亮度的位置的坐标(ip,jp)来掌握表示如下方向上的位移的角度：关于正确方向发生倾斜的测量工具20的水平方向上的位移和垂直方向上的位移。具体地，当立体相机10(第一相机1)的焦距(像素单位)被设置为f时，基于(ip,jp,f)能够确定角度测量板101的法线的方向。换言之，能够掌握立体相机10(第一相机1)的定向以便直接面对角度测量板101，该角度测量板101被布置为关于直面方向存在倾斜。

[0088] 接着，将具体说明确定角度测量板101(测量工具20)的位置的平面方程的方法。图15是确定表示测量工具20的位置的平面方程的方法的说明示意图。在等式(4)中示出表示坐标系统上的测量工具20的平面的等式，其中坐标系统的原点为立体相机10(第一相机1)的光学中心O0。

[0089] ax+by+cz+d＝0   (4)

[0090] 如参考图14所说明，角度测量板101的法线方向能够表示为(ip,jp,f)。由于通过(ip,jp,f)能够确定该平面的法线向量，因此“(a,b,c)＝(ip,jp,f)”为真。然后，通过激光测距仪等来测量测量工具20的标记111，从而确定平面方程的变量d，并且将测量距离设置为dc。此外，表示标记111在图像上的位置的坐标被设置为(ic,jc)。当立体相机10(第一相机1)的焦距(像素单位)设置为f时，向量(ic,jc,f)方向上的距离dc的点(xc,yc,zc)等于表示标记111的位置的坐标。换言之，能够通过下面的等式(5)来计算表示标记111在平面上的位置的坐标(xc,yc,zc)。

[0091]

[0092] 因此，能够通过下面的公式(6)和(7)来确定平面公式的变量d。在上面说明的方式中，能够确定表示测量工具20的平面的等式(a,b,c,d)。

[0093] axc+byc+czc+d＝0    (6)

[0094] d＝-ipxc-jpyc-fzc  (7)

[0095] 当从角度测量板101的捕获图像计算出指示角度测量板101在水平方向上倾斜的位移的角度和指示其在垂直方向上倾斜的位移的角度时，无法掌握距离到角度测量板101。因此，在上述说明中使用标记111在图像上的位置和到标记111的距离信息dc。除了该方法之外，实际测量图15中的距离d1等的方法也可以使用。此外，如果对于立体相机10(第一相机1)的校准的可接受精度而言，测量工具20的位置精度高(并且其角度的精度低)，则可以将固定值用作距离信息而不实际测量标记111与立体相机10之间的距离。

[0096] 接着，将说明通过使用上述根据第一实施例的方法来校准立体相机10(第一相机1)的校准装置30的配置。

[0097] 图16是示出根据第一实施例的校准装置30的配置的示例。根据第一实施例的校准装置30具有接收器31、测量器32、理想视差计算器33、视差计算器34和确定器35。

[0098] 接收器31接收包括作为对象的由立体相机10捕获的测量工具20的图像(由第一相机1捕获的第一图像和由第二相机2捕获的第二图像)。接收机31也接收上述的距离信息dc(参照图15)。接收器31将第一图像和距离信息dc输入到测量器32。接收器31也将图像(第一图像和第二图像)输入到视差计算器34。

[0099] 测量器32从接收器31接收第一图像和距离信息dc。测量器32基于在参考图14所说明的方法中的第一图像中的最大亮度的位置，来确定垂直于测量工具20(角度测量板101)的表面的方向(法线向量)。测量器32因此测量测量工具20从直接面向立体相机10的位置(第一相机1)在方位上的位移(指示在水平方向上倾斜的位移的角度和指示在垂直方向倾斜的位移的角度)。此外，基于参考图15所说明的方法中法线向量和距离信息dc，来确定在第一相机坐标系统中(原点是为第一相机1的光学中心O0的坐标系统中)表示测量工具20的位置的平面的方程。测量器32将指示平面方程的信息输入到理想视差计算器33。

[0100] 理想视差计算器33从测量器32接收表示测量工具20的位置的平面的方程。理想视差计算器33计算在参照图3说明的方法中捕获由等式表示的平面的图像的情况下的视差的理想视差。理想视差计算器33将理想视差输入到确定器35。

[0101] 视差计算器34从接收器31接收图像(第一图像和第二图像)。视差计算器34使用测量工具20(第一构件102)的阴影图案等，检测第二图像中与第一图像中的点相对应的点，并计算视差。视差计算器34将视差输入到确定器35。

[0102] 确定器35从理想视差计算器33接收理想视差，并从视差计算器34接收视差。确定器35也从接收器31接收第一图像和第二图像。确定器35基于视差和理想视差来确定用于修正第一图像和第二图像的校准参数。确定器35确定用于修正第一图像和第二图像中的至少一个的校准参数，使得视差和理想视差之间的差变为零。

[0103] 接着，将描述根据第一实施例的校准方法的示例。

[0104] 图17是表示根据第一实施例的校准方法的示例的简单示意图。首先，立体相机10捕获包括测量工具20的图像(第一图像和第二图像)作为对象(步骤S1)。

[0105] 接着，校准装置30测量立体相机10与测量工具20之间的相对位置(步骤S2)。具体地，测量器32测量测量工具20从图像(第一图像和第二图像)直接面向立体相机10的位置的朝向上的位移。接收机31接收距离信息dc(见图15)。

[0106] 然后，校准装置30基于在步骤S2测量的相对位置来确定校准参数(步骤S3)。

[0107] 图18是表示根据第一实施例的校准方法的示例的流程图。接收器31接收包括测量工具20的图像(第一图像和第二图像)作为对象(步骤S11)。接收器31也接收距离信息dc(步骤S12)。

[0108] 接着，测量器32测量测量工具20从直接面向立体相机10的位置的方向上的位移(步骤S13)。具体地，测量器32基于第一图像中包括的多个第二孔120的图中的最大亮度的位置，来指定第一图像中包括的多个第一孔100的图中的最大亮度(峰值亮度)的位置。测量器32然后基于多个第一孔100的图中的最大亮度的指定位置，来指定垂直于测量工具20(角度测量板101)的面的方向(法线向量)，以测量测量工具20从立体相机10的直接面向位置的朝向上的位移(见图14)。

[0109] 接着，测量器32基于参考图15所说明的方法中法线向量和距离信息dc，来确定在第一相机坐标系统中(原点是为第一相机1的光学中心O0的坐标系统中)表示测量工具20的位置的平面的方程(步骤S14)。

[0110] 接着，理想视差计算器33计算在参照图3说明的方法中捕获的由在步骤S14确定的等式表示的平面的图像的情况下的视差的理想视差(步骤S15)。接着，视差计算器34使用测量工具20(第一构件102)的阴影图案等，检测第二图像中与第一图像中的点相对应的点，来计算视差。

[0111] 接着，确定器35基于视差和理想视差来确定用于修正第一图像和第二图像中的至少一个的校准参数(步骤S17)。确定器35确定用于修正第一图像和第二图像中的至少一个的校准参数，使得视差和理想视差之间的差变为零。

[0112] 如上所述，在根据第一实施例的校准方法中，测量器32基于第一图像中包括的多个第二孔120的图中的最大亮度的位置来指定第一孔100的图中的最大亮度的位置。测量器32然后基于第一孔100的图中的最大亮度的位置，来测量测量工具20从立体相机10的直接面向位置的朝向中的位移。确定器35基于从第一图像和第二图像计算的视差以及考虑了测量工具20的定向上的位移的理想视差来确定用于校正立体相机10的校准参数。因此，可以容易地计算关于难以确保安装位置的精度的车载立体相机10的高精度校准参数。

[0113] 第二实施例

[0114] 接着，将说明第二实施例。在第二实施例中，将说明使用具有与根据第一实施例的角度测量板101不同的结构的角度测量板201的测量工具20的情况。在第二实施例的说明中，将省略与第一实施例相同的说明，并且将说明与第一实施例不同的部分。

[0115] 将说明根据第而实施例的角度测量板201的结构。由于与第一实施例(见图5A)相同，将省略根据第二实施例的角度测量板201的正视图的说明。

[0116] 图19A是根据第二实施例的角度测量板201的沿线A-A的剖视图。图19B是根据第二实施例的角度测量板的沿线B-B的剖视图。角度测量板201具有光源103、遮光板202、透明玻璃203和遮光板204。光源103与第一实施例相同，并且将省略其说明。遮光板202、透明玻璃203和遮光板204对应于根据第一实施方式的第二构件104。

[0117] 根据第二实施例的角度测量板201使用透明玻璃板，其中在两个表面上布置不透明的遮光区域(遮光板202和204)。透明玻璃203布置成固定遮光板202和204的位置。可以通过利用玻璃来填充遮光板202和遮光板204之间的间隙，来实现抵抗机械位移的鲁棒性并且减少由于温度、时间变形等引起的测量误差。这里，透明玻璃203可以是任意的透明材料。

[0118] 根据第二实施例的角度测量板201与根据第一实施例的角度测量板101的相同之处在于，即入射到几乎垂直于角度测量板201的方向的光穿过面对孔(例如，图19A中的第二孔223和224和图19B中的第一孔208和209)。然而，由于光在透明玻璃203和空气之间的边界面上折射，图像中的亮度分布与第一实施例不同。

[0119] 图20是关于光的折射角的说明示意图。众所周知(斯涅耳定律)，由于玻璃和空气之间的边界面上的折射，透射光的出射方向发生变化。当特定折射率设定为R时，由下式(8)表示图20中的角度θ1和θ2之间的关系。

[0120]

[0121] 因此，如果遮光板202、透明玻璃203和遮光板204的总厚度以及孔直径与根据第一实施例的第二构件104相同，则由于玻璃的折射，更远的孔的图变为可见(参见图20)。因此，图像中亮度的钟形分布边缘的大小变得比第一实施例要大。然而，多个第一孔100的图中的峰值亮度的位置对应于遮光板204的法线方向而与立体相机10(第一台相机1)的光学中心O0的位置无关的性质是共同的。

[0122] 在根据第二实施例的角度测量板201中，其与根据第一实施例的角度测量板101不同，即使穿过彼此不相对的孔的光沿着除了前侧方向的图21中虚线所指示的方向也被传送。在第一孔207中，例如来自面向第一孔208的第一孔209的光由于折射的影响而从第一孔207传递。

[0123] 因此，在角度测量板201的图像捕获中观察到周期性地重复光和暗的波纹图案，这与第一实施例的情况不同。因此，存在着图像上的多个第一孔100的图中呈现多个亮度峰值的可能性。然而，在根据第二实施例的角度测量板201中也能够基于图像上的多个第二孔120图中的峰值亮度的位置来容易地指定多个第一孔100的图中的峰值亮度的位置，与第一实施例的情况类似。

[0124] 这里，如果测量工具20和立体相机10(第一相机1)的安装角度的准确度是已知的，则通过考虑到根据安装中的位移的范围，与第一孔100的图中的亮度峰值位置的移动范围对应的波纹周期，能够避免将直接面对的第一孔100的图中的峰值亮度的位置错认为与相邻的第一孔100的图对应的峰值亮度。

[0125] 在此，将说明通过考虑波纹周期来确定第一孔100的第一间隔a1。

[0126] 图22是测量工具20的倾斜与多个第一洞100的图中的峰值亮度的位置的位移之间的关系的说明示意图。图23是关于第一孔100的图中的波纹周期与峰值亮度的移动范围的关系的示意图。如图22所示，在测量工具20的安装角度与直接朝向的方向具有不大于±X度的位移的情况下，多个第一孔100的图中的峰值亮度的位置也存在于从直接面对位置(屏幕中心)不超过X度的范围内。换言之，仅需要调整第一孔100的第一间隔a1，使得相邻的第一孔100的峰值亮度存在于不小于峰值亮度的位置处的估计位移的两倍远的位置处，如图23所示。相邻的第一孔100的峰值亮度的位置由图24中的角度Φ来确定(确切地说，焦距f×tan(Φ))，并且角度Φ与遮光表面上的孔间距(p)、玻璃板的厚度(d)和玻璃的折射率(n)具有下面的等式(9)所示的关系。

[0127]

[0128] 基于等式(9)，仅需要确定玻璃板的厚度(d)和孔间距(p)满足下面的等式(10)，玻璃的厚度(d)用作为透明玻璃203的厚度，并且孔间距(p)用作第一孔100的第一间隔a1。

[0129] Φ＝arcsin(n sin(arctan(p/d)))＞2X  (10)

[0130] 在上面的说明中，通过仅考虑安装角度的精度来估计相邻的第一孔100的峰值亮度的位置。然而，实际上需要通过考虑除了测量工具20的安装角度之外的所有可能的安装位移，诸如立体相机10的安装角度、测量工具20的平移位移、以及立体相机10的平移位移，来估计指示直接面对位置的峰值亮度的存在范围。然后，通过确定玻璃板的厚度(d)和孔间距(p)，使得相邻的第一孔100的峰值亮度不在峰值亮度的估计范围内，能够唯一地确定直接面向立体相机10的孔的估计范围内的峰值亮度的位置。

[0131] 用这种方式，通过估计相邻的第一孔100的峰值亮度的位置来确定第一孔100的第一间隔a1经常需要很多麻烦。然而，通过参考图像上的多个第二孔120的图中的峰值亮度的位置，可以容易地指定多个第一孔100的图中的峰值亮度的位置，而不管第一间隔a1。

[0132] 在产生遮光板202(204)时，诸如印刷和光刻的技术能够用于在平板上形成遮光区域的方法。在这些技术中，与根据第一实施例的利用钻头等在厚板上钻孔的方法所产生的第二构件104相比，通常容易实现直径小的孔并且实现窄的间距。亮度中的山形分布的大小由孔直径和板厚之间的比率(和折射率)来确定。例如，板厚(遮光板202、透明玻璃203和遮光板204的总厚度)为6毫米，第一孔100的半径为0.05毫米，这允许获取与第一实施例的情况几乎相同的亮度分布。

[0133] 如上所述，在根据第二实施例的测量工具20中，即使使得角度测量板201比根据第一实施例的角度测量板101更轻、更小和更薄，也能够实现与第一实施例的角度测量板101等同的校准精度。

[0134] 这里，仅为了遮蔽光的目的，遮光板202和204可以布置在与玻璃的两个表面的遮光区域相同的位置，而不布置透明玻璃203。

[0135] 最后，将说明根据第一和第二实施例的校准装置30的硬件配置的示例。

[0136] 图25是示出根据第一和第二实施例的校准装置30的硬件配置的示例。根据第一和第二实施例的校准装置30具有控制设备51、主存储设备52、辅助存储设备53、显示设备54、输入设备55和通信设备56。控制设备51、主存储设备52、辅助存储设备53、显示设备54、输入设备55和通信设备56经由总线57相互连接。

[0137] 控制设备51执行从辅助存储设备53读取到主存储设备52的程序。主存储设备52是诸如ROM和RAM之类的存储器。辅助存储设备53是HDD(硬盘驱动器)、存储卡等。显示设备54显示校准装置30的状态等。输入设备55接收用户的输入。通信设备56是能够连接到网络的接口。

[0138] 在根据第一和第二实施例的校准装置30中执行的程序通过以可安装格式或可执行格式的文件存储在计算机可读记录介质(诸如CD-ROM、存储卡、CD-R和DVD(数字多功能光盘)作为计算机程序产品来提供。

[0139] 在根据第一和第二实施例的校准装置30中执行的程序可以通过存储在连接到诸如因特网的网络的计算机上并经由网络下载来提供。在根据第一和第二实施例的校准装置30中执行的程序可以经由诸如因特网的网络而不进行下载来提供。

[0140] 在根据第一和第二实施例的校准装置30中执行的程序可以通过预加载在ROM等中来提供。

[0141] 在根据第一和第二实施例的校准装置30中执行的程序具有包括上面说明的功能块(接收器31、测量器32、理想视差计算器33、视差计算器34和确定器35)的模块配置。

[0142] 作为实际硬件，当控制设备51从存储介质读出并执行程序时，这些功能块被加载在主存储设备52上。换言之，在主存储设备52上生成这些功能块。

[0143] 此外，功能块的一部分或全部可以通过诸如IC(集成电路)的硬件来实现，而不通过软件来实现。

[0144] 虽然在第一和第二实施例中以汽车中配备的立体相机10的情况为例进行了说明，但本发明并不限于这些实施例。在需要测量立体照相机10的精确安装位置并且在测量中花费大量时间的情况下，通过使用根据第一和第二实施例的测量工具20，能够以与传统的校准方法相比相对容易的方式高精度地校正立体相机10。

[0145] 引证列表

[0146] 专利文献

[0147] 专利文献1：日本未审查专利申请公开No.2004-132870