一种双目立体视觉装置的自标定方法

摘要

本发明提出一种双目立体视觉装置的自标定方法，先进行双目立体视觉装置采集得到的两幅视图间的对应点的匹配；再根据对应点匹配关系实现射影重建；根据对摄像机内参数的先验约束，标定出射影空间到度量空间的变换矩阵；最后计算出两摄像机的内外参数矩阵。本发明的优点是：采用基于绝对对偶二次曲面的自标定技术，可以从两幅视图恢复两摄像机的内、外参矩阵；采用ransac方法估计基本矩阵并对SIFT算法的获得的匹配特征点进行筛选，保证了算法的鲁棒性；通过对绝对对偶二次曲面进行分解，使得标定中对于内参的约束全部为线性约束，避免求解非线性方程。

权利要求

1.一种双目立体视觉装置的自标定方法，其特征是：

1)基于特征点的图像间匹配；

1.1)利用SIFT算法检测两幅视图中的图像特征点，并得到特征点的128维特征点描述符；SIFT特征点检测算法能够准确、稳定检测图像中特征点；保证该自标定技术的稳定性和精度；

1.2)根据所得到的128维特征点描述符，对两幅图像中的特征点进行匹配；具体匹配方法为：两图像中描述符间欧式距离最短的两个特征点认为是匹配点；

1.3)根据匹配的一对一约束，对上述匹配点进行筛选，删除错误的匹配关系；

1.4)根据上述匹配关系，采用ransac算法对两摄像机间的基本矩阵进行鲁棒估计；并将计算中被归为外点的匹配点删除；这些匹配点不满足计算得到的基本矩阵描述的对极几何约束，被认为是错误匹配点；

2)根据上步中得到的特征点匹配关系得到射影重构；

2.1)令两个摄像机的投影矩阵为：

P1＝[I3×3|0]

T

P2＝[[e12]×F12+e12a|σe12]

其中I3×3为3阶单位阵，F12为上步中求得到两幅图像间的基本矩阵，e12是摄像机1在摄像机2上的对极点，向量a决定参考平面的位置，σ决定重建的三维尺度；在射影重建时a和σ可以任意取值；

2.2)根据三角投影关系重建得到匹配特征点对应的3维空间坐标，具体做法是求解以下方程组：其中，x1、x2分别为两幅视图中匹配特征点的图像坐标，x为该匹配特征点对应的3维空间坐标；

2.3)采用捆集调整算法，对上述重建结果进行优化调整，以得到重投影误差最小的射影重建结果；

3)根据对摄像机内参的先验约束直接标定出射影空间到度量空间的变换矩阵，实现度量重建；

3.1)对摄像机投影矩阵进行归一化，以消除由图像大小引起的尺度差异；其具体做法为对两摄像机的投影矩阵做成一个校正矩阵： 其中 w、h为图像的宽和高；对摄像机投影矩阵进行归一化后，摄像机的所有内部参数具有1:(w+h)的尺度，并且将图像的中心坐标变化到(0，0)；

3.2)将对两摄像机内参矩阵的约束，采用线性标定算法直接标定出射影空间到度量重建的变换矩阵，而不需要计算绝对对偶二次曲面；其具体做法为：通过K＝PS，将对内参矩阵K的约束转化为对S的约束，假设对内参矩阵K有如下约束：s≈0，u′≈0，v′≈0，fx≈fy≈1这样就可以得到如下方程组：其中Pi表示投影矩阵P的第i行，Sj表示矩阵S的第j列；对于每一个摄像机的投影矩阵都能够列出一组以上方程组，将这两组共18个线形方程联立，就可以求解得到矩阵S；

3.3)对S补一列列向量，使得得到的4阶方阵可逆，该方阵的逆，就是能够将该射影重建变换到度量重建的一个变化矩阵；

3.4)对变换得到的度量重建意义下的两摄像机投影矩阵，进行RQ分解，分别得到两摄像机的内参矩阵K旋转矩阵R和平移向量t，完成双目立体装置的摄像机自标定任务。

说明书

一种双目立体视觉装置的自标定方法

技术领域

[0001] 本发明涉及计算机视觉领域，具体涉及一种双目立体视觉装置的自标定方法。

背景技术

[0002] 双目立体视觉是机器视觉领域中的一个重要分支，其直接模拟人类双眼处理景物的方式，可靠简便。因此，双目立体视觉装置在诸如微操作系统的位姿检测与控制、机器人自主导航与航测、三维测量学和虚拟现实等很多领域中都极具应用价值。

[0003] 目前的双目立体装置普遍采用传统的摄像机标定技术，也就是利用标定参照物对摄像机进行标定。具体而言是通过已知形状和尺寸的标定参照物在图像成像的图像坐标，计算获得摄像机的内、外参数。在实际中，传统标定技术使得双目立体装置的使用受到限制，例如在不允许放置特定参照物的环境下。而其传统标定方法一旦完成标定，就要求双目立体视觉装置中的摄像机内外参数不能发生变化，否则就需要重新标定。基于上述原因，摄像机自标定技术由于不需要特定的标定参照物而获得广泛的重视和应用。

[0004] 最早的摄像机自标定技术是Faugeras，Luong，Maybank，等人1992年提出的kruppa方程。但是，由两幅图像只能得到2个相互独立kruppa方程，要想求解出摄像机的5个内部参数，至少要提供3幅以上的图像，而且，采集3幅图像的摄像机内部参数要完全相同。对于双目立体视觉采集装置，一般来说，两个摄像机的内部参数不完全相同，需要分别标定。因此，基于kruppa方程的摄像机自标定技术无法满足对双目立体视觉装置进行自标定的要求。

[0005] 基于绝对对偶二次曲面的自标定方法是摄像机自标定技术中的一种常用的方法，相对于其他方法，它具有可以保证空间中无穷远平面的一致性等诸多优点，但是基于该方法的自标定技术，在实际应用中面临一个非常棘手的问题，就是无法保证标定出的绝对对偶二次曲面具有正半定(或副半定)的性质。本发明提出一种基于绝对对偶二次曲面的自*标定技术，该方法可以保证求得的绝对对偶二次曲面Ω 具有正半定性。

发明内容

[0006] 本发明的目的是克服现有技术中存在的不足，提供一种双目立体视觉装置的自标定方法，它是一种针对双目立体视觉装置的实用摄像机的自标定技术方案。

[0007] 按照本发明提供的技术方案，所述双目立体视觉装置的自标定方法，先进行双目立体视觉装置采集得到的两幅视图间的对应点的匹配；再根据对应点匹配关系实现射影重建；根据对摄像机内参数的先验约束，标定出射影空间到度量空间的变换矩阵；最后计算出两摄像机的内外参数矩阵。

[0008] 所述进行两幅图像间的对应点的匹配的方法采用SIFT算法进行图像特征点检测和匹配，步骤如下：

[0009] 1)利用SIFT算法对双目立体视觉装置采集得到的两幅视图进行检测，得到两幅视图中的特征点及其特征点描述子；

[0010] 2)根据所述特征点描述子，对两幅视图中的对应特征点进行匹配，得到的特征点匹配对；

[0011] 3)根据所述特征点匹配关系，采用ransac算法鲁棒估计两视图间的对极几何关系，求解出两摄像机间的基本矩阵；

[0012] 4)根据所述基本矩阵约束的对极几何关系，删除错误的匹配特征点，确保算法的鲁棒性。

[0013] 所述射影重建的的方法包括：

[0014] 1)将双目立体视觉装置的两摄像机中的任意一台的摄像机坐标系作为世界坐标系，并将该摄像机假定为标准摄像机，该标准摄像机的投影矩阵具有以下形式P1＝[I3×3|0]，其中I3×3为3阶单位阵；

[0015] 2)令另一台摄像机的投影矩阵为P2＝[[e12]×F12+e12aT|σe12]，其中，F12为两摄像机间的基本矩阵，e12是所述标准摄像机在另一台摄像机上的对极点，向量a决定参考平面的位置，σ决定重建的三维尺度，在射影重建时a和σ可以任意取值；

[0016] 3)基于所述两摄像机的投影矩阵，根据三角投影关系重建图像匹配特征点的3维射影空间坐标；

[0017] 4)使用捆集调整优化技术对所述射影重建坐标和摄像机投影矩阵进行优化调整，使得得到的射影重建的重投影误差最小。

[0018] 所述标定射影空间到度量空间的变换矩阵的方法为：对所述使用捆集调整优化技术进行优化后得到的摄像机投影矩阵进行归一化，消除由图像大小引起的尺度差异；再将对两摄像机内参矩阵的约束，采用标定算法直接标定出射影空间到度量空间的变换矩阵。

[0019] 本发明的优点是：本发明采用基于绝对对偶二次曲面的自标定技术，可以从两幅视图恢复两摄像机的内、外参矩阵。本发明采用ransac方法估计基本矩阵并对SIFT算法的获得的匹配特征点进行筛选，保证了算法的鲁棒性。通过对绝对对偶二次曲面进行分解，使得标定中对于内参的约束全部为线性约束，避免求解非线性方程，该方法从理论上解决了求解绝对二次曲面时棘手的正定性问题，同时保证求得的绝对二次曲面的秩为3。

附图说明

[0020] 图1是双目立体视觉装置的两台摄像机布置图。

具体实施方式

[0021] 下面结合附图和实施例对本发明作进一步说明。本发明所述方法采用基于绝对对偶二次曲面的摄像机自标定算法，其根据图像间的匹配关系计算得到射影重构，之后通过基于射影空间中绝对对偶二次曲面的一种线性自标定方法，直接计算得到射影重构到度量重构之间的射影变换，并完成双目立体视觉装置的自标定。

[0022] 本发明包括下列步骤：

[0023] a)、首先完成两幅视图间的对应点的匹配；所述两幅视图由交汇布置的两摄像机采集得到，即两幅视图为同一景物不同视角的图像。

[0024] b)、然后根据对应点匹配关系实现射影重构；

[0025] c)、根据对摄像机内参数的先验约束，采用一种线性方法直接标定出射影空间到度量空间的变换矩阵；

[0026] d)、从而计算出两摄像机的内外参数矩阵。

[0027] 上述方法，在其所述a)步中，采用SIFT算法进行图像特征点检测和匹配算法，步骤如下：

[0028] 1)、利用SIFT算法对双目立体视觉装置采集得到的两幅视图进行检测，得到两幅视图中的特征点及其特征点描述子。

[0029] 2)、根据上述特征点描述子，对两幅视图中的对应特征点进行匹配，得到的特征点匹配对。

[0030] 3)、根据上述特征点匹配关系，采用ransac算法鲁棒估计两视图间的对极几何关系，求解出两摄像机间的基本矩阵。

[0031] 4)、根据上述基本矩阵约束的对极几何关系，删除错误的匹配特征点，确保算法的鲁棒性。

[0032] 上述方法，在其所述b)步中，根据a)步得到的对应点匹配关系实现射影重建，步骤如下：

[0033] 1)、将两摄像机中的任意一台的摄像机坐标系作为世界坐标系，并将该摄像机假定为标准摄像机。据此，该摄像机的投影矩阵具有以下形式：

[0034] P1＝[I3×3|0]，其中I3×3为3阶单位阵。

[0035] 2)、令另一台摄像机的投影矩阵为：P2＝[[e12]×F12+e12aT|σe12]，其中，F12为[0036] a)步中求得的两摄像机间的基本矩阵，e12是标准摄像机在另一摄像机上的对极点，向量a决定参考平面的位置，σ决定重建的三维尺度。在射影重建时a和σ可以任意取值。

[0037] 3)、基于上述摄像机投影矩阵，根据三角投影关系重建图像匹配特征点的3维射影空间坐标。

[0038] 4)、使用捆集调整优化技术对上述射影重建结果进行优化调整，使得得到的射影重建的重投影误差最小。

[0039] 上述方法，在其所述c)步中，根据对摄像机内参数的先验约束，计算出射影空间到度量空间的变换矩阵，步骤如下：

[0040] 1)、对摄像机投影矩阵进行归一化，消除由图像大小引起的尺度差异。前面b)步中的投影矩阵给出迭代初值，通过捆集优化技术进行迭代优化后，得到这里所述的投影矩阵。

[0041] 2)、将对两摄像机内参矩阵的约束，通过一种线形标定算法直接标定出射影空间到度量重建的变换矩阵，而不需要计算绝对对偶二次曲面。目前的基于绝对对偶二次曲面T * T的自标定技术都是根据方程KK ＝PΩP，将对摄像机的内参矩阵K的先验约束转化为对* T
绝对对偶二次曲面的约束，并由此解得绝对对偶二次曲面矩阵，并根据TΩT ＝diag(1，1，
1，0)分解得到由射影空间到度量空间的变化矩阵T。这种方法使得内参矩阵K的线性约束* -1
转化为对绝对对偶二次曲面的二次约束，并且为了确保Ω 可以分解为T diag(1，1，1，0)-T * *
T 的形式，要求Ω 必须正定。在而本发明的自标定算法中将绝对对偶二次曲面Ω 分解T
为SS，其中S为4×3的矩阵，这样可以根据K＝PS将对内参矩阵K的线性约束转化为对T *
S的线性约束，可以通过求解线性方程组实现标定，理论上可以证明SS 得到的Ω 具有正定性，并且其秩为3。

[0042] 这里所说的内参矩阵K具有如下形式：

[0043]

[0044] 其中，fx，fy是摄像机的焦距f与摄像机的图像坐标系和实际物理坐标系的变化系数dx，dy的商，即： s是摄像机的倾斜畸变因子。u，v是摄像机的光心的图像坐标。

[0045] 一个具体实施例如下：

[0046] 本实施例中，双目立体视觉装置的两摄像机呈交汇布置，如图1所示，其实施步骤的详细说明：

[0047] 1)基于特征点的图像间匹配。

[0048] 11)利用SIFT算法检测两幅视图中的图像特征点，并得到特征点的128维特征点描述符。SIFT特征点检测算法可以准确、稳定检测图像中特征点。可有有效保证该自标定技术的稳定性和精度。

[0049] 12)根据所得到的128维特征点描述符，对两幅视图中的特征点进行匹配。具体匹配方法为：两图像中描述符间欧式距离最短的两个特征点认为是匹配点。

[0050] 13)根据匹配的一对一约束，对上述匹配对进行筛选，删除错误的匹配关系。

[0051] 14)根据上述匹配关系，采用ransac算法对两摄像机间的基本矩阵进行鲁棒估计。并将计算中被归为外点的匹配特征点删除。这些匹配特征点不满足计算得到的基本矩阵描述的对极几何约束，被认为是错误匹配点。

[0052] 2)根据上步中得到的特征点匹配关系得到射影重构。

[0053] 22)令两个摄像机的投影矩阵为：

[0054] P1＝[I3×3|0]

[0055] P2＝[[e12]×F12+e12aT|σe12]

[0056] 其中I3×3为3阶单位阵，F12为上步中求得到两幅图像间的基本矩阵，e12是摄像机1在摄像机2上的对极点，向量a决定参考平面的位置，σ决定重建的三维尺度。在射影重建时a和σ可以任意取值。

[0057] 23)根据三角投影关系重建得到匹配特征点对应的3维空间坐标，具体做法是求解以下方程组：

[0058]

[0059] 其中，x1、x2分别为两幅视图中匹配特征点的图像坐标，X为该匹配特征点对应的3维空间坐标。

[0060] 24)采用捆集调整算法，对上述重建结果进行优化调整，以得到重投影误差最小的射影重建结果。

[0061] 3)根据对摄像机内参的先验约束直接标定出射影空间到度量空间的变换矩阵，实现度量重建。

[0062] 31)对摄像机投影矩阵进行归一化，以消除由图像大小引起的尺度差异。其具体做法为对两摄像机的投影矩阵做成一个校正矩阵： 其中(w，h为图像的宽和高)。对摄像机投影矩阵进行归一化后，摄像机的所有内部参数具有1：
(w+h)的尺度，并且将图像的中心坐标变化到(0，0)。

[0063] 32)将对两摄像机内参矩阵的约束，采用线性标定算法直接标定出射影空间到度量重建的变换矩阵，而不需要计算绝对对偶二次曲面。其具体做法为：通过K＝PS，将对内参矩阵K的约束转化为对S的约束，假设对内参矩阵K有如下约束：s≈0，u′≈0，v′≈0，fx≈fy≈1这样就可以得到如下方程组：

[0064]

[0065] 其中Pi表示投影矩阵P的第i行，Sj表示矩阵S的第j列。对于每一个摄像机的投影矩阵都能够列出一组以上方程组，将这两组共18个线形方程联立，就可以求解得到矩阵S。

[0066] 33)对S补一列列向量，使得得到的4阶方阵可逆，该方阵的逆，就是可以将该射影重建变换到度量重建的一个变化矩阵。

[0067] 34)对变换得到的度量重建意义下的两摄像机投影矩阵，进行RQ分解，分别得到两摄像机的内参矩阵K旋转矩阵R和平移向量t，完成双目立体装置的摄像机自标定任务。