本发明涉及一种远心双目立体视觉测量系统的通用性标定方法。通过设计的随机分布圆点的平面标定板，实现了对控制点的全自动识别。运用这种标定板使得控制点的定位更准确，甚至是在局部遮挡和大倾角情况下也更加鲁棒。本发明提出了一个立体远心相机系统的结构模型，由于该结构参数在标定过程中保持不变，所以采用光束法平差对其进行优化。与现有的方法相比，由于对同时拍摄的多组图像应用光束法平差进行优化，使得标定得到的相机参数有显著的提升。
1.一种远心双目立体视觉测量系统的通用性标定方法，标定的测量系统，包括远心相机A、远心相机B和数据处理计算机，所用到的标定板为随机圆点标定板，其特征在于，远心相机A、远心相机B固联安装，具有公共视场，即远心相机A的视角与远心相机B的视角有夹角，夹角范围0°～90°；数据处理计算机与远心相机A、远心相机B联通，实时同步采集两台远心相机的图像数据，并解算系统标定结果，随机圆点标定板是由一系列随机生成的，并已知其圆心坐标的圆点组成的平面标定板，固联安装是指远心相机A与远心相机B的相对位置固定；
1.1通过相关算法生成随机圆点标定板，得到其圆心在参考系下坐标，将随机圆点标定板打印并贴到平板上作为标定板；
1.2将标定板置于两个相机公共视场下，通过计算机控制两个相机同时采图，变换标定板姿态，再进行采图，重复该过程，得到一系列标定图像；
1.3对于每一张标定图像，在图像中进行椭圆检测，进而得到控制点的特征描述；
1.4通过特征描述对圆点进行匹配，进一步得到单应矩阵的估计；
在获得了最优特征匹配之后，就得到了三个圆点的中心坐标和其图像中对应的二次曲线的对应，因此，单应矩阵H的初值估计可以简单地由式(2)通过DLT方法计算得到，其中，(a,b)和(u,v)分别表示生成的圆点和拍摄图像中的二次曲线的中心，单应矩阵H满足式(3)当得到单应矩阵H的初始估计之后，通过RANSAC方法可以得到一个更精确的单应矩阵，在应用这种标定板以及其对应的识别方法时，可以在存在明显遮挡，不均匀光照，大倾角甚至离焦情况下实现对控制点的全自动鲁棒的定位识别；
2.1由得到的单应矩阵的估计，确定单个相机在无畸变条件下的内外参数的近似解；
2.2以上述近似解作为初值对相机参数，包含相机畸变，进行非线性优化得到单相机参数；
3.1通过同时拍摄的两相机图像独立标定得到的单相机外参数对，根据式(6)-(9)计算得到一系列系统结构参数；
针对远心相机立体视觉测量系统，系统结构参数为两个相机坐标之间的转换关系 和其中 可以通过在对单相机标定得到的RL和RR由式(5)直接计算得到将左相机坐标系作为世界坐标系并且将其Z方向的平移向量参数进行恢复，相机的平移向量的最后一个值tRz可以被设定为任意值，也就是说，坐标系XRYRZR的原点可以是其对应光轴上的任意一点，那么将坐标系XRYRZR的原点oR选为ZR轴与ZLYL平面的交点，将ZL轴与其过oR的垂线的垂足作为坐标系XLYLZL的原点oL，在这种情况下，立体视觉系统的外参数 和可以通过式(6)计算得到其中，[0 yoR 0]T是坐标系XRYRZR的原点在坐标系XLYLZL中的坐标，且当两相机固联的情况下，该点的坐标是不变的，而可以由式(7)-(9)计算得到如此就确定了系统的所有结构参数，
3.2以上述结果以及单相机独立标定结果作为初值对所有相机参数通过光束法平差进行优化，得到最终标定参数；
通过单相机标定由同时采集得到的图像对j分别获得(RLj,tLsj)和(RRj,tRsj)，而对于不同视角拍摄得到的图像，结构参数包括 和yoR都保持不变，所以为了进一步提升标定的精度，对多幅同时采集的图像采用光束法平差对所有相机参数进行优化，最小化优化函数为e2其中mLji和mRji分别是图像对j中左右相机图像中圆点中心Pi的对应； 和 分别是圆点中心Pi在图像对j中左右相机图像中的重投影；δL和δR是镜头畸变系数，旋转矩阵RLj和可以由三个参数的向量通过罗德里格斯公式来表示。
2.根据权利要求1所述的一种远心双目立体视觉测量系统的通用性标定方法，其特征在于，所述最小化优化函数e2是一个非线性最小化问题，该问题通过Levenberg-Marquardt算法进行求解。
一种远心双目立体视觉测量系统的通用性标定方法
技术领域
[0001] 本发明属于计算机视觉领域，尤其涉及对于远心双目立体视觉测量系统的通用性标定方法。
背景技术
[0002] 随着精密制造业的发展，对微小尺度的精密三维测量的发展也有着推进和需求。通过双目立体视觉测量系统建立三角测量关系是发展比较成熟的三维测量技术。相较于干涉测量方法例如全息干涉法，云纹法以及电子散斑干涉法(ESPI)，该技术对光路设计的要求更简单且不需要防震。因此，该方法在许多领域都被大量采用。传统上，一个典型的双目立体视觉测量系统由两个一般的镜头组成。然而，对于微小尺度的三维测量光学系统之间的距离必须得很小。对于一般镜头来说一个主要问题是透视效应和镜头畸变，在很近的距离上，目标会产生畸变。相较于一般镜头，远心镜头的正交投影的特点有着许多优点，例如很小的镜头畸变，恒定的放大倍率，以及较大的景深。由于存在这些特点，所以由远心相机组成的双目立体视觉测量系统能够广泛应用到微小尺度的三维测量当中，例如微尺度目标的三维测量和重构，三维的数字图像相关等。
[0003] 当要使用立体视觉系统进行测量时，标定是核心的一个步骤。目前对于应用双目立体视觉进行测量的算法研究已经趋于成熟，所以测量的精度很大程度上取决于标定精度。一般而言，由于标定过程的在光学测量中的关键地位，对于小孔模型的立体相机标定已有了广泛的研究，并且也提出了很多标定方法。然而，对于远心光学系统的标定特别是在Z方向上并不是那么直接，因为远心系统会使得沿光轴方向上的变换并不敏感。因此，对于基于透视投影的小孔相机模型而构建的传统标定方法并不适用于远心双目立体视觉测量系统的标定。所以对于远心双目立体视觉测量系统，需要有一种通用的高精度标定方法。
发明内容
[0004] 本发明的目的在于对由两个远心相机组成的立体视觉测量系统提供一个通用性的标定方法，实现对系统的高精度、高鲁棒性的标定，为系统的高精度测量应用，包括但不限于微尺度目标的三维重构、三维的数字图像相关等等，奠定基础。
[0005] 本发明中需要标定的测量系统，包括远心相机A、远心相机B和数据处理计算机，所用到的标定板为随机圆点标定板。其中，远心相机A、远心相机B固联安装，具有公共视场，即远心相机A的视角与远心相机B的视角有夹角，夹角范围0°～90°；数据处理计算机与远心相机A、远心相机B联通，实时同步采集两台远心相机的图像数据，并解算系统标定结果。随机圆点标定板是由一系列随机生成的，并已知其圆心坐标的圆点组成的平面标定板。固联安装是指远心相机A与远心相机B的相对位置固定。
[0006] 用本发明中的方法对由两个远心相机组成的立体视觉测量系统进行标定包括以下步骤：
[0007] 第一步，随机圆点标定板的识别
[0008] 1.1标定板的生成
[0009] 这个平面标定板由随机散布的圆点组成，而这些圆点的圆心坐标是在一个局部范围内随机生成的，所生成圆点的半径是一致的，在这种情况下，任意三个圆点组成的三角形的内角可以通过未经过单应性修正图像的二次曲线系数矩阵来获得。当生成了一个标定板之后，即已知了在一个参考坐标系下圆点中心的坐标，那这个标定板的特征描述则可以通过下列方法来生成。对于标定板上的每个圆点，选择两个最近的圆点和其组成一个三角形，则该三角形最小的和最大的内角的余弦值即可以作为这三个圆点的特征描述。由这个性质，标定板上的圆形控制点可以通过相似三角匹配方法来进行自动识别；
[0010] 1.2圆点匹配
[0011] 针对拍摄得到的标定图像，通过椭圆检测来获得图像中圆点的二次曲线矩阵C，C是包含二次曲线系数的一个3×3的实对称矩阵。与标定板特征描述生成的过程类似，对于一个圆点和它的两个相邻点的特征描述都可以通过式(1)中的二次曲线矩阵C′i来获得。
[0012]
[0013] 在得到了标定板上圆点的特征描述后，利用文献《Nondimensional star identification for uncalibrated star cameras》(2006年发表于《The Journal of the Astronautical Sciences》)的方法实现拍摄图像和标定板生成数据的最优匹配。
[0014] 1.3单应矩阵估计
[0015] 在获得了最优特征匹配之后，就得到了三个圆点的中心坐标和其图像中对应的二次曲线的对应。因此，单应矩阵H的初值估计可以简单地由式(2)通过DLT方法计算得到。
[0016]
[0017] 其中，(a,b)和(u,v)分别表示生成的圆点和拍摄图像中的二次曲线的中心。单应矩阵H满足式(3)
[0018]
[0019] 当得到单应矩阵H的初始估计之后，通过RANSAC方法可以得到一个更精确的单应矩阵。在应用这种标定板以及其对应的识别方法时，可以在存在明显遮挡，不均匀光照，大倾角甚至离焦情况下实现对控制点的全自动鲁棒的定位识别。
[0020] 第二步，单相机参数估计
[0021] 2.1相机参数初值确定
[0022] 当单应矩阵H确定了之后，无畸变相机的内外参数则可以通过一个近似解来确定，该方法在文献《A Flexible Calibration Approach for Cameras with Double-sided Telecentric Lenses》(2016年发表在《International Journal of Advanced Robotic Systems》)中有进行描述。
[0023] 针对应用平面标定板对远心镜头标定所带来的旋转矩阵R的歧义性可以很容易地通过相机结构的先验信息来解决。通过这个方法独立解算得到两个远心相机的内参数矩阵KL和KR，以及外参数(RL,tLs)和(RR,tRs)，其中tLs＝[tLx tLy]T和tRs＝[tRx tRy]T为平移向量的一部分，而非完整的平移向量tL＝[tLx tLy tLz]T和tR＝[tRx tRy tRz]T。
[0024] 2.2二次曲线变换的非线性优化
[0025] 由于对于远心相机在仿射变换下二次曲线中心在图像中与图像中的二次曲线中心是一致的，因此，远心相机的参数包括镜头畸变δ都可以通过式(4)的点变换的方式来进行描述。在该描述下可以通过点变换的非线性优化来对所有的相机参数进行优化。
[0026]
[0027] 其中mji和 分别是点Pi在相机j中图像坐标和重投影坐标。旋转矩阵Rj可以由三个参数的向量通过罗德里格斯公式来表示。
[0028] 第三步，系统结构参数标定
[0029] 3.1建立系统结构标定模型
[0030] 针对远心相机立体视觉测量系统，系统结构参数为两个相机坐标之间的转换关系和 其中 可以通过在对单相机标定得到的RL和RR由式(5)直接计算得到
[0031]
[0032] 将左相机坐标系作为世界坐标系并且将其Z方向的平移向量参数进行恢复，相机的平移向量的最后一个值tRz可以被设定为任意值。也就是说，坐标系XRYRZR的原点可以是其对应光轴上的任意一点，那么将坐标系XRYRZR的原点oR选为ZR轴与ZLYL平面的交点，将ZL轴与其过oR的垂线的垂足作为坐标系XLYLZL的原点oL，在这种情况下，立体视觉系统的外参数和 可以通过式(6)计算得到
[0033]
[0034] 其中，[0 yoR 0]T是坐标系XRYRZR的原点在坐标系XLYLZL中的坐标，且当两相机固联的情况下，该点的坐标是不变的。而可以由式(7)-(9)计算得到
[0035]
[0036]
[0037]
[0038] 如此就确定了系统的所有结构参数。
[0039] 3.2光束法平差优化系统结构参数
[0040] 通过单相机标定由同时采集得到的图像对j分别获得(RLj,tLsj)和(RRj,tRsj)，而对于不同视角拍摄得到的图像，结构参数包括 和yoR都保持不变，所以为了进一步提升标定的精度，对多幅同时采集的图像采用光束法平差对所有相机参数进行优化，最小化优化函数为e2
[0041]
[0042] 其中mL ji和mR ji分别是图像对j中左右相机图像中圆点中心Pi的对应； 和分别是圆点中心Pi在图像对j中左右相机图像中的重投影；δL和δR是镜头畸变系数。旋转矩阵RLj和 可以由三个参数的向量通过罗德里格斯公式来表示。最小化优化函数e2是一个非线性最小化问题，该问题可以通过Levenberg-Marquardt算法进行求解。
[0043] 本发明的优点：
[0044] 1.本发明中通过设计的随机分布圆点的平面标定板，实现了对控制点的全自动识别。运用这种标定板使得控制点的定位更准确，甚至是在局部遮挡和大倾角情况下也更加鲁棒。
[0045] 2.本发明提出了一个立体远心相机系统的结构模型，由于该结构参数在标定过程中保持不变，所以采用光束法平差对其进行优化。与现有的方法相比，由于对同时拍摄的多组图像应用光束法平差进行优化，使得标定得到的相机参数有显著的提升。
附图说明
[0046] 图1是本发明要标定的由两个远心相机组成的立体视觉测量系统，
[0047] 图2是本发明中所用的随机圆点标定板样图，
[0048] 图3是本发明中所用的立体视觉测量系统结构参数模型示意图。
具体实施方式
[0049] 本发明中需要标定的测量系统，包括远心相机A、远心相机B和数据处理计算机，所用到的标定板为随机圆点标定板。数据处理计算机与两个远心相机联通，实时同步采集两台远心相机的图像数据，并解算系统标定结果。随机圆点标定板由算法生成之后打印贴到一个平面的标定板上。
[0050] 采用本发明对由两个远心相机组成的立体视觉测量系统进行标定，具体步骤如下：
[0051] 第一步，随机圆点标定板的识别
[0052] 1.1通过相关算法生成随机圆点标定板，得到其圆心在参考系下坐标，将生成的标定板以适合的比例打印并贴到平板上作为标定板；
[0053] 1.2将标定板置于两个相机公共视场下，通过计算机控制两个相机同时采图，变换标定板姿态，再进行采图，重复该过程，得到一系列标定图像；
[0054] 1.3对于每一张标定图像，在图像中进行椭圆检测，进而得到控制点的特征描述；
[0055] 1.4通过特征描述对圆点进行匹配，进一步得到单应矩阵的估计；
[0056] 第二步，单相机参数估计
[0057] 2.1由得到的单应矩阵的估计，通过相关方法确定单个相机在无畸变条件下的内外参数的近似解；
[0058] 2.2以上述近似解作为初值对相机参数，包含相机畸变，进行非线性优化得到单相机参数；
[0059] 第三步，系统结构参数标定
[0060] 3.1通过同时拍摄的两相机图像独立标定得到的单相机外参数对，根据式(6)-(9)计算得到一系列系统结构参数；
[0061] 3.2以上述结果以及单相机独立标定结果作为初值对所有相机参数通过光束法平差进行优化，得到最终标定参数。
