本发明涉及视觉传感器标定技术，特别涉及一种多传感器视觉测量系统的全局标定方法。本发明提供一种适合多传感器视觉测量系统的标定方法，利用共线的多个球形靶标对视觉传感器进行标定，该方法克服了由于拍摄角度问题而在标定过程引入的透视投影畸变误差，使得标定结果更加准确，同时，该方法操作简单，可快速实现对多个传感器的标定。
1.一种多传感器视觉测量系统的全局标定方法，传感器为摄像机，其特征在于：包括以下步骤：步骤一：根据摄像机测量原理建立基于多个摄像机的摄像机坐标系O-XYZ以及图像坐标系o-xy；
步骤二：首先，在保证成像满足设定像素要求前提下，将靶标球置于摄像机的视场内，摄像机获取靶标球图像；然后，对于靶标球图像，采用C.Steger图像边缘提取方法提取靶标球在相应摄像机成像的靶标球边缘特征；
步骤三：根据步骤二提取的靶标球边缘特征以及靶标球的半径信息，计算靶标球球心在相应摄像机坐标系下的三维坐标；
步骤四：在保证各靶标球位于相应的摄像机视场内的前提下，随机多次移动靶标球的标定靶标，重复步骤二至步骤三，得到多组共线的靶标球球心在相应摄像机坐标系下的三维坐标；
步骤五：根据摄像机的测量模型、靶标球球心之间的共线约束、以及步骤四得到的多组靶标球球心的三维坐标，得到每两个摄像机之间的旋转矩阵和平移矩阵；
步骤六：对旋转矩阵和平移矩阵的优化；以步骤五得到的旋转矩阵和平移矩阵为初始值，根据靶标球球心之间的距离约束以及旋转矩阵的正交性，对旋转矩阵以及平移矩阵进行非线性优化计算，得到优化计算的解；
在步骤二中，当在摄像机畸变系数较大的情况下，对获取靶标球图像进行畸变矫正处理；
在步骤四中，在标定靶标的移动位置过程中，满足其移动的轨迹线不全部平行；
在步骤一中，图像坐标系为二维图像坐标系；摄像机模型为理想针孔模型，摄像机坐标系与图像坐标系存在以下关系其中，f0为摄像机有效焦距，(x,у)为点在图像坐标系下的坐标，(X,Y,Z)为点在摄像机坐标系下的坐标；
在步骤一中，当在只考虑径向畸变的情况下，实际图像坐标和理想图像坐标之间存在以下关系其中，(X,Y)为实际图像坐标， 为理想图像坐标，k1,k2为径向畸变系数；
在步骤二中，针对C.Steger图像边缘的提取方法，
首先，将靶标球图像与相应的高斯核函数进行卷积得到相应的偏导数，得到二维图像每个像素点的Hessian矩阵表示：其中，gxx、gxy、gyy为图像与相应高斯核函数的偏导数h进行卷积的值：在公式(3)中，Hessian矩阵的两个特征值分别代表图像灰度函数的二阶导数的极大值和极小值，Hessian矩阵的最大绝对值的特征向量为曲线线条的边缘方向；
然后，由于曲线特征的边缘中心点处的一阶导数为零，对公式(3)中的像素的灰度值表示进行泰勒展开，并令其一阶导数为零，即得到边缘中心变化的亚像素值：(px,py)＝(tnx+x0,tny+y0) (5)其中，
其次，通过求解曲线线条法向量方向上的极值点确定曲线线条边缘的位置，使得精度达到亚像素级；
在步骤三中，位于空间三维中的靶标球在图像平面上的投影轮廓为一个椭圆形；
首先，对该椭圆形边缘坐标进行提取并拟合得到该椭圆形在图像坐标系中的表达方程，椭圆形轮廓在图像坐标系下的表达式为ax2+by2+cxy+dx+ey+f＝0 (7)然后，将步骤一中的图像坐标系和摄像机坐标系之间的转换关系代入公式(7)中得AX2+BY2+CXY+DXZ+EYZ+FZ2＝0 (8)其中， D＝df0,E＝ef0,F＝f，f0为摄像机的有效焦距；
其次，根据公式(8)与公式(9)得到靶标球球心在摄像机坐标系下的坐标为其中λ1～λ3为Q的特征值,且满足λ1和λ3异号，λ2和λ3异号，λ1＝λ2；Q为靶标球体的特征矩阵， [e3x,e3y,e3z]T为λ3对应的特征向量，R为靶标球的半径；
在步骤五中，首先，由于每个摄像机视场内有两个靶标球进行成像，且设定所有的靶标球共线，设摄像机1的坐标系为O1-X1Y1Z1，其对应的两靶标球为A、B，则该两靶标球A、B在摄像机1坐标系中坐标分别为P11和P12，同理，设摄像机n的坐标系为On-XnYnZn，其对应的两靶标球为C、D，则得到两靶标球C、D在摄像机n坐标系中坐标分别为 和然后，设摄像机1到摄像机n之间的旋转矩阵为 平移矩阵为 根据步骤四，则摄像机1中的坐标P1与对应点在摄像机n中的坐标Pn之间有以下关系其次，根据公式(11)将摄像机1视场内的成像的两靶标球坐标P11和P12在摄像机n坐标系下表示为 和 再次，由于靶标球C、D在摄像机n坐标系下的坐标已知，且靶标球A、B、C、D共线，则有以下性质：式(12)中，符号＝表示向量在相差一个比例因子的情况下相等，因此，标定靶标每摆放一个位置，至少可以获得两组约束方程；
再后来，在不考虑旋转矩阵和平移矩阵本身性质的前提下，通过多次摆放即获得满足求解数量的方程对旋转矩阵和平移矩阵进行求解，其具体约束关系如下：设
紧接着，根据设定数量的公式(14)的方程组，求得摄像机坐标系1与摄像机坐标系n之间的旋转矩阵与平移矩阵；
然后，在标定过程中，令在同一个摄像机视场内成像的两靶标球之间的距离确定已知，即|AB|＝l1，|CD|＝l2；
其次，摄像机1中成像的靶标球与摄像机n中成像的靶标球之间的距离L确定已知，即|BC|＝L，因此，根据距离关系，得到有以下约束函数：再次，对于旋转矩阵和平移矩阵的求解，在公式(14)解的基础上，通过公式(15)和公式(16)的约束，对旋转矩阵和平移矩阵进行优化计算；
步骤七，验证实验；借助于验证实验系统，该系统包括两个摄像机组成，该两个摄像机视场不存在交集，即没有公共视场；
首先，验证实验系统之前对靶标球图像进行畸变校正，标定靶标由4个靶标球和一个刚性杆组成，靶标球的精度为10微米，每两个靶标球为一组由标定杆连接，并满足共线条件，标定靶标通过移动4次进行全局标定；
其次，验证实验系统采用C.Steger的Hissian矩阵算法对靶标球边缘和光条中心进行提取，将靶标球边缘的梯度图像进行提取，其提取精度达亚像素级；
再次，在提取的梯度图像中，通过标准长度进行测量，得到测量实验结果。
多传感器视觉测量系统的全局标定方法
技术领域
[0001] 本发明涉及视觉传感器标定技术，特别涉及一种多传感器视觉测量系统的全局标定方法。
背景技术
[0002] 通常把三维视觉测量系统中的图像信息获取部分称为三维视觉传感器，对于单个视觉传感器而言，其都有一定的视觉测量空间。迄今为止，在机器视觉领域，最常用的也是精度最高的测量方式为双目测量方式。但是，双目视觉测量系统测量区域较小，因此，在工业环境以及相关应用中，通常采用多个视觉传感器(至少三个)组建测量系统的方式，使得视觉测量范围具有更大的空间，从而满足大范围视觉测量的目的，该种方法称为多传感器三维视觉测量系统。
[0003] 在视觉测量系统中，单个视觉测量系统模块需要进行局部标定，即进行单个传感器模块坐标系下视觉测量模型的建立。而对于多传感器三维视觉测量系统而言，每个视觉测量系统模块相对独立，因此，在三维视觉测量的过程中需要对每个视觉测量系统的测量数据进行统一，即将所有视觉测量系统的测量数据统一到同一坐标系下，该坐标系通常被称为全局世界坐标系。因此，在测量之前需要确定每个传感器之间的转换关系，即对多传感器三维视觉测量系统进行标定。
[0004] 多传感器三维视觉测量系统常用的方式有一维靶标标定方法，平面靶标标定方法等。一维靶标标定方法利用一一维靶标在视觉传感器面前无约束摆放多次，根据一维靶标点共线的特点以及靶标点间的距离约束，根据消隐点或者较比不变的相关性质，计算出一维靶标特征点在多个摄像机坐标系下的三维坐标，进而根据靶标对应点的三维坐标计算两两摄像机坐标系之间的转换矩阵，最后通过两两摄像机校准的方式完成多摄像机的全局校准工作。
[0005] 但是，多传感器三维视觉测量系统中，多个传感器通常分布于测量领域的不同位置，传感器之间并不能像标准的双目视觉测量系统一样必然存在公共视场，上述多传感器三位视觉测量系统的标定方法会引入一定的因拍摄角度带来的透视畸变误差，因此，寻找一种适合多个传感器之间的快速高精度标定方法显得格外重要。
发明内容
[0006] 本发明技术解决问题：克服现有技术的不足，提供一种适合多传感器视觉测量系统的标定方法，利用共线的多个球形靶标对视觉传感器进行标定，该方法克服了由于拍摄角度问题而在标定过程引入的透视投影畸变误差，使得标定结果更加准确，同时，该方法操作简单，可快速实现对多个传感器的标定。
[0007] 本发明技术解决方案：一种多传感器视觉测量系统的全局标定方法，该方法包括：建立摄像机坐标系，图像坐标系；将共线的多个靶标球分别置于视觉传感器视场内，并保证在对应的视觉传感器像平面清晰成像；通过提取靶标球在对应视觉传感器像平面的图像，由靶标球的半径约束得到球心在相应摄像机坐标系下的坐标；多次移动靶标，得到多个视觉传感器时间的转换关系，完成系统的标定。
[0008] 具体实现步骤如下：
[0009] 步骤一：根据摄像机测量原理建立基于多个视觉传感器的摄像机坐标系以及图像坐标系；
[0010] 步骤二：首先，在保证成像满足设定像素要求前提下，将靶标球置于摄像机的视场内，摄像机获取靶标球图像；然后，对于靶标球图像，采用C.Steger边缘提取方法提取靶标球在相应摄像机成像的靶标球边缘特征；
[0011] 步骤三：根据步骤二提取的靶标球边缘特征以及靶标球的半径约束，计算靶标球球心在相应摄像机坐标系下的三维坐标；
[0012] 步骤四：多次移动靶标球的标定靶标，重复步骤二至步骤三，得到多组共线的靶标特征点在相应摄像机坐标系下的三维坐标；
[0013] 步骤五：根据摄像机的测量模型以及靶标球球心之间的共线约束，得到摄像机之间的旋转矩阵和平移矩阵；
[0014] 步骤六：以步骤五得到的旋转矩阵和平移矩阵为初始值，根据靶标球球心之间的距离，对摄像机坐标系之间的转换关系进行非线性优化计算，得到更加精确优化计算的解。
[0015] 在步骤二中，当在摄像机畸变系数较大的情况下，对获取靶标球图像进行畸变矫正处理，以提高标定精度。
[0016] 在步骤四中，在标定靶标的移动位置过程中，满足其移动的轨迹线不全部平行，且增加标定靶标的移动次数可以使得标定的精度在一定程度上增加，但同时会使得计算量增大。
[0017] 在步骤六中，由靶标球球心之间的距离约束进行的非线性优化，是对标定结果增加了一个距离的约束，在标定过程中，该距离约束并非必须。
[0018] 本发明与现有技术相比的优点在于：本发明利用一共线的球形靶标完成对多传感器视觉测量系统的标定，克服了由于视觉传感器拍摄角度问题而引入的透视投影误差，使得标定结果更加精确，同时，该标定方法操作简单，适合对多传感器视觉测量系统进行现场标定。
附图说明
[0019] 图1:摄像机模型中相应的坐标系关系；
[0020] 图2:靶标球投影关系示意图；
[0021] 图3：靶标球位置示意图；
[0022] 图4：实际靶标图像；
[0023] 图5：球体图像边缘提取；
[0024] 图6：系统标定流程图；
具体实施方式
[0025] 如图1-6所示，本发明方法实现步骤如下：传感器为摄像机，
[0026] 步骤一：如图1根据摄像机测量原理建立基于多个摄像机的摄像机坐标系O-XYZ以及图像坐标系o-xy；
[0027] 步骤二：首先，在保证成像满足设定像素要求前提下，将靶标球置于摄像机的视场内，摄像机获取靶标球图像；然后，对于靶标球图像，采用C.Steger图像边缘提取方法提取靶标球在相应摄像机成像的靶标球边缘特征；
[0028] 步骤三：根据步骤二提取的靶标球边缘特征以及靶标球的半径信息，计算靶标球球心在相应摄像机坐标系下的三维坐标；
[0029] 步骤四：在保证各靶标球位于相应的摄像机视场内的前提下，随机多次移动靶标球的标定靶标，重复步骤二至步骤三，得到多组共线的靶标球球心在相应摄像机坐标系下的三维坐标；
[0030] 步骤五：根据摄像机的测量模型、靶标球球心之间的共线约束、以及步骤四得到的多组靶标球球心的三维坐标，得到每两个摄像机之间的旋转矩阵和平移矩阵；
[0031] 步骤六：为了进一步提高标定精度，对旋转矩阵和平移矩阵的优化；以步骤五得到的旋转矩阵和平移矩阵为初始值，根据靶标球球心之间的距离约束以及旋转矩阵的正交性，对旋转矩阵以及平移矩阵进行非线性优化计算，得到优化计算的解；
[0032] 在步骤二中，当在摄像机畸变系数较大的情况下，对获取靶标球图像进行畸变矫正处理。
[0033] 在步骤四中，在标定靶标的移动位置过程中，满足其移动的轨迹线不全部平行。
[0034] 具体地说为：
[0035] 在步骤一中，图像坐标系为二维图像坐标系；摄像机模型为理想针孔模型，在不考虑摄像机畸变的情况下，摄像机坐标系与图像坐标系存在以下关系
[0036]
[0037] 其中，f0为摄像机有效焦距，(x,y)为点在图像坐标系下的坐标， (X,Y,Z)为点在摄像机坐标系下的坐标。
[0038] 实际应用中，镜头并非理想的透视成像，而是存在不同程度的径向畸变和切向畸变，一般情况下，切向畸变较小，当在只考虑径向畸变的情况下，实际图像坐标和理想图像坐标之间存在以下关系
[0039]
[0040] 其中，(X,Y)为实际图像坐标， 为理想图像坐标，k1,k2为径向畸变系数。
[0041] 在步骤二中，C.Steger图像边缘的提取方法，首先，将靶标球图像与相应的高斯核函数进行卷积得到相应的偏导数，得到二维图像每个像素点的Hessian矩阵表示：
[0042]
[0043] 其中，gxx、gxy、gyy为图像与相应高斯核函数的偏导数h进行卷积的值：
[0044]
[0045] 在公式(3)中，Hessian矩阵的两个特征值分别代表图像灰度函数的二阶导数的极大值和极小值，即，其表示的是灰度值变化最为剧烈的方向和最为平缓方向的变化程度。因此，Hessian矩阵的最大绝对值的特征向量为曲线线条的边缘方向；
[0046] 然后，由于曲线特征的边缘中心点处的一阶导数为零，对公式(3) 中的像素的灰度值表示进行泰勒展开，并令其一阶导数为零，即得到边缘中心变化的亚像素值：
[0047] (px,py)＝(tnx+x0,tny+y0) (5)
[0048] 其中，
[0049]
[0050] 其次，通过求解曲线线条法向量方向上的极值点确定曲线线条边缘的位置，使得精度达到亚像素级。
[0051] 步骤三，根据步骤二得到的靶标球的边缘图像信息以及靶标球的半径约束信息得到靶标球在摄像机坐标系下的三维坐标。
[0052] 在步骤三中，(如图2)，位于空间三维中的靶标球在图像平面上的投影轮廓为一个椭圆形；
[0053] 首先，对该椭圆形边缘坐标进行精确提取并拟合得到该椭圆形在图像坐标系中的表达方程，椭圆形轮廓在图像坐标系下的表达式为
[0054] ax2+by2+cxy+dx+ey+f＝0 (7)
[0055] 然后，将步骤一中的图像坐标系和摄像机坐标系之间的转换关系代入公式(7)中得
[0056] AX2+BY2+CXY+DXZ+EYZ+FZ2＝0 (8)
[0057] 其中， D＝df0,E＝ef0,F＝f，f0为摄像机的有效焦距；
[0058] 公式(8)的矩阵表示形式为
[0059]
[0060] 其次，根据公式(8)与公式(9)得到靶标球球心在摄像机坐标系下的坐标为[0061]
[0062] 其中λ1～λ3为Q的特征值,且满足λ1和λ3异号，λ2和λ3异号，λ1＝λ2；Q为靶标球体的特征矩阵， [e3x,e3y,e3z]T为λ3对应的特征向量，R为靶标球的半径；
[0063] 在步骤四中，在标定靶标移动的过程中，应尽量保证随机性，以避免所有靶标的方向相同。
[0064] 在步骤五中，如图3，首先，由于每个摄像机视场内有两个靶标球进行成像，且设定所有的靶标球共线，设摄像机1的坐标系为 O1-X1Y1Z1，其对应的两靶标球为A、B，则该两靶标球A、B在摄像机1坐标系中坐标分别为P11和P12，同理，设摄像机n的坐标系为 On-XnYnZn，其对应的两靶标球为C、D，则得到两靶标球C、D在摄像机n坐标系中坐标分别为 和[0065] 然后，设摄像机1到摄像机n之间的旋转矩阵为 平移矩阵为 T1n，根据步骤四，则摄像机1中的坐标P1与对应点在摄像机n中的坐标Pn之间有以下关系
[0066]
[0067] 其次，根据公式(11)将摄像机1视场内的成像的两靶标球坐标P11和 P12在摄像机n坐标系下表示为 和
[0068] 再次，由于靶标球C、D在摄像机n坐标系下的坐标已知，且靶标球A、B、C、D共线，则有以下性质：
[0069]
[0070] 式中，符号＝表示向量在相差一个比例因子的情况下相等，因此，标定靶标每摆放一个位置，至少可以获得两组约束方程；
[0071] 再后来，在不考虑旋转矩阵和平移矩阵本身性质的前提下，通过多次摆放即获得满足求解数量的方程对旋转矩阵和平移矩阵进行求解，其具体约束关系如下：
[0072] 设
[0073]
[0074] 则：
[0075]
[0076] 紧接着，根据设定数量的公式(14)的方程组，求得摄像机坐标系1与摄像机坐标系n之间的旋转矩阵与平移矩阵。
[0077] 在步骤六中，首先，根据旋转矩阵的正交性得到：
[0078]
[0079] 然后，在标定过程中，令在同一个摄像机视场内成像的两靶标球之间的距离确定已知，即|AB|＝l1，|CD|＝l2；
[0080] 其次，摄像机1中成像的靶标球与摄像机n中成像的靶标球之间的距离L确定已知，即|BC|＝L，因此，根据距离关系，得到有以下约束函数：
[0081]
[0082] 再次，对于旋转矩阵和平移矩阵的求解，在公式(13)解的基础上，通过公式(15) 和公式(14)的约束，对旋转矩阵和平移矩阵进行优化计算。
[0083] 步骤七，验证实验；借助于验证实验系统，该系统包括两个摄像机组成，该两个摄像机视场不存在交集，即没有公共视场；摄像机采用Allied Stingray F504B，配合焦距为17mm镜头，视场约为 200mm*200mm；摄像机内参如表1所示；
[0084] 首先，验证实验系统之前对靶标球图像进行畸变校正，标定靶标由4个靶标球和一个刚性杆组成，靶标球的精度为10微米，每两个靶标球为一组由标定杆连接，并满足共线条件(图4)，标定靶标通过移动4次进行全局标定；
[0085] 其次，验证实验系统采用C.Steger的Hissian矩阵算法对靶标球边缘和光条中心进行提取，将靶标球边缘的梯度图像进行提取，其提取精度达亚像素级，其提取结果如图5所示。
[0086] 再次，在提取的梯度图像中，通过标准长度进行测量，得到测量实验结果；如表2所示。
[0087] 表1 实验相机参数
[0088] fx fy u0 v0 k1 k25125.2 5124. 1270.7 1037. -0.2531 0.377
[0089] 表2.实验结果表
[0090]
[0091] 提供以上实施例仅仅是为了描述本发明的目的，并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明范围内。
