基于方向性标定靶标的摄像机内外参数自动标定方法转让专利

申请号 : CN201510338308.1

文献号 : CN104933717B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 卢荣胜殷玉龙

申请人 : 合肥工业大学

摘要 :

本发明公开了一种基于方向性标定靶标的摄像机内外参数自动标定方法,其特征是利用改进的Harris角点检测算法提取靶标图像中各个特征角点的亚像素级坐标;利用标定靶标上的方向性标志图案建立靶标坐标系,由此确定并获得与幅靶标图像中各个特征角点在靶标坐标系下一一对应的靶标坐标;利用平面靶标空间姿态估算算法估算标定靶标在三维空间中的旋转和平移,实现了方向性标定靶标的旋转方向判断;获得G幅满足条件的标定图像后,利用张正友标定算法求解摄像机的内外参数。本发明能实现摄像机内外参数的自动标定,从而提高摄像机内外参数标定的灵活性和实用性。

权利要求 :

1.基于方向性标定靶标的摄像机内外参数自动标定方法,其特征是:所述方向性标定靶标包括由黑方格和白方格互相交替组成的棋盘格以及在所述棋盘格中央位置附近处设置的方向性标志图案;以任意两个对角相连的黑方格的交点或任意两个对角相连的白方格的交点作为所述方向性标定靶标的特征角点;

所述棋盘格包含M行×N列个所述特征角点;M和N均为正整数;所述黑方格和白方格的边长均为W;W>0;

所述方向性标志图案是由3个小标志图组成;记所述3个小标志图分别为第一标志图、第二标志图和第三标志图,且所述第一标志图为黑色图案、所述第二标志图为黑色图案、所述第三标志图为白色图案;所述第一标志图位于所述白方格的内部、所述第二标志图位于所述白方格的内部、所述第三标志图位于所述黑方格的内部;

所述第一标志图的中心记为第一中心点o1、所述第二标志图的中心记为第二中心点o2、所述第三标志图的中心记为第三中心点o3;所述第一中心点o1位于所述白方格的中心位置处,所述第二中心点o2位于所述白方格的中心位置处,所述第三中心点o3位于所述黑方格的中心位置处;在所述棋盘格中以所述第一中心点o1作为直角顶点并由所述第一中心点o1、第二中心点o2和第三中心点o3构成直角三角形Δo2o1o3;所述第一中心点o1和第二中心点o2位于由所述白方格所组成的行中,或者,所述第一中心点o1和第二中心点o2位于由所述白方格所组成的列中,由所述第一中心点o1和第二中心点o2构成的直角边 以及由第一中心点o1和第三中心点o3构成的直角边 满足 且 且所述自动标定方法是按如下步骤进行:

步骤1、定义标定图像总数G;定义旋转阈值κ1和平移阈值κ2;定义变量α、变量β,并初始化α=1;β=1;

步骤2、利用位置固定的摄像机实时拍摄空间中移动的方向性标定靶标,获得靶标图像;

步骤3、以所述靶标图像的左上角为特征角点像素坐标系的原点o,自左向右为所述特征角点像素坐标系的x轴方向,自上向下为所述特征角点像素坐标系的y轴方向;从而建立所述特征角点像素坐标系o-xy;

步骤4、以所述摄像机的光心作为摄像机坐标系的原点Oc;以所述特征角点像素坐标系的x轴方向作为所述摄像机坐标系的Xc轴方向;以所述特征角点像素坐标系的y轴方向作为所述摄像机坐标系的Yc轴方向;所述摄像机坐标系的Xc轴、Yc轴和Zc轴满足右手定则,从而建立所述摄像机坐标系Oc-XcYcZc;

步骤5、假设所述靶标图像为第α个移动位置上的方向性标定靶标经过所述摄像机进行成像时所对应的第α幅靶标图像;

步骤6、将所述第α个移动位置上的方向性标定靶标内的第一中心点、第二中心点和第三中心点分别记为第α个第一中心点 第α个第二中心点 和第α个第三中心点选取与所述第α个第一中心点 的空间距离、与第α个第二中心点 的空间距离以及与第α个第三中心点 的空间距离之和最小的特征角点作为第α个靶标坐标系的原点以所述第α个第一中心点 和第α个第三中心点 所构成的第α个空间向量 的方向作为所述第α个靶标坐标系的 轴方向;以所述第α个第一中心点 和第α个第二中心点所构成的第α个空间向量 的方向作为所述第α个靶标坐标系的Y1(α)轴方向,所述第α个靶标坐标系的 轴、Y1(α)轴和 轴满足右手定则,从而建立所述第α个靶标坐标系步骤7、利用改进的Harris角点检测算法提取所述第α幅靶标图像中方向性标定靶标上各个特征角点在所述特征角点像素坐标系o-xy下的亚像素级坐标,从而获得所述第α幅靶标图像中所有特征角点在所述特征角点像素坐标系o-xy下的亚像素级坐标集合;

步骤8、根据所述方向性标志图案,确定并获得所述第α幅靶标图像中所有特征角点在所述特征角点像素坐标系o-xy下的亚像素级坐标和与所述第α幅靶标图像中所有特征角点在所述第α个靶标坐标系 下一一对应的靶标坐标的匹配关系,将获得的所述匹配关系保存为第α幅靶标图像中所有特征角点亚像素级坐标与靶标坐标的匹配组;

步骤9、根据所述第α幅靶标图像中所有特征角点亚像素级坐标与靶标坐标的匹配组,利用平面靶标空间姿态估算算法计算出从所述第α个靶标坐标系 变换到所述摄像机坐标系Oc-XcYcZc的第α个靶标旋转矩阵Rα和第α个靶标平移矩阵Tα,从而实现所述方向性标定靶标的旋转方向判断;

步骤10、判断α是否等于1,若α等于1,则将所述第α幅靶标图像作为第β幅标定图像;并将所述第α幅靶标图像中所有特征角点亚像素级坐标与靶标坐标的匹配组保存为第β幅标定图像中所有特征角点亚像素级坐标与靶标坐标的匹配组;同时将所述第α个靶标旋转矩阵Rα和所述第α个靶标平移矩阵Tα分别赋值给第β个标定旋转矩阵Rβ′和第β个标定平移矩阵Tβ′后,执行步骤11;否则执行步骤12;

步骤11、将α+1赋值给α,并返回步骤5顺序执行;

步骤12、利用式(1)和式(2)获得从所述第α个靶标坐标系 变换到所述

第β个靶标坐标系 的旋转矩阵Rα,β和平移矩阵Tα,β:

步骤13、判断旋转矩阵Rα,β的范数是否大于所述旋转阈值κ1,且所述平移矩阵Tα,β的范数是否大于平移阈值κ2,若都大于,则将β+1赋值给β,并将所述第α幅靶标图像作为第β幅标定图像;并将所述第α幅靶标图像中所有特征角点亚像素级坐标与靶标坐标的匹配组保存为第β幅标定图像中所有特征角点亚像素级坐标与靶标坐标的匹配组;同时将所述第α个靶标旋转矩阵Rα和所述第α个靶标平移矩阵Tα分别赋值给第β个标定旋转矩阵Rβ′和第β个标定平移矩阵Tβ′后,执行步骤14;否则执行步骤11;

步骤14、判断β与标定图像总数G是否相等,若相等,则获得G幅标定图像以及G个标定图像中所有特征角点亚像素级坐标与靶标坐标的匹配组,并执行步骤15;否则返回步骤11执行;

步骤15、根据所述G个标定图像中所有特征角点亚像素级坐标与靶标坐标的匹配组,利用张正友摄像机标定算法计算出所述摄像机的内外参数。

2.根据权利要求1所述的基于方向性标定靶标的摄像机内外参数自动标定方法,其特征是,所述步骤7是按如下过程进行:步骤7.1、假设所述第α幅靶标图像中方向性标定靶标上有M0行×N0列个特征角点;0<M0≤M,0<N0≤N;M0和N0均为整数;设置迭代终止阈值ψ;定义迭代次数ξ;

步骤7.2、利用Harris角点检测算法提取所述第α幅靶标图像中方向性标定靶标上各个特征角点在所述特征角点像素坐标系o-xy下的像素级坐标,从而获得所述第α幅靶标图像中方向性标定靶标上所有M0行×N0列个特征角点在所述特征角点像素坐标系o-xy下的像素级坐标集合;

步骤7.3、假设所述第α幅靶标图像中方向性标定靶标上的任意一个特征角点为第α幅靶标图像中方向性标定靶标上的第τ个特征角点;1≤τ≤M0×N0;τ为整数;初始化τ=1;

步骤7.4、初始化ξ=0;

步骤7.5、将所述第α幅靶标图像中方向性标定靶标上的第τ个特征角点在所述特征角点像素坐标系o-xy下的像素级坐标记为第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标步骤7.6、获取以所述第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 为中心的μ×μ邻域,所述以第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 为中心的μ×μ邻域不与所述方向性标志图案相交;在所述以第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 为中心的μ×μ邻域内除所述第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 以外的任意一个像素点的坐标记为 1≤η≤μ×μ-1;μ为奇数;

步骤7.7、建立如式(3)所示的第α幅靶标图像中第τ个特征角点第ξ次迭代时的亚像素级坐标优化目标函数式(3)中, 表示在所述以第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标为中心的μ×μ邻域内除所述第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标以外的任意一个像素点坐标 处的灰度梯度; 表示从所述第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 到所述任意一个像素点坐标 的向量;

步骤7.8、计算所述第α幅靶标图像中第τ个特征角点第ξ次迭代时的亚像素级坐标优化目标函数 的值;

步骤7.9、判断 是否小于ψ,若小于,则将所述第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 保存为第α幅靶标图像中方向性标定靶标上的第τ个特征角点在所述特征角点像素坐标系o-xy下的亚像素级坐标,并执行步骤7.10;否则执行步骤7.11;

步骤7.10、判断τ是否等于M0×N0,若等于,则获得所述第α幅靶标图像中所有特征角点在所述特征角点像素坐标系o-xy下的亚像素级坐标集合;否则,将τ+1赋值给τ,并返回步骤

7.4顺序执行;

步骤7.11、根据所述第α幅靶标图像中第τ个特征角点第ξ次迭代时的亚像素级坐标优化目标函数 利用Levenberg-Marquard优化算法迭代求解获得第α幅靶标图像中第τ个特征角点第ξ+1次迭代时的坐标 将ξ+1赋值给ξ,并返回步骤7.6顺序执行。

说明书 :

基于方向性标定靶标的摄像机内外参数自动标定方法

技术领域

[0001] 本发明涉及计算机视觉中摄像机标定方法领域,具体为基于方向性标定靶标的摄像机内外参数自动标定方法。

背景技术

[0002] 计算机视觉技术在工业控制、测量学等领域有着广泛的应用,计算机视觉技术主要是利用摄像机的成像,通过图像信息获取空间中被测物体的三维信息,由此重建和识别物体。计算机视觉技术的根本问题是摄像机标定,通过摄像机标定技术可以获得空间三维坐标与图像二维坐标之间的映射关系,摄像机标定技术是计算机视觉测量技术的研究重点,摄像机标定的任务就是求解摄像机的内外参数,摄像机标定技术得到越来越多的关注和发展。
[0003] 1986年Roger Tsai提出了基于径向约束的摄像机标定算法,该标定算法需要3D立体靶标,使得标定过程不灵活;1999年前后,微软研究院的张正友(Z.Y Zhang)提出了基于平面靶标的摄像机标定算法,该标定算法使用了无方向信息的平面靶标,标定过程中无法判断出无方向信息的平面靶标的旋转方向,并且张正友(Z.Y Zhang)提出的基于平面靶标的摄像机标定算法要求摄像机拍摄到完整的平面靶标,但实际应用中往往需要判断平面靶标的旋转方向,并且实际标定过程中摄像机常常会拍摄到局部的平面靶标,例如,进行双目摄像机标定时,双目摄像机系统需要同时拍摄空间中同一个平面靶标,此时需要判断出平面靶标的旋转方向,由此建立相对于平面靶标的位置固定不变的靶标坐标系,双目摄像机系统中的左、右摄像机拥有共同的靶标坐标系,以靶标坐标系作为变换中介,便可计算出左、右摄像机之间的空间位置关系,左、右摄像机的公共视场较小时,左、右摄像机均会拍摄到局部的平面靶标。

发明内容

[0004] 本发明是为了克服现有技术存在的不足之处,提供一种基于方向性标定靶标的摄像机内外参数自动标定方法,以期能实现摄像机内外参数的自动标定,从而提高摄像机内外参数标定的灵活性和实用性。
[0005] 为了达到上述目的,本发明所采用的技术方案为:
[0006] 本发明基于方向性标定靶标的摄像机内外参数自动标定方法的特点是:所述方向性标定靶标包括由黑方格和白方格互相交替组成的棋盘格以及在所述棋盘格中央位置附近处设置的方向性标志图案;以任意两个对角相连的黑方格的交点或任意两个对角相连的白方格的交点作为所述方向性标定靶标的特征角点;
[0007] 所述棋盘格包含M行×N列个所述特征角点;M和N均为正整数;所述黑方格和白方格的边长均为W;W>0;
[0008] 所述方向性标志图案是由3个小标志图组成;记所述3个小标志图分别为第一标志图、第二标志图和第三标志图,且所述第一标志图为黑色图案、所述第二标志图为黑色图案、所述第三标志图为白色图案;所述第一标志图位于所述白方格的内部、所述第二标志图位于所述白方格的内部、所述第三标志图位于所述黑方格的内部;
[0009] 所述第一标志图的中心记为第一中心点o1、所述第二标志图的中心记为第二中心点o2、所述第三标志图的中心记为第三中心点o3;所述第一中心点o1位于所述白方格的中心位置处,所述第二中心点o2位于所述白方格的中心位置处,所述第三中心点o3位于所述黑方格的中心位置处;在所述棋盘格中以所述第一中心点o1作为直角顶点并由所述第一中心点o1、第二中心点o2和第三中心点o3构成直角三角形Δo2o1o3;所述第一中心点o1和第二中心点o2位于由所述白方格所组成的行中,或者,所述第一中心点o1和第二中心点o2位于由所述白方格所组成的列中,由所述第一中心点o1和第二中心点o2构成的直角边 以及由第一中心点o1和第三中心点o3构成的直角边 满足 且 且
[0010] 所述自动标定方法是按如下步骤进行:
[0011] 步骤1、定义标定图像总数G;定义旋转阈值κ1和平移阈值κ2;定义变量α、变量β,并初始化α=1;β=1;
[0012] 步骤2、利用位置固定的摄像机实时拍摄空间中移动的方向性标定靶标,获得靶标图像;
[0013] 步骤3、以所述靶标图像的左上角为特征角点像素坐标系的原点o,自左向右为所述特征角点像素坐标系的x轴方向,自上向下为所述特征角点像素坐标系的y轴方向;从而建立所述特征角点像素坐标系o-xy;
[0014] 步骤4、以所述摄像机的光心作为摄像机坐标系的原点Oc;以所述特征角点像素坐标系的x轴方向作为所述摄像机坐标系的Xc轴方向;以所述特征角点像素坐标系的y轴方向作为所述摄像机坐标系的Yc轴方向;所述摄像机坐标系的Xc轴、Yc轴和Zc轴满足右手定则,从而建立所述摄像机坐标系Oc-XcYcZc;
[0015] 步骤5、假设所述靶标图像为第α个移动位置上的方向性标定靶标经过所述摄像机进行成像时所对应的第α幅靶标图像;
[0016] 步骤6、将所述第α个移动位置上的方向性标定靶标内的第一中心点、第二中心点和第三中心点分别记为第α个第一中心点 第α个第二中心点 和第α个第三中心点[0017] 选取与所述第α个第一中心点 的空间距离、与第α个第二中心点 的空间距离以及与第α个第三中心点 的空间距离之和最小的特征角点作为第α个靶标坐标系的原点以所述第α个第一中心点 和第α个第三中心点 所构成的第α个空间向量的方向作为所述第α个靶标坐标系的 轴方向;以所述第α个第一中心点 和第α个第二中心点 所构成的第α个空间向量 的方向作为所述第α个靶标坐标系的Y1(α)轴方向,所述第α个靶标坐标系的 轴、Y1(α)轴和 轴满足右手定则,从而建立所述第α个靶标坐标系
[0018] 步骤7、利用改进的Harris角点检测算法提取所述第α幅靶标图像中方向性标定靶标上各个特征角点在所述特征角点像素坐标系o-xy下的亚像素级坐标,从而获得所述第α幅靶标图像中所有特征角点在所述特征角点像素坐标系o-xy下的亚像素级坐标集合;
[0019] 步骤8、根据所述方向性标志图案,确定并获得所述第α幅靶标图像中所有特征角点在所述特征角点像素坐标系o-xy下的亚像素级坐标和与所述第α幅靶标图像中所有特征角点在所述第α个靶标坐标系 下一一对应的靶标坐标的匹配关系,将获得的所述匹配关系保存为第α幅靶标图像中所有特征角点亚像素级坐标与靶标坐标的匹配组;
[0020] 步骤9、根据所述第α幅靶标图像中所有特征角点亚像素级坐标与靶标坐标的匹配组,利用平面靶标空间姿态估算算法计算出从所述第α个靶标坐标系 变换到所述摄像机坐标系Oc-XcYcZc的第α个靶标旋转矩阵Rα和第α个靶标平移矩阵Tα,从而实现所述方向性标定靶标的旋转方向判断;
[0021] 步骤10、判断α是否等于1,若α等于1,则将所述第α幅靶标图像作为第β幅标定图像;并将所述第α幅靶标图像中所有特征角点亚像素级坐标与靶标坐标的匹配组保存为第β幅标定图像中所有特征角点亚像素级坐标与靶标坐标的匹配组;同时将所述第α个靶标旋转矩阵Rα和所述第α个靶标平移矩阵Tα分别赋值给第β个标定旋转矩阵Rβ′和第β个标定平移矩阵Tβ′后,执行步骤11;否则执行步骤12;
[0022] 步骤11、将α+1赋值给α,并返回步骤5顺序执行;
[0023] 步骤12、利用式(1)和式(2)获得从所述第α个靶标坐标系 变换到所述第β个靶标坐标系 的旋转矩阵Rα,β和平移矩阵Tα,β:
[0024] Rα,β=(Rβ′)-1·Rα  (1)
[0025] Tα,β=(Rβ′)-1·(Tα-Tβ′)  (2)
[0026] 步骤13、判断旋转矩阵Rα,β的范数是否大于所述旋转阈值κ1,且所述平移矩阵Tα,β的范数是否大于平移阈值κ2,若都大于,则将β+1赋值给β,并将所述第α幅靶标图像作为第β幅标定图像;并将所述第α幅靶标图像中所有特征角点亚像素级坐标与靶标坐标的匹配组保存为第β幅标定图像中所有特征角点亚像素级坐标与靶标坐标的匹配组;同时将所述第α个靶标旋转矩阵Rα和所述第α个靶标平移矩阵Tα分别赋值给第β个标定旋转矩阵Rβ′和第β个标定平移矩阵Tβ′后,执行步骤14;否则执行步骤11;
[0027] 步骤14、判断β与标定图像总数G是否相等,若相等,则获得G幅标定图像以及G个标定图像中所有特征角点亚像素级坐标与靶标坐标的匹配组,并执行步骤15;否则返回步骤11执行;
[0028] 步骤15、根据所述G个标定图像中所有特征角点亚像素级坐标与靶标坐标的匹配组,利用张正友摄像机标定算法计算出所述摄像机的内外参数。
[0029] 本发明所述的基于方向性标定靶标的摄像机内外参数自动标定方法的特点也在于,所述步骤7是按如下过程进行:
[0030] 步骤7.1、假设所述第α幅靶标图像中方向性标定靶标上有M0行×N0列个特征角点;0<M0≤M,0<N0≤N;M0和N0均为整数;设置迭代终止阈值ψ;定义迭代次数ξ;
[0031] 步骤7.2、利用Harris角点检测算法提取所述第α幅靶标图像中方向性标定靶标上各个特征角点在所述特征角点像素坐标系o-xy下的像素级坐标,从而获得所述第α幅靶标图像中方向性标定靶标上所有M0行×N0列个特征角点在所述特征角点像素坐标系o-xy下的像素级坐标集合;
[0032] 步骤7.3、假设所述第α幅靶标图像中方向性标定靶标上的任意一个特征角点为第α幅靶标图像中方向性标定靶标上的第τ个特征角点;1≤τ≤(M0×N0);τ为整数;初始化τ=1;
[0033] 步骤7.4、初始化ξ=0;
[0034] 步骤7.5、将所述第α幅靶标图像中方向性标定靶标上的第τ个特征角点在所述特征角点像素坐标系o-xy下的像素级坐标记为第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标
[0035] 步骤7.6、获取以所述第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 为中心的μ×μ邻域,所述以第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 为中心的μ×μ邻域不与所述方向性标志图案相交;在所述以第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 为中心的μ×μ邻域内除所述第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 以外的任意一个像素点的坐标记为 1≤η≤(μ×μ-1);μ为奇数;
[0036] 步骤7.7、建立如式(3)所示的第α幅靶标图像中第τ个特征角点第ξ次迭代时的亚像素级坐标优化目标函数
[0037]
[0038] 式(3)中, 表示在所述以第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 为中心的μ×μ邻域内除所述第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标以外的任意一个像素点坐标 处的灰度梯度; 表示从所述第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 到所述任意一个像素点坐标 的向量;
[0039] 步骤7.8、计算所述第α幅靶标图像中第τ个特征角点第ξ次迭代时的亚像素级坐标优化目标函数 的值;
[0040] 步骤7.9、判断 是否小于ψ,若小于,则将所述第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 保存为第α幅靶标图像中方向性标定靶标上的第τ个特征角点在所述特征角点像素坐标系o-xy下的亚像素级坐标,并执行步骤7.10;否则执行步骤7.11;
[0041] 步骤7.10、判断τ是否等于(M0×N0),若等于,则获得所述第α幅靶标图像中所有特征角点在所述特征角点像素坐标系o-xy下的亚像素级坐标集合;否则,将τ+1赋值给τ,并返回步骤7.4顺序执行;
[0042] 步骤7.11、根据所述第α幅靶标图像中第τ个特征角点第ξ次迭代时的亚像素级坐标优化目标函数 利用Levenberg-Marquard优化算法迭代求解获得第α幅靶标图像中第τ个特征角点第ξ+1次迭代时的坐标 将ξ+1赋值给ξ,并返回步骤7.6顺序执行。
[0043] 与已有技术相比,本发明的有益效果体现在:
[0044] 1、本发明所提出的自动标定方法在对摄像机进行标定时,摄像机实时地拍摄三维空间中的方向性标定靶标,由此可以实时地获取靶标图像,利用改进的Harris角点检测算法可以自动地提取靶标图像中方向性标定靶标上特征角点的亚像素级坐标,根据方向性标定靶标上的方向性标志图案,计算机可以自动地获取靶标图像中特征角点的亚像素级坐标和与其对应的靶标坐标的匹配关系,利用平面靶标空间姿态估算算法可以快速地计算出方向性标定靶标相对于摄像机坐标系的旋转和平移,只要旋转和平移均大于设定的阈值,则将该靶标图像保存为标定图像,最终获得G幅标定图像,利用张正友摄像机标定算法和G幅标定图像则可计算出摄像机的内外参数,在整个摄像机内外参数标定过程中计算机可以自动地选择出最佳的靶标图像用于摄像机标定,标定过程中无需人为的干预,从而提高了摄像机内外参数标定的灵活性和实用性;
[0045] 2、本发明利用了方向性标定靶标对摄像机进行标定,使得摄像机标定过程中能够判断出方向性标定靶标的旋转方向,利用本发明提供的摄像机内外参数自动标定方法对摄像机进行标定时,摄像机即使拍摄到局部的方向性标定靶标仍可进行标定,从而显著提高了方向性标定靶标的标定性能。
[0046] 3、本发明根据方向性标定靶标上的方向性标志图案,利用平面靶标空间姿态估算算法可以快速地计算出方向性标定靶标相对于摄像机坐标系的旋转矩阵R和平移矩阵T,由此可以判断出方向性标定靶标在三维空间中相对于摄像机坐标系的旋转方向,使得本发明可应用于双目立体视觉系统标定,具有很好的实际应用价值;
[0047] 4、本发明利用改进的Harris角点检测算法提取靶标图像中特征角点的亚像素级坐标之后,对检测到的特征角点亚像素级坐标进行排序,使得标定过程中摄像机即使拍摄到局部的方向性标定靶标仍可进行摄像机标定,从而显著提高了摄像机内外参数标定的精度;并提高了方向性标定靶标的标定性能以及摄像机标定过程中的可操作性;
[0048] 5、本发明提供的摄像机内外参数自动标定方法是基于方向性标定靶标的,方向性标定靶标的图案结构简单,方向性标定靶标易于加工并且制作精度高,具有很好的实用价值。

附图说明

[0049] 图1为本发明方向性标志图案为3个标志圆环的方向性标定靶标示意图;
[0050] 图2为本发明第α幅靶标图像中的3个标志圆环与向量组 的第一种关系示意图;
[0051] 图3为本发明第α幅靶标图像中的3个标志圆环与向量组 的第二种关系示意图;
[0052] 图4为本发明第α幅靶标图像中的3个标志圆环与向量组 的第三种关系示意图;
[0053] 图5为本发明第α幅靶标图像中的3个标志圆环与向量组 的第四种关系示意图。

具体实施方式

[0054] 本实施例中,如图1所示,方向性标定靶标是由黑方格和白方格互相交替组成的棋盘格以及在棋盘格中央位置附近处设置的方向性标志图案组成的;以任意两个对角相连的黑方格的交点或任意两个对角相连的白方格的交点作为方向性标定靶标的特征角点;棋盘格包含M行×N列个特征角点;M和N均为正整数;黑方格和白方格的边长均为W;W>0;本实施例中,如图1所示的方向性标定靶标包含9行×12列个特征角点;其方向性标定靶标的黑方格和白方格的边长均为18毫米;
[0055] 方向性标志图案是由3个小标志图组成;记3个小标志图分别为第一标志图、第二标志图和第三标志图,如图1所示,方向性标定靶标中的方向性标志图案是由3个标志圆环组成,也可以是由3个标志圆组成;第一标志图为黑色图案、第二标志图为黑色图案、第三标志图为白色图案;且第一标志图位于白方格的内部、第二标志图位于白方格的内部、第三标志图位于黑方格的内部;本实施例中,如图1所示,白色标志圆环为第三标志图,距离白色标志圆环较近的黑色标志圆环为第一标志图,距离白色标志圆环较远的黑色标志圆环为第二标志图;图1中的第一标志图和第二标志图的内直径和外直径分别为4毫米和16毫米,图1中的第三标志图的内直径和外直径分别为7毫米和9毫米;
[0056] 第一标志图的中心记为第一中心点o1、第二标志图的中心记为第二中心点o2、第三标志图的中心记为第三中心点o3;且第一中心点o1和第二中心点o2位于白方格的中心位置处,第三中心点o3位于黑方格的中心位置处;在棋盘格中以第一中心点o1作为直角顶点并由第一中心点o1、第二中心点o2和第三中心点o3构成直角三角形Δo2o1o3;如图1所示,第一中心点o1和第二中心点o2位于由白方格所组成的列中,图1中由第一中心点o1到第二中心点o2的距离为36毫米,由第一中心点o1到第三中心点o3的距离为18毫米;由第一中心点o1和第二中心点o2构成的直角边 以及由第一中心点o1和第三中心点o3构成的直角边 满足且 且
[0057] 本实施例中,以图1所示的方向性标定靶标为例,对本发明基于方向性标定靶标的摄像机内外参数自动标定方法进行详细阐述:
[0058] 一种基于方向性标定靶标的摄像机内外参数自动标定方法是按步骤1至步骤15进行:
[0059] 步骤1、定义标定图像总数G;定义旋转阈值κ1和平移阈值κ2;定义变量α、变量β,并初始化α=1;β=1;
[0060] 步骤2、图1为方向性标定靶标的实物图,利用位置固定的摄像机实时拍摄空间中移动的方向性标定靶标,由此可以实时地获得靶标图像,靶标图像中包含方向性标定靶标的图像信息;
[0061] 步骤3、建立特征角点像素坐标系o-xy:以靶标图像的左上角为特征角点像素坐标系的原点o,自左向右为特征角点像素坐标系的x轴方向,自上向下为特征角点像素坐标系的y轴方向,从而建立了特征角点像素坐标系o-xy;
[0062] 步骤4、建立摄像机坐标系Oc-XcYcZc:以摄像机的光心作为摄像机坐标系的原点Oc,以特征角点像素坐标系的x轴方向作为摄像机坐标系的Xc轴方向;以特征角点像素坐标系的y轴方向作为摄像机坐标系的Yc轴方向;摄像机坐标系的Xc轴、Yc轴和Zc轴满足右手定则,从而建立摄像机坐标系Oc-XcYcZc;
[0063] 步骤5、第α个移动位置上的方向性标定靶标经过摄像机进行成像时所获得的图像记为第α幅靶标图像;
[0064] 步骤6、本实施例中,将第α个移动位置上的方向性标定靶标内的第一中心点、第二中心点和第三中心点分别记为第α个第一中心点 第α个第二中心点 和第α个第三中心点
[0065] 本实施例中,根据第α个移动位置上的方向性标定靶标内的方向性标志图案(即为3个标志圆环)建立第α个靶标坐标系 选取与第α个第一中心点 的空间
距离、与第α个第二中心点 的空间距离以及与第α个第三中心点 的空间距离之和最小的特征角点作为第α个靶标坐标系的原点 从第α个第一中心点 到第α个第三中心点 所构成的第α个空间向量 的方向作为第α个靶标坐标系的 轴方向;从第α个第一中心点 到第α个第二中心点 所构成的第α个空间向量 的方向作为第α个靶标坐标系的Y1(α)轴方向,第α个靶标坐标系的 轴、Y1(α)轴和 轴满足右手定则,从而建立第α个靶标坐标系
[0066] 步骤7、利用改进的Harris角点检测算法提取第α幅靶标图像中方向性标定靶标上各个特征角点在特征角点像素坐标系o-xy下的亚像素级坐标,从而获得第α幅靶标图像中所有特征角点在特征角点像素坐标系o-xy下的亚像素级坐标集合;
[0067] 本实施例中,利用改进的Harris角点检测算法提取第α幅靶标图像中方向性标定靶标上各个特征角点在特征角点像素坐标系o-xy下的亚像素级坐标是按步骤7.1至步骤7.11进行:
[0068] 步骤7.1、假设第α幅靶标图像中方向性标定靶标上有 行× 列个特征角点; 第α幅靶标图像中方向性标定靶标上特征角点的行数
和第α幅靶标图像中方向性标定靶标上特征角点的列数 均为整数;设置迭代终止阈值ψ;定义迭代次数ξ;
[0069] 步骤7.2、利用Harris角点检测算法提取第α幅靶标图像中方向性标定靶标上各个特征角点在特征角点像素坐标系o-xy下的像素级坐标,Harris角点检测算法由Chris Harris等人在1988年提出,Harris角点检测算法的实现原理可以参见文献《A combined corner and edge detector》,利用开源库OpenCV中的cvcornerHarris函数可以快速提取第α幅靶标图像中方向性标定靶标上各个特征角点在特征角点像素坐标系o-xy下的像素级坐标,从而获得第α幅靶标图像中方向性标定靶标上所有 行× 列个特征角点在特征角点像素坐标系o-xy下的像素级坐标集合;
[0070] 步骤7.3、本实施例中,假设第α幅靶标图像中方向性标定靶标上的任意一个特征角点为第α幅靶标图像中方向性标定靶标上的第τ个特征角点; τ为整数;初始化τ=1;
[0071] 步骤7.4、初始化迭代次数ξ=0;
[0072] 步骤7.5、将第α幅靶标图像中方向性标定靶标上的第τ个特征角点在特征角点像素坐标系o-xy下的像素级坐标记为第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标[0073] 步骤7.6、获取以第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 为中心的5×5邻域,以第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 为中心的5×5邻域不与3个标志圆环中的任意一个圆环相交;在以第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 为中心的5×5邻域内除第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 以外的任意一个像素点的坐标记为 1≤η≤(μ×μ-1);μ为奇数;本实施例中,1≤η≤(5×5-1);
[0074] 步骤7.7、建立如式(1)所示的第α幅靶标图像中第τ个特征角点第ξ次迭代时的亚像素级坐标优化目标函数
[0075]
[0076] 式(1)中, 表示在以第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标为中心的5×5邻域内除第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 以外的任意一个像素点坐标 处的灰度梯度; 表示从第α幅靶标图像中第τ个特
征角点第ξ次迭代时的坐标 到在以第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 为中心的5×5邻域内除第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标
以外的任意一个像素点坐标 的向量;
[0077] 步骤7.8、计算第α幅靶标图像中第τ个特征角点第ξ次迭代时的亚像素级坐标优化目标函数 的值;
[0078] 步骤7.9、判断 是否小于ψ,若小于,则将第α幅靶标图像中第τ个特征角点第ξ次迭代时的坐标 保存为第α幅靶标图像中方向性标定靶标上的第τ个特征角点在特征角点像素坐标系o-xy下的亚像素级坐标,并执行步骤7.10;否则执行步骤7.11;
[0079] 步骤7.10、判断τ是否等于 若等于,则获得第α幅靶标图像中所有特征角点在特征角点像素坐标系o-xy下的亚像素级坐标集合;否则,将τ+1赋值给τ,并返回步骤7.4顺序执行;
[0080] 步骤7.11、根据第α幅靶标图像中第τ个特征角点第ξ次迭代时的亚像素级坐标优化目标函数 利用Levenberg-Marquard优化算法迭代求解并获得第α幅靶标图像中第τ个特征角点第ξ+1次迭代时的坐标 将ξ+1赋值给ξ,并返回步骤7.6顺序执行;
[0081] 本实施例中,步骤7.11中的Levenberg-Marquard优化算法的实现原理可以参见科学出版社于2005年出版的《机器视觉》《( 机器视觉》的作者是张广军院士)《,机器视觉》这本书的第74页至75页介绍了Levenberg-Marquard优化算法;利用开源库Cminpack中的lmdif0函数可以实现Levenberg-Marquard非线性优化。
[0082] 步骤8、根据方向性标定靶标上的3个标志圆环,确定并获得第α幅靶标图像中所有特征角点在特征角点像素坐标系o-xy下的亚像素级坐标和与第α幅靶标图像中所有特征角点在第α个靶标坐标系 下一一对应的靶标坐标的匹配关系,具体实现过程是按步骤8.1至步骤8.18进行:
[0083] 步骤8.1、本实施例中,将第α幅靶标图像中所有特征角点在特征角点像素坐标系o-xy下的亚像素级坐标集合记作第α组特征角点亚像素级坐标集合,从第α组特征角点亚像素级坐标集合中选取亚像素级坐标y分量最大的亚像素级坐标作为第α幅靶标图像中第0行第0列亚像素级坐标 第α幅靶标图像中第0行第0列亚像素级坐标 对应的特征角点记为第α幅靶标图像中第0行第0列特征角点
[0084] 步骤8.2、在第α组特征角点亚像素级坐标集合中选取距离第α幅靶标图像中第0行第0列亚像素级坐标 最近的三个亚像素级坐标,分别记为第α幅靶标图像中第一亚像素级坐标 第α幅靶标图像中第二亚像素级坐标 和第α幅靶标图像
中第三亚像素级坐标 第α幅靶标图像中第一亚像素级坐标 对应的特征
角点记为第α幅靶标图像中第一特征角点 第α幅靶标图像中第二亚像素级坐
标 对应的特征角点记为第α幅靶标图像中第二特征角点 第α幅靶标
图像中第三亚像素级坐标 对应的特征角点记为第α幅靶标图像中第三特征角点
其中,第α幅靶标图像中第0行第0列特征角点 第α幅靶标图像
中第一特征角点 第α幅靶标图像中第二特征角点 和第α幅靶标
图像中第三特征角点 分别为4个互不相同的特征角点;
[0085] 步骤8.3、第α幅靶标图像中第0行第0列特征角点 与第α幅靶标图像中第一特征角点 之间的倾斜度记为第α幅靶标图像中第一倾斜度 第α幅
靶标图像中第0行第0列特征角点 与第α幅靶标图像中第二特征角点
之间的倾斜度记为第α幅靶标图像中第二倾斜度 第α幅靶标图像中第0行
第0列特征角点 与第α幅靶标图像中第三特征角点 之间的倾斜
度记为第α幅靶标图像中第三倾斜度 利用式(2)、式(3)和式(4)分别计算第α幅靶标图像中第一倾斜度 第α幅靶标图像中第二倾斜度 和第α幅靶标图像中第三倾斜度
[0086]
[0087]
[0088]
[0089] 步骤8.4、选取第α幅靶标图像中第一倾斜度 第α幅靶标图像中第二倾斜度以及第α幅靶标图像中第三倾斜度 中最小值所对应的特征角点记为第α幅靶标图像中第0行第1列特征角点 最大值所对应的特征角点记为第α幅靶标图像中第1行第
0列特征角点
[0090] 步骤8.5、利用式(5)和式(6)分别计算出第α幅靶标图像中行方向搜索向量 和第α幅靶标图像中列方向搜索向量
[0091]
[0092]
[0093] 步骤8.6、定义变量i和变量j;i和j均为整数;建立第α幅靶标图像中特征角点亚像素级坐标三维数组cor(α)[9][12][2];以及建立与第α幅靶标图像中特征角点相对应的靶标坐标三维数组wor(α)[9][12][3];
[0094] 步骤8.7、初始化i=0;
[0095] 步骤8.8、初始化j=0;
[0096] 步骤8.9、将第α幅靶标图像中第i行第j列特征角点 的亚像素级坐标x分量 y分量 分别存入第α幅靶标图像中特征角点亚像素级坐标三维数组cor(α)[9](α) (α)
[12][2]中的元素cor [i][j][0]和元素cor [i][j][1]中;
[0097] 步骤8.10、以第α幅靶标图像中第i行第j列特征角点 为搜索起点,沿着第α幅靶标图像中行方向搜索向量 的方向上搜索与第α幅靶标图像中第i行第j列特征角点 相距最近的第α幅靶标图像中第i行第j+1列配对特征角点;
[0098] 步骤8.11、若搜索到第α幅靶标图像中第i行第j+1列配对特征角点,则将第α幅靶标图像中第i行第j+1列配对特征角点另记为第α幅靶标图像中第i行第j+1列特征角点并将第α幅靶标图像中第i行第j+1列特征角点 的亚像素级坐标x分量 y分量 分别存入第α幅靶标图像中特征角点亚像素级坐标三维数
组cor(α)[9][12][2]中的元素cor(α)[i][j+1][0]和元素cor(α)[i][j+1][1]中,并将j+1赋值给j后,返回步骤8.10;否则,将j+1赋值给第α幅靶标图像中方向性标定靶标上特征角点的列数 执行步骤8.12;
[0099] 步骤8.12、初始化j=0;
[0100] 步骤8.13、以第α幅靶标图像中第i行第j列特征角点 作为搜索起点,沿着第α幅靶标图像中列方向搜索向量 的方向上搜索与第α幅靶标图像中第i行第j列特征角点 相距最近的第α幅靶标图像中第i+1行第j列配对特征角点;
[0101] 步骤8.14、若搜索到第α幅靶标图像中第i+1行第j列配对特征角点,则将第α幅靶标图像中第i+1行第j列配对特征角点另记为第α幅靶标图像中第i+1行第j列特征角点并将第α幅靶标图像中第i+1行第j列特征角点 的亚像素级坐标x分量 y分量 分别存入第α幅靶标图像中特征角点亚像素级坐标三维数
组cor(α)[9][12][2]中的元素cor(α)[i+1][j][0]和元素cor(α)[i+1][j][1]中,并将i+1赋值给i后,返回步骤8.10;否则,将i+1赋值给第α幅靶标图像中方向性标定靶标上特征角点的行数 并执行步骤8.15;
[0102] 步骤8.15、对第α幅靶标图像中方向性标定靶标上的3个标志圆环进行定位和辨别,具体实施方案是按如下①、②和③进行的:
[0103] ①从第α组特征角点亚像素级坐标集合中选取亚像素级坐标y分量最大的亚像素级坐标、亚像素级坐标x分量最大的亚像素级坐标、亚像素级坐标y分量最小的亚像素级坐标和亚像素级坐标x分量最小的亚像素级坐标分别作为第α幅靶标图像中第一最外围亚像素级坐标 第α幅靶标图像中第二最外围亚像素级坐标 第α幅靶标图像中第三最外围亚像素级坐标 和第α幅靶标图像中第四最外围亚像素级坐标
第α幅靶标图像中第一最外围亚像素级坐标 第α幅靶标图像中第二最
外围亚像素级坐标 第α幅靶标图像中第三最外围亚像素级坐标 和第α幅
靶标图像中第四最外围亚像素级坐标 对应的特征角点分别记为第α幅靶标图像中第一最外围特征角点 第α幅靶标图像中第二最外围特征角点
第α幅靶标图像中第三最外围特征角点 和第α幅靶标图像中第四最外围特征
角点 第α幅靶标图像中第一最外围特征角点 第α幅靶标图像
中第二最外围特征角点 第α幅靶标图像中第三最外围特征角点
和第α幅靶标图像中第四最外围特征角点 构成的四边形记为第α个四边形;由
于第α幅靶标图像中的3个标志圆环位于第α个四边形的内部,本实施例利用第α个四边形去除第α幅靶标图像中的复杂背景,利用第α个四边形去除第α幅靶标图像中的复杂背景的具体方法为:将第α幅靶标图像中且位于第α个四边形外部的像素点的灰度值赋值为0,第α幅靶标图像中且位于第α个四边形内部的像素点的灰度值保持不变,从而可以获得第α幅无复杂背景的靶标图像;
[0104] ②对第α幅无复杂背景的靶标图像进行二值化处理,从而获得第α幅无复杂背景二值化靶标图像;第α幅无复杂背景二值化靶标图像中方向性标定靶标上所有白方格处的灰度值均为255、并且第α幅无复杂背景二值化靶标图像中方向性标定靶标上所有黑方格处的灰度值均为0、并且第α幅无复杂背景二值化靶标图像中方向性标定靶标上两个黑色标志圆环处的灰度值为0、并且第α幅无复杂背景二值化靶标图像中方向性标定靶标上白色标志圆环处的灰度值为255;
[0105] ③对第α幅无复杂背景二值化靶标图像进行膨胀处理,膨胀处理使得第α幅无复杂背景二值化靶标图像中的白色连通域“增长”、黑色连通域“缩小”,膨胀处理后,第α幅无复杂背景二值化靶标图像中方向性标定靶标上任意两个对角相连的黑方格的交点处断开,但第α幅靶标图像中的3个标志圆环并未断开;分别计算第α幅无复杂背景二值化靶标图像中3个最小的白色连通域的3个质心在特征角点像素坐标系o-xy下的3个质心坐标,分别读取第α幅无复杂背景二值化靶标图像中3个最小的白色连通域的3个质心坐标处的灰度值:灰度值为0所对应的连通域质心坐标即为第α幅靶标图像中白色标志圆环的中心在特征角点像素坐标系o-xy下的像素坐标,灰度值为255且距离第α幅靶标图像中白色标志圆环的中心较近的连通域质心坐标即为第α幅靶标图像中距离白色标志圆环较近的黑色标志圆环的中心在特征角点像素坐标系o-xy下的像素坐标,灰度值为255且距离第α幅靶标图像中白色标志圆环的中心较远的连通域质心坐标即为第α幅靶标图像中距离白色标志圆环较远的黑色标志圆环的中心在特征角点像素坐标系o-xy下的像素坐标,由此完成第α幅靶标图像中3个标志圆环的定位和辨别;将第α幅靶标图像中距离白色标志圆环较近的黑色标志圆环的中心在特征角点像素坐标系o-xy下的像素坐标记为第α幅靶标图像中第一像点像素坐标将第α幅靶标图像中距离白色标志圆环较远的黑色标志圆环的中心在特征角点像素坐标系o-xy下的像素坐标记为第α幅靶标图像中第二像点像素坐标 将
第α幅靶标图像中白色标志圆环的中心在特征角点像素坐标系o-xy下的像素坐标记为第α幅靶标图像中第三像点像素坐标 将第α幅靶标图像中距离白色标志圆环较近
的黑色标志圆环的中心记为第α幅靶标图像中第一像点 将第α幅靶标图像
中距离白色标志圆环较远的黑色标志圆环的中心记为第α幅靶标图像中第二像点
将第α幅靶标图像中白色标志圆环的中心记为第α幅靶标图像中第三像点
[0106] 步骤8.16、选取在第α幅靶标图像中特征角点亚像素级坐标三维数组cor(α)[9][12][2]中存储的第α幅靶标图像中最近特征角点亚像素级坐标第α幅靶标图像中最近特征角点亚像素级坐标 与第
α幅靶标图像中第一像点像素坐标 的距离、与第α幅靶标图像中第二像点像素坐标 的距离以及与第α幅靶标图像中第三像点像素坐标 距离之和最小,
并且第α幅靶标图像中最近特征角点亚像素级坐标
是第α个靶标坐标系 的原点 在第α幅靶标图像内所成像点的亚像素级
坐标; 和 均为整数;
[0107] 步骤8.17、利用式(7)和式(8)获得第α幅靶标图像中的余弦值cosα(α)和cosβ(α):
[0108]
[0109]
[0110] 式(7)和式(8)中, 和
[0111] 步骤8.18、根据第α幅靶标图像中的余弦值cosα(α)和cosβ(α),并且判断向量组和向量组 之间的关系,从而获得第α幅靶标图像中方向性标定靶标上的任意特征角点亚像素级坐标(cor(α)[p(α)][q(α)][0],cor(α)[p(α)][q(α)][1])在第α个靶标坐标系 下所匹配的靶标坐标(wor(α)[p(α)][q(α)][0],wor(α)[p(α)][q(α)][1],wor(α)[p(α)][q(α)][2])并依次存入与第α幅靶标图像中特征角点相对应的靶标坐标三维数组wor(α)[9][12][3]中;其中 p(α)和q(α)均为整数;如图2、
图3、图4、图5所示,向量组 和向量组 将会有如下四种关系:
[0112] 第一种关系:若|cosα(α)|>|cosβ(α)|且 且 则第α幅靶标图像中方向性标定靶标上的任意特征角点亚像素级坐标(cor(α)[p(α)][q(α)][0],cor(α)[p(α)][q(α)][1])在第α个靶标坐标系 下所匹配的靶标坐标(wor(α)[p(α)][q
(α)][0] ,wor(α)[p(α)][q(α)] [1] ,wor(α)[p(α)][q(α)] [2])分别为
wor(α)[p(α)][q(α)]
[2]=0;
[0113] 第二种关系:若|cosα(α)|>|cosβ(α)|且 且 则第α幅靶标图像中方向性标定靶标上的任意特征角点亚像素级坐标(cor(α)[p(α)][q(α)][0],cor(α)[p(α)][q(α)][1])在第α个靶标坐标系 下所匹配的靶标坐标(wor(α)[p(α)][q
(α)][0] ,wor(α)[p(α)][q(α)] [1] ,wor(α)[p(α)][q(α)] [2])分别为
wor(α)[p(α)][q(α)]
[2]=0;
[0114] 第三种关系:若|cosα(α)|<|cosβ(α)|且 且 则第α幅靶标图像中方向性标定靶标上的任意特征角点亚像素级坐标(cor(α)[p(α)][q(α)][0],cor(α)[p(α)][q(α)][1])在第α个靶标坐标系 下所匹配的靶标坐标(wor(α)[p(α)][q
(α)][0] ,wor(α)[p(α)][q(α)] [1] ,wor(α)[p(α)][q(α)] [2])分别为
wor(α)[p(α)][q(α)]
[2]=0;
[0115] 第四种关系:若|cosα(α)|<|cosβ(α)|且 且 则第α幅靶标图像中方向性标定靶标上的任意特征角点亚像素级坐标(cor(α)[p(α)][q(α)][0],cor(α)[p(α)][q(α)][1])在第α个靶标坐标系 下所匹配的靶标坐标(wor(α)[p(α)][q
(α)][0] ,wor(α)[p(α)] [q(α)][1] ,wor(α)[p(α)] [q(α)] [2])分别为
wor(α)[p(α)][q(α)]
[2]=0;
[0116] 根据本实施例所述的向量组 和向量组 之间的4种关系,从而获得第α幅靶标图像中方向性标定靶标上的任意特征角点亚像素级坐标(cor(α)[p(α)][q(α)][0],cor(α)[p(α)][q(α)][1])在第α个靶标坐标系 下所匹配的靶标坐标(wor
(α)[p(α)][q(α)][0],wor(α)[p(α)][q(α)][1],wor(α)[p(α)][q(α)][2]);
[0117] 本实施例将步骤8中获得的第α幅靶标图像中所有特征角点在特征角点像素坐标系o-xy下的亚像素级坐标和与第α幅靶标图像中所有特征角点在第α个靶标坐标系下一一对应的靶标坐标的匹配关系保存为第α幅靶标图像中所有特征角点亚像素级坐标与靶标坐标的匹配组;
[0118] 步骤9、根据第α幅靶标图像中所有特征角点亚像素级坐标与靶标坐标的匹配组,利用平面靶标空间姿态估算算法便可计算出从第α个靶标坐标系 变换到摄像机坐标系Oc-XcYcZc的第α个靶标旋转矩阵Rα和第α个靶标平移矩阵Tα,从而实现方向性标定靶标的旋转方向判断;本实施例中使用的平面靶标空间姿态估算算法的实现原理可以参见文献《Robust Pose Estimation from aPlanar Target》,该文章由Gerald Schweighofer和Axel Pinz在2005年发表,对应于《RobustPose Estimation from aPlanar Target》的C语言实现代码可以通过网址:http://nghiaho.com/?page_id=576下载到开源代码;
[0119] 步骤10、判断α是否等于1,若α等于1,则将第α幅靶标图像作为第β幅标定图像;并将第α幅靶标图像中所有特征角点亚像素级坐标与靶标坐标的匹配组保存为第β幅标定图像中所有特征角点亚像素级坐标与靶标坐标的匹配组;同时将第α个靶标旋转矩阵Rα和第α个靶标平移矩阵Tα分别赋值给第β个标定旋转矩阵Rβ′和第β个标定平移矩阵Tβ′后,执行步骤11;否则执行步骤12;
[0120] 步骤11、将α+1赋值给α,并返回步骤5顺序执行;
[0121] 步骤12、利用式(9)和式(10)获得从所述第α个靶标坐标系 变换到所述第β个靶标坐标系 的旋转矩阵Rα,β和平移矩阵Tα,β:
[0122] Rα,β=(Rβ′)-1·Rα  (9)
[0123] Tα,β=(Rβ′)-1·(Tα-Tβ′)  (10)
[0124] 步骤13、判断旋转矩阵Rα,β的范数是否大于旋转阈值κ1,且平移矩阵Tα,β的范数是否大于平移阈值κ2,若都大于,则将β+1赋值给β,并将第α幅靶标图像作为第β幅标定图像;并将第α幅靶标图像中所有特征角点亚像素级坐标与靶标坐标的匹配组保存为第β幅标定图像中所有特征角点亚像素级坐标与靶标坐标的匹配组;同时将第α个靶标旋转矩阵Rα和第α个靶标平移矩阵Tα分别赋值给第β个标定旋转矩阵Rβ′和第β个标定平移矩阵Tβ′后,执行步骤14;否则执行步骤11;
[0125] 步骤14、判断β与标定图像总数G是否相等,若相等,则获得G幅标定图像以及G个标定图像中所有特征角点亚像素级坐标与靶标坐标的匹配组,并执行步骤15;否则返回步骤11执行;
[0126] 步骤15、根据G个标定图像中所有特征角点亚像素级坐标与靶标坐标的匹配组,利用张正友摄像机标定算法计算出摄像机的内外参数;本实施例中,张正友摄像机标定算法的实现原理可以参见文章《Aflexible new technique for camera calibration》,该文章是张正友等人于2000年发表的,利用开源库OpenCV中的cvCalibrateCamera2函数可以实现张正友摄像机标定算法。