虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法转让专利
申请号 : CN202010753817.1
文献号 : CN111896221B
文献日 : 2021-08-17
发明人 : 陈文静 , 侯艳丽 , 苏显渝
申请人 : 四川大学
摘要 :
权利要求 :
1.一种虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,其特征在于,包括以下步骤:
S1、构建旋转光学测量系统,具体包括:一旋转台、由两个相互垂直的平移台组成并设置在所述旋转台上的伺服控制单元、一设置在所述伺服控制单元上的摄像机、一设置在所述摄像机前方的棋盘格标靶以及一执行对准方法的处理单元;
S2、基于旋转光学测量系统建立用于转台中心和摄像机光心对准的虚拟坐标系,具体为:
基于步骤S1构建的旋转光学测量系统中棋盘格标靶所处的世界坐标系建立用于转台中心和摄像机光心对准的虚拟坐标系,所述虚拟坐标系的原点设置于摄像机光心,所述虚拟坐标系的Xp轴与世界坐标系的Yw轴平行且同向设置,所述虚拟坐标系的Yp轴与世界坐标系的Xw轴平行且同向设置,所述虚拟坐标系的Zp轴与世界坐标系的Zw轴平行且反向设置;
S3、对旋转光学测量系统的摄像机标定得到摄像机的内外参数,并计算摄像机光心在世界坐标系下的位置坐标;
S4、根据摄像机的内外参数计算摄像机坐标系与虚拟坐标系之间的旋转矩阵;
S5、利用旋转矩阵将摄像机光心通过虚拟坐标系映射到世界坐标系下与标靶平面垂直且平行于标靶上边缘的虚拟平面上,具体为:根据摄像机坐标系与虚拟坐标系之间的关系,利用旋转矩阵将摄像机光心通过虚拟坐标系映射到世界坐标系的Ow‑YwZw平面上;所述映射的关系式为:T
M=RcpR(Mci‑T)
其中,M表示摄像机光心在世界坐标系的Ow‑YwZw平面上的坐标,Mci表示摄像机光心在摄T
像机坐标系下的坐标,Rcp表示摄像机坐标系与虚拟坐标系之间的旋转矩阵,R 表示摄像机与标靶之间的旋转矩阵,T表示摄像机与标靶之间的平移向量;
S6、对映射后的摄像机光心采用最小二乘平面圆拟合得到拟合圆心,作为转台中心与摄像机光心对准。
2.根据权利要求1所述的虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,其特征在于,所述步骤S3对旋转光学测量系统的摄像机进行标定,得到摄像机的内外参数具体为:
利用步骤S1构建的旋转光学测量系统中的摄像机拍摄多幅不同角度的标靶图像;
根据小孔成像模型,对标靶图像采用张氏标定方法计算多个单应性矩阵;
利用单应性矩阵计算摄像机的内外参数,并计算摄像机光心在世界坐标系中的位置坐标;
其中摄像机的内部参数包括摄像机内部参数矩阵,摄像机的外部参数包括旋转矩阵和平移向量。
3.根据权利要求1所述的虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,其特征在于,所述步骤S6中对映射后的摄像机光心采用最小二乘平面圆拟合得到拟合圆心具体为:
重复步骤S3至S5,利用虚拟坐标系得到多个映射到世界坐标系的Ow‑YwZw平面上的摄像机光心二维坐标(yi,zi),再采用最小二乘平面圆对多个摄像机光心坐标进行拟合,得到拟合圆心(y0,z0)。
4.根据权利要求3所述的虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,其特征在于,所述拟合过程的目标函数Ci设定为:其中,N表示摄像机的旋转次数,R表示拟合圆的半径。
5.根据权利要求4所述的虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,其特征在于,所述对准方法还包括:重复步骤S3至S6得到多个拟合圆心Ori,再对多个拟合圆心Ori求平均值 作为转台中心与摄像机光心对准。
6.根据权利要求5所述的虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,其特征在于,所述对准方法还包括:调整摄像机光心对准转台中心 再次重复步骤S3至S5得到多个摄像机光心坐标对多个摄像机光心坐标求平均值得到新的转台中心Or,作为转台中心与摄像机光心对准。
说明书 :
虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法
技术领域
背景技术
广泛应用于三维传感器测量、全景图像拼接、航空航天、国防建设、工业制造等各个领域。
数据进行拼接,可以得到被测物体的三维信息。目前,大多数旋转光学测量系统都是基于全
站仪或经纬仪与摄像机的结合。例如:将普通数码相机安装在全站仪的水平轴支架上,构成
计算机辅助摄影测量系统(CAPS);将内部参数已知的量测型数码相机安装在全站仪的望远
镜上,构成摄影全站仪系统(PTSS)的测量系统,扩大测量视场和提高测量精度;也可将经纬
仪和摄像机组成大视角精密测量系统(TCs)。全站仪或经纬仪可以给出控制点的空间坐标,
有助于设置旋转过程中摄像机的关系,但增加了系统的成本、体积,测量的复杂性。
摄像机的光心与旋转机构的旋转中心重合,否则系统的安装误差会导致最终测量结果中的
误差,特别是对物体进行近距离测量时误差较为明显。因此,为了提高旋转光学测量系统的
测量精度,需要对摄像机镜头的光心与旋转机构旋转中心的位置偏差进行精确标定,以指
导系统的安装和调整。
在旋转过程中摄像机光心相对于转台中心的运动轨迹为一个圆。摄像机光心与转台中心的
距离越近,圆轨迹的半径越短。当摄像机的光心与转台中心重合时,理论上圆的半径应减小
为0。但在实际安装中,由于成像系统是由多个透镜组成,很难准确计算和确定摄像机光心
的真实位置。因此,如何保证摄像机的光心通过旋转机构的旋转中心是一个挑战。
像机随着转台的转动,标定出摄像机所在位置相对于参考世界系的旋转矩阵和平移矩阵用
以计算摄像机的光心位置。标定时,相机转动过程中,转台平面与参考世界坐标系中的水平
面严格平行,摄像机的光心的轨迹在平行于世界坐标水平面的一个圆上,可以用平面圆拟
合得到的转台中心坐标。
于标定所的相机光心数目的限制,空间圆拟合误差很大。
发明内容
的圆拟合降维到2D空间,实现对摄像机的外部参数矩阵进行修正,并采用最小二乘平面圆
拟合法计算转台中心,实现利用摄像机光心的位置信息准确地确定转台中心的位置,提高
了旋转中心的计算精度。
一执行对准方法的处理单元。
述虚拟坐标系的Xp轴与世界坐标系的Yw轴平行且同向设置,所述虚拟坐标系的Yp轴与世界
坐标系的Xw轴平行且同向设置,所述虚拟坐标系的Zp轴与世界坐标系的Zw轴平行且反向设
置。
在摄像机坐标系下的坐标,Rcp表示摄像机坐标系与虚拟坐标系之间的旋转矩阵,R表示摄
像机与标靶之间的旋转矩阵,T表示摄像机与标靶之间的平移向量。
到拟合圆心(y0,z0)。
准。
心的位置信息准确地确定转台中心的位置;此外,本发明建立正交伺服控制单元,通过多次
标定减小随机误差并完成相机光心到旋转中心的对位,能够进一步提高旋转中心的计算精
度和方便对位安装。
附图说明
角度差曲线。
具体实施方式
只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易
见的,一切利用本发明构思的发明创造均在保护之列。
转装置运动的轨迹在圆弧上(摄像机光心与转台的旋转中心重合时,圆的半径趋于0)。为了
利用摄像机光心的位置信息准确地确定转台中心的位置,本发明通过引入虚拟坐标系统对
摄像机的外部参数矩阵进行修正。本发明通过引入虚拟坐标系统将3D空间的圆拟合降维到
2D空间,从而可以用最小二乘平面圆拟合法计算转台中心,提高旋转中心的计算精度。
一执行对准方法的处理单元。
格标靶固定在系统的前面,用于摄像机标定。
利用2D摄像机标定原理,可以得到摄像机相对于固定的世界坐标系(Ow‑XwYwZw)的旋转矩阵
R和平移矩阵T,根据这些参数可以计算出摄像机光心的三维位置坐标,并用于拟合旋转轴
在旋转平台上的坐标。
述虚拟坐标系的Xp轴与世界坐标系的Yw轴平行且同向设置,所述虚拟坐标系的Yp轴与世界
坐标系的Xw轴平行且同向设置,所述虚拟坐标系的Zp轴与世界坐标系的Zw轴平行且反向设
置。
以从不同的视角拍摄图像。系统的成像模型如图3所示,Or为旋转平台的旋转轴,P为目标
点,P1和P2分别为目标点P在两幅图像上的成像点。 和 为相机的光轴方向,Oi‑uivi
(i=1,2,...)为图像坐标系。 和 之间的旋转角为θ,即∠Oc1OrOc2=∠O1OrO2=θ。
Oc1和Oc2分别为两次拍摄的摄像机光心位置。 f为相
机的焦距。如果摄像机的光心没有过转台旋转轴的中心,那么Oc1和Oc2应位于旋转平面上以
旋转轴中心的圆上,即 r为圆的半径,即为相机的光心和旋转中心之间的距
离。当摄像机的光学中心过旋转轴的中心时,r→0。
摄像机初始位置的光轴方向Zc与Zw平行,方向相反,并且转台平面与Ow‑YwZw平面平行,以保
证无论摄像机固定在转台上的任何位置,摄像机光心的运动轨迹均在与平面Ow‑YwZw平行的
同心圆弧上。然而,实际的旋转光学测量系统在标定过程中可能无法满足上述条件。这将导
致摄像机放在转台上不同的位置开始标定时,形成的圆不同心。为了克服这个问题,本发明
通过引入一个虚拟坐标系统Op‑XpYpZp(右手正交坐标系)。Op‑XpYpZp和Ow‑XwYwZw之间的关系
如图4所示。这个虚拟坐标系的原点位于摄像机的光学中心,Op‑XpZp平面是一个虚拟的水平
面,Xp轴和Yp轴分别与Yw轴和Xw轴平行且同向,Zp轴与Zw轴平行且反向。虚拟坐标系统的引入
将多次标定得到的摄像机光心映射到世界坐标系的Ow‑YwZw平面上,继而可以通过拟合平面
同心圆来确定转台的中心。
一组已知的3D或者2D标记点,如圆、点、棋盘格等来进行标定。对于3D立体标靶,只需要一帧
图像就可以计算摄像机的内外参数。
在两个以上不同方位对平面标靶进行拍摄,摄像机和平面标靶都可以自由移动,典型的平
面标定参照物为图5所示的棋盘格,每一个方格点即为标定点。
之间的关系用旋转矩阵R与平移向量T来描述。摄像机坐标系(Oc‑XcYcZc)的原点为摄像机的
光心,以垂直于图像平面的相机光轴为Zc轴,Xc轴和Yc轴分别平行于图像平面;世界坐标系
(Ow‑XwYwZw)是人为选择的一个基准坐标系,在固定的世界坐标系下,相机外参数实际上反
映了相机在空间中的位置。
Zw,1) 与m=(u,v,1) ,根据理想的小孔成像模型,就存在如下关系:
为摄像机内部参数矩阵,定义为
像可以计算出多个单应性矩阵,继而利用H矩阵和R矩阵的正交性就可以计算出相机的内外
部参数。
标系与世界坐标系之间的关系,期望在摄像机转动过程中,只存在绕Yp(Xw)轴转动的转动
角,绕其余两个轴转动的转动角为0,从而计算得到摄像机坐标系与虚拟坐标系之间的旋转
矩阵Rcp。
像机坐标系Oci‑XciYciZci和世界坐标系Ow‑XwYwZw下的坐标分别为Mci和M,则Mci和M之间的关
系由以下刚性运动方程连接:
提高精度,需要对不同初始位置的摄像机进行多次标定和多次平面圆拟合。如果在标定过
程中,摄像机在初始位置的光轴与Zw不平行或转台平面未在垂直且平行于标靶上边缘的平
面内,则拟合圆的中心不重合。因此本发明通过建立虚拟坐标系统Op‑XpYpZp通过下式将摄
像机的光心坐标映射到世界坐标系的Ow‑YwZw平面上:
T
R表示摄像机与标靶之间的旋转矩阵,T表示摄像机与标靶之间的平移向量。
z0)。
OwZw,c1c3∥OwYw。
心位置的计算精度,本发明的对准方法还包括:
该相同。然而,实际拟合中存在误差,为了减小误差,我们将摄像机调整到 的位置,再次
标定摄像机,以获得一组新的光心位置O'r,对O'r平均即得到最终的转台中心位置Or。
为转台圆心与摄像机光心对准。
PI‑M406,设计分辨率为0.078μm)和一个转台(Zolix RAP200电动旋转台,重复定位精度小
于0.005°)。将平移台固定在旋转台上,摄像机固定在平移台上。步进电机分别控制摄像机
沿Yw轴和Zw轴的运动以及摄像机随转台的旋转。成像透镜(型号:MA1214M‑MP)的焦距为
16mm。实验中,镜头光圈值为f/22,相机曝光时间为1/2s,在液晶屏(Philips 226V,分辨率
1920×1080像素)上显示棋盘格的间隔为14.175mm。在标定过程中,液晶显示屏保持位置不
变。
置开始,相机以1.5度为间隔旋转16次,共旋转22.5度。因此,三组标定图像共48帧通过张正
友的摄像机标定方法进行标定。图7(b)给出了在转台旋转期间由摄像机拍摄的一组图像。
为了保证标定过程中棋盘图像的清晰,棋盘应在摄像机镜头的景深范围内,以避免离焦对
标定结果的影响。实验中,标定方法的重投影像素误差为0.0386pixels,具有较高的标定精
度。
理论上,如果初始位置的摄像机光轴Zc与Zw轴平行,且相机的Oc‑XcZc平面与Ow‑YwZw平面平
行,则旋转角度γiy(j)应等于转台的实际旋转角度,当摄像机绕Yc轴旋转时,旋转角度γix
(j),γiz(j)均为0,如图8(a)所示。三组角度曲线在图中用不同的颜色标出,其中水平轴代
表摄像机的旋转次数,记为N=16(i‑1)+1~16i。而实际实验中,旋转角度γix(j)和γiz(j)
在0度附近上下波动,如图8(b)中的γ'ix(j)、γ'iz(j)和γ'iy(j)所示,这意味着摄像机的
Oc‑XcZc平面与Ow‑YwZw平面不平行或光轴Zc与Zw轴不平行。因此,相机光心的运动轨迹不在平
行于平面Ow‑YwZw的同心圆上。借助于虚拟坐标系Op‑XpYpZp,通过旋转矩阵Rcp将摄像机光心
坐标映射到世界坐标系Ow‑XwYwZw。在Rcp中,三个旋转角分别为Δγix(j)=γ'ix(j)‑γix
(j),Δγiy(j)=γ'iy(j)‑γiy(j)和Δγiz(j)=γ'iz(j)‑γiz(j)。图9(a)和(b)分别显示
了角度校正前三次标定得到摄像机光心投影在Ow‑YwZw平面中的位置以及拟合的运动轨迹,
可以看出三组拟合的圆心偏差较大,无法较为准确地定位转台中心。
出了对应于不同初始位置的相机的三组光心数据以及在Ow‑YwZw平面上具有不同半径的拟
合同心圆弧。利用Yw和Zw方向的光心坐标,计算出摄像机c1、c2和c3的三个初始位置之间的距
离为c1c2=20.1561mm和c1c3=20.0837mm,与设定距离c1c2=c1c3=20mm较为接近,距离误差
分别为0.7805%和0.4185%。三组拟合结果及均方根误差(RMSE)见表1。
的位置,并重复摄像机标定16次,计算出摄像机在Ow‑YwZw平面上的光心坐标,如图11所
示,摄像机的光心已经集中在一个很小的区域内。对其平均得到最终的转台中心坐标Or=
(‑54.5912,962.0513)mm。
间的夹角,可知,当摄像机的光心与转台中心重合时,摄像机随着转台的旋转,角度α应保持
不变;而当摄像机的光心与旋转中心不重合时,角度会随着摄像机在转台上的旋转而改变,
即α1≠α2。
时,计算每组16个夹角αk(j)(j=1,2,...,16),四条角度曲线如图14(a)所示,其中横坐标
为旋转次数(Times of rotation),纵坐标为夹角的度数(Angle)。四组角度的方差分别为
‑4 ‑4 ‑4 ‑4
1.7936×10 度、1.1952×10 度、1.3725×10 度和1.1376×10 度,分别对应圆形
(circle)、三角形(triangle)、菱形(diamond)和方形点(square)。四条角度差曲线如图14
(b)所示。然后将摄像机光心移至偏离转台中心的位置,计算出的角度曲线如图14(c)所示,
四条角度差曲线如图14(d)所示。四组角度的方差分别为0.0018度、0.0043度、0.0018度和
0.0032度,分别对应圆形、三角形、菱形和方形点。由图14可以看出,摄像机光心与转台中心
偏离时角度的计算方差约为重合时角度方差的10倍,重合时四组点的角度αk基本保持不
变,符合摄像机光心与转台的旋转轴中心重合的要求。
普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各
种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。