一种单维像素合并模式等效窄面阵相机空间位置测量方法转让专利

申请号 : CN202110088136.2

文献号 : CN112880563B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 高扬崔恒宇王旭

申请人 : 北京航空航天大学

摘要 :

本发明提供一种单维像素合并模式等效窄面阵相机空间位置测量方法,包括使用三个面阵工业相机建立三目视觉测量系统,各相机通过不同方向的binning构建成等效窄面阵成像,采集目标图像,提取窄面阵图像下的特征标识亚像素中心位置,根据三目相机内部参数和外部参数标定结果计算出特征标识在测量系统坐标系下的空间位置坐标。本发明提供一种介于面阵和线阵视觉的精密动态空间位置测量方法,基于单维binning模式的等效窄面阵相机通过三目组合实现空间位置测量,满足高精度、高速度测量需求,对动态精密空间位置测量具有重要意义。

权利要求 :

1.一种单维像素合并模式等效窄面阵相机空间位置测量方法,其特征在于,包括以下步骤:

a、基于单维像素合并模式binning将工业面阵相机转化为等效窄面阵,通过三个等效窄面阵相机构建等效窄面阵三目视觉测量系统,并针对由光点构建的特征标识进行测量;

b、根据步骤a中的等效窄面阵三目视觉测量系统,建立等效窄面阵三目视觉测量模型,并标定得到各相机内部参数和相机之间空间关系的外部参数;

c、针对步骤a中光点构建的特征标识,等效窄面阵相机拍摄获取其图像为等效窄面阵图像,通过精密图像处理方法提取光点中心的亚像素坐标;

d、根据步骤b中的等效窄面阵三目视觉测量系统和标定得到的相机内部参数和外部参数,以及步骤c中各相机提取的光点中心亚像素坐标的空间位置,解算获取特征标识的空间位置。

2.根据权利要求1所述的一种单维像素合并模式等效窄面阵相机空间位置测量方法,其特征在于:所述步骤a中,通过三个等效窄面阵相机构建的三目测量系统实现为:三个相机分左、中、右排列视场交汇构成三目立体视觉测量系统,其中左、右相机采用1×

4binning,即纵向进行4倍的像素合并,横向不合并;中间相机采用4×1binning,即横向进行4倍的像素合并,纵向不合并;固定好三目相机的位置,保证在测量过程中相机位置不发生变动。

3.根据权利要求1所述的一种单维像素合并模式等效窄面阵相机空间位置测量方法,其特征在于:所述步骤a中,使用光点作为特征标识,特征标识在三目相机的公共视场中以保证等效窄面阵相机的图像获取。

4.根据权利要求1所述的一种单维像素合并模式等效窄面阵相机空间位置测量方法,其特征在于:所述步骤b中,建立等效窄面阵三目视觉测量模型方法如下:(1)单摄像机透视投影模型

单摄像机透视投影模型如下:

T T

其中ρ是比例系数;p=[u v 1] 和q=[x y z 1]是特征点分别在摄像机图像下的像素坐标和测量系统坐标系下的坐标;K是相机内部参数矩阵,由内部参数ax,ay,u0,v0决定,ax,T

ay分别是x轴和y轴上的归一化焦距,u0,v0是图像中心的像素坐标;R,t=[tx ty tz]分别是相机外部参数中的摄像机坐标系相对测量系统坐标系的旋转矩阵和平移矢量,r1~r9表示R矩阵的各系数;

(2)三目视觉测量模型

针对三目视觉测量系统,根据单摄像机透视投影模型,以中相机坐标系为测量系统坐标系,得到三目视觉测量模型如下:式中,ρL,ρM和ρR是为左、中、右相机对应的比例系数;特征点在测量系统坐标系即中相机坐标系下的三维齐次坐标为qM,在左、中、右相机下的投影即图像下的像素坐标分别为pL,pM和pR;KL,KM和KR分别为左、中、右相机的内部参数矩阵;RML和tML,以及RMR和tMR分别是左、右相机坐标系相对测量系统坐标系即中相机坐标系的旋转矩阵和平移矢量,根据式(1)将式(2)展开如下:

其中各参数定义与式(1)中对应,右下角标中的L、M、R分别代表对应左、中、右摄像机下的参数,基于式(3)得到6个线性方程组如下:(3)等效窄面阵三目视觉测量模型等效窄面阵三目视觉测量系统相对面阵三目视觉测量系统,binning后图像像素数量和单位像素长度发生变化,归一化焦距和图像中心像素坐标位置发生了变化,其中左、右相机y方向的归一化焦距ay和中心像素坐标v0,以及中相机x方向的归一化焦距ax和中心像素坐标u0均变为正常模式的1/4,则等效窄面阵三目视觉测量模型即由式(4)转化为:在所有相机内部参数和外部参数已知的条件下,获取被测特征点在各相机图像上的像素坐标(uLb,vLb),(uMb,vMb),(uRb,vRb),即求解被测特征点在测量系统坐标系下的空间坐标T

qMb=[xMb yMb zMb 1],由式(5),将被测量转化为:AqMb=b         (6)其中,

binning后,对于式(5)或(6)中的6个线性方程,其权重是不相等的;对于每个相机成像构建的2个方程,binning后的方程标准差是正常模式的4倍,则binning后方程的权重为正常模式下方程的1/16,得到加权矩阵W数值如下:通过加权最小二乘求解得到被测特征点的三维空间坐标:T ‑1 T

qMb=(AWA) AWb       (8)。

说明书 :

一种单维像素合并模式等效窄面阵相机空间位置测量方法

技术领域

[0001] 本发明属于动态精密空间位置测量领域,具体涉及一种基于单维像素合并模式(即binning)等效窄面阵相机空间位置测量方法。

背景技术

[0002] 动态精密空间位置测量是机械测试的重要领域,在飞行器风洞测试试验,船舶拖曳测试试验,大尺寸部件装配和运动过程监控等领域应用广泛。
[0003] 动态精密空间位置测量对测量系统提出了较高要求:一是空间分辨率要求高,精密的空间位置测量,较高的分辨率是重要前提;二是采样速率要求高,测量系统必须要有足
够的采样速率来捕捉目标运动过程中的细节变化;三是灵敏度要求高,由于采样速率高,每
次采样的积分时间短,因此高灵敏度是目标测量精度和测量范围的重要保障;四是要有多
目标的同步测量能力,要保证时间上的同步性来减小动态误差的引入。
[0004] 对于上述常规及大尺度空间动态目标的精密空间位置测量,基于面阵相机或线阵相机的立体视觉测量方法以其非接触测量且配置简单,测量精度较高,测量方式灵活,因而
广为应用。
[0005] 然而在高动态条件下,传统的双目面阵相机测量系统和三线阵相机测量系统均存在一定缺陷。对于双目面阵相机测量系统,面阵相机的高分辨率图像采集传输和图像处理
时间等因素限制了系统测量速率,而高帧频相机往往成本高、体积大。对于三线阵相机,采
用柱面镜将像素排列法向的成像视场压缩至一点,导致测量目标易受干扰,且因目标混叠
而不能实现多目标成像,只能循环点亮;同时,线阵相机基于柱面镜的成像原理会导致镜头
孔径光阑小,进光亮小,使得被测目标必须采用高亮发光特征,限制了其应用范围。
[0006] 可见,传统双目面阵相机测量系统和三线阵相机测量系统都存在各自的不足,难以平衡动态精密空间位置测量的各类要求。

发明内容

[0007] 为解决现有技术中存在的技术问题,本发明的目的在于提供一种单维像素合并(binning)模式等效窄面阵相机空间位置测量方法,破除传统双目面阵相机和三线阵相机
的固有缺陷,既能结合两者优点,又能一定程度弥补两者不足,实现高性能的动态空间位置
测量。
[0008] 为实现上述目的,达到上述技术效果,本发明采用的技术方案为:
[0009] 一种单维像素合并模式等效窄面阵相机空间位置测量方法,采用binning模式等效窄面阵成像的方式实现高速度测量的能力;采用三相机组合测量的方式实现测量的高精
度,涉及binning模式成像方法及三目组合、等效窄面阵三目视觉测量模型、等效窄面阵三
目视觉测量系统相机内部参数和外部参数标定、窄面阵图像处理方法等。
[0010] 基于单维像素合并模式(即binning)将工业面阵相机转化为等效窄面阵,通过三个等效窄面阵相机构建三目测量系统,并针对由光点构建的特征标识进行测量;通过三个
等效窄面阵相机构建的三目测量系统,三个相机分左、中、右排列视场交汇构成三目视觉测
量系统,其中左、右相机采用1×4binning(即纵向进行4倍的像素合并,横向不合并),中间
相机采用4×1binning(即横向进行4倍的像素合并,纵向不合并);固定好三目相机的位置,
保证在测量过程中相机位置不发生变动。
[0011] 所述等效窄面阵三目视觉测量系统,建立等效窄面阵三目视觉测量模型,并标定得到各相机内部参数和相机之间空间关系的外部参数;所述等效窄面阵三目视觉测量模
型,建立起被测特征标识图像像素位置与测量坐标系下空间位置的关系,模型中包含各相
机内部参数和外部参数。
[0012] 所述等效窄面阵三目视觉测量系统中各相机内部参数和外部参数标定,步骤如下:
[0013] (1)三个相机均在常规模式下使用棋盘格靶标标定内部参数;
[0014] (2)将三个相机在常规模式下标定出的内部参数根据各个相机binning方向的不同,分别转换为对应的窄面阵的内部参数;
[0015] (3)使用棋盘格靶标,三目同时拍摄靶标上的特征点,在拍摄时,靶标不断变换位置姿态,多组图像提取靶标特征点,标定出等效窄面阵三目视觉测量系统各相机之间的旋
转平移关系。
[0016] 所述窄面阵图像处理方法提取特征标识点的精密亚像素坐标,在照明光源的照射下,特征标识使用的高亮光点,其灰度值远大于背景,通过自适应二值化处理及形态学运
算,可将合作目标的大体位置确定出来;采用Hessian矩阵对对初步筛选后的光点图像进行
亚像素中心提取,由于背景其他高亮点,因此可鲁棒地获取所需各特征标识的光点图像亚
像素中心。
[0017] 本发明方法,基于单维binning模式的等效窄面阵相机通过三目组合实现空间位置测量,满足高精度、高速度测量需求,对动态精密空间位置测量具有重要意义。
[0018] 本发明与现有基于面阵视觉和线阵视觉的空间位置测量技术相比的优点在于:
[0019] (1)传统基于面阵相机的双目视觉测量系统,面阵相机的高分辨率图像采集传输和图像处理时间等因素限制了系统测量速率,而高帧频相机往往成本高、体积大。相比传统
面阵相机,单维Binning后的窄面阵相机保持了成像视场的同时实现了最高采样速率和灵
敏度的提升,以及数据量的减小,同时测量精度基本保证不变;
[0020] (2)对于三线阵相机采用柱面镜将像素排列法向的成像视场压缩至一点,导致测量目标易受干扰,且因目标混叠而不能实现多目标成像,只能循环点亮;同时,线阵相机基
于柱面镜的成像原理会导致镜头孔径光阑小,进光亮小,使得被测目标必须采用高亮发光
特征,限制了其应用范围。相比一维线阵相机,单维Binning后的窄面阵相机成像更为丰富,
抗干扰能力更强,且无需专门设计柱面镜,也就避免了柱面镜大视角成像带来的缺点。

附图说明

[0021] 图1为本发明的使用面阵相机转化为binning模式的原理示意图;
[0022] 图2为本发明的测量原理图。

具体实施方式

[0023] 下面结合附图对本发明的实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
[0024] 如图1‑2所示,一种基于单维像素合并(binning)模式等效窄面阵相机的空间位置测量方法,采用binning模式等效窄面阵成像的方式实现高速度测量的能力;采用三相机组
合测量的方式实现测量的高精度,涉及binning模式成像方法及三目组合、等效窄面阵三目
视觉测量模型、等效窄面阵三目视觉测量系统相机内部参数和外部参数标定、窄面阵图像
处理方法等。
[0025] 具体实施步骤为:
[0026] 步骤1,基于单维像素合并模式(即binning)将工业面阵相机转化为等效窄面阵,通过三个等效窄面阵相机构建三目视觉测量系统,并针对由光点构建的特征标识进行测
量。
[0027] 具体的,通过三个等效窄面阵相机构建的三目视觉测量系统,三个相机分左、中、右排列构成三目交汇立体视觉测量系统,其中左、右相机采用1×4binning(即纵向进行4倍
的像素合并,横向不合并),中间相机采用4×1binning(即横向进行4倍的像素合并,纵向不
合并);固定好三目相机的位置,保证在测量过程中相机位置不发生变动。
[0028] 步骤2,根据步骤1的等效窄面阵三目视觉测量系统,建立等效窄面阵三目视觉测量模型,并标定得到各相机内部参数和相机之间空间关系的外部参数;
[0029] 具体的,通过等效窄面阵三目视觉测量模型,建立起被测特征标识点图像像素位置与测量坐标系下空间位置的关系,模型中包含各相机内部参数和外部参数。等效窄面阵
三目视觉测量系统中各相机内部参数和外部参数标定步骤如下:
[0030] (1)三个相机均在常规模式下使用棋盘格靶标标定内部参数;
[0031] (2)将三个相机在常规模式下标定出的内部参数根据各个相机binning方向的不同,分别转换为对应的窄面阵的内部参数;
[0032] (3)使用棋盘格靶标,三目同时拍摄靶标上的特征点,在拍摄时,靶标不断变换位置姿态,多组图像提取靶标特征点,标定出三目相机测量系统各相机之间的旋转平移关系。
[0033] 步骤3,针对步骤1中由光点构建的特征标识,等效窄面阵相机拍摄获取其图像为等效窄面阵图像,通过精密图像处理方法提取光点中心的亚像素坐标。
[0034] 具体的,特征标识使用的高亮光点,其灰度值远大于背景,通过自适应二值化处理及形态学运算,可将合作目标的大体位置确定出来;
[0035] 采用Hessian矩阵方法对初步筛选后的光点图像进行亚像素中心提取,由于背景其他高亮点,因此可鲁棒地获取所需各特征标识的光点图像亚像素中心,从而提取特征标
识点的精密亚像素坐标。
[0036] 步骤4,根据步骤2中的等效窄面阵三目视觉测量模型和标定得到的相机内部参数和外部参数,以及步骤3中各相机提取的光点图像亚像素中心坐标,解算获取特征标识点的
空间位置。
[0037] 步骤101,工业面阵相机转化为等效窄面阵相机。
[0038] 如图1所示,工业面阵相机的原始成像单个像素的横向和纵向尺寸相等,单向1×4binning后纵向像素长度为横向的4倍,数据传输到电脑端变为图像时,由于图像显示的横
向和纵向像素尺寸相同,因此图像表现出窄面阵的效果,称之为等效窄面阵成像。
[0039] 步骤201,单摄像机透视投影模型。
[0040] 单摄像机透视投影模型如下:
[0041]
[0042] 其中ρ是比例系数,p=[u v 1]T和q=[x y z 1]T是特征点分别在摄像机图像下的像素坐标和测量系统坐标系下的坐标,K是相机内部参数矩阵,由内部参数ax,ay,u0,v0决
T
定,ax,ay分别是x轴和y轴上的归一化焦距,u0,v0是图像中心的像素坐标。R,t=[tx ty tz]
分别是相机外部参数中的摄像机坐标系相对测量系统坐标系的旋转矩阵和平移矢量,r1~
r9表示R矩阵的各系数。
[0043] 步骤202,三目视觉测量模型。
[0044] 如图2所示,由三个摄像机左、中、右排列组合成三目立体视觉测量系统,建立各摄像机坐标系,以中相机坐标系作为整个测量系统坐标系。
[0045] 根据摄像机透视投影模型,得到三目视觉测量模型如下:
[0046]
[0047] 式中,ρL,ρM和ρR是为左、中、右相机对应的比例系数;特征点在测量系统坐标系即中相机坐标系下的三维齐次坐标为qM,在左、中、右相机下的投影即图像下的像素坐标分别
为pL,pM和pR;KL,KM和KR分别为左、中、右相机的内部参数矩阵;RML和tML,以及RMR和tMR分别是
左、右相机坐标系相对测量系统坐标系即中相机坐标系的旋转矩阵和平移矢量。根据式(1)
将式(2)展开如下:
[0048]
[0049] 其中各参数定义与式(1)中对应,右下角标中的L、M、R分别代表对应左、中、右摄像机下的参数。将式(3)进一步展开,约掉各相机对应的比例系数ρ,得6个线性方程组如下:
[0050]
[0051] 步骤203,等效窄面阵三目视觉测量模型。
[0052] 等效窄面阵三目视觉测量系统相对面阵三目视觉测量系统,由于binning后图像像素数量和单位像素长度发生了变化,因此归一化焦距和图像中心像素坐标位置发生了变
化,其中左、右相机y方向的归一化焦距ay和中心像素坐标v0,以及中相机x方向的归一化焦
距ax和中心像素坐标u0均变为正常模式的1/4,则等效窄面阵三目视觉测量模型即由式(4)
转化为:
[0053]
[0054] 在所有相机内部参数和外部参数已知的条件下,获取被测特征点在各相机图像上的像素坐标(uLb,vLb),(uMb,vMb),(uRb,vRb),即可求解被测特征点在测量系统坐标系下的空
T
间坐标qMb=[xMb yMb zMb 1],由式(5),将被测量提出,可转化为:
[0055] AqMb=b         (6)
[0056] 其中,
[0057]
[0058] 注意到binning后,对于式(5)或(6)中的6个线性方程,其权重是不相等的。对于每个相机成像构建的2个方程,binning后的方程标准差是正常模式的4倍,则binning后方程
的权重就当为正常模式下方程的1/16,因此,得到加权矩阵W数值如下:
[0059]
[0060] 则通过加权最小二乘求解得到被测特征点的三维空间坐标:
[0061] qMb=(ATWA)‑1ATWb       (8)
[0062] 步骤204,等效窄面阵三目视觉测量系统相机内部参数和外部参数标定。
[0063] 将平面棋盘格靶标分别放置在三个相机的视场内,采用张正友在2000年11月发表的文章“A flexible new technique for camera calibration[J].IEEE Trans.On 
Pattern Analysis and Machine Intelligence”中提到的摄像机标定方法分别标定出常
规模式下三个相机的内部参数和外部参数。
[0064] 步骤301,窄面阵图像处理方法提取光点图像中心亚像素坐标。
[0065] 将平面棋盘格靶标分别放置在三个相机的视场内,采用基于Hessian矩阵的图像处理方法提取出光点中心在图像中的亚像素坐标。
[0066] 本发明未详细说明的部分采用现有技术即可实现,在此不做赘述。
[0067] 以上所述仅为本发明的实施例,并非因此限制本发明的范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领
域,均同理包括在本发明的保护范围内。