目标投影方法以及系统转让专利

申请号 : CN201080066634.7

文献号 : CN102939562B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 吴迪陈光

申请人 : 深圳泰山在线科技有限公司

摘要 :

一种目标投影方法,包括:获取目标物在第一摄像机(21)和第二摄像机(22)中的匹配点对(P0和P1)对应的三维坐标;获取第三摄像机(32)的仿射投影矩阵;计算目标物在第三摄像机(32)上的理论重心坐标;计算目标物在第三摄像机(32)上的理论投影大小;获得目标物在第三摄像机(32)上投影的实际重心坐标;获得目标物在第三摄像机(32)上的实际投影大小;判断匹配点对(P0和P1)对应的三维坐标是否正确。还涉及一种运用上述方法的目标投影系统。

权利要求 :

1.一种目标投影方法,其特征在于,包括:

获取目标物在第一摄像机(21)和第二摄像机(22)中的匹配点对(P0和P1)对应的三维坐标;

获取第三摄像机(32)的仿射投影矩阵;

验证过程:

根据所述第三摄像机(32)的仿射投影矩阵和所述目标物在第一摄像机(21)和第二摄像机(22)中的匹配点对(P0和P1)对应的三维坐标计算所述目标物在所述第三摄像机(32)上的理论重心坐标;

根据所述匹配点对(P0和P1)对应的三维坐标计算所述目标物在第三摄像机(32)上的理论投影大小;

获得所述目标物在所述第三摄像机(32)上投影的实际重心坐标;

获得所述目标物在所述第三摄像机(32)上的实际投影大小;

根据所述理论重心坐标和所述实际重心坐标的比较结果以及所述理论投影大小和所述实际投影大小的比较结果共同判断所述匹配点对(P0和P1)对应的三维坐标是否正确。

2.根据权利要求1所述的目标投影方法,其特征在于,所述匹配点对(P0和P1)对应的三维坐标通过标定过程和三维坐标建立过程获得:标定过程:利用所述第一摄像机(21)和所述第二摄像机(22)的标定参数,得到将所述第一摄像机(21)和所述第二摄像机(22)校正成平行摄像机的所述第一摄像机(21)的第一校正矩阵和所述第二摄像机(22)的第二校正矩阵;

三维坐标建立过程:通过对所述第一摄像机(21)和所述第二摄像机(22)的目标识别匹配得到所述目标物在所述第一摄像机(21)和所述第二摄像机(22)中的匹配点对(P0和P1);利用所述第一校正矩阵、所述第二校正矩阵以及所述匹配点对(P0和P1)计算出所述匹配点对(P0和P1)对应的三维坐标。

3.根据权利要求2所述的目标投影方法,其特征在于,所述标定参数包括内部参数和外部匹配参数,所述内部参数通过立体标定板标定方法获得,所述外部匹配参数采用固定顺序匹配所述第一摄像机(21)和所述第二摄像机(22)采集的坐标数据,然后利用利文贝格-马夸特算法进行非线性最小二乘优化所述固定顺序匹配所述第一摄像机(21)和所述第二摄像机(22)采集的坐标数据来获得。

4.根据权利要求3所述的目标投影方法,其特征在于,所述内部参数包括αx=f/dx、αy=f/dy,其中f是摄像机焦距,dx、dy分别是水平方向和竖直方向的像元间距,u0、v0是摄像机的光心,γ是u轴和v轴的不垂直因子;径向畸变参数k1、k2;切向畸变参数p1、p2;所述外部匹配参数包括旋转矩阵参数和平移矩阵参数

5.根据权利要求1所述的目标投影方法,其特征在于,所述仿射投影矩阵通过以下方法获得:采集至少6组不同位置的所述匹配点对(P0和P1)对应的三维坐标以及所述匹配点对(P0和P1)对应在所述第三摄像机(32)上投影的二维坐标;

根据所述至少6组不同位置的所述匹配点对(P0和P1)对应的三维坐标以及所述匹配点对(P0和P1)对应在所述第三摄像机(32)上投影的二维坐标,采用线性最小二乘法算出仿射投影矩阵。

6.根据权利要求5所述的目标投影方法,其特征在于,所述采集至少6组不同位置的所述匹配点对(P0和P1)对应的三维坐标以及所述匹配点对(P0和P1)对应在所述第三摄像机(32)上投影的二维坐标通过以下方法获得:设置第三摄像机(32)为坐标系,从所述坐标系取至少6组不同位置的二维坐标;

当所述目标物的运动至所述匹配点对(P0和P1)在所述第三摄像机(32)上投影的二维坐标与所述从所述坐标系取至少6组不同位置的二维坐标重合时,得到与所述至少6组不同位置的二维坐标对应的至少6组不同位置的所述匹配点对(P0和P1)对应的三维坐标。

7.一种目标投影系统,包括处理单元(1)、成像单元(2),其特征在于,还包括验证单元(3),所述成像单元(2)包括第一摄像机(21)和第二摄像机(22),所述验证单元(3)包括验证模块(31)和第三摄像机(32):所述处理单元(1):用于获取目标物在第一摄像机(21)和第二摄像机(22)中的匹配点对(P0和P1)对应的三维坐标;和获取第三摄像机(32)的仿射投影矩阵;

所述验证模块(31):用于根据所述第三摄像机(32)的仿射投影矩阵和所述目标物在第一摄像机(21)和第二摄像机(22)中的匹配点对(P0和P1)对应的三维坐标计算所述目标物在所述第三摄像机(32)上的理论重心坐标;

根据所述匹配点对(P0和P1)对应的三维坐标计算所述目标物在第三摄像机(32)上的理论投影大小;

获得所述目标物在所述第三摄像机(32)上投影的实际重心坐标;

获得所述目标物在所述第三摄像机(32)上的实际投影大小;

根据所述理论重心坐标和所述实际重心坐标的比较结果以及所述理论投影大小和所述实际投影大小的比较结果共同判断所述匹配点对(P0和P1)对应的三维坐标是否正确。

8.根据权利要求7所述的目标投影系统,其特征在于,所述处理单元(1)包括标定模块(11)和三维坐标建立模块(12):所述标定模块(11):用于利用所述第一摄像机(21)和所述第二摄像机(22)的标定参数,得到将所述第一摄像机(21)和所述第二摄像机(22)校正成平行摄像机的所述第一摄像机(21)的第一校正矩阵和所述第二摄像机(22)的第二校正矩阵;

所述三维坐标建立模块(12):用于通过对所述第一摄像机(21)和所述第二摄像机(22)的目标识别匹配得到所述目标物在所述第一摄像机(21)和所述第二摄像机(22)中的匹配点对(P0和P1);利用所述第一校正矩阵、所述第二校正矩阵以及所述匹配点对(P0和P1)计算出所述匹配点对(P0和P1)对应的三维坐标。

9.根据权利要求8所述的目标投影系统,其特征在于,所述标定参数包括内部参数和外部匹配参数,所述内部参数通过立体标定板标定方法获得,所述外部匹配参数采用固定顺序匹配所述第一摄像机(21)和所述第二摄像机(22)采集的坐标数据,然后利用利文贝格-马夸特算法进行非线性最小二乘优化所述固定顺序匹配所述第一摄像机(21)和所述第二摄像机(22)采集的坐标数据来获得。

10.根据权利要求9所述的目标投影系统,其特征在于,所述内部参数包括αx=f/dx、αy=f/dy,其中f是摄像机焦距,dx、dy分别是水平方向和竖直方向的像元间距,u0、v0是摄像机的光心,γ是u轴和v轴的不垂直因子;径向畸变参数k1、k2;切向畸变参数p1、p2;所述外部匹配参数包括旋转矩阵参数和平移矩阵参数

11.根据权利要求7所述的目标投影系统,其特征在于,所述仿射投影矩阵通过以下方法获得:采集至少6组不同位置的所述匹配点对(P0和P1)对应的三维坐标以及所述匹配点对(P0和P1)对应在所述第三摄像机(32)上投影的二维坐标;

根据所述至少6组不同位置的所述匹配点对(P0和P1)对应的三维坐标以及所述匹配点对(P0和P1)对应在所述第三摄像机(32)上投影的二维坐标,采用线性最小二乘法算出仿射投影矩阵。

12.根据权利要求11所述的目标投影系统,其特征在于,所述采集至少6组不同位置的所述匹配点对(P0和P1)对应的三维坐标以及所述匹配点对(P0和P1)对应在所述第三摄像机(32)上投影的二维坐标通过以下方法获得:设置第三摄像机(32)为坐标系,从所述坐标系取至少6组不同位置的二维坐标;

当所述目标物的运动至所述匹配点对(P0和P1)在所述第三摄像机(32)上投影的二维坐标与所述从所述坐标系取至少6组不同位置的二维坐标重合时,得到与所述至少6组不同位置的二维坐标对应的至少6组不同位置的所述匹配点对(P0和P1)对应的三维坐标。

13.根据权利要求7所述的目标投影系统,其特征在于,所述第一摄像机(21)和所述第二摄像机(22)安装有红外透射滤光片。

14.根据权利要求7所述的目标投影系统,其特征在于,所述验证单元(3)包括至少两个所述第三摄像机(32)。

15.根据权利要求7所述的目标投影系统,其特征在于,所述成像单元(2)还进一步包括除所述第一摄像机(21)和所述第二摄像机(22)以外的至少一个成像用摄像机。

说明书 :

目标投影方法以及系统

技术领域

[0001] 本发明涉及一种目标投影方法以及运用该方法的目标投影系统,更具体地说,涉及一种具有验证过程的目标投影方法以及运用该方法的目标投影系统。

背景技术

[0002] 在以摄像机为获取信息的系统中,从图像中正确的提取可利用的信息是关键。对目标识别正确性的判断主要依靠的是目标的形状,颜色和尺寸等信息,对两个摄像机间识别目标的匹配主要依靠的就是极线约束和顺序一致性约束。在采用双目摄像机的系统中,采用视差原理来实现三维目标的建立。这种系统的缺点是目标的识别,匹配和建立的正确性验证较为困难。

发明内容

[0003] 本发明要解决的技术问题在于,针对现有技术的目标投影系统的三维坐标识别,匹配和建立的正确性验证较为困难的缺陷,提供一种利用双摄像机建立目标与单摄像机间的仿射变换关系,将目标的识别,匹配和重建的信息集中到投影图像上,根据投影图像来验证三维坐标识别,匹配和建立的正确性的目标投影方法以及运用该方法的目标投影系统。
[0004] 本发明解决其技术问题所采用的技术方案是:构造一种目标投影方法,其中,包括:
[0005] 获取目标物在第一摄像机和第二摄像机中的匹配点对对应的三维坐标;
[0006] 获取第三摄像机的仿射投影矩阵;
[0007] 验证过程:
[0008] 根据所述第三摄像机的仿射投影矩阵和所述目标物在第一摄像机和第二摄像机中的匹配点对对应的三维坐标计算所述目标物在所述第三摄像机上的理论重心坐标;
[0009] 根据所述匹配点对对应的三维坐标计算所述目标物在第三摄像机上的理论投影大小;
[0010] 获得所述目标物在所述第三摄像机上投影的实际重心坐标;
[0011] 获得所述目标物在所述第三摄像机上的实际投影大小;
[0012] 根据所述理论重心坐标和所述实际重心坐标的比较结果以及所述理论投影大小和所述实际投影大小的比较结果共同判断所述匹配点对对应的三维坐标是否正确。
[0013] 本发明所述的目标投影方法,其中,所述匹配点对对应的三维坐标通过标定过程和三维坐标建立过程获得:
[0014] 标定过程:利用所述第一摄像机和所述第二摄像机的标定参数,得到将所述第一摄像机和所述第二摄像机校正成平行摄像机的所述第一摄像机的第一校正矩阵和所述第二摄像机的第二校正矩阵;
[0015] 三维坐标建立过程:通过对所述第一摄像机和所述第二摄像机的目标识别匹配得到所述目标物在所述第一摄像机和所述第二摄像机中的匹配点对;利用所述第一校正矩阵、所述第二校正矩阵以及所述匹配点对计算出所述匹配点对对应的三维坐标。
[0016] 本发明所述的目标投影方法,其中,所述标定参数包括内部参数和外部匹配参数,所述内部参数通过立体标定板标定方法获得,所述外部匹配参数采用固定顺序匹配所述第一摄像机和所述第二摄像机采集的坐标数据,然后利用利文贝格-马夸特算法进行非线性最小二乘优化所述固定顺序匹配所述第一摄像机和所述第二摄像机采集的坐标数据来获得。
[0017] 本发明所述的目标投影方法,其中,所述内部参数包括 αx=f/dx、αy=f/dy,其中f是摄像机焦距,dx、dy分别是水平方向和竖直方向的像元间距,u0、v0是摄像机的光心,γ是u轴和v轴的不垂直因子;径向畸变参数k1、k2;切向畸变参数p1、p2;所述外部匹配参数包括旋转矩阵参数 和平移矩阵参数
[0018] 本发明所述的目标投影方法,其中,所述仿射投影矩阵通过以下方法获得:
[0019] 采集至少6组不同位置的所述匹配点对对应的三维坐标以及所述匹配点对对应在所述第三摄像机上投影的二维坐标;
[0020] 根据所述至少6组不同位置的所述匹配点对对应的三维坐标以及所述匹配点对对应在所述第三摄像机上投影的二维坐标,采用线性最小二乘法算出仿射投影矩阵。
[0021] 本发明所述的目标投影方法,其中,所述采集至少6组不同位置的所述匹配点对对应的三维坐标以及所述匹配点对对应在所述第三摄像机上投影的二维坐标通过以下方法获得:
[0022] 设置第三摄像机为坐标系,从所述坐标系取至少6组不同位置的二维坐标;
[0023] 当所述目标物的运动至所述匹配点对在所述第三摄像机上投影的二维坐标与所述从所述坐标系取至少6组不同位置的二维坐标重合时,得到与所述至少6组不同位置的二维坐标对应的至少6组不同位置的所述匹配点对对应的三维坐标。
[0024] 构造一种目标投影系统,包括处理单元、成像单元,其中,还包括验证单元,所述成像单元包括第一摄像机和第二摄像机,所述验证单元包括验证模块和第三摄像机;
[0025] 所述处理单元:用于获取目标物在第一摄像机和第二摄像机中的匹配点对对应的三维坐标;和获取第三摄像机的仿射投影矩阵;
[0026] 所述验证模块:用于根据所述第三摄像机的仿射投影矩阵和所述目标物在第一摄像机和第二摄像机中的匹配点对对应的三维坐标计算所述目标物在所述第三摄像机上的理论重心坐标;
[0027] 根据所述匹配点对对应的三维坐标计算所述目标物在第三摄像机上的理论投影大小;
[0028] 获得所述目标物在所述第三摄像机上投影的实际重心坐标;
[0029] 获得所述目标物在所述第三摄像机上的实际投影大小;
[0030] 根据所述理论重心坐标和所述实际重心坐标的比较结果以及所述理论投影大小和所述实际投影大小的比较结果共同判断所述匹配点对对应的三维坐标是否正确。
[0031] 本发明所述的目标投影系统,其中,所述处理单元包括标定模块和三维坐标建立模块;
[0032] 所述标定模块:用于利用所述第一摄像机和所述第二摄像机的标定参数,得到将所述第一摄像机和所述第二摄像机校正成平行摄像机的所述第一摄像机的第一校正矩阵和所述第二摄像机的第二校正矩阵;
[0033] 所述三维坐标建立模块:用于通过对所述第一摄像机和所述第二摄像机的目标识别匹配得到所述目标物在所述第一摄像机和所述第二摄像机中的匹配点对;利用所述第一校正矩阵、所述第二校正矩阵以及所述匹配点对计算出所述匹配点对对应的三维坐标。
[0034] 本发明所述的目标投影系统,其中,所述标定参数包括内部参数和外部匹配参数,所述内部参数通过立体标定板标定方法获得,所述外部匹配参数采用固定顺序匹配所述第一摄像机和所述第二摄像机采集的坐标数据,然后利用利文贝格-马夸特算法进行非线性最小二乘优化所述固定顺序匹配所述第一摄像机和所述第二摄像机采集的坐标数据来获得。
[0035] 本发明所述的目标投影系统,其中,所述内部参数包括 αx=f/dx、αy=f/dy,其中f是摄像机焦距,dx、dy分别是水平方向和竖直方向的像元间距,u0、v0是摄像机的光心,γ是u轴和v轴的不垂直因子;径向畸变参数k1、k2;切向畸变参数p1、p2;所述外部匹配参数包括旋转矩阵参数 和平移矩阵参数
[0036] 本发明所述的目标投影系统,其中,所述仿射投影矩阵通过以下方法获得:
[0037] 采集至少6组不同位置的所述匹配点对对应的三维坐标以及所述匹配点对对应在所述第三摄像机上投影的二维坐标;
[0038] 根据所述至少6组不同位置的所述匹配点对对应的三维坐标以及所述匹配点对对应在所述第三摄像机上投影的二维坐标,采用线性最小二乘法算出仿射投影矩阵。
[0039] 本发明所述的目标投影系统,其中,所述采集至少6组不同位置的所述匹配点对对应的三维坐标以及所述匹配点对对应在所述第三摄像机上投影的二维坐标通过以下方法获得:
[0040] 设置第三摄像机为坐标系,从所述坐标系取至少6组不同位置的二维坐标;
[0041] 当所述目标物的运动至所述匹配点对在所述第三摄像机上投影的二维坐标与所述从所述坐标系取至少6组不同位置的二维坐标重合时,得到与所述至少6组不同位置的二维坐标对应的至少6组不同位置的所述匹配点对对应的三维坐标。
[0042] 本发明所述的目标投影系统,其中,所述第一摄像机和所述第二摄像机安装有红外透射滤光片。
[0043] 本发明所述的目标投影系统,其中,所述验证单元包括至少两个所述第三摄像机。
[0044] 本发明所述的目标投影系统,其中,所述成像单元还进一步包括除所述第一摄像机和所述第二摄像机以外的至少一个成像用摄像机。
[0045] 实施本发明的目标投影方法以及运用该方法的目标投影系统,具有以下有益效果:在原有的目标投影系统的基础上增加一个具有验证模块的第三摄像机,利用建立的三维坐标与二维坐标间的映射,验证三维坐标识别、匹配和建立的结果的准确性。
[0046] 事先获取的标定参数使得目标投影过程更加简单准确;内部参数和外部匹配参数的获得使得第一摄像机的第一校正矩阵和第二摄像机的第二校正矩阵更加准确,第一摄像机和第二摄像机的平行校正更加有效;仿射投影矩阵的计算使得可以准确的计算第三摄像机上的第一投影大小;并且仿射投影矩阵可以通过多种方法获得;所述第一摄像机和所述第二摄像机安装有红外透射滤光片,排除了可见光的干扰,三维坐标建立更加准确;采用带有验证模块的多摄像机的验证,进一步增加了判断双摄像机的识别、匹配和建立的正确性;所述验证单元也可使用在多摄像机(大于等于三个)的目标投影成像系统中。

附图说明

[0047] 下面将结合附图及实施例对本发明作进一步说明,附图中:
[0048] 图1是本发明目标投影系统的较佳实施例的结构示意图;
[0049] 图2A是本发明目标投影系统的较佳实施例的一副标定摄像机的内部参数和外部匹配参数的标定用图像;
[0050] 图2B是本发明目标投影系统的较佳实施例的另一副标定摄像机的内部参数和外部匹配参数的标定用图像;
[0051] 图3是本发明目标投影系统的较佳实施例的计算仿射投影矩阵的8组不同位置的匹配点的二维坐标排列及坐标值图。

具体实施方式

[0052] 下面结合图示,对本发明的优选实施例作详细介绍。
[0053] 图1是本发明目标投影系统的较佳实施例的结构示意图。如图1所示,在本实施例中本发明提供的一种目标投影系统,包括处理单元1、成像单元2,还包括验证单元3,成像单元2包括第一摄像机21和第二摄像机22,验证单元3包括验证模块31和第三摄像机32;处理单元1:用于获取目标物在第一摄像机21和第二摄像机22中的匹配点对(P0和P1)对应的三维坐标;和获取第三摄像机32的仿射投影矩阵;验证模块31:用于根据第三摄像机32的仿射投影矩阵和所述目标物在第一摄像机21和第二摄像机22中的匹配点对(P0和P1)对应的三维坐标计算目标物在第三摄像机32上的理论重心坐标;根据匹配点对(P0和P1)对应的三维坐标计算所述目标物在第三摄像机32上的理论投影大小;获得目标物在第三摄像机32上投影的实际重心坐标;获得目标物在第三摄像机32上的实际投影大小;根据理论重心坐标和实际重心坐标的比较结果以及理论投影大小和实际投影大小的比较结果共同判断匹配点对(P0和P1)对应的三维坐标是否正确。
[0054] 如图1所示,处理单元1包括标定模块11和三维坐标建立模块12:标定模块11:用于利用第一摄像机21和第二摄像机22的标定参数,得到将第一摄像机21和第二摄像机
22校正成平行摄像机的第一摄像机21的第一校正矩阵和第二摄像机22的第二校正矩阵;
三维坐标建立模块12:用于通过对第一摄像机21和第二摄像机22的目标识别匹配得到目标物在第一摄像机21和第二摄像机22中的匹配点对(P0和P1);利用第一校正矩阵、第二校正矩阵以及匹配点对(P0和P1)计算出匹配点对(P0和P1)对应的三维坐标。
[0055] 本发明还提供一种目标投影方法,如图1所示,在本发明的目标投影方法中,包括标定过程、三维坐标建立过程以及验证过程,其中三维坐标建立过程中利用的第一摄像机21和第二摄像机22的标定参数通过以下方法获得:
[0056] 摄像机的标定参数包括内部参数和外部匹配参数。
[0057] 内部参数标定:
[0058] 摄像机内部参数,对于定焦式摄像机系统是固定不变的。内部参数包括:αx=f/dx、αy=f/dy,其中f是摄像机焦距,dx、dy分别是水平方向和竖直方向的像元间距,u0,v0是摄像机的光心,γ是u轴和v轴的不垂直因子;径向畸变参数k1、k2;切向畸变参数p1、p2。
[0059] 采用立体标定板标定方法标定所有摄像机的内部参数。标定用图像如图2A、2B所示。所有摄像机采集到标定图像后,采用连通域的连通性分析获得所有标定块成像的重心坐标。然后利用这些数据信息,按照平板标定方法对摄像机内部参数进行标定。标定方法为目前常用方法,可以有不同的标定方法实现。
[0060] 外部匹配参数标定:
[0061] 摄像机外部匹配参数主要是摄像机间相对位置关系信息,包括
[0062] 旋转矩阵参数 平移矩阵参数
[0063] 利用上述中所采集第一摄像机21和第二摄像机22标定块成像的重心坐标。采用固定顺序匹配两个摄像机采集的坐标数据。然后利用利文贝格-马夸特(Levenberg-Marquardt)算法进行非线性最小优化所述固定顺序匹配第一摄像机21和第二摄像机22采集的坐标数据,获得最终的摄像机标定参数。最终参数包括第一摄像机21和第二摄像机22各自的摄像机的内部参数和两摄像机间的外部匹配参数。本步骤地实现方法并不唯一。
[0064] 标定过程:利用第一摄像机21和第二摄像机22的标定参数,将两个摄像机采集图像校正成平行摄像机;本步骤实现方法并不唯一。
[0065] a.计算第一摄像机21的第一校正矩阵H0:
[0066] 设定第一摄像机21坐标系下标定用虚拟点P01=(0 0 2000),
[0067] 按照公式:
[0068] P02=R-1(P01-T) (1)
[0069] 计算出第一摄像机21坐标系下虚拟点坐标。
[0070] 按照公式:
[0071]
[0072]
[0073] h03=h01∧h02 (2)
[0074] 分别计算第一校正矩阵内列向量。根据(2)式得到第一摄像机21的第一校正矩阵:
[0075]
[0076] b.计算第二摄像机22的第二校正矩阵H1:
[0077] 设定第二摄像机22坐标系下标定用虚拟点P11=(0 0 2000),
[0078] 按照公式:
[0079] P12=RP11+T (4)
[0080] 计算出第二摄像机22坐标系下虚拟点坐标。
[0081] 按照公式:
[0082]
[0083]
[0084] h13=h11∧h12 (5)
[0085] 分别计算第二校正矩阵内列向量。根据(5)式得到第二摄像机22的第二校正矩阵:
[0086]
[0087] 三维坐标建立过程:通过对第一摄像机21和第二摄像机22的目标识别匹配得到目标物相应的匹配点对:
[0088] 采用圆形反光物体作为目标识别物。在第一摄像机21和第二摄像机22中分别采用经过圆形反光物体样本训练过的支持向量机分类器对目标物进行识别,并计算出目标物在第一摄像机21和第二摄像机22中成像的匹配点对(重心坐标对)P0和P1,然后利用极线约束和顺序一致性约束实现目标的正确匹配。
[0089] 利用所述第一校正矩阵、所述第二校正矩阵以及所述匹配点对计算所述匹配点对对应的三维坐标;
[0090] a.像素点坐标畸变校正,同时将匹配点对P0和P1变为无畸变图像坐标P0-undistort和P1-undistort。这里使用迭代计算对坐标进行矫正。
[0091] b.校正图像坐标计算按照公式:
[0092]
[0093]
[0094] c.目标三维坐标建立按照公式:
[0095] Disparity=p1[1]-p0[1],其中p1[1]和p0[1]为图像x坐标 (9)[0096]
[0097] Zc=B*1.0/Disparity;
[0098] Xc=B*p0[1]/Disparity; (10)
[0099] Yc=Zc*p0[1]/1.0;
[0100] 本步骤地实现方法并不唯一。
[0101] 验证过程:三维坐标建立过程得到了所述匹配点对对应的三维坐标P;
[0102] 根据第三摄像机32的仿射投影矩阵和目标物在第一摄像机21和第二摄像机22中的匹配点对P0和P1对应的三维坐标P计算所述匹配点对P0和P1在第三摄像机32上的坐标Q:
[0103]
[0104] Qx=Q'x/Q'z
[0105] Qy=Q'y/Q'z (12);
[0106] 根据所述目标物的所述匹配点对第三摄像机32上的坐标Q计算所述目标物在第三摄像机32上的理论重心坐标:
[0107] 本方法是已知目标识别物尺寸,这里为圆形目标物的直径D,第三摄像机32的焦距f和目标物三维坐标P,然后按照公式计算圆目标物的投影圆半径:
[0108] Radius=D×f/Pz (13);
[0109] 根据所述匹配点对在第三摄像机32上的坐标计算所述目标物在第三摄像机32上的理论投影大小:
[0110] 在第三摄像机32的图像上画以理论重心坐标为中心,Radius为半径的实心圆;
[0111] 获得所述目标物在第三摄像机32上投影的实际重心坐标;
[0112] 根据所述匹配点对在第三摄像机32上的坐标获得所述目标物在第三摄像机32上的实际投影大小:
[0113] 根据所述理论重心坐标和所述目标物在第三摄像机32上投影的实际重心坐标之差是否小于第一设定值以及所述理论投影大小和所述实际投影大小之差是否小于第二设定值共同判断所述匹配点对P0和P1对应的三维坐标是否正确。当两种判断都小于设定值时则认为所述匹配点对对应的三维坐标的识别、匹配和建立是正确的。
[0114] 如图3所示(图3采用的是640*480解析度,其他解析度的话坐标做相应的修改即可),验证过程中利用的仿射投影矩阵通过以下方法获得:
[0115] 采集至少6组(图3中为8组)不同位置的所述匹配点对P0和P1对应的三维坐标Q以及所述匹配点对P0和P1对应在所述第三摄像机32上投影的二维坐标:
[0116] 设置第三摄像机32为坐标系,取所述坐标系中8组不同位置的二维坐标;
[0117] 当所述目标物的运动至所述匹配点对P0和P1在所述第三摄像机32上投影的二维坐标与以第三摄像机32为坐标系的所述8组不同位置的二维坐标重合时,得到与所述8组不同位置的二维坐标对应的8组不同位置的所述匹配点对P0和P1对应的三维坐标Q。
[0118] 建立方程公式:
[0119]
[0120] Ax=b (15)
[0121] 其中仿射投影矩阵参数为 其中a12=1,式(14)可简写为式(15)。
[0122] 采用线性最小二乘法计算参数x:
[0123] x=(ATA)-1ATb (16)。
[0124] 采集至少6组不同位置的所述匹配点对P0和P1对应的三维坐标以及所述匹配点对P0和P1对应在所述第三摄像机32上投影的二维坐标的方法也可以通过正确的匹配识别,建立至少6组对应的三维坐标和二维坐标来实现。
[0125] 作为本发明的优选实施例,本发明的实现至少需要三台摄像机,并保持摄像机拍摄图像的同步性,用于三维坐标建立的第一摄像机21和第二摄像机22为安装有红外透射滤光片的摄像机,使得通过第一摄像机21和第二摄像机22的拍摄的图像进行的三维坐标建立可以有效地排除可见光的干扰,三维坐标建立更加准确,这种设置可以根据实际需要选用。
[0126] 作为本发明的优选实施例,验证单元3包括至少两个用于验证建立的三维坐标的第三摄像机32。采用带有验证模块的多摄像机的验证,进一步增加了判断双摄像机的识别、匹配和建立的正确性。可以根据实际精度需要选择使用验证用摄像机的数量。
[0127] 作为本发明的优选实施例,成像单元2可以是多摄像机(大于等于三个)的目标投影成像系统,可以增加了判断多摄像机的识别、匹配和建立的正确性。
[0128] 以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。