一种面向兴趣区域的立体匹配方法转让专利
申请号 : CN201010620013.0
文献号 : CN102074005B
文献日 : 2012-09-05
发明人 : 陈华华
申请人 : 杭州电子科技大学
摘要 :
权利要求 :
1.一种面向兴趣区域的立体匹配方法,其特征在于该方法包括如下步骤:步骤(1)将三维空间虚拟高度线投影到平行双目立体视觉系统的参考像机图像中,生成虚拟投影线;
所述的虚拟高度线是在三维空间中的一条竖直线段,虚拟高度线垂直于世界坐标系OWXWYWZW中的XWOWZW平面,将虚拟高度线的最高点和最低点分别投影到参考像机图像中,在二维图像中将这两个投影点连接形成一条虚拟投影线;
所述的投影方法为:首先设定参考像机坐标系为OCXCYCZC,像机光轴与OCZC轴重合,世界坐标系为OWXWYWZW,参考像机图像坐标系为OUV,则世界坐标系中任意点P的三维坐标(xw,yw,zw)与其在参考像机图像中投影点在图像坐标系OUV下的坐标(u,v)有以下关系:其中α是参考像机俯仰角,β是OCZC绕OCXC的旋转角,γ是OCXC绕OCZC的旋转角,(Dx,Dy,Dz)是参考像机坐标系原点在世界坐标系中的位置,f是参考像机的焦距,(u0,v0)是图像中心在OUV坐标系下的坐标;
然后对求得的坐标(u,v)四舍五入取整即得投影点在图像坐标系OUV下的位置;
步骤(2)虚拟高度线确定兴趣区域的扩展投影区域,具体是:
当平行双目立体视觉系统确定后,在世界坐标系OWXWYWZW内其可见的OWXWZW平面范围Xmin、Xmax、Zmin、Zmax也即被确定;设三维空间中所感兴趣的区域为由[xmin,xmax]、[ymin,ymax]和[zmin,zmax]所围成的立体区间,其中Xmin<=xmin<xmax<=Xmax,Zmin<=zmin<zmax<=Zmax,由立体区间确定三维兴趣区域的8个顶点,分别是:Ab、Bb、Cb、Db、At、Bt、Ct和Dt,每个顶点的三维坐标分别为:Ab(xmin,ymin,zmin)、Bb(xmax,ymin,zmin)、Cb(xmax,ymin,zmax)、Db(xmin,ymin,zmax)、At(xmin,ymax,zmin)、Bt(xmax,ymax,zmin)、Ct(xmax,ymax,zmax)、Dt(xmin,ymax,zmax);
分别连接顶点At和顶点Ab、顶点Bt和顶点Bb、顶点Ct和顶点Cb、顶点Dt和顶点Db,形成4条虚拟高度线AtAb、BtBb、CtCb和DtDb,将8个顶点按照步骤(1)中的投影方法进行投影得到它们在参考相机图像中的位置;
将三维空间中具有相同x坐标值和z坐标值的点的投影点位置连接起来,分别形成4条虚拟投影线AtRAbR、BtRBbR、CtRCbR和DtRDbR,依次连接AtR、BtR、CtR、DtR、AtR,然后依次连接AbR、BbR、CbR、DbR、AbR,从而在图像坐标系OUV中形成一个由12条线段构成的图形,选择包含该图形的最外围线段构成的封闭多边形即为投影区域,对该投影区域进行延伸,使其成为包含投影区域的最小矩形区域,且使矩形区域的水平边界与图像扫描线平行,该矩形区域即为扩展投影区域;
步骤(3)以扩展投影区域作为参考区域,采用局部匹配方法或采用全局匹配方法,在待匹配图中进行立体匹配。
说明书 :
一种面向兴趣区域的立体匹配方法
技术领域
背景技术
研究方向。目前,为达到实时性要求,多采用DSP和FPGA等硬件加速技术以及设计专用图
像处理芯片等手段对立体匹配进行加速,这种方法以牺牲硬件成本换取速度,同时由于使
用专用硬件,会使算法缺乏灵活性。
的一个或某些区域感兴趣,按传统方法则需先对整个场景进行三维重建,并从中选择感兴
趣的那部分重建结果,因此,除了用于重建感兴趣区域的视差值以外,其余视差值都是冗余
信息。并且,如果在视差图中的冗余信息中存在误匹配,会引起重建结果错误。
发明内容
三维空间兴趣区域的扩展投影区域;最后对兴趣区域的扩展投影区域进行立体匹配;具体
包括以下步骤:
示关系式:
Dz)是参考摄像机坐标系原点在世界坐标系中的位置,f是参考摄像机的焦距,(u0,v0)是图
像中心在OUV坐标系下的坐标,对求得的(u,v)四舍五入取整即得投影点在图像坐标系OUV
下的位置。
二维图像中将这两个投影点连接形成一条虚拟投影线。
<zmax<=Zmax,即三维兴趣区域在平行双目立体视觉系统的可见范围之内。由以上立体区
间可以确定三维兴趣区域的8个顶点,其三维坐标分别为:Ab(xmin,ymin,zmin)、Bb(xmax,ymin,zmin)、Cb(xmax,ymin,zmax)、Db(xmin,ymin,zmax)、At(xmin,ymax,zmin)、Bt(xmax,ymax,zmin)、Ct(xmax,ymax,zmax)、Dt(xmin,ymax,zmax)。分别连接AtAb、BtBb、CtCb和DtDb形成4条虚拟高度线AtAb、
BtBb、CtCb和DtDb。将8个顶点的三维坐标值分别代入式(1)得到在参考图像中8个投影
点的图像坐标,对8个投影点的图像坐标四舍五入取整得到它们在参考图像中的位置。
含该图形的最外围线段构成的封闭多边形即为投影区域,该投影区域是不规则的,为便于
像素寻址和匹配加速,对该区域进行延伸,使其成为包含投影区域的最小矩形区域,且使矩
形区域的水平边界与图像扫描线平行,该矩形区域即为扩展投影区域。至此,确定了三维空
间中兴趣区域在二维图像中的扩展投影区域,立体匹配被限定在矩形区域中进行。
考像机,左摄像机中形成的图像为待匹配图像)中进行立体匹配。这样,立体匹配的对象就
由整图降低到一个矩形区域,使得匹配的像素数减少,从而减少计算量。
以节省出时间用于检测和减少视差图中的误匹配点。
附图说明
具体实施方式
轴Zc的平面M交光轴于D点,则OcD即为P点在摄像机坐标系下的zc坐标。连接光心Oc
和物点P的直线交成像面于P′点,P′点就是P在摄像机中所成的像。过P点向x′轴作
垂线,垂足为H,连接OcH交图像平面于H′,根据三角形的相似性:
代入式(4),即得到公式(1)。
平基线长度,由对平行双目立体视觉系统定标或测量获得,H和(α,β,γ)由测量获得,
由以上三维区域可以确定三维兴趣区域内8个顶点的三维坐标分别为Ab(0.25,-0.1,7),
Bb(1.75,-0.1,7),Cb(1.75,-0.1,9),Db(0.25,-0.1,9),At(0.25,1,7),Bt(1.75,1,7),Ct(1.75,1,9),Dt(0.25,1,9)。分别连接AtAb、BtBb、CtCb和DtDb形成4条虚拟高度线
AtAb、BtBb、CtCb和DtDb。将8个顶点的(xw,yw,zw)值分别代入式(1)在参考图像中形成
8个投影点的(u,v)值,对8个投影点的(u,v)值四舍五入取整得到它们在图像中的位置,
将三维空间中具有相同(xw,zw)的点的投影点位置连接起来,形成4条虚拟投影线AtRAbR、
BtRBbR、CtRCbR和DtRDbR,如图3所示。
确定的图像上的投影区域是不规则的,如图6所示,为便于像素寻址和匹配加速,对该区域
进行延伸,使其成为包含投影区域的最小矩形区域,且使矩形区域的水平边界与图像扫描
线平行,该矩形区域即为扩展投影区域,如图7所示。至此,确定了三维空间中兴趣区域在
二维图像中的扩展投影区域,立体匹配被限定在矩形区域中进行。