脚型三维重建的多视成像装置转让专利

申请号 : CN201010160429.9

文献号 : CN102236246B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 罗胜

申请人 : 温州大学

摘要 :

本发明涉及一种脚型三维重建的多视成像装置,具有载重功能的脚型标定模板、相机支撑框架、至少六个相机、计算机,所述脚型标定模板通过支架设置在相机支撑框架中,所述至少六个相机朝向脚型标定模板中心标识,所述至少六个相机通过USB数据传输接口和计算机相联接,所采集到的数码图像由运行在计算机上的软件系统进行三维重建,具有成像成本低廉、安装简单、成像准确、三维重建快速等特点。

权利要求 :

1.一种脚型三维重建的多视成像装置,其特征是包括有:具有载重功能的脚型标定模板(2)、相机支撑框架(1)、至少六个相机(3)、计算机,所述脚型标定模板(2)为透明的有机玻璃板,所述脚型标定模板(2)上具有多行多列且相隔一定间距的格子线,所述脚型标定模板(2)中心设置有中心标识,所述中心标识外围还设置有方位标识组,所述相机支撑框架(1)具有多个不同视角的相机支撑点,所述至少六个相机(3)以不同视角尽可能多的提供三维重建图像信息、可移动的方式分布在相机支撑框架(1)上,所述脚型标定模板(2)通过支架设置在相机支撑框架(1)中,所述至少六个相机(3)朝向脚型标定模板(2)中心标识,所述至少六个相机(3)通过USB数据传输接口和计算机相联接,所采集到的数码图像由运行在计算机上的软件系统进行三维重建。

2.根据权利要求1所述的脚型三维重建的多视成像装置,其特征是所述格子线为相互垂直的纵横线,所述中心标识为“O”字与“十”字的叠加体,所述方位标识组至少为不同图案组合的三组,所述方位标识组相对于中心标识位于不同的层次上,所述每组方位标识组为在同一层次上均匀分布的四个图案。

3.根据权利要求1或2所述的脚型三维重建的多视成像装置,其特征在于所述脚型标定模板(2)下方相机(3)采集到的图像中每一像素点根据已知参数包括脚型标定模板厚度、相机(3)坐标、相机(3)离脚型标定模板高度、像素点坐标、折射率,计算出像素点在相机平面上偏移距离du和dv,重新成像。

4.根据权利要求1或2所述的脚型三维重建的多视成像装置,其特征是所述相机(3)位置的布置包括有以下步骤:.计算脚型的统计变形模型;

b.根据已知参数,包括相机焦距和目标大小,计算相机分布球的半径R;

c.在相机分布球上计算出包含脚型统计变形模型中主形状因子信息量最多的相机位置;

d.确定输出的相机位置点,增加该相机位置下可见模型点及轮廓上模型点的信息量,并分别删除轮廓内成像信息量大于设定阈值的模型点和轮廓上成像信息量大于设定阈值的模型点;

e.重新计算模型点减少后的新脚型统计变形模型;

f.重复步骤c 、d 、e,直至统计变形模型中所有模型点都被充分成像,都能够根据图像信息重建出来;

g.输出相机位置点的坐标,据此坐标布置相机。

5.根据权利要求3所述的脚型三维重建的多视成像装置,其特征是所述相机(3)位置的布置包括有以下步骤:.计算脚型的统计变形模型;

b.根据已知参数,包括相机焦距和目标大小,计算相机分布球的半径R;

c.在相机分布球上计算出包含脚型统计变形模型中主形状因子信息量最多的相机位置;

d.确定输出的相机位置点,增加该相机位置下可见模型点及轮廓上模型点的信息量,并分别删除轮廓内成像信息量大于设定阈值的模型点和轮廓上成像信息量大于设定阈值的模型点;

e.重新计算模型点减少后的新脚型统计变形模型;

f.重复步骤c 、d 、e,直至统计变形模型中所有模型点都被充分成像,都能够根据图像信息重建出来;

g.输出相机位置点的坐标,据此坐标布置相机。

6.根据权利要求1或2所述的脚型三维重建的多视成像装置,其特征是所述相机支撑框架(1)包括有四根相互平行、相邻间距相同且等高的纵梁(11),所述四根纵梁(11)上端通过两根相同且中部交叉连接的横梁(12)固定,所述四根纵梁(11)中下部之间设置有四根围成方形的支撑梁(13),所述四根支撑梁(13)中相对设置的一对支撑梁(13)之间设置有两模板支撑梁(14),所述脚型标定模板(2)通过两模板支撑梁(14)设置在相机支撑框架(1)中。

7.根据权利要求4所述的脚型三维重建的多视成像装置,其特征是所述相机支撑框架(1)包括有四根相互平行、相邻间距相同且等高的纵梁(11),所述四根纵梁(11)上端通过两个相同且中部交叉连接的横梁(12)固定,所述四根纵梁(11)中下部之间设置有四根围成方形的支撑梁(13),所述四根支撑梁(13)中相对设置的一对支撑梁(13)之间设置有两模板支撑梁(14),所述脚型标定模板(2)通过两模板支撑梁(14)设置在相机支撑框架(1)中。

8.根据权利要求5所述的脚型三维重建的多视成像装置,其特征是所述相机支撑框架(1)包括有四根相互平行、相邻间距相同且等高的纵梁(11),所述四根纵梁(11)上端通过两个相同且中部交叉连接的横梁(12)固定,所述四根纵梁(11)中下部之间设置有四根围成方形的支撑梁(13),所述四根支撑梁(13)中相对设置的一对支撑梁(13)之间设置有两模板支撑梁(14),所述脚型标定模板(2)通过两模板支撑梁(14)设置在相机支撑框架(1)中。

9.根据权利要求8所述的脚型三维重建的多视成像装置,其特征是每一相机(3)所在半径的延长线上设置有相同的灯源(4),所述灯源(4)位于同一球面上。

说明书 :

脚型三维重建的多视成像装置

技术领域

[0001] 本发明涉及一种成像装置,特别是一种针对脚型三维重建的多视成像装置。

背景技术

[0002] 对物体进行三维重建的过程中标定是一个非常重要的步骤,现有技术中的标定方法需要在相机前放置一个已知形状和尺寸的物体(称为标定参照物),计算出相机的位置,然后拿开标定参照物,再对需要三维重建的物体进行拍照,通过空间点和图像点之间的对应关系进行三维重建。微软研究院的张正友采用两到三个相互正交的平面组成标定模板做为标定参照物,因为简便实用被广泛接受,但张正友的方法需要先对标定参照物成像,然后拿开标定参照物再次对物体成像,把标定成像和重建成像分成两个步骤;并且由于采用了不透明的标定模板,不能适用于全周多方位成像的多视重建;本发明的研究对象为脚,需要将脚放置在某一支撑物上,支撑物必然影响脚底部分的图像采集,张正友的标定方法不适用;如果将脚悬空成像,必然存在抖动问题,影响成像效果。

发明内容

[0003] 本发明要解决的技术问题在于,提供一种能为多视三维重建提供充分图像信息的多视成像装置,具有适合脚型三维重建、结构简单、标定过程简单、具有能承载脚重的标定模板、场景不需要在标定成像和重建成像之间进行切换等特点。
[0004] 为解决上述技术问题,本发明采用以下技术方案:一种脚型三维重建的多视成像装置,具有载重功能的脚型标定模板、相机支撑框架、至少六个相机、计算机,所述脚型标定模板为透明的有机玻璃板,所述脚型标定模板上具有多行多列且相隔一定间距的格子线,所述脚型标定模板中心设置有中心标识,所述中心标识外围还设置有方位标识组,所述相机支撑框架具有多个不同视角的相机支撑点,所述至少六个相机以不同视角尽可能多的提供三维重建图像信息、可移动的方式分布在相机支撑框架上,所述脚型标定模板通过支架设置在相机支撑框架中,所述至少六个相机朝向脚型标定模板中心标识,所述至少六个相机通过USB数据传输接口和计算机相联接,所采集到的数码图像由运行在计算机上的软件系统进行三维重建。
[0005] 作为一种改进,所述格子线为相互垂直的纵横线,所述中心标识为“O”字与“十”字的叠加体,所述方位标识组至少为不同图案组合的三组,所述方位标识组相对于中心标识位于不同的层次上,所述每组方位标识组为在同一层次上均匀分布的四个图案, “O”字与“十”字的叠加体方便了坐标原点的确定和坐标系的建立,至少三组且位于不同的层次上的四个图案能确定方位,且在脚型遮挡住部分方位标识后仍能方便地辨识方位,减少三维重建的计算量。
[0006] 作为一种改进,所述脚型标定模板下方相机采集到的图像中每一像素点根据已知参数包括脚型标定模板厚度、相机坐标、相机离脚型标定模板高度、像素点坐标、折射率,计算出像素点在相机平面上偏移距离du和dv,重新成像。处于脚型标定模板下方的位置的相机,必须透过有脚型标定模板成像,由于光线穿过脚型标定模板时有侧向偏移,因此下方的相机所成图像经过补偿计算后用于多视重建,保证图像的准确性。
[0007] 作为一种改进,所述相机位置的布置包括有以下步骤:
[0008] .计算脚型的统计变形模型;
[0009] b.根据已知参数,包括相机焦距和目标大小,计算相机分布球的半径R;
[0010] c.在相机分布球上计算出包含脚型统计变形模型中主形状因子信息量最多的相机位置;
[0011] d.确定输出的相机位置点,增加该相机位置下可见模型点及轮廓上模型点的信息量,并分别删除轮廓内成像信息量大于设定阈值的模型点和轮廓上成像信息量大于设定阈值的模型点;
[0012] e.重新计算模型点减少后的新脚型统计变形模型;
[0013] f.重复步骤c 、d 、e,直至统计变形模型中所有模型点都被充分成像,都能够根据图像信息重建出来;
[0014] g.输出相机位置点的坐标,据此坐标布置相机。
[0015] 模型点在轮廓内成像信息量以及模型点在轮廓上成像信息量的阈值设定能保证所有模型点能够有充分的被完整的重建,根据脚型统计变形模型计算得出的相机位置,能充分、有效地为三维重建提供图像信息,各视的信息量最大,各视间信息的冗余最少,有利于三维重建。
[0016] 作为一种改进,所述相机支撑框架包括有四根相互平行、相邻间距相同且等高的纵梁,所述四根纵梁上端通过两根相同且中部交叉连接的横梁固定,所述四根纵梁中下部之间设置有四根围成方形的支撑梁,所述四根支撑梁中相对设置的一对支撑梁之间设置有两模板支撑梁,所述脚型标定模板通过两模板支撑梁设置在相机支撑框架中,采用上述结构的相机支撑框架结构简单,整体上是个立方体,通过与夹子配合使要求处于同一球面上的多个相机定位容易;脚型标定模板通过两模板支撑梁设置在相机支撑框架中结构牢固,安装容易,使用方便。
[0017] 作为一种改进,每一相机所在半径的延长线上设置有相同的灯源,所述灯源位于同一球面上,采用上述结构的灯源布置,没有强烈光源的光照环境,不会在脚表面产生反射,成像自然,视图像中没有强烈光线的图像块,减少了图像噪声,提高了图像信息量,有利于后续三维重建。
[0018] 本发明设置有脚型标定模板,脚型标定模板上具有多行多列且相隔一定间距的格子线,所述脚型标定模板中心设置有中心标识,中心标识的设置使相机与灯源朝向明确,同时中心标识能做为三维坐标系的原点,为三维重建软件计算提供了参考点;根据相隔一定间距的格子线及其交叉点在各相机中的成像能够计算出各相机的位置,解决了相机的标定问题;脚型标定模板为透明的有机玻璃板,结构牢固,能作为脚重的承载平台,同时透明的有机玻璃板不影响有机玻璃板下方相机采集图像,无需移开脚型标定模板进行采集脚底部分图像;相机支撑框架具有多个不同视角的相机支撑点,有利于从不同视角采集相机图像。

附图说明

[0019] 图1为本发明脚型三维重建的多视成像装置的结构示意图;
[0020] 图2为脚型标定模板的结构示意图;
[0021] 图3为处于脚底位置的视图像的关系示意模型;
[0022] 图4为本发明的笛卡尔坐标和球坐标示意图;
[0023] 图5为本发明的总体布置结构图。

具体实施方式

[0024] 如图1、图2、图3、图4、图5所示,一种脚型三维重建的多视成像装置的具体实施方式,包括有:
[0025] 1) 相机支撑框架1:如图1所示,所述相机支撑框架1设置有四根相互平行、间距相同且等高的纵梁11,所述四根相互平行的纵梁11上端通过两个相互交叉的横梁12固定,所述四根相互平行且间距相同的纵梁11中下部之间设置有四根支撑梁13,所述四根支撑梁13中的相对设置的撑梁13上设置有两模板支撑梁14,所述标定模板2通过两模板支撑梁14设置在相机支撑框架1中,所述相机3通过夹子设置在相机支撑框架1上,一种优选方案,所述纵梁11为1.7m,横梁12长度为2.1m,四条纵梁11和两条横梁12条方形钢条作成一个长方体的框架,在高度0.7m的地方用四根支撑梁13围成方形,然后方形的中间放置间距0.7m的两模板支撑梁14。
[0026] 2) 脚型标定模板2:如图2所示,所述脚型标定模板2为透明的有机玻璃板,所述脚型标定模板2上具有多行多列且相隔一定间距的格子线,所述脚型标定模板2中心设置有中心标识,所述中心标识外围还设置有方位标识组,所述脚型标定模板2通过支架设置在相机支撑框架1中,一种优选方案,所述脚型标定模板2是一块长宽0.5m×0.7m、厚5cm的有机玻璃板,由聚甲基丙烯酸甲酯组成,高度透明,透光率达90%-92%,折射率n为
1.49,用直径1cm的平头铣刀在有机玻璃板上刻标识,单面如图2所示,共16×16条纵横线,线间距3cm,中心标识为“O”字与“十”的叠加体,以脚型标定模板2为原点,纵横线中的横线为X轴,纵横线的纵线为Y轴,方位标识组的位置及布局如下:坐标为[10.5,1.5)(-7.5,-1.5)]方格中有0字;坐标为[(-10.5,10.5)(-7.5,7.5)]的方格中有1字;坐标为[(7.5,10.5)(10.5,7.5)]的方格中有2字;坐标为[(7.5,-7.5)(10.5,-10.5)]的方格中有4字;坐标为[(-10.5,-7.5)(-7.5,-10.5)]的方格中有3字;坐标为[(-16.5,
16.5)(-13.5,13.5)]的方格中有6字;坐标为[(13.5,16.5)(16.5,13.5)]的方格中有
7字;坐标为[(13.5,-13.5)(16.5,-16.5)]的方格中有8字;坐标为[(-16.5,-13.5)(-13.5,-16.5)]的方格中有9字;坐标为[(-19.5,19.5)(-16.5,16.5)]的方格中有”/”字;坐标为[(16.5,19.5)(19.5,16.5)]的方格中有”×”字;坐标为[(16.5,-16.5)(19.5,-19.5)]的方格中有”*”字;坐标为[(-19.5,-16.5)(-16.5,-19.5)]的方格中有”十”字;坐标为[(-22.5,22.5)(-19.5,19.5)]的方格中有”O”字;坐标为[(19.5,22.5)(22.5,19.5)]的方格中有” OO”字;坐标为[(19.5,-19.5)(22.5,-22.5)]的方格中有” OOO”字;坐标为[(-22.5,-19.5)(-19.5,-22.5)]的方格中有” OOOO”字。
[0027] 上述方位标识组为不同图案的四组,每组方位标识组为相对于中心标识位于不同的层次上的四个图案,设置方位标识组有利于辨识方位,降低建模中的计算量;采取至少三组方式标识,是为了防止脚遮住部分方位标识后的仍能方便地辨识方位,方位标识设计三组或五组或其它组数也可。
[0028] 3)脚底图像的补偿。如图1所示,有三个相机3处于脚型标定模板2下方的位置,必须透过有机玻璃板成像,由于光线穿过有机玻璃板时有侧向偏移,因此下方的相机3所像图像必须经过补偿计算后才能用于多视重建,处于脚底位置的视成像模型如图3所示。补偿方法:如图3所示,脚型标定模板2下方相机3采集到的图像中每一像素点根据已知参数,包括标定模板厚度D、相机3坐标、相机3离脚型标定模板高度H、像素点坐标、折射率n,计算出像素点在相机平面上偏移距离du和dv,重新成像。相机3在玻璃板下高H的地方,按几何光学的原理,模板上的点P(Xp,Yp,0)成像为p,相比没有玻璃板的情况,侧向移动了距离d
[0029]
[0030] 设相机光心坐标(Xc,Yc,Zc),有如下关系
[0031]
[0032]
[0033] 经过计算,坐标(0,0)的坐标原点在位置为(-600,-200,-440)的相机上偏移d为2.2193mm。从上式可以看出,可以用du和dv代替d,u、v方向可以分开处理,计算出du和dv。
[0034] 4)相机3布置。
[0035] 为了分析相机布置的问题,对人眼的观察机制进行总结,正常状态时观察人时只需要正面一张照片,就可得知此人是谁;但即使是熟人,如果仅有特征不明显的侧面照片,那么就很难猜到此人是谁的内容;如果是背面照片,更难得知,这说明不同的视有不同的信息量,从信息量丰富的视可以获得较多的三维重建线索,因此,视布置的主要任务就是让每个视所含的信息尽量多,视间重复的信息尽量少。
[0036] 样本鞋楦的统计变形模型为
[0037]
[0038] 式中p是主形状因子,b3D是主形状因子向量,SP0是平均鞋楦,SPi为样本鞋楦。每只鞋楦的形状分成共性和个性两部分,SP0代表共性部分,pb3D代表个性部分。主形状因子是从鞋楦样本集中各个样本去除掉共性之后得到个性部分的变化部分因子,主形状因子按主形状因子向量b3D进行线性组合得到个性形状部分。主形状因子向量b3D发生变化,对应模型的个性部分发生变化,再加上共性部分就成为一只鞋楦。统计变形模型中的主形状因子向量b3D有许可变化范围,这种变化范围限定了模型还具有鞋楦的形状。一组主形状因子向量b3D对应一个唯一的形状,因此,能尽量反映主形状因子向量b3D的视就是信息含量大的视。
[0039] 式中Pproj是投影矩阵,SPi是样本鞋楦,Ppp×b是平面的形状因子向量。可以认为,形状因子向量Ppp×b越大,对空间的形状因子向量b3D表现得越充分。
[0040] 根据以上原理产生以下方法:相机3位置的布置包括有以下步骤:
[0041] .计算脚型的统计变形模型;
[0042] b.根据已知参数,包括相机焦距和目标大小,计算相机分布球的半径R;
[0043] c.在相机分布球上计算出脚型统计变形模型中主形状因子信息量最多的相机位置;
[0044] d.确定输出的相机位置点,增加该相机位置下可见模型点及轮廓上模型点的信息量,并分别删除轮廓内成像信息量大于设定阈值的模型点和轮廓上成像信息量大于设定阈值的模型点;
[0045] e.重新计算模型点减少后的新脚型统计变形模型;
[0046] f.重复步骤c 、d 、e,直至统计变形模型中所有模型点都被充分成像,都能够根据图像信息重建出来;
[0047] g.输出相机位置点的坐标,据此坐标布置相机。
[0048] 按照上述方法,在理想状态下,六个位置点即可满足三维重建的要求,但为使重建效果更好,本实施例提供了一定的冗余,采用八个位置点。如果以脚型标定模板2的中心为原点,以模板支撑梁14的方向为Y方向,以竖直方向为Z方向,由此定义笛卡尔坐标,采用相同的原点和X轴,定义球坐标,如图4所示。那么由脚型的统计变形模型计算出的8个相机布置一种方案如图1和表1所示,其中相机3分辨率640×480,焦距40mm。相机3用夹子夹在相应位置,而且相机3可以二个方向旋转,表中角度α、β为球坐标,相机都处于半径746 mm的球面上。
[0049] 表1 各视实际位置(r= 746 mm,角度单位弧度,坐标单位mm)
[0050]1 2 3 4 5 6 7 8
α0.0704 1.5752 3.1416 -1.6104 0.9064 2.8160 -1.6456 3.1416
β0.3872 0.2992 0.3344 0.3344 -0.4928 -0.6072 -0.8536 1.5136
X 710.8648 1.2616 -799.3174 -29.0043 511.4220 -595.0583 -37.4224 -48.8703Y 54.8987 754.3787 0.0588 -798.5064 652.3461 -197.0860 -548.3302 2.8990Z 291.3572 233.6865 284.4695 283.3072 -439.6761 -437.8825 -627.8355 913.8018[0051] 5) 灯源4布置:采用了8盏50W的灯源4,与相机3的相同定位坐标系下,每一相机3所在半径的延长线上设置有相同的灯源4,所述八个灯源4位于同一球面上,位置如表2所示,所述灯源4球面半径大于所述相机3球面半径,相机支撑框架1、脚型标定模板2、相机3和灯源4的总体布置如图5所示,灯源4球面半径为10m。
[0052] 表2 各日光灯位置(r= 10m,角度单位弧度)
[0053]1 2 3 4 5 6 7 8
α0.0704 1.5752 3.1416 -1.6104 0.9064 2.8160 -1.6456 3.1416
0.3872 0.2992 0.3344 0.3344 -0.4928 -0.6072 -0.8536 1.5136