一种自转式智能视觉3D信息采集设备转让专利
申请号 : CN202011105304.6
文献号 : CN112254673B
文献日 : 2022-02-15
发明人 : 左忠斌 , 左达宇
申请人 : 天目爱视(北京)科技有限公司
摘要 :
权利要求 :
1.一种视觉3D信息采集设备,其特征在于:包括图像采集装置、旋转装置、承载装置;
其中图像采集装置与旋转装置连接,由旋转装置带动其旋转;
旋转装置与承载装置连接;
图像采集装置在相邻的两个采集位置的光轴的夹角α满足如下条件:其中,R为旋转中心到目标物表面的距离,T为采集时物距与像距的和,d为图像采集装置的感光元件的长度或宽度,F为图像采集装置的镜头焦距,u为经验系数。
2.如权利要求1所述的设备,其特征在于:u<0.498,或u<0.41,或u<0.359,或u<0.281,或u<0.169,或u<0.041,或u<0.028。
3.如权利要求1所述的设备,其特征在于:图像采集装置的光轴与旋转平面平行。
4.如权利要求1所述的设备,其特征在于:图像采集装置的光轴与旋转平面成一定夹角。
5.如权利要求1所述的设备,其特征在于:图像采集装置的光学采集口均背向旋转轴方向。
6.如权利要求1所述的设备,其特征在于:还包括测距装置,测距装置随图像采集装置同步旋转。
7.如权利要求1所述的设备,其特征在于:目标物位置设置多个标记点。
8.如权利要求1所述的设备,其特征在于:以旋转平面为基准,所述夹角为‑90°至90°。
9.一种3D合成装置,其特征在于,包括如权利要求1‑8任一所述的设备。
10.一种3D识别装置,其特征在于,包括如权利要求1‑8任一所述的设备。
11.一种物体制造装置,其特征在于,包括如权利要求1‑8任一所述的设备。
12.一种物体展示装置,其特征在于,包括如权利要求1‑8任一所述的设备。
13.一种视觉3D信息采集方法,其特征在于:包括图像采集装置、旋转装置、承载装置;
其中图像采集装置与旋转装置连接,由旋转装置带动其旋转;
旋转装置与承载装置连接;
图像采集装置在相邻的两个采集位置的光轴的夹角α满足如下条件:其中,R为旋转中心到目标物表面的距离,T为采集时物距与像距的和,d为图像采集装置的感光元件的长度或宽度,F为图像采集装置的镜头焦距,u为经验系数。
14.如权利要求13所述的方法,其特征在于:u<0.498,或u<0.41,或u<0.359,或u<
0.281,或u<0.169,或u<0.041,或u<0.028。
15.如权利要求13所述的方法,其特征在于:图像采集装置的光轴与旋转平面平行。
16.如权利要求13所述的方法,其特征在于:图像采集装置的光轴与旋转平面成一定夹角。
17.如权利要求13所述的方法,其特征在于:图像采集装置的光学采集口均背向旋转轴方向。
18.如权利要求13所述的方法,其特征在于:还包括测距装置,测距装置随图像采集装置同步旋转。
19.如权利要求13所述的方法,其特征在于:目标物位置设置多个标记点。
20.如权利要求13所述的方法,其特征在于:以旋转平面为基准,所述夹角为‑90°至
90°。
21.一种3D合成方法,其特征在于,包括如权利要求13‑20任一所述的方法。
22.一种3D识别方法,其特征在于,包括如权利要求13‑20任一所述的方法。
23.一种物体制造方法,其特征在于,包括如权利要求13‑20任一所述的方法。
24.一种物体展示方法,其特征在于,包括如权利要求13‑20任一所述的方法。
说明书 :
一种自转式智能视觉3D信息采集设备
技术领域
背景技术
通过单个或多个相机旋转从不同角度采集图片。但无论这两种方式哪一种,都需要将相机
的采集位置围绕目标物设置(简称环绕式),但这种方式需要较大空间为图像采集装置设置
采集位置。
可以事先测量目标物尺寸。但在开放式的空间中则难以事先测量目标物,例如需要采集获
得街道、交通路口、楼群、隧道、车流等的3D信息(不限于此)。这使得这种方法难以奏效。即
使是固定的较小的目标物,例如家具、人身体部分等虽然可以事先测量其尺寸,但这种方法
依然受到较大限制:目标物尺寸难以准确确定,特别是某些应用场合目标物需要频繁更换,
每次测量带来大量额外工作量,并且需要专业设备才能准确测量不规则目标物。测量的误
差导致相机位置设定误差,从而会影响采集合成速度和效果;准确度和速度还需要进一步
提高。
发明内容
附图说明
的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
具体实施方式
所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围
完整的传达给本领域的技术人员。
装置1的光轴可以与旋转平面平行,也可以与旋转平面成一定夹角,如图2所示,例如在以旋
转平面为基准‑90°‑90°的范围内均是可以的。通常旋转轴或其延长线(即旋转中心线)通过
图像采集装置,即图像采集装置仍然以自转方式转动。这与传统的图像采集装置围绕某一
目标物进行旋转的采集方式(环绕式)本质不同,即与环绕目标物转动的环绕式完全不同。
图像采集装置的光学采集口(例如镜头)均背向旋转轴方向,也就是说图像采集装置的采集
区与旋转中心线无交集。同时由于图像采集装置的光轴与水平面具有夹角,因此这种方式
与一般的自转式也有较大差别,特别是能够采集表面与水平面不垂直的目标物。
像(具体拍摄位置后续将详细描述)。这种拍摄可以是与旋转动作同步进行,或是在拍摄位
置停止旋转后进行拍摄,拍摄完毕后继续旋转,以此类推。上述旋转装置可以为电机、马达、
步进电机、伺服电机、微型马达等。旋转装置(例如各类电机)可以在控制器的控制下按照规
定速度转动,并且可以转动规定角度,从而实现采集位置的优化,具体采集位置下面将详细
说明。当然也可以使用现有设备中的旋转装置,将图像采集装置安装其上即可。
证平衡。但在一些特殊场合中,也可以位于承载装置任意位置。而且承载装置并不是必须
的。旋转装置可以直接安装于应用设备中,例如可以安装于车辆顶部。
上,只要可以随图像采集装置同步转动即可。优选的,可以设置安装平台,图像采集装置和
测距装置均位于平台上,平台安装于旋转装置旋转轴上,由旋转装置驱动转动。测距装置可
以使用激光测距仪、超声测距仪、电磁波测距仪等多种方式,也可以使用传统的机械量具测
距装置。当然,在某些应用场合中,3D采集设备位于特定位置,其与目标物的距离已经标定,
无需额外测量。
条件较好的时候不使用光源。光源可以为LED光源,也可以为智能光源,即根据目标物及环
境光的情况自动调整光源参数。通常情况下,光源位于图像采集装置的镜头周边分散式分
布,例如光源为在镜头周边的环形LED灯。由于在一些应用中需要控制光源强度。特别是可
以在光源的光路上设置柔光装置,例如为柔光外壳。或者直接采用LED面光源,不仅光线比
较柔和,而且发光更为均匀。更佳地,可以采用OLED光源,体积更小,光线更加柔和,并且具
有柔性特性,可以贴附于弯曲的表面。
点可以为事先设置的点,也可以是激光光点。确定这些点的坐标的方法可以包括:①使用激
光测距:使用标定装置向着目标物发射激光,形成多个标定点光斑,通过标定装置中激光测
距单元的已知位置关系获得标定点坐标。使用标定装置向着目标物发射激光,使得标定装
置中的激光测距单元发射的光束落在目标物上形成光斑。由于激光测距单元发射的激光束
相互平行,且各个单元之间的位置关系已知。那么在目标物上形成的多个光斑的在发射平
面的二维坐标就可以得到。通过激光测距单元发射的激光束进行测量,可以获得每个激光
测距单元与对应光斑之间的距离,即相当于在目标物上形成的多个光斑的深度信息可以获
得。即垂直于发射平面的深度坐标就可以得到。由此,可以获得每个光斑的三维坐标。②使
用测距与测角结合:分别测量多个标记点的距离以及相互之间的夹角,从而算出各自坐标。
③使用其它坐标测量工具:例如RTK、全球坐标定位系统、星敏定位系统、位置和位姿传感器
等。
待采集的位置停止旋转,进行图像采集,采集完毕后继续旋转至下一个待采集位置。旋转装
置可以利用事先设定好的控制单元中的程序进行驱动。也可以通过通讯接口与上位机进行
通讯,通过上位机进行控制旋转。特别是其还可以与移动终端通过有线或无线进行连接,通
过移动终端(例如手机)控制旋转装置转动。即可以通过远程平台、云平台、服务器、上位机、
移动终端设置旋转装置转动参数,控制其旋转的启停。
算出采集位置,并提示给用户进行旋转参数的设定,或自动设定旋转参数。
离值带入公式中。所述平均值的获得可以使用求和平均的方式,也可以使用加权平均的方
式,还可以使用其它求均值的方式,或舍弃异常值再平均的方式等。
采集位置。
其旋转轴方向相互背离的情况时,对于这种设备现有技术未提到如何进行相机位置的更佳
的优化。即使存在的一些优化方法,其也是在不同实验下得到的不同的经验条件。特别是,
现有的一些位置优化方法需要获得目标物的尺寸,这在环绕式3D采集中是可行的,可以事
先测量完毕。但在开放式的空间中则难以事先测量得到。因此需要提出一种能够适用于当
3D采集合成设备的相机的采集方向与其旋转轴方向相互背离的情况时进行相机位置优化
的方法。这正是本发明所要解决的问题,和做出的技术贡献。
离,根据测距装置与采集设备各部件的已知位置关系,即可获得R和T。
采集时像距物距和不背离。
的值应当与采集时旋转半径不背离。
集时,就需要重新测量尺寸,重新推算。上述不方便的测量以及多次重新测量都会带来测量
的误差,从而导致相机位置推算错误。而本方案根据大量实验数据,给出了相机位置需要满
足的经验条件,不需要直接测量物体大小尺寸。经验条件中d、F均为相机固定参数,在购买
相机、镜头时,厂家即会给出相应参数,无需测量。而R、T仅为一个直线距离,用传统测量方
法,例如直尺、激光测距仪均可以很便捷的测量得到。同时,由于本发明的设备中,图像采集
装置(例如相机)的采集方向与其旋转轴方向相互背离,也就是说,镜头朝向与旋转中心大
体相反。此时控制图像采集装置两次位置的光轴夹角α就更加容易,只需要控制旋转驱动电
机的转角即可。因此,使用α来定义最优位置是更为合理的。因此,本发明的经验公式使得准
备过程变得方便快捷,同时也提高了相机位置的排布准确度,使得相机能够设置在优化的
位置中,从而在同时兼顾了3D合成精度和速度。
或u<0.028。
细节进行实验,得到其他数据也是符合该公式条件的。
影像局部灰度目标值,sf为变换后影像局部灰度标准偏差目标值。c∈(0,1)为影像方差的
扩展常数,b∈(0,1)为影像亮度系数常数。
点检测、特征点描述和特征点匹配。该方法使用Hessian矩阵来检测特征点,用箱式滤波器
(Box Filters)来代替二阶高斯滤波,用积分图像来加速卷积以提高计算速度,并减少了局
部影像特征描述符的维数,来加快匹配速度。主要步骤包括①构建Hessian矩阵,生成所有
的兴趣点,用于特征提取,构建Hessian矩阵的目的是为了生成图像稳定的边缘点(突变
点);②构建尺度空间特征点定位,将经过Hessian矩阵处理的每个像素点与二维图像空间
和尺度空间邻域内的26个点进行比较,初步定位出关键点,再经过滤除能量比较弱的关键
点以及错误定位的关键点,筛选出最终的稳定的特征点;③特征点主方向的确定,采用的是
统计特征点圆形邻域内的harr小波特征。即在特征点的圆形邻域内,统计60度扇形内所有
点的水平、垂直harr小波特征总和,然后扇形以0.2弧度大小的间隔进行旋转并再次统计该
区域内harr小波特征值之后,最后将值最大的那个扇形的方向作为该特征点的主方向;④
生成64维特征点描述向量,特征点周围取一个4*4的矩形区域块,但是所取得矩形区域方向
是沿着特征点的主方向。每个子区域统计25个像素的水平方向和垂直方向的haar小波特
征,这里的水平和垂直方向都是相对主方向而言的。该haar小波特征为水平方向值之后、垂
直方向值之后、水平方向绝对值之后以及垂直方向绝对值之和4个方向,把这4个值作为每
个子块区域的特征向量,所以一共有4*4*4=64维向量作为Surf特征的描述子;⑤特征点匹
配,通过计算两个特征点间的欧式距离来确定匹配度,欧氏距离越短,代表两个特征点的匹
配度越好。
稀疏特征点为初值,进行多视照片稠密匹配,获取得到密集点云数据。该过程主要有四个步
骤:立体像对选择、深度图计算、深度图优化、深度图融合。针对输入数据集里的每一张影
像,我们选择一张参考影像形成一个立体像对,用于计算深度图。因此我们可以得到所有影
像的粗略的深度图,这些深度图可能包含噪声和错误,我们利用它的邻域深度图进行一致
性检查,来优化每一张影像的深度图。最后进行深度图融合,得到整个场景的三维点云。
系,根据积分关系获得点云的向量场,计算指示函数梯度场的逼近,构成泊松方程。根据泊
松方程使用矩阵迭代求出近似解,采用移动方体算法提取等值面,对所测点云重构出被测
物体的模型。
见性分析。利用图像的标定信息计算每个三角面的可见图像集以及最优参考图像;③三角
面聚类生成纹理贴片。根据三角面的可见图像集、最优参考图像以及三角面的邻域拓扑关
系,将三角面聚类生成为若干参考图像纹理贴片;④纹理贴片自动排序生成纹理图像。对生
成的纹理贴片,按照其大小关系进行排序,生成包围面积最小的纹理图像,得到每个三角面
的纹理映射坐标。
也可以与本发明的方案进行配合使用。
装修、展示。
图像、三维点云、三维网格、局部三维特征、三维尺寸及一切带有目标物三维特征的参数。本
发明里所谓的三维是指具有XYZ三个方向信息,特别是具有深度信息,与只有二维平面信息
具有本质区别。也与一些称为三维、全景、全息、三维,但实际上只包括二维信息,特别是不
包括深度信息的定义有本质区别。
记本、移动终端、可穿戴设备、智能眼镜、智能手表、智能手环以及带有图像采集功能所有设
备。
和技术,以便不模糊对本说明书的理解。
例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保
护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面
的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,
遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身
都作为本发明的单独实施例。
元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或
子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何
组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任
何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权
利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代
替。
之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可
以以任意的组合方式来使用。
微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于本发明装置中的一些
或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一
部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本
发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样
的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未
列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的
元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实
现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项
来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名
称。
确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认
定为覆盖了所有这些其他变型或修改。