一种单相机倾斜摄影三维建模系统转让专利

申请号 : CN201510976788.4

文献号 : CN105629980B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 张小星郑爽

申请人 : 深圳速鸟创新科技有限公司

摘要 :

本发明涉及测绘技术领域,特别涉及一种单相机倾斜摄影三维建模系统,其包括无人机和地面站,所述无人机包括单相机采集模块、姿态位置信息模块、飞控执行模块;所述地面站包括飞控控制模块、三维数据分析处理模块、真三维数据库模块。本发明通过在无人机上设置单相机采集模块、飞控执行模块和在地面站设置飞控控制模块、三维数据分析处理模块、真三维数据库模块,并对航拍路径进行了专门的优化,仅通过单相机就可以进行多角度航片的数据采集并三维重建;克服了现有的三维模型建模工具不能很好的针对无人机低空航拍数据(像幅小,姿态不稳定,数据量大)进行处理,且处理过程中有手工干预的成分,影像数据处理效率的问题。

权利要求 :

1.一种单相机倾斜摄影三维建模系统,包括无人机和地面站,其特征在于,所述无人机包括单相机采集模块、姿态位置信息模块、飞控执行模块;所述地面站包括飞控控制模块、三维数据分析处理模块、真三维数据库模块;其中所述单相机采集模块与所述姿态位置信息模块连接,用于采集图像信号并记录姿态和位置信息,再将图像信号与姿态位置信息发送至地面站;

所述姿态位置信息模块与地面站无线连接,用于确定无人机的位置信息和姿态信息,并根据位置信息和姿态信息与预设航线进行判断是否到达预定位置,若是则控制单相机采集模块采集图像信号;

所述飞控执行模块与地面站飞控控制模块无线连接,用于接受飞控控制模块的飞控指令并根据飞控指令控制无人机按照预设航线飞行;

所述飞控控制模块用于输入飞行路线和向飞控执行模块发出飞控指令;

所述三维数据分析处理模块,用于接收图像信号,并进行分析处理得到三维数据;

所述真三维数据库模块与所述三维数据分析处理模块连接,用于将生成的三维数据进行LOD分层,并按时间、地理要素及固定的格式进行存储,以方便今后使用中的调用;

所述预设航线具体为从第一起始点开始在指定区域内按“弓”字形线路套耕飞行并返回,在返回第一起始点后以指定区域的中心点为轴心偏移60度作为第二起始点,并从第二起始点开始在指定区域内按“弓”字形线路套耕飞行并返回,在返回第二起始点后再以指定区域的中心点为轴心偏移60度作为第三起始点,并从第三起始点开始在指定区域内按“弓”字形线路套耕飞行并返回。

2.一种单相机倾斜摄影三维建模系统,包括无人机和地面站,其特征在于,所述无人机包括单相机采集模块、姿态位置信息模块、飞控执行模块;所述地面站包括飞控控制模块、三维数据分析处理模块、真三维数据库模块;其中所述单相机采集模块与所述姿态位置信息模块连接,用于采集图像信号并记录姿态和位置信息,再将图像信号与姿态位置信息发送至地面站;

所述姿态位置信息模块与地面站无线连接,用于确定无人机的位置信息和姿态信息,并根据位置信息和姿态信息与预设航线进行判断是否到达预定位置,若是则控制单相机采集模块采集图像信号;

所述飞控执行模块与地面站飞控控制模块无线连接,用于接受飞控控制模块的飞控指令并根据飞控指令控制无人机按照预设航线飞行;

所述飞控控制模块用于输入飞行路线和向飞控执行模块发出飞控指令;

所述三维数据分析处理模块,用于接收图像信号,并进行分析处理得到三维数据;

所述真三维数据库模块与所述三维数据分析处理模块连接,用于将生成的三维数据进行LOD分层,并按时间、地理要素及固定的格式进行存储,以方便今后使用中的调用;

所述预设航线具体为从第四起始点开始在指定区域内按“弓”字形线路套耕飞行并返回,在返回第四起始点后以指定区域的中心点为轴心偏移45度作为第五起始点,并从第五起始点开始在指定区域内按“弓”字形线路套耕飞行并返回,在返回第五起始点后再以指定区域的中心点为轴心偏移45度作为第六起始点,并从第六起始点开始在指定区域内按“弓”字形线路套耕飞行并返回,在返回第六起始点后再以指定区域的中心点为轴心偏移45度作为第七起始点,并从第七起始点开始在指定区域内按“弓”字形线路套耕飞行并返回。

3.如权利要求1或2所述的单相机倾斜摄影三维建模系统,其特征在于,所述单相机采集模块与所述无人机成40-45度倾斜夹角。

4.如权利要求3所述的单相机倾斜摄影三维建模系统,其特征在于,所述无人机上还设有无线通信模块,所述无线通信模块与地面站无线连接,用于建立无人机和地面站之间的数据和信号的交换。

5.如权利要求4所述的单相机倾斜摄影三维建模系统,其特征在于,所述地面站还包括DOM数据库模块,DOM数据库模块用于根据真三维数据切换正俯视角后所产生二维数据,并按照时间及地理要素信息进行存储。

6.如权利要求5所述的单相机倾斜摄影三维建模系统,其特征在于,所述地面站还包括交互显示设备,所述交互显示设备与所述真三维数据库模块连接,其包括体感控制器、组合式显示器及电脑主机,通过体感控制三维漫游视角,电脑主机调用真三维数据库模块中的模型数据,组合式显示器呈现三维数据。

7.如权利要求6所述的单相机倾斜摄影三维建模系统,其特征在于,所述位置信息包括纬度、经度、海拔高度、气压高度;所述姿态信息包括俯仰角、横滚角、航向角,所述姿态信息通过机载陀螺仪进行记录。

8.如权利要求7所述的单相机倾斜摄影三维建模系统,其特征在于,所述单相机采集模块包括相机系统及快门触发系统;快门触发系统与姿态位置信息模块相连接,当无人机飞行至航线既定拍照位置时,快门触发系统启动,控制相机系统进行拍摄。

9.如权利要求8所述的单相机倾斜摄影三维建模系统,其特征在于,所述三维数据分析处理模块先将采集图像信号采用MVS方法提取密集匹配的点云数据,通过双边滤波或小波算法进行去噪,之后通过德劳内模型进行面片化处理,最后通过约束纹理映射方法进行自动贴图,全局匀色后得到最终得到三维模型。

说明书 :

一种单相机倾斜摄影三维建模系统

技术领域

[0001] 本发明涉及测绘技术领域,特别涉及一种单相机倾斜摄影三维建模系统。

背景技术

[0002] 无人机系统按重量分类可分为微型、轻型、小型、大型等四类,按动力来源方式可分为油动和电动两类,按飞行方式可分为旋翼机、固定翼、扑翼机等三类。本方法所涉及的微型无人机,指重量不大于5kg的固定翼电动无人机,机身材质以EPO(发泡聚乙烯、苯乙烯混合物)及碳纤为主,通过地面站及飞控系统进行航线规划,并在空中以一定重叠度进行正射及倾斜摄影方式进行图像采集的无人机。
[0003] 中国专利申请号:201310404384.9名称为轻小型无人机机载多视立体航空遥感装置和系统,包括:无人机;设置于无人机上的固定架,固定架上设置有第一相机、第二相机和第三相机;第一相机、第二相机和第三相机的长边均垂直于飞行方向设置;第一相机和第三相机倾斜于水平面45°设置,第二相机垂直于摄影方向设置。通过这种结构布局,本发明能够采集到全方位的影像资料,更适用于无人机飞行平台使用。
[0004] 中国专利申请号:201410327662.X,名称为:基于城市建筑三维模型的自动分体提取方法,其技术特点是包括以下步骤:利用现有基于倾斜摄影测量的自动三维建模的建模成果,统一化为osgb格式;将转换后的osgb数据解析为几何信息与纹理信息,同时解析出几何信息与纹理信息的对应关系;通过高度判别法实现对建筑单体模型的自动提取功能;通过光谱判别法,实现对植被模型的自动提取功能;将自动提取出的建筑单体模型进行单体信息展示,对自动提取出的植被模型进行展示。
[0005] 现有的无人机倾斜摄影系统由于搭载了多相机,使得无人机的载荷大幅增加,限制了无人机作业的轻便性与灵活性,同时降低了无人机的续航时间和作业效率。现有的三维模型建模工具主要针对大型航空相机所获取的数据进行建筑单体自动提取及植被模型自动提取,而并不能很好的针对无人机低空航拍数据(像幅小,姿态不稳定,数据量大)进行处理,且处理过程中有手工干预的成分,影像了数据处理效率。

发明内容

[0006] 为克服上述缺陷,本发明的目的即在于提供一种单相机倾斜摄影三维建模系统及方法。
[0007] 一种单相机倾斜摄影三维建模系统,包括无人机和地面站,所述无人机包括单相机采集模块、姿态位置信息模块、飞控执行模块;所述地面站包括飞控控制模块、三维数据分析处理模块、真三维数据库模块;其中
[0008] 所述单相机采集模块与所述姿态位置信息模块连接,用于采集图像信号并记录姿态和位置信息,再将图像信号与姿态位置信息发送至地面站;
[0009] 所述姿态位置信息模块与地面站无线连接,用于确定无人机的位置信息和飞行姿态,并根据位置信息和飞行姿态与预设航线进行判断是否到达预定位置,若是则控制单相机采集模块采集图像信号;
[0010] 所述飞控执行模块与地面站飞控控制模块无线连接,用于接受飞控控制模块的飞控指令并根据飞控指令控制无人机按照预设航线飞行;
[0011] 所述飞控控制模块用于输入飞行路线和向飞控执行模块发出飞控指令;
[0012] 所述三维数据分析处理模块,用于接收图像信号,并进行分析处理得到三维数据;
[0013] 所述真三维数据库模块与所述三维数据分析处理模块连接,用于将生成的三维数据进行LOD分层,并按时间、地理要素及固定的格式进行存储,以方便今后使用中的调用。
[0014] 作为一种改进,所述预设航线具体为从第一起始点开始在指定区域内按“弓”字形线路套耕飞行并返回,在返回第一起始点后以指定区域的中心点为轴心偏移60度作为第二起始点,并从第二起始点开始在指定区域内按“弓”字形线路套耕飞行并返回,在返回第二起始点后再以指定区域的中心点为轴心偏移60度作为第三起始点,并从第三起始点开始在指定区域内按“弓”字形线路套耕飞行并返回。
[0015] 作为一种改进,所述预设航线还可以为从第四起始点开始在指定区域内按“弓”字形线路套耕飞行并返回,在返回第四起始点后以指定区域的中心点为轴心偏移45度作为第五起始点,并从第五起始点开始在指定区域内按“弓”字形线路套耕飞行并返回,在返回第五起始点后再以指定区域的中心点为轴心偏移45度作为第六起始点,并从第六起始点开始在指定区域内按“弓”字形线路套耕飞行并返回,在返回第六起始点后再以指定区域的中心点为轴心偏移45度作为第七起始点,并从第七起始点开始在指定区域内按“弓”字形线路套耕飞行并返回。
[0016] 进一步的,所述单相机采集模块与所述无人机成40-45度倾斜夹角。
[0017] 具体的,所述无人机上还设有无线通信模块,所述无线通信模块与地面站无线连接,用于建立无人机和地面站之间的数据和信号的交换。
[0018] 更进一步的,所述地面站还包括DOM数据库模块,DOM数据库模块用于根据真三维数据切换正俯视角后所产生二维数据,并按照时间及地理要素信息进行存储。
[0019] 作为一种改进,所述地面站还包括交互显示设备,所述交互显示设备与所述真三维数据库模块连接,其包括体感控制器、组合式显示器及电脑主机,通过体感控制三维漫游视角,电脑主机调用真三维数据库模块中的模型数据,组合式显示器呈现三维数据。
[0020] 具体的,所述位置信息包括纬度、经度、海拔高度、气压高度;所述姿态信息包括俯仰角、横滚角、航向角、地极航向角,所述姿态信息通过机载陀螺仪进行记录。
[0021] 进一步的,所述单相机采集模块包括相机系统及快门促发系统;快门促发系统与姿态位置信息模块相连接,当无人机飞行至航线既定拍照位置时,快门促发系统启动,控制相机系统进行拍摄。
[0022] 作为一种改进,所述三维数据分析处理模块先将采集图像信号采用MVS方法提取密集匹配的点云数据,通过双边滤波或小波算法进行去噪,之后通过德劳内模型进行面片化处理,最后通过约束纹理映射方法进行自动贴图,全局匀色后得到最终得到三维模型。
[0023] 本发明一种单相机倾斜摄影三维建模系统,包括无人机和地面站,通过在无人机上设置单相机采集模块、姿态位置信息模块、飞控执行模块;和在地面站设置飞控控制模块、三维数据分析处理模块、真三维数据库模块,并对航拍路径进行了专门的优化,仅通过单相机就可以进行多角度航片的数据采集并三维重建;克服了现有的三维模型建模工具主要针对大型航空相机所获取的数据进行建筑单体自动提取及植被模型自动提取,而并不能很好的针对无人机低空航拍数据(像幅小,姿态不稳定,数据量大)进行处理,且处理过程中有手工干预的成分,影像数据处理效率的问题。

附图说明

[0024] 为了易于说明,本发明由下述的较佳实施例及附图作详细描述。
[0025] 图1为本发明一种单相机倾斜摄影三维建模系统的整体框图;
[0026] 图2为本发明一种单相机倾斜摄影三维建模系统的第一种飞行航线示意图;
[0027] 图3为本发明一种单相机倾斜摄影三维建模系统的第二种飞行航线示意图。

具体实施方式

[0028] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0029] 如图1所示:本发明一种单相机倾斜摄影三维建模系统,包括无人机和地面站,所述无人机包括单相机采集模块、姿态位置信息模块、飞控执行模块;所述地面站包括飞控控制模块、三维数据分析处理模块、真三维数据库模块;其中
[0030] 单相机采集模块与所述姿态位置信息模块连接,用于采集图像信号并记录姿态和位置信息,再将图像信号与姿态位置信息发送至地面站;所述单相机采集模块包括相机系统及快门促发系统;快门促发系统与姿态位置信息模块相连接,当无人机飞行至航线既定拍照位置时,快门促发系统启动,控制相机系统进行拍摄。
[0031] 无人机上还设有无线通信模块,所述无线通信模块与地面站无线连接,用于建立无人机和地面站之间的数据和信号的交换。
[0032] 姿态位置信息模块与地面站无线连接,用于确定无人机的位置信息和飞行姿态,并根据位置信息和飞行姿态与预设航线进行判断是否到达预定位置,若是则控制单相机采集模块采集图像信号。其中,位置信息包括纬度、经度、海拔高度、气压高度;所述姿态信息包括俯仰角、横滚角、航向角、地极航向角,所述姿态信息通过机载陀螺仪进行记录。姿态位置信息模块集成于飞控执行模块一体,通过地面站进行航线设定,无人机以固定高度(200-300m)在目标区域上空进行套耕飞行,同时按照一定的图像重叠度,在空中固定地点触发倾斜图片数据采集模块进行拍摄,一般在空中每隔50-80m需拍摄一张图片,而航线间隔控制在100m左右,在拍照的同时记录下拍照点的位置及姿态信息,并通过标定和校准,换算为相机焦点的位置。
[0033] 所述飞控执行模块与地面站飞控控制模块无线连接,用于接受飞控控制模块的飞控指令并根据飞控指令控制无人机按照预设航线飞行;
[0034] 所述飞控控制模块用于输入飞行路线和向飞控执行模块发出飞控指令;通过飞控控制模块进行航线规划,框选区域一般比目标区域外扩100-200m,起飞时通过手动遥控装置(如futaba遥控器)进行控制,待无人机飞至航线高度后,切换由飞控系统进行自动控制并由地面站进行实时监控。
[0035] 所述三维数据分析处理模块,用于接收图像信号,并进行分析处理得到三维数据;具体的,三维数据分析处理模块先将采集图像信号采用MVS方法提取密集匹配的点云数据,通过双边滤波或小波算法进行去噪,之后通过德劳内模型进行面片化处理,最后通过约束纹理映射方法进行自动贴图,全局匀色后得到最终得到三维模型。
[0036] 所述真三维数据库模块与所述三维数据分析处理模块连接,用于将生成的三维数据进行LOD分层,并按时间、地理要素及固定的格式进行存储,以方便今后使用中的调用。
[0037] 所述地面站还包括DOM数据库模块,DOM数据库模块用于根据真三维数据切换正俯视角后所产生二维数据,并按照时间及地理要素信息进行存储,以方便今后使用中的调用。
[0038] 所述地面站还包括交互显示设备,所述交互显示设备与所述真三维数据库模块连接,其包括体感控制器、组合式显示器及电脑主机,通过体感控制三维漫游视角,电脑主机调用真三维数据库模块中的模型数据,组合式显示器呈现三维数据。
[0039] 预设航线具体分为两种:第一种为六角形航线;第二种“米”字形航线。如图2所示,第一种六角形航线为从第一起始点开始在指定区域内按“弓”字形线路套耕飞行并返回,在返回第一起始点后以指定区域的中心点为轴心偏移60度作为第二起始点,并从第二起始点开始在指定区域内按“弓”字形线路套耕飞行并返回,在返回第二起始点后再以指定区域的中心点为轴心偏移60度作为第三起始点,并从第三起始点开始在指定区域内按“弓”字形线路套耕飞行并返回。
[0040] 如图3所示,第二种航线“米”字形航线为从第四起始点开始在指定区域内按“弓”字形线路套耕飞行并返回,在返回第四起始点后以指定区域的中心点为轴心偏移45度作为第五起始点,并从第五起始点开始在指定区域内按“弓”字形线路套耕飞行并返回,在返回第五起始点后再以指定区域的中心点为轴心偏移45度作为第六起始点,并从第六起始点开始在指定区域内按“弓”字形线路套耕飞行并返回,在返回第六起始点后再以指定区域的中心点为轴心偏移45度作为第七起始点,并从第七起始点开始在指定区域内按“弓”字形线路套耕飞行并返回。
[0041] 其工作方式为:在一块典型需求区域,大小为1-2平方公里左右,选定需求区域附近一块开阔地为无人机起降地点,通过无人机平台所配置的地面站规划好航线,然后通过手动遥控装置(如futaba遥控器)进行控制,待无人机飞至航线高度后,切换由飞控系统进行自动控制并由地面站进行实时监控。飞机在航线上进行匀速飞行,速度为50km/h左右,此时,当飞机每经过航线上的一个拍照点时,通过倾斜图片数据采集模块进行拍照并存储下图片数据,“所述单相机采集模块与所述无人机成40-45度倾斜夹角。”同时促发位置姿态信息采集模块记录下拍照点的位置及姿态信息,并通过标定和校准,换算为相机焦点的位置。待航线飞行完成,无人机回到起飞点头顶上方,再切换至手动模式控制无人机进行滑翔降落或伞降。无人机起飞重量不大于5公斤,同时搭载单相机采集模块和姿态位置信息模块。
当整个数据采集过程完成后,将倾斜图片数据、位置姿态信息数据导入三维数据分析处理模块,采用MVS(multi-view stereo)方法提取密集匹配的点云数据,通过双边滤波或小波算法进行去噪,之后通过德劳内模型进行面片化处理,最后通过约束纹理映射方法进行自动贴图,全局匀色后得到最终得到全自动化的三维模型成果。之后三维数据成果按照时间、地理要素及固定的格式存储至真三维数据库模块,三维数据切换正俯视角后所生成的二维数据则存储至DOM数据库模块。将该数据导入至交互式显示设备的电脑主机中,通过体感控制器来操控三维漫游视角,电脑主机调用真三维数据库中的模型数据,组合式显示器呈现三维数据,从而达到三维实景数据漫游的效果。
[0042] 本发明基于轻小型无人机(小于5kg)的倾斜摄影数据采集更为轻便灵活,同时可获取更高分辨率的三维纹理贴图。通过MVS(multi-view stereo)方法提取密集匹配的点云数据,为真彩色点云,较激光点云更为直观,通过去噪,面片化,纹理映射等一系列手段得到的真三维数据逼真度高,漫游效果好。通过体感方式操控的三维实景漫游体验效果好,真实感强。
[0043] 并进一步通过对路径的调整,使得能通过单相机采集到比多相机重叠度更全面(对地物的视角比现有的多相机方案更全面,地物信息也更丰富),图像的处理方式与现有方法并不相同。现有方法是通过解算等高线模型,及正射影像图后进行叠加生成三维(对位置及姿态信息依赖度要高),而本发明是先经过密集匹配的方式获得密点云模型(这个与拍摄方式非常相关,若不采用本发明的拍摄方式便会数据缺失),之后通过密点云模型生成三维数据,由于实际飞行过程中,存在GPS信号缺失、IMU信息缺失,而本发明对位置及姿态信息的依赖度低,因此实用性更强。
[0044] 以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则的内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围的内。