面向城市信息模型建筑三维重建方法、装置、设备及介质转让专利
申请号 : CN202210069540.X
文献号 : CN114092663B
文献日 : 2022-04-26
发明人 : 周小平 , 王佳 , 傅文峰 , 冯驰原
申请人 : 盈嘉互联(北京)科技有限公司 , 盈嘉互联(上海)建筑科技有限公司 , 深圳市盈嘉互联科技有限公司 , 盈嘉互联(北京)智慧科技有限公司 , 佛山市盈嘉智慧空间科技有限公司 , 深圳前海盈嘉数据服务有限公司 , 嘉兴乌镇盈嘉千镇科技有限公司
摘要 :
权利要求 :
1.一种面向城市信息模型建筑三维重建方法,其特征在于,所述方法包括:对目标建筑物的原始三维模型所处的水平面进行采样,得到所述原始三维模型的高度图和法向量图;所述高度图和法向量图通过以下方式得到:对原始三维模型的水平面进行采样,得到原始三维模型的高度函数和法向量函数;分别正则化处理所述高度函数和所述法向量函数,得到所述高度图和所述法向量图;所述法向量图包括水平方向法向量图和竖直方向法向量图;
整合所述高度图的第一边缘图和所述法向量图的第二边缘图,得到包括高度和方向不连续的多个候选区域的整体边缘图;所述第一边缘图为对所述高度图进行边缘检测得到;
所述第二边缘图为对法向量图进行边缘检测得到;
整合所述高度图的第一轮廓线图和所述法向量图的第二轮廓线图,得到包括交互镶嵌的多个粗分多边形的第一整体轮廓线图;所述第一轮廓线图为对高度图进行直线检测得到;所述第二轮廓线图为对法向量图进行直线检测得到;
根据所述整体边缘图中的候选区域和所述第一整体轮廓线图中粗分多边形对所述目标建筑物进行重构,得到目标建筑物的重构三维模型,以通过所述重构三维模型展示所述目标建筑物。
2.根据权利要求1所述的方法,其特征在于,所述原始三维模型包括目标建筑物和影响所述目标建筑物展示的杂质;所述整合所述高度图的第一边缘图和所述法向量图的第二边缘图,得到包括高度和方向不连续的多个候选区域的整体边缘图,包括:按照与所述原始三维模型所处的水平面垂直的方向,对所述目标建筑物的原始三维模型进行渲染,得到所述原始三维模型的渲染图;
根据所述渲染图中每个像素点是否包含杂质,从多个所述候选区域中,去除包含杂质的区域,得到包括多个包含所述目标建筑物的组成区域的整体边缘图;
整合所述高度图的第一轮廓线图和所述法向量图的第二轮廓线图,得到包括交互镶嵌的多个粗分多边形的第一整体轮廓线图,包括:整合所述高度图的第一轮廓线图、所述法向量图的第二轮廓线图和所述渲染图的第三轮廓线图,得到包括交互镶嵌的多个细分多边形的第二整体轮廓线图;
根据所述整体边缘图中的候选区域和所述第一整体轮廓线图中粗分多边形对所述目标建筑物进行重构,包括:
根据所述整体边缘图中的组成区域和所述第二整体轮廓线图中细分多边形对所述目标建筑物进行重构。
3.根据权利要求2所述的方法,其特征在于,所述根据所述渲染图中每个像素点是否包含杂质,从多个所述候选区域中,去除包含杂质的异常候选区域,得到包括多个包含所述目标建筑物的组成区域的整体边缘图,包括:对所述渲染图进行语义分割处理,确定所述候选区域中的每个像素点包含杂质的第一置信度;
将所述候选区域中所有像素点包含杂质第一置信度的均值,作为该候选区域包含杂质的第二置信度;
根据所述候选区域包含杂质的第二置信度和预设置信度阈值,从所述整体边缘图中去除与小于置信度阈值的第二置信度对应的异常区域,得到包括多个组成区域的整体边缘图。
4.根据权利要求2所述的方法,其特征在于,所述整合所述高度图的第一轮廓线图、所述法向量图的第二轮廓线图和所述渲染图的第三轮廓线图,得到包括交互镶嵌的多个细分多边形的第二整体轮廓线图,包括:分别对所述高度图、所述法向量图和所述渲染图进行直线检测处理,得到所述高度图的第一轮廓线图、所述法向量图的第二轮廓线图和所述渲染图的第三轮廓线图;
将所述高度图的第一轮廓线图、所述法向量图的第二轮廓线图和所述渲染图的第三轮廓线图进行叠加,得到包括交互镶嵌的多个候选多边形的第二整体轮廓线图;
根据所述第二整体轮廓线图中不同所述候选多边形之间的位置关系,对所述候选多边形进行合并处理,到包括交互镶嵌的多个细分多边形的第二整体轮廓线图。
5.根据权利要求2所述的方法,其特征在于,所述根据所述整体边缘图中的组成区域和所述第二整体轮廓线图中细分多边形对所述目标建筑物进行重构,包括:对所述整体边缘图包括的所述组成区域进行形状拟合,确定所述组成区域对应拟合的目标三维形状和该目标三维形状对应的形状参数;
根据所述组成区域对应的目标三维形状和所述第二整体轮廓线图中的细分多边形,确定所述第二整体轮廓线图中每个细分多边形对应的目标三维形状;
根据任意两个细分多边形之间的位置关系和所述两个细分多边形对应的目标三维形状,对所述细分多边形进行合并得到合并后的目标多边形;
根据所述目标多边形与所述目标多边形对应的目标三维形状的形状参数对所述目标建筑物的进行重构,得到目标建筑物的重构三维模型。
6.根据权利要求5所述的方法,其特征在于,所述对所述组成区域进行形状拟合,确定所述组成区域对应拟合的目标三维形状和该目标三维形状对应的形状参数,包括:根据所述组成区域和该组成区域对应的高度图,将每个所述组成区域还原为对应的三维点云;
对每个所述三维点云分别进行不同形状的拟合,得到该三维点云对应的多个预测三维形状和该预测三维形状对应的评分和形状参数;
根据每个所述预测三维形状对应的评分,从所述预测三维形状中,选取评分最高的预测三维形状作为所述三维点云的候选三维形状;
根据每个所述候选三维形状对应的形状参数,将所述形状参数位于同一预设区间内的所述候选三维形状进行合并,得到合并后的目标三维形状。
7.根据权利要求5所述的方法,其特征在于,所述根据所述目标多边形与所述目标多边形对应的目标三维形状的形状参数对所述目标建筑物的进行重构,得到目标建筑物的重构三维模型,包括:
若所述目标多边形对应的所述目标三维形状为平面图形,则根据所述目标多边形与所述目标多边形对应的目标三维形状的形状参数对所述目标建筑物的进行重构,得到目标建筑物的重构三维模型;
若所述目标多边形对应的所述目标三维形状为曲面图形,使用预设的与所述目标多边形对应的切割线,对所述目标多边形进行切割,得到多个子多边形;对每个所述子多边形进行三角化处理,得到该子多边形对应的二维三角网格;根据所述二维三角网格和与所述二维三角网格对应的目标三维形状的形状参数,对所述目标建筑物的进行重构,得到目标建筑物的重构三维模型。
8.一种面向城市信息模型建筑三维重建装置,其特征在于,所述装置包括:采样模块,用于对目标建筑物的原始三维模型所处的水平面进行采样,得到所述原始三维模型的高度图和法向量图;所述高度图和法向量图通过以下方式得到:对原始三维模型的水平面进行采样,得到原始三维模型的高度函数和法向量函数;分别正则化处理所述高度函数和所述法向量函数,得到所述高度图和所述法向量图;所述法向量图包括水平方向法向量图和竖直方向法向量图;
第一整合模块,用于整合所述高度图的第一边缘图和所述法向量图的第二边缘图,得到包括高度和方向不连续的多个候选区域的整体边缘图;所述第一边缘图为对所述高度图进行边缘检测得到;所述第二边缘图为对法向量图进行边缘检测得到;
第二整合模块,用于整合所述高度图的第一轮廓线图和所述法向量图的第二轮廓线图,得到包括交互镶嵌的多个粗分多边形的第一整体轮廓线图;所述第一轮廓线图为对高度图进行直线检测得到;所述第二轮廓线图为对法向量图进行直线检测得到;
重构模块,用于根据所述整体边缘图中的候选区域和所述第一整体轮廓线图中粗分多边形对所述目标建筑物进行重构,得到目标建筑物的重构三维模型,以通过所述重构三维模型展示所述目标建筑物。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的面向城市信息模型建筑三维重建方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述的面向城市信息模型建筑三维重建方法的步骤。
说明书 :
面向城市信息模型建筑三维重建方法、装置、设备及介质
技术领域
背景技术
垂直、四个倾斜等五个不同的角度采集影像,将用户引入了符合人眼视觉的真实直观世界。
公里的倾斜摄影数据能达到20个G(Gigabyte)及以上,对服务器要求太高;模型表面粗糙,
每面墙由几百上千个三角面组成, 可简化空间大;不具备分析以及理解能力,无法进行交
互也不具备任何的数据分析能力。
发明内容
所述目标建筑物。
包括高度和方向不连续的多个候选区域的整体边缘图,包括:
的组成区域的整体边缘图,包括:
缘图。
二整体轮廓线图,包括:
包括:
标建筑物的重构三维模型;
形进行三角化处理,得到该子多边形对应的二维三角网格;根据所述二维三角网格和与所
述二维三角网格对应的目标三维形状的形状参数,对所述目标建筑物的进行重构,得到目
标建筑物的重构三维模型。
三维模型展示所述目标建筑物。
上述的面向城市信息模型建筑三维重建方法的步骤。
建筑三维重建方法的步骤。
二边缘图,得到包括高度和方向不连续的多个候选区域的整体边缘图;接着,整合所述高度
图的第一轮廓线图和所述法向量图的第二轮廓线图,得到包括交互镶嵌的多个粗分多边形
的第一整体轮廓线图;最后,根据所述整体边缘图中的候选区域和所述第一整体轮廓线图
中粗分多边形对所述目标建筑物进行重构,得到目标建筑物的重构三维模型,以通过所述
重构三维模型展示所述目标建筑物。通过本申请的方法大大降低目标建筑物的空间存储使
用率。
附图说明
对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据
这些附图获得其他相关的附图。
具体实施方式
仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附
图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操
作。 应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转
顺序或者同时实施。 此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一
个或多个其他操作,也可以从流程图中移除一个或多个操作。
此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的
范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做
出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
垂直、四个倾斜等五个不同的角度采集影像,将用户引入了符合人眼视觉的真实直观世界。
三维建筑物的单体化尤为重要 ,单体后的建筑物才能够赋予相应的属性信息 ,满足用户
的不同需求。在倾斜摄影测量中建筑物如何实现单体化是一项至关重要的研究内容 ,其独
立出的建筑物对模型库管理、建筑物属性编辑、三维可视化等应用都有重要意义。
高;模型表面粗糙, 每面墙由几百上千个三角面组成, 可简化空间大;不具备分析以及理
解能力,无法进行交互也不具备任何的数据分析能力。
据原始三维模型的高度图和法向量图对原始三维模型进行重构。
平方向法向量图(如图3b所示)和竖直方向法向量图(如图3c所示)。在对原始三维模型所处
的水平面进行采样的时候,沿水平面的x方向(水平方向)和y方向(竖直方向)按照预设特定
的采样间距r(在具体实施时一般取r=0.1m),对预设的每个采样点对应的原始三维模型最
高点高度和法向量进行采样,可以得到原始三维模型的高度函数h和法向量函数n:
方向法向量图(竖直方向法向量图)。
图4b所示)和竖直方向法向量图边缘图(如图4c所示),即分别对水平方向法向量图和竖直
方向法向量图做边缘检测得到水平方向法向量图边缘图和竖直方向法向量图边缘图。将第
一边缘图和第二边缘图进行叠加,得到整体边缘图(如图4d所示)。整体边缘图包括第一边
缘图和第二边缘图中的各个边缘将原始三维模型分割的高度和方向不连续的多个候选区
域S’。
括植被等。为了能够得到仅包括目标建筑物的重构三维模型,本申请中进行了除杂操作。本
申请通过结合原始三维模型的渲染图(如图5a所示),对整体边缘图进行除杂,进而基于除
杂后的整体边缘图得到洁净的重构三维模型。
杂质(如图5b所示),从多个候选区域中,去除包含杂质的区域,得到包括多个包含目标建筑
物的组成区域的整体边缘图。
据集训练,得到植被的语义分割模型。将渲染图输入到植被的语义分割模型中,得到植被的
语义分割模型输出的渲染图中每个像素的杂质置信度。
物的原始三维模型进行渲染得到的,所以是由高度图和法向量图整合得到的整体边缘图与
渲染图具有对应关系,即整体边缘图中包含目标建筑物的区域与渲染图中包含的目标建筑
物区域相同。例如,整体边缘图中包含的是目标建筑物的屋顶,渲染图中包含的也是目标建
筑物的屋顶。所以,将渲染图中包含杂质的像素对应到整体边缘图中,即可得到整体边缘图
中每个像素包含杂质的情况。也就是说,将渲染图中每个像素的杂质置信度作为整体边缘
图中与该像素点对应的像素点的第一置信度。
小于预设置信度阈值的时候,与该第二置信度对应的候选区域包含较多的杂质,在进行重
构的时候需要将该候选区域进行剔除。因为这部分包含杂质较多的区域参与重构的话,不
仅浪费了重构资源还影响了展示效果。所以,本申请根据候选区域包含杂质的第二置信度
和预设置信度阈值,从整体边缘图中去除与小于置信度阈值的第二置信度对应的异常区
域,得到包括多个组成区域S的整体边缘图。
向法向量图的轮廓线图(如图7b所示)和竖直方向方向法向量图的轮廓线图(如图7c所示)。
然后,将第一轮廓线图和第二轮廓线图进行叠加得到第一整体轮廓线图。第一整体轮廓线
图包括交互镶嵌的多个粗分多边形,这里的粗分多边形由第一轮廓线图中的轮廓线和第二
轮廓图中的轮廓线组成。
杂操作,进而整合高度图的第一轮廓线图、法向量图的第二轮廓线图和渲染图(如图7d所
示)的第三轮廓线图,得到包括交互镶嵌的多个候选多边形的第二整体轮廓线图;根据第二
整体轮廓线图中不同候选多边形之间的位置关系,对候选多边形进行合并处理,到包括交
互镶嵌的多个细分多边形的第二整体轮廓线图。
图、法向量图的第二轮廓线图、渲染图的第三轮廓线图。第一轮廓线图中包括多条轮廓线和
每条轮廓线的置信度;第二轮廓线图包括多条轮廓线和每条轮廓线的置信度;第三轮廓线
图中包括多条轮廓线和每条轮廓线的置信度。将第一轮廓线图、第二轮廓线图和第三轮廓
线图进行叠加得到整体轮廓线图,整体轮廓线图中包括多条轮廓线和每条轮廓线的置信
度。通过测量得到整体轮廓线图中每条轮廓线的长度,将整体轮廓线中的这些线按长度与
置信度乘积的值的大小进行排序, 并按这个顺序遍历合并与之方向相近距离小于某一阈
值的线段,得到若干条线段。把这些线段延长相交,将整体轮廓线图切割为多个候选多边形
构成集合。
edge 相对时两候选多边形相邻,删除两候选多边形间所有相对的half‑edge 合并两个相
邻候选多边形,得到合并后的细分多边形F。
界对目标建筑物进行重构,得到目标建筑物的重构三维模型。然后使用目标建筑物的重构
三维模型进行城市展示。
对目标建筑物进行重构。基于组成区域和细分多边形重构的方式较基于候选区域和粗分多
边形重构的方式具有更好的展示效果。
空间参数为组成区域对应拟合的目标三维形状的形状参数,这里的重构三维模型的边界参
数是细分多边形边界坐标。
确定组成区域对应拟合的目标三维形状和该目标三维形状对应的形状参数;然后,根据组
成区域对应的目标三维形状和第二整体轮廓线图中的细分多边形,确定第二整体轮廓线图
中每个细分多边形对应的目标三维形状;接着,根据任意两个细分多边形之间的位置关系
和两个细分多边形对应的目标三维形状,对细分多边形进行合并得到合并后的目标多边
形;最后,根据目标多边形与目标多边形对应的目标三维形状的形状参数对目标建筑物的
进行重构,得到目标建筑物的重构三维模型。
和该预测三维形状对应的评分和形状参数;根据每个预测三维形状对应的评分,从预测三
维形状中,选取评分最高的预测三维形状作为三维点云的候选三维形状;
三维形状的形状参数对目标建筑物的进行重构,得到目标建筑物的重构三维模型;若目标
多边形对应的目标三维形状为曲面图形,使用预设的与目标多边形对应的切割线,对目标
多边形进行切割,得到多个子多边形;对每个子多边形进行三角化处理,得到该子多边形对
应的二维三角网格;根据二维三角网格和与二维三角网格对应的目标三维形状的形状参
数,对目标建筑物的进行重构,得到目标建筑物的重构三维模型。
shape 的评分 Score(shape) 的表示如下:
新的形状集合(目标三维形状)B。
数后用得到拟合程度最高的三维形状参数来表示这片点云。
。过点P1作垂直于圆锥轴的平面。以过点P1方向为 的直线在该平面投影
与过点P2方向为 的直线在该平面的投影相交于点O,圆锥轴过O点。
边形间用一条边相连接,作为一个向量。 我们计算细分多边形与目标三维形状之间接的距
离:
的面积 ,用来表示结果的连续程度。
边形:如果两个细分多边形 和 存在共享边, 且两个细分多边形对应的目标三维形状
相同 , 那么我们删除 与 之间所有的共享边以合并这两个细分多边形得到
目标多边形。然后我们根据目标三维形状的形状参数和目标多边形确定的边界依次生成每
块目标多边形对应的三维模型。
曲面的采样角度为 :
状的参数,求得二维网格中所有顶点所对应的三维坐标。将二维网格中所有顶点抬升至对
应高度得到该区域的重构三维模型。
点数 152853800 764269 152089531 99。5%
面数 83271797 2331610 80940187 97。2%
建筑物。
包括:
括:
型;
到该子多边形对应的二维三角网格;根据二维三角网格和与二维三角网格对应的目标三维
形状的形状参数,对目标建筑物的进行重构,得到目标建筑物的重构三维模型。
该处理器上运行的计算机程序,其中,上述处理器执行上述计算机程序时实现上述的面向
城市信息模型建筑三维重建方法的步骤。
建方法。
处理器运行时执行上述的面向城市信息模型建筑三维重建方法的步骤。
能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集
成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦
合或直接耦合或通信连接可以是通过一些通信接口,系统或单元的间接耦合或通信连接,
可以是电性,机械或其它的形式。
单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机
软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计
算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的
存储介质包括:U盘、移动硬盘、只读存储器(Read‑Only Memory, ROM)、随机存取存储器
(Random Access Memory ,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本
申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想
到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应
技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围
之内。因此,本申请的保护范围应以权利要求的保护范围为准。