一种建筑数字孪生构建方法及系统转让专利
申请号 : CN202210123165.2
文献号 : CN114155299B
文献日 : 2022-04-26
发明人 : 周小平 , 王佳 , 冯驰原 , 郑洋 , 傅文峰
申请人 : 盈嘉互联(北京)科技有限公司 , 盈嘉互联(上海)建筑科技有限公司 , 深圳市盈嘉互联科技有限公司 , 盈嘉互联(北京)智慧科技有限公司 , 佛山市盈嘉智慧空间科技有限公司 , 深圳前海盈嘉数据服务有限公司 , 嘉兴乌镇盈嘉千镇科技有限公司 , 盈嘉互联科技(山东)有限公司
摘要 :
权利要求 :
1.一种建筑数字孪生构建方法,其特征在于,所述建筑数字孪生构建方法应用于终端设备中,通过所述终端设备提供一图形用户界面,所述图形用户界面上显示有数字孪生模型,所述数字孪生模型用于表征目标实体建筑在虚拟空间中映射的建筑信息模型,所述建筑数字孪生构建方法包括:
从安装于第一建筑场景内的第一拍摄装置中,获取所述第一建筑场景的监控视频流,并从所述监控视频流中,逐帧获取待处理图像帧;其中,所述第一建筑场景用于表征所述目标实体建筑内的一个实体建筑空间;
对所述待处理图像帧中包括的每一实体对象进行二维目标检测,并将得到的所述待处理图像帧的二维目标检测结果输入至预先训练好的三维位姿检测模型中,得到所述待处理图像帧的三维位姿检测结果;其中,所述二维目标检测结果至少包括:每一所述实体对象的所属类别以及每一所述实体对象在所述待处理图像帧中所在的图像区域边界框;所述三维位姿检测模型用于对所述待处理图像帧中每一所述实体对象在所述第一建筑场景内的实体位置与实体方向进行预测;
在像素坐标系与虚拟空间世界坐标系之间,利用所述第一拍摄装置的相机内参矩阵以及相机外参,对每一所述实体对象在所述三维位姿检测结果中的图像位置坐标进行坐标转换处理,得到每一所述实体对象在所述三维位姿检测结果中对应的实体位置坐标;其中,所述虚拟空间世界坐标系用于表征第一虚拟场景模型符合的模型坐标系;所述第一虚拟场景模型用于表征所述第一建筑场景在所述数字孪生模型中映射的建筑信息模型;
根据每一所述实体对象在所述三维位姿检测结果与所述第一虚拟场景模型之间的显示差异,对所述第一虚拟场景模型进行更新,并在所述图形用户界面上显示更新后的第一虚拟场景模型;其中,所述显示差异用于表征每一所述实体对象在实体方向上的方向显示差异和/或每一所述实体对象在实体位置上的位置显示差异;
其中,所述利用所述第一拍摄装置的相机内参矩阵以及相机外参,对每一所述实体对象在所述三维位姿检测结果中的图像位置坐标进行坐标转换处理,包括:针对每一所述实体对象,从所述三维位姿检测结果中,获取该实体对象在所述像素坐标系下的图像位置坐标;
在所述像素坐标系与相机坐标系之间,利用所述第一拍摄装置的相机内参矩阵,对该实体对象在所述像素坐标系下的图像位置坐标进行坐标转换处理,得到该实体对象在所述相机坐标系下的中间位置坐标;
在所述相机坐标系与所述虚拟空间世界坐标系之间,利用所述第一拍摄装置的相机外参,对该实体对象在所述相机坐标系下的中间位置坐标进行坐标转换处理,得到该实体对象在所述三维位姿检测结果中对应的实体位置坐标;其中,所述相机外参至少包括:所述第一拍摄装置的旋转矩阵和平移向量。
2.根据权利要求1所述的建筑数字孪生构建方法,其特征在于,所述将得到的所述待处理图像帧的二维目标检测结果输入至预先训练好的三维位姿检测模型中,得到所述待处理图像帧的三维位姿检测结果,包括:
将所述二维目标检测结果输入至所述三维位姿检测模型中,通过所述三维位姿检测模型,对所述二维目标检测结果中是否包含第一图像区域边界框进行检测;其中,所述第一图像区域边界框用于表征第一实体对象所在的图像区域边界框;所述第一实体对象用于表征需要在方向上区分所述三维位姿检测结果与第一虚拟场景模型之间的显示差异的实体对象;
当检测到所述二维目标检测结果中出现所述第一图像区域边界框时,通过所述三维位姿检测模型,对所述第一实体对象在所述第一建筑场景内的实体位置与实体方向进行预测,得到所述第一实体对象在所述待处理图像帧中的三维位姿检测结果;
当检测到所述二维目标检测结果中出现第二图像区域边界框时,通过所述三维位姿检测模型,对第二实体对象在所述第一建筑场景内的实体位置进行预测,得到所述第二实体对象在所述待处理图像帧中的三维位姿检测结果;其中,所述第二图像区域边界框用于表征第二实体对象所在的图像区域边界框;所述第二实体对象用于表征不需要在方向上区分所述三维位姿检测结果与第一虚拟场景模型之间的显示差异的实体对象。
3.根据权利要求2所述的建筑数字孪生构建方法,其特征在于,所述对所述第一实体对象在所述第一建筑场景内的实体位置与实体方向进行预测,得到所述第一实体对象在所述待处理图像帧中的三维位姿检测结果,包括:对所述第一实体对象在所述待处理图像帧中所在的外接立方体结构进行标定,得到第一外接立方体;
根据所述第一实体对象在所属类别下规定的实体正方向,在所述第一外接立方体的第一平面上,对所述实体正方向在所述第一建筑场景内的空间指向进行视觉标定,得到第一视觉标定结果;其中,所述第一平面用于表征所述第一外接立方体与第一参考平面之间相距最近的平面;所述第一参考平面位于所述第一建筑场景内;
从所述待处理图像帧中,获取所述第一平面的平面中心坐标,得到所述平面中心坐标在所述像素坐标系下的第一图像位置坐标;
将所述第一图像位置坐标与所述第一视觉标定结果作为所述第一实体对象在所述待处理图像帧中的三维位姿检测结果。
4.根据权利要求2所述的建筑数字孪生构建方法,其特征在于,所述对第二实体对象在所述第一建筑场景内的实体位置进行预测,得到所述第二实体对象在所述待处理图像帧中的三维位姿检测结果,包括:
从构成所述第二图像区域边界框的多条边界框线中,确定与第二参考平面之间相距最近的边界框线作为目标边界框线;其中,所述第二参考平面用于表征所述第二实体对象在所述第一建筑场景内所在的空间平面;
从所述待处理图像帧中,获取所述目标边界框线的中心点坐标,得到所述中心点坐标在所述像素坐标系下的第二图像位置坐标;
将所述第二图像位置坐标作为所述第二实体对象在所述待处理图像帧中的三维位姿检测结果。
5.根据权利要求3所述的建筑数字孪生构建方法,其特征在于,所述根据每一所述实体对象在所述三维位姿检测结果与第一虚拟场景模型之间的显示差异,对所述第一虚拟场景模型进行更新,包括:
获取所述第一实体对象在所述三维位姿检测结果中对应的实体位置坐标作为第一真实坐标;其中,所述第一真实坐标用于表征所述第一图像位置坐标在所述像素坐标系与所述虚拟空间世界坐标系之间的坐标转换结果;
在所述第一虚拟场景模型中的所述第一真实坐标处,对所述第一虚拟场景模型中是否出现所述第一实体对象在虚拟空间中映射的第一虚拟对象进行检测;
当检测到第一目标位置处未出现所述第一虚拟对象时,则在所述第一目标位置处新增一个所述第一虚拟对象,并结束对所述第一虚拟场景模型的更新操作;其中,所述第一目标位置用于表征所述第一虚拟场景模型中的所述第一真实坐标处。
6.根据权利要求4所述的建筑数字孪生构建方法,其特征在于,所述根据每一所述实体对象在所述三维位姿检测结果与第一虚拟场景模型之间的显示差异,对所述第一虚拟场景模型进行更新,包括:
获取所述第二实体对象在所述三维位姿检测结果中对应的实体位置坐标作为第二真实坐标;其中,所述第二真实坐标用于表征所述第二图像位置坐标在所述像素坐标系与所述虚拟空间世界坐标系之间的坐标转换结果;
在所述第一虚拟场景模型中的所述第二真实坐标处,对所述第一虚拟场景模型中是否出现所述第二实体对象在虚拟空间中映射的第二虚拟对象进行检测;
当检测到第二目标位置处未出现所述第二虚拟对象时,则在所述第二目标位置处新增一个所述第二虚拟对象,并结束对所述第一虚拟场景模型的更新操作;其中,所述第二目标位置用于表征所述第一虚拟场景模型中的所述第二真实坐标处。
7.根据权利要求5所述的建筑数字孪生构建方法,其特征在于,在所述对所述第一虚拟场景模型中是否出现所述第一实体对象在虚拟空间中映射的第一虚拟对象进行检测之后,所述建筑数字孪生构建方法还包括:
当检测到所述第一目标位置处出现目标虚拟对象时,按照所述第一视觉标定结果,对所述目标虚拟对象在所述第一目标位置处的显示方向进行修正,并结束对所述第一虚拟场景模型的更新操作;其中,所述目标虚拟对象用于表征在方向上与所述第一实体对象存在映射错误的第一虚拟对象。
8.一种建筑数字孪生构建系统,其特征在于,所述建筑数字孪生构建系统至少包括终端设备以及多个拍摄装置,通过所述终端设备提供一图形用户界面,所述图形用户界面上显示有数字孪生模型,所述数字孪生模型用于表征目标实体建筑在虚拟空间中映射的建筑信息模型,其中,所述多个拍摄装置安装于所述目标实体建筑内的不同建筑场景中;所述终端设备,用于:
从安装于第一建筑场景内的第一拍摄装置中,获取所述第一建筑场景的监控视频流,并从所述监控视频流中,逐帧获取待处理图像帧;其中,所述第一建筑场景用于表征所述目标实体建筑内的一个实体建筑空间;
对所述待处理图像帧中包括的每一实体对象进行二维目标检测,并将得到的所述待处理图像帧的二维目标检测结果输入至预先训练好的三维位姿检测模型中,得到所述待处理图像帧的三维位姿检测结果;其中,所述二维目标检测结果至少包括:每一所述实体对象的所属类别以及每一所述实体对象在所述待处理图像帧中所在的图像区域边界框;所述三维位姿检测模型用于对所述待处理图像帧中每一所述实体对象在所述第一建筑场景内的实体位置与实体方向进行预测;
在像素坐标系与虚拟空间世界坐标系之间,利用所述第一拍摄装置的相机内参矩阵以及相机外参,对每一所述实体对象在所述三维位姿检测结果中的图像位置坐标进行坐标转换处理,得到每一所述实体对象在所述三维位姿检测结果中对应的实体位置坐标;其中,所述虚拟空间世界坐标系用于表征第一虚拟场景模型符合的模型坐标系;所述第一虚拟场景模型用于表征所述第一建筑场景在所述数字孪生模型中映射的建筑信息模型;
根据每一所述实体对象在所述三维位姿检测结果与所述第一虚拟场景模型之间的显示差异,对所述第一虚拟场景模型进行更新,并在所述图形用户界面上显示更新后的第一虚拟场景模型;其中,所述显示差异用于表征每一所述实体对象在实体方向上的方向显示差异和/或每一所述实体对象在实体位置上的位置显示差异;
其中,在所述利用所述第一拍摄装置的相机内参矩阵以及相机外参,对每一所述实体对象在所述三维位姿检测结果中的图像位置坐标进行坐标转换处理时,所述终端设备,用于:
针对每一所述实体对象,从所述三维位姿检测结果中,获取该实体对象在所述像素坐标系下的图像位置坐标;
在所述像素坐标系与相机坐标系之间,利用所述第一拍摄装置的相机内参矩阵,对该实体对象在所述像素坐标系下的图像位置坐标进行坐标转换处理,得到该实体对象在所述相机坐标系下的中间位置坐标;
在所述相机坐标系与所述虚拟空间世界坐标系之间,利用所述第一拍摄装置的相机外参,对该实体对象在所述相机坐标系下的中间位置坐标进行坐标转换处理,得到该实体对象在所述三维位姿检测结果中对应的实体位置坐标;其中,所述相机外参至少包括:所述第一拍摄装置的旋转矩阵和平移向量。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的建筑数字孪生构建方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述的建筑数字孪生构建方法的步骤。
说明书 :
一种建筑数字孪生构建方法及系统
技术领域
背景技术
的全生命周期过程。
能够反映目标实体建筑的物理与功能特性的建筑信息模型,将构建的建筑信息模型作为目
标实体建筑的数字孪生模型,以通过数字孪生模型来便捷性的管理目标实体建筑的过程。
内装潢设计改变、房间内陈设布局变更、人员流动等)时,会导致数字孪生模型中的模型信
息失真,进而,造成用户对于目标实体建筑的维护与管理效率降低。
发明内容
模型进行联动更新处理,以在目标实体建筑的全生命周期内,维持实体建筑与虚拟模型的
虚实一致性,从而提高用户对于目标实体建筑的维护与管理效率。
上显示有数字孪生模型,所述数字孪生模型用于表征目标实体建筑在虚拟空间中映射的建
筑信息模型,所述建筑数字孪生构建方法包括:
述目标实体建筑内的一个实体建筑空间;
处理图像帧的三维位姿检测结果;其中,所述二维目标检测结果至少包括:每一所述实体对
象的所属类别以及每一所述实体对象在所述待处理图像帧中所在的图像区域边界框;所述
三维位姿检测模型用于对所述待处理图像帧中每一所述实体对象在所述第一建筑场景内
的实体位置与实体方向进行预测;
标转换处理,得到每一所述实体对象在所述三维位姿检测结果中对应的实体位置坐标;其
中,所述虚拟空间世界坐标系用于表征第一虚拟场景模型符合的模型坐标系;所述第一虚
拟场景模型用于表征所述第一建筑场景在所述数字孪生模型中映射的建筑信息模型;
第一虚拟场景模型;其中,所述显示差异用于表征每一所述实体对象在实体方向上的方向
显示差异和/或每一所述实体对象在实体位置上的位置显示差异。
包括:
一图像区域边界框用于表征第一实体对象所在的图像区域边界框;所述第一实体对象用于
表征需要在方向上区分所述三维位姿检测结果与第一虚拟场景模型之间的显示差异的实
体对象;
预测,得到所述第一实体对象在所述待处理图像帧中的三维位姿检测结果;
实体对象在所述待处理图像帧中的三维位姿检测结果;其中,所述第二图像区域边界框用
于表征第二实体对象所在的图像区域边界框;所述第二实体对象用于表征不需要在方向上
区分所述三维位姿检测结果与第一虚拟场景模型之间的显示差异的实体对象。
测结果,包括:
第一视觉标定结果;其中,所述第一平面用于表征所述第一外接立方体与第一参考平面之
间相距最近的平面;所述第一参考平面位于所述第一建筑场景内;
象在所述第一建筑场景内所在的空间平面;
理,包括:
所述相机坐标系下的中间位置坐标;
体对象在所述三维位姿检测结果中对应的实体位置坐标;其中,所述相机外参至少包括:所
述第一拍摄装置的旋转矩阵和平移向量。
与所述虚拟空间世界坐标系之间的坐标转换结果;
目标位置用于表征所述第一虚拟场景模型中的所述第一真实坐标处。
与所述虚拟空间世界坐标系之间的坐标转换结果;
目标位置用于表征所述第一虚拟场景模型中的所述第二真实坐标处。
包括:
虚拟场景模型的更新操作;其中,所述目标虚拟对象用于表征在方向上与所述第一实体对
象存在映射错误的第一虚拟对象。
所述图形用户界面上显示有数字孪生模型,所述数字孪生模型用于表征目标实体建筑在虚
拟空间中映射的建筑信息模型,其中,所述多个拍摄装置安装于所述目标实体建筑内的不
同建筑场景中;所述终端设备,用于:
述目标实体建筑内的一个实体建筑空间;
处理图像帧的三维位姿检测结果;其中,所述二维目标检测结果至少包括:每一所述实体对
象的所属类别以及每一所述实体对象在所述待处理图像帧中所在的图像区域边界框;所述
三维位姿检测模型用于对所述待处理图像帧中每一所述实体对象在所述第一建筑场景内
的实体位置与实体方向进行预测;
标转换处理,得到每一所述实体对象在所述三维位姿检测结果中对应的实体位置坐标;其
中,所述虚拟空间世界坐标系用于表征第一虚拟场景模型符合的模型坐标系;所述第一虚
拟场景模型用于表征所述第一建筑场景在所述数字孪生模型中映射的建筑信息模型;
第一虚拟场景模型;其中,所述显示差异用于表征每一所述实体对象在实体方向上的方向
显示差异和/或每一所述实体对象在实体位置上的位置显示差异。
现上述的建筑数字孪生构建方法的步骤。
方法的步骤。
理图像帧;对待处理图像帧中包括的每一实体对象进行二维目标检测,并将得到的待处理
图像帧的二维目标检测结果输入至预先训练好的三维位姿检测模型中,得到待处理图像帧
的三维位姿检测结果;在像素坐标系与虚拟空间世界坐标系之间,利用第一拍摄装置的相
机内参矩阵以及相机外参,对每一实体对象在三维位姿检测结果中的图像位置坐标进行坐
标转换处理,得到每一实体对象在三维位姿检测结果中对应的实体位置坐标;根据每一实
体对象在三维位姿检测结果与第一虚拟场景模型之间的显示差异,对第一虚拟场景模型进
行更新,并在图形用户界面上显示更新后的第一虚拟场景模型。这样,本申请通过利用目标
实体建筑内采集到的监控视频数据,对该目标实体建筑在虚拟空间中映射的建筑信息模型
进行联动更新处理,以在目标实体建筑的全生命周期内,维持实体建筑与虚拟模型的一致
性,从而提高用户对于目标实体建筑的维护与管理效率。
附图说明
对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据
这些附图获得其他相关的附图。
具体实施方式
仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附
图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操
作。 应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转
顺序或者同时实施。 此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一
个或多个其他操作,也可以从流程图中移除一个或多个操作。
此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的
范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做
出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
装潢设计改变、房间内陈设布局变更、人员流动等)时,会导致数字孪生模型中的模型信息
失真,进而,造成用户对于目标实体建筑的维护与管理效率降低。
获取待处理图像帧;对待处理图像帧中包括的每一实体对象进行二维目标检测,并将得到
的待处理图像帧的二维目标检测结果输入至预先训练好的三维位姿检测模型中,得到待处
理图像帧的三维位姿检测结果;在像素坐标系与虚拟空间世界坐标系之间,利用第一拍摄
装置的相机内参矩阵以及相机外参,对每一实体对象在三维位姿检测结果中的图像位置坐
标进行坐标转换处理,得到每一实体对象在三维位姿检测结果中对应的实体位置坐标;根
据每一实体对象在三维位姿检测结果与第一虚拟场景模型之间的显示差异,对第一虚拟场
景模型进行更新,并在图形用户界面上显示更新后的第一虚拟场景模型。这样,本申请通过
利用目标实体建筑内采集到的监控视频数据,对该目标实体建筑在虚拟空间中映射的建筑
信息模型进行联动更新处理,以在目标实体建筑的全生命周期内,维持实体建筑与虚拟模
型的一致性,从而提高用户对于目标实体建筑的维护与管理效率。
说明的是:
联动更新处理,以在目标实体建筑的全生命周期内,维持实体建筑与虚拟模型的一致性的
问题。基于此,本申请实施例提供的一种建筑数字孪生构建方法及系统,也可以理解为:本
申请实施例提供的一种面向建筑数字孪生的模型管理方法及系统;其中,被管理(即包括初
期的构建以及后期的更新与维护)的模型即为目标实体建筑在虚拟空间中映射的建筑信息
模型。
筑数字孪生构建方法则可以基于云交互系统来实现与执行,其中,云交互系统至少包括服
务器和客户端设备(也即终端设备)。
射的BIM(Building Information Modeling,建筑信息模型)模型。
拍摄装置201,其中,拍摄装置201的数量不限,拍摄装置201散布于目标实体建筑中,也即,
拍摄装置201安装于目标实体建筑内的不同建筑场景中;每一个拍摄装置201与终端设备
200之间可以通过有线网络/无线网络的方式,按照预先设定的通信协议(如RTSP(Real
Time Streaming Protocol,实时流传输协议)协议等)进行数据传输与交互;在数据交互过
程中,终端设备200可以控制每个拍摄装置201对安装位置处的建筑场景进行监控拍摄,并
接收不同拍摄装置201反馈的监控视频数据(即监控视频流),以便终端设备200可以对目标
实体建筑内的场景变化(如室内装潢设计改变、房间内陈设布局变更、人员流动等)进行实
时的监控。
围之间关系不定,因此,本申请实施例对于第一建筑场景内安装的第一拍摄装置的数量不
进行具体限定。
摄装置在房间A中能够拍摄到的部分区域;对于第一建筑场景的区域大小,本申请实施例同
样不作任何限定。
所述待处理图像帧的三维位姿检测结果。
果还可以包括:对于检测出的每一所述实体对象的所属类别的置信度;其中,所述置信度用
于表征二维目标检测结果的可信度,置信度越高则表示实体对象在二维目标检测结果中检
测出的具体类别越准确,也即,二维目标检测结果的可信度越高。
图像帧中包括的实体对象进行2D(two‑dimensional,二维)目标检测,从而,识别出每一实
体对象的所属类别以及该实体对象在待处理图像帧中所在的图像区域(即所述图像区域边
界框中圈出的图像区域)。
MultiBox Detector,单激发多盒探测器)目标检测算法等来实现上述2D目标检测功能,对
于具体的目标检测算法(即步骤S102中进行二维目标检测的具体底层技术工具),本申请实
施例不作任何限定。
现在目标实体建筑内的静态物体或者运动目标。
筒、文件夹等)、桌面放置物(如绿植、水杯、纸巾盒等)以及办公人员;其中,办公人员既包括
处于办公状态(如坐在电脑前进行办公)的人员,也包括处于非办公状态(如从工位上站起,
无法明确处于办公状态)的人员;对于实体对象所属类别的具体数量以及具体类别范围,本
申请实施例不作任何限定。
(如牛、羊等)、农场工具(如农用车辆、铁铲等)以及农场人员;其中,农场人员既包括农场中
的工作人员,也包括来农场参观的外来人员。
及具体类别范围,本申请实施例不作任何限定。
时,三维位姿检测模型可以对二维目标检测结果中检测出的每一个实体对象进行3Dbox检
测,得到实体对象在待处理图像帧中的3D目标检测框。
果中的图像区域边界框不同的是,在步骤S102的三维位姿检测结果中,上述3D目标检测框
是以三维立方体框架的形式,圈出实体对象在待处理图像帧中所在的图像区域的。
后,实体对象椅子a在待处理图像帧中所在的二维图像区域边界框,也即,图像区域边界框
300相当于实体对象椅子a在第一建筑场景内的实体位置进行二维检测后的可视化标定结
果。
测模型,对实体对象椅子a在第一建筑场景内的实体位置与实体方向进行预测后得到的三
维位姿检测结果,其中,白色箭头的指向用于表征椅子a在第一建筑场景内的实体方向(即
椅子在空间中的开口朝向);也即,3D目标检测框301相当于实体对象椅子a在第一建筑场景
内的实体位置和实体方向进行三维检测后的可视化标定结果。
进行坐标转换处理,得到每一所述实体对象在所述三维位姿检测结果中对应的实体位置坐
标。
型。
对象在所述相机坐标系下的中间位置坐标。
型号的相机内参一致。因此,相机内参矩阵可以直接根据第一拍摄装置的装置型号确定。
到该实体对象在所述三维位姿检测结果中对应的实体位置坐标。
向量用于表征空间原点(虚拟空间世界坐标系下的)在所述相机坐标系中的位置;对于上述
旋转矩阵与平移向量的具体获取方法,本申请实施例不作任何限定。
第一虚拟场景模型。
示差异可以分为以下几种情况,具体的:
对象在第一建筑场景中的实体方向与虚拟对象在第一虚拟场景模型中的模型方向不同。
理需求(如终端设备接收到用户输入的目标控制指令)时,终端设备可以响应检测到的所述
管理需求,对所述虚拟对象在第一虚拟场景模型中的模型方向进行修正,以使修正后的虚
拟对象在第一虚拟场景模型中的模型方向与实体对象在第一建筑场景中的实体方向相同。
以默认无需区分实体对象与虚拟对象在实体方向上的显示差异,也即,此时,终端设备可以
无需对实体对象在第一虚拟场景模型中映射的虚拟对象进行更新。
可以在目标虚拟位置处新增一个与实体对象相匹配的虚拟对象。此时,所述相匹配至少包
括实体类别相匹配,除所述实体类型相匹配之外,还可以包括实体方向相匹配。
位置处的虚拟对象删除即可。
赘述。
进行预测,此时,考虑到用户对于不同类别的实体对象可能具有不同的管理需求(如,用户
对于有些类别的实体对象在第一建筑场景内的朝向具有管理需求,对于其他类别的实体对
象则只需要管理实体位置即可),因此,在本申请实施例中,还可以根据实体对象的具体类
别,来对不同类别的实体对象进行不同的三维位姿检测,具体的:
型之间的显示差异的实体对象。
椅子a即为此场景下的第一实体对象,椅子a的二维目标检测结果如图3a所示,此时,图像区
域边界框300即为上述的第一图像区域边界框。
向进行预测,得到所述第一实体对象在所述待处理图像帧中的三维位姿检测结果。
检测模型进行实体方向预测的难度较低(即低于预设的处理难度阈值/数据处理量低于预
设的数据处理量阈值)的实体对象(如3D目标检测模型容易获取/空间朝向容易区分的椅子
等实体对象);另一方面还可以用于表征实体方向上的差异对于第一建筑场景的管理产生
较大影响(即实体方向差异与第一建筑场景的管理效率之间的关联程度高于预设的关联系
数)的实体对象(如若被管理的第一建筑场景是酒店房间b,则对于酒店房间b内的桌椅等实
体对象的摆放位置以及摆放方向都需要按照规范的排布方式进行管理和摆放)。
括S501‑S504;具体的:
定,即可得到如3D目标检测框301所示的第一外接立方体。
定,得到第一视觉标定结果。
对此不进行任何限定。
的开口方向(即椅背的外法线方向)规定为实体正方向;对于电脑类的实体对象,通用领域
下一般以电脑屏幕的外法线方向作为实体正方向。
可视化的标定(如图3b所示的箭头形式),以便于后续步骤中在方向上区分第一实体对象在
三维位姿检测结果与第一虚拟场景模型之间的显示差异。因此,对于实体正方向的具体方
向设定,本申请实施例不作任何限定。
a的实体正方向为椅子的开口方向,如图3b所示,还可以通过三维位姿检测模型,在3D目标
检测框301的底部平面上标出椅子a的实体正方向(如白色箭头部分所示),进而得到如图3b
所示的椅子a的第一视觉标定结果(即表征实体位置预测结果的3D目标检测框301+表征实
体方向的白色箭头)。
使用的地面),因此,可以将第一平面的平面中心坐标表征为第一实体对象在第一建筑场景
内的像素坐标系下的具体位置坐标,也即,将第一平面的平面中心坐标作为第一图像位置
坐标。
一实体对象在像素坐标系下的实体位置。由于第一虚拟场景模型/数字孪生模型等BIM建筑
信息模型都是基于第一建筑场景/目标实体建筑的模型坐标(即虚拟空间世界坐标系下的
位置坐标)建立的,因此,为了便于后续步骤S104中可以更加简便快速的在位置上区分第一
实体对象在三维位姿检测结果与第一虚拟场景模型之间的显示差异,还可以执行完步骤
S503之后,以相机坐标系作为坐标转换的中转站(像素坐标系与虚拟空间世界坐标系之间
的转换依赖于相机坐标系的中转),利用相机内参矩阵以及相机外参,优先得到第一实体对
象在虚拟空间世界坐标系下的实体位置坐标(即可以在执行完步骤S503之后,执行上述步
骤S103处的坐标转换步骤)。
按照以下公式完成像素坐标(u,v,1)在像素坐标系与相机坐标系之间的转换,得到相机坐
标系下的第一位置坐标(x,y,z),具体的:
标(x,y,z)在相机坐标系与虚拟空间世界坐标系之间的转换,得到第一实体对象在虚拟空
间世界坐标系下的实体位置坐标(X,Y,Z),具体的:
结果)。
述第二实体对象在所述待处理图像帧中的三维位姿检测结果。
模型之间的显示差异的实体对象。
对象包括除Q类别和R类别(即第一实体对象)之外的所有能检测到的实体对象。
此,在第一种可选实施方案下,可以不对第二实体对象进行三维位姿检测,也即,直接使用
二维目标检测结果检测出的第二图像区域边界框来表征第二实体对象在像素坐标系下的
实体位置,在后续步骤需要比较第二实体对象在第一虚拟场景模型(相当于第二实体对象
在虚拟空间世界坐标系下的实体位置)与第一建筑场景内的位置是否发生变化时,只需在
像素坐标系与虚拟空间世界坐标系之间进行坐标转换,将两个待比较的位置坐标转换到同
一坐标系下进行比较即可。
在执行步骤S403时,该方法还包括S601‑S603;具体的:
示,从绿植c的第二图像区域边界框中,确定与桌面之间相距最近的底部边界框线作为目标
边界框线。
的坐标转换步骤,以得到第二实体对象在三维位姿检测结果中对应的实体位置坐标(即第
二实体对象的第二图像位置坐标执行完步骤S103后得到的坐标转换结果)。
赘述。
对象),可以执行不同的更新步骤,具体的:
景模型之间的显示差异,在一个可选的实施方案中,图7示出了本申请实施例所提供的一种
针对第一实体对象的模型更新方法的流程示意图,如图7所示,在执行步骤S104时,该方法
还包括S701‑S704;具体的:
处的坐标转换之后,可以从第一虚拟场景模型中,确定第一真实坐标800处,存在椅子a在虚
拟空间中映射的椅子模型a1(即第一虚拟对象);此时,相当于上述步骤中所述的情况一,也
即,终端设备无需对第一实体对象椅子a在第一虚拟场景模型中映射的椅子模型a1进行更
新。
拟对象;
一虚拟对象),此时,可以按照上述步骤1‑4的方法,从预先存储的基础三维模型库中,根据
员工b所属的人体实体类别,确定人体实体类别映射的多个人体对象模型的模型索引图片,
从多个人体对象模型中确定出身高比例与员工b最为匹配的人体对象模型b1,并将人体对
象模型b1放置在第一虚拟场景模型内的第一目标位置801处,得到如图8b所示的更新后的
第一虚拟场景模型。
第一虚拟场景模型的更新操作。
在第一真实坐标800处的位置与当前图中所示的方向相反(即椅子模型a1的开口方向远离
桌子方向),则确定椅子模型a1为上述目标虚拟对象,只需将椅子模型a1的开口方向调整为
与椅子a相同即可。
景模型之间的显示差异,在一个可选的实施方案中,图9示出了本申请实施例所提供的一种
针对第二实体对象的模型更新方法的流程示意图,如图9所示,在执行步骤S104时,该方法
还包括S901‑S903;具体的:
对两者位置是否一致(即两者位置之间的距离差异小于预设偏差阈值)即可。
题的原理与本申请上述实施例中的建筑数字孪生构建方法相似,因此,建筑数字孪生构建
系统的实施可以参见前述建筑数字孪生构建方法的实施,重复之处不再赘述。
个拍摄装置201,通过终端设备200提供一图形用户界面,所述图形用户界面上显示有数字
孪生模型,所述数字孪生模型用于表征目标实体建筑在虚拟空间中映射的建筑信息模型,
其中,多个拍摄装置201安装于所述目标实体建筑内的不同建筑场景中;终端设备200,用
于:
述目标实体建筑内的一个实体建筑空间;
处理图像帧的三维位姿检测结果;其中,所述二维目标检测结果至少包括:每一所述实体对
象的所属类别以及每一所述实体对象在所述待处理图像帧中所在的图像区域边界框;所述
三维位姿检测模型用于对所述待处理图像帧中每一所述实体对象在所述第一建筑场景内
的实体位置与实体方向进行预测;
标转换处理,得到每一所述实体对象在所述三维位姿检测结果中对应的实体位置坐标;其
中,所述虚拟空间世界坐标系用于表征第一虚拟场景模型符合的模型坐标系;所述第一虚
拟场景模型用于表征所述第一建筑场景在所述数字孪生模型中映射的建筑信息模型;
第一虚拟场景模型;其中,所述显示差异用于表征每一所述实体对象在实体方向上的方向
显示差异和/或每一所述实体对象在实体位置上的位置显示差异。
时,终端设备200,具体用于:
行检测;其中,所述第一图像区域边界框用于表征第一实体对象所在的图像区域边界框;所
述第一实体对象用于表征需要在方向上区分所述三维位姿检测结果与第一虚拟场景模型
之间的显示差异的实体对象;
预测,得到所述第一实体对象在所述待处理图像帧中的三维位姿检测结果;
实体对象在所述待处理图像帧中的三维位姿检测结果;其中,所述第二图像区域边界框用
于表征第二实体对象所在的图像区域边界框;所述第二实体对象用于表征不需要在方向上
区分所述三维位姿检测结果与第一虚拟场景模型之间的显示差异的实体对象。
检测结果时,终端设备200,具体用于:
第一视觉标定结果;其中,所述第一平面用于表征所述第一外接立方体与第一参考平面之
间相距最近的平面;所述第一参考平面位于所述第一建筑场景内;
端设备200,具体用于:
象在所述第一建筑场景内所在的空间平面;
理时,终端设备200,具体用于:
所述相机坐标系下的中间位置坐标;
体对象在所述三维位姿检测结果中对应的实体位置坐标;其中,所述相机外参至少包括:所
述第一拍摄装置的旋转矩阵和平移向量。
200,具体用于:
与所述虚拟空间世界坐标系之间的坐标转换结果;
目标位置用于表征所述第一虚拟场景模型中的所述第一真实坐标处。
200,具体还用于:
与所述虚拟空间世界坐标系之间的坐标转换结果;
目标位置用于表征所述第一虚拟场景模型中的所述第二真实坐标处。
虚拟场景模型的更新操作;其中,所述目标虚拟对象用于表征在方向上与所述第一实体对
象存在映射错误的第一虚拟对象。
存储器1001上并可在该处理器1002上运行的计算机程序,其中,上述处理器1002执行上述
计算机程序时实现上述的建筑数字孪生构建方法的步骤;当计算机设备1000运行时,处理
器1002与存储器1001之间通过总线通信。
孪生构建方法。
执行上述的建筑数字孪生构建方法的步骤。
辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可
以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间
的耦合或直接耦合或通信连接可以是通过一些通信接口,系统或单元的间接耦合或通信连
接,可以是电性,机械或其它的形式。
网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。
对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计
算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个
人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read‑Only Memory, ROM)、随机存取
存储器(Random Access Memory ,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员
在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻
易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使
相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护
范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。