基于三维模型的重力方向确定方法、装置、计算机设备转让专利

申请号 : CN202111132160.8

文献号 : CN113570649B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 李鹏黄文琦曾群生吴洋周锐烨陈佳捷

申请人 : 南方电网数字电网研究院有限公司

摘要 :

本申请涉及一种基于三维模型的重力方向确定方法、装置、计算机设备。所述方法包括:终端获取电网系统的监测区域的多帧监测图像和RTK数据,根据多帧监测图像生成监测区域的三维点云,对三维点云进行语义分割,得到监测区域中的目标物体的三维模型,根据RTK数据,获取目标物体的三维模型中的各目标点的磁偏角,根据各目标点的磁偏角调整目标物体的重力方向。RTK数据具有精度高的特性,利用RTK数据计算目标点的磁偏角,从而确定目标物体的重力方向,可以有效提高重力方向调整的精确度,减小误差,避免了主观因素的影响,而且整个方法为计算机设备运行,不需要人为操作,大幅提高了基于三维模型的重力方向确定的计算效率。

权利要求 :

1.一种基于三维模型的重力方向确定方法,其特征在于,所述方法包括:获取电网系统的监测区域的多帧监测图像和RTK数据;

根据所述多帧监测图像生成稀疏三维点云;利用拍摄所述监测图像的摄像设备的相机位姿和所述多帧监测图像,获取所述多帧监测图像对应的深度图;基于所述相机位姿、所述深度图和所述稀疏三维点云,生成所述三维点云;

对所述三维点云进行语义分割,得到所述监测区域中的目标物体的三维模型;

在所述目标物体的三维模型对应的三维坐标系中确定预设数量的目标点;根据所述RTK数据计算各所述目标点的初始磁偏角;对所述各目标点的初始磁偏角在预设方向上旋转预设角度,得到各所述目标点的磁偏角;

根据所述各目标点的磁偏角调整所述目标物体的重力方向。

2.根据权利要求1所述的方法,其特征在于,所述根据所述各目标点的磁偏角调整所述目标物体的重力方向,包括:

根据所述各目标点的磁偏角与所述目标物体重力方向的磁偏角的差值大小进行相对位置关系的判断,从而进行相应调整;其中,若所述各目标点的磁偏角减去所述目标物体重力方向的磁偏角的差值为正值,将所述目标物体的重力方向向东调整至所述各目标点的磁偏角处;若所述目标点的磁偏角减去所述目标物体重力方向的磁偏角的差值为负值,将所述目标物体的重力方向向西调整至所述各目标点的磁偏角处。

3.根据权利要求1或2所述的方法,其特征在于,所述根据所述各目标点的磁偏角调整所述目标物体的重力方向,包括:计算各所述目标点的磁偏角的平均磁偏角;

根据所述平均磁偏角调整所述目标物体的重力方向。

4.根据权利要求1或2所述的方法,其特征在于,所述根据所述RTK数据计算各所述目标点的初始磁偏角,包括:

根据所述RTK数据获取各所述目标点的经度、纬度、地磁强度,根据各所述目标点的所述经度、所述纬度、所述地磁强度计算各所述目标点的初始磁偏角;各所述目标点具有不同的磁偏角。

5.根据权利要求4所述的方法,其特征在于,所述根据所述多帧监测图像生成稀疏三维点云,包括:

提取每帧所述监测图像的特征点;

对每相邻两帧监测图像的特征点进行特征匹配,得到所述每相邻两帧监测图像的匹配特征点对;

获取所述匹配特征点对在所述多帧监测图像对应的同一坐标系中的位置坐标;

根据所述匹配特征点对在所述同一坐标系中位置坐标,构建所述稀疏三维点云。

6.根据权利要求5所述的方法,其特征在于,所述获取所述匹配特征点对在所述多帧监测图像对应的同一坐标系中的位置坐标,包括:根据所述匹配特征点对确定所述每相邻两帧监测图像的相对位置和朝向;

根据所有的所述每相邻两帧监测图像的相对位置和朝向,确定所述多帧监测图像在同一坐标系下的相机位置和朝向;

根据所述同一坐标系下的相机位置和朝向,通过三角化方法计算各所述匹配特征点对在所述同一坐标系中位置坐标。

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:采用表面网格提取技术根据所述三维点云获取稠密三维网格模型;

所述对所述三维点云进行语义分割,得到所述监测区域中的目标物体的三维模型,包括:

对所述稠密三维网格模型进行语义分割,得到所述监测区域中的目标物体的三维模型。

8.一种基于三维模型的重力方向确定装置,其特征在于,所述装置包括:第一获取模块,用于获取电网系统的监测区域的多帧监测图像和RTK数据;

第一生成模块,用于根据所述多帧监测图像生成稀疏三维点云;利用拍摄所述监测图像的摄像设备的相机位姿和所述多帧监测图像,获取所述多帧监测图像对应的深度图;基于所述相机位姿、所述深度图和所述稀疏三维点云,生成所述三维点云;

分割模块,用于对所述三维点云进行语义分割,得到所述监测区域中的目标物体的三维模型;

第二获取模块,用于在所述目标物体的三维模型对应的三维坐标系中确定预设数量的目标点;根据所述RTK数据计算各所述目标点的初始磁偏角;对所述各目标点的初始磁偏角在预设方向上旋转预设角度,得到各所述目标点的磁偏角;

调整模块,用于根据所述各目标点的磁偏角调整所述目标物体的重力方向。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

说明书 :

基于三维模型的重力方向确定方法、装置、计算机设备

技术领域

[0001] 本申请涉及电网系统技术领域,特别是涉及一种基于三维模型的重力方向确定方法、装置、计算机设备。

背景技术

[0002] 随着我国经济的迅速发展,各行业对电能的需求不断增长,电网规模也在不断扩大,因此,对电网线路的巡检以及维护提出了更高的要求。输电线路地理环境复杂多样,与
空间位置关系具有很大关系,但是基于二维视觉效果的运维管理具有一定局限性,包含的
信息不够完整、丰富,因此三维模型被广泛应用于铁塔、输电线路的规划中,但采集数据时
受到角度等影响,单个物体模型的输出物重力方向不一定垂直于地面,导致物体模型难以
操作衡量等。
[0003] 现有技术,通常是认为修改物体模型的输出物的重力方向,例如,将生成的物体模型导入unity 引擎,用户利用 unity 引擎修改输出物的重力方向的坐标值达到控制全局
重力方向的目的。
[0004] 但是,现有的修改重力方向的方法,存在效率低下、准确率低的问题。

发明内容

[0005] 基于此,有必要针对上述技术问题,提供一种能够提高计算效率与准确率的基于三维模型的重力方向确定方法、装置、计算机设备。
[0006] 一种基于三维模型的重力方向确定方法,所述方法包括:
[0007] 获取电网系统的监测区域的多帧监测图像和RTK数据;
[0008] 根据所述多帧监测图像生成所述监测区域的三维点云;
[0009] 对所述三维点云进行语义分割,得到所述监测区域中的目标物体的三维模型;
[0010] 根据所述RTK数据,获取所述目标物体的三维模型中的各目标点的磁偏角;
[0011] 根据所述各目标点的磁偏角调整所述目标物体的重力方向。
[0012] 在其中一个实施例中,所述根据所述RTK数据,获取所述目标物体的三维模型中的各目标点的磁偏角,包括:
[0013] 在所述目标物体的三维模型对应的三维坐标系中确定预设数量的目标点;
[0014] 根据所述RTK数据计算各所述目标点的初始磁偏角;
[0015] 对所述各目标点的初始磁偏角在预设方向上旋转预设角度,得到各所述目标点的磁偏角。
[0016] 在其中一个实施例中, 所述根据所述各目标点的磁偏角调整所述目标物体的重力方向,包括:
[0017] 计算各所述目标点的磁偏角的平均磁偏角;
[0018] 根据所述平均磁偏角调整所述目标物体的重力方向。
[0019] 在其中一个实施例中,所述根据所述多帧监测图像生成所述监测区域的三维点云,包括:
[0020] 根据所述多帧监测图像生成稀疏三维点云;
[0021] 利用拍摄所述监测图像的摄像设备的相机位姿和所述多帧监测图像,获取所述多帧监测图像对应的深度图;
[0022] 基于所述相机位姿、所述深度图和所述稀疏三维点云,生成所述三维点云。
[0023] 在其中一个实施例中,所述根据所述多帧监测图像生成稀疏三维点云,包括:
[0024] 提取每帧所述监测图像的特征点;
[0025] 对每相邻两帧监测图像的特征点进行特征匹配,得到所述每相邻两帧监测图像的匹配特征点对;
[0026] 获取所述匹配特征点对在所述多帧监测图像对应的同一坐标系中的位置坐标;
[0027] 根据所述匹配特征点对在所述同一坐标系中位置坐标,构建所述稀疏三维点云。
[0028] 在其中一个实施例中,所述获取所述匹配特征点对在所述多帧监测图像对应的同一坐标系中的位置坐标,包括:
[0029] 根据所述匹配特征点对确定所述每相邻两帧监测图像的相对位置和朝向;
[0030] 根据所有的所述每相邻两帧监测图像的相对位置和朝向,确定所述多帧监测图像在同一坐标系下的相机位置和朝向;
[0031] 根据所述同一坐标系下的相机位置和朝向,通过三角化方法计算各所述匹配特征点对在所述同一坐标系中位置坐标。
[0032] 在其中一个实施例中,所述方法还包括:
[0033] 采用表面网格提取技术根据所述三维点云获取稠密三维网格模型;
[0034] 所述对所述三维点云进行语义分割,得到所述监测区域中的目标物体的三维模型,包括:
[0035] 对所述稠密三维网格模型进行语义分割,得到所述监测区域中的目标物体的三维模型。
[0036] 一种基于三维模型的重力方向确定装置,所述装置包括:
[0037] 第一获取模块,用于获取电网系统的监测区域的多帧监测图像和RTK数据;
[0038] 第一生成模块,用于根据所述多帧监测图像生成所述监测区域的三维点云;
[0039] 分割模块,用于对所述三维点云进行语义分割,得到所述监测区域中的目标物体的三维模型;
[0040] 第二获取模块,用于根据所述RTK数据,获取所述目标物体的三维模型中的各目标点的磁偏角;
[0041] 调整模块,用于根据所述各目标点的磁偏角调整所述目标物体的重力方向。
[0042] 一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
[0043] 获取电网系统的监测区域的多帧监测图像和RTK数据;
[0044] 根据所述多帧监测图像生成所述监测区域的三维点云;
[0045] 对所述三维点云进行语义分割,得到所述监测区域中的目标物体的三维模型;
[0046] 根据所述RTK数据,获取所述目标物体的三维模型中的各目标点的磁偏角;
[0047] 根据所述各目标点的磁偏角调整所述目标物体的重力方向。
[0048] 一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
[0049] 获取电网系统的监测区域的多帧监测图像和RTK数据;
[0050] 根据所述多帧监测图像生成所述监测区域的三维点云;
[0051] 对所述三维点云进行语义分割,得到所述监测区域中的目标物体的三维模型;
[0052] 根据所述RTK数据,获取所述目标物体的三维模型中的各目标点的磁偏角;
[0053] 根据所述各目标点的磁偏角调整所述目标物体的重力方向。
[0054] 上述基于三维模型的重力方向确定方法、装置、计算机设备,终端获取电网系统的监测区域的多帧监测图像和RTK数据,根据多帧监测图像生成监测区域的三维点云,对三维
点云进行语义分割,得到监测区域中的目标物体的三维模型,根据RTK数据,获取目标物体
的三维模型中的各目标点的磁偏角,根据各目标点的磁偏角调整目标物体的重力方向。RTK
数据具有精度高的特性,利用RTK数据计算目标点的磁偏角,从而确定目标物体的重力方
向,可以有效提高重力方向调整的精确度,减小误差,避免了主观因素的影响,而且整个方
法为计算机设备运行,不需要人为操作,大幅提高了基于三维模型的重力方向确定的计算
效率。

附图说明

[0055] 图1为一个实施例中基于三维模型的重力方向确定方法的应用环境图;
[0056] 图2为一个实施例中基于三维模型的重力方向确定方法的流程示意图;
[0057] 图3为一个实施例中计算磁偏角步骤的流程示意图;
[0058] 图4为一个实施例中调整重力方向的流程示意图;
[0059] 图5为一个实施例中生成三维点云的流程示意图;
[0060] 图6为一个实施例中恢复三维点云的效果示意图;
[0061] 图7为一个实施例中生成稀疏三维点云的流程示意图;
[0062] 图8为一个实施例中特征匹配的示意图;
[0063] 图9为一个实施例中计算坐标位置的具体流程示意图;
[0064] 图10为一个实施例中对稠密三维网格模型进行语义分割的流程示意图;
[0065] 图11为另一个实施例中基于三维模型的重力方向确定方法的流程示意图;
[0066] 图12为一个实施例中基于三维模型的重力方向确定装置的第一结构框图;
[0067] 图13为一个实施例中基于三维模型的重力方向确定装置的第二结构框图;
[0068] 图14为一个实施例中基于三维模型的重力方向确定装置的第三结构框图;
[0069] 图15为一个实施例中基于三维模型的重力方向确定装置的第四结构框图;
[0070] 图16为一个实施例中基于三维模型的重力方向确定装置的第五结构框图;
[0071] 图17为一个实施例中基于三维模型的重力方向确定装置的第六结构框图;
[0072] 图18为一个实施例中计算机设备的内部结构图。

具体实施方式

[0073] 为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不
用于限定本申请。
[0074] 本申请提供的基于三维模型的重力方向确定方法,可以应用于如图1所示的应用环境中。该应用环境中,终端获取电网系统的监测区域的多帧监测图像和实时差分定位
(Real ‑ Time Tinematic,RTK)数据;根据多帧监测图像生成监测区域的三维点云;对三维
点云进行语义分割,得到监测区域中的目标物体的三维模型;根据RTK数据,获取目标物体
的三维模型中的各目标点的磁偏角;根据所述各目标点的磁偏角调整目标物体的重力方
向。其中,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式
可穿戴设备。
[0075] 在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示
屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存
储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程
序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算
机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、
运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基
于三维模型的重力方向确定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水
显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外
壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
[0076] 在一个实施例中,如图2所示,提供了一种基于三维模型的重力方向确定方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
[0077] S201,获取电网系统的监测区域的多帧监测图像和RTK数据。
[0078] 其中,监测区域包括电网系统中高压铁塔、高压电线、电磁参数信息及周边环境等;监测图像和RTK数据为无人机的摄像设备采集的监测区域的图像和RTK数据,监测图像
包括RGB图像、红外图像及激光点云等图像;RTK数据包括点名、X坐标、Y坐标、高程、属性代
码、点存储状态(固定解或浮点解)、水平残差(High Root Mean Square ,HRMS)、垂直残差
(Vertical Root Mean Square ,VRMS)、卫星颗数、空间分布因子(Position Dilution of 
Precision, PDOP)、观测日期和时间、缺省值、天线高等数据。
[0079] 在本实施例中,无人机可以机载摄像设备,如轻型光学相机、红外扫描仪、激光雷达及RTK测量仪等摄像设备,查勘人员通过无线电遥控设备或机载计算机程控系统进行操
控无人机,实时采集监测区域的监测图像和RTK数据。
[0080] 在本实施例中,终端可以获取电网系统的监测区域的多帧监测图像和RTK数据。终端可以实时性的获取电网系统的监测区域的多帧监测图像和RTK数据,也可以是周期性的
获取电网系统的监测区域的多帧监测图像和RTK数据,还可以是在接收到用户指令后获取
电网系统的监测区域的多帧监测图像和RTK数据。
[0081] S202,根据多帧监测图像生成监测区域的三维点云。
[0082] 在本实施例中,利用无人机摄像设备采集监测区域的监测图像,根据多帧监测图像生成监测区域的三维点云可以是生成监测区域的稀疏三维点云,也可以是生成监测区域
的稠密三维点云。
[0083] 在本实施例中,生成监测区域的稀疏三维点云包括输入多帧不同视角的监测图像,对于监测图像上能够表征物体模型的关键点进行特征提取,得到特征点,再对每相邻帧
的监测图像上的特征点进行匹配,正确匹配的特征点对应着实际场景中的同一个点,从而
得到多帧监测图像的特征点匹配对,根据特征点匹配对的坐标位置和摄像设备的相机位
姿,生成稀疏三维点云。生成监测区域的稠密三维点云包括利用拍摄监测图像的摄像设备
的相机位姿和多帧不同视角的监测图像,根据相机位姿和视觉差得到相对的深度信息,获
取多帧监测图像对应的深度图,逐像素的计算图像中每一个像素点对应的三维点,得到场
景物体表面密集的三维点云,生成三维稠密点云。
[0084] 在本实施例中,三维点云虽然能够还原出实物面貌,但是其仍只是大量孤立的三维空间的集合,而且点云数据存在不规则散布问题,要想实现真正的实物三维化,更好的表
示物体模型的性质,还可以进一步地对三维点云进行网格化等,从三维点云中重建易于表
达和操作的稠密三维网格模型。
[0085] S203,对三维点云进行语义分割,得到监测区域中的目标物体的三维模型。
[0086] 其中,三维点云分割需要了解全局几何结构和每个点的细粒度细节。根据分割粒度,可以将三维点云分割方法可以为语义分割(场景级别)、实例分割(对象级别)、部件分割
(部件级别)等。三维点云语义分割是指给点云中的每个点赋予特定的语义标签,给定一个
点云,语义分割的目标是根据它们的语义将点云分为几个子集,也可以说是对每个物体进
行分割,赋予每个物体特定的含义,能够准确描述空间中物体的类型。
[0087] 在本实施例中,将生成的三维点云进行语义分割,得到监测区域中的目标物体的三维模型。例如,监测区域包括高压铁塔、高压线、房屋建筑以及树木等物体,进行语义分割
时,高压铁塔被赋予为标签0,同时使用蓝色标记并可视化,高压线被赋予为标签1,同时使
用红色标记并可视化,房屋建筑被赋予为标签2,同时使用黑色标记并可视化,树木被赋予
为标签3,同时使用绿色标记并可视化,将四种不同的物体进行有效划分,从而获得所需要
的监测区域中的目标物体的三维模型。
[0088] S204,根据RTK数据,获取目标物体的三维模型中的各目标点的磁偏角。
[0089] 其中,磁偏角是指地球表面任一点的磁子午圈同地理子午圈的夹角,即磁针静止时,所指的北方与正北方向的夹角。
[0090] 在本实施例中,预设数量、预设方向以及预设角度用户可根据摄像设备采集的监测图像以及PTK数据的数据采集情况自己直接设定。用户可按照目标物体模型上特征的重
要程度选取,例如,对于边缘、角点等代表目标物体轮廓形状的点进行较多的选取,用户也
可随机性选取预设数量的目标点,也可以按照一定规律性的选取预设数量的目标点,不同
位置的目标点具有不同的磁偏角,基于选取的预设数量的目标点,利用RTK数据可知各目标
点的坐标位置,经度、纬度等数据,根据经度、纬度、地磁强度等RTK数据计算初始磁偏角。因
为磁场方向接近于平行于地面,计算每个目标点的初始磁偏角后,对各目标点的初始磁偏
角进行修正,用户可按照自己设定的预设方向和预设角度上进行旋转,得到各目标点的磁
偏角。
[0091] S205,根据各目标点的磁偏角调整目标物体的重力方向。
[0092] 在本实施例中,目标物体的重力方向不一定垂直于地面输出,需要根据各目标点的磁偏角调整目标物体的重力方向。例如,根据规定,磁针指北极向东偏则磁偏角为正,北
极向西偏则磁偏角为负。
[0093] 示例性的,根据各目标点的磁偏角与目标物体重力方向的磁偏角的差值大小进行相对位置关系的判断,从而进行相应调整,若目标点的磁偏角减去目标物体重力方向的磁
偏角的差值为正值,则证明目标点位于目标物体东边,相应将目标物体的重力方向向东调
整至各目标点的磁偏角处。若目标点的磁偏角减去目标物体重力方向的磁偏角的差值为负
值,则证明目标点位于目标物体西边,相应将目标物体的重力方向向西调整至各目标点的
磁偏角处。例如,若各目标点的磁偏角与目标物体重力方向的磁偏角的差值为0.5度,则将
目标物体的重力方向向东调整0.5度,若各目标点的磁偏角与目标物体重力方向的磁偏角
的差值为‑0.2度,则将目标物体的重力方向向西调整0.2度。
[0094] 上述基于三维模型的重力方向确定方法中,终端获取电网系统的监测区域的多帧监测图像和RTK数据,根据多帧监测图像生成监测区域的三维点云,对三维点云进行语义分
割,得到监测区域中的目标物体的三维模型,根据RTK数据,获取目标物体的三维模型中的
各目标点的磁偏角,根据各目标点的磁偏角调整目标物体的重力方向。RTK数据具有精度高
的特性,利用RTK数据计算目标点的磁偏角,从而确定目标物体的重力方向,可以有效提高
重力方向调整的精确度,减小误差,避免了主观因素的影响,而且整个方法为计算机设备运
行,不需要人为操作,大幅提高了基于三维模型的重力方向确定的计算效率。
[0095] 在图2所示实施例中,介绍了重力方向的确定方法,接下来主要介绍目标点磁偏角的计算过程,如图3所示,包括以下步骤:
[0096] S301,在目标物体的三维模型对应的三维坐标系中确定预设数量的目标点。
[0097] 在本实施例中,在目标物体的三维模型对应的三位坐标系中确定预设数量的目标点,可以是随机性选取预设数量的目标点,也可以是按照一定规律选取预设数量的目标点。
例如,预设数量为10,10个目标点命名为A1,A2,A3,A4,A5,A6,A7,A8,A9,A10,若随机性取10
个目标点,10个目标点之间没有任何规律;若按照一定规律选取,可以设置每两个目标点之
间的纵坐标值以2cm的方式递增,假设目标点A1(2,5,7),则目标点A2(2,7,7),A3(2,7,7),
依次类推;也可以设置每两个目标点之间高程以5m的方式递增,假设目标点A1的高程为
25m,则目标点A2的高程为30m,依次类推。
[0098] S302,根据RTK数据计算各目标点的初始磁偏角。
[0099] 在本实施例中,不同位置的目标点具有不同的磁偏角,根据RTK数据可知各目标点的坐标位置,经度、纬度等数据。根据经度、纬度、地磁强度等RTK数据计算初始磁偏角。例
如,对于上述10个目标点分别计算其初始磁偏角,根据计算结果可得对应的初始磁偏角分
别为B1,B2,B3,B4,B5,B6,B7,B8,B9,B10。
[0100] S303,对各目标点的初始磁偏角在预设方向上旋转预设角度,得到各目标点的磁偏角。
[0101] 其中,预设方向可以为顺时针旋转,也可以为逆时针旋转,预设角度可以为90度,也可以为接近90度的任意角度。
[0102] 在本实施例中,对各目标点的初始磁偏角在预设方向上旋转预设角度,得到各目标点的磁偏角。例如,对于10个目标点对应的10个初始磁偏角B1,B2…B10,以顺时针方向旋
转90度,记为磁偏角C1,C2,C3,C4,C5,C6,C7,C8,C9,C10。
[0103] 需要说明的是,在选取目标物体上预设数量的目标点,以及设置预设方向以及预设角度的过程,不作任何限定,用户可根据实际情况而定。
[0104] 本实施例中,在目标物体上选取预设数量的目标点,根据RTK数据计算目标点的初始磁偏角,因为磁场方向接近于平行地面,初始磁偏角代表的方向与重力方向存在一定偏
差,因此将初始磁偏角在预设方向上旋转预设角度,得到各目标点的磁偏角,使得计算的重
力方向精确度更高,提高了基于三维模型的重力方向确定方法的灵活性,而且整个过程为
计算机运行,计算效率明显提升。
[0105] 在图3的实施例中,介绍了各目标点磁偏角的计算过程,接下来主要介绍根据目标点磁偏角调整目标物体的重力方向的具体过程,如图4所示,包括以下步骤:
[0106] S401,计算各目标点的磁偏角的平均磁偏角。
[0107] 在本实施例中,根据各目标点的磁偏角计算平均磁偏角,预设数量为n,各目标点的磁偏角C1,C2…Cn,则平均磁偏角为(C1+C2+…+Cn)/n。例如,上述10个目标点的磁偏角
C1,C2…C10分别为0.2度、0.25度、0.28度、0.21度、0.18度、0.22度、0.15度、0.17度、0.23度
及0.22度,则平均磁偏角为0.211度。
[0108] 在本实施例中,也可以选取一个位于中间值的磁偏角作为固定值,每一个磁偏角小于该固定值的磁偏角的差值取负值,大于该固定值的磁偏角的差值取正值,对所有差值
做平均值,再加上该固定值即为平均磁偏角。例如,选取磁偏角0.2度作为固定值,则上述10
个目标点的磁偏角与该固定值的差值分别为0度、0.05度、0.08度、0.01度、‑0.02度、0.02
度、‑0.05度、‑0.03度、0.03度以及0.02度,对10个差值取平均值为0.11度,则平均磁偏角等
于差值和固定值之和为0.211度。
[0109] S402,根据平均磁偏角调整目标物体的重力方向。
[0110] 在本实施例中,根据平均磁偏角调整目标物体的重力方向,例如,根据上述步骤S401计算可得平均磁偏角为0.211度,若目标物体的重力方向对应的磁偏角为‑0.03度,证
明目标物体位于平均磁偏角西边,则将目标物体向东调整0.204度即为目标物体的最终确
定的重力方向;若目标物体的重力方向对应的磁偏角为0.214度,证明目标物体位于平均磁
偏角东边,则将目标物体向西调整0.003度即为目标物体的最终确定的重力方向。
[0111] 本实施例中,每一个磁偏角都对应了各目标点上的重力方向,通过计算各目标点的磁偏角的平均磁偏角,根据计算的RTK数据的平均磁偏角,从而调整目标物体的重力方
向。RTK是一种能够实时得到厘米级定位精度的测量方法,定位精度更高,能够获取更加精
确的位置信息,根据RTK数据调整的目标物体的重力方向更加精确,避免了主观因素的影
响。
[0112] 在图4的实施例中,介绍了根据目标点磁偏角调整目标物体的重力方向的过程,接下来主要介绍生成监测区域三维点云的具体过程,如图5所示,包括以下步骤:
[0113] S501,根据多帧监测图像生成稀疏三维点云。
[0114] 在本实施例中,根据多帧监测图像生成稀疏三维点云包括对多帧监测图像中的关键点进行特征提取,提取特征后,对每相邻两帧监测图像进行特征匹配,得到每相邻两帧监
测图像的匹配特征点对,获取匹配特征点对在多帧监测图像对应的同一坐标系中的位置坐
标,根据匹配特征点对在同一坐标系中位置坐标,构建稀疏三维点云。
[0115] 可选地,生成稀疏三维点云的方法包括运动恢复结构算法(Structure‑From‑Motion,SFM)、同步定位与建图(Simultaneous Localization And Mapping,SLAM)等方法。
[0116] S502,利用拍摄监测图像的摄像设备的相机位姿和多帧监测图像,获取多帧监测图像对应的深度图。
[0117] 其中,深度图反映了场景中物体距离摄像机的距离,恢复深度图通常是采用立体匹配方法。
[0118] 在本实施例中,利用拍摄监测图像的摄像设备的相机位姿和多帧监测图像,获取多帧监测图像对应的深度图。假设,利用拍摄监测图像的摄像设备拍摄监测区域的同一场
景的两帧监测图像,分别为M1,M2,根据相机位姿和监测图像,运用立体匹配算法获取两帧
监测图像的视差图N1,N2,视差的单位是像素,深度的单位往往是毫米表示,根据像素与毫
米之间的转换关系,进而获取两帧监测图像对应的深度图Z1,Z2。
[0119] S503,基于相机位姿、深度图和稀疏三维点云,生成三维点云。
[0120] 在本实施例中,稀疏三维点云主要是因为利用匹配点特征对进行三维重建,无法清晰、形象地表示出监测区域的物体模型,为了进一步对监测区域的物体模型进行表征,在
相机位姿已知的前提下,逐像素的计算图像中每一个像素点对应的三维点,得到场景物体
表面密集的三维点云,这样得到的点的密集程度可以较接近图像展示出的清晰度。在本实
施例中,如图6所示,将图像序列61、相机位姿62利用深度图融合的稠密方法生成稠密三维
点云63。
[0121] 本实施例中,根据多帧监测图像生成稀疏三维点云,并且利用拍摄监测图像的摄像设备的相机位姿和多帧监测图像,获取多帧监测图像对应的深度图,从而结合稀疏三维
点云生成稠密点云。稀疏三维点云主要是利用特征匹配点对进行三维点云模型的恢复,不
能完全表达出物体模型的原貌,稠密三维模型是逐像素的计算图像中每一个像素点对应的
三维点,得到场景物体表面密集的三维点云,可以更加清楚地还原和表达物体模型,方便用
户理解。
[0122] 在图5的实施例中,介绍了根据多帧监测图像生成监测区域的三维点云的过程,接下来主要介绍生成稀疏三维点云的具体实现过程,如图7所示,包括以下步骤:
[0123] S701,提取每帧监测图像的特征点。
[0124] 其中,提取每帧监测图像的特征点包括得到对应的特征点检测和特征点描述子。特征点检测就是从图像中提取出关键点(或特征点、角点)等,特征点描述子就是用一组数
学向量对特征点进行描述,指的是关键点的朝向和周围像素信息。
[0125] 在本实施例中,利用特征提取算法对每帧监测图像中纹理比较丰富,容易识别的点进行提取,可选地,特征提取算法包括harris角点检测法、尺度不变特征转换(Scale‑
Invariant Feature Transform,SIFT)检测法、加速稳健特征(Speeded Up Robust 
Features,SURF)检测法、快速(Features From Accelerated Segment Test,FAST)角点检
测法等特征提取算法。也可以是采用神经网络提取特征点,运用神经网络提取特征的方法
包括VGG、ResNet、DenseNet等。例如,采用SIFT特征检测法提取每帧监测图像的特征点,首
先根据SIFT特征检测法检测出特征点,然后利用特征描述子来描述这些特征点的属性,把
图像中检测到的特征点用一个多维的特征向量进行描述,因此一幅图像经过SIFT算法后表
示为一个多维的特征向量集,该特征向量集具有对图像缩放,平移,旋转不变的特征。
[0126] S702,对每相邻两帧监测图像的特征点进行特征匹配,得到每相邻两帧监测图像的匹配特征点对。
[0127] 在本实施例中,在提取到特征点后,要对特征点进行匹配。特征匹配时对每相邻两帧监测图像提取特征点后,得到其特征向量,接下来对特征进行匹配,获取图像之间像素的
一一对应关系,主要包括暴力匹配法和最邻近算法。
[0128] 在本实施例中,暴力匹配主要是计算该特征点描述子与其他特征点描述子之间的距离,然后将得到的距离进行排序,取最近的距离的特征点作为匹配点对,常用的距离有欧
氏距离、汉明距离、余弦距离等。如图8所示,监测图像1的特征点分别为a1、b1、c1、d1、e1、
f1、g1,监测图像2的特征点分别为a2、b2、c2、d2、e2、f2、g2,监测图像1特征点a的特征点描
述子,与监测图像2的特征点a2、b2、c2、d2、e2、f2、g2的特征点描述子之间的距离分别为
0.5、2、1、4、5、7、3,则a1和a2为相邻两帧监测图像的匹配特征点对。
[0129] 在本实施例中,也可以邻近搜索方法进行匹配,对于监测图像1中的特征点a1,找到监测图像2中与该特征描述子距离最近的两个特征描述子分别为a2和b2,分别计算特征
点a1和特征点a2,a1和b2特征点描述子之间的距离,然后令最近邻的距离为m1,再找到第二
近的距离为m2,如果两个距离m1和m2之比小于一个阈值,就可以判定为可接受的匹配对。例
如,若最近邻的距离m1为5,第二近的距离m2为10,阈值为0.6,根据计算m1和m2之比为0.5,
小于阈值0.6,则特征点a1和特征点a2为监测图像1和监测图像2中的匹配特征点对;若最近
邻的距离m1为5,第二近的距离m2为8,阈值为0.6,根据计算m1和m2之比为0.625,大于阈值
0.6,则特征点a1在监测图像2中的没有相应匹配特征点。
[0130] 在本实施例中,如果特征匹配时存在一个特征点同时匹配到多个特征点时,可以选择放弃此次匹配或调整特征点提取算法的参数或换取其他特征点提取算法。如图8所示,
监测图像1中特征点e1、f1同时匹配到监测图像2中特征点e2,可以选择放弃特征点e1、f1 
的匹配,或修改特征提取算法中参数,提高匹配精度。
[0131] S703,获取匹配特征点对在多帧监测图像对应的同一坐标系中的位置坐标。
[0132] 在本实施例中,获取匹配特征点对在多帧监测图像对应的同一坐标系中的位置坐标。假设,如图8所示,监测图像1中的特征点a1相对于监测图像1坐标系,坐标位置为(1,2,
3),监测图像2特征点a2相对于监测图像2坐标系,坐标位置为(4,5,6),特征点a1、特征点a2
为匹配特征点对,根据匹配特征点对将特征点a1、特征点a2转换到同一坐标系中,得到新的
坐标点,特征点a1的新的坐标点为(2,2,2),特征点a2的新的坐标点为(3,2,5)。
[0133] S704,根据匹配特征点对在同一坐标系中位置坐标,构建稀疏三维点云。
[0134] 在本实施例中,当所有的两两匹配图像对被确定以后,就可以把多个图像中都出现的共同特征匹配点连接起来,就能形成轨迹。例如,如图8所示,监测图像1的特征匹配点
分别为a1、b1、c1、d1、e1、f1、g1,监测图像2的特征匹配点分别为a2、b2、c2、d2、e2、f2、g2,监
测图像1的特征匹配点a1与监测图像2的特征匹配点a2为匹配特征点对,监测图像1的特征
匹配点d1与监测图像2的特征匹配点d2为匹配特征点对,监测图像1的特征匹配点为e1与监
测图像2的特征匹配点e2为匹配特征点对,根据匹配特征点对在同一坐标系中位置坐标,将
特征匹配点对a1 和a2进行连接,特征匹配点对d1 和d2进行连接,特征匹配点对e1 和e2进
行连接,依次类推,在监测图像3中分别找到与监测图像2中的特征匹配点a2、d2、e2相对应
的特征匹配点,将监测图像2和监测图像3的特征匹配点进行连接,然后去找到每个特征点
在所有图像对中的完整轨迹,一旦符合的轨迹都找到后,构造图像连接图,构建稀疏三维点
云。
[0135] 本实施例中,利用特征提取、特征匹配等算法构建三维稀疏点云,将二维图像转换为三维模型,相比于二维图像,三维模型比二维图纸更加形象、直观,包含的信息更加完整、
丰富,可以多角度观察物体模型,方便用户理解。
[0136] 在图7的实施例中,介绍了根据多帧监测图像生成监测区域的稀疏三维点云的过程,接下来主要介绍获取匹配特征点对在多帧监测图像对应的同一坐标系中的位置坐标的
具体实现过程,如图9所示,包括以下步骤:
[0137] S901,根据匹配特征点对确定每相邻两帧监测图像的相对位置和朝向。
[0138] 在本实施例中,根据匹配特征点对确定每相邻两帧监测图像的相对位置和朝向。例如,如图8所示,监测图像1的特征匹配点分别为a1、b1、c1、d1、e1、f1、g1,监测图像2的特
征匹配点分别为a2、b2、c2、d2、e2、f2、g2,先选取第一帧监测图像作参考帧图像,其中,监测
图像1对应的相机位置设为(0,0,0),对监测图像1和监测图像2进行特征匹配,获取监测图
像1与监测图像2的匹配特征点对,在监测图像1相机位置的基础上,求得监测图像2的相对
位置和朝向。对监测图像2和监测图像3进行特征匹配,获取监测图像2与监测图像3的匹配
特征点对,根据监测图像3的相对位置和朝向,求得监测图像3的相对位置和朝向,依次类
推,从而确定每相邻两帧监测图像的相对位置和朝向。
[0139] S902,根据所有的每相邻两帧监测图像的相对位置和朝向,确定多帧监测图像在同一坐标系下的相机位置和朝向。
[0140] 在本实施例中,根据匹配特征点对确定每相邻两帧监测图像的相对位置和朝向,确定多帧监测图像在同一坐标系下的相机位置和朝向。由上述步骤S901可知,监测图像2的
相机位置和朝向是相对于监测图像1的相机位置和朝向获取的一种相对位置和朝向,后面
每一帧监测图像的相机位置和朝向都是根据前一帧监测图像的相机位置和朝向得到的相
对位置和朝向,将多帧监测图像相机的相对位置和朝向通过坐标系之间转换关系确定到同
一坐标系内,得到多帧监测图像在同一坐标系下的相机位置和朝向。
[0141] S903,根据同一坐标系下的相机位置和朝向,通过三角化方法计算各匹配特征点对在同一坐标系中位置坐标。
[0142] 其中,三角化方法指通过在不同的位置观测同一个三维点的夹角,利用三角关系,恢复出三维点的深度信息。
[0143] 在本实施例中,假设,该三维点为P,两个不同的观测位置分别为Q1,Q2,因为噪声的干扰,PQ1与PQ2两条直线之间无法相交,因此PQ1与PQ2和相机位置、朝向之间满足一种三
角关系,从而计算各匹配特征点对在同一坐标系中位置坐标。
[0144] 本实施例中,根据匹配特征点对确定每相邻两帧监测图像的相对位置和朝向,从而确定多帧监测图像在同一坐标系下的相机位置和朝向,最终通过三角化方法计算各匹配
特征点对在同一坐标系中位置坐标。特征匹配点对对应实际场景中的同一个点,代表了每
相邻两帧监测图像的相似性,利用特征匹配点对可以确定更为精确的每相邻两帧监测图像
的相对位置和朝向,从而确定各匹配特征点对在同一坐标系中位置坐标也更加精确。
[0145] 在进行语义分割时,除了上述可以对三维点云进行语义分割,获取目标物体的三维模型,也可以对稠密三维网格模型进行语义分割获取目标物体的三维模型。接下来主要
介绍对稠密三维网格模型进行语义分割的具体实现过程,如图10所示,包括以下步骤:
[0146] S1001,采用表面网格提取技术根据三维点云获取稠密三维网格模型。
[0147] 在本实施例中,如图6所示,三维点云虽然能够更加形象地还原出实物面貌,但是其仍只是大量孤立的三维空间的集合,点云数据存在不规则散布问题,要想实现真正的实
物三维化,更好的表示实体模型的性质,就需要以规格网格使点云数据结构化,利用表面网
格提取技术从三维点云中重建易于表达和操作的稠密三维网格模型64。具体步骤为:在三
维点云上随机选取一个点,基于该点临近位置搜索第二个点,两点之间形成一条线,再基于
该线的临近位置搜索第三个点,形成一个三角,然后在三角的基础上,进行面的填充,利用
一边的中间点进行临近搜索,碰到合适的点,便会跟这条边构成一个新的三角面,同时衍生
出两条新边。以此类推,直到队列中不再满足外边提供中点搜索的条件为止。
[0148] S1002,对稠密三维网格模型进行语义分割,得到监测区域中的目标物体的三维模型。
[0149] 在本实施例中,对稠密三维网格模型进行语义分割,得到监测区域中的目标物体的三维模型。例如,可以利用基于深度学习中全卷积的网络结构,以先编码再解码的方式,
实现对任意大小的高压铁塔、高压线图像输入的语义分割,网络结构中的多尺度信息融合
设计可以让网络对于高压电塔场景中同一个物体的尺度变化具有更强的鲁棒性,也可以利
用基于深度学习中的UNet Family语义分割模型、基于深度学习中的Attention U‑Net等语
义分割模型。
[0150] 本实施例中,通过表面网格提取技术从三维点云中获取稠密三维网格模型,再进行语义分割。表面网格技术可以保留三维点云的表面细节,去除冗余部分,能够更加清晰明
了的对监测区域的物体进行可视化,方便于后续对物体进行语义分割,而且方便用户理解,
可读性强。
[0151] 进一步地,如图11所示,基于三维模型的重力方向确定方法包括以下步骤:
[0152] S1101,获取电网系统的监测区域的多帧监测图像和RTK数据;
[0153] S1102,提取每帧监测图像的特征点;
[0154] S1103,对每相邻两帧监测图像的特征点进行特征匹配,得到每相邻两帧监测图像的匹配特征点对;
[0155] S1104,获取匹配特征点对在多帧监测图像对应的同一坐标系中的位置坐标;
[0156] S1105,根据匹配特征点对在同一坐标系中位置坐标,构建稀疏三维点云;
[0157] S1106,利用拍摄监测图像的摄像设备的相机位姿和多帧监测图像,获取多帧监测图像对应的深度图;
[0158] S1107,基于相机位姿、深度图和稀疏三维点云,生成稠密三维点云;
[0159] S1108,对稠密三维点云模进行语义分割,得到监测区域中的目标物体的三维模型;
[0160] S1109,在目标物体的三维模型对应的三位坐标系中确定预设数量的目标点;
[0161] S11010,根据RTK数据计算各目标点的初始磁偏角;
[0162] S11011,对各目标点的初始磁偏角在预设方向上旋转预设角度,得到各目标点的磁偏角;
[0163] S11012,计算各目标点的磁偏角的平均磁偏角;
[0164] S11013,根据平均磁偏角调整目标物体的重力方向。
[0165] 本申请实施例提供的基于三维模型的重力方向确定方法,终端获取电网系统的监测区域的多帧监测图像和RTK数据,根据多帧监测图像生成监测区域的三维点云,对三维点
云进行语义分割,得到监测区域中的目标物体的三维模型,根据RTK数据,获取目标物体的
三维模型中的各目标点的磁偏角,根据各目标点的磁偏角调整目标物体的重力方向。RTK数
据具有精度高的特性,利用RTK数据计算目标点的磁偏角,从而确定目标物体的重力方向,
可以有效提高重力方向调整的精确度,减小误差,避免了主观因素的影响,而且整个方法为
计算机设备运行,不需要人为操作,大幅提高了基于三维模型的重力方向确定的计算效率。
[0166] 应该理解的是,虽然图2‑11的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步
骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2‑11中的至少
一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执
行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,
而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0167] 在一个实施例中,如图12所示,提供了一种基于三维模型的重力方向确定装置,包括:第一获取模块11、第一生成模块12、分割模块13、第二获取模块14和调整模块15,其中:
[0168] 第一获取模块11,用于获取电网系统的监测区域的多帧监测图像和RTK数据;
[0169] 第一生成模块12,用于根据所述多帧监测图像生成所述监测区域的三维点云;
[0170] 分割模块13,用于对所述三维点云进行语义分割,得到所述监测区域中的目标物体的三维模型;
[0171] 第二获取模块14,用于根据所述RTK数据,获取所述目标物体的三维模型中的各目标点的磁偏角;
[0172] 调整模块15,用于根据所述各目标点的磁偏角调整所述目标物体的重力方向。
[0173] 在一个实施例中,如图13所示,第二获取模块14,包括:
[0174] 确定单元141,用于在所述目标物体的三维模型对应的三维坐标系中确定预设数量的目标点;
[0175] 第一计算单元142,用于根据所述RTK数据计算各所述目标点的初始磁偏角;
[0176] 旋转单元143,用于对所述各目标点的初始磁偏角在预设方向上旋转预设角度,得到各所述目标点的磁偏角。
[0177] 在一个实施例中,如图14所示,调整模块15,包括:
[0178] 第二计算单元151,用于计算各所述目标点的磁偏角的平均磁偏角;
[0179] 调整单元152,用于根据所述平均磁偏角调整所述目标物体的重力方向。
[0180] 在一个实施例中,如图15所示,生成模块12,包括:
[0181] 第一生成单元121,用于根据所述多帧监测图像生成稀疏三维点云;
[0182] 获取单元122,用于利用拍摄所述监测图像的摄像设备的相机位姿和所述多帧监测图像,获取所述多帧监测图像对应的深度图;
[0183] 第二生成单元123,用于基于所述相机位姿、所述深度图和所述稀疏三维点云,生成所述三维点云。
[0184] 在一个实施例中,第一生成单元121,具体用于提取每帧所述监测图像的特征点;对每相邻两帧监测图像的特征点进行特征匹配,得到所述每相邻两帧监测图像的匹配特征
点对;获取所述匹配特征点对在所述多帧监测图像对应的同一坐标系中的位置坐标;根据
所述匹配特征点对在所述同一坐标系中位置坐标,构建所述稀疏三维点云。
[0185] 在一个实施例中,第一生成单元121,具体用于根据所述匹配特征点对确定所述每相邻两帧监测图像的相对位置和朝向;根据所有的所述每相邻两帧监测图像的相对位置和
朝向,确定所述多帧监测图像在同一坐标系下的相机位置和朝向;根据所述同一坐标系下
的相机位置和朝向,通过三角化方法计算各所述匹配特征点对在所述同一坐标系中位置坐
标。
[0186] 在一个实施例中,如图16所示,提供了一种基于三维模型的重力方向确定装置,该装置还包括
[0187] 第三获取模块16,用于采用表面网格提取技术根据所述三维点云获取稠密三维网格模型;
[0188] 分割模块13,还用于所述对所述三维点云进行语义分割,得到所述监测区域中的目标物体的三维模型。
[0189] 在一个实施例中,如图17所示,分割模块13,包括:
[0190] 分割单元131,用于对所述稠密三维网格模型进行语义分割,得到所述监测区域中的目标物体的三维模型。
[0191] 关于基于三维模型的重力方向确定装置的具体限定可以参见上文中对于基于三维模型的重力方向确定方法的限定,在此不再赘述。上述基于三维模型的重力方向确定装
置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式
内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储
器中,以便于处理器调用执行以上各个模块对应的操作。
[0192] 在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图18所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。
其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易
失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该
内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备
的数据库用于存储监测图像以及RTK数据。该计算机设备的网络接口用于与外部的终端通
过网络连接通信。该计算机程序被处理器执行时以实现一种基于三维模型的重力方向确定
方法。
[0193] 本领域技术人员可以理解,图18中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设
备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0194] 在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
[0195] 获取电网系统的监测区域的多帧监测图像和RTK数据;
[0196] 根据所述多帧监测图像生成所述监测区域的三维点云;
[0197] 对所述三维点云进行语义分割,得到所述监测区域中的目标物体的三维模型;
[0198] 根据所述RTK数据,获取所述目标物体的三维模型中的各目标点的磁偏角;
[0199] 根据所述各目标点的磁偏角调整所述目标物体的重力方向。
[0200] 在一个实施例中,处理器执行计算机程序时还实现以下步骤:
[0201] 在所述目标物体的三维模型对应的三维坐标系中确定预设数量的目标点;
[0202] 根据所述RTK数据计算各所述目标点的初始磁偏角;
[0203] 对所述各目标点的初始磁偏角在预设方向上旋转预设角度,得到各所述目标点的磁偏角。
[0204] 在一个实施例中,处理器执行计算机程序时还实现以下步骤:
[0205] 计算各所述目标点的磁偏角的平均磁偏角;
[0206] 根据所述平均磁偏角调整所述目标物体的重力方向。
[0207] 在一个实施例中,处理器执行计算机程序时还实现以下步骤:
[0208] 根据所述多帧监测图像生成稀疏三维点云;
[0209] 利用拍摄所述监测图像的摄像设备的相机位姿和所述多帧监测图像,获取所述多帧监测图像对应的深度图;
[0210] 基于所述相机位姿、所述深度图和所述稀疏三维点云,生成所述三维点云。
[0211] 在一个实施例中,处理器执行计算机程序时还实现以下步骤:
[0212] 提取每帧所述监测图像的特征点;
[0213] 对每相邻两帧监测图像的特征点进行特征匹配,得到所述每相邻两帧监测图像的匹配特征点对;
[0214] 获取所述匹配特征点对在所述多帧监测图像对应的同一坐标系中的位置坐标;
[0215] 根据所述匹配特征点对在所述同一坐标系中位置坐标,构建所述稀疏三维点云。
[0216] 在一个实施例中,处理器执行计算机程序时还实现以下步骤:
[0217] 根据所述匹配特征点对确定所述每相邻两帧监测图像的相对位置和朝向;
[0218] 根据所有的所述每相邻两帧监测图像的相对位置和朝向,确定所述多帧监测图像在同一坐标系下的相机位置和朝向;
[0219] 根据所述同一坐标系下的相机位置和朝向,通过三角化方法计算各所述匹配特征点对在所述同一坐标系中位置坐标。
[0220] 在一个实施例中,处理器执行计算机程序时还实现以下步骤:
[0221] 采用表面网格提取技术根据所述三维点云获取稠密三维网格模型;
[0222] 所述对所述三维点云进行语义分割,得到所述监测区域中的目标物体的三维模型,包括:
[0223] 对所述稠密三维网格模型进行语义分割,得到所述监测区域中的目标物体的三维模型。
[0224] 在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
[0225] 获取电网系统的监测区域的多帧监测图像和RTK数据;
[0226] 根据所述多帧监测图像生成所述监测区域的三维点云;
[0227] 对所述三维点云进行语义分割,得到所述监测区域中的目标物体的三维模型;
[0228] 根据所述RTK数据,获取所述目标物体的三维模型中的各目标点的磁偏角;
[0229] 根据所述各目标点的磁偏角调整所述目标物体的重力方向。
[0230] 在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
[0231] 在所述目标物体的三维模型对应的三维坐标系中确定预设数量的目标点;
[0232] 根据所述RTK数据计算各所述目标点的初始磁偏角;
[0233] 对所述各目标点的初始磁偏角在预设方向上旋转预设角度,得到各所述目标点的磁偏角。
[0234] 在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
[0235] 计算各所述目标点的磁偏角的平均磁偏角;
[0236] 根据所述平均磁偏角调整所述目标物体的重力方向。
[0237] 在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
[0238] 根据所述多帧监测图像生成稀疏三维点云;
[0239] 利用拍摄所述监测图像的摄像设备的相机位姿和所述多帧监测图像,获取所述多帧监测图像对应的深度图;
[0240] 在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
[0241] 提取每帧所述监测图像的特征点;
[0242] 对每相邻两帧监测图像的特征点进行特征匹配,得到所述每相邻两帧监测图像的匹配特征点对;
[0243] 获取所述匹配特征点对在所述多帧监测图像对应的同一坐标系中的位置坐标;
[0244] 根据所述匹配特征点对在所述同一坐标系中位置坐标,构建所述稀疏三维点云。
[0245] 在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
[0246] 根据所述匹配特征点对确定所述每相邻两帧监测图像的相对位置和朝向;
[0247] 根据所有的所述每相邻两帧监测图像的相对位置和朝向,确定所述多帧监测图像在同一坐标系下的相机位置和朝向;
[0248] 根据所述同一坐标系下的相机位置和朝向,通过三角化方法计算各所述匹配特征点对在所述同一坐标系中位置坐标。
[0249] 在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
[0250] 采用表面网格提取技术根据所述三维点云获取稠密三维网格模型;
[0251] 所述对所述三维点云进行语义分割,得到所述监测区域中的目标物体的三维模型,包括:
[0252] 对所述稠密三维网格模型进行语义分割,得到所述监测区域中的目标物体的三维模型。
[0253] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机
可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,
本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可
包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read‑
Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器
(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种
形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存
储器(Dynamic Random Access Memory,DRAM)等。
[0254] 以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛
盾,都应当认为是本说明书记载的范围。
[0255] 以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来
说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护
范围。因此,本申请专利的保护范围应以所附权利要求为准。