一种基于无人机的火点定位方法、装置及系统转让专利

申请号 : CN201910435590.3

文献号 : CN111982291B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 蔡思杰

申请人 : 杭州海康机器人技术有限公司

摘要 :

本发明实施例提供了一种基于无人机的火点定位方法、装置及系统,涉及无人机监控技术领域,该方法包括:获取相机生成的目标检测区域对应的热图像;在热图像中存在温度超出预设阈值的火点时,确定火点在热图像中的像素坐标;根据火点的像素坐标、预设的相机的热成像传感器尺寸,以及相机在生成热图像时的相机的姿态角、相机的焦距和无人机的位置坐标,确定火点的地理坐标。采用本发明,可以提高获取的火点的地理坐标的精准度。

权利要求 :

1.一种基于无人机的火点定位方法,其特征在于,所述方法包括:

获取相机生成的目标检测区域对应的热图像,所述热图像包括温度数据,所述温度数据包括所述热图像中各像素点的像素坐标和各像素点对应的温度值;

在所述热图像中存在温度超出预设阈值的火点时,确定所述火点在所述热图像中的像素坐标;

根据所述火点的像素坐标、预设的所述相机的热成像传感器尺寸,以及所述相机在生成所述热图像时的所述相机的姿态角、所述相机的焦距和无人机的位置坐标,确定所述火点的地理坐标;

所述根据所述火点的像素坐标、预设的所述相机的热成像传感器尺寸,以及所述相机在生成所述热图像时的所述相机的姿态角、所述相机的焦距和无人机的位置坐标,确定所述火点的地理坐标,包括:根据成像平面的像素长度和像素宽度、预设的相机的热成像传感器的长度和宽度,将火点的像素坐标转换为图像坐标系下的图像坐标;

根据所述相机的焦距和所述相机的景深系数,将所述火点的图像坐标转换为相机坐标系下的相机坐标;

根据旋转矩阵、平移矩阵、所述景深系数、所述相机相对地面的俯仰角、所述相机相对地面的高度,将所述火点的相机坐标转换成世界坐标系下的世界坐标;

根据所述无人机的经纬坐标,所述火点与无人机之间的水平距离,所述火点相对于北方向的角度,1经度的物理长度,将所述火点的世界坐标转换成地理坐标系下的地理坐标。

2.根据权利要求1所述的方法,其特征在于,所述根据所述第一地理坐标,确定所述火点的地理坐标,包括:将所述第一地理坐标确定为所述火点的地理坐标;

根据预设的所述目标检测区域的数字高程模型DEM数据,从所述无人机的位置坐标与所述第一地理坐标的连线上,确定所述火点的地理坐标,所述火点的地理坐标中的高程与所述火点的地理坐标中的经纬坐标在所述DEM数据中对应的高程相等。

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

在所述目标检测区域的电子地图中的所述火点的地理坐标处添加火点标记。

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

在所述热图像中存在温度超出所述预设阈值的火点时,获取相机生成的所述目标检测区域对应的可见光图像;

当检测到用户点击所述电子地图中的火点标记时,显示所述热图像和所述可见光图像。

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

在所述热图像中存在温度超出所述预设阈值的火点时,输出报警信息。

6.一种基于无人机的火点定位装置,其特征在于,所述装置包括:

第一获取模块,用于获取相机生成的目标检测区域对应的热图像,所述热图像包括温度数据,所述温度数据包括所述热图像中各像素点的像素坐标和各像素点对应的温度值;

第一确定模块,用于在所述热图像中存在温度超出预设阈值的火点时,确定所述火点在所述热图像中的像素坐标;

第二确定模块,用于根据所述火点的像素坐标、预设的所述相机的热成像传感器尺寸,以及所述相机在生成所述热图像时的所述相机的姿态角、所述相机的焦距和无人机的位置坐标,确定所述火点的地理坐标;

所述第二确定模块,具体用于根据成像平面的像素长度和像素宽度、预设的相机的热成像传感器的长度和宽度,将火点的像素坐标转换为图像坐标系下的图像坐标;

根据所述相机的焦距和所述相机的景深系数,将所述火点的图像坐标转换为相机坐标系下的相机坐标;

根据旋转矩阵、平移矩阵、所述景深系数、所述相机相对地面的俯仰角、所述相机相对地面的高度,将所述火点的相机坐标转换成世界坐标系下的世界坐标;

根据所述无人机的经纬坐标,所述火点与无人机之间的水平距离,所述火点相对于北方向的角度,1经度的物理长度,将所述火点的世界坐标转换成地理坐标系下的地理坐标。

7.根据权利要求6所述的装置,其特征在于,所述第二确定单元,具体用于:将所述第一地理坐标确定为所述火点的地理坐标;

根据预设的所述目标检测区域的数字高程模型DEM数据,从所述无人机的位置坐标与所述第一地理坐标的连线上,确定所述火点的地理坐标,所述火点的地理坐标中的高程与所述火点的地理坐标中的经纬坐标在所述DEM数据中对应的高程相等。

8.根据权利要求6所述的装置,其特征在于,所述装置还包括标记模块;

所述标记模块,用于在所述目标检测区域的电子地图中的所述火点的地理坐标处添加火点标记。

9.根据权利要求8所述的装置,其特征在于,所述装置还包括:

第二获取模块,用于在所述热图像中存在温度超出所述预设阈值的火点时,获取相机生成的所述目标检测区域对应的可见光图像;

显示模块,用于当检测到用户点击所述电子地图中的火点标记时,显示所述热图像和所述可见光图像。

10.根据权利要求6所述的装置,其特征在于,所述装置还包括输出模块;

所述输出模块,用于在所述热图像中存在温度超出所述预设阈值的火点时,输出报警信息。

11.一种基于无人机的火点定位系统,其特征在于,所述系统包括无人机和用户终端,所述无人机设置有相机;

所述无人机,用于获取所述相机生成的目标检测区域对应的热图像,所述热图像包括温度数据,所述温度数据包括所述热图像中各像素点的像素坐标和各像素点对应的温度值;在所述热图像中存在温度超出预设阈值的火点时,确定所述火点在热图像中的像素坐标;向所述用户终端发送所述火点的像素坐标;

所述用户终端,用于根据所述火点的像素坐标、预设的所述相机的热成像传感器尺寸,以及所述相机在生成所述热图像时的所述相机的姿态角、所述相机的焦距和无人机的位置坐标,确定所述火点的地理坐标;

所述用户端,具体用于根据成像平面的像素长度和像素宽度、预设的相机的热成像传感器的长度和宽度,将火点的像素坐标转换为图像坐标系下的图像坐标;根据所述相机的焦距和所述相机的景深系数,将所述火点的图像坐标转换为相机坐标系下的相机坐标;根据旋转矩阵、平移矩阵、所述景深系数、所述相机相对地面的俯仰角、所述相机相对地面的高度,将所述火点的相机坐标转换成世界坐标系下的世界坐标;根据所述无人机的经纬坐标,所述火点与无人机之间的水平距离,所述火点相对于北方向的角度,1经度的物理长度,将所述火点的世界坐标转换成地理坐标系下的地理坐标。

12.一种基于无人机的火点定位系统,其特征在于,所述系统包括无人机和用户终端,所述无人机设置有相机;

所述无人机,用于获取所述相机生成的目标检测区域对应的热图像,所述热图像包括温度数据,所述温度数据包括所述热图像中各像素点的像素坐标和各像素点对应的温度值;在所述热图像中存在温度超出预设阈值的火点时,确定所述火点在热图像中的像素坐标;根据所述火点的像素坐标、预设的所述相机的热成像传感器尺寸,以及所述相机在生成所述热图像时的所述相机的姿态角、所述相机的焦距和无人机的位置坐标,确定所述火点的地理坐标;向所述用户终端发送所述火点的地理坐标;

所述用户终端,用于接收所述用户终端发送的所述火点的地理坐标;

所述无人机,具体用于根据成像平面的像素长度和像素宽度、预设的相机的热成像传感器的长度和宽度,将火点的像素坐标转换为图像坐标系下的图像坐标;根据所述相机的焦距和所述相机的景深系数,将所述火点的图像坐标转换为相机坐标系下的相机坐标;根据旋转矩阵、平移矩阵、所述景深系数、所述相机相对地面的俯仰角、所述相机相对地面的高度,将所述火点的相机坐标转换成世界坐标系下的世界坐标;根据所述无人机的经纬坐标,所述火点与无人机之间的水平距离,所述火点相对于北方向的角度,1经度的物理长度,将所述火点的世界坐标转换成地理坐标系下的地理坐标。

13.一种电子设备,其特征在于,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:实现权利要求1‑5任一所述的方法步骤。

14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1‑5任一所述的方法步骤。

说明书 :

一种基于无人机的火点定位方法、装置及系统

技术领域

[0001] 本发明涉及无人机监控技术领域,特别是涉及一种基于无人机的火点定位方法、装置及系统。

背景技术

[0002] 森林火灾是一种突发性强、破坏性大、处置救助较为困难的自然灾害。在森林发生火灾时,如果不能及时发现火点的位置,将会对森林、森林生态系统和人类带来一定危害和损失。随着无人机技术的发展,人们逐渐尝试采样无人机巡检易着火的区域,以及时发现火点的位置。

发明内容

[0003] 本发明实施例的目的在于提供一种基于无人机的火点定位方法、装置及系统,可以提高获取的火点的地理坐标的精准度。具体技术方案如下:
[0004] 第一方面,提供了一种基于无人机的火点定位方法,所述方法包括:
[0005] 获取相机生成的目标检测区域对应的热图像;
[0006] 在所述热图像中存在温度超出预设阈值的火点时,确定所述火点在所述热图像中的像素坐标;
[0007] 根据所述火点的像素坐标、预设的所述相机的热成像传感器尺寸,以及所述相机在生成所述热图像时的所述相机的姿态角、所述相机的焦距和无人机的位置坐标,确定所述火点的地理坐标。
[0008] 可选的,所述根据所述火点的像素坐标、预设的所述相机的热成像传感器尺寸,以及所述相机在生成所述热图像时的所述相机的姿态角、所述相机的焦距和无人机的位置坐标,确定所述火点的地理坐标,包括:
[0009] 根据预设的坐标转换算法、所述火点的像素坐标、预设的所述相机的热成像传感器尺寸,以及所述相机在生成所述热图像时的所述相机的姿态角、所述相机的焦距和无人机的位置坐标,确定第一地理坐标;
[0010] 根据所述第一地理坐标,确定所述火点的地理坐标。
[0011] 可选的,所述根据所述第一地理坐标,确定所述火点的地理坐标,包括:
[0012] 将所述第一地理坐标确定为所述火点的地理坐标;
[0013] 或
[0014] 根据预设的所述目标检测区域的数字高程模型DEM数据,从所述无人机的位置坐标与所述第一地理坐标的连线上,确定所述火点的地理坐标,所述火点的地理坐标中的高程与所述火点的地理坐标中的经纬坐标在所述DEM数据中对应的高程相等。
[0015] 可选的,所述方法还包括:
[0016] 在所述目标检测区域的电子地图中的所述火点的地理坐标处添加火点标记。
[0017] 可选的,所述方法还包括:
[0018] 在所述热图像中存在温度超出所述预设阈值的火点时,获取相机生成的所述目标检测区域对应的可见光图像;
[0019] 当检测到用户点击所述电子地图中的火点标记时,显示所述热图像和所述可见光图像。
[0020] 可选的,所述方法还包括:
[0021] 在所述热图像中存在温度超出所述预设阈值的火点时,输出报警信息。
[0022] 第二方面,提供了一种基于无人机的火点定位装置,所述装置包括[0023] 第一获取模块,用于获取相机生成的目标检测区域对应的热图像;
[0024] 第一确定模块,用于在所述热图像中存在温度超出预设阈值的火点时,确定所述火点在所述热图像中的像素坐标;
[0025] 第二确定模块,用于根据所述火点的像素坐标、预设的所述相机的热成像传感器尺寸,以及所述相机在生成所述热图像时的所述相机的姿态角、所述相机的焦距和无人机的位置坐标,确定所述火点的地理坐标。
[0026] 可选的,所述第二确定模块,包括:
[0027] 第一确定单元,根据预设的坐标转换算法、所述火点的像素坐标、预设的所述相机的热成像传感器尺寸,以及所述相机在生成所述热图像时的所述相机的姿态角、所述相机的焦距和无人机的位置坐标,确定第一地理坐标;
[0028] 第二确定单元,用于根据所述第一地理坐标,确定所述火点的地理坐标。
[0029] 可选的,所述第二确定单元,具体用于:
[0030] 将所述第一地理坐标确定为所述火点的地理坐标;
[0031] 或
[0032] 根据预设的所述目标检测区域的数字高程模型DEM数据,从所述无人机的位置坐标与所述第一地理坐标的连线上,确定所述火点的地理坐标,所述火点的地理坐标中的高程与所述火点的地理坐标中的经纬坐标在所述DEM数据中对应的高程相等。
[0033] 可选的,所述装置还包括标记模块;
[0034] 所述标记模块,用于在所述目标检测区域的电子地图中的所述火点的地理坐标处添加火点标记。
[0035] 可选的,所述装置还包括:
[0036] 第二获取模块,用于在所述热图像中存在温度超出所述预设阈值的火点时,获取相机生成的所述目标检测区域对应的可见光图像;
[0037] 显示模块,用于当检测到用户点击所述电子地图中的火点标记时,显示所述热图像和所述可见光图像。
[0038] 可选的,所述装置还包括输出模块;
[0039] 所述输出模块,用于在所述热图像中存在温度超出所述预设阈值的火点时,输出报警信息。
[0040] 第三方面,提供了一种基于无人机的火点定位系统,所述系统包括无人机和用户终端,所述无人机设置有相机;
[0041] 所述无人机,用于获取所述相机生成的目标检测区域对应的热图像;在所述热图像中存在温度超出预设阈值的火点时,确定所述火点在热图像中的像素坐标;向所述用户终端发送所述火点的像素坐标;
[0042] 所述用户终端,用于根据所述火点的像素坐标、预设的所述相机的热成像传感器尺寸,以及所述相机在生成所述热图像时的所述相机的姿态角、所述相机的焦距和无人机的位置坐标,确定所述火点的地理坐标。
[0043] 第四方面,提供了一种基于无人机的火点定位系统,所述系统包括无人机和用户终端,所述无人机设置有相机;
[0044] 所述无人机,用于获取所述相机生成的目标检测区域对应的热图像;在所述热图像中存在温度超出预设阈值的火点时,确定所述火点在热图像中的像素坐标;根据所述火点的像素坐标、预设的所述相机的热成像传感器尺寸,以及所述相机在生成所述热图像时的所述相机的姿态角、所述相机的焦距和无人机的位置坐标,确定所述火点的地理坐标;向所述用户终端发送所述火点的地理坐标;
[0045] 所述用户终端,用于接收所述用户终端发送的所述火点的地理坐标。
[0046] 第五方面,提供了一种电子设备,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:实现第一方面所述的方法步骤。
[0047] 第六方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的方法步骤。
[0048] 本发明实施例提供的一种基于无人机的火点定位的方法、装置及系统,可以获取相机生成的目标检测区域对应的热图像;在热图像中存在温度超出预设阈值的火点时,确定火点在热图像中的像素坐标;根据火点的像素坐标、预设的相机的热成像传感器尺寸,以及相机在生成热图像时的相机的姿态角、相机的焦距和无人机的位置坐标,确定火点的地理坐标。相比于现有技术,本申请是将火点的像素坐标转换成火点的地理坐标,可以提高获取的火点的地理坐标的精准度。
[0049] 当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

[0050] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0051] 图1为本申请实施例提供的一种基于无人机的火点定位方法的流程图;
[0052] 图2为本申请实施例提供的一种地面位置坐标的曲线图;
[0053] 图3为本申请实施例提供的一种基于无人机的火点定位装置的结构示意图;
[0054] 图4为本申请实施例提供的一种基于无人机的火点定位系统的结构示意图;
[0055] 图5为本申请实施例提供的另一种基于无人机的火点定位系统的结构示意图;
[0056] 图6为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

[0057] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0058] 一种可能的通过无人机检测火点位置的方式是:无人机上设置有具有热成像功能的相机,相机以一定角度固定安装在无人机上,以使无人机起飞后,相机可以垂直向下拍摄。在无人机针对检测区域的巡检过程中,相机垂直向下拍摄,生成针对检测区域的热图像,当热图像中存在温度超出预设阈值的火点时,获取无人机当前的经纬坐标,然后将无人机当前的经纬坐标作为火点的地理坐标。因为相机是垂直向下拍摄,所以可以将无人机的经纬坐标近似的看作火点的地理坐标。
[0059] 然而,当相机在无人机上的安装角度发生误差时,会导致相机不是垂直向下拍摄,进而导致获取的火点的地理坐标的精准度较低。
[0060] 本申请实施例提供的基于无人机的火点定位方法可以由一台电子设备实现,该电子设备可以与无人机进行通信,其中无人机设置有具有热成像功能的相机,电子设备可以获取相机生成的目标检测区域对应的热图像;在热图像中存在温度超出预设阈值的火点时,确定火点在热图像中的像素坐标;根据火点的像素坐标、预设的相机的热成像传感器尺寸,以及相机在生成热图像时的相机的姿态角、相机的焦距和无人机的位置坐标,确定火点的地理坐标。
[0061] 或者,本申请实施例提供的基于无人机的火点定位也可以由无人机和用户终端(或地面站)共同实现。其中,无人机设置有具有热成像功能的相机,无人机可以巡检预设的检测区域,相机可以周期性的生成针对检测区域的热图像,无人机可以获取当前相机生成的目标检测区域对应的热图像,然后,在热图像中存在温度超出预设阈值的火点时,确定火点在热图像中的像素坐标,并将火点的像素坐标发送给用户终端。然后,用户终端可以根据火点的像素坐标、预设的相机的热成像传感器尺寸,以及相机在生成热图像时的相机的姿态角、相机的焦距和无人机的位置坐标,确定火点的地理坐标。
[0062] 在上文描述的一种可能的通过无人机检测火点位置的方式中,通过在无人机上按照指定角度安装相机,使得相机可以垂直向下拍摄,从而直接将无人机的经纬坐标作为火点的地理坐标;但,此种方式中当相机在无人机上的安装角度发生误差时,会导致相机不是垂直向下拍摄,此时直接将无人机的经纬坐标作为火点的地理坐标,获取的火点的地理坐标的精准度较低。而本申请是将火点的像素坐标转换成火点的地理坐标,获取的火点的地理坐标的精准度较高。
[0063] 本申请实施例以上述基于无人机的火点定位方法由无人机和用户终端共同实现为例进行说明,其他情况与之类似。如图1所示,该方法可以包括以下步骤:
[0064] 步骤101,获取相机生成的目标检测区域对应的热图像。
[0065] 在实施中,无人机可以按照预设的飞行策略巡检预设的检测区域,其中,飞行策略可以为人为控制飞行、指点飞行、航线飞行或区域飞行等。在无人机巡检过程中,设置在无人机上的相机可以周期性的生成目标检测区域对应的热图像,无人机可以获取相机生成的目标检测区域对应的热图像。
[0066] 其中,无人机在任一位置处,相机可以按照不同的拍摄角度生成多张目标检测区域对应的热图像。相比于上述的一种可能的方式中无人机在任一位置处相机只能垂直拍摄,相机的监控视野较窄,本申请中相机的监控视野较大,可以更快的对目标检测区域进行巡检,发现火点,及确定火点位置的效率更高。
[0067] 步骤102,在热图像中存在温度超出预设阈值的火点时,确定火点在热图像中的像素坐标。
[0068] 在实施中,无人机可以根据热图像中各像素点对应的温度值,判断热图像中是否存在温度超出预设阈值的火点。如果热图像中存在温度超出预设阈值的火点,无人机可以确定火点在热图像中的像素坐标。一种实现方式中,无人机可以获取热图像的温度数据,其中,温度数据包括热图像中各像素点的像素坐标和各像素点对应的温度值,无人机可以根据温度数据,确定温度超出预设阈值的第一像素点,将位置相邻的第一像素点连通得到第一像素区域,并将第一像素区域中的目标像素点的像素坐标确定为火点的像素坐标。其中,目标像素点为第一像素区域的中心像素点,或为第一像素区域中的任一像素点。一张热图像上可能存在零个、一个或多个第一像素区域。
[0069] 其中,步骤101~步骤102可以由设置在无人机上的相机进行处理,或由无人机的其他处理模块进行处理。
[0070] 步骤103,根据火点的像素坐标、预设的相机的热成像传感器尺寸,以及相机在生成热图像时的相机的姿态角、相机的焦距和无人机的位置坐标,确定火点的地理坐标。
[0071] 其中,相机的姿态角可以包括相机所在云台的俯仰角和相机所在云台的偏航角,云台为相机的承载机构,可以带动相机旋转,以改变相机的拍摄角度。
[0072] 在实施中,无人机上设置有定位装置,定位装置可以检测无人机的位置坐标,其中,位置坐标包括经纬坐标和高程。无人机可以获取在相机生成热图像时,定位装置检测到的无人机的位置坐标、相机所在云台的姿态角(即相机的姿态角)、相机的焦距,然后无人机可以将获取的无人机的位置坐标、相机所在云台的姿态角、相机的焦距,及火点的像素坐标发送给用户终端。
[0073] 用户终端根据火点的像素坐标、预设的相机的热成像传感器尺寸,以及相机在生成热图像时的相机的姿态角、相机的焦距和无人机的位置坐标,确定火点的地理坐标,具体处理过程如下:
[0074] 用户终端可以将火点的像素坐标转换为图像坐标系下的图像坐标,具体处理过程为:将火点的像素坐标代入公式(1),计算火点的图像坐标。其中,图像坐标系是以图像平面的中心为坐标原点,X轴和Y轴分别平行于图像平面的两条垂直边,用(x,y)表示其坐标值。图像坐标系是用物理单位(例如毫米)表示像素在图像中的位置。
[0075]
[0076] 其中,destX和destY分别为火点的像素横坐标和像素纵坐标,picW和picH分别为成像平面的像素长度和像素宽度,sensorW和sensorH分别为热成像传感器的长度和宽度,x和y为火点的图像坐标。
[0077] 用户终端可以将火点的图像坐标转换成相机坐标系下的相机坐标,具体处理过程为:将火点的图像坐标代入公式(2),计算火点的相机坐标。其中,相机坐标系以相机的光心为坐标原点,相机坐标系的X轴和Y轴分别平行于图像坐标系的X轴和Y轴,相机坐标系的Z轴为相机的光轴。
[0078]
[0079] 其中,x和y与为火点的图像坐标,Xc和Yc为火点的相机坐标,f为焦距,Zc为景深系数。
[0080] 用户终端可以将火点的相机坐标转换成世界坐标系下的世界坐标,具体处理过程为:将火点的相机坐标代入公式(3)、(4)和公式(5),计算第一世界坐标。其中,世界坐标系下是客观三维世界的绝对坐标系,也称客观坐标系。
[0081]
[0082]
[0083]
[0084] 其中,R为旋转矩阵,T为平移矩阵,Xw,Yw和Zw为第一世界坐标,Zw=0,Xc和Yc为火点的相机坐标,Zc为景深系数,θ表示相机相对地面的俯仰角,H表示相机相对地面的高度(即无人机相对无人机飞机起飞点的高度)。
[0085] 用户终端可以根据预设的相机径向畸变系数和切向畸变系数,对第一世界坐标进行反畸变计算,得到第二世界坐标。其中,反畸变计算为现有技术,本申请实施例在此不再赘述。用户终端可以将第二世界坐标作为火点的世界坐标,或将第一世界坐标作为火点的世界坐标。
[0086] 用户终端可以将火点的世界坐标转换成地理坐标系下的地理坐标,具体处理过程可以为:将火点的世界坐标代入公式(6),计算火点的第一地理坐标。其中,地理坐标系是以经纬坐标表示位置的坐标系。
[0087]
[0088] 其中,lng_uav、lat_uav为飞机的经纬坐标,d为火点与无飞机之间的水平距离,可以由火点的世界坐标计算得到,angle为火点相对于北方向的角度,可以由云台偏航角计算得到,M为1经度的物理长度(单位:米),lng_E、lat_E为第一地理坐标中的经纬坐标。
[0089] 用户终端可以将无飞机起飞点的高程,作为第一地理坐标中的高程。
[0090] 用户终端可以根据第一地理坐标,确定火点的地理坐标。
[0091] 参见上述利用公式(3)计算火点的第一世界坐标的计算过程,H表示相机距地面的高度(即飞机相对飞机起飞点高度),用户终端在默认火点的第一世界坐标中的高度Zw=0(即默认火点的高程与无人机起飞点的高程相等)时,计算火点的第一世界坐标中的横纵坐标Xw,Yw,并以此第一世界坐标计算第一地理坐标。这样,在火点的实际高程与无人机起飞点的高程相等的情况下,用户终端可以将第一地理坐标作为火点的地理坐标。例如,假设第一地理坐标为A,用户终端可以将坐标A作为火点的地理坐标。
[0092] 在火点的实际高程与无人机起飞点的高程不相等(例如,火点位于山上)的情况下,用户终端需要对第一地理坐标进行纠偏。具体过程如下:根据预设的目标检测区域的DEM(Digital Elevation Model,数字高程模型)数据,从无人机的位置坐标与第一地理坐标的连线上,确定第二地理坐标,第二地理坐标中的高程与第二地理坐标中的经纬坐标在DEM数据中对应的高程相等,将第二地理坐标作为火点的位置坐标。
[0093] 其中,目标检测区域的DEM数据包括地面上各位置点的经纬坐标和高程。
[0094] 在实施中,用户终端可以确定无人机的位置坐标(经纬坐标和高程)与第一地理坐标的连线,然后确定连线上的各位置点的位置坐标(经纬坐标和高程),然后,用户终端根据连线上的各位置点的位置坐标中,确定第二地理坐标,其中,第二地理坐标中的高程与第二地理坐标中的经纬坐标在DEM数据中对应的高程相等,然后,无人机将第二地理坐标作为火点的地理坐标。其中,如果存在多个第二地理坐标,则将靠近无人机的位置坐标的第二地理坐标作为火点的地理坐标。
[0095] 例如,如图2所示,横轴表示经纬坐标,纵轴表示高程,E点表示无人机的位置坐标,D点表示第一地理坐标,曲线H表示表示地面上各位置点的经纬坐标和高程之间的关系,用户终端可以确定E点与D点之间的连线,在E点与D点之间的连线经过地面(比如经过山体、建筑物等)时,表明D点被遮挡,相机不可能拍摄到D点,火点真实的地理坐标处于D点对应的遮挡点,即从E点到D点的方向上,E点与D点之间的连线第一次与地面的交点F。用户终端可以将F点的地理坐标作为火点的地理坐标。
[0096] 这样,根据第一地理坐标和DEM数据,确定火点的地理坐标,得到的火点的地理坐标的精准度较高。
[0097] 相比于现有技术直接将无人机的经纬坐标作为火点的地理坐标的技术方案,本发明将火点的像素坐标转换为火点的地理坐标,获得的火点的地理坐标的精准度较高。且本申请可以实时分析当前相机生成的目标检测区域对应的热图像,及时发现火点并确定火点位置。且相比于现有技术中无人机在任一位置处,相机只能垂直拍摄,相机的监控视野较窄,本申请中无人机在任一位置处,相机可以按照不同的拍摄角度生成多张目标检测区域对应的热图像,相机的监控视野较大,可以更快的对目标检测区域进行巡检,发现火点,及确定火点位置的效率更高。且本申请可以实时分析当前相机生成的目标检测区域对应的热图像,及时发现火点并确定火点位置。
[0098] 可选的,上述基于无人机的火点定位方法还包括以下处理过程:在目标检测区域的电子地图中的火点的地理坐标处添加火点标记。
[0099] 在实施中,用户终端可以在确定火点的地理坐标后,在目标检测区域的电子地图中的该火点的地理坐标处添加火点标记,以方便用户查看火点位置。
[0100] 可选的,相机还具有可见光图像拍摄功能,比如为双光谱相机,上述火点的自动定位方法还包括以下处理过程:在热图像中存在温度超出预设阈值的火点时,获取相机生成的目标检测区域对应的可见光图像,当检测到用户点击电子地图中的火点标记时,显示热图像和可见光图像。
[0101] 在实施中,如果热图像中存在温度超出预设阈值的火点,用户终端可以获取相机拍摄的目标检测区域对应的可见光图像,当检测到用户点击电子地图中的火点标记时,显示热图像和可见光图像,以方便用户查看火点位置,并根据热图像和可见光图像排除无效火点,比如,用户查看火点标记对应的热图像和可见光图像时,发现该火点标记的位置有人在野炊,则可以将此火点作为无效火点。
[0102] 可选的,上述基于无人机的火点定位方法还包括以下处理过程:在热图像中存在温度超出预设阈值的火点时,输出报警信息。
[0103] 在实施中,如果热图像中存在温度超出预设阈值的火点,用户终端可以输出报警信息,以提示用户发生火灾,进而及时进行灭火处理。
[0104] 基于相同的技术构思,如图3所示,本申请实施例还提供了一种基于无人机的火点定位装置,所述装置包括:
[0105] 第一获取模块301,用于获取相机生成的目标检测区域对应的热图像;
[0106] 第一确定模块302,用于在所述热图像中存在温度超出预设阈值的火点时,确定所述火点在所述热图像中的像素坐标;
[0107] 第二确定模块303,用于根据所述火点的像素坐标、预设的所述相机的热成像传感器尺寸,以及所述相机在生成所述热图像时的所述相机的姿态角、所述相机的焦距和无人机的位置坐标,确定所述火点的地理坐标。
[0108] 可选的,所述第二确定模块303,包括:
[0109] 第一确定单元,根据预设的坐标转换算法、所述火点的像素坐标、预设的所述相机的热成像传感器尺寸,以及所述相机在生成所述热图像时的所述相机的姿态角、所述相机的焦距和无人机的位置坐标,确定第一地理坐标;
[0110] 第二确定单元,用于根据所述第一地理坐标,确定所述火点的地理坐标。
[0111] 可选的,所述第二确定单元,具体用于:
[0112] 将所述第一地理坐标确定为所述火点的地理坐标;
[0113] 或
[0114] 根据预设的所述目标检测区域的数字高程模型DEM数据,从所述无人机的位置坐标与所述第一地理坐标的连线上,确定所述火点的地理坐标,所述火点的地理坐标中的高程与所述火点的地理坐标中的经纬坐标在所述DEM数据中对应的高程相等。
[0115] 可选的,所述装置还包括标记模块;
[0116] 所述标记模块,用于在所述目标检测区域的电子地图中的所述火点的地理坐标处添加火点标记。
[0117] 可选的,所述装置还包括:
[0118] 第二获取模块,用于在所述热图像中存在温度超出所述预设阈值的火点时,获取相机生成的所述目标检测区域对应的可见光图像;
[0119] 显示模块,用于当检测到用户点击所述电子地图中的火点标记时,显示所述热图像和所述可见光图像。
[0120] 可选的,所述装置包括还输出模块;
[0121] 所述输出模块,用于在所述热图像中存在温度超出所述预设阈值的火点时,输出报警信息。
[0122] 基于相同的技术构思,如图4所示,本申请实施例还提供了一种基于无人机的火点定位系统,所述系统包括无人机401和用户终端402,所述无人机401设置有相机;
[0123] 所述无人机401,用于获取所述相机生成的目标检测区域对应的热图像;在所述热图像中存在温度超出预设阈值的火点时,确定所述火点在热图像中的像素坐标;向所述用户终端发送所述火点的像素坐标;
[0124] 所述用户终端402,用于根据所述火点的像素坐标、预设的所述相机的热成像传感器尺寸,以及所述相机在生成所述热图像时的所述相机的姿态角、所述相机的焦距和无人机的位置坐标,确定所述火点的地理坐标。
[0125] 基于相同的技术构思,如图5所示,本申请实施例还提供了一种基于无人机的火点定位系统,所述系统包括无人机501和用户终端502,所述无人机501设置有相机;
[0126] 所述无人机501,用于获取所述相机生成的目标检测区域对应的热图像;在所述热图像中存在温度超出预设阈值的火点时,确定所述火点在热图像中的像素坐标;根据所述火点的像素坐标、预设的所述相机的热成像传感器尺寸,以及所述相机在生成所述热图像时的所述相机的姿态角、所述相机的焦距和无人机的位置坐标,确定所述火点的地理坐标;向所述用户终端发送所述火点的地理坐标;
[0127] 所述用户终端502,用于接收所述用户终端发送的所述火点的地理坐标。
[0128] 本发明实施例还提供了一种电子设备,如图6所示,包括处理器601、通信接口602、存储器603和通信总线604,其中,处理器601,通信接口602,存储器603通过通信总线604完成相互间的通信,
[0129] 存储器603,用于存放计算机程序;
[0130] 处理器601,用于执行存储器603上所存放的程序时,实现如下步骤:
[0131] 获取相机生成的目标检测区域对应的热图像;在所述热图像中存在温度超出预设阈值的火点时,确定所述火点在所述热图像中的像素坐标;根据所述火点的像素坐标、预设的所述相机的热成像传感器尺寸,以及所述相机在生成所述热图像时的所述相机的姿态角、所述相机的焦距和无人机的位置坐标,确定所述火点的地理坐标。
[0132] 可选的,处理器601执行的所述根据所述火点的像素坐标、预设的所述相机的热成像传感器尺寸,以及所述相机在生成所述热图像时的所述相机的姿态角、所述相机的焦距和无人机的位置坐标,确定所述火点的地理坐标的程序,可以包括:根据预设的坐标转换算法、所述火点的像素坐标、预设的所述相机的热成像传感器尺寸,以及所述相机在生成所述热图像时的所述相机的姿态角、所述相机的焦距和无人机的位置坐标,确定第一地理坐标;根据所述第一地理坐标,确定所述火点的地理坐标。
[0133] 可选的,处理器601执行的所述根据所述第一地理坐标,确定所述火点的地理坐标的程序,可以包括:将所述第一地理坐标确定为所述火点的地理坐标;或,根据预设的所述目标检测区域的数字高程模型DEM数据,从所述无人机的位置坐标与所述第一地理坐标的连线上,确定所述火点的地理坐标,所述火点的地理坐标中的高程与所述火点的地理坐标中的经纬坐标在所述DEM数据中对应的高程相等。
[0134] 可选的,处理器601执行的程序还可以包括:在所述目标检测区域的电子地图中的所述火点的地理坐标处添加火点标记。
[0135] 可选的,处理器601执行的程序还可以包括:在所述热图像中存在温度超出所述预设阈值的火点时,获取相机生成的所述目标检测区域对应的可见光图像;当检测到用户点击所述电子地图中的火点标记时,显示所述热图像和所述可见光图像。
[0136] 可选的,处理器601执行的程序还可以包括:在所述热图像中存在温度超出所述预设阈值的火点时,输出报警信息。
[0137] 上述电子设备提到的通信总线604可以是外设部件互连标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture,EISA)总线等。该通信总线604可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
[0138] 通信接口602用于上述电子设备与其他设备之间的通信。
[0139] 存储器603可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non‑Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器602还可以是至少一个位于远离前述处理器的存储装置。
[0140] 上述的处理器601可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field‑Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0141] 在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一基于无人机的火点定位方法的步骤。
[0142] 在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一基于无人机的火点定位方法。
[0143] 在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
[0144] 需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0145] 本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
[0146] 以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。