无人机自主拍照参数调整方法、装置、设备及存储介质转让专利

申请号 : CN202210357456.8

文献号 : CN114430462B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 高小伟谭启昀高松鹤赵慧童

申请人 : 北京御航智能科技有限公司

摘要 :

本公开提供一种无人机自主拍照参数调整方法、装置、设备及存储介质。该方法包括:采集无人机在拍摄点位对应外界环境的点云数据并获取拍摄图像,利用点云数据对拍摄图像的拍摄环境进行判断,并计算拍摄图像的逆光检测系数;当判断拍摄环境为逆光环境时,对拍摄图像进行目标检测得到包含预定部件的目标区域图像,对目标区域图像进行语义分割得到前景图像;利用滑框选择方式从前景图像中选取测光区域,根据测光区域以及测光函数,对相机调整参数进行计算,以便利用相机调整参数对无人机的相机参数进行调整,并建立逆光检测系数与相机调整参数之间的映射关系。本公开能够降低参数计算的复杂度,提高相机调整参数的精度,提高无人机拍摄图像的效果。

权利要求 :

1.一种无人机自主拍照参数调整方法,其特征在于,包括:

采集无人机在拍摄点位对应外界环境的点云数据,并获取所述无人机在所述拍摄点位的拍摄图像,利用所述点云数据对所述拍摄图像的拍摄环境进行判断,并计算所述拍摄图像的逆光检测系数;

当判断所述拍摄环境为逆光环境时,对所述拍摄图像中的预定部件进行目标检测,得到包含所述预定部件的目标区域图像,对所述目标区域图像进行语义分割,得到所述目标区域图像对应的前景图像;

利用预设的滑框选择方式从所述前景图像中选取测光区域,根据所述测光区域以及测光函数,对相机调整参数进行计算,以便利用所述相机调整参数对所述无人机的相机参数进行调整,并建立所述逆光检测系数与所述相机调整参数之间的映射关系;

其中,所述利用预设的滑框选择方式从所述前景图像中选取测光区域,包括:

在所述前景图像中生成一个预设范围大小的滑动框,利用所述滑动框在所述前景图像中的所述预定部件对应的区域中进行移动,当每次移动所述滑动框时,对移动后当前所述滑动框内的背景区域与前景区域之间的交并比进行计算,并将所述交并比的数值最大时对应的所述滑动框所在的区域作为所述测光区域。

2.根据权利要求1所述的方法,其特征在于,所述采集无人机在拍摄点位对应外界环境的点云数据,并获取所述无人机在所述拍摄点位的拍摄图像,包括:在所述无人机的自主巡检过程中,当所述无人机沿航线移动至所述拍摄点位时,利用安装在所述无人机上的激光雷达采集所述点云数据,并利用安装在所述无人机上的相机采集所述拍摄点位对应的拍摄图像,其中,所述点云数据中包含所述无人机的位置以及杆塔的位置。

3.根据权利要求2所述的方法,其特征在于,所述利用所述点云数据对所述拍摄图像的拍摄环境进行判断,包括:根据所述拍摄图像的拍摄时间以及所述拍摄点位对应的经纬度,确定在获取所述拍摄图像时的太阳位置,以所述杆塔的位置作为中心点,确定所述杆塔与所述无人机之间对应的第一向量,以及所述杆塔与太阳之间对应的第二向量,计算所述第一向量与所述第二向量之间的夹角,当所述夹角为钝角时,则判断所述拍摄环境为逆光环境,当所述夹角为锐角时,则判断所述拍摄环境为非逆光环境。

4.根据权利要求1所述的方法,其特征在于,在所述当判断所述拍摄环境为逆光环境时之后,所述方法还包括:判断所述拍摄图像是否为初始图像,当所述拍摄图像为初始图像时,且所述拍摄图像的拍摄环境为逆光环境时,对所述拍摄图像的测光区域执行选取操作;

当所述拍摄图像为非初始图像时,将当前帧的所述拍摄图像的逆光检测系数与前一帧拍摄图像的逆光检测系数进行比较,根据比较结果判断采用所述前一帧拍摄图像的相机调整参数对所述无人机的相机参数进行调整,或者判断对所述拍摄图像的测光区域执行选取操作。

5.根据权利要求1所述的方法,其特征在于,所述对所述拍摄图像中的预定部件进行目标检测,得到包含所述预定部件的目标区域图像,包括:利用预设的目标识别算法对所述拍摄图像中的预定部件进行检测,根据检测结果确定所述拍摄图像中的所述预定部件对应的目标区域,并从所述拍摄图像中对所述目标区域进行裁剪得到所述目标区域图像,其中,将所述拍摄图像中的输电杆塔作为所述预定部件。

6.根据权利要求1所述的方法,其特征在于,所述根据所述测光区域以及测光函数,对相机调整参数进行计算,以便利用所述相机调整参数对所述无人机的相机参数进行调整,包括:将所述测光区域所对应图像转换为灰度图,对所述灰度图中的亮度值进行统计,根据统计结果生成所述测光区域所对应图像的直方图,根据所述直方图对所述拍摄图像的曝光结果进行判断;

根据所述曝光结果,对安装在所述无人机上的相机所对应的曝光模式进行调整,根据调整后的所述曝光模式的曝光设置,利用所述测光函数对所述测光区域进行参数计算,得到所述相机调整参数,利用所述相机调整参数对所述无人机的相机参数进行调整,并利用调整相机参数后的相机进行拍照。

7.一种无人机自主拍照参数调整装置,其特征在于,包括:

采集模块,被配置为采集无人机在拍摄点位对应外界环境的点云数据,并获取所述无人机在所述拍摄点位的拍摄图像,利用所述点云数据对所述拍摄图像的拍摄环境进行判断,并计算所述拍摄图像的逆光检测系数;

检测模块,被配置为当判断所述拍摄环境为逆光环境时,对所述拍摄图像中的预定部件进行目标检测,得到包含所述预定部件的目标区域图像,对所述目标区域图像进行语义分割,得到所述目标区域图像对应的前景图像;

调整模块,被配置为利用预设的滑框选择方式从所述前景图像中选取测光区域,根据所述测光区域以及测光函数,对相机调整参数进行计算,以便利用所述相机调整参数对所述无人机的相机参数进行调整,并建立所述逆光检测系数与所述相机调整参数之间的映射关系;

其中,所述调整模块还用于在所述前景图像中生成一个预设范围大小的滑动框,利用所述滑动框在所述前景图像中的所述预定部件对应的区域中进行移动,当每次移动所述滑动框时,对移动后当前所述滑动框内的背景区域与前景区域之间的交并比进行计算,并将所述交并比的数值最大时对应的所述滑动框所在的区域作为所述测光区域。

8.一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至6中任一项所述的方法。

9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。

说明书 :

无人机自主拍照参数调整方法、装置、设备及存储介质

技术领域

[0001] 本公开涉及无人机技术领域,尤其涉及一种无人机自主拍照参数调整方法、装置、设备及存储介质。

背景技术

[0002] 输电线路外观巡检作业是进行线路运行状况的一种重要监测方式,传统的线路巡检以人巡为主,随着无人机应用的不断推广,输电线路巡检模式逐渐向人机协同巡检、无人机为主的协同巡检、无人机为主的协同自主巡检模式转变。目前无人机在自主飞行过程中,会严格按照预定的航线飞行,现有的无人机飞行控制系统无法对相机拍摄参数进行自动调整,导致无人机拍摄的图片无法满足缺陷识别工作的要求。
[0003] 现有技术中,为了解决由于光照条件进行逆光拍摄引起的图片过曝或者欠曝的问题,通常采用基于直方图的自动曝光算法、基于图像信息熵的自动曝光算法以及权重均值算法等方式,但是现有的针对相机拍摄参数的调整方案,不仅具有较高的计算复杂度,并且算法的灵敏度比较低,导致相机拍摄图像的效果比较差,因此无法满足无人机巡检过程中对图片过曝或者欠曝问题自动调整的需求。

发明内容

[0004] 有鉴于此,本公开实施例提供了一种无人机自主拍照参数调整方法、装置、设备及存储介质,以解决现有技术存在的自动曝光算法的计算复杂度高,灵敏度比较低,导致相机拍摄图像的效果比较差的问题。
[0005] 本公开实施例的第一方面,提供了一种无人机自主拍照参数调整方法,包括:采集无人机在拍摄点位对应外界环境的点云数据,并获取无人机在拍摄点位的拍摄图像,利用点云数据对拍摄图像的拍摄环境进行判断,并计算拍摄图像的逆光检测系数;当判断拍摄环境为逆光环境时,对拍摄图像中的预定部件进行目标检测,得到包含预定部件的目标区域图像,对目标区域图像进行语义分割,得到目标区域图像对应的前景图像;利用预设的滑框选择方式从前景图像中选取测光区域,根据测光区域以及测光函数,对相机调整参数进行计算,以便利用相机调整参数对无人机的相机参数进行调整,并建立逆光检测系数与相机调整参数之间的映射关系。
[0006] 本公开实施例的第二方面,提供了一种无人机自主拍照参数调整装置,包括:采集模块,被配置为采集无人机在拍摄点位对应外界环境的点云数据,并获取无人机在拍摄点位的拍摄图像,利用点云数据对拍摄图像的拍摄环境进行判断,并计算拍摄图像的逆光检测系数;检测模块,被配置为当判断拍摄环境为逆光环境时,对拍摄图像中的预定部件进行目标检测,得到包含预定部件的目标区域图像,对目标区域图像进行语义分割,得到目标区域图像对应的前景图像;调整模块,被配置为利用预设的滑框选择方式从前景图像中选取测光区域,根据测光区域以及测光函数,对相机调整参数进行计算,以便利用相机调整参数对无人机的相机参数进行调整,并建立逆光检测系数与相机调整参数之间的映射关系。
[0007] 本公开实施例的第三方面,提供了一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现上述方法的步骤。
[0008] 本公开实施例的第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
[0009] 本公开实施例采用的上述至少一个技术方案能够达到以下有益效果:
[0010] 通过采集无人机在拍摄点位对应外界环境的点云数据,并获取无人机在拍摄点位的拍摄图像,利用点云数据对拍摄图像的拍摄环境进行判断,并计算拍摄图像的逆光检测系数;当判断拍摄环境为逆光环境时,对拍摄图像中的预定部件进行目标检测,得到包含预定部件的目标区域图像,对目标区域图像进行语义分割,得到目标区域图像对应的前景图像;利用预设的滑框选择方式从前景图像中选取测光区域,根据测光区域以及测光函数,对相机调整参数进行计算,以便利用相机调整参数对无人机的相机参数进行调整,并建立逆光检测系数与相机调整参数之间的映射关系。本公开能够在无人机巡检过程中,对无人机的相机拍摄参数进行自动调整,且算法的计算复杂度低,灵敏度高,从而提高了相机拍摄图像的效果。

附图说明

[0011] 为了更清楚地说明本公开实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
[0012] 图1是本公开实施例提供的无人机自主拍照参数调整方法的流程示意图;
[0013] 图2是本公开实施例提供的逆光检测的原理示意图;
[0014] 图3是本公开实施例提供的无人机自主拍照参数调整装置的结构示意图;
[0015] 图4是本公开实施例提供的电子设备的结构示意图。

具体实施方式

[0016] 以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本公开实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本公开的描述。
[0017] 无人机巡检在电力行业已经成为日常巡检的主要工作模式,而且随着高精度定位技术的发展,无人机巡检由原来的全部依靠飞手向无人机自动飞行过渡。为了减少飞手的参与,降低飞行的难度,提高无人机巡检工作效率,无人机自动飞行主要是依靠事先设定的航点航线,无人机按照航点进行自主飞行,但是目前无人机自主飞行弊端也比较明显,一旦给无人机下发航线,无人机会严格按照航线飞行,无法根据现场的实际情况进行判断,特别是因为光照条件导致的拍摄问题,当飞手手动控制无人机飞行的时候会根据光照情况适时的调整相机参数,拍摄出高质量的图片;但是自动飞行过程中缺少了人工判断环节,无人机飞行控制系统没有进行自动调整的能力,从而造成拍摄图片无法满足下一步利用图片的进行缺陷识别工作的要求。
[0018] 针对无人机飞行控制系统无法对相机拍摄参数进行自动调整问题,传统无人机采用一些常规的自动曝光调整技术来解决上述问题,例如基于直方图的自动曝光算法、基于图像信息熵的自动曝光算法、权重均值算法、无人机相机自动曝光与自动白平衡算法、平均亮度算法等。但是基于直方图的自动曝光算法、基于图像信息熵的自动曝光算法及权重均值算法等计算复杂度较高,而实际场景下无人机飞行曝光算法需要较高的灵敏度;无人机相机自动曝光与自动白平衡算法改进了一些合理性,但色偏校正算法对主色调引起的色偏校正效果不是很理想;另外,平均亮度算法虽反应灵敏但会破坏原有图像的一些信息,因此以上方法都不能满足无人机巡检过程中对图片过曝或者欠曝问题自动调整的需求。由此可见,现有的自动曝光算法均无法满足无人机巡检过程中对图片过曝或者欠曝问题进行自动调整的需求。
[0019] 鉴于以上现有技术中的问题,本公开实施例提供一种无人机自主拍照参数调整方法,通过在输电线路无人机自主巡检过程中,对逆光环境下拍摄图像的云台相机的拍摄参数进行调整,实现针对相机参数的自适应调整。本公开实施例对拍照场景的逆光环境进行判断,并将当前帧的逆光检测系数与前一帧图像的逆光检测系数进行比较,判断图像之间的相似度;针对需要进行测光的图像,对图像中的预定部件进行目标识别,并对识别后的部件区域进行语义分割,利用语义分割的方式将图像的前后背景分离,从而进一步地对前景图像中的测光区域进行选择,即选取合适的测光区域;最后通过测光函数针对测光区域进行参数计算,获得相机调整参数,利用相机调整参数对当前相机的拍摄参数进行调整。本公开实现了在无人机巡检过程中,对无人机的相机拍摄参数进行自动调整,且算法的计算过程简单,算法的灵敏度高,矫正后图片的信息熵值保留完整,从而提高相机拍摄图像的效果。
[0020] 图1是本公开实施例提供的无人机自主拍照参数调整方法的流程示意图。图1的无人机自主拍照参数调整方法可以由无人机执行。如图1所示,该无人机自主拍照参数调整方法具体可以包括:
[0021] S101,采集无人机在拍摄点位对应外界环境的点云数据,并获取无人机在拍摄点位的拍摄图像,利用点云数据对拍摄图像的拍摄环境进行判断,并计算拍摄图像的逆光检测系数;
[0022] S102,当判断拍摄环境为逆光环境时,对拍摄图像中的预定部件进行目标检测,得到包含预定部件的目标区域图像,对目标区域图像进行语义分割,得到目标区域图像对应的前景图像;
[0023] S103,利用预设的滑框选择方式从前景图像中选取测光区域,根据测光区域以及测光函数,对相机调整参数进行计算,以便利用相机调整参数对无人机的相机参数进行调整,并建立逆光检测系数与相机调整参数之间的映射关系。
[0024] 具体地,本公开实施例的整体技术方案流程包括以下内容:首先对相机的拍照场景进行逆光判断,并将当前帧的拍摄图像的逆光检测系数与前帧拍摄图像的逆光检测系数进行比较,当判断拍摄图像为初始图像或者与前帧拍摄图像的逆光检测系数不同时,将拍摄图像作为需要进行曝光调整的图像,并对拍摄图像中的测光区域进行选择,选取最合适的测光区域,最后通过测光函数针对测光区域进行相机调整参数计算,获得最终的相机调整参数。
[0025] 进一步地,本公开实施例的预定部件可以认为是无人机的相机在拍摄点位进行拍摄时,相机所聚焦的关键部件,比如在无人机的电力巡检过程中,安装在无人机上的相机所拍摄的主要对象一般为输电杆塔,因此可以将输电杆塔作为本公开实施例的关键部件(即预定部件)。通过对拍摄图像中的关键部件进行目标识别,并将关键部件在拍摄图像中的区域作为测光时的初始区域,基于测光的初始区域进一步选择测光区域。
[0026] 根据本公开实施例提供的技术方案,通过采集无人机在拍摄点位对应外界环境的点云数据,并获取无人机在拍摄点位的拍摄图像,利用点云数据对拍摄图像的拍摄环境进行判断,并计算拍摄图像的逆光检测系数;当判断拍摄环境为逆光环境时,对拍摄图像中的预定部件进行目标检测,得到包含预定部件的目标区域图像,对目标区域图像进行语义分割,得到目标区域图像对应的前景图像;利用预设的滑框选择方式从前景图像中选取测光区域,根据测光区域以及测光函数,对相机调整参数进行计算,以便利用相机调整参数对无人机的相机参数进行调整,并建立逆光检测系数与相机调整参数之间的映射关系。本公开能够在无人机巡检过程中,对无人机的相机拍摄参数进行自动调整,且算法的计算复杂度低,灵敏度高,从而提高了相机拍摄图像的效果。
[0027] 在一些实施例中,采集无人机在拍摄点位对应外界环境的点云数据,并获取无人机在拍摄点位的拍摄图像,包括:在无人机的自主巡检过程中,当无人机沿航线移动至拍摄点位时,利用安装在无人机上的激光雷达采集点云数据,并利用安装在无人机上的相机采集拍摄点位对应的拍摄图像,其中,点云数据中包含无人机的位置以及杆塔的位置。
[0028] 具体地,无人机按照预定的航线进行电力自主巡检过程中,当无人机飞行到某一预设的拍摄点位进行图像采集时,首先利用无人机上的激光雷达采集拍摄点位周边环境的点云数据,点云数据中包含但不限于无人机的位置以及杆塔的位置。在获取点云数据后,利用安装在无人机上的相机采集拍摄点位对应的拍摄图像,并进一步基于无人机的位置、杆塔的位置以及拍摄图像对当前拍摄点位的逆光环境进行判断。
[0029] 在一些实施例中,利用点云数据对拍摄图像的拍摄环境进行判断,包括:根据拍摄图像的拍摄时间以及拍摄点位对应的经纬度,确定在获取拍摄图像时的太阳位置,以杆塔的位置作为中心点,确定杆塔与无人机之间对应的第一向量,以及杆塔与太阳之间对应的第二向量,计算第一向量与第二向量之间的夹角,当夹角为钝角时,则判断拍摄环境为逆光环境,当夹角为锐角时,则判断拍摄环境为非逆光环境。
[0030] 具体地,在对拍摄环境进行逆光检测时,利用常规直方图与业务场景相结合的方式进行判断,直方图为常规判断照片曝光程度的方式,为了提高判别准确率,将业务场景内的其他因素作为正则项加入到逆光检测中。在实际应用中,业务场景因素包括但不限于以下内容:无人机偏航角、云台俯仰角、拍摄时间、拍摄地点。
[0031] 进一步地,通过太阳位置、杆塔位置、拍摄时间、拍摄地点和无人机偏航角度可以判断无人机是否在逆光环境下进行拍摄,在实际应用中,主要利用太阳位置与杆塔位置之间的向量,以及无人机位置与杆塔位置之间的向量,基于这两个向量进行角度判断,从而根据角度判断是否为逆光环境。下面结合附图以及实施例对逆光环境判断的原理进行详细说明,图2是本公开实施例提供的逆光检测的原理示意图。如图2所示,该无人机的逆光环境判断方法具体可以包括:
[0032] 图2中的“圆圈”代表太阳位置,“星号”代表无人机位置,中心点为杆塔位置,以垂直北方东西向为切面,以杆塔的位置坐标为中心点,将杆塔与无人机的向量设为 ,将杆塔与太阳的向量设为 ,则当前夹角计算公式为:
[0033]
[0034] 利用以上夹角计算公式确定第一向量与第二向量之间的夹角,当夹角的角度为钝角时,则判定拍摄环境为逆光环境,当夹角的角度为锐角时,则判定拍摄环境为非逆光环境,并进一步根据角度值得到逆光检测系数。在实际应用中,当夹角 ,将逆光检测系数设为0.65,当夹角 ,将逆光检测系数设为0.8,当夹角 ,将逆光检测系数设为0.95。
[0035] 在一些实施例中,在当判断拍摄环境为逆光环境时之后,方法还包括:判断拍摄图像是否为初始图像,当拍摄图像为初始图像时,且拍摄图像的拍摄环境为逆光环境时,对拍摄图像的测光区域执行选取操作;当拍摄图像为非初始图像时,将当前帧的拍摄图像的逆光检测系数与前一帧拍摄图像的逆光检测系数进行比较,根据比较结果判断采用前一帧拍摄图像的相机调整参数对无人机的相机参数进行调整,或者判断对拍摄图像的测光区域执行选取操作。
[0036] 具体地,在进行逆光检测判断时,为了节省不必要的计算资源,本公开实施例通过将当前帧的拍摄图像与前一帧拍摄图像的逆光检测系数进行比较,当当前帧的逆光检测系数与前一帧的逆光检测系数相近时,表明当前帧图像与前一帧图像之间的相似度比较高,此时直接从存储器中获取前一帧图像的逆光检测系数所对应的相机调整参数,从而无需对当前帧的逆光检测系数进行重复计算。
[0037] 进一步地,本公开实施例在对测光区域进行选择之前,需要对当前帧的拍摄图像进行以下判断:如果当前帧是初始图像且属于逆光环境拍摄,则直接执行下一步的测光区域选择操作;如果当前帧为非初始图像,将当前帧图像的逆光检测系数与存储器中的前一帧图像的逆光检测系数进行比对,若逆光检测结果相似,则直接用前一帧图像的相机拍照参数进行拍照,否则进行到下一步的测光区域选择。
[0038] 在一些实施例中,对拍摄图像中的预定部件进行目标检测,得到包含预定部件的目标区域图像,包括:利用预设的目标识别算法对拍摄图像中的预定部件进行检测,根据检测结果确定拍摄图像中的预定部件对应的目标区域,并从拍摄图像中对目标区域进行裁剪得到目标区域图像,其中,将拍摄图像中的输电杆塔作为预定部件。
[0039] 具体地,测光区域的选择将直接影响相机拍摄参数的设定,本公开实施例在进行测光区域的选择时,采用实时目标识别以及语义分割的方式进行,与常规的直接选取拍照点中间的点位方式相比,本公开实施例结合了实时目标检测和语义分割方法,通过将区域选择、关键位置选择以及前后背景选择相结合,利用目标检测找到拍照点位对应的关键部件,并选择关键部件作为测光大区域(即目标区域),对关键部件区域进行语义分割,实现前后背景的分离,这样可以去除掉背景对测光的影响,特别是针对输电杆塔中镂空部件,由于镂空部件的中心区域可能是天空或者土地,不能真实反应关键部件的光照环境,因此会严重影响测光的准确性。
[0040] 在一些实施例中,利用预设的滑框选择方式从前景图像中选取测光区域,包括:在前景图像中生成一个预设范围大小的滑动框,利用滑动框在前景图像中的预定部件对应的区域中进行移动,当每次移动滑动框时,对移动后当前滑动框内的背景区域与前景区域之间的交并比进行计算,并将交并比的数值最大时对应的滑动框所在的区域作为测光区域。
[0041] 具体地,本公开实施例基于点测光方式提出一种测光区域的滑框式自动选择方法,利用语义分割将关键部件从拍摄图片中分离出来后,利用滑框方式在关键部件的区域内进行测光区域的选择。在实际应用中,利用滑框选择方式从前景图像中选取测光区域的原理在于,通过滑动框找到前景占图比最高的区域作为最终的测光区域。
[0042] 进一步地,在以指定点为中心的范围内进行测光时,在前景图像中生成一个预设范围大小的滑动框,即选择一定长宽比的滑动框,在前景图像中已经识别出来的部件区域中进行移动,滑动框每移动一次进行一次Iou值计算,确定当前窗口内背景区域和前景区域的占比。Iou值的计算方式为IoU= Areabackgroud∩Areaforeground,当交并比IoU(Intersection‑over‑Union)最大时的滑动框对应的当前区域作为最终的测光区域。本公开实施例通过该方式能获得准确的测光结果,确保指定的对象能够曝光正确,适合光照复杂的拍摄场景。
[0043] 在一些实施例中,根据测光区域以及测光函数,对相机调整参数进行计算,以便利用相机调整参数对无人机的相机参数进行调整,包括:将测光区域所对应图像转换为灰度图,对灰度图中的亮度值进行统计,根据统计结果生成测光区域所对应图像的直方图,根据直方图对拍摄图像的曝光结果进行判断;根据曝光结果,对安装在无人机上的相机所对应的曝光模式进行调整,根据调整后的曝光模式的曝光设置,利用测光函数对测光区域进行参数计算,得到相机调整参数,利用相机调整参数对无人机的相机参数进行调整,并利用调整相机参数后的相机进行拍照。
[0044] 具体地,本公开实施例通过测光函数针对测光区域进行参数计算,得到相机调整参数,即利用测光函数对测光区域进行相机调整参数的计算。在实际应用中,测光函数采用直方图来进行计算,首先将测光区域所对应图像转换为灰度图,并对灰度图进行亮度数值的统计,即对灰度图中的亮度按照0 255的数值进行统计,如果统计的数值集中在小数值区~域(0 50),则判断拍摄图像为欠曝;如果集中在大数字区域(200 255),则判断拍摄图像为~ ~
过曝,如果直方图数值分布均匀,则拍摄图像的光照适度。
[0045] 进一步地,在对拍摄图像的曝光结果进行判断之后,根据曝光结果,对安装在无人机上的相机所对应的曝光模式进行调整,例如可以使用setExposureMode函数把曝光模式设置成MANUAL,并通过调用camera.getCapabilities获取各项曝光设置的设置数值范围。最终根据调整后的曝光模式的曝光设置,利用测光函数对测光区域进行参数计算,得到相机调整参数。
[0046] 进一步地,将测光函数输出的相机调整参数存储到存储器中,并记录当前拍摄场景的逆光检测系数,在存储器中建立逆光检测系数与相机调整参数之间的映射关系,当下一个拍摄点位所对应拍摄场景的逆光检测系数与当前存储器中的某一逆光检测系数相近时,则直接获取存储器中该逆光检测系数对应的相机调整参数,直接使用当前相机调整参数对相机进行调整,从而提高相机调整参数的生命周期。
[0047] 根据本公开实施例提供的技术方案,本公开实施例的逆光检测判断为无人机飞行过程中的曝光调整节省了不必要的计算资源,在进行逆光检测时,通过常规直方图与业务场景相结合的方式进行判断,提高逆光检测判断的准确率。采用目标识别的方法聚焦关键部位,并利用语义分割技术获得镂空部件,最后基于点测光方式对测光区域的进行滑框式自动选择,通过该方式可去除掉背景对测光的影响,实现前后背景的分离,从而获得准确的测光区域,确保指定的对象能够曝光正确,对于光照复杂的拍摄场景也能保证曝光矫正后图片的信息熵值保留完整。最后利用测光函数对测光区域进行相机调整参数的计算,并将测光函数输出的相机调整参数存储到存储器中,当无人机所处拍摄点位的逆光检测系数与当前存储器中的逆光检测系数相近时,可直接获取该逆光检测系数对应的相机调整参数,并利用该相机调整参数对当前的相机参数进行调整,从而提高相机调整参数的生命周期。本公开实施例的相机参数调整方式减少了计算步骤,提高了无人机巡检过程中的灵敏度。
[0048] 下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
[0049] 图3是本公开实施例提供的无人机自主拍照参数调整装置的结构示意图。如图3所示,该无人机自主拍照参数调整装置包括:
[0050] 采集模块301,被配置为采集无人机在拍摄点位对应外界环境的点云数据,并获取无人机在拍摄点位的拍摄图像,利用点云数据对拍摄图像的拍摄环境进行判断,并计算拍摄图像的逆光检测系数;
[0051] 检测模块302,被配置为当判断拍摄环境为逆光环境时,对拍摄图像中的预定部件进行目标检测,得到包含预定部件的目标区域图像,对目标区域图像进行语义分割,得到目标区域图像对应的前景图像;
[0052] 调整模块303,被配置为利用预设的滑框选择方式从前景图像中选取测光区域,根据测光区域以及测光函数,对相机调整参数进行计算,以便利用相机调整参数对无人机的相机参数进行调整,并建立逆光检测系数与相机调整参数之间的映射关系。
[0053] 在一些实施例中,图3的采集模块301在无人机的自主巡检过程中,当无人机沿航线移动至拍摄点位时,利用安装在无人机上的激光雷达采集点云数据,并利用安装在无人机上的相机采集拍摄点位对应的拍摄图像,其中,点云数据中包含无人机的位置以及杆塔的位置。
[0054] 在一些实施例中,图3的采集模块301根据拍摄图像的拍摄时间以及拍摄点位对应的经纬度,确定在获取拍摄图像时的太阳位置,以杆塔的位置作为中心点,确定杆塔与无人机之间对应的第一向量,以及杆塔与太阳之间对应的第二向量,计算第一向量与第二向量之间的夹角,当夹角为钝角时,则判断拍摄环境为逆光环境,当夹角为锐角时,则判断拍摄环境为非逆光环境。
[0055] 在一些实施例中,图3的检测模块302在当判断拍摄环境为逆光环境之后,判断拍摄图像是否为初始图像,当拍摄图像为初始图像时,且拍摄图像的拍摄环境为逆光环境时,对拍摄图像的测光区域执行选取操作;当拍摄图像为非初始图像时,将当前帧的拍摄图像的逆光检测系数与前一帧拍摄图像的逆光检测系数进行比较,根据比较结果判断采用前一帧拍摄图像的相机调整参数对无人机的相机参数进行调整,或者判断对拍摄图像的测光区域执行选取操作。
[0056] 在一些实施例中,图3的检测模块302利用预设的目标识别算法对拍摄图像中的预定部件进行检测,根据检测结果确定拍摄图像中的预定部件对应的目标区域,并从拍摄图像中对目标区域进行裁剪得到目标区域图像,其中,将拍摄图像中的输电杆塔作为预定部件。
[0057] 在一些实施例中,图3的调整模块303在前景图像中生成一个预设范围大小的滑动框,利用滑动框在前景图像中的预定部件对应的区域中进行移动,当每次移动滑动框时,对移动后当前滑动框内的背景区域与前景区域之间的交并比进行计算,并将交并比的数值最大时对应的滑动框所在的区域作为测光区域。
[0058] 在一些实施例中,图3的调整模块303将测光区域所对应图像转换为灰度图,对灰度图中的亮度值进行统计,根据统计结果生成测光区域所对应图像的直方图,根据直方图对拍摄图像的曝光结果进行判断;根据曝光结果,对安装在无人机上的相机所对应的曝光模式进行调整,根据调整后的曝光模式的曝光设置,利用测光函数对测光区域进行参数计算,得到相机调整参数,利用相机调整参数对无人机的相机参数进行调整,并利用调整相机参数后的相机进行拍照。
[0059] 应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。
[0060] 图4是本公开实施例提供的电子设备4的示意图。如图4所示,该实施例的电子设备4包括:处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者,处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
[0061] 电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解,图4仅仅是电子设备4的示例,并不构成对电子设备4的限定,可以包括比图示更多或更少的部件,或者不同的部件。
[0062] 处理器401可以是中央处理单元(Central Processing Unit,CPU),也可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field‑Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
[0063] 存储器402可以是电子设备4的内部存储单元,例如,电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备,例如,电子设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。
[0064] 所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0065] 集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本公开实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可以存储在计算机可读存储介质中,该计算机程序在被处理器执行时,可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read‑Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如,在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
[0066] 以上实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围,均应包含在本公开的保护范围之内。