一种图像处理方法、设备、飞行器、系统及存储介质转让专利

申请号 : CN201880010731.0

文献号 : CN110291529A

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 黄若普曹子晟

申请人 : 深圳市大疆创新科技有限公司

摘要 :

本发明实施例提供了一种图像处理方法、设备、飞行器、系统及存储介质,其中,方法包括:获取拍摄装置拍摄得到的图像帧序列;对所述图像帧序列中的图像帧进行桨叶检测,从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧;对所述目标图像帧进行修改或替换,以去除所述桨叶图像区域。通过这种方式,提高了拍摄图像的质量,降低了能源损耗,节省了成本。

权利要求 :

1.一种图像处理方法,其特征在于,应用于拍摄装置,所述拍摄装置挂载在带桨叶的飞行器上,所述方法包括:获取所述拍摄装置拍摄得到的图像帧序列;

对所述图像帧序列中的图像帧进行桨叶检测,从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧;

对所述目标图像帧进行修改或替换,以去除所述桨叶图像区域。

2.根据权利要求1所述的方法,其特征在于,所述获取所述拍摄装置拍摄得到的图像帧序列,之前还包括:获取所述飞行器的桨叶转动周期;

根据所述桨叶转动周期,调整所述拍摄装置的拍摄间隔时长。

3.根据权利要求2所述的方法,其特征在于,所述飞行器还包括用于带动所述桨叶转动的电机,以及控制所述电机转动的电子调速器;

所述获取所述飞行器的桨叶转动周期,包括:

基于从电子调速器获取的电机转动信息确定所述飞行器的桨叶转动周期。

4.根据权利要求2所述的方法,其特征在于,所述根据所述桨叶转动周期,调整所述拍摄装置的拍摄间隔时长,包括:根据所述桨叶转动周期,确定所述拍摄间隔时长,其中,所述拍摄间隔时长为所述桨叶转动周期的非整数倍。

5.根据权利要求4所述的方法,其特征在于,所述根据所述桨叶转动周期,确定所述拍摄间隔时长,包括:确定相位差参数,所述相位差参数为小于1的正数;

根据所述桨叶转动周期和确定的相位差参数,确定所述拍摄间隔时长。

6.根据权利要求1所述的方法,其特征在于,所述从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧,包括:获取所述图像帧序列中图像帧的数据信息;

根据所述数据信息,检测所述图像帧中是否存在包括桨叶图像区域的图像帧;

如果检测结果为是,则确定所述包括桨叶图像区域的图像帧为目标图像帧。

7.根据权利要求6所述的方法,其特征在于,所述数据信息包括像素值;所述根据所述数据信息,检测所述图像帧中是否存在包括桨叶图像区域的图像帧,包括:从所述图像帧序列中确定出比对图像帧序列;

将确定的所述比对图像帧序列中各图像帧的像素值进行比对;

如果比对结果中像素值差异满足判定条件,则确定该图像帧中包括桨叶图像区域。

8.根据权利要求6所述的方法,其特征在于,所述数据信息包括像素值;所述根据所述数据信息,检测所述图像帧中是否存在包括桨叶图像区域的图像帧,包括:从所述图像帧序列中确定出比对图像帧序列;

确定出所述比对图像帧序列中图像帧的第一位置区域;

将确定的所述比对图像帧序列中各图像帧的所述第一位置区域的像素值进行比对;

如果比对结果中像素值差异满足判定条件,则确定该图像帧中包括桨叶图像区域。

9.根据权利要求6所述的方法,其特征在于,所述数据信息包括像素值;所述根据所述数据信息,检测图像帧中是否存在包括桨叶图像区域的图像帧,包括:从所述图像帧序列中确定出参考图像帧;

检测从所述图像帧序列中获取到的图像帧的像素值与所述参考图像帧的像素值差异;

如果所述像素值差异满足判定条件,则确定所述图像帧包括桨叶图像区域。

10.根据权利要求6所述的方法,其特征在于,所述数据信息包括像素值;所述根据所述数据信息,检测图像帧中是否存在包括桨叶图像区域的图像帧,包括:从所述图像帧序列中确定出参考图像帧;

确定出所述参考图像帧中的第二位置区域;

检测从所述图像帧序列中获取到的图像帧的第二位置区域的像素值与所述参考图像帧的第二位置区域的像素值差异;

如果所述像素值差异满足判定条件,则确定所述图像帧包括桨叶图像区域。

11.根据权利要求1所述的方法,其特征在于,所述对所述目标图像帧进行修改或替换,包括:确定桨叶在所述目标图像帧中出现的目标位置区域;

从所述目标图像帧的相邻图像帧中,获取与所述目标位置区域对应的目标图像;

利用所述目标图像,替换所述目标图像帧中出现桨叶的目标位置区域的图像,得到替换图像帧。

12.根据权利要求1所述的方法,其特征在于,所述对所述目标图像帧进行修改或替换,包括:从所述图像帧序列中选取除去目标图像帧的至少两个图像帧;

对所述至少两个图像帧进行融合处理,得到融合图像帧;

利用所述融合图像帧,替换所述目标图像帧。

13.根据权利要求12所述的方法,其特征在于,所述对所述至少两个图像帧进行融合处理,得到融合图像帧,包括:确定桨叶在所述目标图像帧中的目标位置区域;

获取从所述图像帧序列中选取的除去目标图像帧的至少两个图像帧中的所述目标位置区域的像素值;

确定所述至少两个图像帧中的所述目标位置区域的平均像素值;

利用所述平均像素值,替换所述目标图像帧中所述目标位置区域的像素值,得到融合图像帧。

14.根据权利要求12所述的方法,其特征在于,所述对所述至少两个图像帧进行融合处理,得到融合图像帧,包括:获取从所述图像帧序列中选取的除去目标图像帧的至少两个图像帧的像素值;

确定所述至少两个图像帧的平均像素值;

利用所述平均像素值,替换所述目标图像帧的像素值,得到融合图像帧。

15.根据权利要求1所述的方法,其特征在于,所述对所述目标图像帧进行修改或替换,包括:确定桨叶在所述目标图像帧中的目标位置区域;

删除所述目标图像帧中目标位置区域的图像。

16.一种图像处理设备,其特征在于,包括:处理器和存储器;

所述存储器,用于存储程序指令;

所述处理器,执行所述存储器存储的程序指令,当程序指令被执行时,所述处理器用于执行如下步骤:获取拍摄装置拍摄得到的图像帧序列;

对所述图像帧序列中的图像帧进行桨叶检测,从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧;

对所述目标图像帧进行修改或替换,以去除所述桨叶图像区域。

17.根据权利要求16所述的设备,其特征在于,所述处理器,具体用于获取飞行器的桨叶转动周期;根据所述桨叶转动周期,调整所述拍摄装置的拍摄间隔时长。

18.根据权利要求17所述的设备,其特征在于,所述处理器,用于基于从电子调速器获取的电机转动信息确定所述飞行器的桨叶转动周期。

19.根据权利要求17所述的设备,其特征在于,所述处理器,用于根据所述桨叶转动周期,确定所述拍摄间隔时长,其中,所述拍摄间隔时长为所述桨叶转动周期的非整数倍。

20.根据权利要求19所述的设备,其特征在于,所述处理器,用于确定相位差参数,所述相位差参数为小于1的正数;根据所述桨叶转动周期和确定的相位差参数,确定所述拍摄间隔时长。

21.根据权利要求16所述的设备,其特征在于,所述处理器,用于获取所述图像帧序列中图像帧的数据信息;根据所述数据信息,检测所述图像帧中是否存在包括桨叶图像区域的图像帧;如果检测结果为是,则确定所述包括桨叶图像区域的图像帧为目标图像帧。

22.根据权利要求21所述的设备,其特征在于,所述处理器,用于从所述图像帧序列中确定出比对图像帧序列;将确定的所述比对图像帧序列中各图像帧的像素值进行比对;如果比对结果中像素值差异满足判定条件,则确定该图像帧中包括桨叶图像区域。

23.根据权利要求21所述的设备,其特征在于,所述处理器,还用于从所述图像帧序列中确定出比对图像帧序列;确定出所述比对图像帧序列中图像帧的第一位置区域;将确定的所述比对图像帧序列中各图像帧的所述第一位置区域的像素值进行比对;如果比对结果中像素值差异满足判定条件,则确定该图像帧中包括桨叶图像区域。

24.根据权利要求21所述的设备,其特征在于,所述处理器,还用于从所述图像帧序列中确定出参考图像帧;检测从所述图像帧序列中获取到的图像帧的像素值与所述参考图像帧的像素值差异;如果所述像素值差异满足判定条件,则确定所述图像帧包括桨叶图像区域。

25.根据权利要求21所述的设备,其特征在于,所述处理器,还用于从所述图像帧序列中确定出参考图像帧;确定出所述参考图像帧中的第二位置区域;检测从所述图像帧序列中获取到的图像帧的第二位置区域的像素值与所述参考图像帧的第二位置区域的像素值差异;如果所述像素值差异满足判定条件,则确定所述图像帧包括桨叶图像区域。

26.根据权利要求16所述的设备,其特征在于,所述处理器,用于确定桨叶在所述目标图像帧中出现的目标位置区域;从所述目标图像帧的相邻图像帧中,获取与所述目标位置区域对应的目标图像;利用所述目标图像,替换所述目标图像帧中出现桨叶的目标位置区域的图像,得到替换图像帧。

27.根据权利要求16所述的设备,其特征在于,所述处理器,还用于从所述图像帧序列中选取除去目标图像帧的至少两个图像帧;对所述至少两个图像帧进行融合处理,得到融合图像帧;利用所述融合图像帧,替换所述目标图像帧。

28.根据权利要求27所述的设备,其特征在于,所述处理器,用于确定桨叶在所述目标图像帧中的目标位置区域;获取从所述图像帧序列中选取的除去目标图像帧的至少两个图像帧中的所述目标位置区域的像素值;确定所述至少两个图像帧中的所述目标位置区域的平均像素值;利用所述平均像素值,替换所述目标图像帧中所述目标位置区域的像素值,得到融合图像帧。

29.根据权利要求27所述的设备,其特征在于,所述处理器,还用于获取从所述图像帧序列中选取的除去目标图像帧的至少两个图像帧的像素值;确定所述至少两个图像帧的平均像素值;利用所述平均像素值,替换所述目标图像帧的像素值,得到融合图像帧。

30.根据权利要求16所述的设备,其特征在于,所述处理器,用于确定桨叶在所述目标图像帧中的目标位置区域;删除所述目标图像帧中目标位置区域的图像。

31.一种飞行器,其特征在于,包括:

机身;

设置在机身上的动力系统,用于提供飞行动力;所述动力系统包括:桨叶;

电机,用于驱动桨叶转动;电子调速器,用于控制电机转动;

处理器,用于获取电机转动信息,以根据所述电机转动信息确定所述飞行器的桨叶转动周期,并根据所述桨叶转动周期,调整拍摄装置的拍摄间隔时长,以及控制挂载在飞行器上的拍摄装置按照所述拍摄间隔时长拍摄得到图像帧序列。

32.根据权利要求31所述的飞行器,其特征在于,所述处理器,用于基于从电子调速器获取的电机转动信息确定所述飞行器的桨叶转动周期。

33.根据权利要求31所述的飞行器,其特征在于,所述处理器,用于根据所述桨叶转动周期,调整所述拍摄间隔时长,其中,所述拍摄间隔时长为所述桨叶转动周期的非整数倍。

34.根据权利要求33所述的方法,其特征在于,所述处理器,用于确定相位差参数,所述相位差参数为小于1的正数;根据所述桨叶转动周期和确定的相位差参数,确定所述拍摄间隔时长。

35.一种图像处理系统,其特征在于,包括:图像处理设备和飞行器,所述飞行器,用于获取电机转动信息,以根据所述电机转动信息确定所述飞行器的桨叶转动周期,并根据所述桨叶转动周期,调整拍摄装置的拍摄间隔时长,以及控制挂载在飞行器上的拍摄装置按照所述拍摄间隔时长拍摄得到图像帧序列;

所述图像处理设备,用于获取拍摄装置拍摄得到的图像帧序列;对所述图像帧序列中的图像帧进行桨叶检测,从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧;对所述目标图像帧进行修改或替换,以去除所述桨叶图像区域。

36.根据权利要求35所述的系统,其特征在于,所述图像处理设备,用于获取所述飞行器的桨叶转动周期;根据所述桨叶转动周期,调整所述拍摄装置的拍摄间隔时长。

37.根据权利要求36所述的系统,其特征在于,所述图像处理设备,用于基于从电子调速器获取的电机转动信息确定所述飞行器的桨叶转动周期。

38.根据权利要求36所述的系统,其特征在于,所述图像处理设备,用于根据所述桨叶转动周期,调整所述拍摄间隔时长,其中,所述拍摄间隔时长为所述桨叶转动周期的非整数倍。

39.根据权利要求38所述的系统,其特征在于,所述图像处理设备,用于确定相位差参数,所述相位差参数为小于1的正数;根据所述桨叶转动周期和确定的相位差参数,确定所述拍摄间隔时长。

40.根据权利要求35所述的系统,其特征在于,所述图像处理设备,用于获取所述图像帧序列中图像帧的数据信息;根据所述数据信息,检测所述图像帧中是否存在包括桨叶图像区域的图像帧;如果检测结果为是,则确定所述包括桨叶图像区域的图像帧为目标图像帧。

41.根据权利要求40所述的系统,其特征在于,所述图像处理设备,用于从所述图像帧序列中确定出比对图像帧序列;将确定的所述比对图像帧序列中各图像帧的像素值进行比对;如果比对结果中像素值差异满足判定条件,则确定该图像帧中包括桨叶图像区域。

42.根据权利要求40所述的系统,其特征在于,所述图像处理设备,用于从所述图像帧序列中确定出比对图像帧序列;确定出所述比对图像帧序列中图像帧的第一位置区域;将确定的所述比对图像帧序列中各图像帧的所述第一位置区域的像素值进行比对;如果比对结果中像素值差异满足判定条件,则确定该图像帧中包括桨叶图像区域。

43.根据权利要求40所述的系统,其特征在于,所述图像处理设备,用于从所述图像帧序列中确定出参考图像帧;检测从所述图像帧序列中获取到的图像帧的像素值与所述参考图像帧的像素值差异;如果所述像素值差异满足判定条件,则确定所述图像帧包括桨叶图像区域。

44.根据权利要求40所述的系统,其特征在于,所述图像处理设备,用于从所述图像帧序列中确定出参考图像帧;确定出所述参考图像帧中的第二位置区域;检测从所述图像帧序列中获取到的图像帧的第二位置区域的像素值与所述参考图像帧的第二位置区域的像素值差异;如果所述像素值差异满足判定条件,则确定所述图像帧包括桨叶图像区域。

45.根据权利要求35所述的系统,其特征在于,所述图像处理设备,用于确定桨叶在所述目标图像帧中出现的目标位置区域;从所述目标图像帧的相邻图像帧中,获取与所述目标位置区域对应的目标图像;利用所述目标图像,替换所述目标图像帧中出现桨叶的目标位置区域的图像,得到替换图像帧。

46.根据权利要求35所述的系统,其特征在于,所述图像处理设备,用于从所述图像帧序列中选取除去目标图像帧的至少两个图像帧;对所述至少两个图像帧进行融合处理,得到融合图像帧;利用所述融合图像帧,替换所述目标图像帧。

47.根据权利要求46所述的系统,其特征在于,所述图像处理设备,用于确定桨叶在所述目标图像帧中的目标位置区域;获取从所述图像帧序列中选取的除去目标图像帧的至少两个图像帧中的所述目标位置区域的像素值;

确定所述至少两个图像帧中的所述目标位置区域的平均像素值;利用所述平均像素值,替换所述目标图像帧中所述目标位置区域的像素值,得到融合图像帧。

48.根据权利要求46所述的系统,其特征在于,所述图像处理设备,用于获取从所述图像帧序列中选取的除去目标图像帧的至少两个图像帧的像素值;确定所述至少两个图像帧的平均像素值;利用所述平均像素值,替换所述目标图像帧的像素值,得到融合图像帧。

49.根据权利要求35所述的系统,其特征在于,所述图像处理设备,用于确定桨叶在所述目标图像帧中的目标位置区域;

删除所述目标图像帧中目标位置区域的图像。

50.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至15任一项所述方法。

说明书 :

一种图像处理方法、设备、飞行器、系统及存储介质

技术领域

[0001] 本发明涉及控制技术领域,尤其涉及一种图像处理方法、设备、飞行器、系统及存储介质。

背景技术

[0002] 随着计算机技术的发展,航拍摄影、摄像技术的应用越来越广,其中,以飞行器上的航拍摄影、摄像技术的应用最为广泛。以挂载有拍摄装置的飞行器为例,由于拍摄装置挂载在飞行器的桨叶下方,在飞行器飞行过程中,当飞行器的姿态进行调整时,拍摄装置的视角容易受到桨叶影响,造成拍摄装置拍摄的画面中出现桨叶的情况,影响航拍的质量。
[0003] 目前为了提高飞行器航拍的质量,通常使用可变形的起落架等硬件解决方案来规避桨叶进入航拍画面中的问题。然而通过使用起落架这种硬件方案虽然在一定程度上规避了桨叶出现在拍摄画面中的问题,但是机械结构复杂,增加了机身重量,耗电快,成本高。因此如何更有效地提高拍摄图像的质量成为研究的重点。

发明内容

[0004] 本发明实施例提供了一种图像处理方法、设备、系统及存储介质,可自动去除拍摄图像中的桨叶,提高了拍摄图像的质量,同时降低了能源损耗和成本。
[0005] 第一方面,本发明实施例提供了一种图像处理方法,应用于拍摄装置,所述拍摄装置挂载在带桨叶的飞行器上,包括:
[0006] 获取所述拍摄装置拍摄得到的图像帧序列;
[0007] 对所述图像帧序列中的图像帧进行桨叶检测,从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧;
[0008] 对所述目标图像帧进行修改或替换,以去除所述桨叶图像区域。
[0009] 第二方面,本发明实施例提供了一种图像处理设备,包括存储器和处理器;
[0010] 所述存储器,用于存储程序指令;
[0011] 所述处理器,执行所述存储器存储的程序指令,当程序指令被执行时,所述处理器用于执行如下步骤:
[0012] 获取拍摄装置拍摄得到的图像帧序列;
[0013] 对所述图像帧序列中的图像帧进行桨叶检测,从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧;
[0014] 对所述目标图像帧进行修改或替换,以去除所述桨叶图像区域。
[0015] 第三方面,本发明实施例提供了一种飞行器,包括:
[0016] 机身;
[0017] 设置在机身上的动力系统,用于提供飞行动力;所述动力系统包括:桨叶;
[0018] 电机,用于驱动桨叶转动;电子调速器,用于控制电机转动;
[0019] 处理器,用于获取电机转动信息,以根据所述电机转动信息确定所述飞行器的桨叶转动周期,并根据所述桨叶转动周期,调整拍摄装置的拍摄间隔时长,以及控制挂载在飞行器上的拍摄装置按照所述拍摄间隔时长拍摄得到图像帧序列。
[0020] 第四方面,本发明实施例提供了一种图像处理系统,包括:图像处理设备和飞行器;
[0021] 所述飞行器,用于获取电机转动信息,以根据所述电机转动信息确定所述飞行器的桨叶转动周期,并根据所述桨叶转动周期,调整拍摄装置的拍摄间隔时长,以及控制挂载在飞行器上的拍摄装置按照所述拍摄间隔时长拍摄得到图像帧序列;
[0022] 所述图像处理设备,用于获取拍摄装置拍摄得到的图像帧序列;对所述图像帧序列中的图像帧进行桨叶检测,从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧;对所述目标图像帧进行修改或替换,以去除所述桨叶图像区域。
[0023] 第五方面,本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面所述的图像处理方法。
[0024] 本发明实施例中,图像处理设备通过获取拍摄装置拍摄得到的图像帧序列,从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧,并对所述目标图像帧进行修改或替换,以去除所述桨叶图像区域。通过这种方式,提高了拍摄图像的质量,降低了能源损耗,节省了成本。

附图说明

[0025] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0026] 图1是本发明实施例提供的一种图像处理系统的结构示意图;
[0027] 图2是本发明实施例提供的一种图像处理方法的流程示意图;
[0028] 图3是本发明实施例提供的一种飞行器的结构示意图;
[0029] 图4是本发明实施例提供的一种图像帧序列的示意图;
[0030] 图5是本发明实施例提供的另一种图像处理方法的流程示意图;
[0031] 图6是本发明实施例提供的又一种图像处理方法的流程示意图;
[0032] 图7是本发明实施例提供的一种图像处理设备的结构示意图。

具体实施方式

[0033] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0034] 下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
[0035] 本发明实施例中提供的图像处理方法可以由一种图像处理设备执行,所述图像处理设备可以设置在配置有拍摄装置的带桨叶的飞行器(如无人机)上,所述飞行器包括用于带动所述桨叶转动的电机,以及控制所述电机转动的电子调速器。在其他实施例中,所述图像处理设备可以设置在配置有拍摄装置的带桨叶的机器人、移动终端(如手机)等设备上。下面对应用于挂载在带桨叶的飞行器上的拍摄装置的图像处理方法进行举例说明。
[0036] 本方案基于从飞行器的电子调速器上获取的电机转动信息,确定飞行器的桨叶转动周期,根据所述桨叶转动周期调整拍摄装置的拍摄间隔时长,使得拍摄间隔时长和桨叶转动周期形成相位差,并根据所述拍摄间隔时长,控制所述拍摄装置拍摄得到图像帧序列。通过调整所述拍摄间隔时长和桨叶转动周期形成相位差,从而避免拍摄装置在所述拍摄间隔时长和桨叶转动周期没有相位差的情况下拍摄到桨叶时,所导致的每一帧图像帧均出现桨叶的情况。
[0037] 本发明实施例中,通过从飞行器的电子调速器获取电机转动信息,其中,所述电机转动信息包括桨叶转动速度、桨叶转动频率、桨叶转动周期中的任意一种或多种信息。图像处理设备可以根据从所述电子调速器获取到的电机转到信息确定出所述飞行器的桨叶转动周期,并根据所述桨叶转动周期,调整所述拍摄装置的拍摄间隔时长,从而获取到所述拍摄装置按照所述拍摄间隔时长拍摄得到的图像帧序列。所述图像处理设备通过对所述图像帧序列中的图像帧进行桨叶检测,从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧,并对所述目标图像帧进行修改或替换,以去除所述目标图像帧中的桨叶图像区域。本发明实施例以图像处理设备执行相应的处理为例来对图像处理方法进行说明。
[0038] 请参见图1,图1是本发明实施例提供的一种图像处理系统的结构示意图,如图1所示的图像处理系统包括:图像处理设备11和飞行器12,所述图像处理设备11可以为飞行器12的控制终端,具体地可以为遥控器、智能手机、平板电脑、膝上型电脑、地面站、穿戴式设备(手表、手环)中的任意一种或多种。所述飞行器12可以是旋翼型飞行器,例如四旋翼飞行器、六旋翼飞行器、八旋翼飞行器,也可以是固定翼飞行器。飞行器包括动力系统121,动力系统用于为飞行器提供飞行动力,其中,动力系统121包括螺旋桨、电机、电子调速器中的任意一种或多种,飞行器12还可以包括云台122以及摄像装置123,摄像装置123通过云台122搭载于飞行器的主体上。摄像装置123用于在飞行器12的飞行过程中进行图像或视频拍摄,包括但不限于多光谱成像仪、高光谱成像仪、可见光相机及红外相机等,云台122为多轴传动及增稳系统,云台122电机通过调整转动轴的转动角度来对成像设备的拍摄角度进行补偿,并通过设置适当的缓冲机构来防止或减小成像设备的抖动。
[0039] 本发明实施例中,所述图像处理系统可以通过所述图像处理设备11获取所述拍摄装置123拍摄得到的图像帧序列,对所述图像帧序列中的图像帧进行桨叶检测,从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧,并对所述目标图像帧进行修改或替换,以去除所述桨叶图像区域。
[0040] 在所述图像处理设备11获取所述拍摄装置123拍摄得到的图像帧序列之前,所述图像处理系统可以通过图像处理设备11获取所述飞行器12的桨叶转动周期,其中所述桨叶转动周期是所述图像处理设备11基于飞行器12的电子调速器获取的电机转动信息确定得到所述飞行器12的桨叶转动周期。所述图像处理设备11可以根据所述桨叶转动周期,调整所述拍摄装置的拍摄间隔时长,其中,所述拍摄间隔时长为所述桨叶转动周期的非整数倍。
[0041] 在一个实施例中,所述图像处理设备11在根据桨叶转动周期,调整所述拍摄间隔时长时,可以通过确定相位差参数,根据所述桨叶转动周期和确定的相位差参数,确定所述拍摄间隔时长。其中,所述相位差参数为小于1的正数。
[0042] 请参见图2,图2是本发明实施例提供的一种图像处理方法的流程示意图,所述方法可以由图像处理设备执行,其中,所述图像处理设备的具体解释如前所述。具体地,本发明实施例的所述方法包括如下步骤。
[0043] S201:获取拍摄装置拍摄得到的图像帧序列。
[0044] 本发明实施例中,图像处理设备可以获取飞行器上挂载的拍摄装置拍摄得到的图像帧序列。具体实施过程中,图像处理设备在获取所述拍摄装置拍摄得到的图像帧序列之前,可以获取所述飞行器的桨叶转动周期,并根据所述桨叶转动周期,调整所述拍摄装置的拍摄间隔时长,从而控制所述拍摄装置按照所述拍摄间隔时长拍摄得到所述图像帧序列。
[0045] 所述图像处理设备获取到的飞行器的桨叶转动周期是根据从飞行器的电子调速器获取的电机转动信息确定的。具体可以图3为例进行说明,图3是本发明实施例提供的一种飞行器的结构示意图,由于飞行器的桨叶是由电机驱动的,因此如图3所示的飞行器的各个旋翼中均包括一个电机,即包括:电机31、电机32、电机33、电机34。除此之外,飞行器中还包括设置在机身上的动力系统35,所述动力系统35中包括电子调速器,所以电子调速器可以获取到所述飞行器的桨叶的转动速度、转动频率、转动周期等任意一种或多种数据信息。具体实施过程中,由于飞行器的桨叶的转动周期与电机的转速相同,因此图像处理设备可以从动力系统35的电子调速器中获取电机的实时转速,从而确定出飞行器的桨叶转动周期。
[0046] 在一个实施例中,图像处理设备在根据所述桨叶转动周期调整所述拍摄装置的拍摄间隔时长时,可以通过确定相位差参数,根据获取到的桨叶转动周期和确定的所述相位差参数,确定所述拍摄间隔时长。其中,所述拍摄间隔时长为所述桨叶转动周期的非整数倍,所述相位差参数为小于的正数。具体可举例说明,假设获取到的飞行器的桨叶的转动周期为T,确定的相位差参数为α,则图像处理设备可以根据所述转动周期T和相位差参数α,确定拍摄间隔时长t=(n+α)T,其中,n为正整数,α为小于1的正数。在一个实施例中,所述相位差参数α可以是预设值,所述拍摄间隔时长t可以是根据所述桨叶转动周期T的变换以及对正整数n的调整确定的。当然在其他实施例中,所述相位差参数α可以通过对所述拍摄间隔时长进行盲调确定得到。
[0047] 本发明实施例,通过该实施方式获取飞行器的桨叶转动周期,以使所述图像处理设备可以根据所述桨叶转动周期,调整所述拍摄装置的拍摄间隔时长,从而使拍摄装置按照所述拍摄间隔时长进行拍摄。
[0048] S202:对所述图像帧序列中的图像帧进行桨叶检测,从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧。
[0049] 本发明实施例中,图像处理设备可以对获取到的所述拍摄装置拍摄得到的图像帧序列中的图像帧进行桨叶检测,从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧。具体实施过程中,所述图像处理设备可以获取所述图像帧序列中各图像帧的数据信息,并根据所述数据信息,检测该图像帧序列中是否存在包括桨叶图像区域的图像帧,如果检测结果为是,则确定所述包括桨叶图像区域的图像帧为目标图像帧。通过这种实施方式,图像处理设备可以从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧,以便后续对所述目标图像帧进行替换或修改。
[0050] 具体可以图4为例进行说明,图4是本发明实施例提供的一种图像帧序列的示意图,假设图像处理设备获取到的所述拍摄装置按照一个拍摄间隔时长t拍摄得到的图像帧包括4帧图像帧,即如图4所示的第一图像帧41、第二图像帧42、第三图像帧43和第四图像帧44。所述图像处理设备可以分别获取所述图像帧序列中第一图像帧41的数据信息、第二图像帧42的数据信息、第三图像帧43的数据信息、第四图像帧44的数据信息,并通过对各图像帧的数据信息进行对比,来检测该图像帧序列中是否存在包括桨叶图像区域的图像帧,如果检测到第一图像帧41包括桨叶图像区域411,则确定所述第一图像帧41为目标图像帧。
[0051] S203:对所述目标图像帧进行修改或替换,以去除所述桨叶图像区域。
[0052] 本发明实施例中,图像处理设备在确定出目标图像帧之后,可以对所述目标图像帧进行修改或替换,以去除所述桨叶图像区域。通过这种实施方式,图像处理设备可以对出现桨叶的图像帧进行修改或替换处理,以去除图像帧中桨叶,从而提高拍摄图像的质量。
[0053] 在一个实施例中,所述图像处理设备在确定出目标图像帧之后,还可以通过确定桨叶在所述目标图像帧中出现的目标位置区域,从所述目标图像帧的相邻图像帧中,获取与所述目标位置区域对应的目标图像,并利用所述目标图像,替换所述目标图像帧中出现桨叶的目标位置区域的图像,得到替换图像帧。需要说明的是,由于拍摄装置拍摄图像帧的速度较快,相邻图像帧的内容相似,因此可以利用目标图像帧的相邻图像帧来对该目标图像帧进行替换处理。在本发明实施例中,所述目标位置区域可以是预设的目标位置区域,在其他实施例中,所述目标位置区域也可以是通过预设算法计算得到的目标位置区域,本发明实施例不做具体限定。
[0054] 具体可以图4为例进行说明,假设所述图像处理设备确定出的目标图像帧为第一图像帧41,如果确定出桨叶出现在所述第一图像帧41中的目标位置区域411,则从所述第一图像帧41的相邻图像帧如第二图像帧42中获取与所述第一图像帧41中目标位置区域411对应的目标图像,并利用所述目标图像,替换所述第一图像帧41中出现桨叶的目标位置区域411的图像,得到替换图像帧。
[0055] 在一个实施例中,所述图像处理设备在确定出目标图像帧之后,还可以从所述图像帧序列中选取除去目标图像帧的至少两个图像帧,对所述至少两个图像帧进行融合处理得到融合图像帧,并利用所述融合图像帧,替换所述目标图像帧。具体可以图4为例进行说明,假设所述图像处理设备确定出的目标图像帧为第一图像帧41,所述图像处理设备可以从图4的图像帧序列中选取除去第一图像帧41的至少两个图像帧,如第二图像帧42和第三图像帧43,并对选取的第二图像帧42和第三图像帧43进行融合处理得到融合图像帧,从而利用所述融合图像帧,替换所述第一图像帧41。
[0056] 本发明实施例中,图像处理设备通过获取拍摄装置拍摄得到的图像帧序列,对所述图像帧序列中的图像帧进行桨叶检测,从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧,并对所述目标图像帧进行修改或替换,以去除所述桨叶图像区域,从而提高了拍摄图像的质量、降低了能源损耗,节省了成本。
[0057] 请参见图5,图5是本发明实施例提供的另一种图像处理方法的流程示意图,所述方法可以由图像处理设备执行,其中,图像处理设备的具体解释如前所述。本发明实施例与上述图2所述实施例的区别在于,本发明实施例是对如何根据获取到的图像帧序列中图像帧的数据信息,来检测图像帧中是否存在桨叶图像区域,从而将包括桨叶图像区域的图像帧确定为目标图像帧的过程进行详细的说明。
[0058] S501:获取拍摄装置拍摄得到的图像帧序列。
[0059] 本发明实施例中,图像处理设备可以获取拍摄装置拍摄得到的图像帧序列。具体实施过程的举例说明如前所述,此处不再赘述。
[0060] S502:获取所述图像帧序列中图像帧的数据信息。
[0061] 本发明实施例中,图像处理设备在获取到所述拍摄装置拍摄得到的图像帧序列后,可以获取所述图像帧序列中各图像帧的数据信息。
[0062] S503:根据所述数据信息,检测所述图像帧中是否存在包括桨叶图像区域的图像帧。
[0063] 本发明实施例中,所述图像处理设备可以根据获取到的图像帧的数据信息,检测图像帧中是否包括桨叶图像区域,其中,所述数据信息包括所述图像帧序列中各图像帧的像素值。在一个实施例中,所述图像处理设备可以通过获取图像帧的像素值,来检测图像帧中是否包括桨叶图像区域。
[0064] 在一个实施例中,所述图像处理设备在根据获取到的图像帧的像素值确定图像帧是否包括桨叶图像区域时,可以从所述图像帧序列中确定出比对图像帧序列,并将确定的所述比对图像帧序列中各图像帧的像素值进行比对,如果比对结果中像素值差异满足判定条件,则确定该图像帧中包括桨叶图像区域。其中,所述比对结果中像素值差异满足判断条件,是指比对图像帧序列中图像帧的像素值与比对图像帧序列中其他图像帧的像素值的像素值差异,明显大于比对图像帧序列中其他图像帧的像素值与各图像帧的像素值的像素值差异。当然,在其他实施例中,所述比对结果中像素值差异满足判断条件也可以是指其他的判定条件如像素值差异大于预设阈值等判定条件,本发明实施例不做具体限定。
[0065] 具体可举例说明,假设图像处理设备获取到的图像帧序列中包括100个图像帧,为了提高检测效率,从这100个图像帧中确定出50个图像帧作为比对图像帧序列,通过获取比对图像帧序列中50个图像帧的像素值,将比对图像帧序列中各图像帧的像素值进行比对。如果比对图像帧序列中的第一图像帧与第二图像帧比对的像素值差异大于预设差异值,则可以将该第一图像帧确认为是第一像素图像帧序列中的图像帧,将该第二图像帧确认为是第二像素图像帧序列中的图像帧。同理,通过计算该比对图像帧序列中其他图像帧之间的像素值差异,如果比对结果中两图像帧之间的像素值差异小于预设差异值,则可以将进行比对的两个图像帧确认为是第二像素图像帧序列中的图像帧;如果比对结果中两个图像帧之间的像素值差异大于预设差异值,由于像素值由低到高对应颜色是从黑到白,因此将进行比对的像素值差异大于预设差异值两图像帧中像素值较小的图像帧确认为是第一像素图像帧序列中的图像帧,将像素值较大的图像帧确认为是第二像素图像帧序列中的图像帧。在比对结束后,将确认为是第一像素图像帧序列中的图像帧的数量与确认为是第二像素图像帧序列中的图像帧的数量进行对比,确定数量较小的图像帧序列为出现桨叶的目标图像帧。如果第一像素图像帧序列中图像帧的数量小于第二像素图像帧序列中图像帧的数量,则确定该第一像素图像帧序列中的图像帧为出现桨叶图像区域的目标图像帧。
[0066] 所述图像处理设备在检测图像帧中是否存在桨叶图像区域时,还可以通过对比对图像帧序列中图像帧的预设位置区域进行比对,来检测图像帧中是否存在桨叶图像区域。在一个实施例中,所述图像处理设备可以从确定的所述比对图像帧序列中确定出图像帧的预设位置区域,将确定的所述比对图像帧序列中各图像帧的所述预设位置区域的像素值进行比对,如果比对结果中像素值差异满足判定条件,则确定该图像帧中包括桨叶图像区域。
[0067] 例如,从确定出的比对图像帧序列中确定出各图像帧的预设位置区域,将所述比对图像帧序列中各图像帧的所述预设位置区域的像素值进行比对,如果将比对图像帧序列中的第一图像帧的预设位置区域的像素值与第二图像帧的预设位置区域的像素值进行比对,像素值差异大于预设差异值,且第一图像帧的像素值小于第二图像帧的像素值,则将该第一图像帧确认为是第一像素图像帧序列中的图像帧,将该第二图像帧确认为是第二像素图像帧序列中的图像帧;如果比对结果中两图像帧之间的像素值差异小于预设差异值,则可以将进行比对的两个图像帧确认为是第二像素图像帧序列中的图像帧。同理在比对结束后,可得到第一像素图像帧序列和第二像素图像帧序列,并将确认为是第一像素图像帧序列中的图像帧的数量与确认为是第二像素图像帧序列中的图像帧的数量进行对比,确定数量较小的图像帧序列为出现桨叶的目标图像帧。
[0068] 在一个实施例中,所述图像处理设备在根据获取到的图像帧的像素值确定图像帧是否包括桨叶图像区域时,可以从所述图像帧序列中确定出参考图像帧,并检测从所述图像帧序列中获取到的图像帧的像素值与所述参考图像帧的像素值差异,如果所述像素值差异满足判定条件,则确定所述图像帧包括桨叶图像区域。其中,所述像素值差异满足判断条件是指,图像帧序列中某图像帧的像素值与参考图像帧的像素值的像素值差异明显大于图像帧序列中其他图像帧的像素值与参考图像帧的像素值的像素值差异。当然,在其他实施例中,所述像素值差异满足判断条件也可以是指其他的判定条件如像素值差异大于预设阈值等判定条件,本发明实施例不做具体限定。
[0069] 具体可以图4为例进行说明,假设从图4的图像帧序列中确定出第三图像帧43为参考图像帧,如果检测到所述第一图像帧41的像素值与所述第三图像帧43的像素值的像素值差异大于预设差异值,则可以将所述第一图像帧41确认为是第一像素图像帧序列中的图像帧,将所述第三图像帧43确认为是第二像素图像帧序列中的图像帧。同理,如果检测到所述第二图像帧42的像素值与所述第三图像帧43的像素值的像素值差异小于预设差异值,则可以将所述第二图像帧42确认为是第二像素图像帧序列中的图像帧。如果检测到所述第四图像帧44的像素值与所述第三图像帧43的像素值的像素值差异小于预设差异值,则可以将所述第四图像帧44确认为是第二像素图像帧序列中的图像帧。比对结果得到确认为是第一像素图像帧序列中的图像帧的数量为1,确认为是第二像素图像帧序列中的图像帧的数量为3,则可以确定所述第一图像帧41包括桨叶图像区域。
[0070] 所述图像处理设备在检测图像帧中是否存在桨叶图像区域时,还可以通过确定参考图像帧中的预设位置区域,将从所述图像帧序列中获取到的图像帧的该预设位置区域的像素值与所述参考图像帧的该预设位置区域的像素值差异进行比对,来检测图像帧中是否存在桨叶图像区域。在一个实施例中,所述图像处理设备可以从所述参考图像帧中确定出预设位置区域,并检测从所述图像帧序列中获取到的图像帧的预设位置区域的像素值与所述参考图像帧的预设位置区域的像素值差异,如果所述像素值差异满足判定条件,则确定所述图像帧包括桨叶图像区域。
[0071] 具体可以图4为例进行说明,假设从图4所示的图像帧序列中确定出第三图像帧43为参考图像帧,且确定出第三图像帧43的预设位置区域,如果检测到所述第一图像帧41中预设位置区域的像素值与所述第三图像帧43中预设位置区域的像素值的像素值差异大于预设差异值,则可以将所述第一图像帧41确认为是第一像素图像帧序列中的图像帧,将所述第三图像帧43确认为是第二像素图像帧序列中的图像帧。同理,如果检测到所述第二图像帧42中预设位置区域的像素值与所述第三图像帧43中预设位置区域的像素值的像素值差异小于预设差异值,则可以将所述第二图像帧42确认为是第二像素图像帧序列中的图像帧。如果检测到所述第四图像帧44中预设位置区域的像素值小于预设差异值,则可以将所述第四图像帧44确认为是第二像素图像帧序列中的图像帧。比对结果得到确认为是第一像素图像帧序列中的图像帧的数量为1,确认为是第二像素图像帧序列中的图像帧的数量为3,则可以确定所述第一图像帧41包括桨叶图像区域。
[0072] S504:如果检测结果为是,则确定所述包括桨叶图像区域的图像帧为目标图像帧。
[0073] 本发明实施例中,图像处理设备如果检测到图像帧序列中存在包括桨叶图像区域的图像帧,则确定所述包括桨叶图像区域的图像帧为目标图像帧。
[0074] S505:对所述目标图像帧进行修改或替换,以去除所述桨叶图像区域。
[0075] 本发明实施例中,图像处理设备在确定出目标图像帧之后,可以修改或替换目标图像帧中出现桨叶的目标位置区域的图像,以去除所述桨叶图像区域;或者,从所述图像帧序列中选取除去目标图像帧的至少两个图像帧,对所述至少两个图像帧进行融合处理得到融合图像帧,并利用所述融合图像帧对所述目标图像帧进行修改或替换,以去除所述桨叶图像区域。具体实施过程的举例说明如前所述,此处不再赘述。
[0076] 本发明实施例中,图像处理设备通过获取所述图像帧序列中图像帧的数据,根据所述数据信息,如果检测到所述图像帧序列中存在包括桨叶图像区域的图像帧,则确定所述包括桨叶图像区域的图像帧为目标图像帧,以对所述目标图像帧进行修改或替换,以去除所述桨叶图像区域。通过这种方式,提高了确定目标图像帧的准确率。
[0077] 请参见图6,图6是本发明实施例提供的又一种图像处理方法的流程示意图,所述方法可以由图像处理设备执行,其中,图像处理设备的具体解释如前所述。本发明实施例与上述图5所述实施例的区别在于,本发明实施例阐述的是一种对所述目标图像帧进行修改或替换的详细过程。
[0078] S601:获取拍摄装置拍摄得到的图像帧序列。
[0079] 本发明实施例中,图像处理设备可以获取拍摄装置拍摄得到的图像帧序列,具体实施例及举例说明如前所述,此处不再赘述。
[0080] S602:对所述图像帧序列中的图像帧进行桨叶检测,从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧。
[0081] 本发明实施例中,图像处理设备可以对获取到的所述拍摄装置拍摄得到的图像帧序列中的图像帧进行桨叶检测,并从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧,具体实施例及举例说明如前所述,此处不再赘述。
[0082] S603:从所述图像帧序列中选取除去目标图像帧的至少两个图像帧。
[0083] 本发明实施例中,所述图像处理设备可以从获取到的图像帧序列中选取去除目标图像帧的至少两个图像帧。
[0084] S604:对所述至少两个图像帧进行融合处理,得到融合图像帧。
[0085] 本发明实施例中,图像处理设备可以对选取到的去除目标图像帧的至少两个图像帧进行融合处理,得到融合图像帧。以图4为例,假设确定出的目标图像帧为第一图像帧41,则可以选取的去除第一图像帧41的第二图像帧42和第三图像帧进行融合处理,得到融合图像帧。
[0086] 图像处理设备在对所述至少两个图像帧进行融合处理时,可以采用平均值堆栈的方式来进行图像帧的融合。在一个实施例中,图像处理设备可以通过确定桨叶在所述目标图像帧中的目标位置区域,获取从所述图像帧序列中选取的除去目标图像帧的至少两个图像帧中的所述目标位置区域的像素值,确定所述至少两个图像帧中的所述目标位置区域的平均像素值,并利用所述平均像素值,替换所述目标图像帧中所述目标位置区域的像素值,得到融合图像帧。其中,所述平均像素值可以是加权平均像素值,本发明实施例不做具体限定。
[0087] 具体可以图4为例进行说明,假设目标图像帧为第一图像帧41,且桨叶处于第一图像帧41中的目标位置区域411,如果图像处理设备从所述图像帧序列中获取到除去第一图像帧41的第二图像帧42和第三图像帧43,则可以根据所述第二图像帧42中所述目标位置区域的像素值和所述第三图像帧43中的所述目标位置区域的像素值,确定出所述第二图像帧42中所述目标位置区域和第三图像帧43中的所述目标位置区域的平均像素值,图像处理设备可以利用所述平均像素值,替换所述第一图像帧41中的目标位置区域411的像素值,得到融合图像帧。
[0088] 在一个实施例中,图像处理设备可以通过获取从所述图像帧序列中选取的除去目标图像帧的至少两个图像帧的像素值,确定所述至少两个图像帧的平均像素值,并利用所述平均像素值,替换所述目标图像帧的像素值得到融合图像帧。以图4为例,假设目标图像帧为第一图像帧41,如果图像处理设备从所述图像帧序列中获取到除去第一图像帧41的第二图像帧42和第三图像帧43,则可以根据获取到的所述第二图像帧42的像素值和获取到的所述第三图像帧43的像素值,确定所述第二图像帧42和第三图像帧43的平均像素值,图像处理设备可以利用所述平均像素值,替换所述第一图像帧41的像素值,得到融合图像帧。
[0089] 在一个实施例中,所述图像处理设备在对所述至少两个图像帧进行融合处理时,还可以从所述目标图像帧的前后各图像帧中,获取至少两个不包括桨叶图像区域的图像帧的运动矢量和像素值,并根据获取到所述目标图像帧前后至少两个不包括桨叶图像区域的图像帧的运动矢量和像素值,通过插值的方法确定出目标图像帧的目标像素值,从而将确定得到的所述目标图像的目标像素值,替换所述目标图像的像素值,得到融合图像帧。
[0090] 在一个实施例中,图像处理设备还可以通过确定桨叶在所述目标图像帧中的目标位置区域,删除所述目标图像帧中目标位置区域的图像,已到达去除桨叶图像区域的目的。以图4为例,图像处理设备可以根据桨叶在所述第一图像帧41中的目标位置区域411,删除所述第一图像帧41中的目标位置区域411的图像。
[0091] 在其他实施例中,所述图像处理设备在对所述至少两个图像帧进行融合处理时,还可以采用其他融合处理方式对图像帧进行融合处理,本发明实施例不做具体限定。
[0092] S605:利用所述融合图像帧,替换所述目标图像帧。
[0093] 本发明实施例中,图像处理设备可以利用所述融合图像帧,替换所述目标图像帧,具体实施例及举例说明如前所述,此处不再赘述。
[0094] 本发明实施例中,图像处理设备通过从获取到的所述图像帧序列中选取除去目标图像帧的至少两个图像帧,对所述至少两个图像帧进行融合处理,得到融合图像帧,并利用所述融合图像帧,替换所述目标图像帧。通过这种方式,实现了对出现桨叶的目标图像帧的替换或修改,提高了拍摄图像的质量。
[0095] 请参见图7,图7是本发明实施例提供的一种图像处理设备的结构示意图。具体的,所述图像处理设备包括:存储器701、处理器702以及数据接口703。
[0096] 所述存储器701可以包括易失性存储器(volatile memory);存储器701也可以包括非易失性存储器(non-volatile memory);存储器701还可以包括上述种类的存储器的组合。所述处理器702可以是中央处理器(central processing unit,CPU)。所述处理器702还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmable logic device,PLD)或其组合。具体例如可以是复杂可编程逻辑器件(complex programmable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gate array,FPGA)或其任意组合。
[0097] 进一步地,所述存储器701用于存储程序指令,当程序指令被执行时所述处理器702可以调用存储器701中存储的程序指令,用于执行如下步骤:
[0098] 获取拍摄装置拍摄得到的图像帧序列;
[0099] 对所述图像帧序列中的图像帧进行桨叶检测,从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧;
[0100] 对所述目标图像帧进行修改或替换,以去除所述桨叶图像区域。
[0101] 进一步地,所述处理器702调用存储器701中存储的程序指令用于执行如下步骤:
[0102] 获取所述飞行器的桨叶转动周期;
[0103] 根据所述桨叶转动周期,调整所述拍摄装置的拍摄间隔时长。
[0104] 进一步地,所述处理器702调用存储器701中存储的程序指令用于执行如下步骤:
[0105] 所述获取所述飞行器的桨叶转动周期,包括:
[0106] 基于从电子调速器获取的电机转动信息确定所述飞行器的桨叶转动周期。
[0107] 进一步地,所述处理器702调用存储器701中存储的程序指令用于执行如下步骤:
[0108] 根据所述桨叶转动周期,调整所述拍摄间隔时长,其中,所述拍摄间隔时长为所述桨叶转动周期的非整数倍。
[0109] 进一步地,所述处理器702调用存储器701中存储的程序指令用于执行如下步骤:
[0110] 确定相位差参数,所述相位差参数为小于1的正数;
[0111] 根据所述桨叶转动周期和确定的相位差参数,确定所述拍摄间隔时长。
[0112] 进一步地,所述处理器702调用存储器701中存储的程序指令用于执行如下步骤:
[0113] 获取所述图像帧序列中图像帧的数据信息;
[0114] 根据所述数据信息,检测所述图像帧中是否存在包括桨叶图像区域的图像帧;
[0115] 如果检测结果为是,则确定所述包括桨叶图像区域的图像帧为目标图像帧。
[0116] 进一步地,所述处理器702调用存储器701中存储的程序指令用于执行如下步骤:
[0117] 从所述图像帧序列中确定出比对图像帧序列;
[0118] 将确定的所述比对图像帧序列中各图像帧的像素值进行比对;
[0119] 如果比对结果中像素值差异满足判定条件,则确定该图像帧中包括桨叶图像区域。
[0120] 进一步地,所述处理器702调用存储器701中存储的程序指令用于执行如下步骤:
[0121] 从所述图像帧序列中确定出比对图像帧序列;
[0122] 确定出所述比对图像帧序列中图像帧的第一位置区域;
[0123] 将确定的所述比对图像帧序列中各图像帧的所述第一位置区域的像素值进行比对;
[0124] 如果比对结果中像素值差异满足判定条件,则确定该图像帧中包括桨叶图像区域。
[0125] 进一步地,所述处理器702调用存储器701中存储的程序指令用于执行如下步骤:
[0126] 从所述图像帧序列中确定出参考图像帧;
[0127] 检测从所述图像帧序列中获取到的图像帧的像素值与所述参考图像帧的像素值差异;
[0128] 如果所述像素值差异满足判定条件,则确定所述图像帧包括桨叶图像区域。
[0129] 进一步地,所述处理器702调用存储器701中存储的程序指令用于执行如下步骤:
[0130] 从所述图像帧序列中确定出参考图像帧;
[0131] 确定出所述参考图像帧中的第二位置区域;
[0132] 检测从所述图像帧序列中获取到的图像帧的第二位置区域的像素值与所述参考图像帧的第二位置区域的像素值差异;
[0133] 如果所述像素值差异满足判定条件,则确定所述图像帧包括桨叶图像区域。
[0134] 进一步地,所述处理器702调用存储器701中存储的程序指令用于执行如下步骤:
[0135] 确定桨叶在所述目标图像帧中出现的目标位置区域;
[0136] 从所述目标图像帧的相邻图像帧中,获取与所述目标位置区域对应的目标图像;
[0137] 利用所述目标图像,替换所述目标图像帧中出现桨叶的目标位置区域的图像,得到替换图像帧。
[0138] 进一步地,所述处理器702调用存储器701中存储的程序指令用于执行如下步骤:
[0139] 从所述图像帧序列中选取除去目标图像帧的至少两个图像帧;
[0140] 对所述至少两个图像帧进行融合处理,得到融合图像帧;
[0141] 利用所述融合图像帧,替换所述目标图像帧。
[0142] 进一步地,所述处理器702调用存储器701中存储的程序指令用于执行如下步骤:
[0143] 确定桨叶在所述目标图像帧中的目标位置区域;
[0144] 获取从所述图像帧序列中选取的除去目标图像帧的至少两个图像帧中的所述目标位置区域的像素值;
[0145] 确定所述至少两个图像帧中的所述目标位置区域的平均像素值;
[0146] 利用所述平均像素值,替换所述目标图像帧中所述目标位置区域的像素值,得到融合图像帧。
[0147] 进一步地,所述处理器702调用存储器701中存储的程序指令用于执行如下步骤:
[0148] 获取从所述图像帧序列中选取的除去目标图像帧的至少两个图像帧的像素值;
[0149] 确定所述至少两个图像帧的平均像素值;
[0150] 利用所述平均像素值,替换所述目标图像帧的像素值,得到融合图像帧。
[0151] 进一步地,所述处理器702调用存储器701中存储的程序指令用于执行如下步骤:
[0152] 确定桨叶在所述目标图像帧中的目标位置区域;
[0153] 删除所述目标图像帧中目标位置区域的图像。
[0154] 本发明实施例中,图像处理设备通过获取拍摄装置拍摄得到的图像帧序列,对所述图像帧序列中的图像帧进行桨叶检测,从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧,并对所述目标图像帧进行修改或替换,以去除所述桨叶图像区域,从而提高了拍摄图像的质量、降低了能源损耗,节省了成本。
[0155] 本发明实施例还提供了一种飞行器,包括:机身;设置在机身上的动力系统,用于提供飞行动力;所述动力系统包括:桨叶;电机,用于驱动桨叶转动;电子调速器,用于控制电机转动;电子调速器,用于控制电机转动;处理器,用于获取电机转动信息,以根据所述电机转动信息确定所述飞行器的桨叶转动周期,并根据所述桨叶转动周期,调整拍摄装置的拍摄间隔时长,以及控制挂载在飞行器上的拍摄装置按照所述拍摄间隔时长拍摄得到图像帧序列。
[0156] 进一步地,所述处理器,用于基于从电子调速器获取的电机转动信息确定所述飞行器的桨叶转动周期。
[0157] 进一步地,所述处理器,用于根据所述桨叶转动周期,调整所述拍摄间隔时长,其中,所述拍摄间隔时长为所述桨叶转动周期的非整数倍。
[0158] 进一步地,所述处理器,用于确定相位差参数,所述相位差参数为小于1的正数;根据所述桨叶转动周期和确定的相位差参数,确定所述拍摄间隔时长。
[0159] 其中,飞行器可以是四旋翼无人机、六旋翼无人机、多旋翼无人机等类型的飞行器。所述动力系统可以包括电机、电调、螺旋桨等结构,其中,电机负责带动飞行器螺旋桨,电子调速器负责控制飞行器的电机的转速。
[0160] 本发明实施例还提供了一种图像处理系统,包括:图像处理设备和飞行器;
[0161] 所述飞行器,用于获取电机转动信息,以根据所述电机转动信息确定所述飞行器的桨叶转动周期,并根据所述桨叶转动周期,调整拍摄装置的拍摄间隔时长,以及控制挂载在飞行器上的拍摄装置按照所述拍摄间隔时长拍摄得到图像帧序列;
[0162] 所述图像处理设备,用于获取拍摄装置拍摄得到的图像帧序列;对所述图像帧序列中的图像帧进行桨叶检测,从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧;对所述目标图像帧进行修改或替换,以去除所述桨叶图像区域。
[0163] 进一步地,所述图像处理设备,用于获取所述飞行器的桨叶转动周期;根据所述桨叶转动周期,调整所述拍摄装置的拍摄间隔时长。
[0164] 进一步地,所述飞行器还包括用于带动所述桨叶转动的电机,以及控制所述电机转动的电子调速器;
[0165] 所述图像处理设备,用于基于从电子调速器获取的电机转动信息确定所述飞行器的桨叶转动周期。
[0166] 进一步地,所述图像处理设备,用于根据所述桨叶转动周期,确定所述拍摄间隔时长,其中,所述拍摄间隔时长为所述桨叶转动周期的非整数倍。
[0167] 进一步地,所述图像处理设备,用于确定相位差参数,所述相位差参数为小于1的正数;根据所述桨叶转动周期和确定的相位差参数,确定所述拍摄间隔时长。
[0168] 进一步地,所述图像处理设备,用于获取所述图像帧序列中图像帧的数据信息;根据所述数据信息,检测所述图像帧中是否存在包括桨叶图像区域的图像帧;如果检测结果为是,则确定所述包括桨叶图像区域的图像帧为目标图像帧。
[0169] 进一步地,所述图像处理设备,用于从所述图像帧序列中确定出比对图像帧序列;将确定的所述比对图像帧序列中各图像帧的像素值进行比对;如果比对结果中像素值差异满足判定条件,则确定该图像帧中包括桨叶图像区域。
[0170] 进一步地,所述图像处理设备,用于从所述图像帧序列中确定出比对图像帧序列;确定出所述比对图像帧序列中图像帧的第一位置区域;将确定的所述比对图像帧序列中各图像帧的所述第一位置区域的像素值进行比对;如果比对结果中像素值差异满足判定条件,则确定该图像帧中包括桨叶图像区域。
[0171] 进一步地,所述图像处理设备,用于从所述图像帧序列中确定出参考图像帧;检测从所述图像帧序列中获取到的图像帧的像素值与所述参考图像帧的像素值差异;如果所述像素值差异满足判定条件,则确定所述图像帧包括桨叶图像区域。
[0172] 进一步地,所述图像处理设备,用于从所述图像帧序列中确定出参考图像帧;确定出所述参考图像帧中的第二位置区域;检测从所述图像帧序列中获取到的图像帧的第二位置区域的像素值与所述参考图像帧的第二位置区域的像素值差异;如果所述像素值差异满足判定条件,则确定所述图像帧包括桨叶图像区域。
[0173] 进一步地,所述图像处理设备,用于确定桨叶在所述目标图像帧中出现的目标位置区域;从所述目标图像帧的相邻图像帧中,获取与所述目标位置区域对应的目标图像;利用所述目标图像,替换所述目标图像帧中出现桨叶的目标位置区域的图像,得到替换图像帧。
[0174] 进一步地,所述图像处理设备,用于从所述图像帧序列中选取除去目标图像帧的至少两个图像帧;对所述至少两个图像帧进行融合处理,得到融合图像帧;利用所述融合图像帧,替换所述目标图像帧。
[0175] 进一步地,所述图像处理设备,用于确定桨叶在所述目标图像帧中的目标位置区域;获取从所述图像帧序列中选取的除去目标图像帧的至少两个图像帧中的所述目标位置区域的像素值;确定所述至少两个图像帧中的所述目标位置区域的平均像素值;利用所述平均像素值,替换所述目标图像帧中所述目标位置区域的像素值,得到融合图像帧。
[0176] 进一步地,所述图像处理设备,用于获取从所述图像帧序列中选取的除去目标图像帧的至少两个图像帧的像素值;确定所述至少两个图像帧的平均像素值;利用所述平均像素值,替换所述目标图像帧的像素值,得到融合图像帧。
[0177] 进一步地,所述图像处理设备,用于确定桨叶在所述目标图像帧中的目标位置区域;删除所述目标图像帧中目标位置区域的图像。
[0178] 本发明实施例中,图像处理设备通过获取拍摄装置拍摄得到的图像帧序列,对所述图像帧序列中的图像帧进行桨叶检测,从所述图像帧序列中检测确定出存在桨叶图像区域的目标图像帧,并对所述目标图像帧进行修改或替换,以去除所述桨叶图像区域,从而提高了拍摄图像的质量、降低了能源损耗,节省了成本。
[0179] 在本发明的实施例中还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现本发明图2、图5、或图6所对应实施例中描述的图像处理方法方式,也可实现图7所述本发明所对应实施例的图像处理设备,在此不再赘述。
[0180] 所述计算机可读存储介质可以是前述任一项实施例所述的设备的内部存储单元,例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备,例如所述设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
[0181] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
[0182] 以上所揭露的仅为本发明部分实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。