姿态调整方法、装置、存储介质、图像采集设备及无人机转让专利

申请号 : CN202011161575.3

文献号 : CN114489093B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 孙宇吴娟史圣卿谭炜

申请人 : 北京远度互联科技有限公司

摘要 :

本申请提出一种姿态调整方法、装置、存储介质、图像采集设备及无人机,涉及无人机技术领域,通过获取图像采集在拍摄目标对象时的移动状态参数,从而根据该移动状态参数以及接收的打杆控制量,生成图像采集设备的目标打杆调整量,进而利用该目标打杆调整量生成图像采集设备的目标姿态调整量,以基于该目标姿态调整量,对图像采集设备的姿态进行调整;如此,能够在调整图像采集设备的姿态时,利用图像采集设备的移动状态参数对接收的打杆控制量进行补偿,从而结合图像采集设备的移动状态对图像采集设备的姿态进行调整,以减小图像采集设备拍摄的画面与用户选择的画面之间的差异,降低图像采集设备拍摄的画面误差。

权利要求 :

1.一种姿态调整方法,其特征在于,所述方法包括:

获取图像采集设备在拍摄目标对象时的移动状态参数;

根据所述移动状态参数以及接收的打杆控制量,生成所述图像采集设备的目标打杆调整量,包括:基于所述移动状态参数,生成所述图像采集设备的打杆补偿量;

将所述打杆补偿量与接收的打杆控制量进行叠加,以生成所述图像采集设备的目标打杆调整量;

利用所述目标打杆调整量生成所述图像采集设备的目标姿态调整量,以基于所述目标姿态调整量,对所述图像采集设备的姿态进行调整。

2.如权利要求1所述的方法,其特征在于,所述将所述打杆补偿量与接收的打杆控制量进行叠加,以生成所述图像采集设备的目标打杆调整量,包括:确定出所述打杆补偿量对应的第一比例系数,以及所述打杆控制量对应的第二比例系数;

利用所述第一比例系数和所述第二比例系数对所述打杆补偿量和所述打杆控制量进行加权求和,生成所述图像采集设备的目标打杆调整量。

3.如权利要求2所述的方法,其特征在于,所述确定出所述打杆补偿量对应的第一比例系数,包括:确定所述目标对象所属的目标对象类型;

根据所述目标对象类型在预设的对象参数配置策略中所对应的比例系数,生成所述打杆补偿量对应的第一比例系数;其中,所述对象参数配置策略包括有多个对象类型与多个比例系数的对应关系。

4.如权利要求3所述的方法,其特征在于,所述对象参数配置策略还包括有多个对象类型与多个补偿系数的对应关系;

所述根据所述目标对象类型在预设的对象参数配置策略中所对应的比例系数,生成所述打杆补偿量对应的第一比例系数,包括:基于所述目标对象与所述图像采集设备之间的相对移动方向,将所述目标对象类型在预设的对象参数配置策略中所对应的比例系数和补偿系数进行叠加,得到所述打杆补偿量对应的第一比例系数。

5.如权利要求4所述的方法,其特征在于,所述根据所述目标对象与所述图像采集设备之间的相对移动方向,将所述目标对象类型在预设的对象参数配置策略中所对应的比例系数和补偿系数进行叠加,得到所述打杆补偿量对应的第一比例系数,包括:当所述相对移动方向指示所述目标对象与所述图像采集设备相向移动,将所述目标对象类型在预设的对象参数配置策略中所对应的比例系数减去对应的补偿系数,得到所述打杆补偿量对应的第一比例系数;

当所述相对移动方向指示所述目标对象与所述图像采集设备相背移动,将所述目标对象类型在预设的对象参数配置策略中所对应的比例系数加上对应的补偿系数,得到所述打杆补偿量对应的第一比例系数。

6.如权利要求2所述的方法,其特征在于,所述确定出所述打杆控制量对应的第二比例系数,包括:根据当前打杆模式,将预设的打杆调节策略中与所述当前打杆模式对应的调节系数,确定为所述打杆控制量对应的第二比例系数;其中,所述打杆调节策略记录有多个打杆模式与多个调节系数的对应关系。

7.如权利要求1所述的方法,其特征在于,所述移动状态参数包括所述图像采集设备的移动速度以及所述图像采集设备与所述目标对象之间的相对距离;

所述基于所述移动状态参数,生成所述图像采集设备的打杆补偿量,包括:根据所述移动速度及所述相对距离,计算所述图像采集设备相对于所述目标对象的当前相对角速度,以将所述当前相对角速度作为所述图像采集设备的打杆补偿量。

8.如权利要求7所述的方法,其特征在于,在所述根据所述移动速度及所述相对距离,计算所述图像采集设备相对于所述目标对象的当前相对角速度的步骤之前,所述方法还包括:根据获取的第一时间参数、第二时间参数以及所述移动速度,计算所述图像采集设备的距离补偿参数;其中,所述第一时间参数表征指示获取所述相对距离的时刻,所述第二时间参数表征接收到所述图像采集设备与所述目标对象之间的相对距离的时刻;

所述根据所述移动速度及所述相对距离,计算所述图像采集设备相对于所述目标对象的当前相对角速度,包括:利用所述距离补偿参数对所述相对距离进行补偿后,根据补偿后的相对距离以及所述移动速度,计算所述图像采集设备相对于所述目标对象的当前相对角速度。

9.根据权利要求1所述的方法,其特征在于,所述利用所述目标打杆调整量生成所述图像采集设备的目标姿态调整量,包括:将获取的所述图像采集设备的当前姿态参数以及所述目标打杆调整量输入至设定的PID控制器,并将所述PID控制器输出的结果作为所述图像采集设备的目标姿态调整量。

10.一种姿态调整装置,其特征在于,所述装置包括:

获取模块,用于获取图像采集设备在拍摄目标对象时的移动状态参数;

处理模块,用于根据所述移动状态参数以及接收的打杆控制量,生成所述图像采集设备的目标打杆调整量,包括:基于所述移动状态参数,生成所述图像采集设备的打杆补偿量;

将所述打杆补偿量与接收的打杆控制量进行叠加,以生成所述图像采集设备的目标打杆调整量;

所述处理模块还用于,利用所述目标打杆调整量生成所述图像采集设备的目标姿态调整量,以基于所述目标姿态调整量,对所述图像采集设备的姿态进行调整。

11.如权利要求10所述的装置,其特征在于,所述处理模块在将所述打杆补偿量与接收的打杆控制量进行叠加,以生成所述图像采集设备的目标打杆调整量时,具体用于:确定出所述打杆补偿量对应的第一比例系数,以及所述打杆控制量对应的第二比例系数;

利用所述第一比例系数和所述第二比例系数对所述打杆补偿量和所述打杆控制量进行加权求和,生成所述图像采集设备的目标打杆调整量。

12.如权利要求11所述的装置,其特征在于,所述处理模块在确定出所述打杆补偿量对应的第一比例系数时,具体用于:确定所述目标对象所属的目标对象类型;

根据所述目标对象类型在预设的对象参数配置策略中所对应的比例系数,生成所述打杆补偿量对应的第一比例系数;其中,所述对象参数配置策略包括有多个对象类型与多个比例系数的对应关系。

13.如权利要求12所述的装置,其特征在于,所述对象参数配置策略还包括有多个对象类型与多个补偿系数的对应关系;

所述处理模块在根据所述目标对象类型在预设的对象参数配置策略中所对应的比例系数,生成所述打杆补偿量对应的第一比例系数时,具体用于:基于所述目标对象与所述图像采集设备之间的相对移动方向,将所述目标对象类型在预设的对象参数配置策略中所对应的比例系数和补偿系数进行叠加,得到所述打杆补偿量对应的第一比例系数。

14.如权利要求13所述的装置,其特征在于,所述处理模块在根据所述目标对象与所述图像采集设备之间的相对移动方向,将所述目标对象类型在预设的对象参数配置策略中所对应的比例系数和补偿系数进行叠加,得到所述打杆补偿量对应的第一比例系数时,具体用于:当所述相对移动方向指示所述目标对象与所述图像采集设备相向移动,将所述目标对象类型在预设的对象参数配置策略中所对应的比例系数减去对应的补偿系数,得到所述打杆补偿量对应的第一比例系数;

当所述相对移动方向指示所述目标对象与所述图像采集设备相背移动,将所述目标对象类型在预设的对象参数配置策略中所对应的比例系数加上对应的补偿系数,得到所述打杆补偿量对应的第一比例系数。

15.如权利要求11所述的装置,其特征在于,所述处理模块在确定出所述打杆控制量对应的第二比例系数时,具体用于:根据当前打杆模式,将预设的打杆调节策略中与所述当前打杆模式对应的调节系数,确定为所述打杆控制量对应的第二比例系数;其中,所述打杆调节策略记录有多个打杆模式与多个调节系数的对应关系。

16.如权利要求10所述的装置,其特征在于,所述移动状态参数包括所述图像采集设备的移动速度以及所述图像采集设备与所述目标对象之间的相对距离;

所述处理模块在基于所述移动状态参数,生成所述图像采集设备的打杆补偿量时,具体用于:根据所述移动速度及所述相对距离,计算所述图像采集设备相对于所述目标对象的当前相对角速度,以将所述当前相对角速度作为所述图像采集设备的打杆补偿量。

17.如权利要求16所述的装置,其特征在于,所述处理模块在根据所述移动速度及所述相对距离,计算所述图像采集设备相对于所述目标对象的当前相对角速度之前,还用于:根据获取的第一时间参数、第二时间参数以及所述移动速度,计算所述图像采集设备的距离补偿参数;其中,所述第一时间参数表征指示获取所述相对距离的时刻,所述第二时间参数表征接收到所述图像采集设备与所述目标对象之间的相对距离的时刻;

所述处理模块在根据所述移动速度及所述相对距离,计算所述图像采集设备相对于所述目标对象的当前相对角速度时,具体用于:利用所述距离补偿参数对所述相对距离进行补偿后,根据补偿后的相对距离以及所述移动速度,计算所述图像采集设备相对于所述目标对象的当前相对角速度。

18.根据权利要求10所述的装置,其特征在于,所述处理模块在利用所述目标打杆调整量生成所述图像采集设备的目标姿态调整量时,具体用于:将获取的所述图像采集设备的当前姿态参数以及所述目标打杆调整量输入至设定的PID控制器,并将所述PID控制器输出的结果作为所述图像采集设备的目标姿态调整量。

19.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1‑9中任一项所述的方法。

20.一种图像采集设备,其特征在于,包括:

存储器,用于存储一个或多个程序;

处理器;

当所述一个或多个程序被所述处理器执行时,实现如权利要求1‑9中任一项所述的方法。

21.一种无人机,其特征在于,所述无人机搭载有如权利要求20所述的图像采集设备。

说明书 :

姿态调整方法、装置、存储介质、图像采集设备及无人机

技术领域

[0001] 本申请涉及无人机技术领域,具体而言,涉及一种姿态调整方法、装置、存储介质、图像采集设备及无人机。

背景技术

[0002] 在无人机的一些应用场景中,无人机可以搭载例如机载吊舱或者是机载云台等图像采集设备,对一些例如汽车、地貌地物等目标对象进行拍摄,以获取目标对象的图像信息。
[0003] 其中,为了提升图像采集设备拍摄的画面质量,可以利用一些外部控制设备与图像采集设备建立通信,利用外部控制设备对图像采集设备的拍摄姿态进行调整;比如,例如外部遥控器向图像采集设备发送一打杆控制量,以使图像采集设备按照该打杆控制量进行姿态的调整。
[0004] 然而,当无人机在执行飞行计划,无人机一般具有一定的飞行速度,使得挂在于无人机上的图像采集设备在执行例如外部遥控器等外部控制设备发送的打杆控制量的过程中,往往也处于移动状态,导致图像采集设备在执行外部控制设备的打杆控制量的过程中所拍摄的画面误差较大。

发明内容

[0005] 本申请的目的在于提供一种姿态调整方法、装置、存储介质、图像采集设备及无人机,能够降低图像采集设备拍摄的画面误差。
[0006] 为了实现上述目的,本申请采用的技术方案如下:
[0007] 第一方面,本申请提供一种姿态调整方法,所述方法包括:
[0008] 获取图像采集设备在拍摄目标对象时的移动状态参数;
[0009] 根据所述移动状态参数以及接收的打杆控制量,生成所述图像采集设备的目标打杆调整量;
[0010] 利用所述目标打杆调整量生成所述图像采集设备的目标姿态调整量,以基于所述目标姿态调整量,对所述图像采集设备的姿态进行调整。
[0011] 第二方面,本申请提供一种姿态调整装置,所述装置包括:
[0012] 获取模块,用于获取图像采集设备在拍摄目标对象时的移动状态参数;
[0013] 处理模块,用于根据所述移动状态参数以及接收的打杆控制量,生成所述图像采集设备的目标打杆调整量;
[0014] 所述处理模块还用于,利用所述目标打杆调整量生成所述图像采集设备的目标姿态调整量,以基于所述目标姿态调整量,对所述图像采集设备的姿态进行调整。
[0015] 第三方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的姿态调整方法。
[0016] 第四方面,本申请提供一种图像采集设备,所述图像采集设备包括存储器,用于存储一个或多个程序;处理器;当所述一个或多个程序被所述处理器执行时,实现上述的姿态调整方法。
[0017] 第五方面,本申请提供一种无人机,所述无人机搭载有上述的图像采集设备。
[0018] 本申请提供的一种姿态调整方法、装置、存储介质、图像采集设备及无人机,通过获取图像采集在拍摄目标对象时的移动状态参数,从而根据该移动状态参数以及接收的打杆控制量,生成图像采集设备的目标打杆调整量,进而利用该目标打杆调整量生成图像采集设备的目标姿态调整量,以基于该目标姿态调整量,对图像采集设备的姿态进行调整;如此,能够在调整图像采集设备的姿态时,利用图像采集设备的移动状态参数对接收的打杆控制量进行补偿,从而结合图像采集设备的移动状态对图像采集设备的姿态进行调整,以减小图像采集设备拍摄的画面与用户选择的画面之间的差异,降低图像采集设备拍摄的画面误差。
[0019] 为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

[0020] 为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它相关的附图。
[0021] 图1示出吊舱拍摄目标的一种示意性应用场景图;
[0022] 图2示出本申请提供的图像采集设备的一种示意性结构框图;
[0023] 图3示出本申请提供的姿态调整方法的一种示例性流程图;
[0024] 图4示出图3中步骤203的子步骤的一种示例性流程图;
[0025] 图5示出本申请提供的姿态调整装置的一种示例性结构框图。
[0026] 图中:100‑图像采集设备;101‑存储器;102‑处理器;103‑通信接口;300‑姿态调整装置;301‑获取模块;302‑处理模块。

具体实施方式

[0027] 为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请的一些实施例中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。
[0028] 因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请选定的一些实施例。基于本申请中的一部分实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0029] 应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
[0030] 需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0031] 下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
[0032] 结合图1所示,在例如将机载吊舱或者是机载云台等图像采集设备搭载在无人上,从而对一些目标对象进行跟踪拍摄的场景中,可以采用例如futaba T8FG遥控器等外部控制设备与图像采集设备建立通信,用户可以通过操作遥控器,产生打杆信息并发送给图像采集设备,该打杆信息中可以包含有打杆控制量,该打杆控制量可以用于指示图像采集设备在拍摄目标对象时的姿态调整量,从而使用户可以对图像采集设备的姿态进行调整,并基于图像采集设备调整后的姿态拍摄目标对象的图像信息。
[0033] 然而,如图1所示,当无人机在执行飞行计划,搭载在无人机上的图像采集设备一般具有一定的飞行速度,即图像采集设备朝向飞行方向的过程中一般具有一定的移动速度,且图像采集设备的飞行速度一般与目标对象的移动状态不一致,导致图像采集设备在拍摄目标对象时,图像采集设备与目标对象之间存在相对移动速度;并且,由于用户在操作遥控器向图像采集设备发送打杆控制量的时刻与图像采集设备执行姿态调整的时刻存在时延,导致图像采集设备在按照接收的打杆控制量对姿态进行调整后,按照调整后的姿态拍摄目标对象获得的图像信息,一般会与用户所期望获得的图像信息存在差异,使得图像采集设备在执行例如上述的遥控器等外部控制设备的打杆控制量的过程中,由于图像采集设备与吊舱设备之间存在相对移动速度,图像采集设备拍摄的画面存在移动的情况,导致图像采集设备拍摄的画面内容误差较大。
[0034] 比如,以搭配长焦镜头的机载吊舱作为图像采集设备为例,当挂载该机载吊舱的无人机以较大的速度飞行,机载吊舱拍摄的画面内容变化也较快,当叠加上打杆控制量被发出的时刻与被执行时刻的时延之后,图像采集设备拍摄的画面与用户选择的画面即存在误差。
[0035] 并且,机载吊舱拍摄目标对象时所使用的分辨率不同,对于拍摄画面的差异也存在影响;以上述的futaba T8FG遥控器为例,futaba T8FG遥控器的杆量范围一般为1000~2000,以1500为摇杆中位,正负行程各500;假定摇杆打满时的最大杆量1000和2000各自对应的转动角速度分别为100°和‑100°,则每个杆量单位对应的角速度为100/500=0.5°/S。
[0036] 当机载吊舱处于长焦拍摄模式,机载吊舱的视场角会减小,以30倍可见光相机为例,30倍下的视场角约等于1倍下的1/30,若此时采用1倍下的杆量与吊舱角速度的映射关系,则相比于采用30倍下的杆量与吊舱角速度的映射关系,目标对象在机载吊舱的画面中的移动速度可能会快30倍。
[0037] 因此,当机载吊舱的焦距发生变化,可以将杆量与角速度的映射关系进行一些调整,使得调整后的杆量与吊舱角速度的映射关系可以与机载吊舱拍摄目标对象时的焦距模式相匹配。
[0038] 然而,调整杆量与吊舱角速度之间映射关系的方案也存在一些缺陷,比如在前述的示例中,若最大杆量1000~2000所对应的最大吊舱角速度,则减小后的最大吊舱角速度可能变为10°和‑10°;当无人机的飞行速度较快,则10°/‑10°的角速度可能不足以修正飞机位移带来的画面移动,同样可能导致图像采集设备拍摄的画面与用户选择的画面存在较大的差异,图像采集设备拍摄的画面误差较大。
[0039] 基于此,为了解决上述方案的至少部分缺陷,本申请提供的一种可能的实施方式为:通过获取图像采集在拍摄目标对象时的移动状态参数,从而根据该移动状态参数以及接收的打杆控制量,生成图像采集设备的目标打杆调整量,进而利用该目标打杆调整量生成图像采集设备的目标姿态调整量,以基于该目标姿态调整量,对图像采集设备的姿态进行调整;如此,以减小图像采集设备拍摄的画面与用户选择的画面之间的差异,降低图像采集设备拍摄的画面误差。
[0040] 请参阅图2,图2示出本申请提供的图像采集设备100的一种示意性结构框图,该图像采集设备100可以为搭载在无人机上的机载吊舱,或者是机载云台等。
[0041] 在一些实施例中,图像采集设备100可以包括存储器101、处理器102和通信接口103,该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
[0042] 存储器101可以用于存储软件程序及模块,如本申请提供的姿态调整装置对应的程序指令/模块,处理器102通过执行存储在存储器101内的软件程序及模块,从而执行各种功能应用以及数据处理,进而执行本申请提供的姿态调整方法的步骤。该通信接口103可用于与其他节点设备进行信令或数据的通信。
[0043] 其中,存储器101可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read‑Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read‑Only Memory,EPROM),电可擦除可编程只读存储器(Electric Erasable Programmable Read‑Only Memory,EEPROM)等。
[0044] 处理器102可以是一种集成电路芯片,具有信号处理能力。该处理器102可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0045] 可以理解的是,图2所示的结构仅为示意,图像采集设备100还可以包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
[0046] 另外,在本申请还提供一种无人机(图未示),该无人机可以搭载有如图2所示的图像采集设备。
[0047] 下面以图2所示的图像采集设备作为示例性执行主体,对本申请提供的姿态调整方法进行说明。
[0048] 请参阅图3,图3示出本申请提供的姿态调整方法的一种示例性流程图,作为一种可能的实施方式,该姿态调整方法可以包括以下步骤:
[0049] 步骤201,获取图像采集设备在拍摄目标对象时的移动状态参数。
[0050] 步骤203,根据移动状态参数以及接收的打杆控制量,生成图像采集设备的目标打杆调整量。
[0051] 步骤205,利用目标打杆调整量生成图像采集设备的目标姿态调整量,以基于目标姿态调整量,对图像采集设备的姿态进行调整。
[0052] 在一些实施例中,图像采集设备可以利用设置的IMU(Inertial Measurement Unit,惯性测量单元)、GPS(Global Positioning System,全球定位系统)、RTK(Real‑time kinematic,载波相位差分技术)、磁罗盘、测距传感器等设备,获取图像采集设备的移动状态参数,其中,该移动状态参数可以用于指示图像采集设备在拍摄目标对象时的状态信息,比如图像采集设备在拍摄目标对象时的角速度、坐标、移动速度、与目标对象之间的相对距离等。
[0053] 比如,该IMU可以设置在图像采集设备,基于该IMU,可以获取图像采集设备相对地面的姿态角速度,比如采集图像采集设备相对地面的俯仰角速度、横滚角速度、偏航角速度等等。
[0054] 又比如,通过设置在无人机上的GPS以及磁罗盘相配合,可以计算出无人机在大地坐标系下的实时坐标以及实时移动速度等信息;另外,图像采集设备一般与无人机固定连接,无人机图像采集设备两者间的移动速度参数可以视为相同,在计算出无人机在大地坐标系下的实时坐标以及实时移动速度后,无人机可以将该实时坐标以及实时移动速度发送给图像采集设备,使得图像采集设备可以将接收的无人机的实时坐标以及实时移动速度作为自身的实时坐标以及实时移动速度。
[0055] 再比如,通过设置在图像采集设备上的例如激光测距仪等测距传感器,可以测得图像采集设备在拍摄目标对象时,图像采集设备与目标对象之间的距离。
[0056] 示例性地,图像采集设备在拍摄目标对象时,也可以采用例如上述的实施方式获取图像采集设备的移动状态参数,比如图像采集设备在拍摄目标对象时相对地面的俯仰角速度、横滚角速度、偏航角速度等姿态角速度,实时坐标、实时移动速度等移动速度参数,以及图像采集设备与目标对象之间的距离等。
[0057] 在一些可能的场景中,用户可以通过例如上述的futaba T8FG遥控器等外部控制设备,向图像采集设备发送一打杆控制量,该打杆控制量可以用于指示外部控制设备针对该图像采集设备的姿态调整量。
[0058] 图像采集设备在接收到打杆控制量后,可以根据上述获取到的移动状态参数以及该接收的打杆控制量,生成该图像采集设备的目标打杆调整量。其中,可以理解的是,该目标打杆调整量与接收的打杆控制量相比,该目标打杆调整量属于在打杆控制量的基础上进行补偿调整后得到,针对图像采集设备的姿态控制量。
[0059] 接下来,图像采集设备可以利用上述得到的目标打杆调整量,生成该目标采集设备的目标姿态调整量,使得图像采集设备可以基于该目标姿态调整量,对图像采集设备的姿态进行调整。
[0060] 可见,基于本申请提供的上述方案,通过获取图像采集在拍摄目标对象时的移动状态参数,从而根据该移动状态参数以及接收的打杆控制量,生成图像采集设备的目标打杆调整量,进而利用该目标打杆调整量生成图像采集设备的目标姿态调整量,以基于该目标姿态调整量,对图像采集设备的姿态进行调整;如此,能够在调整图像采集设备的姿态时,利用图像采集设备的移动状态参数对接收的打杆控制量进行补偿,从而结合图像采集设备的移动状态对图像采集设备的姿态进行调整,以减小图像采集设备拍摄的画面与用户选择的画面之间的差异,降低图像采集设备拍摄的画面误差。
[0061] 如上所述,图像采集设备在执行步骤203的过程中,可以利用获取的移动状态参数,针对接收的打杆控制量进行补偿,从而得到目标打杆调整量,并基于该目标打杆调整量,执行步骤205。
[0062] 其中,为对生成目标打杆调整量的方式进行示例性说明,在图3的基础上,请参阅图4,图4示出图3中步骤203的子步骤的一种示例性流程图,作为一种可能的实施方式,步骤203可以包括以下子步骤:
[0063] 步骤203‑1,基于移动状态参数,生成图像采集设备的打杆补偿量。
[0064] 步骤203‑3,将打杆补偿量与接收的打杆控制量进行叠加,以生成图像采集设备的目标打杆调整量。
[0065] 在一些实施例中,图像采集设备在利用移动状态参数对接收的打杆控制量进行补偿的过程中,可以先基于该移动状态参数,生成图像采集设备的打杆补偿量,该打杆补偿量可以用于指示针对打杆控制量的补偿量。
[0066] 比如,以上述的打杆控制量为针对角速度进行调整的场景中,图像采集设备在执行步骤203‑1的过程中,图像采集设备可以基于获取的移动状态参数,计算出针对角速度进行补偿的打杆补偿量。
[0067] 示例性地,参照上述示例,该移动状态参数中可以包括图像采集设备的移动速度以及图像采集设备与目标对象之间的相对距离。其中,结合上述示例,图像采集设备的移动速度可以利用设置在无人机上的GPS以及磁罗盘相配合获得,而图像采集设备与目标对象之间的相对距离,则可以利用设置在图像采集设备上的激光测距仪所测量获得。
[0068] 其中,在例如上述的示例中,通过GPS与磁罗盘相配合测得的图像采集设备的移动速度,一般为大地坐标系下的速度,在利用该移动速度计算图像采集设备的打杆补偿量时,可以将该移动速度从大地坐标系变换至镜头坐标系中,该镜头坐标系为基于图像采集设备的镜头所构建的坐标系。
[0069] 比如,图像采集设备可以利用上述设置的IMU测得图像采集设备的镜头相对于地面的对地角度θ,可以将镜头的对地角度等效为镜头坐标系到大地坐标系的方向余弦矩阵Cei;然后基于该方向余弦矩阵Cei,将大地坐标系下的移动速度转换到镜头坐标系中。
[0070] 示例性地,将移动速度进行坐标系的转换可以满足如下公式:
[0071]
[0072]
[0073] 式中,Cie表示大地坐标系到镜头坐标系的转换矩阵,velearth表示大地坐标系下的速度, 表示大地坐标系的坐标轴, 表示镜头坐标系的坐标轴,velview表示镜头坐标系下的速度。
[0074] 图像采集设备在获取到图像采集设备的移动速度以及图像采集设备与目标对象之间的相对距离后,图像采集设备可以该移动速度及该相对距离,计算图像采集设备相对于目标对象的当前相对角速度;比如,图像采集设备可以利用如下公式计算出该当前相对角速度:
[0075] w=v/r
[0076] 式中,w表示当前相对角速度,v表示移动速度,r表示相对距离。
[0077] 如此,图像采集设备可以通过上述示例的实施方式,计算出图像采集设备相对于目标对象的当前相对角速度,从而将该当前相对角速度作为图像采集设备的打杆补偿量。
[0078] 需要说明的是,在一些可能的场景中,图像采集设备接收的打杆控制量可以是针对图像采集设备在偏航方向上的控制量,也可以是针对图像采集设备在俯仰方向上的控制量,还可以是既包括在偏航方向上的控制量,也包括在俯仰方向上的控制量。
[0079] 图像采集设备在执行步骤203‑1的过程中,可以基于打杆控制量的控制方向,换算出对应方向的移动速度,以及计算出对应方向上的当前相对角速度;比如,当该打杆控制量为针对偏航方向上的控制量,则图像采集设备换算得到的移动速度也可以是图像采集设备在偏航方向上的移动速度,且计算出的当前相对角速度也可以为针对偏航方向上的当前相对角速度wyaw;又比如,当该打杆控制量为针对俯仰方向上的控制量,则图像采集设备换算得到的移动速度也可以是图像采集设备在俯仰方向上的移动速度,且计算出的当前相对角速度也可以为针对俯仰方向上的当前相对角速度wpitch。
[0080] 另外,在一些可能的场景中,图像采集设备在利用例如上述的激光测距仪采集图像采集设备与目标对象之间的相对距离时,由于图像采集设备向激光测距仪发送测距指令的时刻与接收到激光测距仪反馈的相对距离的时刻存在时延,且在这一时间段内,当无人机存在一定的速度,则搭载在无人机上的图像采集设备也存在一定的速度,导致图像采集设备在接收到激光测距仪发送的相对距离时,图像采集设备已经相对于目标对象移动了一定的距离,图像采集设备获得的相对距离存在误差。
[0081] 比如,假定图像采集设备发送测距指令的时刻为t1,图像采集设备在t2时刻接收到激光测距仪反馈的相对距离r;可以理解的是,该相对距离r表示的是图像采集设备在t1时刻与目标对象之间的相对距离,而在t2时刻,假定图像采集设备在t1时刻到t2时刻之间的运动方式可以视为匀速直线运动,则图像采集设备距离t1时刻的位置已经移动了s=v*(t2‑t1)的距离,导致图像采集设备在计算当前相对角速度时所使用的相对距离存在误差。
[0082] 因此,在一些实施例中,图像采集设备在计算图像采集设备相对于目标对象的当前相对角速度之前,图像采集设备还可以根据获取的第一时间参数、第二时间参数以及移动速度,计算图像采集设备的距离补偿参数。
[0083] 其中,上述的第一时间参数可以表征指示获取相对距离的时刻,比如上述的t1时刻;上述的第二时间参数可以表征接收到图像采集设备与目标对象之间的相对距离的时刻,比如上述的t2时刻;上述的距离补偿参数的计算方式可以为s=v*(t2‑t1)。
[0084] 如此,基于上述获得的距离补偿参数,图像采集设备可以利用该距离补偿参数对该相对距离进行补偿,比如将该距离补偿参数与相对距离进行叠加,从而利用补偿后的相对距离,并结合移动速度,计算出图像采集设备相对于目标对象的当前相对角速度,以提升该当前相对角速度的计算精度。
[0085] 接下来,当图像采集设备计算得到打杆补偿量,图像采集设备可以将该打杆补偿量与接收的打杆控制量进行叠加,从而利用该打杆补偿量对接收的打杆控制量进行补偿,以生成该图像采集设备的目标打杆调整量。
[0086] 比如,在一些可能的场景中,图像采集设备可以将打杆补偿量与打杆控制量相加的方式,生成目标打杆调整量;又或者,在本申请其他一些可能的实施方式中,还可以利用打杆补偿量与打杆控制量各自对应的比例调节系数,将打杆补偿量与打杆控制量进行加权求和得到,本申请对于目标打杆调整量的生成方式不进行限定。
[0087] 其中,在例如前述的将打杆补偿量与打杆控制量进行加权求和的示例中,图像采集设备可以基于例如飞行时长、目标对象的类型等因素,为打杆补偿量与打杆控制量分别配置加权系数,且打杆补偿量与打杆控制量各自的加权系统相加为一。
[0088] 另外,在本申请一些其他的示例中,图像采集设备在执行步骤203‑3的过程中,还可以分别确定出打杆补偿量对应的第一比例系数,以及打杆控制量对应的第二比例系数;其中,第一比例系数与第二比例系数可以相互没有关联关系,比如,第一比例系数与第二比例系数之和可以小于一,也可以等于一,还可以大于一。
[0089] 比如,在一些可能的场景中,第一比例系数可以用于指示图像采集设备拍摄的目标对象所对应的调节系数;示例性地,图像采集设备可以预设有一对象参数配置策略,该对象参数配置策略可以包括有多个对象类型与多个比例系数的对应关系。
[0090] 例如,在一些可能的场景中,图像采集设备拍摄的目标对象可以分为人、车、静态固定对象三个对象类型,静态固定物可以是指树木、建筑物等静态目标;其中,由于人、车、静态固定对象各自在大地坐标系下的移动速度不尽相同,在一些场景中,静态固定对象在大地坐标系下的移动速度一般为0,人在大地坐标系下的移动速度一般小于车在大地坐标系下的移动速度;因此,在一些可能的场景中,可以基于各个对象类型在大地坐标系下移动速度的不同,预先在上述的对象参数配置策略中记录各个对象类型各自对应的比例系数。比如,该对象参数配置策略可以表示如下:
[0091] 对象类型 比例系数 补偿系数静态固定对象 0.6 0
人 0.7 0.1
车 0.75 0.15
[0092] 可以理解的是,上述的对象参数配置策略仅为示例,在本申请其他一些可能的场景中,对象配置参数配置策略中记录的比例系数等参数的具体取值还可以为其他,本申请对此不进行限定。
[0093] 基于此,图像采集设备在确定出打杆补偿量对应的第一比例系数的过程中,可以先利用例如图像识别算法等策略,确定该目标对象所属的目标对象类型;然后,图像采集设备可以根据确定出的目标对象类型,在例如上述的对象参数配置策略中确定出该目标对象类型所对应的比例系数,并根据该目标对象类型所对应的比例系数,生成该打杆补偿量对应的第一比例系数。
[0094] 示例性地,结合上述的对象参数配置策略所示,假定该目标对象所属的目标对象类型为静态固定对象,则可以根据对象参数配置策略中记录的“0.6”,生成第一比例系数,比如将“0.6”作为第一比例系数。
[0095] 又比如,针对人以及车等类型的目标对象,由于人或者车在大地坐标系中一般具有一定的移动速度,因此,还可以在对象参数配置策略中记录多个对象类型各自对应的补偿系数,以使每一个对象类型的比例系数,能够利用对应的补偿系数进行补偿。
[0096] 例如,结合上述的对象参数配置策略所示,人和车各自不仅对应有比例系数,还各自对应有补偿系数;当然,可以理解的是,静态固定对象也可以理解为对应有补偿系数,区别仅在于,静态固定对象对应的补偿系数为0。
[0097] 因此,在一些实施例中,基于对象参数配置策略包括的多个对象类型与多个补偿参数的对应关系,图像采集设备在生成该打杆补偿量对应的第一比例系数的过程中,可以基于该目标对象与所述图像采集设备之间的相对移动方向,将目标对象类型在预设的对象参数配置策略中所对应的比例系数和补偿系数进行叠加,从而得到打杆补偿量对应的第一比例系数。
[0098] 比如,当该相对移动方向指示目标对象与图像采集设备相向移动,则图像采集设备可以将目标对象类型所对应的比例系数减去对应的补偿系数,从而将得到的差值作为打杆补偿量对应的第一比例系数。
[0099] 又或者,当该相对移动方向指示目标对象与图像采集设备相背移动,则图像采集设备可以将目标对象类型所对应的比例系数加上对应的补偿系数,从而将得到的和作为打杆补偿量对应的第一比例系数。
[0100] 另外,在一些可能的场景中,上述的第二比例系数可以用于指示图像采集设备针对接收的打杆控制量的响应程度;也就是说,图像采集设备可以通过设置不同值的第二比例系数,对打杆控制量执行不同程序的响应。
[0101] 示例性地,在一些可能的实施方式中,图像采集设备还可以预先记录有一打杆调节策略,该打杆调节策略可以记录有多个打杆模式与多个调节系数的对应关系,每一个调节系数用于指示在对应的打杆模式下图像采集设备针对打杆控制量的响应程度。比如,该打杆调节策略可以表示如下:
[0102] 打杆模式 调节系数低灵敏度 0.5
中灵敏度 0.75
高灵敏度 1
[0103] 如此,基于该打杆调节策略,图像采集设备在确定出打杆控制量对应的第二比例系数的过程中,可以根据当前打杆模式,将该打杆调节策略中与当前打杆模式对应的调节系数,确定为打杆控制量对应的第二比例系数。
[0104] 比如,假定当前打杆模式为高灵敏度,则图像采集设备确定出的第二比例系数可以为“1”;又比如,假定当前打杆模式为低灵敏度,则图像采集设备确定出的第二比例系数可以为“0.5”。
[0105] 需要说明的是,图像采集设备记录的当前打杆模式,可以为用户预先输入至图像采集设备中的打杆模式,也可以是图像采集设备接收例如外部遥控器等外部设备发送的打杆模式,本申请对于当前打杆模式的获取方式不进行限定。
[0106] 另外,可以理解的是,针对上述的对象参数配置策略以及上述的打杆调节策略,图像采集设备可以将两个配置策略通过文本或者查找表项的方式进行记录;并且,图像采集设备可以将两个配置策略记录在同一个文本或者查找表项中,也可以记录在不同的文本或者查找表项中,本申请对此不进行限定。
[0107] 接下来,图像采集设备可以基于例如上述方案确定出的第一比例系数和第二比例系数,利用第一比例系数和第二比例系数对打杆补偿量和打杆控制量进行加权求和,从而生成图像采集设备的目标打杆调整量;如此,可以提高打杆调整量的精度,提升图像采集设备的姿态控制效果。
[0108] 在一些实施例中,为了使图像采集设备的拍摄方向能够按照接收的打杆控制量调整姿态,当图像采集设备获得目标打杆调整量,图像采集设备可以基于该目标打杆调整量,执行步骤205,以生成图像采集设备的目标姿态调整量。
[0109] 比如,图像采集设备可以利用预先设定的PID(Proportion Integral Differential,比例积分微分)控制器,并结合IMU采集的图像采集设备的当前姿态参数,将该当前姿态参数以及该目标打杆调整量输入至该设定的PID控制器,从而将该PID控制器输出的结果作为该图像采集设备的目标姿态调整量。
[0110] 示例性地,以上述调整图像采集设备的角速度为例,假定IMU测得的当前姿态参数表示为wmeasure,图像采集设备计算得到的目标打杆调整量表示为wref,将目标打杆调整量wref与当前姿态参数wmeasure做差,得到姿态参数误差项E;将姿态参数误差项E进行比例、积分、微分控制,比例项Pout即为比例系统乘以姿态参数误差项E,即:Pout=KP*E,KP表示预设的比系数;积分项Iout即为对姿态参数误差项E进行积分得到的累计误差,再乘以预设的积分系数Ki得到的结果,即:Iout=Ki*∫E;微分项Dout则为预设的微分系数Kd乘以参数误差项E的,即:Dout=Kd*(Ek‑Ek‑1),Ek表示第k次计算的参数误差项E,Ek‑1表示第k‑1次计算的参数误差项E,k为大于1的正整数。
[0111] 基于上述计算得到的比例项Pout、积分项Iout以及微分项Dout,图像采集设备获取的目标姿态调整量即为比例项Pout、积分项Iout以及微分项Dout三者之和。
[0112] 另外,基于与本申请提供的上述姿态调整方法相同的发明构思,请参阅图5,图5示出本申请提供的姿态调整装置300的一种示意性结构框图,该姿态调整装置300可以包括获取模块301及处理模块302。
[0113] 获取模块301,用于获取图像采集设备在拍摄目标对象时的移动状态参数;
[0114] 处理模块302,用于根据移动状态参数以及接收的打杆控制量,生成图像采集设备的目标打杆调整量;
[0115] 处理模块302还用于,利用目标打杆调整量生成图像采集设备的目标姿态调整量,以基于目标姿态调整量,对图像采集设备的姿态进行调整。
[0116] 可选地,作为一种可能的实施方式,处理模块302在根据移动状态参数以及接收的打杆控制量,生成图像采集设备的目标打杆调整量时,具体用于:
[0117] 基于移动状态参数,生成图像采集设备的打杆补偿量;
[0118] 将打杆补偿量与接收的打杆控制量进行叠加,以生成图像采集设备的目标打杆调整量。
[0119] 可选地,作为一种可能的实施方式,处理模块302在将打杆补偿量与接收的打杆控制量进行叠加,以生成图像采集设备的目标打杆调整量时,具体用于:
[0120] 确定出打杆补偿量对应的第一比例系数,以及打杆控制量对应的第二比例系数;
[0121] 利用第一比例系数和第二比例系数对打杆补偿量和打杆控制量进行加权求和,生成图像采集设备的目标打杆调整量。
[0122] 可选地,作为一种可能的实施方式,处理模块302在确定出打杆补偿量对应的第一比例系数时,具体用于:
[0123] 确定目标对象所属的目标对象类型;
[0124] 根据目标对象类型在预设的对象参数配置策略中所对应的比例系数,生成打杆补偿量对应的第一比例系数;其中,对象参数配置策略包括有多个对象类型与多个比例系数的对应关系。
[0125] 可选地,作为一种可能的实施方式,对象参数配置策略还包括有多个对象类型与多个补偿系数的对应关系;
[0126] 处理模块302在根据目标对象类型在预设的对象参数配置策略中所对应的比例系数,生成打杆补偿量对应的第一比例系数时,具体用于:
[0127] 基于目标对象与图像采集设备之间的相对移动方向,将目标对象类型在预设的对象参数配置策略中所对应的比例系数和补偿系数进行叠加,得到打杆补偿量对应的第一比例系数。
[0128] 可选地,作为一种可能的实施方式,处理模块302在根据目标对象与图像采集设备之间的相对移动方向,将目标对象类型在预设的对象参数配置策略中所对应的比例系数和补偿系数进行叠加,得到打杆补偿量对应的第一比例系数时,具体用于:
[0129] 当相对移动方向指示目标对象与图像采集设备相向移动,将目标对象类型在预设的对象参数配置策略中所对应的比例系数减去对应的补偿系数,得到打杆补偿量对应的第一比例系数;
[0130] 当相对移动方向指示目标对象与图像采集设备相背移动,将目标对象类型在预设的对象参数配置策略中所对应的比例系数加上对应的补偿系数,得到打杆补偿量对应的第一比例系数。
[0131] 可选地,作为一种可能的实施方式,处理模块302在确定出打杆控制量对应的第二比例系数时,具体用于:
[0132] 根据当前打杆模式,将预设的打杆调节策略中与当前打杆模式对应的调节系数,确定为打杆控制量对应的第二比例系数;其中,打杆调节策略记录有多个打杆模式与多个调节系数的对应关系。
[0133] 可选地,作为一种可能的实施方式,移动状态参数包括图像采集设备的移动速度以及图像采集设备与目标对象之间的相对距离;
[0134] 处理模块302在基于移动状态参数,生成图像采集设备的打杆补偿量时,具体用于:
[0135] 根据移动速度及相对距离,计算图像采集设备相对于目标对象的当前相对角速度,以将当前相对角速度作为图像采集设备的打杆补偿量。
[0136] 可选地,作为一种可能的实施方式,处理模块302在根据移动速度及相对距离,计算图像采集设备相对于目标对象的当前相对角速度之前,还用于:
[0137] 根据获取的第一时间参数、第二时间参数以及移动速度,计算图像采集设备的距离补偿参数;其中,第一时间参数表征指示获取相对距离的时刻,第二时间参数表征接收到图像采集设备与目标对象之间的相对距离的时刻;
[0138] 处理模块302在根据移动速度及相对距离,计算图像采集设备相对于目标对象的当前相对角速度时,具体用于:
[0139] 利用距离补偿参数对相对距离进行补偿后,根据补偿后的相对距离以及移动速度,计算图像采集设备相对于目标对象的当前相对角速度。
[0140] 可选地,作为一种可能的实施方式,处理模块302在利用目标打杆调整量生成图像采集设备的目标姿态调整量时,具体用于:
[0141] 将获取的图像采集设备的当前姿态参数以及目标打杆调整量输入至设定的PID控制器,并将PID控制器输出的结果作为图像采集设备的目标姿态调整量。
[0142] 在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的一些实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。
[0143] 也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。
[0144] 也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
[0145] 另外,在本申请的一些实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
[0146] 所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请的一些实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
[0147] 以上所述仅为本申请的部分实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
[0148] 对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。