无人机深度图像的获取方法及无人机

摘要

本发明提出一种无人机深度图像的获取方法及无人机，该方法包括：通过机载相机采集预定场景的图像序列，图像序列中第N帧图像和第N+1帧图像具有重叠区域且重叠区域的面积与第N帧图像或第N+1帧图像的面积之比高于预设比例；利用基于特征匹配的光流法得到重叠区域中第N帧图像的每个像素点在第N+1帧图像中的位置信息的变化情况，并据此得到重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度；获取无人机在世界坐标系下的实际飞行速度；根据上述的像素移动速度、实际飞行速度及机载相机的参数得到每个重叠区域的深度图像，并据此整合得到预定场景的深度图像。本发明的方法能够准确地获取深度图像，具有适用范围广、成本低、易于实现的优点。

权利要求

1.一种无人机深度图像的获取方法，其特征在于，包括以下步骤：

S1：通过无人机的机载相机采集预定场景的图像序列，其中，所述图像序列中第N帧图像和第N+1帧图像具有重叠区域且所述重叠区域的面积与所述第N帧图像或第N+1帧图像的面积之比高于预设比例；

S2：利用基于特征匹配的光流法得到所述重叠区域中第N帧图像的每个像素点在第N+1帧图像中的位置信息的变化情况，并根据所述位置信息的变化情况得到所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度；

S3：获取所述无人机在世界坐标系下的实际飞行速度；以及

S4：根据每个所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞行速度以及所述机载相机的参数得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到所述预定场景的深度图像。

2.根据权利要求1所述的无人机深度图像的获取方法，其特征在于，所述S2，进一步包括：利用基于特征匹配的光流法得到所述重叠区域中无人机的每个像素点在所述相机坐标系下的移动距离，具体包括：根据同一个像素点在第N帧图像中的位置信息和第N+1帧图像中的位置信息，得到该像素点的位置信息变化情况，根据所述位置信息变化情况得到该像素点在所述相机坐标系下的移动距离；

对所述重叠区域中无人机的每个像素点在所述相机坐标系下的移动距离进行求导，得到所述重叠区域中无人机的每个像素点在所述相机坐标系下的像素移动速度。

3.根据权利要求1所述的无人机深度图像的获取方法，其特征在于，所述S4，进一步包括：根据小孔成像原理建立所述重叠区域中无人机的每个像素点在所述相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞行速度和所述无人机的飞行高度之间的关联关系；

根据所述关联关系得到所述重叠区域中无人机的每个像素点的深度值；

根据每个所述重叠区域中无人机的每个像素点的深度值得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到预定场景的深度图像。

4.根据权利要求3所述的无人机深度图像的获取方法，其特征在于，所述关联关系为：其中，所述vm为所述无人机在世界坐标系下的实际飞行速度，v为所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度，Z为所述无人机的飞行高度，f为所述机载相机的焦距。

5.根据权利要求4所述的无人机深度图像的获取方法，其特征在于，所述重叠区域中无人机的每个像素点的深度值为：其中，Zi为所述重叠区域中第i个像素点的深度值，vi为第i个像素点在相机坐标系下的像素移动速度。

6.根据权利要求3所述的无人机深度图像的获取方法，其特征在于，还包括：判断所述相机坐标系和所述世界坐标系的方向是否一致；

如果所述相机坐标系和所述世界坐标系的方向不一致，则对所述相机坐标系的方向进行调整，以使所述相机坐标系的方向与所述世界坐标系的方向一致。

7.根据权利要求1-6任一项所述的无人机深度图像的获取方法，其特征在于，所述机载相机的视野角度低于预设角度，所述预设角度为60度。

8.根据权利要求7所述的无人机深度图像的获取方法，其特征在于，在所述S2之前，还包括：对所述图像序列中的图像的畸变进行校正。

9.根据权利要求1所述的无人机深度图像的获取方法，其特征在于，所述预设比例为

60％。

10.一种无人机，其特征在于，包括：

机载相机，所述机载相机用于采集预定场景的图像序列，其中，所述图像序列中第N帧图像和第N+1帧图像具有重叠区域且所述重叠区域的面积与所述第N帧图像或第N+1帧图像的面积之比高于预设比例；

计算模块，所述计算模块利用基于特征匹配的光流法得到所述重叠区域中第N帧图像的每个像素点在第N+1帧图像中的位置信息的变化情况，并根据所述位置信息的变化情况得到所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度；

测量模块，所述测量模块用于获取所述无人机在世界坐标系下的实际飞行速度；以及获取模块，所述获取模块用于根据每个所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞行速度以及所述机载相机的参数得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到所述预定场景的深度图像。

11.根据权利要求10所述的无人机，其特征在于，所述计算模块用于：利用基于特征匹配的光流法得到所述重叠区域中无人机的每个像素点在所述相机坐标系下的移动距离，具体包括：根据同一个像素点在第N帧图像中的位置信息和第N+1帧图像中的位置信息，得到该像素点的位置信息的变化情况，根据所述位置信息的变化情况得到该像素点在所述相机坐标系下的移动距离；以及对所述重叠区域中无人机的每个像素点在所述相机坐标系下的移动距离进行求导，得到所述重叠区域中无人机的每个像素点在所述相机坐标系下的像素移动速度。

12.根据权利要求10所述的无人机，其特征在于，所述获取模块用于根据小孔成像原理建立所述重叠区域中无人机的每个像素点在所述相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞行速度和所述无人机的飞行高度之间的关联关系；

根据所述关联关系得到所述重叠区域中无人机的每个像素点的深度值；

根据每个所述重叠区域中无人机的每个像素点的深度值得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到预定场景的深度图像。

13.根据权利要求12所述的无人机，其特征在于，所述关联关系为：其中，所述vm为所述无人机在世界坐标系下的实际飞行速度，v为所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度，Z为所述无人机的飞行高度，f为所述机载相机的焦距。

14.根据权利要求13所述的无人机，其特征在于，所述重叠区域中无人机的每个像素点的深度值为：其中，Zi为所述重叠区域中第i个像素点的深度值，vi为第i个像素点在相机坐标系下的像素移动速度。

15.根据权利要求12所述的无人机，其特征在于，还包括：

调整模块，所述调整模块用于判断所述相机坐标系和所述世界坐标系的方向是否一致，并在所述相机坐标系和所述世界坐标系的方向不一致时，对所述相机坐标系的方向进行调整，以使所述相机坐标系的方向与所述世界坐标系的方向一致。

16.根据权利要求10所述的无人机，其特征在于，所述机载相机通过自稳云台安装在所述无人机上。

17.根据权利要求10-16任一项所述的无人机，其特征在于，所述机载相机的视野角度低于预设角度，所述预设角度为60度。

18.根据权利要求17所述的无人机，其特征在于，所述机载相机还用于对所述图像序列中的图像的畸变进行校正。

19.根据权利要求10所述的无人机，其特征在于，所述预设比例为60％。

说明书

无人机深度图像的获取方法及无人机

技术领域

[0001] 本发明涉及图像处理技术领域，特别涉及一种无人机深度图像的获取方法及无人机。

背景技术

[0002] 传统的成像方案是将三维的图像模型转换为二维的灰度图像，在成像过程中损失了图像的深度信息，然而图像的深度信息对于后续应用是十分重要的(例如三维重建、地理
测绘等)，获取深度图无论对于理论研究还是对于工程实践都具有重要的意义。

[0003] 现有的获取深度图像的方法一般是主动式获取方法，主动的发出能量，例如激光、电磁波，超声波等，此能量经过障碍物反射从而被接收到；被动式测量有基于机器视觉的方
法，例如双目视觉等。

[0004] 目前无人机获取深度图像的方法一般是主动式的发出能量束，然后检测返回的能量，最后据此计算深度图。然而，此方法容易受到周围环境的影响，例如光线对激光的影响；
其次该方法要求被测物体必须能够反射能量，如果大部分发射能量被吸收掉，那么就会导
致此方法的失效；最后该方法的可测量范围有限，因为发射的能量在大气中会被衰减，如果
距离太远，衰减就会严重，从而不能够准确测量出深度信息。另一方面，基于双目视觉的方
法需要两个相机，且两个相机之间必须要求有一定的距离，测量的距离越远两个相机间的
间距就要越大，对于小型无人机而言其增加了载荷，另外由于小型无人机的空间有限，从而
限制了两个相机间的最大距离。

发明内容

[0005] 本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。

[0006] 为此，本发明的一个目的在于提出一种无人机深度图像的获取方法，该方法能够准确地获取无人机的深度图像，具有适用范围广、成本低、易于实现的优点。

[0007] 本发明的另一个目的在于提供一种无人机。

[0008] 为了实现上述目的，本发明第一方面的实施例提出了一种无人机深度图像的获取方法，包括以下步骤：S1：通过无人机的机载相机采集预定场景的图像序列，其中，所述图像
序列中第N帧图像和第N+1帧图像具有重叠区域且所述重叠区域的面积与所述第N帧图像或
第N+1帧图像的面积之比高于预设比例；S2：利用基于特征匹配的光流法得到所述重叠区域
中第N帧图像的每个像素点在第N+1帧图像中的位置信息的变化情况，并根据所述位置信息
的变化情况得到所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度；
S3：获取所述无人机在世界坐标系下的实际飞行速度；以及S4：根据每个所述重叠区域中无
人机的每个像素点在相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞
行速度以及所述机载相机的参数得到每个所述重叠区域的深度图像，根据每个所述重叠区
域的深度图像整合得到所述预定场景的深度图像。

[0009] 根据本发明实施例的无人机深度图像的获取方法，通过无人机机载相机拍摄连续的图像，通过计算两帧连续的图像重叠区域中每个像素点的位置变化情况得到无人机在相
机坐标系下各像素点的像素移动速度，再利用如无人机机载GPS等设备测量出无人机在世
界坐标系下的实际飞行速度，最后通过无人机在相机坐标系下各像素点的像素移动速度、
无人机在世界坐标系下的实际飞行速度及飞行高度之间的关系，计算得到无人机的深度图
像，该方法能够准确获取深度图像，且操作流程简单、易于实现。同时，对被测物体是否能够
反射能量没有特定要求，可测距离足够远，不存在能量的衰减问题，适用范围广。另外，该方
法的实现都是利用现有无人机上的设备，不需要增加额外的设备，从而减小无人机的载荷，
也降低了测量成本，避免了由于能量衰减，或者被测物体表面吸收等问题导致的主动式测
量失败等问题。

[0010] 另外，根据本发明上述实施例的无人机深度图像的获取方法还可以具有如下附加的技术特征：

[0011] 在一些示例中，所述S2，进一步包括：利用基于特征匹配的光流法得到所述重叠区域中无人机的每个像素点在所述相机坐标系下的移动距离，具体包括：根据同一个像素点
在第N帧图像中的位置信息和第N+1帧图像中的位置信息，得到该像素点的位置信息变化情
况，根据所述位置信息变化情况得到该像素点在所述相机坐标系下的移动距离；对所述重
叠区域中无人机的每个像素点在所述相机坐标系下的移动距离进行求导，得到所述重叠区
域中无人机的每个像素点在所述相机坐标系下的像素移动速度。，为所述像素点在所述相
机坐标系下的移动距离；进行求导，得到所述无人机在所述相机坐标系下各像素点的像素
移动速度。

[0012] 在一些示例中，所述S4，进一步包括：根据小孔成像原理建立所述重叠区域中无人机的每个像素点在所述相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际
飞行速度和所述无人机的飞行高度之间的关联关系，其中，所述关联关系为：

[0013]

[0014] 其中，所述vm为所述无人机在世界坐标系下的实际飞行速度，v为所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度，Z为所述无人机的飞行高度，f为所
述机载相机的焦距；

[0015] 根据所述关联关系得到所述重叠区域中无人机的每个像素点的深度值：

[0016]

[0017] 其中，Zi为所述重叠区域中第i个像素点的深度值，vi为第i个像素点在相机坐标系下的像素移动速度；

[0018] 根据每个所述重叠区域中无人机的每个像素点的深度值得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到预定场景的深度图像。

[0019] 在一些示例中，判断所述相机坐标系和所述世界坐标系的方向是否一致；如果所述相机坐标系和所述世界坐标系的方向不一致，则对所述相机坐标系的方向进行调整，以
使所述相机坐标系的方向与所述世界坐标系的方向一致。

[0020] 在一些示例中，所述机载相机的视野角度低于预设角度，所述预设角度为60度。

[0021] 在一些示例中，在所述S2之前，还包括：对所述图像序列中的图像的畸变进行校正。

[0022] 在一些示例中，所述预设比例为60％。

[0023] 本发明第二发明的实施例还提供了一种无人机，包括：机载相机，所述机载相机用于采集预定场景的图像序列，其中，所述图像序列中第N帧图像和第N+1帧图像具有重叠区
域且所述重叠区域的面积与所述第N帧图像或第N+1帧图像的面积之比高于预设比例；计算
模块，所述计算模块利用基于特征匹配的光流法得到所述重叠区域中第N帧图像的每个像
素点在第N+1帧图像中的位置信息的变化情况，并根据所述位置信息的变化情况得到所述
重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度；测量模块，所述测量模
块用于获取所述无人机在世界坐标系下的实际飞行速度；以及获取模块，所述获取模块用
于根据每个所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度、所述无
人机在世界坐标系下的实际飞行速度以及所述机载相机的参数得到每个所述重叠区域的
深度图像，根据每个所述重叠区域的深度图像整合得到所述预定场景的深度图像。

[0024] 根据本发明实施例的无人机，通过机载相机拍摄连续的图像，通过计算两帧连续的图像重叠区域中每个像素点的位置变化情况得到无人机在相机坐标系下各像素点的像
素移动速度，再利用如无人机机载GPS等设备测量出无人机在世界坐标系下的实际飞行速
度，最后通过无人机在相机坐标系下各像素点的像素移动速度、无人机在世界坐标系下的
实际飞行速度及飞行高度之间的关系，计算得到无人机的深度图像，因此该无人机能够准
确获取深度图像。同时，对被测物体是否能够反射能量没有特定要求，可测距离足够远，不
存在能量的衰减问题，适用范围广。另外，该无人机的实现都是利用现有无人机上的设备，
不需要增加额外的设备，从而减小无人机的载荷，也降低了测量成本，避免了由于能量衰
减，或者被测物体表面吸收等问题导致的主动式测量失败等问题。

[0025] 另外，根据本发明上述实施例的无人机还可以具有如下附加的技术特征：

[0026] 在一些示例中，所述计算模块用于：利用基于特征匹配的光流法得到所述重叠区域中无人机的每个像素点在所述相机坐标系下的移动距离，具体包括：根据同一个像素点
在第N帧图像中的位置信息和第N+1帧图像中的位置信息，得到该像素点的位置信息的变化
情况，根据所述位置信息的变化情况得到该像素点在所述相机坐标系下的移动距离；以及
对所述重叠区域中无人机的每个像素点在所述相机坐标系下的移动距离进行求导，得到所
述重叠区域中无人机的每个像素点在所述相机坐标系下的像素移动速度。

[0027] 在一些示例中，所述获取模块用于根据小孔成像原理建立所述重叠区域中无人机的每个像素点在所述相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞
行速度和所述无人机的飞行高度之间的关联关系，其中，所述关联关系为：

[0028]

[0029] 其中，所述vm为所述无人机在世界坐标系下的实际飞行速度，v为所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度，Z为所述无人机的飞行高度，f为所
述机载相机的焦距；

[0030] 根据所述关联关系得到所述重叠区域中无人机的每个像素点的深度值：

[0031]

[0032] 其中，Zi为所述重叠区域中第i个像素点的深度值，vi为第i个像素点在相机坐标系下的像素移动速度；

[0033] 根据每个所述重叠区域中无人机的每个像素点的深度值得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到预定场景的深度图像。在一些示
例中，还包括：调整模块，所述调整模块用于判断所述相机坐标系和所述世界坐标系的方向
是否一致，并在所述相机坐标系和所述世界坐标系的方向不一致时，对所述相机坐标系的
方向进行调整，以使所述相机坐标系的方向与所述世界坐标系的方向一致。

[0034] 在一些示例中，所述机载相机通过自稳云台安装在所述无人机上。

[0035] 在一些示例中，所述机载相机的视野角度低于预设角度，所述预设角度为60度。

[0036] 在一些示例中，所述机载相机还用于对所述图像序列中的图像的畸变进行校正。

[0037] 在一些示例中，所述预设比例为60％。

[0038] 本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

[0039] 本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

[0040] 图1是根据本发明一个实施例的无人机深度图像的获取方法的流程图；

[0041] 图2是根据本发明一个实施例的无人机获取深度图像的具体模型示意图；以及

[0042] 图3是根据本发明一个实施例的无人机的结构框图。

具体实施方式

[0043] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附
图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

[0044] 以下结合附图描述根据本发明实施例的无人机深度图像的获取方法及无人机。

[0045] 图1是根据本发明一个实施例的无人机深度图像的获取方法的流程图。如图1所示，该方法包括以下步骤：

[0046] 步骤S1：通过无人机的机载相机采集预定场景的图像序列，其中，图像序列中第N帧图像和第N+1帧图像具有重叠区域且重叠区域的面积与第N帧图像或第N+1帧图像的面积
之比高于预设比例。换言之，即通过无人机的机载相机拍摄得到被测物体的图像序列，并从
中提取两帧连续的图像，例如分别为第N帧图像和第N+1帧图像，并且，第N帧图像和第N+1帧
图像之间必须具有重叠区域。为了保证后续光流计算的准确性，该重叠区域的面积与第N帧
图像或第N+1帧图像的面积之比高于预设比例。更为具体地，在本发明的一个实施例中，预
设比例例如为60％，也即重叠区域的面积高于第N帧图像或第N+1帧图像面积的60％。

[0047] 进一步地，在本发明的一个实施例中，为了保证机载相机拍摄图像的质量，并且消除由无人机自身抖动给后续光流法计算带来的干扰，例如将机载相机通过自稳云台安装在
无人机上，例如图2所示。同时，为了减小相机拍摄的图像本身畸变影响，机载相机的视野角
度不能太大，在本发明的一个实施例中，选取的机载相机的视野角度低于预设角度，更为具
体地，预设角度例如为60度，例如图2所示。当然，预设角度的值不限于此，可以根据实际场
景需求而选定，此处仅是以示例性为目的的描述。

[0048] 进一步地，在一些示例中，如上所述，如果机载相机拍摄图像的畸变比较严重，则需要对图像序列中的图像畸变进行校正，使图像的畸变在可用范围内后再执行后续操作。

[0049] 步骤S2：利用基于特征匹配的光流法得到重叠区域中第N帧图像的每个像素点在第N+1帧图像中的位置信息的变化情况，并根据位置信息的变化情况得到重叠区域中无人
机的每个像素点在相机坐标系下的像素移动速度。

[0050] 在本发明的一个实施例中，该步骤S2进一步包括：

[0051] 步骤S21：利用基于特征匹配的光流法得到重叠区域中无人机的每个像素点在相机坐标系下的移动距离，具体包括：根据同一个像素点在第N帧图像中的位置信息和第N+1
帧图像中的位置信息，得到该像素点的位置信息变化情况，根据该位置信息变化情况得到
该像素点在相机坐标系下的移动距离。作为具体的示例，例如，重叠区域中无人机的每个像
素点在相机坐标系下的移动距离的计算公式为：

[0052] (ux,uy)＝(x2-x1,y2-y1)，

[0053] 其中，(x1，y1)为像素点在第N帧图像中的位置信息，(x2，y2)为像素点在第N+1帧图像中的位置信息，(ux,uy)为像素点在相机坐标系下的移动距离。

[0054] 步骤S22：对重叠区域中无人机的每个像素点在相机坐标系下的移动距离进行求导，得到重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度。

[0055] 换言之，以具体示例进行说明：基于特征匹配的光流法即通过匹配第N帧图像中各个像素点在第N+1帧图像中的位置，从而计算出第N帧图像中各像素点到第N+1帧图像的移
动距离，进而通过该移动距离得到无人机的每个像素点在相机坐标系下的像素移动速度。
其中，基于特征匹配的光流法包括稠密算法和稀疏算法。稠密算法是图像中的每一个像素
点都参与计算，从而计算得到图像中每一个像素点的像素移动速度；稀疏光流法是在图像
中选取一部分易于跟踪的像素点，对选取的这部分易于跟踪的像素点进行光流运算，得到
这些易于跟踪的像素点的像素移动速度。其中，在本发明的一个实施例中，使用的基于特征
匹配的光流法例如为稠密光流法。需要说明的是，使用基于特征匹配的光流法计算无人机
的各像素点在相机坐标系下的像素移动速度仅是本发明的一种实施方式，并不能理解为对
本发明的限制，其它可以计算无人机各像素点在相机坐标系下的像素移动速度的方法也适
用于本发明，也属于本发明的保护范围之内。

[0056] 步骤S3：获取无人机在世界坐标系下的实际飞行速度。在具体实施过程中，例如通过GPS、北斗卫星、空速管、雷达等方式获取无人机在世界坐标系下的实际飞行速度。

[0057] 步骤S4：根据每个重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度、无人机在世界坐标系下的实际飞行速度以及机载相机的参数得到每个重叠区域的深度
图像，根据每个重叠区域的深度图像整合得到预定场景的深度图像。其中，在本发明的一个
实施例中，机载相机的参数例如包括机载相机的焦距。

[0058] 具体地说，由于机载相机安装在自稳云台上，所以可认为机载相机拍摄照片时角速度始终为0，则步骤S4进一步包括：

[0059] 步骤S41：根据小孔成像原理建立重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度、无人机在世界坐标系下的实际飞行速度和无人机的飞行高度之间的关
联关系，其中，该关联关系为：

[0060]

[0061] 其中，vm为无人机在世界坐标系下的实际飞行速度，v为重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度，Z为无人机的飞行高度，f为机载相机的焦距。

[0062] 步骤S42：对上述步骤S41中所述的关联关系的表述公式进行变换后得到重叠区域中无人机的每个像素点的深度值：

[0063]

[0064] 其中，Zi为重叠区域中第i个像素点的深度值，vi为第i个像素点在相机坐标系下的像素移动速度，vm为无人机在世界坐标系下的实际飞行速度，f为机载相机的焦距大小，其
为一个已知常量。

[0065] 步骤S43：根据上述步骤S42中得到的每个重叠区域中无人机的每个像素点的深度值得到每个重叠区域的深度图像，根据每个重叠区域的深度图像整合得到预定场景(被测
物体)的深度图像。

[0066] 其中，在本发明的一个实施例中，在上述过程中，例如还包括：判断相机坐标系和世界坐标系的方向是否一致，如果相机坐标系的和世界坐标系的方向不一致，则对相机坐
标系的方向进行调整，以使相机坐标系的方向与世界坐标系的方向一致。

[0067] 综上，本发明是利用无人机在相机坐标系下各像素点的像素速度和无人机本身的实际飞行速度相结合，计算得到图像深度数据，进而获取深度图像。因此，任何利用图像速
度(无人机在相机坐标系下各像素点的像素移动速度)和无人机本身实际飞行速度相结合
得到深度图像的方法都应在本发明的保护范围之内。

[0068] 综上，根据本发明实施例的无人机深度图像的获取方法，通过无人机机载相机拍摄连续的图像，通过计算两帧连续的图像重叠区域中每个像素点的位置变化情况得到无人
机在相机坐标系下各像素点的像素移动速度，再利用如无人机机载GPS等设备测量出无人
机在世界坐标系下的实际飞行速度，最后通过无人机在相机坐标系下各像素点的像素移动
速度、无人机在世界坐标系下的实际飞行速度及飞行高度之间的关系，计算得到无人机的
深度图像，该方法能够准确获取深度图像，且操作流程简单、易于实现。同时，对被测物体是
否能够反射能量没有特定要求，可测距离足够远，不存在能量的衰减问题，适用范围广。另
外，该方法的实现都是利用现有无人机上的设备，不需要增加额外的设备，从而减小无人机
的载荷，也降低了测量成本，避免了由于能量衰减，或者被测物体表面吸收等问题导致的主
动式测量失败等问题。

[0069] 本发明的进一步实施例还提供了一种无人机。

[0070] 图3是根据本发明一个实施例的无人机的结构框图。如图3所示，无人机100包括：记载相机110、计算模块120、测量模块130和获取模块140。

[0071] 具体地，机载相机110用于采集预定场景的图像序列，其中，图像序列中第N帧图像和第N+1帧图像具有重叠区域且重叠区域的面积与第N帧图像或第N+1帧图像的面积之比高
于预设比例。换言之，即机载相机110拍摄得到被测物体的图像序列，并从中提取两帧连续
的图像，例如分别为第N帧图像和第N+1帧图像，并且，第N帧图像和第N+1帧图像之间必须具
有重叠区域。为了保证后续光流计算的准确性，该重叠区域的面积与第N帧图像或第N+1帧
图像的面积之比高于预设比例，预设比例例如为60％，也即重叠区域的面积高于第N帧图像
或第N+1帧图像面积的60％。

[0072] 进一步地，在本发明的一个实施例中，为了保证机载相机110拍摄图像的质量，并且消除由无人机100自身抖动给后续光流法计算带来的干扰，机载相机110例如通过自稳云
台安装在无人机100上。同时，为了减小相机拍摄110的图像本身畸变影响，机载相机110的
视野角度不能太大，在本发明的一个实施例中，选取的机载相机110的视野角度低于预设角
度，更为具体地，预设角度例如为60度。当然，预设角度的值不限于此，可以根据实际场景需
求而选定，此处仅是以示例性为目的的描述。

[0073] 在本发明的一个实施例中，如果机载相机110拍摄图像的畸变比较严重，则机载相机110还用于对图像序列中的图像畸变进行校正，使图像的畸变在可用范围内后再执行后
续操作。

[0074] 计算模块120利用基于特征匹配的光流法得到重叠区域中第N帧图像的每个像素点在第N+1帧图像中的位置信息的变化情况，并根据位置信息的变化情况得到重叠区域中
无人机的每个像素点在相机坐标系下的像素移动速度。

[0075] 在本发明的一个实施例中，计算模块120用于利用基于特征匹配的光流法得到重叠区域中无人机的每个像素点在相机坐标系下的移动距离，具体包括：根据同一个像素点
在第N帧图像中的位置信息和第N+1帧图像中的位置信息，得到该像素点的位置信息的变化
情况，根据位置信息的变化情况得到该像素点在相机坐标系下的移动距离；然后对重叠区
域中无人机的每个像素点在相机坐标系下的移动距离进行求导，得到重叠区域中无人机的
每个像素点在相机坐标系下的像素移动速度。

[0076] 作为具体的示例，例如，重叠区域中无人机的每个像素点在相机坐标系下的移动距离的计算公式为：

[0077] (ux,uy)＝(x2-x1,y2-y1)，

[0078] 其中，(x1，y1)为像素点在第N帧图像中的位置信息，(x2，y2)为像素点在第N+1帧图像中的位置信息，(ux,uy)为像素点在相机坐标系下的移动距离。

[0079] 其中，基于特征匹配的光流法即通过匹配第N帧图像中各个像素点在第N+1帧图像中的位置，从而计算出第N帧图像中各像素点到第N+1帧图像的移动距离，进而通过该移动
距离得到无人机的每个像素点在相机坐标系下的像素移动速度。其中，基于特征匹配的光
流法包括稠密算法和稀疏算法。稠密算法是图像中的每一个像素点都参与计算，从而计算
得到图像中每一个像素点的像素移动速度；稀疏光流法是在图像中选取一部分易于跟踪的
像素点，对选取的这部分易于跟踪的像素点进行光流运算，得到这些易于跟踪的像素点的
像素移动速度。其中，在本发明的一个实施例中，使用的基于特征匹配的光流法例如为稠密
光流法。需要说明的是，使用基于特征匹配的光流法计算无人机的各像素点在相机坐标系
下的像素移动速度仅是本发明的一种实施方式，并不能理解为对本发明的限制，其它可以
计算无人机各像素点在相机坐标系下的像素移动速度的方法也适用于本发明，也属于本发
明的保护范围之内。

[0080] 测量模块130用于获取无人机在世界坐标系下的实际飞行速度。在具体实施过程中，例如通过GPS、北斗卫星、空速管、雷达等方式获取无人机在世界坐标系下的实际飞行速
度。

[0081] 获取模块140用于根据每个重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度、无人机在世界坐标系下的实际飞行速度以及机载相机的参数得到每个重叠区
域的深度图像，根据每个重叠区域的深度图像整合得到预定场景的深度图像。其中，在本发
明的一个实施例中，机载相机的参数例如包括机载相机的焦距。

[0082] 具体地说，由于机载相机110安装在自稳云台上，所以可认为机载相机110拍摄照片时角速度始终为0。则在本发明的一个实施例中，获取模块140用于根据小孔成像原理建
立重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度、无人机在世界坐标系
下的实际飞行速度和无人机的飞行高度之间的关联关系，其中，该关联关系为：

[0083]

[0084] 其中，vm为无人机在世界坐标系下的实际飞行速度，v为重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度，Z为无人机的飞行高度，f为机载相机的焦距。

[0085] 然后根据上述的关联关系得到重叠区域中无人机的每个像素点的深度值：

[0086]

[0087] 其中，Zi为重叠区域中第i个像素点的深度值，vi为第i个像素点在相机坐标系下的像素移动速度，vm为无人机在世界坐标系下的实际飞行速度，f为机载相机的焦距大小，其
为一个已知常量。

[0088] 最后根据每个重叠区域中无人机的每个像素点的深度值得到每个重叠区域的深度图像，并根据每个重叠区域的深度图像整合得到预定场景(被测物体)的深度图像。

[0089] 在本发明的一个实施例中，无人机100例如还包括调整模块150(图中未示出)。调整模块150用于判断相机坐标系和世界坐标系的方向是否一致，并在相机坐标系和世界坐
标系的方向不一致时，对相机坐标系的方向进行调整，以使相机坐标系的方向与世界坐标
系的方向一致。

[0090] 综上，本发明是利用无人机在相机坐标系下各像素点的像素速度和无人机本身的实际飞行速度相结合，计算得到图像深度数据，进而获取深度图像。因此，任何利用图像速
度(无人机在相机坐标系下各像素点的像素移动速度)和无人机本身实际飞行速度相结合
得到深度图像的方法都应在本发明的保护范围之内。

[0091] 根据本发明实施例的无人机，通过机载相机拍摄连续的图像，通过计算两帧连续的图像重叠区域中每个像素点的位置变化情况得到无人机在相机坐标系下各像素点的像
素移动速度，再利用如无人机机载GPS等设备测量出无人机在世界坐标系下的实际飞行速
度，最后通过无人机在相机坐标系下各像素点的像素移动速度、无人机在世界坐标系下的
实际飞行速度及飞行高度之间的关系，计算得到无人机的深度图像，因此该无人机能够准
确获取深度图像。同时，对被测物体是否能够反射能量没有特定要求，可测距离足够远，不
存在能量的衰减问题，适用范围广。另外，该无人机的实现都是利用现有无人机上的设备，
不需要增加额外的设备，从而减小无人机的载荷，也降低了测量成本，避免了由于能量衰
减，或者被测物体表面吸收等问题导致的主动式测量失败等问题。

[0092] 在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

[0093] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者
隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三
个等，除非另有明确具体的限定。

[0094] 在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内
部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员
而言，可以根据具体情况理解上述术语在本发明中的具体含义。

[0095] 在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在
第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示
第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第
一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

[0096] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特
点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不
必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任
一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技
术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结
合和组合。

[0097] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述
实施例进行变化、修改、替换和变型。