一种基于图像处理的无人机精确着陆方法

摘要

本发明提供一种基于图像处理的无人机精确着陆方法，包括：建立无人机摄像头与地面标记之间的位置关系模型；利用线性变换计算得出无人机摄像头相对地面标记的三维坐标与方位角度信息；将无人机摄像头相对地面标记的三维坐标与方位角度信息经过旋转、平移操作转换到世界坐标系。既克服了GPS定位定位精度不足的缺点，同RTK相比，也大大降低了成本；检测地面标记在图像中位置，实时计算出标记与无人机间的相对三维位置，满足现实使用中对实时性与准确度的要求，且方法设计简单，保证可靠性的同时便于实现；与现有的基于相机的无人机地面标记检测方法相比，标记在一定范围内可自定义，增加使用的自由度。

权利要求

1.一种基于图像处理的无人机精确着陆方法，其特征在于，包括：建立无人机摄像头与地面标记之间的位置关系模型；

根据所述地面标记在图像中的位置及所述位置关系模型，利用线性变换计算得出所述无人机摄像头相对所述地面标记的三维坐标与方位角度信息；

将所述无人机摄像头相对所述地面标记的三维坐标与方位角度信息经过旋转、平移操作转换到世界坐标系；

该方法之前还包括：

利用GPS导航使无人机处于所述地面标记附近并读取所述无人机摄像头；

获取所述地面标记在图像中的位置；

还包括：

飞控中心根据获取的高度数据以及所述无人机摄像头相对所述地面标记的实时三维坐标与方位角度信息，向无人机发送调整命令，利用获取的坐标进行着陆；

所述获取地面标记在图像中的位置的过程包括：

将所述无人机摄像头拍摄的彩色图转换为灰度图并进行二值化，利用canny边缘检测算法完成边缘检测；

对边缘图进行分析，记录每个轮廓分别与同级轮廓及上下级轮廓的关系，分理出满足条件的轮廓，所述满足条件的轮廓是指下级轮廓数大于阈值T的轮廓；

计算所述满足条件的轮廓与相应子轮廓的矩形外接框，通过自身比例、上下级轮廓的比例确定是否是地面标记的轮廓；

检测标记图中白色区域边侧的三个点，并通过所述三个点之间的位置关系来区分所述三个点；

结合所述三个点及所述三个点之间的位置关系，确定对应关系，从而获取地面标记在图像中的位置；

建立无人机摄像头与地面标记之间的位置关系模型的过程包括：设定无人机摄像头坐标系为XcYcZc，其中，Oc为原点，即相机光心位置，地面标记放在地平面λ上；

设定世界坐标系为XwYwZw，Ow为世界坐标原点，Zw垂直于地平面λ，原点设置在地面标记的中央位置，地面标记位置固定不动，从而得到无人机摄像头坐标与世界坐标间关系如下：其中，R是3×3的旋转矩阵，t是3×1的平移矩阵。

2.根据权利要求1所述的一种基于图像处理的无人机精确着陆方法，其特征在于，所述计算得出所述无人机摄像头相对所述地面标记的三维坐标与方位角度信息的过程包括：将像素坐标u-v转换到图像坐标x-y，像素坐标中每个像素在u-v坐标系中的尺寸分别为dx、dy，u0、v0是像素平面的中心，即可得到：根据相机成像原理，得到 即：

其中，x，y是像平面坐标系中点的坐标，f为相机的焦距，Xc、Yc、Zc是相机坐标系下点的坐标；

将图像坐标u-v对应到世界坐标XwYwZw，即可得到：

3.根据权利要求2所述的一种基于图像处理的无人机精确着陆方法，其特征在于，所述将无人机摄像头相对所述地面标记的三维坐标与方位角度信息经过旋转、平移操作转换到世界坐标系的过程包括：选择地面标记中的四个点A、B、C、D，检测所述四个点在图像中的位置，计算出无人机摄像头的旋转矩阵和平移矩阵；

获取世界坐标系原点在无人机摄像头坐标系中的坐标；

将无人机摄像头坐标系旋转到与世界坐标平行，首先绕Z轴旋转θz，然后绕Y轴旋转θy，最后绕X轴旋转θx，其中θx、θy、θz由所述旋转矩阵得到；

利用所述平移矩阵将两坐标系原点重合，最终获取无人机摄像头在世界坐标系的三维坐标。

说明书

一种基于图像处理的无人机精确着陆方法

技术领域

[0001] 本发明属于无人机着陆方式技术领域，尤其涉及一种基于图像处理的无人机精确着陆方法。

背景技术

[0002] 近年来，无人机逐渐进入人们的视野，但在技术上还存在许多问题，精准降落就是其中最重要的问题之一。

[0003] 最初研究人员采用传统的GPS定位，但精度只能达到十米以内，无法实现精确降落，此时RTK作为一种新的GPS技术，利用载波相位差分技术，可获得厘米级精度，但RTK成本较高。为解决成本问题，本领域技术人员使用相机实时检测地面地面标记，利用图像处理技术，实时检测视频中的标记位置，同时无人机安装气压定高计，利用检测的图像中二维标记位置，实时修正偏航角，利用气压计与超声波雷达实现降落。但是这种方式并未计算出标记与无人机间的相对三维位置，仅仅限于图像中目标的二维位置，结果依赖于飞机姿态角，可靠性较低。

[0004] 除此之外，视觉定位系统apriltag技术被广泛应用于机器人、无人机定位导引中，该技术适用于特定的二维码，首先检测二维码，利用图像处理技术作四边形趋近，检测正方形，正方形内部包含特定编码，检测完成后，估计标记码与无人机相对三维位置，从而实现定位导航。该方法缺点是检测仅限于特定的apriltag标记，无法自定义。

发明内容

[0005] 为解决上述技术问题，本发明提供一种基于图像处理的无人机精确着陆方法。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

[0006] 本发明采用如下技术方案：

[0007] 在一些可选的实施例中，提供一种基于图像处理的无人机精确着陆方法，包括：建立无人机摄像头与地面标记之间的位置关系模型；根据所述地面标记在图像中的位置及所述位置关系模型，利用线性变换计算得出所述无人机摄像头相对所述地面标记的三维坐标与方位角度信息；将所述无人机摄像头相对所述地面标记的三维坐标与方位角度信息经过旋转、平移操作转换到世界坐标系。

[0008] 在一些可选的实施例中，该方法之前还包括：利用GPS导航使无人机处于所述地面标记附近并读取所述无人机摄像头；获取所述地面标记在图像中的位置。

[0009] 在一些可选的实施例中，所述的一种基于图像处理的无人机精确着陆方法，还包括：飞控中心根据获取的高度数据以及所述无人机摄像头相对所述地面标记的实时三维坐标与方位角度信息，向无人机发送调整命令，利用获取的坐标进行着陆。

[0010] 在一些可选的实施例中，所述获取地面标记在图像中的位置的过程包括：

[0011] 将所述无人机摄像头拍摄的彩色图转换为灰度图并进行二值化，利用canny边缘检测算法完成边缘检测；

[0012] 对边缘图进行分析，记录每个轮廓分别与同级轮廓及上下级轮廓的关系，分理出满足条件的轮廓，所述满足条件的轮廓是指下级轮廓数大于阈值T的轮廓；

[0013] 计算所述满足条件的轮廓与相应子轮廓的矩形外接框，通过自身比例、上下级轮廓的比例确定是否是地面标记的轮廓；

[0014] 检测标记图中白色区域边侧的三个点，并通过所述三个点之间的位置关系来区分所述三个点；

[0015] 结合所述三个点及所述三个点之间的位置关系，确定对应关系，从而获取地面标记在图像中的位置。

[0016] 在一些可选的实施例中，所述建立无人机摄像头与地面标记之间的位置关系模型的过程包括：

[0017] 设定无人机摄像头坐标系为XcYcZc,其中，Oc为原点，即相机光心位置，地面标记放在地平面λ上；

[0018] 设定世界坐标系为XwYwZw，Ow为世界坐标原点，Zw垂直于地平面λ，原点设置在地面标记的中央位置，地面标记位置固定不动，从而得到无人机摄像头坐标与世界坐标间关系如下：

[0019]

[0020] 其中，R是3×3的旋转矩阵，t是3×1的平移矩阵。

[0021] 在一些可选的实施例中，所述计算得出所述无人机摄像头相对所述地面标记的三维坐标与方位角度信息的过程包括：

[0022] 将像素坐标u-v转换到图像坐标x-y，像素坐标中每个像素在u-v坐标系中的尺寸分别为dx、dy，u0、v0是像素平面的中心，即可得到：

[0023]

[0024]

[0025] 根据相机成像原理，得到 即：

[0026]

[0027] 其中，x，y是像平面坐标系中点的坐标，f为相机的焦距，Xc、Yc、Zc是相机坐标系下点的坐标；

[0028] 将图像坐标u-v对应到世界坐标XwYwZw，即可得到：

[0029]

[0030] 在一些可选的实施例中，所述将无人机摄像头相对所述地面标记的三维坐标与方位角度信息经过旋转、平移操作转换到世界坐标系的过程包括：

[0031] 选择地面标记中的四个点A、B、C、D，检测所述四个点在图像中的位置，计算出无人机摄像头的旋转矩阵和平移矩阵；

[0032] 获取世界坐标系原点在无人机摄像头坐标系中的坐标；

[0033] 将无人机摄像头坐标系旋转到与世界坐标平行，首先绕Z轴旋转θz，然后绕Y轴旋转θy，最后绕X轴旋转θx，其中θx、θy、θz由所述旋转矩阵得到；

[0034] 利用所述平移矩阵将两坐标系原点重合，最终获取无人机摄像头在世界坐标系的三维坐标

[0035] 本发明所带来的有益效果：既克服了GPS定位定位精度不足的缺点，同RTK相比，也大大降低了成本；检测地面标记在图像中位置，实时计算出标记与无人机间的相对三维位置，满足现实使用中对实时性与准确度的要求，且方法设计简单，保证可靠性的同时便于实现；与现有的基于相机的无人机地面标记检测方法相比，标记在一定范围内可自定义，增加使用的自由度。

[0036] 为了上述以及相关的目的，一个或多个实施例包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明某些示例性方面，并且其指示的仅仅是各个实施例的原则可以利用的各种方式中的一些方式。其它的益处和新颖性特征将随着下面的详细说明结合附图考虑而变得明显，所公开的实施例是要包括所有这些方面以及它们的等同。

附图说明

[0037] 图1是本发明一种基于图像处理的无人机精确着陆方法的流程示意图；

[0038] 图2是本发明地面标记示意图；

[0039] 图3是本发明位置关系模型示意图。

具体实施方式

[0040] 以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。

[0041] 如图2所示，该地面标记为外方内圆形，外部是正方形部分1，正方形部分1区域内设为黑色，正方形部分1的内部是圆形部分2，颜色设为白色，主要为了与正方形部分1相比有较高的对比度，且图1中正方形部分1和圆形部分2为同心的。圆形部分2中有三个矩形三角点，分别为点3、点4及点5，点3、点4及点5呈等腰直角三角形形状，标记图像据此判断方向，圆形部分2还具有内部自定义图形6，图2中的内部自定义图形为“H”。

[0042] 本发明中的底面标记可设计为方环、圆环、以及外方内圆的形状，对图像进行灰度化、边缘检测，分析边缘，寻找闭合、环形的区域，并根据标记图案作进一步限定，将符合条件区域列为候选区。标记内部，本发明设计了方形三角点，用来识别地面标记的方向，使得无人机在任意位置都可准确判断地面标记的方向，在方形三角点内部，可设计任意图形，内部自定义图形6对旋转不对称无要求。

[0043] 如图1所示，在一些说明性的实施例中，提供一种基于图像处理的无人机精确着陆方法，包括：

[0044] S1：利用GPS导航使无人机处于地面标记附近。

[0045] S2：读取无人机摄像头。

[0046] S3：利用图像处理方法获取地面标记在图像中的位置，包括地面标记外部角点与标记内部小矩形框的位置。

[0047] S4：判断是否识别到地面标记，若识别到地面标记，则进行步骤S5，否则进行步骤S2。

[0048] S5：建立无人机摄像头与地面标记之间的位置关系模型，位置关系模型如图3所示，无人机摄像头坐标系为XcYcZc,Oc为原点，即相机光心位置，地面标记放在地平面λ上，世界坐标系为XwYwZw，Ow为世界坐标原点，Zw垂直于地平面λ，原点设置在地面标记的中央位置，标记位置固定不动。

[0049] S6：根据地面标记在图像中的位置及位置关系模型，利用线性变换计算得出无人机摄像头相对地面标记的三维坐标与方位角度信息。

[0050] S7：将无人机摄像头相对地面标记的三维坐标与方位角度信息经过旋转、平移操作转换到世界坐标系。

[0051] S8：飞控中心根据获取的高度数据判断飞行高度是否超出预设值H，预设值H可根据无人机实际飞行的情况和环境进行设定，若超出预设值H，则进行步骤S9，否则进行步骤S2。

[0052] S9：飞控中心根据获取的高度数据以及无人机摄像头相对所述地面标记的实时三维坐标与方位角度信息，向无人机发送调整命令，对无人机进行缓降、悬停等操作，利用获取的坐标进行着陆。

[0053] 在一些说明性的实施例中，步骤S3具体包括：

[0054] 对无人机摄像头拍摄的图像进行边缘检测，即将无人机摄像头拍摄的彩色图转换为灰度图并进行二值化，利用canny边缘检测算法完成边缘检测；

[0055] 对边缘图进行分析，记录每个轮廓分别与同级轮廓及上下级轮廓的关系，分理出满足条件的轮廓，所述满足条件的轮廓是指下级轮廓数大于阈值T的轮廓，阈值T根据实际的计算需求进行设定；

[0056] 计算所述满足条件的轮廓与相应子轮廓的矩形外接框，通过自身比例、上下级轮廓的比例确定是否是地面标记的轮廓；

[0057] 采用图像处理的方法检测标记图中白色区域边侧的三个点：点p1、点p2、点p3，并作进一步判断，并通过三个点之间的位置关系来区分所述三个点，主要通过点p1、点p2、点p3与轮廓外接框顶点的关系、本身的长宽比、每个斑点到标记中心的距离与外接框长宽关系等来判定；

[0058] 确定三个点后，通过三个点之间的位置关系来进行区分，建立三个点之间等腰直角三角形的模型，设M点为点p1、点p3连线上的中点，点p3位于直角位置，通过计算每个点间的距离，到另外两个点间距离近似的点可快速确认为点p3，对于点p1、点p2，分析M点与点p3的位置关系，结合点p1与点p3的上下位置关系，分情况进行讨论，确定其对应关系，从而获取地面标记在图像中的位置。

[0059] 在一些说明性的实施例中，步骤S5具体包括：

[0060] 设定无人机摄像头坐标系为XcYcZc,其中，Oc为原点，即相机光心位置，地面标记放在地平面λ上；

[0061] 设定世界坐标系为XwYwZw，Ow为世界坐标原点，Zw垂直于地平面λ，原点设置在地面标记的中央位置，地面标记位置固定不动，从而得到无人机摄像头坐标与世界坐标间关系如下：

[0062]

[0063] 其中，R是3×3的旋转矩阵，t是3×1的平移矩阵。

[0064] 在一些说明性的实施例中，步骤S6具体包括：

[0065] 建立图像坐标到世界坐标的对应关系，首先将像素坐标u-v转换到图像坐标x-y，像素坐标中每个像素在u-v坐标系中的尺寸分别为dx、dy，u0、v0是像素平面的中心，即可得到：

[0066]

[0067]

[0068] 根据相机成像原理，得到 即：

[0069]

[0070] 其中，x，y是像平面坐标系中点的坐标，f为相机的焦距，Xc、Yc、Zc是相机坐标系下点的坐标；

[0071] 将图像坐标u-v对应到世界坐标XwYwZw，即可得到：

[0072]

[0073] 在一些说明性的实施例中，步骤S7具体包括：

[0074] 首先，选择地面标记中的四个点，点A、点B、点C、点D，已知点A、点B、点C、点D的世界坐标，检测四个点在图像中的位置，通过步骤S3的图像处理操作，结合步骤S6得到的坐标关系，计算出无人机摄像头的旋转矩阵R和平移矩阵t。

[0075] 其中，具体的图像处理方法为：首先经过检测得到标记的外接矩形框，根据步骤S3获取的点p1、点p2、点p3可进一步确定外接框角点与点A、点B、点C、点D的对应关系，将点A、点B、点C、点D的二维坐标与三维坐标按次序存储，结合在摄像头标定时得到的相机内外参数，计算出摄像头的旋转和平移矩阵。

[0076] 其次，获取世界坐标系原点在无人机摄像头坐标系中的坐标，计算得出的旋转矩阵R包含了角度信息、相机相对标记的位置信息，平移矩阵t代表这两个坐标系原点的距离，可得到世界坐标系原点在无人机摄像头坐标系中的坐标，由于无人机摄像头坐标系随着无人机的飞行在不断的变动，因此选择世界坐标系为参考坐标系，将相机坐标转换成世界坐标。

[0077] 最后，将无人机摄像头坐标系旋转到与世界坐标平行，首先绕Z轴旋转θz，然后绕Y轴旋转θy，最后绕X轴旋转θx，其中θx、θy、θz由所述旋转矩阵得到。利用平移矩阵t将两坐标系原点重合，最终获取无人机摄像头在世界坐标系的三维坐标。

[0078] 本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。