基于深度学习的遥感机场飞机检测的方法及装置

摘要

本发明实施例提供了一种基于深度学习的遥感机场飞机检测的方法及装置，包括：获取输入大视场的遥感机场图像；采用最大类间方差对所获取的遥感机场图像进行分割，提取机场轮廓，确定机场候选区切片；根据所确定的机场候选区切片，提取机场候选区的特征，用K均值聚类算法对所提取的特征进行聚类，获得机场的特征组合，采用支持向量机分类器筛选出疑似机场候选区；使用轻便网络算法对所筛选出的疑似机场候选区进行飞机目标提取，计算飞机目标在所获取的遥感机场图像中的位置，得到飞机目标的位置信息，通过非最大值抑制的方法剔除重叠的坐标框。本发明实施例结合机器学习和深度学习，实现对大视场遥感机场飞机准确且快速的检测。

权利要求

1.一种基于深度学习的遥感机场飞机检测的方法，其特征在于，包括：获取输入大视场的遥感机场图像；

采用最大类间方差对所获取的遥感机场图像进行分割，提取机场轮廓，确定机场候选区切片；

根据所确定的机场候选区切片，提取机场候选区的特征，用K均值聚类算法对所提取的特征进行聚类，获得机场的特征组合，采用支持向量机分类器筛选出疑似机场候选区；

使用轻便网络算法对所筛选出的疑似机场候选区进行飞机目标提取，计算飞机目标在所获取的遥感机场图像中的位置，得到飞机目标的位置信息，通过非最大值抑制的方法剔除重叠的坐标框。

2.根据权利要求1所述的方法，其特征在于，所述方法在获取输入大视场的遥感机场图像后还包括：对所获取的遥感机场图像进行增强图像特征点的图像预处理，所述图像预处理包括图像锐化、图像滤波、过零点检测和/或图像边缘处理。

3.根据权利要求1或2所述的方法，其特征在于，所述采用最大类间方差对所获取的遥感机场图像进行分割时，采用最大类间方差从不同的阈值进行多尺度分割。

4.根据权利要求3所述的方法，其特征在于，所述提取机场轮廓，并确定机场候选区切片，具体包括：根据所提取机场轮廓，确定同质局域的中心点，计算同质局域的四界边界点，通过边界点形成第一机场候选区切片，设定切片的面积比例，对所形成第一机场候选区的切片进行剔除后，形成第二机场候选区的切片，将第二机场候选区确定为最终的机场候选区切片。

5.根据权利要求1或2所述的方法，其特征在于，所述根据所确定机场候选区切片，提取机场候选区的特征，所提取的特征是机场候选区的纹理特征和/或颜色特征。

6.根据权利要求4所述的方法，其特征在于，所述获得机场的特征组合，采用支持向量机分类器筛选出疑似机场候选区，具体包括：通过对机场的特征组合进行支持向量机分类器训练，获得机场训练模型；

用所获得的机场训练模型对确定为最终的机场候选区切片分类，提取疑似机场候选区。

7.根据权利要求1或2所述的方法，其特征在于，所述使用轻便网络算法对所筛选出的疑似机场候选区进行飞机目标提取，计算飞机目标在所获取的遥感机场图像中的位置，得到飞机目标的位置信息，还包括：对所筛选出的疑似机场候选区，采用训练的轻便网络算法单点多框检测器模型进行滑窗检测，确定飞机目标在候选区的位置信息。

8.根据权利要求7所述的方法，其特征在于，所述采用训练的轻便网络算法单点多框检测器模型进行滑窗检测还包括：对进入轻便网络算法单点多框检测器模型训练前的图片采用通道转换、求均值和/或归一化数据的方式进行处理；

其中，所述对所筛选出的疑似机场候选区进行飞机目标提取主要采用分割方法，选择性搜索法和/或区域合并法实现。

9.一种基于深度学习的遥感机场飞机检测的装置，其特征在于，包括：图像获取模块，用于获取输入大视场的遥感机场图像；

图像分割模块，采用最大类间方差对所获取的遥感机场图像进行分割，提取机场轮廓，确定机场候选区切片；

特征筛选模块，用于根据所确定机场候选区切片，提取机场候选区的特征，用K均值聚类算法对所提取的特征进行聚类，获得机场的特征组合，采用支持向量机分类器筛选出疑似机场候选区；

目标提取模块，使用轻便网络算法对所筛选出的疑似机场候选区进行飞机目标提取，计算飞机目标在所获取的遥感机场图像中的位置，得到飞机目标的位置信息，通过非最大值抑制的方法剔除重叠的坐标框。

说明书

基于深度学习的遥感机场飞机检测的方法及装置

技术领域

[0001] 本发明属于遥感图像检测技术领域，特别是涉及一种基于深度学习的遥感机场飞机检测的方法及装置。

背景技术

[0002] 随着人工智能的飞速发展，诸多技术给各行业带来的创新和改变不容小觑。飞机作为现代非常便捷的交通工具之一，在军用领域和民用领域都发挥着越来越重要的作用，无论军用还是民用，掌握飞机的真实动态都有及其重要的作用。在军用领域，及时获取敌方战场的飞机对于战争的胜利至关重要；在民用领域，如航空监管，实时统计飞机停靠时间，飞机进出机场情况等对机场实施智能化管理尤为必要。

[0003] 现有技术中，面向大视场遥感图像飞机目标检测的算法主要有传统的算法和深度学习算法。在传统的算法中，如空军工程大学研究生院，朱明明等，提出基于特征融合与软判决的遥感图像飞机检测，通过特征融合，尺度放缩等方法来降低漏检率；又如河海大学计算机与信息学院，李士进等，提出基于视觉单词选择的飞机检测的方法，通过结合相关性及冗余度分析来提高检测率。在深度学习算法中，如中国科学院长春光学精密机械与物理研究所，戴伟聪等，运用改进的只需查看一次的检测算法(You Only Look Once V3，简称YOLOV3)进行飞机检测，通过改进只需查看一次的检测算法密集连接模块间的特征传递来达到精准的检测；又如中国科学院上海技术物理研究所，赵丹新等，提出残差网络(Residual Neural Network，简称ResNet)，通过提取全卷积网络结构中不同层的上下文特征信息达到准确的检测精度。

[0004] 然而，在实际应用中大视场图像背景复杂，分辨率大，像素点多，数据率高。根据相关文献的记载，现有的传统算法大都由于提取特征能力有限，检测率不高。现有的典型的深度学习算法，如只需查看一次的检测算YOLOv3、残差网络ResNet、单点多框检测器(Single Shot MultiBox Detector，简称SSD)等，除了网络结构较为复杂外，当前深度学习的算法对大视场遥感图像飞机检测主要是通过滑窗遍历全图进行检测，对于不可能出现目标的地方存在大量的冗余信息，检测效率低，与此同时遍历全图检测也会产生虚景，准确率会受到影响。

[0005] 因此，目前需要本领域技术人员迫切解决的一个技术问题就是：如何能够创新地提出一种有效的基于深度学习的遥感机场飞机检测的方法，克服现有技术存在的缺陷，以满足实际应用中的更多需求。

发明内容

[0006] 鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的基于深度学习的遥感机场飞机检测的方法和装置，本发明实施例结合机器学习和深度学习，提高了大视场遥感机场飞机测试的速度和准确度。

[0007] 为了解决上述问题，本发明公开了一种基于深度学习的遥感机场飞机检测的方法，包括：

[0008] 采用最大类间方差对所获取的遥感机场图像进行分割，提取机场轮廓，确定机场候选区切片；

[0009] 根据所确定的机场候选区切片，提取机场候选区的特征，用K均值聚类算法对所提取的特征进行聚类，获得机场的特征组合，采用支持向量机分类器筛选出疑似机场候选区；

[0010] 使用轻便网络算法对所筛选出的疑似机场候选区进行飞机目标提取，计算飞机目标在所获取的遥感机场图像中的位置，得到飞机目标的位置信息，通过非最大值抑制的方法剔除重叠的坐标框。

[0011] 可选的，所述方法在获取输入大视场的遥感机场图像后还包括：对所获取的遥感机场图像进行增强图像特征点的图像预处理，所述图像预处理包括图像锐化、图像滤波、过零点检测和/或图像边缘处理。

[0012] 可选的，所述采用最大类间方差对所获取的遥感机场图像进行分割时，采用最大类间方差从不同的阈值进行多尺度分割。

[0013] 可选的，所述提取机场轮廓，并确定机场候选区切片，具体包括：根据所提取机场轮廓，确定同质局域的中心点，计算同质局域的四界边界点，通过边界点形成第一机场候选区切片，设定切片的面积比例，对所形成第一机场候选区的切片进行剔除后，形成第二机场候选区的切片，将第二机场候选区确定为最终的机场候选区切片。

[0014] 可选的，所述根据所确定机场候选区切片，提取机场候选区的特征，所提取的特征是机场候选区的纹理特征和/或颜色特征。

[0015] 可选的，所述获得机场的特征组合，采用支持向量机分类器筛选出疑似机场候选区，具体包括：

[0016] 通过对机场的特征组合进行支持向量机分类器训练，获得机场训练模型；

[0017] 用所获得的机场训练模型对确定为最终的机场候选区切片分类，提取疑似机场候选区。

[0018] 可选的，所述使用轻便网络算法对所筛选出的疑似机场候选区进行飞机目标提取，计算飞机目标在所获取的遥感机场图像中的位置，得到飞机目标的位置信息，还包括：对所筛选出的疑似机场候选区，采用训练的轻便网络算法单点多框检测器模型进行滑窗检测，确定飞机目标在候选区的位置信息。

[0019] 可选的，所述采用训练的轻便网络算法单点多框检测器模型进行滑窗检测还包括：对进入轻便网络算法单点多框检测器模型训练前的图片采用通道转换、求均值和/或归一化数据的方式进行处理；

[0020] 其中，所述对所筛选出的疑似机场候选区进行飞机目标提取主要采用分割方法，选择性搜索法和/或区域合并法实现。

[0021] 本发明还公开了一种基于深度学习的遥感机场飞机检测的装置，包括：

[0022] 图像获取模块，用于获取输入大视场的遥感机场图像；

[0023] 图像分割模块，采用最大类间方差对所获取的遥感机场图像进行分割，提取机场轮廓，确定机场候选区切片；

[0024] 特征筛选模块，用于根据所确定机场候选区切片，提取机场候选区的特征，用K均值聚类算法对所提取的特征进行聚类，获得机场的特征组合，采用支持向量机分类器筛选出疑似机场候选区；

[0025] 目标提取模块，使用轻便网络算法对所筛选出的疑似机场候选区进行飞机目标提取，计算飞机目标在所获取的遥感机场图像中的位置，得到飞机目标的位置信息，通过非最大值抑制的方法剔除重叠的坐标框。

[0026] 本发明实施例包括以下优点：

[0027] 本发明实施例结合机器学习和深度学习，通过分割机场候选区，用机器学习方法快速筛选机场候选区，借助深度学习的优势，选择时效性较高的深度学习轻便网络Mobilenet_SSD，快速提取机场候选区内飞机目标的语义级特征，对机场候选区内飞机的定位，实现对大视场遥感机场飞机准确且快速的检测。

附图说明

[0028] 图1是本发明的一种基于深度学习的遥感机场飞机检测的方法的实施例一的步骤流程图；

[0029] 图2是本发明的一种基于深度学习的遥感机场飞机检测的方法的实施例二的总流程示意图；

[0030] 图3是本发明的一种基于深度学习的遥感机场飞机检测的方法的实施例二的新型轻便网络Mobilenet_SSD检测流程的示意图；及

[0031] 图4是本发明的一种基于深度学习的遥感机场飞机检测的装置的结构示意图。

具体实施方式

[0032] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

[0033] 本发明提出了一种基于深度学习的遥感机场飞机检测的方法。该方法针对深度学习提出机场候选区筛选，轻小型深度学习网络检测策略，尤其针对遥感图像中机场飞机的高鲁棒性检测。

[0034] 方法实施例一

[0035] 参见图1，示出了本发明的一种基于深度学习的遥感机场飞机检测的方法的实施例一的步骤流程图，具体可以包括如下步骤：

[0036] 步骤101，获取输入大视场的遥感机场图像；

[0037] 步骤102，采用最大类间方差对所获取的遥感机场图像进行分割，提取机场轮廓，确定机场候选区切片；

[0038] 对于输入大视场的遥感机场图像，为了高效快速筛选出大视场遥感图像机场候选区，通过最大类间方差(简称Otsu)进行多尺度分割，提取机场轮廓，并确定机场候选区切片。其中，最大类间方差算法算法简单，当目标与背景的面积相差不大时，能够有效地对图像进行分割。具体实现中，由于机场尺度、形状差异。为了能够筛选出所有的机场，采用最大类间方差从不同的阈值对所获取的遥感机场图像进行多尺度分割，有效降低丢失机场的概率。

[0039] 更为具体的实现，根据所提取机场轮廓，确定同质局域的中心点，计算同质局域的四界边界点，通过边界点形成第一机场候选区切片，由于机场候选域较大，设定切片的面积比例，对所形成第一机场候选区的切片进行剔除后，形成第二机场候选区的切片，将第二机场候选区确定为最终的机场候选区切片。筛选出机场候选区切片，并记录其位置信息。

[0040] 步骤103，根据所确定的机场候选区切片，提取机场候选区的特征，用K均值聚类算法对所提取的特征进行聚类，获得机场的特征组合，采用支持向量机分类器筛选出疑似机场候选区；

[0041] 针对步骤102所确定的提取的机场候选区切片，进一步筛选疑似机场候选区。首先，提取机场候选区的特征。然后，利用K均值聚类算法(k-means clustering algorithm，简称k-means)将提取的特征进行聚类，形成具有机场特点的特征组合。最后用支持向量机(Support Vector Machine，简称SVM)分类器筛选出疑似机场候选区。具体实现中，提取机场候选区的特征，可以是提取机场候选区的结构特征，所述结构特征包括飞机、桥廊和/或跑道。提取候选区内的纹理、颜色等特征，通过K-means聚类形成机场特有的特征组合。

[0042] 更为具体的，通过对机场的特征组合进行支持向量机分类器训练，获得机场训练模型；用所获得的机场训练模型对确定为最终的机场候选区切片分类，提取疑似机场候选区。

[0043] 步骤104，使用轻便网络算法对所筛选出的疑似机场候选区进行飞机目标提取，计算飞机目标在所获取的遥感机场图像中的位置，得到飞机目标的位置信息，通过非最大值抑制的方法剔除重叠的坐标框。

[0044] 针对步骤103中得到的疑似机场候选区，本步骤将选择轻便网络算法Mobilenet_SSD，针对疑似机场候选区进行飞机目标的提取。通过对所筛选出的疑似机场候选区，采用训练的轻便网络算法单点多框检测器模型进行滑窗检测，确定飞机目标在候选区的位置信息。实现中，所述采用训练的轻便网络算法单点多框检测器模型进行滑窗检测包括：对进入轻便网络算法单点多框检测器模型训练前的图片采用通道转换、求均值和/或归一化数据的方式进行处理；候选区提取主要采用分割方法，选择性搜索法和/或区域合并获取目标在图像中的位置信息。

[0045] 在实际应用中，所述方法在步骤101后还包括：

[0046] 步骤100，对所获取的遥感机场图像进行增强图像特征点的图像预处理，所述图像预处理包括图像锐化、图像滤波、过零点检测和/或图像边缘处理。

[0047] 在实际应用中输入大视场的遥感机场图像背景复杂，为了更快速精准的实现遥感机场的飞机检测，通常还会对其进行预处理，如锐化、滤波、过零点检测和/或图像边缘处理等，以增强图像特征点。

[0048] 方法实施例二

[0049] 参见图2，示出了本发明的一种基于深度学习的遥感机场飞机检测的方法的实施例二的总流程示意图，具体处理过程如下：

[0050] 步骤201，针对已输入的遥感图像，具体为遥感机场图像，为了高效快速筛选出大视场遥感机场图像的机场候选区，采用传统的通过最大类间方差(Otsu)进行多尺度分割，提取机场轮廓，并确定机场候选区切片。详细步骤如下：

[0051] 步骤11输入的大视场遥感图像背景复杂，对其进行预处理，如锐化、滤波等，已增强图像特征点。

[0052] 步骤12，由于机场尺度、形状差异。为了能够筛选出所有机场，利用Otsu从不同的阈值下进行多尺度的分割，降低丢失机场的概率。

[0053] 步骤13，根据步骤12分割区域的轮廓，确定同质局域的中心点，计算同质局域的四界边界点。根据边界点形成机场候选区的切片，由于机场候选域较大，设定切片的面积比例，剔除极大或极小的异常候选区切片。筛选出机场候选区切片，并记录其位置信息。

[0054] 步骤202，针对步骤201提取的机场候选区切片，进一步筛选疑似机场候选区。首先，提取机场候选区地物的特征。然后，利用k-means将提取的特征进行聚类，形成具有机场特点的特征组合。最后用传统的SVM分类器筛选出疑似机场候选区。详细步骤如下：

[0055] 步骤21基于步骤13筛选的机场候选区切片，提取候选区内的纹理、颜色等特征，通过K-means聚类形成机场特有的特征组合。

[0056] 步骤22基于SVM的疑似机场候选区的确定：基于步骤21方法对机场候选区特有的特征组合进行SVM训练，得到机场的训练模型。针对步骤13筛选的机场候选区，用训练的SVM模型分类，提取疑似机场的区域。SVM分类具体算法如下：

[0057] SVM算法的主要思想：将输入聚类样本D＝{x1,x2......xn}非线性映射到一个高维特征空间，在此高维特征空间建立一个超平面ω·φ(x)-ρ＝0。其中ω为超平面法向量ф(x)为样本在高维空间的映射点。为了寻找距原点最远的最优超平面，需要最大化 为了提高算法的鲁棒性引入了松弛变量ξi。此时SVM的优化问题转化为求解二次规划问题：

[0058]

[0059]

[0060] 其中υ∈(0,1]，nυ表示边界支持向量的上界，支持向量的下界，与标准支持向量机中的惩罚参数相似。引入拉格拉日系数求解以上问题得

[0061]

[0062] 其中αi和βi均为大于0的数，分别对ω、ρ和ξ进行优化得

[0063]

[0064]

[0065]

[0066] 将其代入并把内积(xi，xj)，用核函数K(xi,xj)代替

[0067] K(xi，xj)＝exp(-||xi-xj||2/σ2)

[0068] 得到对偶式：

[0069]

[0070]

[0071] 由任意的 样本可得 最终决策函数为

[0072] 其中xi为支持向量，x为待测样本。由以上求解过程可知，训练时涉及到参数υ和σ2，可通过k折交叉检验实现对(υ，σ2)的参数寻优。用K-means聚类得到的k个分类器并根据判决公式 对训练集的每一个
样本分别进行处理，从而判别疑似机场候选区。

[0073] 步骤203，针对步骤202中得到的疑似机场的候选区，本步骤将选择轻便网络Mobilenet_SSD算法，针对疑似机场候选区进行飞机目标的提取。并计算飞机目标在原遥感图像中的位置，得到飞机目标的位置信息，实际为候选区坐标框，最终通过非最大值抑制的方法剔除重叠的坐标框。详细步骤如下：

[0074] 步骤31基于Mobilenet_SSD的机场飞机检测：经过第一步筛选出疑似机场候选区切片。接着，对机场候选区切片用训练的Mobilenet_SSD模型进行滑窗检测，确定目标在候选区的位置信息。Mobilenet_SSD检测流程如下：

[0075] 参见图3，示出了本发明的一种基于深度学习的遥感机场飞机检测的方法的实施例二的新型轻便网络Mobilenet_SSD检测流程的示意图，主要有图片预处理，候选区域提取，特征提取，特征分类器，回归器校正等步骤。图片预处理在训练模型之前进行处理，主要包含通道转换，求均值和归一化数据等操作；候选区域提取主要采用分割方法，选择性搜索法，区域合并等获取目标在图像中的位置信息；特征提取用传统的卷积神经网络，由于传统的神经网络层数多，网络结构复杂，Mobilenet中的卷积分解方法很好的解决了卷积数量冗余等问题。特征分类器采用深度学习网络的SSD架构，在不同尺度的特征图上分类，最终回归坐标信息和类别信息。分解卷积操作如下：

[0076] 步骤32，基于步骤31确定的坐标框，根据步骤11记录的位置信息，将其映射回原图，得到目标在大图中的坐标框。由于在候选区筛选以及步骤31中，均会在检测时产生冗余的坐标框，本步骤将通过非最大值抑制剔除重叠的坐标框，得到最终目标在大视场遥感图像中的坐标位置。

[0077] 需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

[0078] 装置实施例

[0079] 参照图4，示出了本发明的一种基于深度学习的遥感机场飞机检测的装置的结构示意图，包括：

[0080] 图像获取模块401，用于获取输入大视场的遥感机场图像；

[0081] 图像分割模块402，采用最大类间方差对所获取的遥感机场图像进行分割，提取机场轮廓，确定机场候选区切片；

[0082] 特征筛选模块403，用于根据所确定机场候选区切片，提取机场候选区的特征，用K均值聚类算法对所提取的特征进行聚类，获得机场的特征组合，采用支持向量机分类器筛选出疑似机场候选区；

[0083] 目标提取模块404，使用轻便网络算法对所筛选出的疑似机场候选区进行飞机目标提取，计算飞机目标在所获取的遥感机场图像中的位置，得到飞机目标的位置信息，通过非最大值抑制的方法剔除重叠的坐标框。

[0084] 对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

[0085] 本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

[0086] 本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

[0087] 应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制[0088] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

[0089] 以上对本发明所提供的一种基于深度学习的遥感机场飞机检测的方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。