一种基于深度神经网络的遥感图像目标检测方法转让专利

申请号 : CN201711133889.0

文献号 : CN107871124B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 汪西莉周明非

申请人 : 陕西师范大学

摘要 :

一种基于深度神经网络的遥感图像目标检测方法,包括:获取训练样本并对所述训练样本进行缩放预处理操作;在预处理后的所述训练样本中,对包含遥感目标及遥感背景的训练样本图像执行多种类型的标记操作;基于最大迭代次数,对选取的深度卷积神经网络模型执行预训练和微调操作,得到微调的深度卷积神经网络模型;对所述微调的深度卷积神经网络模型的全连接层进行处理,得到微调的深度全卷积网络模型;基于所述微调的深度卷积神经网络模型及所述微调的深度全卷积网络模型对遥感图像目标进行检测。该方法具有检测速度快、检测精度高等优点,可被广泛应用于目标检测、目标跟踪、智能导航、城市规划等领域。

权利要求 :

1.一种基于深度神经网络的遥感图像目标检测方法,其特征在于,包括:获取训练样本并对所述训练样本进行缩放预处理操作;

在预处理后的所述训练样本中,对包含遥感目标及遥感背景的训练样本图像执行多种类型的标记操作;

基于最大迭代次数,对选取的深度卷积神经网络模型执行预训练和微调操作,得到微调的深度卷积神经网络模型;

对所述微调的深度卷积神经网络模型的全连接层进行处理,得到微调的深度全卷积网络模型;

基于所述微调的深度卷积神经网络模型及所述微调的深度全卷积网络模型对遥感图像目标进行检测,具体包括:(1)获取测试样本

从遥感图像数据集中选取5~50幅测试样本图像,测试样本图像不要求范围和分辨率,也不限制大小和形状,所有测试样本图像不需要进行额外的预处理;

(2)整合检测模型

训练检测模型的步骤全部完成后,整合完成微调的深度卷积神经网络模型、完成微调的深度全卷积网络模型、滑动窗口算法和检测框融合算法,得到可用于遥感图像目标检测的检测模型,检测模型可以完成提取候选区域、候选区域的特征提取和分类以及检测框融合的功能;

(3)提取候选区域

(a)把测试样本图像作为输入图像输入检测模型,检测模型首先使用完成微调的深度全卷积网络模型处理输入图像,完成微调的深度全卷积网络模型的输出是和输入图像规模相同的分类图,输入图像中可能是遥感目标的像素点在分类图上的值为1,输入图像中可能是遥感背景的像素点在分类图上的值为0;

(b)使用滑动窗口算法得出候选区域,使用滑动窗口算法之前需要设定窗口大小、窗口步长和提取阈值,滑动窗口算法以设定的窗口大小和窗口步长在分类图上进行从左上角到右下角的遍历搜索,如果窗口中的值为1的像素点的占比高于提取阈值,则该窗口被提取为候选区域;

(4)候选区域的特征提取和分类

把所有候选区域输入完成微调的深度卷积神经网络模型进行候选区域的特征提取和分类,需要提前设定分类阈值,完成微调的深度卷积神经网络模型的输出是把候选区域分类为遥感目标和遥感背景的置信度,把候选区域分类为遥感目标的置信度大于分类阈值时,用红色边框在原图中标记出该区域,得到检测框;

(5)检测框融合

设定融合阈值,使用检测框融合算法处理一幅测试样本图像中的所有检测框,可以得到最终的遥感图像目标检测结果。

2.根据权利要求1所述的方法,其特征在于,所述获取训练样本并对所述训练样本进行缩放预处理操作,包括:(a)从日常常见物体数据集ILSVRC-2012中选取1000000张常见物体样本图像,从遥感图像数据集中选取4000张包含遥感目标的训练样本图像和9000张包含遥感背景的训练样本图像;

(b)1000000张常见物体样本图像不需要进行预处理;

(c)对4000张包含遥感目标的训练样本图像进行预处理;

其中,预处理包括采用公示 对样本进行缩放,其中I0为缩放前

的图像,I为缩放后的图像,I(x,y)是图像I中的坐标为(x,y)的像素点的值,w0和h0是图像I0的宽度和高度,w和h是图像I的宽度和高度,可以选择的w和h的组合有:(64,64)、(128,128)和(256,256);

(d)对9000张包含遥感背景的训练样本图像进行预处理和步骤(c)步骤相同。

3.根据权利要求1所述的方法,其特征在于,所述在预处理后的所述训练样本中,对包含遥感目标及遥感背景的训练样本图像执行多种类型的标记操作,包括:对包含遥感目标的训练样本图像和包含遥感背景的训练样本图像添加标记,所述标记分为图像级的标记、目标级的标记或像素级的标记中的一种或多种,其中,(a)图像级的标记是指对包含遥感目标的训练样本图像添加值为1的标记,对包含遥感背景的训练样本图像添加值为0的标记;

(b)目标级的标记是指在包含遥感目标的训练样本图像中标记目标在图像中的精确位置;

(c)像素级的标记是指在包含遥感目标的训练样本图像中给目标区域的像素点添加值为1的标记,给其他像素点添加值为0的标记。

4.根据权利要求1所述的方法,其特征在于,所述基于最大迭代次数,对选取的深度卷积神经网络模型执行预训练和微调操作,得到微调的深度卷积神经网络模型,包括:(a)使用1000000张常见物体样本图像作为训练样本,选取深度卷积神经网络模型作为待训练模型,确定训练批次大小和最大迭代次数;

(b)每一个训练迭代从训练样本中选取数量为批次大小的图像输入待训练模型,经过前向传播计算误差和反向传播调整权值,完成一次训练迭代,训练迭代次数达到最大迭代次数时,训练终止,得到完成预训练的深度卷积神经网络模型;

(c)使用4000张包含遥感目标的训练样本图像和9000张包含遥感背景的训练样本图像作为训练样本,选取完成预训练的深度卷积神经网络模型作为待训练模型,确定训练批次大小和最大迭代次数;

(d)和步骤(b)相同,训练完成后得到完成微调的深度卷积神经网络模型。

5.根据权利要求1所述的方法,其特征在于,所述对所述微调的深度卷积神经网络模型的全连接层进行处理,得到微调的深度全卷积网络模型,包括:(a)使用4000张包含遥感目标的训练样本图像和9000张包含遥感背景的训练样本图像作为训练样本;

(b)去掉完成微调的深度卷积神经网络模型的最后一个全连接层,把剩余的全连接层变为卷积层并进行32倍上采样,保留完成微调的深度卷积神经网络模型中除最后一个全连接层之外的权值,得到待训练深度全卷积网络模型,确定训练批次大小和最大迭代次数;

(c)和权利要求4中步骤(b)步骤相同,训练完成后得到完成微调的深度全卷积网络模型。

6.根据权利要求3所述的基于深度神经网络的遥感图像目标检测方法,其特征在于:在对包含遥感目标及遥感背景的训练样本图像执行多种类型的标记操作步骤中,添加图像级的标记完成对深度神经网络模型的训练。

7.根据权利要求4所述的基于深度神经网络的遥感图像目标检测方法,其特征在于:在基于最大迭代次数,对选取的深度卷积神经网络模型执行预训练和微调操作,得到微调的深度卷积神经网络模型的步骤(a)中,选取VGG-16模型作为待训练模型。

8.根据权利要求5所述的基于深度神经网络的遥感图像目标检测方法,其特征在于:在对所述微调的深度卷积神经网络模型的全连接层进行处理,得到微调的深度全卷积网络模型的步骤(b)中,使用微调VGG-16模型构建深度全卷积网络模型FCN_VGG-16。

9.根据权利要求1所述的基于深度神经网络的遥感图像目标检测方法,其特征在于,所述检测框融合还包括:使用公式 对一幅测试样本图像中的所有检测框两两计算IoU,IoU大于融合阈值的检测框将被融合,式中A和B表示两个检测框,IoU是A和B的交集除以A和B的并集;

将合并之后的新检测框的中心确定为两个合并前检测框的重叠区域的中心。

说明书 :

一种基于深度神经网络的遥感图像目标检测方法

技术领域

[0001] 本发明所属的技术领域为数字图像处理与模式识别,涉及图像处理、深度学习算法、图像分类、目标检测等内容。

背景技术

[0002] 遥感图像的目标检测指的是在大幅高分辨遥感图像中检测出一类或者几类目标(如飞机、桥梁和房屋等)并标注其位置。早期的遥感图像目标检测主要是基于模板匹配和形状先验的,随着卷积神经网络(Convolutional Neural Networks,CNNs)等深度学习方法的发展和在图像分类、目标检测等领域的成功运用,深度学习的方法也被迁移到了遥感图像目标检测上。
[0003] 目前使用深度学习算法解决遥感图像目标检测问题的主要思路是使用区域搜索算法进行候选区域选取,然后使用浅层CNN模型进行候选区域的分类,之后使用非极大值抑制算法去除重叠的检测框。区域搜索算法主要包括滑动窗口、显著性检测、Selective Search等方法。滑动窗口方法在图像上进行穷举搜索,显著性检测使用梯度计算、阈值分割等方法找到目标和背景的差异,从而为候选区域的选取提供先验知识。Selective Search方法先把图像分割成小区域,然后根据相似性对小区域进行合并,进而得到候选区域。另外,现有方法主要使用基于5层LeNet模型的浅层CNN模型进行候选区域的特征提取和分类。在处理重叠结果方面,现有方法主要采用非极大值抑制算法。非极大值抑制算法的主要原理是在覆盖同一目标的检测框中保留置信度最高的一个。
[0004] 现有技术主要存在以下问题:第一,使用区域搜索算法进行候选区域选取时会产生大量不包含遥感目标的候选区域,从而提升检测算法的误检率,因此需要对候选区域进行筛选以减轻后期CNN模型分类的工作量;第二,浅层CNN模型特征提取能力不足,分类效果不理想,但是由于没有足够的遥感图像样本,不能完成对深度CNN模型的微调,无法使用深度CNN模型完成候选区域的分类;第三,非极大值抑制算法可以去除重叠检测框,但是无法调整检测框的位置,这使得遥感图像目标检测结果不够精确。

发明内容

[0005] 本发明所要解决的技术问题在于克服现有技术的缺点,提供一种省时、高效、高精度的结合深度神经网络的遥感图像目标检测方法。
[0006] 本发明实施例提供了一种基于深度神经网络的遥感图像目标检测方法,包括:
[0007] 获取训练样本并对所述训练样本进行缩放预处理操作;
[0008] 在预处理后的所述训练样本中,对包含遥感目标及遥感背景的训练样本图像执行多种类型的标记操作;
[0009] 基于最大迭代次数,对选取的深度卷积神经网络模型执行预训练和微调操作,得到微调的深度卷积神经网络模型;
[0010] 对所述微调的深度卷积神经网络模型的全连接层进行处理,得到微调的深度全卷积网络模型;
[0011] 基于所述微调的深度卷积神经网络模型及所述微调的深度全卷积网络模型对遥感图像目标进行检测。
[0012] 根据本发明实施例的一种具体实现方式,所述获取训练样本并对所述训练样本进行缩放预处理操作,包括:
[0013] (a)从日常常见物体数据集ILSVRC-2012中选取1000000张常见物体样本图像,从遥感图像数据集中选取4000张包含遥感目标的训练样本图像和9000张包含遥感背景的训练样本图像;
[0014] (b)1000000张常见物体样本图像不需要进行预处理;
[0015] (c)对4000张包含遥感目标的训练样本图像进行预处理;
[0016] 其中,预处理包括采用公示 对样本进行缩放,其中I0为缩放前的图像,I为缩放后的图像,I(x,y)是图像I中的坐标为(x,y)的像素点的值,w0和h0是图像I0的宽度和高度,w和h是图像I的宽度和高度,可以选择的w和h的组合有:(64,64(128,128)和(256,256);
[0017] (d)对9000张包含遥感背景的训练样本图像进行预处理和步骤(c)步骤相同。
[0018] 根据本发明实施例的一种具体实现方式,所述在预处理后的所述训练样本中,对包含遥感目标及遥感背景的训练样本图像执行多种类型的标记操作,包括:
[0019] 对包含遥感目标的训练样本图像和包含遥感背景的训练样本图像添加标记,所述标记分为图像级的标目标级的标记或像素级的标记中的一种或多种,其中,[0020] (a)图像级的标记是指对包含遥感目标的训练样本图像添加值为1的标记,对包含遥感背景的训练样本图像添加值为0的标记;
[0021] (b)目标级的标记是指在包含遥感目标的训练样本图像中标记目标在图像中的精确位置;
[0022] (c)像素级的标记是指在包含遥感目标的训练样本图像中给目标区域的像素点添加值为1的标记,给其他像素点添加值为0的标记。
[0023] 根据本发明实施例的一种具体实现方式,所述基于最大迭代次数,对选取的深度卷积神经网络模型执行预训练和微调操作,得到微调的深度卷积神经网络模型,包括:
[0024] (a)使用1000000张常见物体样本图像作为训练样本,选取深度卷积神经网络模型作为待训练模型,确定训练批次大小和最大迭代次数;
[0025] (b)每一个训练迭代从训练样本中选取数量为批次大小的图像输入待训练模型,经过前向传播计算误差和反向传播调整权值,完成一次训练迭代,训练迭代次数达到最大迭代次数时,训练终止,得到完成预训练的深度卷积神经网络模型;
[0026] (c)使用4000张包含遥感目标的训练样本图像和9000张包含遥感背景的训练样本图像作为训练样本,选取完成预训练的深度卷积神经网络模型作为待训练模型,确定训练批次大小和最大迭代次数;
[0027] (d)和步骤(b)相同,训练完成后得到完成微调的深度卷积神经网络模型。
[0028] 根据本发明实施例的一种具体实现方式,所述对所述微调的深度卷积神经网络模型的全连接层进行处理,得到微调的深度全卷积网络模型,包括:
[0029] (a)使用4000张包含遥感目标的训练样本图像和9000张包含遥感背景的训练样本图像作为训练样本;
[0030] (b)去掉完成微调的深度卷积神经网络模型的最后一个全连接层,把剩余的全连接层变为卷积层并进行32倍上采样,保留完成微调的深度卷积神经网络模型中除最后一个全连接层之外的权值,得到待训练深度全卷积网络模型,确定训练批次大小和最大迭代次数;
[0031] (c)和所述基于最大迭代次数,对选取的深度卷积神经网络模型执行预训练和微调操作,得到微调的深度卷积神经网络模型中步骤(b)步骤相同,训练完成后得到完成微调的深度全卷积网络模型。
[0032] 根据本发明实施例的一种具体实现方式,所述基于所述微调的深度卷积神经网络模型及所述微调的深度全卷积网络模型对遥感图像目标进行检测,包括:
[0033] (1)获取测试样本
[0034] 从遥感图像数据集中选取5~50幅测试样本图像,测试样本图像不要求范围和分辨率,也不限制大小和形状。所有测试样本图像不需要进行额外的预处理;
[0035] (2)整合检测模型
[0036] 训练检测模型的步骤全部完成后,整合完成微调的深度卷积神经网络模完成微调的深度全卷积网络模滑动窗口算法和检测框融合算法,得到可用于遥感图像目标检测的检测模型,检测模型可以完成提取候选区候选区域的特征提取和分类以及检测框融合的功能;
[0037] (3)提取候选区域
[0038] (a)把测试样本图像作为输入图像输入检测模型,检测模型首先使用完成微调的深度全卷积网络模型处理输入图像。完成微调的深度全卷积网络模型的输出是和输入图像规模相同的分类图,输入图像中可能是遥感目标的像素点在分类图上的值为1,输入图像中可能是遥感背景的像素点在分类图上的值为0;
[0039] (b)使用滑动窗口算法得出候选区域。使用滑动窗口算法之前需要设定窗口大窗口步长和提取阈值。滑动窗口算法以设定的窗口大小和窗口步长在分类图上进行从左上角到右下角的遍历搜索,如果窗口中的值为1的像素点的占比高于提取阈值,则该窗口被提取为候选区域;
[0040] (4)候选区域的特征提取和分类
[0041] 把所有候选区域输入完成微调的深度卷积神经网络模型进行候选区域的特征提取和分类,需要提前设定分类阈值。完成微调的深度卷积神经网络模型的输出是把候选区域分类为遥感目标和遥感背景的置信度。把候选区域分类为遥感目标的置信度大于分类阈值时,用红色边框在原图中标记出该区域,得到检测框;
[0042] (5)检测框融合
[0043] 设定融合阈值,使用检测框融合算法处理一幅测试样本图像中的所有检测框,可以得到最终的遥感图像目标检测结果。
[0044] 根据本发明实施例的一种具体实现方式,在对包含遥感目标及遥感背景的训练样本图像执行多种类型的标记操作步骤中,添加图像级的标记完成对深度神经网络模型的训练。
[0045] 根据本发明实施例的一种具体实现方式,在基于最大迭代次数,对选取的深度卷积神经网络模型执行预训练和微调操作,得到微调的深度卷积神经网络模型的步骤(a)中,选取VGG-16模型作为待训练模型。
[0046] 根据本发明实施例的一种具体实现方式,在对所述微调的深度卷积神经网络模型的全连接层进行处理,得到微调的深度全卷积网络模型的步骤(b)中,使用微调VGG-16模型构建深度全卷积网络模型FCN_VGG-16。
[0047] 根据本发明实施例的一种具体实现方式,所述检测框融合还包括:
[0048] 使用公式 对一幅测试样本图像中的所有检测框两两计算IoU,IoU大于融合阈值的检测框将被融合,式中A和B表示两个检测框,IoU是A和B的交集除以A和B的并集;
[0049] 将合并之后的新检测框的中心确定为两个合并前检测框的重叠区域的中心。
[0050] 和现有技术相比,本发明的创新体现在四个方面。第一,使用深度FCN模型进行候选区域选取,可以处理任意规模的图像输入。深度FCN模型为区域选取提供显著性先验,避免了对图像的穷举搜索,省略了对候选区域的筛选,提升了检测速度。第二,使用深度CNN模型进行候选区域的特征提取和分类,模型深度远远大于现有方法使用的CNN模型。更加深层的CNN模型提取到的特征更具有鲁棒性,可以克服遥感图像中较小目标和复杂背景的影响。第三,提出了新的用于遥感图像目标检测的数据集,并添加了图像级的标记。一方面,简化了弱监督训练机制。使用图像级的标记,而不是像素级的标记就可以完成对深度FCN模型的训练。深度全卷积网络模型需要使用像素级的标记进行训练,弱监督训练机制产生像素级的标记的方法是将图像级的标记复制到训练样本图像中的所有像素点上,对包含遥感目标的训练样本图像中的所有像素点打上值为1的标记,对包含遥感背景的训练样本图像中的所有像素点打上值为0的标记。由于不需要区分包含遥感目标的训练样本图像中的组成目标的像素,减少了人工标记成本。另一方面,由于样本数量的扩充,深度CNN模型的训练可以进行得更加充分。第四,提出了一种新的检测框融合算法对检测框进行后处理。新算法可以在融合重叠检测框的同时微调新的检测框的位置,使检测结果更加精确。本发明使用深度神经网络模型完成遥感图像的目标检测任务,和现有技术相比,本发明可以使用深度神经网络模型提取遥感图像的深层特征,本发明更加省时和高效,并具有更高的检测精度,得到的结果更加精确可靠。

附图说明

[0051] 图1a-1b根据本发明实施例1提供的一种遥感图像检测结果示例图;
[0052] 图2根据本发明实施例2提供的一种遥感图像检测结果示例图;
[0053] 图3根据本发明实施例3提供的一种遥感图像检测结果示例图;
[0054] 图4根据本发明实施例提供的一种遥感图像检测流程示例图。

具体实施方式

[0055] 下面结合附图和实例对本发明进行进一步详细说明,但本发明不限于下述的实施例。
[0056] 实施例1
[0057] 参见图1a-1b,本实施例的测试样本图像来自Satellite2000遥感图像数据集,Satellite2000遥感图像数据集中的测试样本图像一般是机场的较小局部,包括2~8架飞机,本发明在Satellite2000遥感图像数据集上执行飞机检测的任务。测试样本图像的大小范围是256×256到500×500,测试样本图像或者其部分没有出现在训练样本中。
[0058] 参见图4,本实施例的基于深度神经网络的遥感图像目标检测方法由训练检测模型和测试检测模型两个步骤构成,训练检测模型的步骤如下:
[0059] (1)获取训练样本并进行预处理
[0060] (a)从日常常见物体数据集ILSVRC-2012(Large Scale Visual Recognition Challenge 2012)中选取1000000张常见物体样本图像,从遥感图像数据集中选取4000张包含遥感目标的训练样本图像和9000张包含遥感背景的训练样本图像;
[0061] (b)1000000张常见物体样本图像不需要进行预处理;
[0062] (c)对4000张包含遥感目标的训练样本图像进行预处理
[0063] 预处理包括图像缩放步骤:
[0064] 图像缩放:用(1)式对样本图像进行缩放,调整图像的大小:
[0065]
[0066] 式中I0为缩放前的图像,I为缩放后的图像,I(x,y)是图像I中的坐标为(x,y)的像素点的值,w0和h0是图像I0的宽度和高度,w和h是图像I的宽度和高度,w和h的组合为:(64,64);
[0067] (d)对9000张包含遥感背景的训练样本图像进行预处理和步骤(1)中的(c)步骤相同;
[0068] (2)标记训练样本
[0069] 从ILSVRC-2012数据集中选取的常见物体样本图像自带标记,不需要额外添加。包含遥感目标的训练样本图像和包含遥感背景的训练样本图像需要添加图像级的标记;
[0070] (3)预训练深度卷积神经网络模型
[0071] (a)使用1000000张常见物体样本图像作为训练样本,选取深度卷积神经网络(Convolutional Neural Network,CNN)模型作为待训练模型,确定训练批次大小为64,最大迭代次数为24000;
[0072] (b)每一个训练迭代从训练样本中选取数量为批次大小的图像输入待训练模型,经过前向传播计算误差和反向传播调整权值,完成一次训练迭代。训练迭代次数达到最大迭代次数时,训练终止,得到完成预训练的深度卷积神经网络模型;
[0073] (4)微调深度卷积神经网络模型
[0074] (a)使用4000张包含遥感目标的训练样本图像和9000张包含遥感背景的训练样本图像作为训练样本,选取完成预训练的深度卷积神经网络模型作为待训练模型,确定训练批次大小为64,最大迭代次数为24000;
[0075] (b)和步骤(3)中的(b)步骤相同,训练完成后得到完成微调的深度卷积神经网络模型;
[0076] (5)微调深度全卷积网络模型
[0077] (a)使用4000张包含遥感目标的训练样本图像和9000张包含遥感背景的训练样本图像作为训练样本;
[0078] (b)去掉完成微调的深度卷积神经网络模型的最后一个全连接层,把剩余的全连接层变为卷积层并进行32倍上采样,保留完成微调的深度卷积神经网络模型中除最后一个全连接层之外的权值,得到待训练深度全卷积网络(Fully Convolutional Networks,FCN)模型,确定训练批次大小为1,最大迭代次数为100000;
[0079] (c)和步骤(3)中的(b)步骤相同,训练完成后得到完成微调的深度全卷积网络模型;
[0080] (6)上述训练完成后,得到包含完成微调的深度卷积神经网络模型和完成微调的深度全卷积网络模型的完成训练的深度神经网络模型;
[0081] 本实施例的测试检测模型的步骤如下:
[0082] (1)获取测试样本
[0083] 从遥感图像数据集中选取25幅测试样本图像,测试样本图像不要求范围和分辨率,也不限制大小和形状。所有测试样本图像不需要进行额外的预处理;
[0084] (2)整合检测模型
[0085] 训练检测模型的步骤全部完成后,整合完成微调的深度卷积神经网络模型、完成微调的深度全卷积网络模型、滑动窗口算法和检测框融合算法,得到可用于遥感图像目标检测的检测模型,检测模型可以完成提取候选区域、候选区域的特征提取和分类以及检测框融合的功能;
[0086] (3)提取候选区域
[0087] (a)把测试样本图像作为输入图像输入检测模型,检测模型首先使用完成微调的深度全卷积网络模型处理输入图像。完成微调的深度全卷积网络模型的输出是和输入图像规模相同的分类图,输入图像中可能是遥感目标的像素点在分类图上的值为1,输入图像中可能是遥感背景的像素点在分类图上的值为0;
[0088] (b)使用滑动窗口算法得出候选区域。使用滑动窗口算法之前需要设定窗口大小为60、窗口步长为20,提取阈值为0.8。滑动窗口算法以设定的窗口大小和窗口步长在分类图上进行从左上角到右下角的遍历搜索,如果窗口中的值为1的像素点的占比高于提取阈值,则该窗口被提取为候选区域;
[0089] (4)候选区域的特征提取和分类
[0090] 把所有候选区域输入完成微调的深度卷积神经网络模型进行候选区域的特征提取和分类,需要提前设定分类阈值为0.8。完成微调的深度卷积神经网络模型的输出是把候选区域分类为遥感目标和遥感背景的置信度。把候选区域分类为遥感目标的置信度大于分类阈值时,用红色边框在原图中标记出该区域,得到检测框;
[0091] (5)检测框融合
[0092] 设定融合阈值为0.5,使用检测框融合算法处理一幅测试样本图像中的所有检测框,可以得到最终的遥感图像目标检测结果。
[0093] 实施例2
[0094] 参见图2,本实施例的测试样本图像来自Satellite Aircrafts Dataset遥感图像数据集,Satellite Aircrafts Dataset遥感图像数据集中的测试样本图像一般是机场的较大局部,包括10~20架飞机,本发明在Satellite Aircrafts Dataset遥感图像数据集上执行飞机检测的任务。测试样本图像的大小范围是300×300到800×800,测试样本图像或者其部分没有出现在训练样本中。
[0095] 参见图4,本实施例的基于深度神经网络的遥感图像目标检测方法由训练检测模型和测试检测模型两个步骤构成,训练检测模型的步骤如下:
[0096] (1)获取训练样本并进行预处理
[0097] 获取训练样本并进行预处理与实施例1相同;
[0098] (2)标记训练样本
[0099] 标记训练样本与实施例1相同;
[0100] (3)预训练深度卷积神经网络模型
[0101] 预训练深度卷积神经网络模型与实施例1相同;
[0102] (4)微调深度卷积神经网络模型
[0103] 微调深度卷积神经网络模型与实施例1相同;
[0104] (5)微调深度全卷积网络模型
[0105] 微调深度全卷积网络模型与实施例1相同;
[0106] 本实施例的测试检测模型的步骤如下:
[0107] (1)获取测试样本
[0108] 从遥感图像数据集中选取20幅测试样本图像,测试样本图像不要求范围和分辨率,也不限制大小和形状。所有测试样本图像不需要进行额外的预处理;
[0109] (2)整合检测模型
[0110] 整合检测模型与实施例1相同;
[0111] (3)提取候选区域
[0112] (a)把测试样本图像作为输入图像输入检测模型,检测模型首先使用完成微调的深度全卷积网络模型处理输入图像。完成微调的深度全卷积网络模型的输出是和输入图像规模相同的分类图,输入图像中可能是遥感目标的像素点在分类图上的值为1,输入图像中可能是遥感背景的像素点在分类图上的值为0;
[0113] (b)使用滑动窗口算法得出候选区域。使用滑动窗口算法之前需要设定窗口大小为60、窗口步长为15,提取阈值为0.6。滑动窗口算法以设定的窗口大小和窗口步长在分类图上进行从左上角到右下角的遍历搜索,如果窗口中的值为1的像素点的占比高于提取阈值,则该窗口被提取为候选区域;
[0114] (4)候选区域的特征提取和分类
[0115] 把所有候选区域输入完成微调的深度卷积神经网络模型进行候选区域的特征提取和分类,需要提前设定分类阈值为0.85。完成微调的深度卷积神经网络模型的输出是把候选区域分类为遥感目标和遥感背景的置信度。把候选区域分类为遥感目标的置信度大于分类阈值时,用红色边框在原图中标记出该区域,得到检测框;
[0116] (5)检测框融合
[0117] 设定融合阈值为0.6,使用检测框融合算法处理一幅测试样本图像中的所有检测框,可以得到最终的遥感图像目标检测结果。
[0118] 实施例3
[0119] 参见图3,本实施例的测试样本图像来自Aircrafts Dataset遥感图像数据集,Aircrafts Dataset遥感图像数据集中的测试样本图像一般覆盖整个机场区域,包括30~50架飞机,本发明在Aircrafts Dataset遥感图像数据集上执行飞机检测的任务。测试样本图像的大小范围是800×800到1400×1400,测试样本图像或者其部分没有出现在训练样本中。
[0120] 参见图4,本实施例的基于深度神经网络的遥感图像目标检测方法由训练检测模型和测试检测模型两个步骤构成,训练检测模型的步骤如下:
[0121] (3)获取训练样本并进行预处理
[0122] 获取训练样本并进行预处理与实施例1相同;
[0123] (4)标记训练样本
[0124] 标记训练样本与实施例1相同;
[0125] (3)预训练深度卷积神经网络模型
[0126] 预训练深度卷积神经网络模型与实施例1相同;
[0127] (4)微调深度卷积神经网络模型
[0128] 微调深度卷积神经网络模型与实施例1相同;
[0129] (5)微调深度全卷积网络模型
[0130] 微调深度全卷积网络模型与实施例1相同;
[0131] 本实施例的测试检测模型的步骤如下:
[0132] (1)获取测试样本
[0133] 从遥感图像数据集中选取10幅测试样本图像,测试样本图像不要求范围和分辨率,也不限制大小和形状。所有测试样本图像不需要进行额外的预处理;
[0134] (2)整合检测模型
[0135] 整合检测模型与实施例1相同;
[0136] (3)提取候选区域
[0137] (a)把测试样本图像作为输入图像输入检测模型,检测模型首先使用完成微调的深度全卷积网络模型处理输入图像。完成微调的深度全卷积网络模型的输出是和输入图像规模相同的分类图,输入图像中可能是遥感目标的像素点在分类图上的值为1,输入图像中可能是遥感背景的像素点在分类图上的值为0;
[0138] (b)使用滑动窗口算法得出候选区域。使用滑动窗口算法之前需要设定窗口大小为50、窗口步长为12,提取阈值为0.5。滑动窗口算法以设定的窗口大小和窗口步长在分类图上进行从左上角到右下角的遍历搜索,如果窗口中的值为1的像素点的占比高于提取阈值,则该窗口被提取为候选区域;
[0139] (4)候选区域的特征提取和分类
[0140] 把所有候选区域输入完成微调的深度卷积神经网络模型进行候选区域的特征提取和分类,需要提前设定分类阈值为0.9。完成微调的深度卷积神经网络模型的输出是把候选区域分类为遥感目标和遥感背景的置信度。把候选区域分类为遥感目标的置信度大于分类阈值时,用红色边框在原图中标记出该区域,得到检测框;
[0141] (5)检测框融合
[0142] 设定融合阈值为0.3,使用检测框融合算法处理一幅测试样本图像中的所有检测框,可以得到最终的遥感图像目标检测结果。
[0143] 在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,″计算机可读介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
[0144] 应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。
[0145] 在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
[0146] 以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。