基于多尺度特征学习的光学遥感图像目标检测方法转让专利

申请号 : CN201810111594.1

文献号 : CN108491757B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 焦李成李玲玲陈婧郭雨薇唐旭杨淑媛刘芳侯彪张向荣屈嵘

申请人 : 西安电子科技大学

摘要 :

本发明公开了一种基于多尺度特征学习的光学遥感图像目标检测方法,主要解决现有技术中浅层特征提取不充分,不同尺度目标特征分布不均匀以及无法整体训练参数,大量的中间结果需要转存导致网络训练耗时久的问题。本发明的具体步骤如下:(1)构建多尺度特征网络;(2)构造训练样本集和训练类标集;(3)获取多尺度特征网络的深浅特征;(4)对多尺度特征网络的深浅特征进行融合;(5)构造测试样本集;(6)对测试样本集进行检测。本发明具有对光学遥感图像中小目标的浅层细节特征信息提取更丰富,目标检测的准确率高,训练网络目标检测速度快的优点。

权利要求 :

1.一种基于多尺度特征学习的光学遥感图像目标检测方法,其特征在于,该方法是对光学遥感图像在多尺度特征网络的深浅特征进行提取并融合处理,将多个目标特征连接起来进行分类和回归,网络训练连续并且共享参数,该方法的具体步骤包括如下:(1)构建多尺度特征网络:

构建一个31层的多尺度特征网络,网络中使用了23层卷积层、5层池化层、1层连接层,其结构依次为:输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第一个连接层→第四个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→第五个池化层→第十四个卷积层→第十五个卷积层→第十六个卷积层→第十七个卷积层→第十八个卷积层→第十九个卷积层→第二十个卷积层→第二十一个卷积层→第二十二个卷积层→第二十三个卷积层→分类回归层;

各层的参数设置如下:

将输入层特征映射图的总数设置为3个,输入特征映射图尺度设置为300×300个节点;

将第一至第二个共两个卷积层的特征映射图的总数设置为64个,卷积核的尺度设置为

3×3个节点;

将第三至第四个共两个卷积层的特征映射图的总数设置为128个,卷积核的尺度设置为3×3个节点;

将第五至第七个共三个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为3×3个节点;

将第八至第十三个共六个卷积层的特征映射图的总数设置为512个,卷积核的尺度设置为3×3个节点;

将第一个连接层的特征映射图的总数设置为512个,卷积核的尺度设置为3×3个节点;

将第一至第五个共五个池化层的特征映射图的尺寸设置为2×2个节点;

将第十四个卷积层的特征映射图的总数设置为1024个,卷积核的尺度设置为3×3个节点,卷积核的扩张系数设置为6个节点;

将第十五个卷积层的特征映射图的总数设置为1024个,卷积核的尺度设置为1×1个节点;

将第十六个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为1×1个节点;

将第十七个卷积层的特征映射图的总数设置为512个,卷积核的尺度设置为3×3个节点;

将第十八个卷积层的特征映射图的总数设置为128个,卷积核的尺度设置为1×1个节点;

将第十九个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为3×3个节点;

将第二十个卷积层的特征映射图的总数设置为128个,卷积核的尺度设置为1×1个节点;

将第二十一个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为3×3个节点;

将第二十二个卷积层的特征映射图的总数设置为128个,卷积核的尺度设置为1×1个节点;

将第二十三个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为3×3个节点;

将分类回归层中的分类特征映射图的尺寸设置为2个,回归特征映射图的尺寸设置为4个;

将第七个卷积层的特征映射图每个特征单元的候选框总数设置为4个;

将第一个连接层的特征映射图每个特征单元的候选框总数设置为4个;

将第十五个卷积层的特征映射图每个特征单元的候选框总数设置为6个;

将第十七个卷积层的特征映射图每个特征单元的候选框总数设置为6个;

将第十九个卷积层的特征映射图每个特征单元的候选框总数设置为6个;

将第二十三个卷积层的特征映射图每个特征单元的候选框总数设置为4个;

(2)构造训练样本集和训练类标集:

(2a)从遥感卫星上实时接收的光学遥感图像中,选取多幅含有飞机和舰船目标的光学遥感图像,作为待训练光学遥感图像,对待训练光学遥感图像中的飞机和舰船目标进行类别和位置标注,其中位置标注为飞机和舰船目标的左上角横坐标值、左上角纵坐标值和右下角横坐标值、右下角纵坐标值;

(2b)用多幅已标注位置信息的待训练光学遥感图像中的右下角横坐标值减去左上角横坐标值,得到飞机和舰船目标宽度的像素点总数;用右下角纵坐标值减去左上角纵坐标值,得到飞机和舰船目标高度的像素点总数;

(2c)以待训练的光学遥感图像中每个飞机和舰船的中心位置为切割中心点,切割出

300×300×3和500×500×3的两个小区域,将所有飞机和舰船的目标切割出的两个小区域组成切割小区域,将所有切割小区域中所有遥感图像的像素组成训练样本集;

(2d)将光学遥感图像上的飞机和舰船的位置以及之对应的类别,均映射到所有切割小区域上的飞机和舰船的位置以及之对应的类别,将映射后所有飞机和舰船的目标位置和类别组成小区域的类标,将所有切割小区域的类标组成训练类标集;

(3)获取多尺度特征网络的深浅特征:

将训练样本集和训练类标集输入到多尺度特征网络,得到训练样本集在多尺度特征网络中的第七个卷积层、第三个池化层、第十个卷积层的浅层细节特征和第十五个卷积层、第十七个卷积层、第十九个卷积层、第二十三个卷积层的深层高级语义特征;

(4)对多尺度特征网络的深浅特征进行融合:

(4a)将第三个池化层、第十个卷积层的浅层细节特征通过第一个连接层在通道上进行叠加,然后将经过第一个连接层叠加后的浅层细节特征和第十五个卷积层、第十七个卷积层、第十九个卷积层、第二十三个卷积层的深层高级语义特征在通道上进行叠加,得到在多尺度特征网络中飞机和舰船目标信息更丰富的融合的特征;

(4b)将融合后的特征输入到多尺度特征网络中进行迭代训练,直至多尺度特征网络的损失值小于预先设定的极小值0.01,得到训练好的多尺度特征网络;

(4c)将训练样本集输入到训练好的多尺度特征网络中,得到最终训练好的网络;

(5)构造测试样本集:

对多幅待检测的光学遥感图像进行重叠度为100的划窗切块,切割出300×300×3的所有小区域,将所有切割小区域中光学遥感图像的像素组成测试样本集;

(6)对测试样本集进行检测:

(6a)将测试样本集输入到训练好的多尺度特征网络中,得到测试样本集中每个样本的检测框和置信度;

(6b)对所有检测框和与置信度进行非极大值抑制处理,得到光学遥感图像中的目标检测结果。

2.根据权利要求1所述的基于多尺度特征学习的光学遥感图像目标检测方法,其特征在于,步骤(6b)中所述的非极大值抑制处理是指:对所有检测框按照置信度从高到低进行排序,保留检测框之间重叠度低和置信度高的候选框,丢弃检测框之间重叠度高和置信度低的候选框。

说明书 :

基于多尺度特征学习的光学遥感图像目标检测方法

技术领域

[0001] 本发明属于图像处理技术领域,更进一步涉及光学遥感图像目标检测技术领域中的一种基于多尺度特征学习的光学遥感图像目标检测方法。本发明可应用于对光学遥感图像的不同区域内的目标进行识别和检测。

背景技术

[0002] 随着图像空间分辨率不断提高,基于高分辨率光学遥感图像的目标检测技术越来越得到青睐和关注。高分辨率光学遥感图像具有空间分辨率高、覆盖范围广、获取方式便捷的特点,图像中的目标保留了丰富的颜色和纹理特征,因此可以广泛应用于诸多领域,如军事领域、道路规划与交通监管、智慧城市建设、环境监测、农业生产监管、抗震救灾等。在多数应用领域中,目标检测是一个重要的任务。
[0003] Wei Liu在其发表的论文“SSD:Single Shot MultiBox Detect”(欧洲计算机视觉国际会议ECCV(European Conference on Computer Vision)阿姆斯特丹国际会议论文2016年)中提出了一种多尺度特征的目标检测方法。该方法首先使用基础网络VGG-16提取两个卷积特征层;然后在基础网络VGG-16上增加四个卷积特征提取层,一共六个特征提取层,并在六个特征提取层分别产生一系列固定大小的候选框,分别预测候选框的类别和位置偏移;最后根据位置偏移、候选框以及类别进行非极大值抑制NMS(Non Maximum Suppression),得到最后的检测结果。该方法能够准确丰富的表示目标的特征,并且能够充分地提取目标候选框等优点,但是,该方法仍然存在的不足之处是,由于小目标的信息需要经过六个卷积特征提取层提取特征,浅层特征被过滤掉了,不同尺度目标特征分布不均匀,所以对于小目标的检测准确率偏低。
[0004] 国家新闻出版广电总局广播科学研究院在其申请的专利文献“基于深度学习框架对图像进行特征提取的目标检测方法”(专利申请号:CN201610542676.2,公开号:CN106203450A)中提出了一种基于深度学习框架对图像进行特征提取的目标检测方法。该方法首先利用基于分组合并的似物性采样算法对图像进行预处理,提取出可能存在的目标位置的图像块;之后基于多阈值横跨扩张算法MTSE(Multi-Thresholding Straddling Expansion)优化已提取出来的图像块,将得到的图像块利用超像素优化的方法迭代调整到网络输入要求的大小;然后利用区域卷积神经网络R-CNN(Region Convolutional Neural Networks)对图像块进行特征提取;最后对得到的深层卷积特征上利用支持向量机SVM算法(Support Vector Machine)进行分类,得到最终结果。该方法通过对图像进行预处理减少了特征的计算量,然后利用区域卷积神经网络提取图像的深度特征,能更好地表示物体,并用支持向量机分类算法对特征进行分类,获得了良好的检测结果,但是,该方法仍然存在的不足之处是,由于网络训练过程是分开的,提取候选框、提取图像特征、利用支持向量机分类独立训练,大量的中间结果需要转存,无法整体训练参数,所以网络训练耗时久。

发明内容

[0005] 本发明的目的是针对上述现有技术的不足,提出一种基于多尺度特征学习的光学遥感图像目标检测方法。本发明与现有其他光学遥感图像目标检测方法相比,能够提取出光学遥感图像丰富的浅层细节特征,通过使用深层语义特征和浅层细节特征融合处理后的融合特征,可得到较高的光学遥感图像小目标检测精度。
[0006] 实现本发明目的的思路是:先构建一个共31层的多尺度特征网络并设置每层参数,构造训练样本集和训练类标集,再获取多尺度特征网络的深浅特征并进行融合,将融合后的特征进行分类与回归,训练好网络之后构造测试样本集,最后将测试样本集送入训练好的多尺度特征网络,得到光学遥感图像中的目标检测结果,整个训练过程共享参数。
[0007] 本发明实现的具体步骤包括如下:
[0008] (1)构建多尺度特征网络:
[0009] 构建一个31层的多尺度特征网络,网络中使用了23层卷积层、5层池化层、1层连接层,其结构依次为:输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第一个连接层→第四个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→第五个池化层→第十四个卷积层→第十五个卷积层→第十六个卷积层→第十七个卷积层→第十八个卷积层→第十九个卷积层→第二十个卷积层→第二十一个卷积层→第二十二个卷积层→第二十三个卷积层→分类回归层;
[0010] 各层的参数设置如下:
[0011] 将输入层特征映射图的总数设置为3个,输入特征映射图尺度设置为300×300个节点;
[0012] 将第一至第二个共两个卷积层的特征映射图的总数设置为64个,卷积核的尺度设置为3×3个节点;
[0013] 将第三至第四个共两个卷积层的特征映射图的总数设置为128个,卷积核的尺度设置为3×3个节点;
[0014] 将第五至第七个共三个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为3×3个节点;
[0015] 将第八至第十三个共六个卷积层的特征映射图的总数设置为512个,卷积核的尺度设置为3×3个节点;
[0016] 将第一个连接层的特征映射图的总数设置为512个,卷积核的尺度设置为3×3个节点;
[0017] 将第一至第五个共五个池化层的特征映射图的尺寸设置为2×2个节点;
[0018] 将第十四个卷积层的特征映射图的总数设置为1024个,卷积核的尺度设置为3×3个节点,卷积核的扩张系数设置为6个节点;
[0019] 将第十五个卷积层的特征映射图的总数设置为1024个,卷积核的尺度设置为1×1个节点;
[0020] 将第十六个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为1×1个节点;
[0021] 将第十七个卷积层的特征映射图的总数设置为512个,卷积核的尺度设置为3×3个节点;
[0022] 将第十八个卷积层的特征映射图的总数设置为128个,卷积核的尺度设置为1×1个节点;
[0023] 将第十九个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为3×3个节点;
[0024] 将第二十个卷积层的特征映射图的总数设置为128个,卷积核的尺度设置为1×1个节点;
[0025] 将第二十一个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为3×3个节点;
[0026] 将第二十二个卷积层的特征映射图的总数设置为128个,卷积核的尺度设置为1×1个节点;
[0027] 将第二十三个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为3×3个节点;
[0028] 将分类回归层中的分类特征映射图的尺寸设置为2个,回归特征映射图的尺寸设置为4个;
[0029] 将第七个卷积层的特征映射图每个特征单元的候选框总数设置为4个;
[0030] 将第一个连接层的特征映射图每个特征单元的候选框总数设置为4个;
[0031] 将第十五个卷积层的特征映射图每个特征单元的候选框总数设置为6个;
[0032] 将第十七个卷积层的特征映射图每个特征单元的候选框总数设置为6个;
[0033] 将第十九个卷积层的特征映射图每个特征单元的候选框总数设置为6个;
[0034] 将第二十三个卷积层的特征映射图每个特征单元的候选框总数设置为4个;
[0035] (2)构造训练样本集和训练类标集:
[0036] (2a)从遥感卫星上实时接收的光学遥感图像中,选取多幅含有飞机和舰船目标的光学遥感图像,作为待训练光学遥感图像,并对待训练光学遥感图像中的飞机和舰船目标进行类别和位置标注,其中位置标注为飞机和舰船目标的左上角横坐标值、左上角纵坐标值和右下角横坐标值、右下角纵坐标值;
[0037] (2b)用多幅已标注位置信息的待训练光学遥感图像中的右下角横坐标值减去左上角横坐标值,得到飞机和舰船目标宽度的像素点总数;用右下角纵坐标值减去左上角纵坐标值,得到飞机和舰船目标高度的像素点总数;
[0038] (2c)以待训练的光学遥感图像中每个飞机和舰船的中心位置为切割中心点,切割出300×300×3和500×500×3的两个小区域,将所有飞机和舰船的目标切割出的两个小区域组成切割小区域,将所有切割小区域中所有遥感图像的像素组成训练样本集;
[0039] (2d)将光学遥感图像上的飞机和舰船的位置以及之对应的类别,均映射到所有切割小区域上的飞机和舰船的位置以及之对应的类别,将映射后所有飞机和舰船的目标位置和类别组成小区域的类标,将所有切割小区域的类标组成训练类标集;
[0040] (3)获取多尺度特征网络的深浅特征:
[0041] 将训练样本集和训练类标集输入到多尺度特征网络,得到训练样本集在多尺度特征网络中的第七个卷积层、第三个池化层、第十个卷积层的浅层细节特征和第十五个卷积层、第十七个卷积层、第十九个卷积层、第二十三个卷积层的深层高级语义特征;
[0042] (4)对多尺度特征网络的深浅特征进行融合:
[0043] (4a)将第三个池化层、第十个卷积层的浅层细节特征通过第一个连接层在通道上进行叠加,然后将经过第一个连接层叠加后的浅层细节特征和第十五个卷积层、第十七个卷积层、第十九个卷积层、第二十三个卷积层的深层高级语义特征在通道上进行叠加,得到在多尺度特征网络中飞机和舰船目标信息更丰富的融合的特征;
[0044] (4b)将融合后的特征输入到多尺度特征网络中进行迭代训练,直至多尺度特征网络的损失值小于预先设定的极小值0.01,得到训练好的多尺度特征网络;
[0045] (4c)将训练样本集输入到训练好的多尺度特征网络中,得到最终训练好的网络;
[0046] (5)构造测试样本集:
[0047] 对多幅待检测的光学遥感图像进行重叠度为100的划窗切块,切割出300×300×3的所有小区域,将所有切割小区域中光学遥感图像的像素组成测试样本集;
[0048] (6)对测试样本集进行检测:
[0049] (6a)将测试样本集输入到训练好的多尺度特征网络中,得到测试样本集中每个样本的检测框和置信度;
[0050] (6b)对所有检测框和与置信度进行非极大值抑制处理,得到光学遥感图像中的目标检测结果;
[0051] 本发明与现有的技术相比具有以下优点:
[0052] 第一,由于本发明构建一个31层的多尺度特征网络,网络中使用了23层卷积层、5层池化层、1层连接层,分别对多尺度特征网络的深浅特征进行提取,尤其是第七个卷积层、第三个池化层、第十个卷积层的特征提取,克服了现有技术中浅层特征提取不充分的问题,使得本发明提取的小目标的浅层细节特征信息更丰富,提高了小目标检测的准确率。
[0053] 第二,由于本发明使用多尺度特征网络对多尺度特征网络提取的深浅特征融合处理,融合了训练样本集在网络训练中的第一个连接层的浅层细节特征和第十五个卷积层、第十七个卷积层、第十九个卷积层、第二十三个卷积层的深层高级语义特征,使用深浅特征融合处理后的融合特征提取不同尺度目标的特征,克服了现有技术中的不同尺度目标特征分布不均衡的问题,使得本发明提高了小目标和非小目标检测的准确性。
[0054] 第三,由于本发明使用多尺度特征网络在网络训练过程中共享参数整体训练网络,克服了现有技术中无法整体训练参数,大量的中间结果需要转存导致网络训练耗时久的问题,使得本发明训练网络更快收敛,提高了目标检测的速度。

附图说明

[0055] 图1是本发明的流程图;
[0056] 图2是本发明构建的多尺度特征网络结构示意图。

具体实施方式

[0057] 下面结合附图对本发明做进一步的详细描述。
[0058] 参照附图1,对本发明的步骤做进一步的详细描述。
[0059] 步骤1,构建多尺度特征网络。
[0060] 构建一个31层的多尺度特征网络,其结构依次为:输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第一个连接层→第四个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→第五个池化层→第十四个卷积层→第十五个卷积层→第十六个卷积层→第十七个卷积层→第十八个卷积层→第十九个卷积层→第二十个卷积层→第二十一个卷积层→第二十二个卷积层→第二十三个卷积层→分类回归层。
[0061] 附图2是本发明构建的多尺度特征网络结构示意图,包括23层卷积层、5层池化层、1层连接层。图2中的单向箭头表示特征在通道上的叠加,图2中的矩形块表示多尺度特征网络提取的卷积特征图,矩形块中的参数表示卷积特征图分辨率和卷积特征图的总数,例如,第七个卷积层矩形块中的参数76和256分别表示卷积特征图分辨率为76个像素,卷积特征图的总数为256个。
[0062] 各层的参数设置如下:
[0063] 将输入层特征映射图的总数设置为3个,输入特征映射图尺度设置为300×300个节点。
[0064] 将第一至第二个共两个卷积层的特征映射图的总数设置为64个,卷积核的尺度设置为3×3个节点。
[0065] 将第三至第四个共两个卷积层的特征映射图的总数设置为128个,卷积核的尺度设置为3×3个节点。
[0066] 将第五至第七个共三个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为3×3个节点。
[0067] 将第八至第十三个共六个卷积层的特征映射图的总数设置为512个,卷积核的尺度设置为3×3个节点。
[0068] 将第一个连接层的特征映射图的总数设置为512个,卷积核的尺度设置为3×3个节点。
[0069] 将第一至第五个共五个池化层的特征映射图的尺寸设置为2×2个节点。
[0070] 将第十四个卷积层的特征映射图的总数设置为1024个,卷积核的尺度设置为3×3个节点,卷积核的扩张系数设置为6个节点。
[0071] 将第十五个卷积层的特征映射图的总数设置为1024个,卷积核的尺度设置为1×1个节点。
[0072] 将第十六个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为1×1个节点。
[0073] 将第十七个卷积层的特征映射图的总数设置为512个,卷积核的尺度设置为3×3个节点。
[0074] 将第十八个卷积层的特征映射图的总数设置为128个,卷积核的尺度设置为1×1个节点。
[0075] 将第十九个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为3×3个节点。
[0076] 将第二十个卷积层的特征映射图的总数设置为128个,卷积核的尺度设置为1×1个节点。
[0077] 将第二十一个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为3×3个节点。
[0078] 将第二十二个卷积层的特征映射图的总数设置为128个,卷积核的尺度设置为1×1个节点。
[0079] 将第二十三个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为3×3个节点。
[0080] 将分类回归层中的分类特征映射图的尺寸设置为2个,回归特征映射图的尺寸设置为4个。
[0081] 将第七个卷积层的特征映射图每个特征单元的候选框总数设置为4个。
[0082] 将第一个连接层的特征映射图每个特征单元的候选框总数设置为4个。
[0083] 将第十五个卷积层的特征映射图每个特征单元的候选框总数设置为6个。
[0084] 将第十七个卷积层的特征映射图每个特征单元的候选框总数设置为6个。
[0085] 将第十九个卷积层的特征映射图每个特征单元的候选框总数设置为6个。
[0086] 将第二十三个卷积层的特征映射图每个特征单元的候选框总数设置为4个。
[0087] 步骤2,构造训练样本集和训练类标集:
[0088] 从遥感卫星上实时接收的光学遥感图像中,选取多幅含有飞机和舰船目标的光学遥感图像,作为待训练光学遥感图像,并对待训练光学遥感图像中的飞机和舰船目标进行类别和位置标注,其中位置标注为飞机和舰船目标的左上角横坐标值、左上角纵坐标值和右下角横坐标值、右下角纵坐标值。
[0089] 用多幅已标注位置信息的待训练光学遥感图像中的右下角横坐标值减去左上角横坐标值,得到飞机和舰船目标宽度的像素点总数;用右下角纵坐标值减去左上角纵坐标值,得到飞机和舰船目标高度的像素点总数。
[0090] 以待训练的光学遥感图像中每个飞机和舰船的中心位置为切割中心点,切割出300×300×3和500×500×3的两个小区域,将所有飞机和舰船的目标切割出的两个小区域组成切割小区域,将所有切割小区域中所有遥感图像的像素组成训练样本集。
[0091] 将光学遥感图像上的飞机和舰船的位置以及之对应的类别,均映射到所有切割小区域上的飞机和舰船的位置以及之对应的类别,将映射后所有飞机和舰船的目标位置和类别组成小区域的类标,将所有切割小区域的类标组成训练类标集。
[0092] 步骤3,获取多尺度特征网络的深浅特征:
[0093] 将训练样本集和训练类标集输入到多尺度特征网络,得到训练样本集在多尺度特征网络中的第七个卷积层、第三个池化层、第十个卷积层的浅层细节特征和第十五个卷积层、第十七个卷积层、第十九个卷积层、第二十三个卷积层的深层高级语义特征。
[0094] 步骤4,对多尺度特征网络的深浅特征进行融合:
[0095] 将第三个池化层、第十个卷积层的浅层细节特征通过第一个连接层在通道上进行叠加,然后将经过第一个连接层叠加后的浅层细节特征和第十五个卷积层、第十七个卷积层、第十九个卷积层、第二十三个卷积层的深层高级语义特征在通道上进行叠加,得到在多尺度特征网络中飞机和舰船目标信息更丰富的融合的特征。
[0096] 将融合后的特征输入到多尺度特征网络中进行迭代训练,直至多尺度特征网络的损失值小于预先设定的极小值0.01,得到训练好的多尺度特征网络。
[0097] 将训练样本集输入到训练好的多尺度特征网络中,得到最终训练好的网络。
[0098] 步骤5,构造测试样本集:
[0099] 对多幅待检测的光学遥感图像进行重叠度为100的划窗切块,切割出300×300×3的所有小区域,将所有切割小区域中光学遥感图像的像素组成测试样本集。
[0100] 步骤6,对测试样本集进行检测:
[0101] 将测试样本集输入到训练好的多尺度特征网络中,得到测试样本集中每个样本的检测框和置信度。
[0102] 对所有检测框和与置信度进行非极大值抑制处理,得到光学遥感图像中的目标检测结果。
[0103] 所述的非极大值抑制处理是指:对所有检测框按照置信度从高到低进行排序,保留检测框之间重叠度低和置信度高的候选框,丢弃检测框之间重叠度高和置信度低的候选框。
[0104] 下面结合仿真实验对本发明的效果做进一步的说明。
[0105] 1.仿真条件:
[0106] 本发明的仿真实验是在主频2.40GHz*16的Intel(R)Xeon(R)E5-2630 CPU、内存64GB的硬件环境和caffe的软件环境下进行的。
[0107] 2.仿真内容与结果分析:
[0108] 使用本发明的方法和现有技术的单次多框检测网络SSD(Single Shot MultiBox Detect)的方法,分别对从遥感卫星上接收的山东日照港地区光学遥感图像、台湾高雄机场地区光学遥感图像进行目标检测。
[0109] 本发明仿真实验中训练网络的相关参数的设置如下表1所示:
[0110] 表1网络训练相关参数设置表
[0111]网络参数 单次多框检测网络 本发明
学习率 0.0004 0.0004
迭代次数 80000 80000
批数量 16 16
[0112] 本发明的仿真实验的内容是,分别采用本发明的方法和一个现有技术的单次多框检测网络SSD(Single Shot MultiBox Detect)的方法,从山东日照港地区光学遥感图像中检测出舰船目标,从台湾高雄机场地区光学遥感图像中检测出飞机目标。
[0113] 采用现有技术的单次多框检测网络SSD(Single Shot MultiBox Detect)中的单类平均精度AP(Average Precision)指标衡量舰船和飞机每类目标检测的准确率,多类平均精度mAP(mean Average Precision)指标衡量舰船和飞机两类目标检测的准确率,山东日照港地区光学遥感图像中的舰船目标检测的平均精度AP(Average Precision)、台湾高雄机场地区光学遥感图像中的飞机目标检测的平均精度AP(Average Precision)、山东日照港地区光学遥感图像和台湾高雄机场地区光学遥感图像中的舰船和飞机两类目标检测的平均精度mAP(mean Average Precision),上述舰船和飞机目标检测结果的衡量指标对比如下表2所示:
[0114] 表2.平均精度对比结果一览表
[0115]   单次多框检测网络 本发明 提高的平均精度舰船(AP) 40.5% 50.2% 9.7%
飞机(AP) 82.5% 88.2% 5.7%
舰船和飞机(mAP) 62.1% 69.8% 7.7%
[0116] 从表2中可以可看出,单次多框检测网络SSD(Single Shot MultiBox Detect)方法检测舰船和飞机两类目标的平均精度mAP(mean Average Precision)为62.1%,本发明方法检测舰船和飞机两类目标的平均精度mAP(mean Average Precision)为69.8%,本发明方法与单次多框检测网络SSD(Single Shot MultiBox Detect)方法相比,检测飞机目标的平均精度AP(Average Precision)提高了5.7%,检测舰船目标的平均精度AP(Average Precision)提高了9.7%,检测舰船和飞机两类目标的平均精度mAP(mean Average Precision)提高了7.7%,检测目标的平均精度较高。
[0117] 综上所述,由仿真实验对比结果可知本发明方法比现有技术的单次多框检测网络SSD(Single Shot MultiBox Detect)方法检测舰船和飞机目标的平均精度高。通过提取光学遥感图像丰富的浅层细节信息,保证了小目标特征信息的充分性,通过融合光学遥感图像多尺度的深层语义信息和浅层细节信息,更好的描述了光学遥感图像中目标的多尺度信息,在整个网络训练过程中共享参数,目标检测速度快。