基于SF-RCNN的光学遥感图像目标检测方法转让专利

申请号 : CN201810112969.6

文献号 : CN108491854B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 焦李成刘芳杨康郭雨薇李玲玲孙其功杨淑媛侯彪张丹唐旭屈嵘

申请人 : 西安电子科技大学

摘要 :

本发明公开了一种基于全卷积图像分割的深度卷积网络SF‑RCNN的光学遥感图像目标检测方法,主要解决现有技术中光学遥感图像中陆地飞机与水中舰船检测正确率低虚警率高的问题。本发明的具体步骤如下:(1)构造测试数据集;(2)构造训练数据集(3)搭建基于全卷积图像分割的深度卷积网络SF‑RCNN目标检测网络;(4)利用训练数据集训练深度卷积网络SF‑RCNN;(5)利用训练好的深度卷积网络SF‑RCNN对测试数据集进行目标检测;(6)输出测试结果。本发明具有对光学遥感图像进行水域分割,减低目标检测虚警率,提高目标检测准确率高的优点。

权利要求 :

1.一种基于全卷积语义分割的深度卷积网络SF-RCNN的光学遥感图像目标检测方法,其特征在于,该方法是在深度卷积网络中使用全卷积语义分割子网络,提取目标检测特征的同时也提取了语义分割的特征,用全卷积语义分割子网络的预测分割图调整目标检测子网络的检测结果,包括如下步骤:(1)构造测试数据集:

(1a)用窗口大小为416×416×3像素,且步长为316×316×3像素的划窗,对多幅待检测光学遥感图像进行逐一切割,得到多个大小为416×416×3像素的切割数据块,保存每一个切割数据块对应划窗步数;

(1b)按照测试数据集命名规则,对每个切割数据块进行命名;

(1c)利用归一化公式,对命名后的每一个切割数据块进行归一化处理;

(2)构造训练数据集:

(2a)从遥感卫星上实时接收的光学遥感图像中,选取多幅标注陆地飞机和水中舰船坐标的光学遥感图像,每幅光学遥感图像附有一张相对应的水域分割图,以每个飞机和舰船目标为切割中心点,切割出大小为416×416×3像素的切割数据块和相对应的416×416×1像素分割特征图,得到多个切割数据块与多个对应分割特征图;

(2b)将光学遥感图像上飞机和舰船坐标的位置以及对应的类别,均映射到所有切割数据块上飞机和舰船坐标的位置以及对应的类别,将映射后所有目标的位置和类别组成切割数据块的类标;

(2c)对切割数据块进行数据增强;

(3)构建深度卷积网络SF-RCNN:

(3a)搭建深度卷积网络SF-RCNN中的目标检测子网络,该子网络为二十二层,其结构依次为:输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第四个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→RPN提取候选框层→ROI池化层→第一个全连接层→第二个全连接层→分类回归层;

目标检测子网络各层的参数如下:

将输入层特征映射图的总数设置为3个,输入特征映射图尺度设置为416×416个节点;

将第一至第二个共两个卷积层的特征映射图的总数设置为64个,卷积核的尺度设置为

3×3个节点;

将第三至第四个共两个卷积层的特征映射图的总数设置为128个,卷积核的尺度设置为3×3个节点;

将第五至第七个共三个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为3×3个节点;

将第八至第十三个共六个卷积层的特征映射图的总数设置为512个,卷积核的尺度设置为3×3个节点;

将第一至第四个共四个池化层的特征映射图的尺寸设置为2×2个节点;

将ROI池化层的特征映射图的输出尺寸设置为6×6个节点;

将第一个全连接层的特征映射图的总数设置为4096;

将第二个全连接层的特征映射图的总数设置为4096;

将RPN提取候选框层中的分类特征映射图的尺寸设置为26×26个节点,分类特征映射图的总数为18个,回归特征映射图的尺寸设置为26×26个节点,回归特征映射图的总数设置为36;

将分类回归层中的分类特征映射图的尺寸设置为2个,回归特征映射图的尺寸设置为4个;

(3b)搭建深度卷积网络SF-RCNN中的全卷积语义分割子网络,该子网络为二十一层,其结构依次为:输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第三个池化层→第六个卷积层→第四个池化层→第七个卷积层→第五个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第一个特征映射图,第四个池化层→第十二个卷积层→第二个特征映射图,第三个池化层→第十一个卷积层→第三个特征映射图,第一个特征映射图→第一个反卷积层→与第二个特征映射图级联→第二个反卷积层→第七个特征图→与第三个特征映射图级联→第三个反卷积层→语义分割层;

全卷积语义分割子网络各层的参数如下:

将输入层特征映射图的总数设置为3个,输入特征映射图尺度设置为416×416个节点;

将第一至第二个共两个卷积层的特征映射图的总数设置为64个,卷积核的尺度设置为

3×3个节点;

将第三至第四个共两个卷积层的特征映射图的总数设置为128个,卷积核的尺度设置为3×3个节点;

将第五个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为3×3个节点;

将第六个卷积层的特征映射图的总数设置为512个,卷积核的尺度设置为3×3个节点;

将第七个卷积层的特征映射图的总数设置为512个,卷积核的尺度设置为3×3个节点;

将第八个卷积层和第九个卷积层的特征映射图的总数设置为4096个,卷积核的尺度设置为1×1个节点;

将第十个卷积层的特征映射图的总数设置为2个,卷积核的尺度设置为1×1个节点;

将第十一个卷积层和第十二个两个卷积层的特征映射图的总数设置为2个,卷积核的尺度设置为3×3个节点;

将第一至第五个共五个池化层的特征映射图的尺寸设置为2×2个节点;

将第一个至第二个共两个反卷积层的特征映射图的总数设置为2个,反卷积核尺度设置为4×4个节点;

将第三个反卷积层的特征映射图的总数设置为2个,将卷积核尺度设置为16×16个节点;

将第一个特征映射图的总数设置为2个,输入特征映射图尺度设置为13×13个节点;

将第二个特征映射图的总数设置为2个,输入特征映射图尺度设置为26×26个节点;

将第三个特征映射图的总数设置为2个,输入特征映射图尺度设置为52×52个节点;

将语义分割层特征映射图的总数设置为2个,输入特征映射图尺度设置为416×416个节点;

(3c)用深度卷积网络的全卷积语义分割子网络,对输入到深度卷积网络SF-RCNN的光学遥感图像中的水与陆地分割出来,得到与原始数据尺寸大小416×416×3像素相同的水标注为1陆地为0的预测分割图;

(4)用训练数据集对深度卷积网络SF-RCNN进行训练,得到训练好的深度卷积网络SF-RCNN;

(5)对测试数据集进行检测:

(5a)将测试数据集中的数据块,依次输入到训练好的深度卷积网络SF-RCNN中,得到测试数据集中每个数据块的候选框、候选框对应的得分、候选框对应的目标类别、数据块预测分割图;

(5b)保留所有距离候选框0.5倍范围内,含有百分之10以上水,且得分高于0.5的目标类别为舰船的候选框,保留所有距离候选框0.5倍范围内,不含有水,且得分高于0.5的目标类别为飞机的候选框,丢弃其余候选框;

(5c)对所有保留候选框进行非极大值抑制NMS处理,得到光学遥感图像的检测结果。

2.根据权利要求1所述的基于全卷积语义分割的深度卷积网络SF-RCNN的光学遥感图像目标检测方法,其特征在于,步骤(1b)中所述测试数据集命名规则是指,待切割的每个检测光学遥感图像的文件名与切割数据块对应划窗步数使用英文下划线“_”符号连接,构成.jpg的文件格式。

3.根据权利要求1所述的基于全卷积语义分割的深度卷积网络SF-RCNN的光学遥感图像目标检测方法,其特征在于,步骤(1c)中所述的归一化公式如下:其中,yi表示切割数据块归一化后的第i个像素点的值,xi表示切割数据块的第i个像素点的值,xmin表示切割数据块所有像素点中的最小值,xmin表示切割数据块所有像素点中的最大值。

4.根据权利要求1所述的基于全卷积语义分割的深度卷积网络SF-RCNN的光学遥感图像目标检测方法,其特征在于,步骤(2c)中所述数据增强是指:对切割数据块依次进行图像水平镜像、垂直镜像、翻转、平移、对比度、亮度处理操作。

5.根据权利要求1所述的基于全卷积语义分割的深度卷积网络SF-RCNN的光学遥感图像目标检测方法,其特征在于,步骤(5c)中所述非极大值抑制NMS处理是指:对所有检测框,按照得分从高到低进行排序,保留检测框之间重叠度低和得分高的候选框,丢弃检测框之间重叠度高和得分低的候选框。

说明书 :

基于SF-RCNN的光学遥感图像目标检测方法

技术领域

[0001] 本发明属于图像处理技术领域,更进一步涉及光学遥感图像目标检测技术领域中的一种基于全卷积语义分割的深度卷积网络SF-RCNN(Towards Object Detection with Fully convolutional networks for semantic segmentation)的光学遥感图像目标检测方法。本发明可应用于对光学遥感图像的不同区域内的陆地飞机与水中舰船的地物目标检测。

背景技术

[0002] 目标检测技术是计算机视觉领域的核心问题之一,遥感目标检测是以遥感卫星捕捉到的影像为数据源,采用图像处理技术对影像中感兴趣目标进行定位和分类。遥感目标检测是遥感应用技术中重要的一环,可以在高科技军事对抗中,捕捉攻击目标,提供精确的位置信息等,在军事领域有至关重要的意义。
[0003] Shaoqing Ren在其发表的论文“Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks”(神经信息处理系统进展大会NIPS(Neural Information Processing Systems蒙特利尔国际会议论文2015年)中提出了一种基于区域生成网络RPN(Region Proposal Networks)的目标检测方法。该方法首先利用基础网络VGG-16卷积特征层来生成候选区域,即训练区域生成网络RPN,快速的生成高质量的候选框,取代了原来的选择性搜索SS(Selective Search);然后根据预测的高质量的候选框,在卷积的高级语义特征上进行感兴趣区域ROI(Region of Interest)池化,将池化后的特征接全连接层,分别预测候选框的类别和位置偏移;最后根据位置偏移、候选框以及类别进行非极大值抑制NMS(Non Maximum Suppression),得到最后的检测结果。该方法能够准确丰富的表示目标的特征,并且能够很好地提取目标候选框,通过共享卷积参数减少候选框提取时间等优点,但是,该方法仍然存在不足之处是,由于光学遥感图像尺寸大、分辨率低,尤其是在舰船的检测中,舰船目标小并且舰船的特征经常会与一些长条形的建筑或者大型车辆集装箱的特征相似,导致该方法在进行光学遥感图像目标检测时常常会将陆地上的物体误检测为舰船。
[0004] 中国科学院大学在其申请的专利文献“一种基于深度学习的鲁棒性舰船目标检测方法”(专利申请号:CN201710677418.X,公开号:CN107563303A)中提出了一种深度学习的遥感图像目标检测方法。该方法首先对训练样本进行处理并训练,得到训练分类器;之后对待检测的遥感图像进行预处理并使用随机森林进行海陆分割,得到海陆分割区域,并对不存在舰船的岸上区域进行遮挡;然后训练特征提取网络,并利用海陆分割区域的旋转不变深度特征,通过多层卷积得到特征图并用深层卷积预测目标;最后利用分类激活特征图的方法得到舰船这一类别的响应图,对得到的响应图求连通域,得到初步检测框,对舰船的参数进行估计,得到带有检测框的结果图。该方法通过训练分类器进行海陆分离来辅助遥感图像的特征进行检测,能够预测鲁棒性的目标检测的结果,减少由并排摆放引发的舰船漏检。但是,该方法仍然存在的不足之处是,第一,在目标检测中将检测过程分成了多个部分,检测与分割使用不同网络,导致该方法实施复杂度高。第二,由于光学遥感图像噪声比较大,该方法中使用的分割方法容易过拟合,导致分割效果差。

发明内容

[0005] 本发明的目的是针对上述现有技术的不足,提出一种基于SF-RCNN的光学遥感图像陆地飞机和水中舰船目标检测方法。本发明与现有其他光学遥感图像目标检测方法相比,能够将全卷积语义分割网络加入到深度卷积目标检测网络中辅助检测网络以提高检测准确率,并且实现检测网络与语义分割网络一体化。
[0006] 实现本发明目的的思路是:先构造测试数据集和训练数据集,再搭建一个共24层的基于全卷积语义分割的深度卷积网络并设置每层参数,用训练数据集对SF-RCNN网络进行训练,得到训练好的SF-RCNN网络,最后将测试样本集送入训练好的SF-RCNN网络得到光学遥感图像的最终检测结果。
[0007] 本发明的具体步骤包括如下:
[0008] (1)构造测试数据集:
[0009] (1a)用窗口大小为416×416×3像素,且步长为316×316×3像素的划窗,对多幅待检测光学遥感图像进行逐一切割,得到多个大小为416×416×3像素的切割数据块,保存每一个切割数据块对应划窗步数;
[0010] (1b)按照测试数据集命名规则,对每个切割数据块进行命名;
[0011] (1c)利用归一化公式,对命名后的每一个切割数据块进行归一化处理;
[0012] (2)构造训练数据集:
[0013] (2a)从遥感卫星上实时接收的光学遥感图像中,选取多幅标注陆地飞机和水中舰船坐标的光学遥感图像,每幅光学遥感图像附有一张相对应的水域分割图,以每个飞机和舰船目标为切割中心点,切割出大小为416×416×3像素的切割数据块和相对应的416×416×1像素分割特征图,得到多个切割数据块与多个对应分割特征图;
[0014] (2b)将光学遥感图像上飞机和舰船坐标的位置以及对应的类别,均映射到所有切割数据块上飞机和舰船坐标的位置以及对应的类别,将映射后所有目标的位置和类别组成切割数据块的类标;
[0015] (2c)对切割数据块进行数据增强;
[0016] (3)构建深度卷积网络SF-RCNN:
[0017] (3a)搭建深度卷积网络SF-RCNN中的目标检测子网络,该子网络为二十二层,其结构依次为:输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第四个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→RPN提取候选框层→ROI池化层→第一个全连接层→第二个全连接层→分类回归层;
[0018] 目标检测子网络各层的参数如下:
[0019] 将输入层特征映射图的总数设置为3个,输入特征映射图尺度设置为416×416个节点;
[0020] 将第一至第二个共两个卷积层的特征映射图的总数设置为64个,卷积核的尺度设置为3×3个节点;
[0021] 将第三至第四个共两个卷积层的特征映射图的总数设置为128个,卷积核的尺度设置为3×3个节点;
[0022] 将第五至第七个共三个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为3×3个节点;
[0023] 将第八至第十三个共六个卷积层的特征映射图的总数设置为512个,卷积核的尺度设置为3×3个节点;
[0024] 将第一至第四个共四个池化层的特征映射图的尺寸设置为2×2个节点;
[0025] 将ROI池化层的特征映射图的输出尺寸设置为6×6个节点;
[0026] 将第一个全连接层的特征映射图的总数设置为4096;
[0027] 将第二个全连接层的特征映射图的总数设置为4096;
[0028] 将RPN分类回归层中的分类特征映射图的尺寸设置为26×26个节点,总数为18个,回归特征映射图的尺寸设置为26×26个节点,总数设置为36;
[0029] 将分类回归层中的分类特征映射图的尺寸设置为2个,回归特征映射图的尺寸设置为4个;
[0030] (3b)搭建深度卷积网络SF-RCNN中的全卷积语义分割子网络,该子网络为二十一层,其结构依次为:输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第三个池化层→第六个卷积层→第四个池化层→第七个卷积层→第五个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第一个特征映射图,第四个池化层→第十二个卷积层→第二个特征映射图,第三个池化层→第十一个卷积层→第三个特征映射图,第一个特征映射图→第一个反卷积层→与第二个特征映射图级联→第二个反卷积层→第七个特征图→与第三个特征映射图级联→第三个反卷积层→语义分割层;
[0031] 全卷积语义分割子网络各层的参数如下:
[0032] 将输入层特征映射图的总数设置为3个,输入特征映射图尺度设置为416×416个节点;
[0033] 将第一至第二个共两个卷积层的特征映射图的总数设置为64个,卷积核的尺度设置为3×3个节点;
[0034] 将第三至第四个共两个卷积层的特征映射图的总数设置为128个,卷积核的尺度设置为3×3个节点;
[0035] 将第五个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为3×3个节点;
[0036] 将第六个卷积层的特征映射图的总数设置为512个,卷积核的尺度设置为3×3个节点;
[0037] 将第七个卷积层的特征映射图的总数设置为512个,卷积核的尺度设置为3×3个节点;
[0038] 将第八个卷积层和第九个卷积层的特征映射图的总数设置为4096个,卷积核的尺度设置为1×1个节点;
[0039] 将第十个卷积层的特征映射图的总数设置为2个,卷积核的尺度设置为1×1个节点;
[0040] 将第十一个卷积层和第十二个两个卷积层的特征映射图的总数设置为2个,卷积核的尺度设置为3×3个节点;
[0041] 将第一至第五个共五个池化层的特征映射图的尺寸设置为2×2个节点;
[0042] 将第一个至第二个共两个反卷积层的特征映射图的总数设置为2个,反卷积核尺度设置为4×4个节点;
[0043] 将第三个反卷积层的特征映射图的总数设置为2个,发卷积核尺度设置为16×16个节点;
[0044] 将第一个特征映射图的总数设置为2个,输入特征映射图尺度设置为13×13个节点;
[0045] 将第二个特征映射图的总数设置为2个,输入特征映射图尺度设置为26×26个节点;
[0046] 将第三个特征映射图的总数设置为2个,输入特征映射图尺度设置为52×52个节点;
[0047] 将语义分割层特征映射图的总数设置为2个,输入特征映射图尺度设置为416×416个节点;
[0048] (3c)用深度卷积网络的全卷积语义分割子网络,对输入到深度卷积网络SF-RCNN的光学遥感图像中的水与陆地分割出来,得到与原始数据尺寸大小416×416×3像素相同的水标注为1陆地为0的预测分割图;
[0049] (4)用训练数据集对深度卷积网络SF-RCNN进行训练,得到训练好的深度卷积网络SF-RCNN;
[0050] (5)对测试数据集进行检测:
[0051] (5a)将测试数据集中的数据块,依次输入到训练好的深度卷积网络SF-RCNN中,得到测试数据集中每个数据块的候选框、候选框对应的得分、候选框对应的目标类别、数据块预测分割图;
[0052] (5b)保留所有距离候选框0.5倍范围内,含有百分之10以上水,且得分高于0.5的目标类别为舰船的候选框,保留所有候距离候选框0.5倍范围内,不含有水,且得分高于0.5的目标类别为飞机的候选框,丢弃其余候选框;
[0053] (5c)对所有保留候选框进行非极大值抑制NMS处理,得到光学遥感图像的检测结果。
[0054] 本发明与现有的技术相比具有以下优点:
[0055] 第一,由于本发明搭建了全卷积语义分割的深度卷积网络SF-RCNN,网络中的全卷积语义分割子网络,提取目标检测特征的同时也提取了语义分割的特征,用全卷积语义分割子网络的语义分割结果调整分类回归结果,克服了现有技术在目标检测中容易陆地上的物体误检测为舰船,水域中的物体误检测为飞机,目标检测的虚警率高、准确率低的问题,使得本发明降低了飞机与舰船目标检测的虚警率,提高了飞机与舰船目标检测的准确率;
[0056] 第二,由于本发明使用深度卷积网络SF-RCNN的全卷积语义分割子网络,对光学遥感图像进行语义分割,克服了现有技术对光学遥感图像进行语义分割时效果差,且使用语义分割调整目标检测结果的实施复杂度高的问题,使得本发明在提高光学遥感图像语义分割效果的同时,将语义分割与目标检测融合到同一个网络,降低了使用语义分割调整目标检测结果的实施复杂度。

附图说明

[0057] 图1是本发明的流程图;
[0058] 图2是本发明中深度卷积网络SF-RCNN的目标检测网络图。

具体实施方式

[0059] 下面结合附图对本发明的作进一步详细描述。
[0060] 参照图1,对本发明的具体实现步骤作进一步详细描述。
[0061] 步骤1,构造测试数据集。
[0062] 用窗口大小为416×416×3像素,且步长为316×316×3像素的划窗,对多幅待检测光学遥感图像进行逐一切割,得到多个大小为416×416×3像素的切割数据块并对保存对应划窗步数。
[0063] 按照测试数据集命名规则,对每个切割数据块进行命名,测试数据集命名规则是指,待切割的每个检测光学遥感图像的文件名与切割数据块对应划窗步数使用英文下划线“_”符号连接,构成.jpg的文件格式。
[0064] 利用归一化公式,对命名后的每一个切割数据块进行归一化处理。归一化公式如下:
[0065]
[0066] 其中,yi表示切割数据块归一化后的第i个像素点的值,xi表示切割数据块的第i个像素点的值,xmin表示切割数据块所有像素点中的最小值,xmin表示切割数据块所有像素点中的最小值。
[0067] 步骤2,构造训练数据集。
[0068] 从遥感卫星上实时接收的光学遥感图像中,选取多幅标注陆地飞机和水中舰船坐标的光学遥感图像,每幅光学遥感图像附有一张相对应的水域分割图,以每个飞机和舰船目标为切割中心点,切割出大小为416×416×3像素的切割数据块和相对应的416×416×1像素分割特征图,得到多个切割数据块与多个对应分割特征图。
[0069] 将光学遥感图像上飞机和舰船坐标的位置以及对应的类别,均映射到所有切割数据块上飞机和舰船坐标的位置以及对应的类别,将映射后所有目标的位置和类别组成切割数据块的类标。
[0070] 对切割数据块进行数据增强,数据增强是指:对切割数据块依次进行图像水平镜像、垂直镜像、翻转、平移、对比度、亮度处理操作。
[0071] 步骤3,构建深度卷积网络SF-RCNN:
[0072] 搭建深度卷积网络SF-RCNN中的目标检测子网络,该子网络为二十二层,其结构依次为:输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第四个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→RPN提取候选框层→ROI池化层→第一个全连接层→第二个全连接层→分类回归层。
[0073] 目标检测子网络各层的参数如下。
[0074] 将输入层特征映射图的总数设置为3个,输入特征映射图尺度设置为416×416个节点。
[0075] 将第一至第二个共两个卷积层的特征映射图的总数设置为64个,卷积核的尺度设置为3×3个节点。
[0076] 将第三至第四个共两个卷积层的特征映射图的总数设置为128个,卷积核的尺度设置为3×3个节点。
[0077] 将第五至第七个共三个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为3×3个节点。
[0078] 将第八至第十三个共六个卷积层的特征映射图的总数设置为512个,卷积核的尺度设置为3×3个节点。
[0079] 将第一至第四个共四个池化层的特征映射图的尺寸设置为2×2个节点。
[0080] 将ROI池化层的特征映射图的输出尺寸设置为6×6个节点。
[0081] 将第一个全连接层的特征映射图的总数设置为4096。
[0082] 将第二个全连接层的特征映射图的总数设置为4096。
[0083] 将RPN分类回归层中的分类特征映射图的尺寸设置为26×26个节点,总数为18个,回归特征映射图的尺寸设置为26×26个节点,总数设置为36。
[0084] 将分类回归层中的分类特征映射图的尺寸设置为2个,回归特征映射图的尺寸设置为4个。
[0085] 搭建深度卷积网络SF-RCNN中的全卷积语义分割子网络,该子网络为二十一层,其结构依次为:输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第三个池化层→第六个卷积层→第四个池化层→第七个卷积层→第五个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第一个特征映射图,第四个池化层→第十二个卷积层→第二个特征映射图,第三个池化层→第十一个卷积层→第三个特征映射图,第一个特征映射图→第一个反卷积层→与第二个特征映射图级联→第二个反卷积层→第七个特征图→与第三个特征映射图级联→第三个反卷积层→语义分割层。
[0086] 全卷积语义分割子网络各层的参数如下。
[0087] 将输入层特征映射图的总数设置为3个,输入特征映射图尺度设置为416×416个节点。
[0088] 将第一至第二个共两个卷积层的特征映射图的总数设置为64个,卷积核的尺度设置为3×3个节点。
[0089] 将第三至第四个共两个卷积层的特征映射图的总数设置为128个,卷积核的尺度设置为3×3个节点。
[0090] 将第五个卷积层的特征映射图的总数设置为256个,卷积核的尺度设置为3×3个节点。
[0091] 将第六个卷积层的特征映射图的总数设置为512个,卷积核的尺度设置为3×3个节点。
[0092] 将第七个卷积层的特征映射图的总数设置为512个,卷积核的尺度设置为3×3个节点。
[0093] 将第八个卷积层和第九个卷积层的特征映射图的总数设置为4096个,卷积核的尺度设置为1×1个节点。
[0094] 将第十个卷积层的特征映射图的总数设置为2个,卷积核的尺度设置为1×1个节点。
[0095] 将第十一个卷积层和第十二个两个卷积层的特征映射图的总数设置为2个,卷积核的尺度设置为3×3个节点。
[0096] 将第一至第五个共五个池化层的特征映射图的尺寸设置为2×2个节点。
[0097] 将第一个至第二个共两个反卷积层的特征映射图的总数设置为2个,反卷积核尺度设置为4×4个节点。
[0098] 将第三个反卷积层的特征映射图的总数设置为2个,发卷积核尺度设置为16×16个节点。
[0099] 将第一个特征映射图的总数设置为2个,输入特征映射图尺度设置为13×13个节点。
[0100] 将第二个特征映射图的总数设置为2个,输入特征映射图尺度设置为26×26个节点。
[0101] 将第三个特征映射图的总数设置为2个,输入特征映射图尺度设置为52×52个节点。
[0102] 将语义分割层特征映射图的总数设置为2个,输入特征映射图尺度设置为416×416个节点。
[0103] 用深度卷积网络的全卷积语义分割子网络,对输入到深度卷积网络SF-RCNN的光学遥感图像中的水与陆地分割出来,得到与原始数据尺寸大小416×416×3像素相同的水标注为1陆地为0的预测分割图。
[0104] 步骤4,用训练数据集对深度卷积网络SF-RCNN进行训练,得到训练好的深度卷积网络SF-RCNN。
[0105] 步骤5,对测试数据集进行检测。
[0106] 将测试数据集中的数据块,依次输入到训练好的深度卷积网络SF-RCNN中,得到测试数据集中每个数据块的候选框、候选框对应的得分、候选框对应的目标类别、数据块预测分割图。
[0107] 保留所有距离候选框0.5倍范围内,含有百分之10以上水,且得分高于0.5的目标类别为舰船的候选框,保留所有候距离候选框0.5倍范围内,不含有水,且得分高于0.5的目标类别为飞机的候选框,丢弃其余候选框。
[0108] 对所有保留候选框进行非极大值抑制NMS处理,得到光学遥感图像的检测结果。非极大值抑制NMS处理是指:对所有检测框按照得分从高到低进行排序,保留检测框之间重叠度低和得分高的候选框,丢弃检测框之间重叠度高和得分低的候选框。
[0109] 本发明的效果可以通过以下仿真实验进一步说明:
[0110] 1.仿真条件:
[0111] 本发明仿真实验的硬件平台为:Intel(R)Xeon(R)CPU Z480,2.40GHz*16,内存为64G。
[0112] 本发明仿真实验的软件平台为:tensorflow1.3。
[0113] 2.仿真内容与结果:
[0114] 本发明的仿真实验是分别采用本发明的方法与现有技术的faster-rcnn的方法,对QuickBird卫星中接收的珠江三角洲地区光学遥感图像进行目标检测。
[0115] 表1中是本发明的仿真实验中本发明方法与现有技术的faster-rcnn的学习率、迭代次数等实验网络参数设置:
[0116] 表1实验网络参数设置一览表
[0117] 网络参数 faster-rcnn 本发明方法学习率 0.001 0.001
迭代次数 40000 30000 40000 30000 40000 30000 40000 30000
[0118] 下面采用准确率和平均精度mAP(mean average precision)两个指标,分别对本发明与现有技术Faster R-CNN的两种光学遥感图像目标检测结果进行评价,利用下式,分别计算本发明与现有技术Faster R-CNN的光学遥感图像目标检结果的准确率和平均精度mAP:
[0119] 召回率=总检测正确目标数/总实际目标数
[0120] 准确率=总检测正确目标数/总检测目标数
[0121] 绘制准确率-召回率曲线,根据曲线的面积得到目标检测的检测精度AP,将多个类别的AP求均值得到平均精度mAP。
[0122] 表2中分别列出了本发明与现有技术Faster R-CNN的飞机测试准确率、舰船测试准确率、mAP指标。
[0123] 表2仿真实验测试结果一览表
[0124] 测试集准确率 Faster R-CNN 本发明方法飞机 0.9562 0.9658
舰船 0.5646 0.6156
mAP 0.7604 0.7907
[0125] 从表2可见现有技术Faster R-CNN的检测平均精度为76.04%,本发明方法的检测平均精度为79.09%,本发明的仿真实验目标检测结果较好。
[0126] 综上所述,本发明通过在深度卷积神经网络目标检测与分类的基础上添加了全卷积语义分割模块,有效的提高了光学遥感图像飞机舰船检测与分类的精度。