一种基于多层次特征的SAR目标识别方法转让专利
申请号 : CN202110133954.X
文献号 : CN112800980B
文献日 : 2021-12-07
发明人 : 盛庆红 , 陈建强 , 王博 , 李惠堂 , 顾约翰 , 曾玉娟 , 陈梓昂
申请人 : 南京航空航天大学 , 西安空间无线电技术研究所
摘要 :
本发明公开一种基于多层次特征的SAR目标识别方法，首先建立SAR目标图像特征的模式表达并进行特征提取，得到目标的特征向量及特征显著图，将提取的特征向量融合得到浅层特征；然后将原始的目标图像与提取的图像特征显著图按通道连结得到输入图，并利用深度卷积网络提取输入图的特征，提取中间卷积层输出作为中层特征，提取最后全连接层输出作为深层特征；接着将得到的浅层、中层及深层特征通过进一步自适应权值融合；最后利用训练好的机器学习分类模型对融合后的特征进行分类识别，得到最终的识别结果。本发明通过结合浅层、中层及深层特征的各自优势，充分发挥三者间的协同作用，提高了多层次特征的利用能力及目标识别的精度。
权利要求 :
1.一种基于多层次特征的SAR目标识别方法，其特征在于，包括以下步骤：(1)建立SAR目标图像特征的模式表达并进行特征提取，得到目标的特征向量及特征显著图，通过典型相关分析将提取的特征向量融合得到浅层特征；
(2)将原始的目标图像与提取的图像特征显著图按通道连结得到输入图，并利用迁移学习将训练好的深度卷积网络模型提取输入图的特征，提取中间卷积层输出作为中层特征，提取最后全连接层输出作为深层特征；
(3)将得到的浅层、中层及深层特征通过进一步自适应权值融合，实现最优的浅层、中层与深层特征权值融合方案；
(4)利用训练好的机器学习分类模型对融合后的特征进行分类识别，得到最终的识别结果；
所述步骤(3)的实现过程如下：
(31)利用不同基础内核的支持向量机对不同的特征进行分类，并选择三个性能最好的内核分配给三个特征；
(32)引入多核学习训练每个由各自内核映射的特征的权重：线性组合函数为：
其中，Ii和Ij表示估计它们相似性的两个样本，M是候选基核数，wm是mth基核的权重；
MKL问题转化为对偶优化问题如下：其中，Li和Lj表示ith和jth样本的标签；L∈{‑1,1}，α是由拉格朗日乘子αi组成的向量，C是正则化参数，w是由 组成的权重向量；
(33)采用训练权值和三个选定核的线性组合核作为最终的核函数，组合核如下：K(Ii,Ij)＝w1k1(I1i,I1j)+w2k2(I2i,I2j)+w3k3(I3i,I3j)w1+w2+w3＝1
式中，w1,w2,w3是浅层、中层和深层特征的权重，I1i、I2i和I3i表示第i个样本的浅层、中层和深层的特征向量。
2.根据权利要求1所述的基于多层次特征的SAR目标识别方法，其特征在于，步骤(1)所述的SAR目标图像特征包括图像边缘和纹理。
3.根据权利要求1所述的基于多层次特征的SAR目标识别方法，其特征在于，所述步骤(1)包括以下步骤：
(11)针对边缘特征采用边缘方向直方图，利用边缘检测算子提取目标的边缘，得到目标边缘像素的梯度方向角θ(xi,xj)，其中xi，xj表示图像像素点的位置坐标；均匀量化梯度方向角θ为M个小块进行直方图统计并归一化，得到图像的边缘直方图特征且保存目标边缘特征显著图；
(12)针对纹理特征采用局部二值模式的等价和混合模式算法，将目标图像分为N×N个小区域，计算半径R邻域内P个采样点的等价旋转不变LBP值，计算公式如下：式中：
其中，gc为邻域中心像素点的灰度值，gp为对应半径为R的圆形对称邻域内采样的第p个像素点的灰度值，g0为第0个像素点的灰度值，s为符号函数；
(13)计算每个小区域的LBP直方图，串联成一个特征向量，用来表示整幅图的LBP纹理特征向量，并保存目标纹理特征显著图；
(14)对于两个随机特征x，y，其目标函数为：其中，Sxx和Syy表示协方差矩阵，Sxy表示互协方差矩阵， 为投影轴方向，融合后的特征为：
4.根据权利要求1所述的基于多层次特征的SAR目标识别方法，其特征在于，步骤(2)所述的深度卷积网络包括conv卷积模块、inception模块和全连接层模块；所述conv卷积模块包含13个卷积层和3个池化层，每个卷积层的卷积核大小均为3*3，且均采用最大池化；所述inception模块包含3个卷积层和一个池化层，卷积核大小采用1*1、3*3和5*5；所述全连接层模块包括3个全连接层，节点个数依次为4096、4096、1000。
5.根据权利要求1所述的基于多层次特征的SAR目标识别方法，其特征在于，步骤(2)所述的深度卷积网络模型是利用公开的相同目标的数据集去训练，当模型达到收敛后，保存各网络层的权重和偏置参数，然后利用保存的参数的迁移对待检测目标进行特征提取。
说明书 :
一种基于多层次特征的SAR目标识别方法
技术领域
[0001] 本发明属于雷达目标识别应用领域，具体涉及了一种基于多层次特征的SAR目标识别方法。
背景技术
[0002] SAR(SyntheticAperture Radar)具有全天时、全天候、高分辨、大幅宽的特点，并具有一定的地表穿透能力，因此在军事领域极具价值。SAR图像目标识别一直是SAR图像解
译领域的研究热点。传统SAR图像目标识别方法主要由预处理、特征提取、识别分类等相互
独立的步骤组成。特征提取过程一般需要借助SIFT、HOG、PCA、LDA等算法提取具有良好区分
性的特征才能较好地实现分类，而分类器则采用SVM(SupportVector Machine)、AdaBoost
(Adaptive Boosting)、SRC(Sparse Representation based Classification)等。但是基
于传统特征的SAR目标识别算法严重依赖人工设计的特征，人工特征鲁棒性低，从而导致该
算法在简单的环境和目标较少的情况下效果不错，在复杂多变的环境下识别效果就不是很
理想。
译领域的研究热点。传统SAR图像目标识别方法主要由预处理、特征提取、识别分类等相互
独立的步骤组成。特征提取过程一般需要借助SIFT、HOG、PCA、LDA等算法提取具有良好区分
性的特征才能较好地实现分类，而分类器则采用SVM(SupportVector Machine)、AdaBoost
(Adaptive Boosting)、SRC(Sparse Representation based Classification)等。但是基
于传统特征的SAR目标识别算法严重依赖人工设计的特征，人工特征鲁棒性低，从而导致该
算法在简单的环境和目标较少的情况下效果不错，在复杂多变的环境下识别效果就不是很
理想。
[0003] 随着大数据时代的到来以及计算能力的不断提升，基于深度卷积神经网络的目标识别算法得到了快速发展，并成为目前目标识别的主流方法。2015年，He等提出的残差网络
(Residual Network，ResNet)致力于解决识别错误率随网络深度增加而升高的问题，使用
152层深度网络取得了3.57％的Top 5错误率，甚至优于人眼；此外，近年来出现的
DenseNet，ShuffleNet等都在不同方面提升了卷积神经网络的性能。但是随着深度卷积网
络的不断加深，从而导致对浅层特征利用能力弱，而且深层特征分辨率低，对细节感知能力
差，故不可避免的会丢失更多的细节信息。
(Residual Network，ResNet)致力于解决识别错误率随网络深度增加而升高的问题，使用
152层深度网络取得了3.57％的Top 5错误率，甚至优于人眼；此外，近年来出现的
DenseNet，ShuffleNet等都在不同方面提升了卷积神经网络的性能。但是随着深度卷积网
络的不断加深，从而导致对浅层特征利用能力弱，而且深层特征分辨率低，对细节感知能力
差，故不可避免的会丢失更多的细节信息。
[0004] 本发明通过将传统特征进行初步融合得到浅层特征，来突出观察者对目标对象某些方面特性的捕捉，然后利用深度神经网络自动学习目标的中层及深层特征，其中深层特
征表示了目标内在的、抽象的特征，而中层特征结合了浅层和深层的优势，最后通过发挥三
者的优势、挖掘相互间的协同作用，将浅层、中层及深层特征进行带权融合，提高了对目标
的多层次特征利用能力，从而解决了上述的难题。
征表示了目标内在的、抽象的特征，而中层特征结合了浅层和深层的优势，最后通过发挥三
者的优势、挖掘相互间的协同作用，将浅层、中层及深层特征进行带权融合，提高了对目标
的多层次特征利用能力，从而解决了上述的难题。
发明内容
[0005] 发明目的：为了解决现有技术存在的问题及不足，本发明提供一种基于多层次特征的SAR目标识别方法，解决SAR目标识别精度低、稳定性差的问题。
[0006] 技术方案：本发明所述的一种基于多层次特征的SAR目标识别方法，包括以下步骤：
[0007] (1)建立SAR目标图像特征的模式表达并进行特征提取，得到目标的特征向量及特征显著图，通过典型相关分析将提取的特征向量融合得到浅层特征；
[0008] (2)将原始的目标图像与提取的图像特征显著图按通道连结得到输入图，并利用迁移学习将训练好的深度卷积网络模型提取输入图的特征，提取中间卷积层输出作为中层
特征，提取最后全连接层输出作为深层特征；
特征，提取最后全连接层输出作为深层特征；
[0009] (3)将得到的浅层、中层及深层特征通过进一步自适应权值融合，实现最优的浅层、中层与深层特征权力融合方案；
[0010] (4)利用训练好的机器学习分类模型对融合后的特征进行分类识别，得到最终的识别结果。
[0011] 进一步地，步骤(1)所述的SAR目标图像特征主要包括图像边缘和纹理。
[0012] 进一步地，所述步骤(1)包括以下步骤：
[0013] (11)针对边缘特征采用边缘方向直方图，利用边缘检测算子提取目标的边缘，得到目标边缘像素的梯度方向角θ(xi,xj)，其中xi，xj表示图像像素点的位置坐标；均匀量化
梯度方向角θ为M个小块进行直方图统计并归一化，得到图像的边缘直方图特征且保存目标
边缘特征显著图；
梯度方向角θ为M个小块进行直方图统计并归一化，得到图像的边缘直方图特征且保存目标
边缘特征显著图；
[0014] (12)针对纹理特征采用局部二值模式的等价和混合模式算法，将目标图像分为N×N个小区域，计算半径R邻域内P个采样点的等价旋转不变LBP值，计算公式如下：
[0015]
[0016] 式中：
[0017]
[0018]
[0019] 其中，gc为邻域中心像素点的灰度值，gp为对应半径为R的圆形对称邻域内采样的第p个像素点的灰度值，g0为第0个像素点的灰度值，s为符号函数；
[0020] (13)计算每个小区域的LBP直方图，串联成一个特征向量，用来表示整幅图的LBP纹理特征向量，并保存目标纹理特征显著图；
[0021] (14)对于两个随机特征x，y，其目标函数为：
[0022]
[0023] 其中，Sxx和Syy表示协方差矩阵，Sxy表示互协方差矩阵， 为投影轴方向，融合后的特征为：
[0024]
[0025] 进一步地，步骤(2)所述的深度卷积网络包括conv卷积模块、inception模块和全连接层模块；所述conv卷积模块包含13个卷积层和3个池化层，每个卷积层的卷积核大小均
为3*3，且均采用最大池化；所述inception模块包含3个卷积层和一个池化层，卷积核大小
采用1*1、3*3和5*5；所述全连接层模块包括3个全连接层，节点个数依次为4096、4096、
1000。
为3*3，且均采用最大池化；所述inception模块包含3个卷积层和一个池化层，卷积核大小
采用1*1、3*3和5*5；所述全连接层模块包括3个全连接层，节点个数依次为4096、4096、
1000。
[0026] 进一步地，步骤(2)所述的深度卷积网络模型是利用公开的相同目标的数据集去训练，当模型达到收敛后，保存各网络层的权重和偏置参数，然后利用保存的参数的迁移对
待检测目标进行特征提取。
待检测目标进行特征提取。
[0027] 进一步地，所述步骤(3)的实现过程如下：
[0028] (31)利用不同基础内核的支持向量机对不同的特征进行分类，并选择三个性能最好的内核分配给三个特征；
[0029] (32)引入多核学习训练每个由各自内核映射的特征的权重：
[0030] 线性组合函数为：
[0031]
[0032]
[0033] 其中，Ii和Ij表示估计它们相似性的两个样本，M是候选基核数，wm是mth基核的权重；
[0034] MKL问题转化为对偶优化问题如下：
[0035]
[0036] 其中，Li和Lj表示ith和jth样本的标签；L∈{‑1,1}，α是由拉格朗日乘子αi组成的向量，C是正则化参数，w是由 组成的权重向量；
[0037] (33)采用训练权值和三个选定核的线性组合核作为最终的核函数，组合核如下：
[0038] K(Ii,Ij)＝w1k1(I1i,I1j)+w2k2(I2i,I2j)+w3k3(I3i,I3j)
[0039] w1+w2+w3＝1
[0040] 式中，w1,w2,w3是浅层、中层和深层特征的权重，I1i、I2i和I3i表示第i个样本的浅层、中层和深层的特征向量。
[0041] 有益效果：与现有技术相比，本发明的有益效果：本发明通过结合浅层、中层及深层特征的各自优势，对不同层次的特征采取不同的核，然后训练每个核的权重，选出最佳核
函数组合来进行分类，充分发挥三者间的协同作用，从而提高了多层次特征的利用能力和
目标识别的精度，解决了SAR目标识别精度低、稳定性差的问题。
函数组合来进行分类，充分发挥三者间的协同作用，从而提高了多层次特征的利用能力和
目标识别的精度，解决了SAR目标识别精度低、稳定性差的问题。
附图说明
[0042] 图1为采用本发明最终识别结果图。
具体实施方式
[0043] 下面结合附图对本发明做更进一步的解释。
[0044] 本发明提供一种基于多层次特征的SAR目标识别方法，具体包括以下步骤：
[0045] 步骤1：建立SAR目标图像边缘、纹理等特征的模式表达并进行特征提取，得到目标的特征向量及特征显著图，通过典型相关分析将提取的特征向量融合得到浅层特征。
[0046] SAR目标图像的主要特征包括边缘、纹理。首先针对边缘特征采用边缘方向直方图，利用边缘检测算子提取目标的边缘，得到目标边缘像素的梯度方向角θ(xi,xj)，其中xi,
xj表示图像像素点的位置坐标；均匀量化梯度方向角θ为M个小块进行直方图统计并归一
化，得到图像的边缘直方图特征且保存目标边缘特征显著图；然后针对纹理特征采用局部
二值模式(LBP)的等价和混合模式算法，将目标图像分为N×N个小区域，计算半径R邻域内P
个采样点的等价旋转不变LBP值，计算公式如下：
xj表示图像像素点的位置坐标；均匀量化梯度方向角θ为M个小块进行直方图统计并归一
化，得到图像的边缘直方图特征且保存目标边缘特征显著图；然后针对纹理特征采用局部
二值模式(LBP)的等价和混合模式算法，将目标图像分为N×N个小区域，计算半径R邻域内P
个采样点的等价旋转不变LBP值，计算公式如下：
[0047]
[0048] 式中：
[0049]
[0050] 的圆形对称邻域内采样的第p个像素点的灰度值，g0为第0个像素点的灰度值，s是一个符号函
数；接着计算每个小区域的LBP直方图，串联成一个特征向量，用来表示整幅图的LBP纹理特
征向量，并保存目标纹理特征显著图。
数；接着计算每个小区域的LBP直方图，串联成一个特征向量，用来表示整幅图的LBP纹理特
征向量，并保存目标纹理特征显著图。
[0051] 典型相关分析是为了寻找特征之间的最大相关性，去除冗余信息。对于两个随机特征x，y，其目标函数为：
[0052]
[0053] 其中，Sxx和Syy表示协方差矩阵，Sxy表示互协方差矩阵， 为投影轴方向，则融合后的特征为：
[0054]
[0055] 步骤2：将原始的目标图像与提取的边缘、纹理特征显著图按通道连结得到输入图，并利用迁移学习将训练好的深度卷积网络提取输入图的特征，提取中间卷积层输出作
为中层特征，提取最后全连接层输出作为深层特征。
为中层特征，提取最后全连接层输出作为深层特征。
[0056] 深度卷积网络框架包括3个模块：conv卷积模块、inception模块和全连接层模块组成。conv卷积模块包含13个卷积层和3个池化层，每个卷积层的卷积核大小均为3*3，且均
采用最大池化；inception模块包含3个卷积层和一个池化层，卷积核大小采用1*1、3*3和5*
5；全连接层模块包括3个全连接层，全连接层上节点数分别为4096、4096、1000。
采用最大池化；inception模块包含3个卷积层和一个池化层，卷积核大小采用1*1、3*3和5*
5；全连接层模块包括3个全连接层，全连接层上节点数分别为4096、4096、1000。
[0057] 利用公开的相同目标的数据集去训练所构建好的深度卷积网络模型，当模型达到收敛后，保存各网络层的权重和偏置参数，然后利用这些参数的迁移可以对待检测目标进
行特征提取。
行特征提取。
[0058] 步骤3：接着将得到的浅层、中层及深层特征通过进一步自适应权值融合，实现最优的浅层、中层与深层特征权力融合方案。
[0059] 采用多核学习(MKL)来实现对浅层、中层及深层特征的最优线性融合，即通过为每个特征选择合适的核，并通过MKL训练学习的权重线性融合不同的特征和核，从而实现将不
同类型的特征自适应加权融合。其中线性组合函数可定义为：
同类型的特征自适应加权融合。其中线性组合函数可定义为：
[0060]
[0061]
[0062] 其中，Ii和Ij表示估计它们相似性的两个样本。M是候选基核数，wm是mth基核的权重。
[0063] 根据上式，MKL问题转化为对偶优化问题如下：
[0064]
[0065] 其中，Li和Lj表示ith和jth样本的标签。L∈{‑1,1}，α是由拉格朗日乘子αi组成的向量，C是正则化参数，w是由 组成的权重向量。
[0066] 利用不同基础内核的支持向量机对不同的特征进行分类，并选择三个性能最好的内核分配给三个特征，然后引入MKL来训练每个由各自内核映射的特征的权重，最后采用训
练权值和三个选定核的线性组合核作为最终的核函数，组合核如下：
练权值和三个选定核的线性组合核作为最终的核函数，组合核如下：
[0067] K(Ii,Ij)＝w1k1(I1i,I1j)+w2k2(I2i,I2j)+w3k3(I3i,I3j)
[0068] w1+w2+w3＝1
[0069] 其中，w1,w2,w3是浅层、中层和深层特征的权重，I1i、I2i和I3i表示第i个样本的浅层、中层和深层的特征向量。
[0070] 步骤4：利用训练好的机器学习分类模型对融合后的特征进行分类识别，得到最终的识别结果。
[0071] 建立机器学习分类器采用的是支持向量机，利用构建的包含感兴趣目标的训练数据库训练模型，得到能够正确划分训练数据集并且几何间隔最大的分离超平面。
[0072] 本实施例制作SAR训练及测试样本的所有数据均采用美国MSTAR计划所公布的实测SAR地面静止军事车辆目标数据。该数据集图像分辨率0.3m×0.3m，像素尺寸128×128，
目标像素尺寸在30×30左右，以及不含目标的复杂场景图像，且每幅场景图像大小在1400
2
×1700左右，所展示的场景面积大概为0.1km 。现在MSTAR数据已经成为考核SAR目标识别
和分类算法的标准数据库。如表1所示，本实例所采用的样本为MSTAR十类目标切片，训练样
本为俯仰角17度的目标，一共包含2746张样本切片，测试样本为俯仰角15度的目标图像，一
共包含2426张样本切片。
目标像素尺寸在30×30左右，以及不含目标的复杂场景图像，且每幅场景图像大小在1400
2
×1700左右，所展示的场景面积大概为0.1km 。现在MSTAR数据已经成为考核SAR目标识别
和分类算法的标准数据库。如表1所示，本实例所采用的样本为MSTAR十类目标切片，训练样
本为俯仰角17度的目标，一共包含2746张样本切片，测试样本为俯仰角15度的目标图像，一
共包含2426张样本切片。
[0073] 表1 MSTAR十类目标样本分布
[0074]
[0075]
[0076] 首先，针对边缘特征，采用边缘方向直方图，在本实施案例中利用canny边缘检测算子提取SAR车辆目标训练样本的边缘，得到目标边缘像素的梯度方向角θ(x,y)，梯度方向
角θ的范围为(‑90°，90°)，量化间隔为10°，则梯度方向角θ均匀量化为18个小块进行直方图
统计并归一化，得到图像的边缘直方图特征，其维度为18，并保存目标图像边缘特征显著
图。
角θ的范围为(‑90°，90°)，量化间隔为10°，则梯度方向角θ均匀量化为18个小块进行直方图
统计并归一化，得到图像的边缘直方图特征，其维度为18，并保存目标图像边缘特征显著
图。
[0077] 然后，针对纹理特征采用局部二值模式算法，将目标图像分为4×4个小区域，计算半径为1邻域内8个采样点的等价旋转不变LBP值，接着计算每个小区域的LBP直方图，串联
成一个特征向量，用来表示整幅图的LBP纹理特征向量，维度为144，并保存目标纹理特征显
著图。
成一个特征向量，用来表示整幅图的LBP纹理特征向量，维度为144，并保存目标纹理特征显
著图。
[0078] 深度卷积网络模型是基于Tensorflow框架下构建的，并利用MSTAR数据集中其它三类数据集去训练构建好的深度卷积模型，当模型收敛后，保存各网络层的权重和偏置参
数，利用这些参数的迁移可以对目标进行特征提取。
数，利用这些参数的迁移可以对目标进行特征提取。
[0079] 通过典型相关分析从提取得到的边缘、纹理特征向量中寻找两个特征之间的最大相关性，并去除冗余信息后融合得到浅层特征；然后将原始的目标图像与提取的边缘、纹理
特征显著性图按通道连结得到输入图，并利用迁移学习将训练好的深度卷积网络提取输入
图的特征，提取中间卷积层输出作为中层特征，提取最后全连接层输出作为深层特征；最后
将得到的浅层、中层和深层特征采用多核学习(MKL)来实现最优线性融合，即通过为每个特
征选择合适的核，并通过MKL训练学习的权重线性融合不同的特征和核，从而实现将不同类
型的特征自适应加权融合。
特征显著性图按通道连结得到输入图，并利用迁移学习将训练好的深度卷积网络提取输入
图的特征，提取中间卷积层输出作为中层特征，提取最后全连接层输出作为深层特征；最后
将得到的浅层、中层和深层特征采用多核学习(MKL)来实现最优线性融合，即通过为每个特
征选择合适的核，并通过MKL训练学习的权重线性融合不同的特征和核，从而实现将不同类
型的特征自适应加权融合。
[0080] 利用融合后的核函数作为SVM的核函数在训练集上训练，得到最优参数后对测试集进行分类识别，得到最终的识别分类结果，如图1所示。可以看出，本发明对MSTAR十类SAR
军事车辆目标的识别精度均高于95％。
军事车辆目标的识别精度均高于95％。