一种遥感图像分类方法

摘要

本发明涉及一种遥感图像分类方法，该方法包括以下步骤：建立彩色遥感图像集；对彩色图像灰度化处理得到灰度图像并用圆形局部二值模式方法计算灰度图像的局部特征纹理图像；对彩色图像和局部特征纹理图像分别归一化；归一化后的彩色图像和归一化后的局部特征纹理图像融合得到融合图像；计算融合图像的卷积；构建胶囊网络；用融合图像的卷积训练胶囊网络，生成训练后的胶囊网络模型；将待分类的遥感图像输入到训练好的胶囊网络中，计算出待分类的遥感图像的类别。该方法不但具有更好的收敛性，而且还能提高遥感图像的分类准确率，尤其是针对纹理信息较为丰富的图像。

权利要求

1.一种遥感图像分类方法，其特征在于，包括如下步骤：步骤一、建立彩色图像集；

步骤二、将图像集的图像进行灰度化处理得到灰度图像；

步骤三、用圆形局部二值模式方法计算灰度图像的局部特征纹理图像；

步骤四、对步骤一的彩色图像和步骤三得到的局部特征纹理图像分别归一化得到归一化后的图像；

步骤五、把归一化后的原始彩色图像和局部特征纹理图像中的通道数合并得到融合后的图像；

步骤六、对融合后的图像计算卷积；

步骤七、构建胶囊网络，胶囊网络的输出为遥感图像的分类预测值；

步骤八、将步骤六输出的结果输入到胶囊网络中训练胶囊网络；

步骤九、将待分类的遥感图像输入到训练好的胶囊网络中，得到待分类的遥感图像的类别。

2.根据权利要求1所述遥感图像分类方法，其特征在于：所述步骤二利用射影原理将彩色图像转换成灰度图像。

3.根据权利要求1所述遥感图像分类方法，其特征在于，所述步骤三得到灰度图像的局部特征纹理图像的方法为：以灰度图像像素点为中心，R为半径的圆形区域的局部特征纹理用LBPp,R表示，设gc表示该中心点像素的灰度值，gi(i＝0,1,2,…p-1)表示与gc距离为R的p个邻域点像素的灰度值；

将每个邻域点gi与中心点gc分别做差，得到二值化函数s：为每一个二值化的s(gi-gc)分配权值2i，再进行求和，得到图像上该像素的局部区域的纹理，LBPp,R表示以R为半径的圆形区域该像素的局部区域的局部特征纹理；

所有像素的局部特征纹理构成该图像的局部特征纹理图像。

4.根据权利要求1所述遥感图像分类方法，其特征在于，所述步骤四中图像归一化的过程为：首先，计算压缩比；

其中，Img_Width和Img_WidthOut分别代表图像归一化前后的宽度；Img_Height和Img_HeightOut分别代表图像归一化前后的高度；

然后，根据映射公式

得到与原始图像中的(u,v)点相对应的归一化后图像上的像素点点(x′,y′)。

5.根据权利要求1所述遥感图像分类方法，其特征在于：所述胶囊网络包括两个卷积层和两个胶囊层。

6.根据权利要求5所述遥感图像分类方法，其特征在于，所述胶囊网络输出向量的过程为：将第i层胶囊的输出向量与各自权重相乘得出预测向量，式中Wij表示第i层胶囊与第j层胶囊之间的权重；

然后，利用动态路由机制计算第j层总输入向量Sj，式中，Cij和bij分别代表第i层胶囊与第j层的胶囊之间的偏置和耦合系数；

再计算第j层胶囊的输出向量Vj，

式中， 为Sj的缩放尺度， 为Sj的单位向量。

7.根据权利要求6所述遥感图像分类方法，其特征在于：所述训练胶囊网络采用的损失函数为：Lc＝Tcmax(0，m+-||Vc||)2+λ(1-Tc)max(0，||Vc||-m-)2式中，C代表分类类别，Tc是分类指示函数，类别C存在为1，不存在则为0，上边界m+＝

0.9，下边界m-＝0.1，系数λ＝0.5。

8.根据权利要求7所述遥感图像分类方法，其特征在于：将待分类的遥感图像输入训练好的胶囊网络后，输出n个分类预测值，n个分类预测值分别代表属于n个遥感图像类的概率，概率最高的一类即为待分类的遥感图像的类别。

说明书

一种遥感图像分类方法

技术领域

[0001] 本发明涉及一种遥感图像分类方法，尤其涉及一种基于圆形局部二值模式和改进胶囊网络的遥感图像的分类方法，属于图像分类领域。

背景技术

[0002] 遥感图像是借助传感器发射电磁波对远距离地貌辐射后，地貌反射信息的成像。遥感图像种类繁多、结构复杂、信息丰富，既包括沙漠、河流、海洋等自然地物，又包括立交桥、住宅地、飞机场等人工地物。由于地表地物性质、成分以及分布情况的不同，各类地物图像之间相互交错影响，使得遥感图像中的地质信息异常复杂，这给遥感图像的分类识别带来巨大挑战。

[0003] 国内外学者提出了一些遥感图像分类方法。如采用光谱信息借助support vector machine进行分类；通过递归滤波增强遥感图像的轮廓特征并借助KNN进行分类，该方法虽然有效降低了高光谱遥感图像的错误分类概率，但算法处理时间较长；利用分形特征结合BP浅层神经网络进行分类，该方法降低了计算复杂度。

[0004] 近年来，深度学习中的卷积神经网络在遥感图像分类中表现出良好的优越性，成为了主流的分类方法。利用改进的CNN对不同场景进行分类，实验结果表明纹理丰富的复杂场景更容易出现误分，通过实验得出纹理信息结合CNN可有效用于遥感图像分类的结论。遥感图像分类受旋转变化和尺度变化影响较大，深度学习算法CNN在一定程度上能够提高分类精度，但容易造成遥感图像特征信息的缺失，而现有的遥感影像数据库又不满足深度学习训练的需求，因此遥感图像需要利用良好特征表达能力的深度学习模型进行分类。

发明内容

[0005] 本发明为了解决现有技术中存在的问题，提供一种基于圆形局部二值模式和改进胶囊网络的遥感图像的分类方法，该方法不但具有更好的收敛性，而且还能显著提高遥感图像的分类准确率，尤其是针对纹理信息较为丰富的图像。

[0006] 为了达到上述目的，本发明提出的技术方案为：一种遥感图像分类方法，包括如下步骤：

[0007] 步骤一、建立彩色图像集；

[0008] 步骤二、将图像集的图像进行灰度化处理得到灰度图像；

[0009] 步骤三、用圆形局部二值模式方法计算灰度图像的局部特征纹理图像；

[0010] 步骤四、对步骤一的彩色图像和步骤三得到的局部特征纹理图像分别归一化得到归一化后的图像；

[0011] 步骤五、把归一化后的原始彩色图像和局部特征纹理图像中的通道数合并得到融合后的图像；

[0012] 步骤六、对融合后的图像计算卷积；

[0013] 步骤七、构建胶囊网络，胶囊网络的输出为遥感图像的分类预测值；

[0014] 步骤八、将步骤六输出的结果输入到胶囊网络中训练胶囊网络；

[0015] 步骤九、将待分类的遥感图像输入到训练好的胶囊网络中，得到待分类的遥感图像的类别。

[0016] 对上述技术方案的进一步设计为：所述步骤二利用射影原理将彩色图像转换成灰度图像。

[0017] 所述步骤三得到灰度图像的局部特征纹理图像的方法为：

[0018] 以灰度图像像素点为中心，R为半径的圆形区域的局部特征纹理用LBPp,R表示，设gc表示该中心点像素的灰度值，gi(i＝0,1,2,…p-1)表示与gc距离为R的p个邻域点像素的灰度值；将每个邻域点gi与中心点gc分别做差，得到二值化函数s：

[0019]

[0020] 为每一个二值化的s(gi-gc)分配权值2i，再进行求和，得到图像上该像素的局部区域的纹理，

[0021]

[0022] LBPp,R表示以R为半径的圆形区域该像素的局部区域的局部特征纹理；

[0023] 所有像素的局部特征纹理构成该图像的局部特征纹理图像。

[0024] 所述步骤四中图像归一化的过程为：

[0025] 首先，计算压缩比；

[0026]

[0027]

[0028] 其中，Img_Width和Img_WidthOut分别代表图像归一化前后的宽度；Img_Height和Img_HeightOut分别代表图像归一化前后的高度；

[0029] 然后，根据映射公式

[0030]

[0031] 得到与原始图像中的(u,v)点相对应的归一化后图像上的像素点点(x′,y′)。

[0032] 所述胶囊网络包括两个卷积层和两个胶囊层。

[0033] 所述胶囊网络输出向量的过程为：

[0034] 将第i层胶囊的输出向量与各自权重相乘得出预测向量， 式中Wij表示第i层胶囊与第j层胶囊之间的权重；

[0035] 然后，利用动态路由机制计算第j层总输入向量Sj，

[0036]

[0037]

[0038] 式中，Cij和bij分别代表第i层胶囊与第j层的胶囊之间的偏置和耦合系数；

[0039] 再计算第j层胶囊的输出向量Vj，

[0040]

[0041] 式中， 为Sj的缩放尺度， 为Sj的单位向量。

[0042] 所述训练胶囊网络采用的损失函数为：

[0043]

[0044] 式中，C代表分类类别，Tc是分类指示函数，类别C存在为1，不存在则为0，上边界m+-＝0.9，下边界m＝0.1，系数λ＝0.5。

[0045] 步骤九中，将待分类的遥感图像输入训练好的胶囊网络后，输出n个分类预测值，n个分类预测值分别代表属于n个遥感图像类的概率，概率最高的一类即为待分类的遥感图像的类别。

[0046] 本发明的有益效果为：

[0047] 本发明首先提取了图像的局部纹理特征，然后与原始彩色图像进行通道融合，最后输入到改进的胶囊网络完成分类识别。相比于现有技术不但具有更好的收敛性，而且还能显著提高遥感图像的分类准确率，尤其是针对纹理信息较为丰富的图像。

附图说明

[0048] 图1为本发明方法流程图；

[0049] 图2为卷积操作过程示意图；

[0050] 图3为胶囊网络层级结构示意图。

具体实施方式

[0051] 下面结合附图以及具体实施例对本发明进行详细说明。

[0052] 实施例

[0053] 如图1所示，本实施例的一种遥感图像分类方法，包括如下步骤：

[0054] 步骤1，建立图像集。

[0055] 本实施例的图像集来自NWPU-RESISC45和UC Merced Land-Use两个公开的图像集。也可以用其它公开的遥感图像数据集构建。NWPU-RESISC45是西北工业大学创建的大型遥感图像数据集，共包括45类场景，每类仅700张图像，每张图像像素是256*256。UC MercedLand-Use是美国地质调查局在国内19个城市地区进行采集并手工标注生成的遥感地物图像数据集，共包括21类场景，每类仅100张图像，每张图像像素大小同样为256*256。将上述两个图像集中合并成一个图像集。从每类图像中随机选取M张图像作为训练集，每类图像中剩下的图像为测试集。

[0056] 步骤2，彩色图像灰度化得到灰度图像。

[0057] 利用射影原理将彩色图像转换成灰度图像

[0058] H＝0.299R+0.587G+0.114B

[0059] H表示灰度图像，是一个矩阵。每个像素的灰度值都是原彩色图像中红色部分R、绿色部分G、蓝色部分B三个值的线性组合，R、G、B均为矩阵。它们的系数是根据人眼对红绿蓝颜色的敏感度确定的。

[0060] 步骤3：计算灰度图像的局部特征纹理图像。

[0061] 用圆形局部二值模式方法计算步骤2得到的灰度图像的局部特征纹理图像。具体如下：

[0062] 步骤2得到的灰度图像像素点为中心的圆形区域的局部特征纹理用LBPp,R表示。R为圆形区域的半径，设gc表示该中心点像素的灰度值，gi(i＝0,1,2,…p-1)表示与gc距离为R的p个邻域点像素的灰度值。为了保证gc的每个邻域点都恰好落在整数点坐标上，使用双线性插值算法对非整数邻域点做近似处理。假设R为圆形区域的半径，中心点gc的坐标位置是(xc,yc)，那么第i个邻域点坐标(xi,yi)为

[0063]

[0064]

[0065] 将每个邻域点gi(i＝0,1,2,…P-1)与中心点gc分别做差，得到函数s，表达式为：

[0066]

[0067] 对于每一个二值化的s(gi-gc)，先为其分配权值2i，然后再进行求和，这样就得到了图像上该像素的局部区域的纹理，

[0068]

[0069] LBPp,R表示以R为半径的圆形区域该像素的局部区域的局部特征纹理。所有像素的局部特征纹理构成该图像的局部特征纹理图像。

[0070] 步骤4：图像归一化。

[0071] 计算压缩比

[0072]

[0073]

[0074] 其中，Img_Width，Img_WidthOut分别代表图像归一化前后的宽度；Img_Height，Img_HeightOut分别代表图像归一化前后的高度。假设归一化后图像上的某个点(x′,y′)，与原始图像中的(u,v)点相对应，则归一化前后对应像素点间的映射公式为[0075]

[0076] 按上述像素点间的映射公式把原始彩色图像和步骤3得到的局部特征纹理图像分别归一化得到归一化后的图像。

[0077] 步骤5：图像特征融合。

[0078] 把归一化后的原始彩色图像和局部特征纹理图像中的通道数合并得到融合后的图像。

[0079] 步骤6：对融合后的图像计算卷积。

[0080] 对融合后的图像执行卷积操作，卷积核为1*1。

[0081] 卷积操作解释如图2所示。

[0082] 假设输入特征矩阵的大小为5*5，卷积核为3*3的矩阵。经过第一次卷积计算：1*0+0*0+0*1+0*0+1*1+0*0+0*1+0*0+1*0＝1，得到第一个位置的卷积特征值，然后卷积核依次向右或向下移动一个位置(像素)的距离继续做卷积，最终完成对整个输入特征图的卷积计算。

[0083] 步骤7：构建胶囊网络。

[0084] 胶囊网络由两个卷积层和两个胶囊层构成。第一个卷积层使用了较大的卷积核9*9，第二个卷积层使用了相对较小的卷积核3*3。第三层是PrimaryCaps层，该层胶囊的维度为8，由3*3的卷积核对卷积层2进行8次卷积操作得到。第四层是DigitCaps层，该层由n个胶囊构成，n代表遥感图像的种类数，每个胶囊的尺寸为1*24，其中分类模型的卷积运算均使用Relu函数作为非线性激活函数。网络的输出为遥感图像的分类预测分，对于每张遥感图像，胶囊网络输出n个分类预测值，每个预测分值由DigitCaps层胶囊的长度得到，分别代表属于n个遥感图像的概率，概率最高的一类即为胶囊网络的识别结果。

[0085] 胶囊的层级结构如图3所示。图中Capsi代表第i层(PrimaryCaps层)网络中的胶囊，Capsj代表第j层(DigitCaps层)网络中的胶囊。输出向量的计算分为两个阶段：第一个阶段是线性组合，表示第i层胶囊的输出向量与各自权重相乘而得出的预测向量，[0086] 式中，Wij表示第i层胶囊与第j层胶囊之间的权重。第二个阶段是利用动态路由机制计算第j层总输入向量Sj

[0087]

[0088]

[0089] 式中，Cij和bij分别代表第i层胶囊与第j层的胶囊之间的偏置和耦合系数。

[0090] 然后计算第j层胶囊的输出向量Vj，

[0091]

[0092] 式中， 为Sj的缩放尺度， 为Sj的单位向量。

[0093] 步骤8：训练胶囊网络。

[0094] 将步骤6输出的结果输入到步骤7的胶囊网络，训练胶囊网络直至损失函数减少到设定的程度，生成训练后的胶囊网络模型。训练网络采用的损失函数是

[0095] Lc＝Tcmax(0,m+-||Vc||)2+λ(1-Tc)max(0，||Vc||-m-)2

[0096] 式中，C代表分类类别，Tc是分类指示函数，类别C存在为1，不存在则为0，上边界m+＝0.9，下边界m-＝0.1，系数λ＝0.5。

[0097] 步骤9：图像分类。

[0098] 将待分类的遥感图像输入步骤7训练好的胶囊网络，输出该张图的n个分类预测值(n代表遥感图像的种类数)，分别代表属于n个遥感图像类的概率，概率最高的一类即为待分类的遥感图像的类别。

[0099] 为了对本方法的性能进行评估，将本实施例的方法与常用的三种方法做了对比。这三种方法是VGG 19、CLBP+VGG19和Capsnet。选出海滩(beach)、灌木丛(chaparral)、稠密住宅区(dense＿residential)、森林(forest)、港口(harbor)、立交桥(overpass)和河流(river)7类样本作为本实验数据集。准确率如表1所示。从表中可以看出，加入局部特征的深度神经网络分类效果明显好于传统深度神经网络。针对纹理丰富的稠密住宅区、森林、港口以及立交桥，本文所提出的方法可以有效的提高分类精度，分类准确率均提高4％以上。
针对纹理特征较少的海滩、灌木丛以及河流，结合局部二值模式(LBP)和改进的胶囊网络也能达到良好的识别效果，相比于其他方法分类精度约有2％的提高。

[0100] 表1

[0101]

[0102] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围，包括但不限于用本方法以及其改进和变形方法用于其它图像处理方面，如图像识别、检测、去噪、增强等。

[0103] 本发明的不局限于上述各实施例，凡采用等同替换方式得到的技术方案均落在本发明要求保护的范围内。