基于高度感知的多路并行网络的遥感图像分割方法

摘要

本发明公开了一种基于高度感知的多路并行网络的遥感图像分割方法，以原始遥感图像作为网络输入，设计多路并行网络作为提取图像特征的底层网络用以提取遥感图像的多层语义特征图，同时固定每条路径中的空间分辨率；利用门控高低层特征融合方法，将低层特征图与高层特征图相互融合，同时门机制在融合过程中筛选出来自每层的有效信息；引入高度特征解码器分支，将数字地表面模型图像作为训练时的额外标签，利用学习高度几何特征作为语义上下文的指导，并且该模型在测试时不需要遥感图像对应的数字地表面图像作为额外的标签；最后构建联合损失函数对多任务进行训练。本发明减少了模型的参数量，提高了遥感图像分割的准确度。

权利要求

1.一种基于高度感知的多路并行网络的遥感图像分割方法，其特征在于，包括以下步骤： (1)将原始遥感图像输入两个连续的下采样模块进行下采样，其中，第二个下采样模块的通道数设置为64；然后通过最大值池化的方式完成下采样，设计多路并行网络提取原始遥感图像的多层语义特征图，固定每条路径中的空间分辨率；所述多路并行网络分为三个阶段和三条并行路径，在每个阶段开始时，将前一阶段获取的遥感图像特征图送入特征提取模块在维持分辨率的同时提取语义特征；每个特征提取模块包含四个残差单元，在每个阶段结束时，通过下采样模块生成新的并行路径，获取具有双采样分辨率和双通道数的高层语义特征；每条路径中的特征图的通道和分辨率在整个特征提取过程中都是固定的；最终得到三个尺度的特征图尺度分别为原始遥感图像分辨率的1/4、1/8和1/16；对应的通道数分别为64、128和256； (2)利用门控高低层特征融合方法，将多层语义特征图的低层特征图与高层特征图相互融合；同时筛选出每层的有效信息；具体包括： (21)通过双线性插值上采样和1×1卷积的方法将高层特征图 进行重塑使其分辨率和通道数与低层特征图 保持一致，表示第 层特征图，C为通道数，H和W分别为当前特征图的高度和宽度； (22)将重塑过后的高层特征图 与 进行通道上的维度拼接，紧接着使用通道数为C的1×1卷积 ，将输出通道数减少为C后得到门图 ，公式如下：           式(1) 其中 || 表示通道拼接，SE是通道挤压模块， 是sigmoid函数； (23)利用得到的门图，将  与 进行逐像素的相加融合，公式如下：  式(2) 

其中 是指在通道维度上的哈达玛积， 代表融合过后的特征图； (24)将融合过后的特征图 继续与更低层特征图继续融合，最终自下而上逐步融合得到特征图 ；

(3)引入高度特征解码器分支，设数字地表模型图像为训练时的额外标签，将学习到的高度几何特征作为语义上下文的指导；

具体包括： (31)将融合过后的特征图 经过两个不同的3×3卷积分别得到语义上下文 和高度特征 ，接着将 通过 和 函数转变成两个子特征，对两个子特征通过内积计算得到高度相似矩阵 ；具体公式如下：         式(3) 

其中，i和j是像素位置，T代表矩阵转置操作， 为1×1卷积函数， 为批量归一化指数函数； (32)将产生的高度相似矩阵 用作额外指导，将另一个融合高度特征和语义上下文 点积相乘；再将原始语义上下文添加到获得的结果中，整个传播过程保持语义特征的尺寸大小和维度；在位置i处的高度感知语义上下文传播输出 计算公式为：            式(4) 其中，N是像素的总数目，为1×1卷积函数与批量归一化函数点积后的函数，正则化系数R设置为 ；

（4）根据语义分割和高度估计两种任务构建联合损失函数对多任务进行训练；具体包括

针对语义分割和高度估计多任务学习，设计联合损失函数，具体公式为：               式(5) 其中L为联合损失函数， 是语义分割损失函数， 是高度估计损失函数； 所述语义分割损失函数为：

   式(6) 

其中i是像素位置， 是像素类索引， 表示第 i个像素属于类别C的预测概率， 是像素i对应的真实值； 所述高度估计损失函数为：                 式(7) 其中 和  分别表示像素i处的预测高度值和真实高度值。

说明书

基于高度感知的多路并行网络的遥感图像分割方法

技术领域

[0001] 本发明属于遥感测绘与信息工程领域，尤其涉及基于高度感知的多路并行网络的遥感图像分割方法。

背景技术

[0002] 随着高光谱遥感技术的发展，新的高光谱传感器能够同时采集具有高分辨率信息的遥感图像和具有高程信息的数字地表模型(DSM)图像，这些图像包含丰富的地物信息。遥
感数据不仅反映了地物的光谱信息，且同时包含了地物的空间分布信息，因此，在农业、建
筑物提取、城市规划和军事侦察等领域有着广泛的应用。遥感图像中场景复杂，图像内像素
类间差异性较小，因此能否有效利用DSM图像中的高程信息，来辅助对场景与物体的理解，
是对遥感图像类别进行分割与识别的关键。

[0003] 遥感数据不仅包含了地物的光谱信息，还含有地物的空间分布信息。遥感图像相对于自然图像，场景复杂，类内差异性较小，给高光谱遥感图像的分割带来了挑战。传统的
高光谱遥感图像分割方法仅仅利用了图像的图像信息，导致分割的准确度一直很不如人
意。深度学习作为一种能够结合图像信息和高程信息的分割方法，能对高光谱遥感图像的
像素类别进行准确的划分与识别，近年来被广泛应用于高光谱图像的分割任务中。在遥感
图像分割领域中，以全卷积神经网络为基础的网络模型取得了巨大进展，基于全卷积神经
网络的模型以能够同时对输入遥感图像和DSM图像进行不同层次的学习，浅层保留了图像
分辨率信息，深层特征捕获了更丰富的语义信息，然后对学习到的语义特征和高程特征进
行融合，最后通过上采样操作直接将融合后的特征图恢复成与原始输入遥感图像相同大
小，得到具有高程信息指导的遥感图像分割结果。

[0004] 基于全卷积网络的模型可以同时处理遥感图像和DSM图像，为高光谱遥感图像分割提供新的机制，全卷积网络可以作为一种能够结合高程信息和图像信息的分割方法能对
高光谱遥感图像的地物信息进行准确的分割与识别，近年来被广泛应用于高光谱图像的分
割任务中。

发明内容

[0005] 为了解决上述背景技术提到的技术问题，本发明提出了基于高度感知的多路并行网络(HA‑MPPNet)的遥感图像分割方法，用于高光谱遥感图像的分割，有效提升运算效率，
减少模型的参数量，提高分割的准确度，充分利用了数字地表模型(DSM)图像来提升像素的
区分能力，同时解决了实际生活的所得DSM图像与遥感图像不匹配的问题，增强了网络模型
的普适性。

[0006] 为了实现上述技术目的，本发明的技术方案为：

[0007] 基于高度感知的多路并行网络的遥感图像分割方法，包括以下步骤：

[0008] (1)将原始遥感图像作为网络输入，设计多路并行网络提取原始遥感图像的多层语义特征图，固定每条路径中的空间分辨率；

[0009] (2)利用门控高低层特征融合方法，将多层语义特征图的低层特征图与高层特征图相互融合；同时筛选出每层的有效信息；

[0010] (3)引入高度特征解码器分支，设数字地表模型图像为训练时的额外标签，将学习到的高度几何特征作为语义上下文的指导；

[0011] (4)根据语义分割和高度估计两种任务构建联合损失函数对多任务进行训练。

[0012] 可选地，所述步骤(1)具体包括：

[0013] 首先将原始遥感图像输入两个连续的下采样模块进行下采样，其中，第二个下采样模块的通道数设置为64；然后通过最大值池化的方式完成下采样；最后通过另外两个连
续的下采样模块生成多层语义特征图。

[0014] 可选地，所述多路并行网络分为三个阶段和三条并行路径，在每个阶段开始时，将前一阶段获取的遥感图像特征图送入特征提取模块在维持分辨率的同时提取语义特征；每
个特征提取模块包含四个残差单元，在每个阶段结束时，通过下采样模块生成新的并行路
径，获取具有双采样分辨率和双通道数的高层语义特征；每条路径中的特征图的通道和分
辨率在整个特征提取过程中都是固定的；最终得到三个尺度的特征图尺度分别为原始遥感
图像分辨率的1/4、1/8和1/16；对应的通道数分别为64、128和256。

[0015] 可选地，所述步骤(2)具体包括：

[0016] (21)通过双线性插值上采样和1×1卷积的方法将高层特征图 进C×H×W
行重塑使其分辨率和通道数与低层特征图xl∈R 保持一致，l表示第l层特征图，C为通
道数，H和W分别为当前特征图的高度和宽度；

[0017] (22)将重塑过后的高层特征图 与xl进行通道上的维度拼接，紧接着使用通道C×H×W
数为C的1×1卷积C1×1，将输出通道数减少为C后得到门图G∈R ，公式如下：

[0018]

[0019] 其中||表示通道拼接，SE是通道挤压模块，σ是sigmoid函数；

[0020] (23)利用得到的门图，将xl与 进行逐像素的相加融合，公式如下：

[0021]

[0022] 其中 是指在通道维度上的哈达玛积， 代表融合过后的特征图；

[0023] (24)将融合过后的特征图 继续与更低层特征图继续融合，最终自下而上逐步融合得到特征图 可选地，所述步骤(3)具体包括：

[0024] (31)将融合过后的特征图 经过两个不同的3×3卷积分别得到语义上下文x和高度特征h，接着将h通过φ和 函数转变成两个子特征，对两个子特征通过内积计算得到高
度相似矩阵Sij；具体公式如下：

[0025]

[0026] 其中，i和j是像素位置，T代表矩阵转置操作，φ为1×1卷积函数， 为批量归一化指数函数；

[0027] (32)将产生的高度相似矩阵Sij用作额外指导，将另一个融合高度特征和语义上下文x点积相乘；再将原始语义上下文添加到获得的结果中，整个传播过程保持语义特征的尺
寸大小和维度；在位置i处的高度感知语义上下文传播输出 计算公式为：

[0028]

[0029] 其中，N是像素的总数目，g为1×1卷积函数与批量归一化函数点积后的函数，正则化系数R设置为

[0030] 可选地，所述步骤(4)具体包括：

[0031] 针对语义分割和高度估计多任务学习，设计联合损失函数，具体公式为：

[0032] L＝Lseg+Lh  式(5)

[0033] 其中L为联合损失函数，Lseg是语义分割损失函数，Lh是高度估计损失函数；

[0034] 所述语义分割损失函数为：

[0035] Lseg＝‑∑i∑c(1‑pic)2×li×log(pic)  式(6)

[0036] 其中i是像素位置，c是像素类索引，pic表示第i个像素属于类别C的预测概率，li是像素i对应的真实值；

[0037] 所述高度估计损失函数为：

[0038]

[0039] 其中hi和 分别表示像素i处的预测高度值和真实高度值。。

[0040] 采用上述技术方案带来的有益效果：

[0041] 本发明提出了基于高度感知的多路并行网络(HA‑MPPNet)的高光谱遥感图像分割方法。由于全卷积神经网络在获取深层语义特征时，频繁地使用下采样操作使得遥感图像
中的丰富的空间和边缘信息丢失，使得分割精度降低，所以本发明设计多路并行网络
(MPPNet)固定每条路径地空间分辨率，以保留遥感图像中的细节和边缘信息。同时设计门
控特征融合方法，降低网络模型的参数量。此外合理利用DSM图像作为训练时的标签，通过
在训练时学习高度特征作为语义上下文的额外指导，关键的是本发明在测试和实际运用时
不需要遥感图像相对应的DSM图像，从而增强了网络模型的普适性。本发明充分利用了DSM
图像的高程信息同时也解决了实际运用中遥感图像与其不匹配的问题，减少了模型的参数
量，提高了高光谱遥感图像的分割精度。

附图说明

[0042] 图1是基于高度感知的多路并行网络(HA‑MPPNet)结构示意图；

[0043] 图2是多路并行网络(MPPNet)示意图；

[0044] 图3是门控高低层特征融合机制示意图；

[0045] 图4是高度特征指导语义特征传输示意图。

具体实施方式

[0046] 以下将结合附图，对本发明的技术方案进行详细说明。

[0047] 下面结合附图和实施例对本发明的技术方案作进一步的说明。

[0048] 本发明所述的基于高度感知的多路并行网络(HA‑MPPNet)的高光谱遥感图像分割方法，网络结构示意图如图1所示，包括以下步骤：

[0049] 步骤一，利用多路并行网络提取遥感图像的多层特征，用于捕获高级语义信息同时保留高分辨率遥感图像的边缘和细节信息；多路并行网络(MPPNet)示意图如图2所示，具
体如下：

[0050] 首先将分辨率高度宽度为H×W(512×512)的遥感图像送入2个连续的下采样模块进行下采样。特别的将第二个3×3卷积核的通道数设置为64，这是为了在下采样过程前提
取深层特征，然后通过最大值池化(max pooling)进行完成下采样，最后通过另外两个连续
的下采样模块生成的特征图分辨率为1/4(H×W)，特征图的通道数为64。这样做的目的是避
免直接将像素为512×512的遥感图像直接送到MPPNet进行深层提取造成计算资源耗尽的
问题。

[0051] 然后将多路并行网络(MPPNet)分为三个阶段(S1、S2和S3)和三条并行路径(P1、P2和P3)。在每个阶段开始时，将前一阶段获取到的遥感图像特征图送入特征提取模块
(Extract Block)在维持分辨率的同时提取丰富的语义特征，每个特征提取模块由四个残
差单元组成。在每个阶段结束时，通过下采样模块生成新的并行路径，以获取具有双采样分
辨率和双通道数的高层语义特征。每条路径提取的特征图保持分辨率，从而在遥感图像中
保留更多物体的边缘和细节信息。在每个路径中，特征图的通道和分辨率在整个特征提取
过程中都是固定的。最终我们得到了三个尺度的特征图x1、x2和x3，他们的尺度分别是1/4(H
×W),1/8(H×W)和1/16(H×W)，对应的通道数分别是64，128和256。

[0052] 图2中的虚线箭头表示下采样模块，每一个下采样模块的当前输入为C×H×W，其中C，H和W分别表示当前输入特征图的通道数，高度和宽度。batch normalization(BN)和
rectified linear unit(ReLu)用在每一次卷积过后来增强模型的非线性能力。残差单元
由2个1×1卷积和1个3×3卷积组成，其中第一个1×1卷积降低输入特征图的通道数，3×3
卷积用以提取特征，第二个1×1卷积是为了恢复成输入特征图的通道数。通过逐元素加法
将输入融合到输出。。

[0053] 步骤二，利用门控高低层融合模块，将具有高语义的高层特征图与高分辨的低层特征图相互融合，以增强低层特征图的有效性，利用门机制筛选来自每一层的有效信息，降
低模型的复杂度；门控高低层特征融合机制示意图如图3所示，具体如下：

[0054] 2‑1，首先通过双线性插值上采样和1×1卷积的方法将高层特征图C×H×W
进行重塑使其分辨率和通道数与低层特征图xlER 保持一致，l表
示第l层特征图，C为通道数，H和W分别为特征图的高度和宽度；

[0055] 2‑2，将重塑过后的高层特征图 与xl进行通道上的维度拼接，紧接着使用通道C×H×W
数为C的1×1卷积C1×1，将输出通道数减少为C后得到门图G∈R ，公式如下：

[0056]

[0057] 其中||表示通道拼接，SE是通道挤压模块，σ是sigmoid函数；引入非线性激活操作，提高模型的拟合能力；

[0058] 2‑3，利用得到的门图G，将xl与 进行逐像素的相加融合，公式如下：

[0059]

[0060] 其中 是指在通道维度上的哈达玛积， 代表融合过后的特征图；

[0061] 2‑4，将融合过后的特征图 继续与更低层特征图继续融合，最终自下而上逐步融合得到特征图 步骤三，利用高度解码器分支，在DSM图像的监督下学习高度特征，将学
习到的高度特征作为语义上下文的指导；高度特征指导语义特征传输示意图如图4所示，具
体如下：

[0062] 3‑1，将融合过后的特征图 经过两个不同的3×3卷积分别得到语义上下文x和高度特征h，接着将h通过φ和 函数转变成两个子特征，对两个子特征通过内积计算得到
高度相似矩阵Sij；具体公式如下：

[0063]

[0064] 其中，i和j是像素位置，T代表矩阵转置操作，φ为1×1卷积函数， 为批量归一化指数函数；

[0065] 3‑2，将产生的高度相似矩阵Sij用作额外指导，将另一个融合高度特征和语义上下文x点积相乘；再将原始语义上下文添加到获得的结果中，整个传播过程保持语义特征的尺
寸大小和维度；在位置i处的高度感知语义上下文传播输出 计算公式为：

[0066]

[0067] 其中，N是像素的总数目，g为1×1卷积函数与批量归一化函数点积后的函数，正则化系数R设置为 步骤四，利用设计联合损失函数训练语义分割和高度估计这两个
任务，对于语义分割和高度估计两种任务，设计联合损失函数具体如下：

[0068] 4‑1，针对语义分割和高度估计多任务学习，设计联合损失函数，具体公式为：

[0069] L＝Lseg+Lh  式(5)

[0070] 其中L为联合损失函数，Lseg是语义分割损失函数，Lh是高度估计损失函数；所述语义分割损失函数为：

[0071] Lseg＝‑∑i∑c(1‑pic)2×li×log(pic)  式(6)

[0072] 其中i是像素位置，c是像素类索引，pic表示第i个像素属于类别C的预测概率，li是像素i对应的真实值；

[0073] 所述高度估计损失函数为：

[0074]

[0075] 其中hi和 分别表示像素i处的预测高度值和真实高度值。

[0076] 实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。