基于全卷积神经网络的高分辨率遥感影像像素级解译方法

摘要

本发明提供了一种基于全卷积神经网络的高分辨率遥感影像像素级解译方法，包括：步骤1，构建深度卷积神经网络特征编码器，利用多层的非线性运算单元抽取高分辨率遥感影像的本质空间特征；步骤2，构建U型解码器，对具有不同空间分辨率的特征进行特征级微分融合，通过用于分类的特征同时编码高分辨率空间信息以及丰富的语义信息；步骤3，构建像素级分类损失函数，针对于遥感影像像素级解译任务，基于交叉熵构建逐像素的分类损失函数，用于优化步骤1与步骤2中的网络参数；步骤4，利用小批量随机梯度下降算法进行网络参数的优化求解；步骤5，利用不同网络参数进行多网络融合，获得像素级解译结果。本发明能够提升高分辨率遥感影像多尺度地物像素分类精度。

权利要求

1.一种基于全卷积神经网络的高分辨率遥感影像像素级解译方法，其特征在于，包括如下步骤：

步骤1，构建深度卷积神经网络特征编码器，利用多层的非线性运算单元抽取高分辨率遥感影像的本质空间特征，包括：步骤1.1，构建深度卷积神经网络特征编码器，将输入数据变换成特征向量；所述编码器包含三层网络结构，分别为输入层、卷积池化层和输出层；

假设编码器模型的输入为x，编码器网络的权重和偏差分别为W和b，经过编码器获得输出信号为h，其中f(·)表示Sigmoid激活函数；

h(x)＝f(W1x+b1)；

步骤1.2，利用多层的非线性运算单元抽取高分辨率遥感影像的本质空间特征，基于步骤1.1的非线性特征映射方式，多层的卷积操作进行堆叠运算，利用多层的非线性运算单元抽取高分辨率遥感影像的本质空间特征；

步骤2，构建U型解码器，对具有不同空间分辨率的特征进行特征级微分融合，通过用于分类的特征同时编码高分辨率空间信息以及丰富的语义信息，包括：通过构建U型解码器将特征向量映射回输入空间；

U型解码器在上采样过程中，通过将右边扩张路径与左边收缩路径的对称特征进行叠加操作，以联合高层语义与低层空间细节信息；

步骤3，构建像素级分类损失函数，针对于遥感影像像素级解译任务，基于交叉熵构建逐像素的分类损失函数，用于优化步骤1与步骤2中的网络参数，包括：通过网络最终获取的输出结果与真实标签作比较以监督训练深度学习模型，度量函数选择交叉熵函数，其公式如下：其中 代表第i张影像的第j个像素， 和 分别代表 像素的真实标签和网络最后卷积层的输出，θ1是网络参数，包括权重和偏置，M代表每批次处理的影像数量，N0和N1分别代表每一个批次样本里背景和正样本的的像素个数， 代表 像素属于正样本的预测概率值；

步骤4，利用小批量随机梯度下降算法进行网络参数的优化求解，包括：步骤4.1，随机选取训练集中一定数量的训练样本，对整体进行水平与垂直翻转，随机尺度放缩，并进行数据归一化，影像数据集归一化公式如下：其中，x为原始输入影像，mean与std分别为影像训练集中每个波段的统计量，均值与方差，将获取的每个批次样本通过归一化操作使其分布服从正态分布；

步骤4.2，依据得到的交叉熵损失作为度量，优化使其最小进行模型训练；

所述步骤4采用随机梯度下降优化算法进行优化，包括：设待优化参数θ，目标函数f(θ)，初始学习率α，对于第t个epoch：计算当前参数的梯度：

依据历史梯度计算一阶动量和二阶动量：计算t时刻的下降梯度：

更新梯度：θt+1＝θt‑γt；

所述随机梯度下降优化算法采用基于批次的随机梯度下降优化算法；

2

mt＝gt,Vt＝I ,γt＝gt；

步骤5，利用不同网络参数进行多网络融合，获得像素级解译结果，包括采用不同的超参数进行多次网络训练，利用均值方法获取概率最高结果，包括：对模型更改其网络卷积层的通道参数，在原来基础上分别增加32,64,128的通道数，同样方式进行训练，在推理的过程中获取四个模型的结果，最后取均值，以类别概率最大判定像素类别。

说明书

基于全卷积神经网络的高分辨率遥感影像像素级解译方法

技术领域

[0001] 本发明属于高分辨率遥感影像识别技术领域，具体涉及一种基于全卷积神经网络的高分辨率遥感影像像素级解译方法。

背景技术

[0002] 随着高分辨率对地观测技术的发展，海量亚米级高空间分辨率的遥感影像可被获取。相较于传统中低分辨率影像，高空间分辨率的遥感影像具有更加丰富的空间信息，与此
同时目标结构多变、复杂背景干扰等问题，影像中地物类内方差增大、类间差异减少，为高
分辨率遥感影像的解译带来了新的挑战。针对这些问题，近年来国内外学者对高分辨率遥
感影像地物信息提取做了大量研究，基本实现了从手工设计特征到自动学习特征的转变，
使得高分辨率遥感影像像素级解译精度获得了极大提升。

[0003] 传统基于高分辨率影像像素分类方法依据特征提取方法主要分为基于人工设计底层特征与基于深度卷积网络特征：

[0004] 基于人工设计底层特征：针对不同地物具有独特的光谱、纹理、空间特征，通常利用人工设计底层特征(如光谱、纹理、尺度不变特征)逐像元获取特征描述，从而利用分类器
得到像素级解译结果。然而由于人工设计底层特征依赖于专家经验，耗时长，难以鲁棒地提
取高空间分辨率遥感影像的本质特征。

[0005] 为了有效缓解该问题，基于深度卷积网络的特征提取方法被提出，该方法采用数据驱动模式，利用海量高分辨率遥感影像与历史制图结果，自动学习适合于高分辨率遥感
影像像素级解译任务的特征表示。为了使得卷积神经网络能够得到全面地优化，一个端到
端的卷积神经网络分类算法被提出，通过利用全连接层对卷积特征进行进一步的非线性映
射，通过激活函数获得类别置信度，从而完成端到端的高分辨率遥感影像像素级解译。然
而，这种解译方法属于逐像素分类框架，为了获取更多的空间信息，往往会选择一个邻域窗
口进行空间特征提取，从而使得邻近像素的特征提取存在空间冗余，限制了高分辨率遥感
影像像素级解译的速度。

发明内容

[0006] 本发明的目的是提供一种基于全卷积神经网络的高分辨率遥感影像像素级解译方法，通过卷积运算的平移不变性，共享空间特征，以消除特征提取阶段的计算、内存冗余，
大幅度提升解译速度。

[0007] 本发明提供了一种基于全卷积神经网络的高分辨率遥感影像像素级解译方法，包括如下步骤：

[0008] 步骤1，构建深度卷积神经网络特征编码器，利用多层的非线性运算单元抽取高分辨率遥感影像的本质空间特征；

[0009] 步骤2，构建U型解码器，对具有不同空间分辨率的特征进行特征级微分融合，通过用于分类的特征同时编码高分辨率空间信息以及丰富的语义信息；

[0010] 步骤3，构建像素级分类损失函数，针对于遥感影像像素级解译任务，基于交叉熵构建逐像素的分类损失函数，用于优化步骤1与步骤2中的网络参数；

[0011] 步骤4，利用小批量随机梯度下降算法进行网络参数的优化求解；

[0012] 步骤5，利用不同网络参数进行多网络融合，获得像素级解译结果。

[0013] 进一步地，所述步骤1包括：

[0014] 步骤1.1，构建深度卷积神经网络特征编码器，将输入数据变换成特征向量；所述编码器包含三层网络结构，分别为输入层、卷积池化层和输出层；

[0015] 假设编码器模型的输入为x，编码器网络的权重和偏差分别为W和b，经过编码器获得输出信号为h，其中f(·)表示Sigmoid激活函数；

[0016] h(x)＝f(W1x+b1)；

[0017]

[0018] 步骤1.2，利用多层的非线性运算单元抽取高分辨率遥感影像的本质空间特征，基于步骤1.1的非线性特征映射方式，多层的卷积操作进行堆叠运算，利用多层的非线性运算
单元抽取高分辨率遥感影像的本质空间特征。

[0019] 进一步地，所述步骤2包括：

[0020] 通过构建U型解码器将特征向量映射回输入空间；

[0021] U型解码器在上采样过程中，通过将右边扩张路径与左边收缩路径的对称特征进行叠加操作，以联合高层语义与低层空间细节信息。

[0022] 进一步地，所述步骤3包括：

[0023] 通过网络最终获取的输出结果与真实标签作比较以监督训练深度学习模型，度量函数选择交叉熵函数，其公式如下：

[0024]

[0025] 其中 代表第i张影像的第j个像素， 和 分别代表 像素的真实标签和网络最后卷积层的输出，θ1是网络参数，包括权重和偏置，M代表每批次处理的影像数量，N0和
N1分别代表每一个批次样本里背景和正样本的的像素个数， 代表 像素属于正样本
的预测概率值。

[0026] 进一步地，所述步骤4包括：

[0027] 步骤4.1，随机选取训练集中一定数量的训练样本，对整体进行水平与垂直翻转，随机尺度放缩，并进行数据归一化，影像数据集归一化公式如下：

[0028]

[0029] 其中，x为原始输入影像，mean与std分别为影像训练集中每个波段的统计量，均值与方差，将获取的每个批次样本通过归一化操作使其分布服从正态分布；

[0030] 步骤4.2，依据上述得到的交叉熵损失作为度量，优化使其最小进行模型训练。

[0031] 进一步地，所述步骤4采用随机梯度下降优化算法进行优化，包括：

[0032] 设待优化参数θ，目标函数f(θ)，初始学习率α，对于第t个epoch：

[0033] 计算当前参数的梯度：

[0034] 依 据 历 史 梯 度 计 算 一 阶 动 量 和 二 阶 动量 ：

[0035] 计算t时刻的下降梯度：

[0036] 更新梯度：θt+1＝θt‑γt。

[0037] 进一步地，所述步骤5包括：

[0038] 采用不同的超参数进行多次网络训练，利用均值方法获取概率最高结果。

[0039] 与现有技术相比本发明的有益效果是：

[0040] 能够提升高分辨率遥感影像多尺度地物像素分类精度。

附图说明

[0041] 图1是本发明一种基于全卷积神经网络的高分辨率遥感影像像素级解译方法的流程图。

具体实施方式

[0042] 下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、
或者结构上的等效变换或替代，均属于本发明的保护范围之内。

[0043] 参图1所示，本实施例提供了一种基于全卷积神经网络的高分辨率遥感影像像素级解译方法，包括如下步骤：

[0044] 步骤S1，构建深度卷积神经网络特征编码器，利用多层的非线性运算单元抽取高分辨率遥感影像的本质空间特征；

[0045] 步骤S 2，构建U型解码器，对具有不同空间分辨率的特征进行特征级微分融合，通过用于分类的特征同时编码高分辨率空间信息以及丰富的语义信息；

[0046] 步骤S3，构建像素级分类损失函数，针对于遥感影像像素级解译任务，基于交叉熵构建逐像素的分类损失函数，用于优化步骤S1与步骤S2中的网络参数；

[0047] 步骤S 4，利用小批量随机梯度下降算法进行网络参数的优化求解；

[0048] 步骤S5，利用不同网络参数进行多网络融合，获得像素级解译结果。

[0049] 在本实施例中，所述步骤S1包括：

[0050] 步骤S1.1，构建深度卷积神经网络特征编码器，将输入数据变换成特征向量；所述编码器包含三层网络结构，分别为输入层、卷积池化层和输出层；

[0051] 假设编码器模型的输入为x，编码器网络的权重和偏差分别为W和b，经过编码器获得输出信号为h，其中f(·)表示Sigmoid激活函数；

[0052] h(x)＝f(W1x+b1)；

[0053]

[0054] 步骤S1.2，利用多层的非线性运算单元抽取高分辨率遥感影像的本质空间特征，基于步骤S1.1的非线性特征映射方式，多层的卷积操作进行堆叠运算，利用多层的非线性
运算单元抽取高分辨率遥感影像的本质空间特征。

[0055] 在本实施例中，所述步骤S2包括：

[0056] 通过构建U型解码器将特征向量映射回输入空间；

[0057] U型解码器在上采样过程中，通过将右边扩张路径与左边收缩路径的对称特征进行叠加操作，以联合高层语义与低层空间细节信息。

[0058] 通过这种U型的信息传递方式，浅层特征所具有的空间上下文信息能够传递给深层特征图，这种叠加操作可以充分利用原始遥感影像的地理空间上下文信息，使得输出的
特征图具有更多的空间相关性，以解决预测结果不够精细的问题。U型网络结构是完全对称
的网络结构，通过对不同空间分辨率的特征进行特征级可微分融合，使得用于分类的特征
可同时编码高分辨率空间信息以及丰富的语义信息。

[0059] 在本实施例中，所述步骤S3包括：

[0060] 构建像素级分类损失函数，针对于遥感影像像素级解译任务，基于交叉熵构建逐像素的分类损失函数，通过网络最终获取的输出结果与真实标签作比较以监督训练深度学
习模型，度量函数选择交叉熵函数，其公式如下：

[0061]

[0062] 其中 代表第i张影像的第j个像素， 和 分别代表 像素的真实标签和网络最后卷积层的输出，θ1是网络参数，包括权重和偏置，M代表每批次处理的影像数量，N0和
N1分别代表每一个批次样本里背景和正样本的的像素个数， 代表 像素属于正样本
的预测概率值。

[0063] 在本实施例中，所述步骤S4包括：

[0064] 步骤S4.1，随机选取训练集中一定数量的训练样本，对整体进行水平与垂直翻转，随机尺度放缩，并进行数据归一化，影像数据集归一化公式如下：

[0065]

[0066] 其中，x为原始输入影像，mean与std分别为影像训练集中每个波段的统计量，均值与方差，将获取的每个批次样本通过归一化操作使其分布服从正态分布；

[0067] 步骤S4.2，依据上述得到的交叉熵损失作为度量，优化使其最小进行模型训练。

[0068] 在本实施例中，采用随机梯度下降优化算法，优化算法即通过改善训练方式，来达到最小化损失函数的目的，以使网络能够更好地拟合真实数据。在深度学习领域，即使在数
据集和模型结构完全相同的情况下，选择不同的优化算法，可能导致截然不同的训练效果。
优化算法基准流程框架，如下述所示：

[0069]

[0070]

[0071] 对于随机梯度下降算法(Stochastic Gradient Descent,SGD)，本实施例默认为2
基于批次的SGD。随机梯度下降算法没有动量项，因此mt＝gt,Vt＝I ,γt＝gt，随机梯度下降
算法最为简单，优化效果也往往具有鲁棒性。

[0072] 在本实施例中，所述步骤S5包括：

[0073] 采用不同的超参数进行多次网络训练，利用均值方法获取概率最高结果。

[0074] 本发明设计基于全卷积神经网络的像素分类方法，包含3个子模块，分别是深度卷积神经网络特征编码器、U型解码器以及像素级分类损失函数。(1)深度卷积神经网络特征
编码器，利用多层的非线性运算单元抽取高分辨率遥感影像的本质空间特征。(2)U型解码
器，对具有不同空间分辨率的特征进行特征级可微分融合，使得用于分类的特征可同时编
码高分辨率空间信息以及丰富的语义信息。(3)像素级分类损失函数，针对于遥感影像像素
级解译任务，基于交叉熵构建逐像素的分类损失函数，优化所提出的网络的权值参数。本发
明能够提升高分辨率遥感影像多尺度地物像素分类精度。

[0075] 下面对本发明作进一步详细说明。

[0076] (一)利用某市2016年0.3m航飞瓦片影像与对应测绘矢量形成土地覆盖分类数据集，影像大小46493×79301，影像范围(119.75°E，31.58°N)至(120.00°E，31.71°N),涵盖面
积约330万平方公里。包含：水系、居民地、植被、道路。建筑物比较稀疏，拥有大面积农田，包
含大面积水域——滆湖。将影像裁剪为1024×1024大小，共3840张，像素标注：0‑背景，1‑水
系，2‑建筑物，3‑植被，4‑道路。

[0077] 1.1.对于512×512的输入影像，对其进行随机裁剪为256×256大小，训练时批次大小为64。

[0078] 1.2.利用Python编写数据增强算法，实现影像0.5概率的水平翻转、上下翻转以及旋转等操等，并完成输入影像的归一化操作。

[0079] (二)构建深度卷积神经网络特征编码器

[0080] 步骤2.1，构建深度卷积神经网络特征编码器，编码器的功能是将输入数据变换成特征向量，编码器主要包含三层网络结构，输入层、卷积池化层和输出层。假设编码器模型
的输入为x，编码器网络的权重和偏差分别为W和b，经过编码器获得输出信号为h，其中f
(·)表示Sigmoid激活函数。

[0081] h(x)＝f(W1x+b1)

[0082]

[0083] 步骤2.2，利用多层的非线性运算单元抽取高分辨率遥感影像的本质空间特征，基于步骤2.1的非线性特征映射方式，多层的卷积操作进行堆叠运算，则可以利用多层的非线
性运算单元抽取高分辨率遥感影像的本质空间特征。

[0084] (三)构建U型解码器

[0085] 构建U型解码器，解码器的功能是将特征向量映射回输入空间。U型解码器在上采样过程中，通过将右边扩张路径与左边收缩路径的对称特征进行叠加操作，以此联合高层
语义与低层空间细节信息，通过这种U型的信息传递方式，浅层特征所具有的空间上下文信
息能够传递给深层特征图，这种叠加操作可以充分利用原始遥感影像的地理空间上下文信
息，使得输出的特征图具有更多的空间相关性，以解决预测结果不够精细的问题。U型网络
结构是完全对称的网络结构，通过对不同空间分辨率的特征进行特征级可微分融合，使得
用于分类的特征可同时编码高分辨率空间信息以及丰富的语义信息。

[0086] (四)构建像素级分类损失函数

[0087] 构建像素级分类损失函数，针对于遥感影像像素级解译任务，基于交叉熵构建逐像素的分类损失函数，通过网络最终获取的输出结果与真实标签作比较以监督训练深度学
习模型，度量函数选择交叉熵函数，其公式如下：

[0088]

[0089] 其中 代表第i张影像的第j个像素， 和 分别代表 像素的真实标签和网络最后卷积层的输出，θ1是网络参数，包括权重和偏置，M代表每批次处理的影像数量，N0和
N1分别代表每一个批次样本里背景和正样本的的像素个数， 代表 像素属于正样本
的预测概率值。

[0090] (五)利用小批量随机梯度下降算法进行网络参数的优化求解

[0091] 对于随机梯度下降算法(Stochastic Gradient Descent,SGD),利用Pytorch框架自动求导机制，设计随机梯度下降优化器，训练时候批次大小为64。

[0092] (六)利用不同网络参数进行多网络融合，获得像素级解译结果

[0093] 对于深度网络训练，采用不同的超参数，来进行多次网络训练，最后利用均值方法获取概率最高结果，本发明中，对模型更改其网络卷积层的通道参数，在原来基础上分别增
加32,64,128的通道数，同样方式进行训练，在推理的过程中获取四个模型的结果，最后取
均值，以类别概率最大判定像素类别。

[0094] 对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论
从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权
利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有
变化囊括在本发明内。