一种基于全局-局部对抗学习框架的跨域道路提取方法转让专利
申请号 : CN202110004130.2
文献号 : CN112766089B
文献日 : 2022-05-13
发明人 : 卢晓燕 , 钟燕飞 , 郑卓 , 王俊珏 , 张良培
申请人 : 武汉大学
摘要 :
权利要求 :
1.一种基于全局‑局部对抗学习框架的跨域道路提取方法,其特征在于,包括以下步骤:
步骤1,获取有标签的源域数据,以及无标签的目标域影像,一起组成训练集用于网络训练,对训练集进行归一化与数据增强;
步骤2,构建全局‑局部对抗学习框架,包括全局‑局部对抗学习网络框架构建和目标函数设计;
所述全局‑局部对抗学习网络框架为生成器和判别器结构,首先利用生成器生成特征,来混淆判别器,生成器后面紧接着两个分支,一个分支进行道路分割,获取道路分割概率图,另一个分支通过全局‑局部对抗学习引导生成器生成域不变特征;目标函数包含三个部分:分割损失,参数差异损失和自适应加权的对抗损失;
所述步骤2中全局‑局部对抗学习网络框架的具体结构如下;
该框架采用在ImageNet数据集上预训练的修正后的ResNet作为生成器,移除ResNet50的第四个残差块,并将第三个残差块内的最后一层卷积的步长由2变成1,同时将标准卷积替换成空洞率为2的空洞卷积,以保证特征分辨率不降低的同时增大网络感受野,由此,得到修正后的ResNet生成器,对于输入的源域影像xs和目标域影像xt,经过生成器之后,得到源域输出es和目标域输出et;生成器之后是两个分支,一个分支进行道路分割,首先采用1×
1卷积将源域特征es的维度降低,然后通过双线性插值将特征图进行上采样,再采用跳跃连接,通过和相应的低层特征进行逐像素的相加,来恢复更详细的空间细节信息,之后分别采用3×3卷积和1×1卷积降低特征图维度,最后通过双线性插值,四倍上采样恢复到原始输入大小,并通过Sigmoid分类器获取道路分割概率图;另一个分支进行全局‑局部对抗学习,利用两个互斥分类器,分别输出一个二维特征图m1和m2,紧接着1×1卷积得到一维的概率图p1和p2,最终的概率值p是p1和p2之和;
对于判别器D,采用的是不同通道数的五层全卷积网络,每一个卷积层后面连接一个leaky ReLU,最后采用双线性插值使得输出结果恢复到原始输入大小;对于源域输入es,通过两个分类器得到概率图ps,然后输入到判别器D中计算对抗损失;对于目标域输入et,通过两个分类器得到概率图pt,输入到判别器D中计算对抗损失;同时也得到二维输出 和紧接着softmax激活函数来获得分割输出 和 然后根据 和 之间的差异计算权重,根据此权重来自动调节对抗损失,权重越小,说明特征已经很好的对齐了,这些像素的对齐力度应该被降低,权重越大,说明这些特征还没有很好对齐,应该增强对齐力度;
步骤3,基于构建的全局‑局部对抗学习框架,在训练集上进行训练,优化模型参数,直至收敛;
步骤4,基于收敛后的全局‑局部对抗学习框架,对来自目标域的测试集进行预测,利用输出的道路分割概率图获得道路提取结果。
2.如权利要求1所述的一种基于全局‑局部对抗学习框架的跨域道路提取方法,其特征在于:所述步骤1的实现方式如下,
步骤1.1,在SpaceNet道路提取竞赛网站上进行注册,下载数据集,划分出源域训练样本;
步骤1.2,在目标域测试集影像范围的相邻区域下载与之地理位置不重合,但时间和分辨率一致的目标域影像,作为目标域的无标记影像;
步骤1.3,将有标记的源域数据和无标记的目标域影像一起组成训练集,对训练集进行归一化操作,并利用水平翻转、垂直翻转和随机旋转对训练集进行数据增强。
3.如权利要求1所述的一种基于全局‑局部对抗学习框架的跨域道路提取方法,其特征在于:步骤2中目标函数包括分割损失,参数差异损失和自适应加权的对抗损失,用以下式子表达:
LGOAL=Lseg+λdis·Ldis+λadv·Ladv其中λdis和λadv控制三个损失的相对重要性;
对于道路分割网络分支,生成道路分割概率图,与真实标签对比计算分割损失,分割损失Lseg是binary cross‑entropy损失和dice coefficient损失之和,道路分割损失用以下式子表达:
Lseg=LBCE(Ps,Ys)+LDCL(Ps,Ys)其中Ps和Ys分别是源域数据的预测结果和标签;
参数差异损失通过最小化两个互斥分类器C1,C2的参数 和 的余弦相似性,使得两个分类器的参数不同,参数差异损失用以下式子表达:对于自适应加权对抗损失,权重是目标域两个预测结果 和 的余弦距离,两个预测结果越相似,权重就会越小,反之亦然,自适应加权对抗损失用以下式子表达:Ladv=‑E[logD(ps)]‑E[(λw·WT+ε)·log(1‑D(pt))]其中λw调节权重大小,ε控制原始对抗损失的占比,E[·]代表统计期望。
4.如权利要求1所述的一种基于全局‑局部对抗学习框架的跨域道路提取方法,其特征在于:所述步骤3的实现方式如下,
步骤3.1,初始化全局‑局部对抗学习框架的网络参数,固定训练集的裁剪大小,每批次的输入张数,以及分割初始学习率和对抗学习初始学习率;
步骤3.2,生成器采用SGD优化器进行训练,判别器采用Adam优化器进行训练,分割训练和对抗训练分步交替进行,通过前向传播和后向反馈不断更新全局‑局部对抗学习框架的网络参数,直至收敛。
5.如权利要求1所述的一种基于全局‑局部对抗学习框架的跨域道路提取方法,其特征在于:所述步骤4的实现方式如下,
步骤4.1,输入目标域测试集影像,对其进行归一化操作;
步骤4.2,将归一化后的影像输入到训练好的全局‑局部对抗学习框架中,得到测试集的道路分割概率图,然后通过0.5的阈值判断属于道路的区域,获得最终的道路分割图。
说明书 :
一种基于全局‑局部对抗学习框架的跨域道路提取方法
技术领域
背景技术
遥感影像资源在规模上不断扩大,意味着遥感大数据时代已经来临。高分辨率遥感影像包
含丰富的空间细节信息,能够精确描述地物的几何属性特征,高分辨率遥感影像相对于中
低分辨率遥感影像来说,地物几何结构更加明显,纹理更加精细,位置布局更加清晰。因此,
高分辨率遥感凭借其获取手段技术成熟,影像分辨率高,覆盖范围广等优势,已被广泛应用
于军事侦察、灾害防治、城市规划等事关国防建设和经济社会发展的诸多领域,高分辨率遥
感的发展已然对推动社会进步起着至关重要的作用。
网,提取出道路的完整信息构建道路网对于国家经济社会的发展具有十分重要的实用价
值,也是各种实际应用开展的关键前提。如为城市规划提供前瞻性指导,为智能交通提供基
础数据,为地理信息系统更新提供更高效的技术手段等。因此,如何应用现代高分辨率遥感
技术结合一定的计算机技术快速、准确地对道路信息进行识别和更新是当前遥感领域的研
究热点。
精度上也在不断提升。但长期以来,受道路自身特征的特殊性、周边环境的复杂性和不同影
像之间差异的影响,自动化高精度提取道路网仍然是遥感领域研究的一个难点。当前,在遥
感大数据的背景下,使用最多的方法就是基于深度学习的方法,深度学习方法是一种数据
驱动的方法,依赖于海量的数据训练模型,来完成各种识别任务。目前的深度学习方法仍以
监督学习为主,需要人工大量的标记数据来训练模型,这样的数据标注工作需要消耗大量
的人力和财力。而如果直接在域A上训练道路提取模型,在域B上测试时,模型的识别能力会
急剧下降,导致道路识别存在很多漏检的情况。
发明内容
别特征来自源域还是目标域,来引导生成器生成域不变特征;另一方面在对抗学习中,根据
每一个像素的识别难易程度,自适应地调整对抗损失,从而自动减慢或加速对抗学习的过
程。本发明能够有效提升深度学习模型的泛化能力,一定程度上解决跨域道路提取时,道路
漏检严重的问题。
域道路提取,该框架首先利用生成器生成特征,来混淆判别器,生成器后面紧接着两个分
支,一个分支进行道路分割,另一个分支通过全局‑局部对抗学习引导生成器生成域不变特
征。第二,全局‑局部对抗学习过程中,使用两个互斥分类器对道路进行识别,两个分类器识
别的差异可以反映每一个像素的识别难易程度,从而自适应地对对抗损失进行加权,自动
减慢或加速对抗学习的过程。
概率图,另一个分支通过全局‑局部对抗学习引导生成器生成域不变特征;目标函数包含三
个部分:分割损失,参数差异损失和自适应加权的对抗损失;
域测试集影像特征非常相似,作为目标域的无标记影像。
除ResNet50的第四个残差块,并将第三个残差块内的最后一层卷积的步长由2变成1,同时
将标准卷积替换成空洞率为2的空洞卷积,这样可以保证特征分辨率不降低的同时增大网
络感受野。由此,得到修正后的ResNet生成器,这个生成器的输出步长为8,所以对于输入尺
寸大小为768×768的源域影像xs和目标域影像xt,经过生成器之后,源域输出es和目标域输
出et的尺寸大小为96×96。生成器之后是两个分支,一个分支进行道路分割,首先采用1×1
卷积将源域特征es的维度从1024降低到256,然后通过双线性插值将特征图上采样到192×
192,再采用跳跃连接,通过和相应的低层特征进行逐像素的相加,来恢复更详细的空间细
节信息,之后分别采用3×3卷积和1×1卷积降低特征图维度到64和1,最后通过双线性插
值,四倍上采样恢复到原始输入大小768×768,并通过Sigmoid分类器获取道路分割概率
图。另一个分支进行全局‑局部对抗学习,利用两个互斥分类器(即两个不同的分类器,通过
余弦相似性,约束两个分类器的参数不一致,防止两个分类器退化成同一个分类器,得到一
样的分类结果,那么计算两个分类器预测结果的差异就没有意义了),分别输出一个二维特
征图m1和m2,紧接着1×1卷积得到一维的概率图p1和p2,最终的概率值p是p1和p2之和。对于
判别器D,采用的是通道数分别为64,128,256,512和1的五层全卷积网络,每一个卷积层的
卷积核大小为4×4,步长为2,且连接一个leaky ReLU,最后采用双线性插值使得输出结果
恢复到原始输入大小。对于源域输入es,通过两个分类器得到概率图ps,然后输入到判别器D
中计算对抗损失。对于目标域输入et,通过两个分类器得到概率图pt,输入到判别器D中计算
对抗损失。同时也得到二维输出 和 紧接着softmax激活函数来获得分割输出
和 然后根据 和 之间的差异计算权重,根据此权重来自动调节对抗损失,权重越
小,说明特征已经很好的对齐了,这些像素的对齐力度应该被降低,权重越大,说明这些特
征还没有很好对齐,应该增强对齐力度。
以下式子表达:
架的网络参数,直至网络收敛。
割图。
力,使得模型在目标域上的道路提取性能也能保持的较好,在跨域道路提取时,所提方法可
以明显改善道路缺失现象,同时由于采用全局和局部对抗相结合的方式,对于一些困难的
样本也能较好的识别,显著提升道路识别精度。
附图说明
具体实施方式
影像,影像大小为1024×1024,与源域样本一起构成训练集,如图1所示。对训练集进行归一
化与数据增强。此步骤进一步包括:
分辨率,移除ResNet50的第四个残差块,并将第三个残差块内的最后一层卷积的步长由2变
成1,同时将标准卷积替换成空洞率为2的空洞卷积,这样可以保证特征分辨率不降低的同
时增大网络感受野。由此,得到修正后的ResNet生成器,这个生成器的输出步长为8,所以对
于输入尺寸大小为768×768的源域影像xs和目标域影像xt,经过生成器之后,源域输出es和
目标域输出et的尺寸大小为96×96。生成器之后是两个分支,一个分支进行道路分割,首先
采用1×1卷积将源域特征es的维度从1024降低到256,然后通过双线性插值将特征图上采
样到192×192,再采用跳跃连接,通过和相应的低层特征进行逐像素的相加,来恢复更详细
的空间细节信息,之后分别采用3×3卷积和1×1卷积降低特征图维度到64和1,最后通过双
线性插值,四倍上采样恢复到原始输入大小768×768,并通过Sigmoid分类器获取道路分割
图。另一个分支进行全局‑局部对抗学习,利用两个互斥分类器,分别输出一个二维特征图
m1和m2,紧接着1×1卷积得到一维的概率图p1和p2,最终的概率值p是p1和p2之和。
使得输出结果恢复到原始输入大小。对于源域输入es,通过两个分类器得到概率图ps,然后
输入到判别器D中计算对抗损失。对于目标域输入et,通过两个分类器得到概率图pt,输入到
判别器D中计算对抗损失。同时也得到二维输出 和 紧接着softmax激活函数来获得
分割输出 和 然后根据 和 之间的差异计算权重,根据此权重来自动调节对抗
损失,权重越小,说明特征已经很好的对齐了,这些像素的对齐力度应该被降低,权重越大,
说明这些特征还没有很好对齐,应该增强对齐力度。
以下式子表达:
架的网络参数,直至网络收敛。
割图,如图3所示。
代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。