一种无监督域自适应SAR舰船检测方法及系统转让专利

申请号 : CN202311385351.4

文献号 : CN117115170B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 陈杰杨延睿孙龙黄志祥邬伯才吴涛陈曦

申请人 : 安徽大学中国电子科技集团公司第三十八研究所

摘要 :

本发明公开了一种无监督域自适应SAR舰船检测方法及系统,包括以下步骤:获取光学舰船图像和SAR舰船图像;构建UDA‑SARDet模型;将所述光学舰船图像和所述SAR舰船图像作为所述UDA‑SARDet模型的输入数据进行训练与测试;利用通过测试的所述UDA‑SARDet模型完成对SAR图像舰船检测。本发明使用未标注的SAR舰船图像和现有的已标注的光学数据集,高效完成SAR图像的舰船检测任务。同时设计全新的网络模型结构和IoU损失函数,解决了SAR图像舰船目标多尺度、特征少、信息容易丢失等问题,提升了模型的检测性能。

权利要求 :

1.一种无监督域自适应SAR舰船检测方法,其特征在于,包括以下步骤:获取光学舰船图像和SAR舰船图像;

构建UDA‑SARDet模型;

将所述光学舰船图像和所述SAR舰船图像作为所述UDA‑SARDet模型的输入数据进行训练与测试;

利用通过测试的所述UDA‑SARDet模型完成对SAR图像舰船检测;

所述UDA‑SARDet模型包括:自注意力特征提取主干网络SAFEBckebone、轻量级特征融合颈部LFFNeck、图像生成网络CycleGAN‑SAR以及 Loss;

所述图像生成网络CycleGAN‑SAR为:基于CycleGAN的一种适用于光学图像与SAR图像之间的图像生成网络;具体为:在CycleGAN的判别器中添加SCA注意力机制,SCA为Coordinate Attention注意力机制CA的改进版本;

所述自注意力特征提取主干网络SAFEBckebone为:在CSPDarknet53的基础上,引入Swim‑Transformer中的Swim‑Transformer Block模块和SCA注意力机制模块,生成所述自注意力特征提取主干网络SAFEBckebone;

所述轻量级特征融合颈部LFFNeck为:将特征图上采样模块CARAFE替换PANet中原有的上采样模块和加入上下文聚合模块SCABlock,SCABlock是CABlock的改进版本;

所述  Loss的表达式为:

其中 表示预测框与实际框的交并比使用EIOU计算时

的损失函数。

2.根据权利要求1所述的无监督域自适应SAR舰船检测方法,其特征在于,利用通过测试的所述UDA‑SARDet模型完成对SAR图像舰船检测的方法包括:将所述光学舰船图像作为源域数据,所述SAR舰船图像作为目标域数据;

将所述源域数据和所述目标域数据输入所述图像生成网络CycleGAN‑SAR,获得类源域数据和类目标域数据;

将所述源域数据、所述目标域数据、所述类源域数据和所述类目标域数据进行裁剪后输入所述自注意力特征提取主干网络SAFEBckebone,提取舰船目标特征;

基于所述轻量级特征融合颈部LFFNeck,对所述舰船目标特征进行增强;

将增强后的所述舰船目标特征输入检测层,完成对目标域图像的舰船目标检测。

3.一种无监督域自适应SAR舰船检测系统,所述系统用于实现权利要求1‑2任一项所述的一种无监督域自适应SAR舰船检测方法,其特征在于,包括:获取模块、构建模块、测试模块和检测模块;

所述获取模块用于获取光学舰船图像和SAR舰船图像;

所述构建模块用于构建UDA‑SARDet模型;

所述测试模块用于将所述光学舰船图像和所述SAR舰船图像作为所述UDA‑SARDet模型的输入数据进行训练与测试;

所述检测模块用于利用通过测试的所述UDA‑SARDet模型完成对SAR图像舰船检测。

说明书 :

一种无监督域自适应SAR舰船检测方法及系统

技术领域

[0001] 本发明属于SAR图像目标检测技术领域,具体涉及一种无监督域自适应SAR舰船检测方法及系统。

背景技术

[0002] 合成孔径雷达(SAR) 是一种高分辨率成像雷达,具有不受光照和气候条件等限制实现全天时、全天候对地观测的特点。SAR图像舰船检测在军事领域具有重要的研究价值,但由于SAR图像本身复杂的成像机制,导致SAR图像目标检测任务极具挑战性。传统的基于结构、灰度特征和纹理特征的检测方法在面临复杂场景和目标多尺度等问题时,检测性能受到很大的影响。基于卷积神经网络的SAR图像舰船检测方法受到真实应用场景下多角度和多参数SAR舰船数据量严重匮乏以及SAR图像舰船检测的应用场景高实时性的要求等因素影响,使得SAR图像舰船检测仍然面临着重大的挑战。
[0003] 领域自适应是一种通过学习源领域和目标领域之间的差异,来实现将源领域的模型迁移到目标领域的方法。它解决了在实际应用中,由于数据的获取和标注成本较高,数据集不完整、不平衡、标注不准确等问题。领域自适应的提出,为SAR图像舰船检测提供了思路。在实际应用中,领域自适应方法在光学图像目标检测任务中取得了不错的效果,但在SAR图像舰船检测任务中尚属空白并且面临着巨大的挑战。首先,光学数据集与SAR数据集之间的域差异要远远大于不同光学数据集之间的域差异,巨大的域差异可能会导致领域自适应方法在SAR图像目标检测中性能降低。其次,由于SAR图像特殊的成像机制,常用的目标检测算法不能有效提取SAR目标的特征,难以满足实际应用中对检测性能的要求。最后,大多数领域自适应方法仍然基于Faster R‑CNN这种两阶段检测器,在资源有限和时间紧迫的SAR图像舰船检测任务中,更希望使用高实时性和高精度的单阶段检测器。

发明内容

[0004] 针对现有技术的不足,本发明提出了一种无监督域自适应SAR舰船检测方法及系统,使用未标注的SAR舰船图像和现有的已标注的光学数据集,高效完成SAR图像的舰船检测任务。同时设计全新的网络模型结构和IoU损失函数,解决了SAR图像舰船目标多尺度、特征少、信息容易丢失等问题,提升了模型的检测性能。
[0005] 为实现上述目的,本发明提供了如下方案:
[0006] 一种无监督域自适应SAR舰船检测方法,包括以下步骤:
[0007] 获取光学舰船图像和SAR舰船图像;
[0008] 构建UDA‑SARDet模型;
[0009] 将所述光学舰船图像和所述SAR舰船图像作为所述UDA‑SARDet模型的输入数据进行训练与测试;
[0010] 利用通过测试的所述UDA‑SARDet模型完成对SAR图像舰船检测。
[0011] 优选的,所述UDA‑SARDet模型包括:自注意力特征提取主干网络SAFEBckebone、轻量级特征融合颈部LFFNeck、图像生成网络CycleGAN‑SAR以及  Loss。
[0012] 优选的,所述图像生成网络CycleGAN‑SAR为:基于CycleGAN的一种适用于光学图像与SAR图像之间的图像生成网络;具体为:在CycleGAN的判别器中添加SCA注意力机制。
[0013] 优选的,所述自注意力特征提取主干网络SAFEBckebone为:在CSPDarknet53的基础上,引入Swim‑Transformer中的Swim‑Transformer Block模块和SCA注意力机制模块,生成所述自注意力特征提取主干网络SAFEBckebone。
[0014] 优选的,所述轻量级特征融合颈部LFFNeck为:以PANet为基础,加入特征图上采样模块CARAFE和上下文聚合模块SCABlock。
[0015] 优选的,所述 Loss的表达式为:
[0016] 。
[0017] 其中 表示预测框与实际框的交并比使用EIOU计算时的损失函数。
[0018] 优选的,利用通过测试的所述UDA‑SARDet模型完成对SAR图像舰船检测的方法包括:
[0019] 将所述光学舰船图像作为源域数据,所述SAR舰船图像作为目标域数据;
[0020] 将所述源域数据和所述目标域数据输入所述图像生成网络CycleGAN‑SAR,获得类源域数据和类目标域数据;
[0021] 将所述源域数据、所述目标域数据、所述类源域数据和所述类目标域数据进行裁剪后输入所述自注意力特征提取主干网络SAFEBckebone,提取舰船目标特征;
[0022] 基于所述轻量级特征融合颈部LFFNeck,对所述舰船目标特征进行增强;
[0023] 将增强后的所述舰船目标特征输入检测层,完成对目标域图像的舰船目标检测。
[0024] 本发明还提供了一种无监督域自适应SAR舰船检测系统,包括:获取模块、构建模块、测试模块和检测模块;
[0025] 所述获取模块用于获取光学舰船图像和SAR舰船图像;
[0026] 所述构建模块用于构建UDA‑SARDet模型;
[0027] 所述测试模块用于将所述光学舰船图像和所述SAR舰船图像作为所述UDA‑SARDet模型的输入数据进行训练与测试;
[0028] 所述检测模块用于利用通过测试的所述UDA‑SARDet模型完成对SAR图像舰船检测。
[0029] 与现有技术相比,本发明的有益效果为:
[0030] 本发明提出一种从光学领域到SAR领域并且具备高精度、高实时性的无监督域适应SAR舰船检测方法UDA‑SARDet,UDA‑SARDet是一种单阶段检测方法,将包含丰富信息的光学舰船图像作为源域,SAR舰船图像作为目标域,其中源域数据完全标记而目标域数据不标记。为缩小源域和目标域之间的差距,引入基于CycleGAN设计的新的图像生成网络CycleGAN‑SAR以实现光学图像和SAR图像的伪图像生成。采用知识蒸馏框架,使用Mean Teacher引导教师网络检测对未标记的目标域图像进行检测并生成伪标签,实现对学生网络相对无偏的更新。本发明所提出的从光学到SAR的无监督域自适应SAR舰船检测方法在SAR数据集SSDD和光学数据集DIOR上与其他最新无监督域自适应方法进行实验对比,实验结果表明本发明的方法有很大的改进。本发明的创新性主要表现在以下几个方面:
[0031] 1.本发明首次提出从光学到SAR的无监督域自适应SAR舰船检测方法,并通过CycleGAN‑SAR减小源域与目标域的域差异。充分发挥光学图像数据量大、目标信息丰富等优势,解决了SAR图像舰船检测中因标注数据量匮乏导致的模型性能低的问题,在无需产生昂贵标注成本的情况下,提升了SAR图像舰船检测的性能。
[0032] 2.本发明设计一种可以利用自注意力机制来挖掘特征表征潜能的特征提取主干网络SAFEBckebone。它可以捕获全局信息和丰富的上下文信息,减缓SAR图像复杂背景对舰船检测的影响,并且在高密度目标的情况下使模型依旧能发挥良好的性能。
[0033] 3.本发明设计一种全新的轻量级特征融合颈部LFFNeck,针对小尺寸舰船分辨率低、特征少、信息易丢失等问题,引入更高效的上采样模块和上下文聚合模块,学习全局空间内容,提高对小尺寸舰船目标的检测效果。
[0034] 4.本发明设计出一种简单高效的 Loss。 Loss有平衡高质量样本和低质量样本对loss的贡献的特点,提升高质量样本的贡献的同时抑制低质量样本的贡献,更适用于基于无监督域适应的SAR图像舰船目标检测任务。

附图说明

[0035] 为了更清楚地说明本发明的技术方案,下面对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0036] 图1为本发明实施例中的一种无监督域自适应SAR舰船检测方法流程示意图;
[0037] 图2为本发明实施例中的UDA‑SARDet的网络结构示意图;
[0038] 图3为本发明实施例中的SAFEBckebone的网络结构示意图;
[0039] 图4为本发明实施例中的原CA模块与修改后的SCA模块结构示意图,其中,(a)为原CA模块结构示意图,(b)为修改后的SCA模块结构示意图;
[0040] 图5为本发明实施例中的LFFNeck的网络结构示意图;
[0041] 图6为本发明实施例中的CABlock与SCABlock结构示意图,其中,(a)为CABlock结构示意图,(b)为SCABlock结构示意图;
[0042] 图7为本发明实施例中的EIoU Loss、Focal‑EIoU Loss和 Loss的函数图对比示意图。

具体实施方式

[0043] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0044] 为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0045] 实施例一
[0046] 如图1所示,一种无监督域自适应SAR舰船检测方法,包括以下步骤:
[0047] 获取光学舰船图像和SAR舰船图像;
[0048] 构建UDA‑SARDet模型;
[0049] 将光学舰船图像和SAR舰船图像作为UDA‑SARDet模型的输入数据进行训练与测试;
[0050] 利用通过测试的UDA‑SARDet模型完成对SAR图像舰船检测。
[0051] 在本实施例中,自注意力特征提取主干网络SAFEBckebone、轻量级特征融合颈部LFFNeck、图像生成网络CycleGAN‑SAR以及简单高效的 Loss是UDA‑SARDet模型的主要模块和策略,整体网络结构如图2所示。
[0052] 在本实施例中,自注意力特征提取主干网络SAFEBckebone为:在CSPDarknet53的基础上,引入Swim‑Transformer中的Swim‑Transformer Block模块和新设计的SCA注意力机制模块,生成所述自注意力特征提取主干网络SAFEBckebone。如图3所示。
[0053] SAFEBckebone结合CNN网络局部特征提取和Transformer全局关系建模的优势,通过全局信息和丰富的上下文信息,深层次的挖掘图像特征表征潜能,更有效地提取舰船目标特征。
[0054] 本发明将CSPDarknet53中的后两个C3模块替换成Swim‑Transformer Block模块,并重新命名为C3STR模块。在C3STR模块后,加入了Coordinate Attention注意力机制(CA)的改进版本SCA,将CA中的sigmoid激活函数替换成更平滑的SiLU激活函数,如图4中的(a)、(b)所示。
[0055] 在本实施例中,在SAR图像舰船检测任务中,针对舰船目标多尺度,小尺寸目标特征少、信息易丢失等问题,设计一种全新的轻量级特征重组与增强颈部LFFNeck。LFFNeck以PANet为基础,加入特征图上采样模块CARAFE和上下文聚合模块SCABlock。网络结构如图5所示。
[0056] 本发明将特征图上采样模块CARAFE替换PANet中原有的上采样模块,CARAFE计算开销少,计算速度快,是一种轻量、高效的上采样模块。CARAFE具有较大的感受野,可以更好地利用周围的信息,并且支持特定于实例的内容感知处理,动态地生成自适应的内核,基于输入内容的语义信息进行上采样。缓解了SAR图像舰船检测中小尺寸目标信息丢失的问题,更高效的利用舰船目标的特征信息。同时,在对三个不同尺度的特征图进行目标检测前,加入上下文聚合模块SCABlock,通过学习每个尺度的全局空间上下文来进一步增强特征。SCABlock是CABlock的改进版本,如图6中的(a)、(b)所示。在SAR舰船检测中SCABlock可以有效地融合局部和全局特征,同时减少信息混淆,增强对不同尺度特征图的特征提取,缓解舰船目标多尺度、特征少的问题,提高SAR图像中舰船的检测精度。
[0057] 在本实施例中,EIoU Loss在各种IoU Loss的计算当中,具有更快的收敛速度和更好的定位结果。同时结合Focal Loss提出Focal‑EIoU Loss,优化了边界框回归任务中的样本不平衡问题,使回归过程更专注于高质量的预测框,公式如下:
[0058]
[0059] 其中 是一个用于控制曲线弧度的超参。
[0060] 在SAR图像舰船检测任务中,由于目标特征信息难以提取,导致高质量样本的数量远少于低质量样本,训练样本极度不平衡。因此,本发明在EIoU Loss的思想基础上,设计一种更简单高效的回归框损失 Loss,其形式如下:
[0061]
[0062] 由于Focal‑EIoU Loss的函数表达式比较复杂,为了更直观的比较EIoU Loss、Focal‑EIoU Loss、 Loss的差异,将Focal‑EIoU Loss函数表达式中的IoU近似的用EIoU替换,三种IoU Loss随EIoU的变化如图7所示。从图7中可以发现,在Focal‑EIoU Loss中,低质量样本对Loss的贡献受到了很强的抑制,相比之下,高质量样本对Loss的贡献得到了提升。尽管这种设计可以使网络模型更专注于高质量样本的检测,但在以小目标为主的SAR图像舰船检测任务中,可能会忽略或将低质量预测框和低置信度预测分配给小目标,影响模型的性能。而  Loss在此基础上进行改进,平衡了高质量样本和低质量样本对loss的贡献,加强对低质量样本的关注,提升模型对小目标目标舰船的检测性能,更适用于SAR图像舰船检测任务。同时, Loss的计算复杂度更低,相比于Focal‑EIoU Loss,计算参数更少,加快了模型的收敛速度。
[0063] 在本实施例中,图像生成网络CycleGAN‑SAR为:基于CycleGAN的一种适用于光学图像与SAR图像之间的图像生成网络;具体为:在CycleGAN的判别器中添加SCA注意力机制。
[0064] 在基于无监督域适应的SAR舰船检测中,由于源域的光学图像和目标域的SAR图像在成像原理上有所不同,导致源域和目标域图像在纹理、颜色和外观等方面存在着巨大的差异,即源域与目标域的域差异较大。在领域自适应任务中,域差异是导致模型性能降低的重要因素。为了缓解域差异对模型性能带来的影响,本发明基于CycleGAN设计一种适用于光学图像与SAR图像之间的图像生成网络CycleGAN‑SAR。本发明在CycleGAN的判别器中添加SCA注意力机制,设计一种名为CycleGAN‑SAR的新的图像生成网络。SCA既能准确捕地获感兴趣区域的位置信息,又能有效地捕捉通道间的关系。增强了模型对图像不同区域的区分能力,提高了生成伪图像的质量。同时,高质量的目标域伪图像与源域样本共享公共标签,丰富了可训练样本的数量,增强了模型的泛化能力。
[0065] 在本实施例中,利用通过测试的所述UDA‑SARDet模型完成对SAR图像舰船检测的方法包括:
[0066] 将所述光学舰船图像作为源域数据,所述SAR舰船图像作为目标域数据;
[0067] 将所述源域数据和所述目标域数据输入所述图像生成网络CycleGAN‑SAR,获得类源域数据和类目标域数据;
[0068] 将所述源域数据、所述目标域数据、所述类源域数据和所述类目标域数据进行裁剪后输入所述自注意力特征提取主干网络SAFEBckebone,提取舰船目标特征;
[0069] 基于所述轻量级特征融合颈部LFFNeck,对所述舰船目标特征进行增强;
[0070] 将增强后的所述舰船目标特征输入检测层,完成对目标域图像的舰船目标检测。
[0071] 具体的,在常用的光学图像数据集DIOR和SAR图像舰船目标检测数据集SSDD上进行实验验证,来评估UDA‑SARDet模型的性能。DIOR数据集是西北工业大学提出的一个大规模、公开可用的光学遥感图像目标检测基准数据集,覆盖20种类型的遥感地物目标,包含23463张图像和190288个实例。SSDD数据集是国内外公开的第一个专门用于SAR图像舰船目标检测的数据集,分辨率为1‑15m,在大片海域和近岸地区都有舰船目标。
[0072] 此次实验中,本发明只利用DIOR数据集中的包含舰船目标的图像,选取1169张舰船图像作为源域。选取SSDD中的928张图像作为目标域训练集,剩下的232张图像作为目标域测试集。
[0073] 首先将源域数据和目标域训练数据经过CycleGAN‑SAR模块生成高质量的类源域数据和类目标域数据,其中源域数据和类源域数据共享标签,而目标域训练数据和类目标域数据不带标签,随后将这四类数据统一裁剪为512*512的大小输入到UDA‑SARDet模型中,最后在目标域测试数据进行模型的性能测试。
[0074] 在整个实验过程中,首先将源域数据和目标域训练数据经过CycleGAN‑SAR模块。CycleGAN‑SAR是一种更适用于光学图像与SAR图像之间的图像生成模块,生成的类源域数据和类目标域数据与真实图像数据风格更加相似。这四类图像数据中,源域数据和类源域数据共享标签,而目标域训练数据和类目标域数据不带标签。随后将这四类数据统一裁剪为512*512的大小输入到自注意力特征提取主干网络SAFEBckebone中,SAFEBckebone结合全局信息和上下文信息深层次的挖掘图像特征表征潜能,更有效的提取舰船目标特征,以便后续网络更好地利用这些特征。接着轻量级特征重组与增强颈部LFFNeck通过学习每个尺度的全局空间上下文来进一步增强特征。缓解舰船目标多尺度、小尺寸目标特征少、信息易丢失等问题对模型检测性能的影响。最后经过检测层输出对目标域图像的舰船目标检测结果,并在目标域测试数据进行模型的性能测试。在计算舰船目标检测的损失函数中,本发明提出了一种新的简单高效的回归框损失 Loss替代原有的回归框损失。
Loss平衡了高质量样本和低质量样本对Loss的贡献,加强对低质量样本的关注,提升模型对小目标目标舰船的检测性能,更适用于SAR图像舰船检测任务。
[0075] 实施例二
[0076] 本发明还提供了一种无监督域自适应SAR舰船检测系统,包括:获取模块、构建模块、测试模块和检测模块;
[0077] 所述获取模块用于获取光学舰船图像和SAR舰船图像;
[0078] 所述构建模块用于构建UDA‑SARDet模型;
[0079] 所述测试模块用于将所述光学舰船图像和所述SAR舰船图像作为所述UDA‑SARDet模型的输入数据进行训练与测试;
[0080] 所述检测模块用于利用通过测试的所述UDA‑SARDet模型完成对SAR图像舰船检测。
[0081] 在本实施例中,自注意力特征提取主干网络SAFEBckebone、轻量级特征融合颈部LFFNeck、图像生成网络CycleGAN‑SAR以及简单高效的 Loss是UDA‑SARDet模型的主要模块和策略,整体网络结构如图2所示。
[0082] 在本实施例中,自注意力特征提取主干网络SAFEBckebone为:在CSPDarknet53的基础上,引入Swim‑Transformer中的Swim‑Transformer Block模块和新设计的SCA注意力机制模块,生成所述自注意力特征提取主干网络SAFEBckebone。如图3所示。
[0083] SAFEBckebone结合CNN网络局部特征提取和Transformer全局关系建模的优势,通过全局信息和丰富的上下文信息,深层次的挖掘图像特征表征潜能,更有效地提取舰船目标特征。
[0084] 本发明将CSPDarknet53中的后两个C3模块替换成Swim‑Transformer Block模块,并重新命名为C3STR模块。在C3STR模块后,加入了Coordinate Attention注意力机制(CA)的改进版本SCA,将CA中的sigmoid激活函数替换成更平滑的SiLU激活函数,如图4中的(a)、(b)所示。
[0085] 在本实施例中,在SAR图像舰船检测任务中,针对舰船目标多尺度,小尺寸目标特征少、信息易丢失等问题,设计一种全新的轻量级特征重组与增强颈部LFFNeck。LFFNeck以PANet为基础,加入特征图上采样模块CARAFE和上下文聚合模块SCABlock。网络结构如图5所示。
[0086] 本发明将特征图上采样模块CARAFE替换PANet中原有的上采样模块,CARAFE计算开销少,计算速度快,是一种轻量、高效的上采样模块。CARAFE具有较大的感受野,可以更好地利用周围的信息,并且支持特定于实例的内容感知处理,动态地生成自适应的内核,基于输入内容的语义信息进行上采样。缓解了SAR图像舰船检测中小尺寸目标信息丢失的问题,更高效的利用舰船目标的特征信息。同时,在对三个不同尺度的特征图进行目标检测前,加入上下文聚合模块SCABlock,通过学习每个尺度的全局空间上下文来进一步增强特征。SCABlock是CABlock的改进版本,如图6所示。在SAR舰船检测中SCABlock可以有效地融合局部和全局特征,同时减少信息混淆,增强对不同尺度特征图的特征提取,缓解舰船目标多尺度、特征少的问题,提高SAR图像中舰船的检测精度。
[0087] 在本实施例中,EIoU Loss在各种IoU Loss的计算当中,具有更快的收敛速度和更好的定位结果。同时结合Focal Loss提出Focal‑EIoU Loss,优化了边界框回归任务中的样本不平衡问题,使回归过程更专注于高质量的预测框,公式如下:
[0088]
[0089] 其中 是一个用于控制曲线弧度的超参。
[0090] 在SAR图像舰船检测任务中,由于目标特征信息难以提取,导致高质量样本的数量远少于低质量样本,训练样本极度不平衡。因此,本发明在EIoU Loss的思想基础上,设计一种更简单高效的回归框损失 Loss,其形式如下:
[0091]
[0092] 由于Focal‑EIoU Loss的函数表达式比较复杂,为了更直观的比较EIoU Loss、Focal‑EIoU Loss、 Loss的差异,将Focal‑EIoU Loss函数表达式中的IoU近似的用EIoU替换,三种IoU Loss随EIoU的变化如图7所示。从图7中可以发现,在Focal‑EIoU Loss中,低质量样本对Loss的贡献受到了很强的抑制,相比之下,高质量样本对Loss的贡献得到了提升。尽管这种设计可以使网络模型更专注于高质量样本的检测,但在以小目标为主的SAR图像舰船检测任务中,可能会忽略或将低质量预测框和低置信度预测分配给小目标,影响模型的性能。而  Loss在此基础上进行改进,平衡了高质量样本和低质量样本对loss的贡献,加强对低质量样本的关注,提升模型对小目标目标舰船的检测性能,更适用于SAR图像舰船检测任务。同时, Loss的计算复杂度更低,相比于Focal‑EIoU Loss,计算参数更少,加快了模型的收敛速度。
[0093] 在本实施例中,图像生成网络CycleGAN‑SAR为:基于CycleGAN的一种适用于光学图像与SAR图像之间的图像生成网络;具体为:在CycleGAN的判别器中添加SCA注意力机制。
[0094] 在基于无监督域适应的SAR舰船检测中,由于源域的光学图像和目标域的SAR图像在成像原理上有所不同,导致源域和目标域图像在纹理、颜色和外观等方面存在着巨大的差异,即源域与目标域的域差异较大。在领域自适应任务中,域差异是导致模型性能降低的重要因素。为了缓解域差异对模型性能带来的影响,本发明基于CycleGAN设计一种适用于光学图像与SAR图像之间的图像生成网络CycleGAN‑SAR。本发明在CycleGAN的判别器中添加SCA注意力机制,设计一种名为CycleGAN‑SAR的新的图像生成网络。SCA既能准确捕地获感兴趣区域的位置信息,又能有效地捕捉通道间的关系。增强了模型对图像不同区域的区分能力,提高了生成伪图像的质量。同时,高质量的目标域伪图像与源域样本共享公共标签,丰富了可训练样本的数量,增强了模型的泛化能力。
[0095] 在本实施例中,利用通过测试的所述UDA‑SARDet模型完成对SAR图像舰船检测的方法包括:
[0096] 将所述光学舰船图像作为源域数据,所述SAR舰船图像作为目标域数据;
[0097] 将所述源域数据和所述目标域数据输入所述图像生成网络CycleGAN‑SAR,获得类源域数据和类目标域数据;
[0098] 将所述源域数据、所述目标域数据、所述类源域数据和所述类目标域数据进行裁剪后输入所述自注意力特征提取主干网络SAFEBckebone,提取舰船目标特征;
[0099] 基于所述轻量级特征融合颈部LFFNeck,对所述舰船目标特征进行增强;
[0100] 将增强后的所述舰船目标特征输入检测层,完成对目标域图像的舰船目标检测。
[0101] 具体的,在常用的光学图像数据集DIOR和SAR图像舰船目标检测数据集SSDD上进行实验验证,来评估UDA‑SARDet模型的性能。DIOR数据集是西北工业大学提出的一个大规模、公开可用的光学遥感图像目标检测基准数据集,覆盖20种类型的遥感地物目标,包含23463张图像和190288个实例。SSDD数据集是国内外公开的第一个专门用于SAR图像舰船目标检测的数据集,分辨率为1‑15m,在大片海域和近岸地区都有舰船目标。
[0102] 此次实验中,本发明只利用DIOR数据集中的包含舰船目标的图像,选取1169张舰船图像作为源域。选取SSDD中的928张图像作为目标域训练集,剩下的232张图像作为目标域测试集。
[0103] 首先将源域数据和目标域训练数据经过CycleGAN‑SAR模块生成高质量的类源域数据和类目标域数据,其中源域数据和类源域数据共享标签,而目标域训练数据和类目标域数据不带标签,随后将这四类数据统一裁剪为512*512的大小输入到UDA‑SARDet模型中,最后在目标域测试数据进行模型的性能测试。
[0104] 在整个实验过程中,首先将源域数据和目标域训练数据经过CycleGAN‑SAR模块。CycleGAN‑SAR是一种更适用于光学图像与SAR图像之间的图像生成模块,生成的类源域数据和类目标域数据与真实图像数据风格更加相似。这四类图像数据中,源域数据和类源域数据共享标签,而目标域训练数据和类目标域数据不带标签。随后将这四类数据统一裁剪为512*512的大小输入到自注意力特征提取主干网络SAFEBckebone中,SAFEBckebone结合全局信息和上下文信息深层次的挖掘图像特征表征潜能,更有效的提取舰船目标特征,以便后续网络更好地利用这些特征。接着轻量级特征重组与增强颈部LFFNeck通过学习每个尺度的全局空间上下文来进一步增强特征。缓解舰船目标多尺度、小尺寸目标特征少、信息易丢失等问题对模型检测性能的影响。最后经过检测层输出对目标域图像的舰船目标检测结果,并在目标域测试数据进行模型的性能测试。在计算舰船目标检测的损失函数中,本发明提出了一种新的简单高效的回归框损失 Loss替代原有的回归框损失。
Loss平衡了高质量样本和低质量样本对Loss的贡献,加强对低质量样本的关注,提升模型对小目标目标舰船的检测性能,更适用于SAR图像舰船检测任务。
[0105] 实施例三
[0106] 为了验证本发明提出的UDA‑SARDet的高性能,本发明将UDA‑SARDet与最新的无监督域适应方法在DIOR和SSDD数据集上进行对比。对比实验中,将实验参数尽可能设置成相同,保证实验的公平性,实验结果见表1与最新无监督域适应方法的比较。
[0107] 表1
[0108]
[0109] 其中source only代表仅使用源图像训练而不进行域自适应的YOLOv5s检测网络,Baseline是UDA‑SARDet设计前的网络,DA和DTCN为最新的无监督域适应方法,upper bound为全监督的YOLOv5s检测方法。分析表中的数据可知,UDA‑SARDet明显优于所有的比较方法。与DA和DTCN相比,UDA‑SARDet对小目标的检测更加准确,并且有更低的误检率和漏检率。说明UDA‑SARDet在SAR图像舰船检测任务中的应用是有效的,相比于其他的无监督域适应方法,UDA‑SARDet针对SAR舰船目标的特点进行设计,很大程度上提升了模型的性能。
[0110] 为了证明我们设计的CycleGAN‑SAR、SAFEBckebone、LFFNeck和 Loss的有效性,我们进行了在DIOR和SSDD数据集上的消融实验。我们将这些设计进行不同的组合,以此来更全面的了解不同设计对模型检测性能的影响。消融实验结果见表2消融实验结果,从表中可以看出,图像生成网络CycleGAN‑SAR、自注意力特征提取主干网络SAFEBckebone、轻量级特征重组与增强颈部LFFNeck和简单高效的 Loss对模型的检测性能都有提升。
[0111] 表2
[0112]
[0113] 本发明提出的模型可以结合有标签的光学舰船数据集和无标签的SAR舰船图像数据进行训练,将训练好的权重保存下来。然后将需要处理的未知SAR舰船图像输入到模型中,应用训练好的权重文件,对未知SAR舰船图像进行目标检测,将舰船目标标记出来。
[0114] 以上所述的实施例仅是对本发明优选方式进行的描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。