船舶检测半监督在线训练方法、装置及计算机存储介质

摘要

本发明实施例公开了一种船舶检测半监督在线训练方法包括：获取初始船舶检测模型，并获取标定数据集和待检测数据集；将待检测数据集输入至初始船舶检测模型进行检测，得到伪标签数据集，将伪标签数据集进行数据预处理得到训练样本集；船舶检测网络加载初始船舶检测模型，初始化模型权重，并采用训练样本集进行模型训练，前向传播提取目标特征，计算模型loss损失，反向传播更新网络参数，直至模型收敛，得到最新的船舶检测模型。本发明对伪标签数据进行数据预处理，增加样本数据量，修改损失函数计算方法，使得船舶检测网络可以在线学习，不断优化自身的权重，得到最优模型，实现模型在线半监督训练，提高模型的鲁棒性以及检出率。

权利要求

1.一种船舶检测半监督在线训练方法，其特征在于，包括：

获取初始船舶检测模型，并获取标定数据集和待检测数据集；

将所述待检测数据集输入至所述初始船舶检测模型进行检测，得到伪标签数据集，将所述伪标签数据集进行数据预处理得到训练样本集；

其中，将所述伪标签数据集进行数据预处理得到训练样本集包括：当伪标签数据集中的目标伪标签数据为无目标的伪标签数据时，将所述目标伪标签数据与所述标定数据集中提取的目标物体数据进行图片整合，或，将所述目标伪标签数据与标定数据集中的数据进行图片混合；当伪标签数据集中的目标伪标签数据为有目标的伪标签数据时，将所述目标伪标签数据中的目标物体数据与所述标定数据集中的数据进行图片整合，和，将所述目标伪标签数据中的目标物体数据与所述标定数据集中的数据进行数据连接；

船舶检测网络加载初始船舶检测模型，初始化模型权重，并采用所述训练样本集进行模型训练，前向传播提取目标特征，计算模型loss损失，反向传播更新网络参数，直至模型收敛，得到最新的船舶检测模型；

所述计算模型loss损失，包括：当目标样本数据由数据连接得到时，若目标样本数据为标定数据，则根据损失函数计算所述目标样本数据loss损失，若目标样本数据为伪标签数据，则根据所述目标样本数据的置信度计算所述目标样本数据的loss损失；当目标样本数据由其它方式得到时，根据损失函数计算所述目标样本数据的loss损失；计算所述训练样本集中，参与本次模型训练的样本数据的loss损失之和；

所述根据所述目标样本数据的置信度计算所述目标样本的loss损失包括：当目标样本数据的置信度大于或等于第一预设置信度阈值时，计算第一损失权重、所述目标样本数据的分类损失以及回归损失，将所述目标样本数据的分类损失及回归损失之和与第一损失权重相乘，得到目标样本数据的loss损失；当目标样本数据的置信度小于第一预设置信度阈值且大于或等于第二置信度阈值时，计算第二损失权重和所述目标样本数据的回归损失，将所述第二损失权重与所述目标样本数据的回归损失相乘得到目标样本数据的loss损失；

当目标样本数据的置信度小于第二置信度阈值时，不计算loss损失。

2.根据权利要求1所述的船舶检测半监督在线训练方法，其特征在于，所述将所述目标伪标签数据与所述标定数据集中提取的目标物体数据进行图片整合，包括：以所述标定数据集的数据中的目标物体数据为中心，对预设范围内的数据进行抠图，得到抠图数据；

将所述抠图数据中的目标物体数据进行目标抖动，得到第一待粘贴数据；

将所述第一待粘贴数据与所述目标伪标签数据进行泊松融合。

3.根据权利要求1所述的船舶检测半监督在线训练方法，其特征在于，所述将所述目标伪标签数据中的目标物体数据与所述标定数据集中的数据进行图片整合，包括：以所述目标伪标签数据的目标物体数据为中心，对预设范围内的数据进行抠图，得到第二待粘贴数据；

将所述第二待粘贴数据与所述标定数据集中的数据进行泊松融合；

其中，所述目标伪标签数据为置信度大于第三预设置信度阈值的有目标的伪标签数据。

4.一种船舶检测半监督在线训练装置，其特征在于，包括：

数据获取模块，用于获取初始船舶检测模型，并获取标定数据集和待检测数据集；

训练样本集生成模块，用于将所述待检测数据集输入至所述初始船舶检测模型进行检测，得到伪标签数据集，将所述伪标签数据集进行数据预处理得到训练样本集；

其中，所述训练样本集生成模块包括：第一预处理子模块，用于当伪标签数据集中的目标伪标签数据为无目标的伪标签数据时，将所述目标伪标签数据与所述标定数据集中提取的目标物体数据进行图片整合，或，将所述目标伪标签数据与标定数据集中的数据进行图片混合；第二预处理子模块，用于当伪标签数据集中的目标伪标签数据为有目标的伪标签数据时，将所述目标伪标签数据中的目标物体数据与所述标定数据集中的数据进行图片整合，和，将所述目标伪标签数据中的目标物体数据与所述标定数据集中的数据进行数据连接；

最新船舶检测模型生成模块，用于船舶检测网络加载初始船舶检测模型，初始化模型权重，并采用所述训练样本集进行模型训练，前向传播提取目标特征，计算模型loss损失，反向传播更新网络参数，直至模型收敛，得到最新的船舶检测模型；

所述最新船舶检测模型生成模块包括：第一数据损失计算子模块，用于当目标样本数据由数据连接得到时，若目标样本数据为标定数据，则根据损失函数计算所述目标样本数据loss损失，若目标样本数据为伪标签数据，则根据所述目标样本数据的置信度计算所述目标样本数据的loss损失；第二数据损失计算子模块，用于当目标样本数据由其它方式得到时，根据损失函数计算所述目标样本数据的loss损失；模型损失计算子模块，用于计算所述训练样本集中，参与本次模型训练的样本数据的loss损失之和；

所述第一数据损失计算子模块，包括：第一loss损失计算单元，用于当目标样本数据的置信度大于或等于第一预设置信度阈值时，计算第一损失权重、所述目标样本数据的分类损失以及回归损失，将所述目标样本数据的分类损失及回归损失之和与第一损失权重相乘，得到目标样本数据的loss损失；第二loss损失计算单元，用于当目标样本数据的置信度小于第一预设置信度阈值且大于或等于第二置信度阈值时，计算第二损失权重和所述目标样本数据的回归损失，将所述第二损失权重与所述目标样本数据的回归损失相乘得到目标样本数据的loss损失；第三loss损失计算单元，用于当目标样本数据的置信度小于第二置信度阈值时，不计算loss损失。

5.根据权利要求4所述的船舶检测半监督在线训练装置，其特征在于，所述第一预处理子模块包括：抠图数据生成单元，用于以所述标定数据集的数据中的目标物体数据为中心，对预设范围内的数据进行抠图，得到抠图数据；

第一待粘贴数据生成单元，用于将所述抠图数据中的目标物体数据进行目标抖动，得到第一待粘贴数据；

第一图片整合单元，用于将所述第一待粘贴数据与所述目标伪标签数据进行泊松融合。

6.根据权利要求4所述的船舶检测半监督在线训练装置，其特征在于，所述第二预处理子模块包括：第二待粘贴数据生成单元，用于以所述目标伪标签数据的目标物体数据为中心，对预设范围内的数据进行抠图，得到第二待粘贴数据；

第二图片整合单元，用于将所述第二待粘贴数据与所述标定数据集中的数据进行泊松融合；

其中，所述目标伪标签数据为置信度大于第三预设置信度阈值的有目标的伪标签数据。

7.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1‑3中任一项所述的船舶检测半监督在线训练方法。

说明书

船舶检测半监督在线训练方法、装置及计算机存储介质

技术领域

[0001] 本发明涉及人工智能领域，尤其涉及一种船舶检测半监督在线训练方法、装置及计算机存储介质。

背景技术

[0002] 随着水上交通发展，船舶行驶安全逐渐被人们所重视，对于船舶的识别与检测常依赖于船舶识别模型。现有技术中的船舶检测模型通常采用全监督学习方法进行训练，即人为收集素材数据，对数据进行打标，并将这些打标数据进行网络。但由于船舶种类繁多，行驶环境丰富，收集到的素材无法涵盖所有信息，且有些数据因其监控点保密等各种原因无法进行图片采集，无法遍历所有监控点的数据信息，导致船舶检测模型具有局限性和不稳定性。

[0003] 另外，伪标签数据集存在误检和漏检现象，在目前技术中如何处理伪标签数据的负面影响仍然是一大难题。如果对伪标签数据集处理的方法不合适，船舶检测算法将会学习伪标签数据的噪音或有效特征信息，引导网络向负面方向学习，导致船舶检测模型推理的目标存在更多误检或漏检。

[0004] 综上，现有技术中存在如下缺点：①依靠人工标定的全监督训练方法，训练集具有局限性；②船舶检测模型无法由监控点环境和目标的变化对模型权重进行优化，缺乏适应性；③在无人工处理情况下，监控点新增的数据集无法反作用船舶检测模型，船舶检测模型将无法实时学习，缺乏学习性。这就会导致如下问题：①船舶检测模型由于数据集具有局限性，导致不同的监控点准确率和误检率差异大，对于训练集相近的监控点检出率偏高、误检率偏低，对于差异大的监控点准确率偏低、误检率偏高；②由于船舶行驶具有不定性，每个监控点都有可能出现该点从未出现过的船舶类型，但船舶检测模型对新类型的船舶检出率偏低；③无法学习监控点的实际数据集，船舶检测模型无法更好的拟合该点数据集信息。

[0005] 针对船舶检测上述所遇到的问题，目前现有技术还没有一个有效的技术解决方案。

发明内容

[0006] 为解决上述问题，本发明提供一种船舶检测半监督在线训练方法，包括：获取初始船舶检测模型，并获取标定数据集和待检测数据集；将所述待检测数据集输入至所述初始船舶检测模型进行检测，得到伪标签数据集，将所述伪标签数据集进行数据预处理得到训练样本集；其中，将所述伪标签数据集进行数据预处理得到训练样本集包括：当伪标签数据集中的目标伪标签数据为无目标的伪标签数据时，将所述目标伪标签数据与所述标定数据集中提取的目标物体数据进行图片整合，或，将所述目标伪标签数据与标定数据集中的数据进行图片混合；当伪标签数据集中的目标伪标签数据为有目标的伪标签数据时，将所述目标伪标签数据中的目标物体数据与所述标定数据集中的数据进行图片整合，或，将所述目标伪标签数据中的目标物体数据与所述标定数据集中的数据进行数据连接；船舶检测网络加载初始船舶检测模型，初始化模型权重，并采用所述训练样本集进行模型训练，前向传播提取目标特征，计算模型loss损失，反向传播更新网络参数，直至模型收敛，得到最新的船舶检测模型。

[0007] 进一步可选的，所述计算模型loss损失，包括：当目标样本数据由数据连接得到时，根据所述目标样本数据的置信度计算所述目标样本数据的loss损失；当目标样本数据由其它方式得到时，根据损失函数计算所述目标样本数据的loss损失；计算所述训练样本集中，参与本次模型训练的样本数据的loss损失之和。

[0008] 进一步可选的，所述根据所述目标样本数据的置信度计算所述目标样本的loss损失，包括：当目标样本数据的置信度大于或等于第一预设置信度阈值时，计算第一损失权重、所述目标样本数据的分类损失以及回归损失，将所述目标样本数据的分类损失及回归损失之和与第一损失权重相乘，得到目标样本数据的loss损失；当目标样本数据的置信度小于第一预设置信度阈值且大于或等于第二置信度阈值时，计算第二损失权重和所述目标样本数据的回归损失，将所述第二损失权重与所述目标样本数据的回归损失相乘得到目标样本数据的loss损失；当目标样本数据的置信度小于第二置信度阈值时，不计算loss损失。

[0009] 进一步可选的，所述将所述目标伪标签数据与所述标定数据集中提取的目标物体数据进行图片整合，包括：以所述标定数据集的数据中的目标物体数据为中心，对预设范围内的数据进行抠图，得到抠图数据；将所述抠图数据中的目标物体数据进行目标抖动，得到第一待粘贴数据；将所述第一待粘贴数据与所述目标伪标签数据进行泊松融合。

[0010] 进一步可选的，所述将所述目标伪标签数据中的目标物体数据与所述标定数据集中的数据进行图片整合，包括：以所述目标伪标签数据的目标物体数据为中心，对预设范围内的数据进行抠图，得到第二待粘贴数据；将所述第二待粘贴数据与所述标定数据集中的数据进行泊松融合；其中，所述目标伪标签数据为置信度大于第三预设置信度阈值的有目标的伪标签数据。

[0011] 另一方面，本发明实施例还提供了一种船舶检测半监督在线训练装置，包括：数据获取模块，用于获取初始船舶检测模型，并获取标定数据集和待检测数据集；训练样本集生成模块，用于将所述待检测数据集输入至所述初始船舶检测模型进行检测，得到伪标签数据集，将所述伪标签数据集进行数据预处理得到训练样本集；其中，所述训练样本集生成模块包括：第一预处理子模块，用于当伪标签数据集中的目标伪标签数据为无目标的伪标签数据时，将所述目标伪标签数据与所述标定数据集中提取的目标物体数据进行图片整合，或，将所述目标伪标签数据与标定数据集中的数据进行图片混合；第二预处理子模块，用于当伪标签数据集中的目标伪标签数据为有目标的伪标签数据时，将所述目标伪标签数据中的目标物体数据与所述标定数据集中的数据进行图片整合，或，将所述目标伪标签数据中的目标物体数据与所述标定数据集中的数据进行数据连接；最新船舶检测模型生成模块，用于船舶检测网络加载初始船舶检测模型，初始化模型权重，并采用所述训练样本集进行模型训练，前向传播提取目标特征，计算模型loss损失，反向传播更新网络参数，直至模型收敛，得到最新的船舶检测模型。

[0012] 进一步可选的，所述最新船舶检测模型生成模块包括：第一数据损失计算子模块，用于当目标样本数据由数据连接得到时，根据所述目标样本数据的置信度计算所述目标样本数据的loss损失；第二数据损失计算子模块，用于当目标样本数据由其它方式得到时，根据损失函数计算所述目标样本数据的loss损失；模型损失计算子模块，用于计算所述训练样本集中，参与本次模型训练的样本数据的loss损失之和。

[0013] 进一步可选的，所述第一数据损失计算子模块，包括：第一loss损失计算单元，用于当目标样本数据的置信度大于或等于第一预设置信度阈值时，计算第一损失权重、所述目标样本数据的分类损失以及回归损失，将所述目标样本数据的分类损失及回归损失之和与第一损失权重相乘，得到目标样本数据的loss损失；第二loss损失计算单元，用于当目标样本数据的置信度小于第一预设置信度阈值且大于或等于第二置信度阈值时，计算第二损失权重和所述目标样本数据的回归损失，将所述第二损失权重与所述目标样本数据的回归损失相乘得到目标样本数据的loss损失；第三loss损失计算单元，用于当目标样本数据的置信度小于第二置信度阈值时，不计算loss损失。

[0014] 进一步可选的，所述第一预处理子模块包括：抠图数据生成单元，用于以所述标定数据集的数据中的目标物体数据为中心，对预设范围内的数据进行抠图，得到抠图数据；第一待粘贴数据生成单元，用于将所述抠图数据中的目标物体数据进行目标抖动，得到第一待粘贴数据；第一图片整合单元，用于将所述第一待粘贴数据与所述目标伪标签数据进行泊松融合。

[0015] 进一步可选的，所述第二预处理子模块包括：第二待粘贴数据生成单元，用于以所述目标伪标签数据的目标物体数据为中心，对预设范围内的数据进行抠图，得到第二待粘贴数据；第二图片整合单元，用于将所述第二待粘贴数据与所述标定数据集中的数据进行泊松融合；其中，所述目标伪标签数据为置信度大于第三预设置信度阈值的有目标的伪标签数据。

[0016] 另一方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行上述的船舶检测半监督在线训练方法。

附图说明

[0017] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0018] 图1是本发明实施例提供的船舶检测半监督在线训练方法的流程图；

[0019] 图2是本发明实施例提供的模型loss损失计算方法的流程图；

[0020] 图3是本发明实施例提供的数据连接后生成的样本数据loss损失计算方法的流程图；

[0021] 图4是本发明实施例提供的无目标的伪标签数据与标定数据集中的数据图片整合方法的流程图；

[0022] 图5是本发明实施例提供的有目标的伪标签数据与标定数据集中的数据图片整合方法的流程图；

[0023] 图6是本发明实施例提供的船舶检测半监督在线训练装置的结构示意图；

[0024] 图7是本发明实施例提供的最新船舶检测模型生成模块的结构示意图；

[0025] 图8是本发明实施例提供的第一数据损失计算子模块的结构示意图；

[0026] 图9是本发明实施例提供的第一预处理子模块的结构示意图；

[0027] 图10是本发明实施例提供的第二预处理子模块的结构示意图。

[0028] 附图标记：100‑数据获取模块200‑训练样本集生成模块2001‑第一预处理子模块20011‑抠图数据生成单元20012‑第一待粘贴数据生成单元20013‑第一图片整合单元2002‑第二预处理子模块20021‑第二待粘贴数据生成单元20022‑第二图片整合单元300‑最新船舶检测模型生成模块3001‑第一数据损失计算子模块30011‑第一loss损失计算单元30012‑第二loss损失计算单元30013‑第三loss损失计算单元3002‑第二数据损失计算子模块
3003‑模型损失计算子模块

具体实施方式

[0029] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0030] 为解决上述无法全面获取数据集造成模型检测准确率不高的问题，本发明实施例提供了一种船舶检测半监督在线训练方法，图1是本发明实施例提供的船舶检测半监督在线训练方法的流程图，如图1所示，该方法包括：

[0031] S101、获取初始船舶检测模型，并获取标定数据集和待检测数据集；

[0032] 在数据获取阶段，将初始船舶检测模型作为模型调整的基础，并同时获取标定数据集以及待检测数据集。其中，标定数据集中的数据实为人工打标的具有目标信息的图片，标定数据集也为初始船舶检测模型的训练样本集，即初始船舶识别模型是由标定数据集进行模型训练得到的。待检测数据集为船舶通过监控点时抓拍到的、还未经过模型预测的图片的集合。

[0033] S102、将待检测数据集输入至初始船舶检测模型进行检测，得到伪标签数据集，将伪标签数据集进行数据预处理得到训练样本集；

[0034] 使用初始船舶识别模型对待检测数据集的标签进行预测，得到伪标签数据集。

[0035] 伪标签数据集中有些数据存在目标物体信息，有些不存在目标物体信息，本实施例将有目标物体信息的数据和无目标物体信息的数据区分出来，得到无目标的伪标签数据集以及有目标的伪标签数据集。并将有目标的伪标签数据集保存到Object_File文件，没有目标的伪标签数据集保存到No_Obj文件。

[0036] 其中，将伪标签数据集进行数据预处理得到训练样本集包括：

[0037] S1021、当伪标签数据集中的目标伪标签数据为无目标的伪标签数据时，将目标伪标签数据与标定数据集中提取的目标物体数据进行图片整合，或，将目标伪标签数据与标定数据集中的数据进行图片混合；

[0038] 分别对伪标签数据集中的每个伪标签数据进行数据预处理。当判定当前进行预处理的目标伪标签数据为无目标的伪标签数据时，从如下两个方式中任选一种方式进行目标伪标签数据的预处理：

[0039] ①图片整合方式：由于标定数据集是进行人工打标后的图片数据集合，因此其目标物体信息是准确的。而目标伪标签数据是无目标的伪标签数据，其图片中不存在目标信息，只存在背景信息，因此可将标定数据集中的目标物体信息与目标伪标签数据中的背景信息进行整合，标定数据集中的数据与目标伪标签数据合并为一张有目标的图片。其中，目标伪标签数据可随机选择一张标定数据作为整合对象，也可选择多个标定数据分别进行整合，本实施例对此不做限制。

[0040] ②图片混合方式，采用mix_up方法，将目标伪标签数据与标定数据进行融合。以提高网络有效学习伪标签背景信息，提高模型的鲁棒性，提高模型的精确率。以使模型能够学习得到伪标签数据的背景信息，提高模型的鲁棒性，进而提高模型的检测准确率。

[0041] S1022、当伪标签数据集中的目标伪标签数据为有目标的伪标签数据时，将目标伪标签数据中的目标物体数据与标定数据集中的数据进行图片整合，或，将目标伪标签数据中的目标物体数据与标定数据集中的数据进行数据连接；

[0042] 当判定当前进行预处理的目标伪标签数据为有目标的伪标签数据时，从如下两个方式中任选一种方式进行目标伪标签数据的预处理：

[0043] ①图片整合方式：目标伪标签数据是有目标的伪标签数据，其图片中存在目标信息，但不能判定其标签与目标信息的对应关系是否准确。因此可将目标伪标签数据中的目标物体数据进行提取，与标定数据集中的背景信息进行整合，目标伪标签数据与对应整合的标定数据合并为一个新的具有目标的图片，该图片中包含伪标签目标。其中，目标伪标签数据可随机选择一张标定数据作为整合对象，也可选择多个标定数据分别进行整合，本实施例对此不做限制。

[0044] ②数据连接方式：将目标伪标签数据与标定数据集中的数据进行数据连接，并且对目标伪标签中的数据进行标志。进行数据连接后的数据，为一张有目标的伪标签图片与一张标定图片连接的图片，两个图片边缘可部分覆盖，只需满足目标物体不被遮盖的目的即可。这样可以使模型学习到伪标签数据中的目标物体信息，以增加模型训练数据量，提高船舶检出率。

[0045] S103、船舶检测网络加载初始船舶检测模型，初始化模型权重，并采用训练样本集进行模型训练，前向传播提取目标特征，计算模型loss损失，反向传播更新网络参数，直至模型收敛，得到最新的船舶检测模型。

[0046] 船舶检测网络加载初始船舶检测模型，初始化模型权重，即将初始船舶检测模型中的参数赋值到船舶检测网络中，其中，船舶检测网络为模型训练网络。

[0047] 之后将上述进行数据预处理的训练样本集中的数据输入至船舶检测网络中，以进行模型训练，训练后可得到目标物体的特征，也即推理结果。通过loss计算函数对样本训练集进行loss损失计算得到当前loss损失，当前loss损失代表推理结果与伪标签数据集中目标物体信息的差异。根据当前loss损失对网络中的参数求导，得到反向传播信息，根据反向传播信息调整船舶检测网络中的参数，重复训练，loss损失值趋于稳定，直到模型达到最优状态。

[0048] 船舶检测半监督在线训练方法的整体过程如下：①将要训练的船舶检测网络里面的参数用之前已经训练好的初始船舶检测模型中的参数赋值；

[0049] ②用上述方法对人工标定的标定数据集和现已经存在模型推理出来的伪标签数据集进行数据预处理，将数据预处理后的训练样本集输入到船舶检测网络里，船舶检测网络依据输入的样本训练集中的图片信息经过网络计算得到有关船舶目标信息的特征，然后将得到的船舶目标信息特征跟人工标定或之前模型推理出来的船舶目标信息进行比对，通过loss损失计算公式，得到推理出来的结果和伪标签数据集船舶检测目标的差异，将得到的差异对网络反向传播(对网络里面的参数进行求导)得到反向传播信息，依据反向传播的信息对网络参数进行调整；

[0050] ③循环步骤②，直到推理目标信息和训练集目前信息差异不再发生变化，得到了最新的船舶检测模型。

[0051] 作为一种可选的实施方式，图2是本发明实施例提供的模型loss损失计算方法的流程图，如图2所示，计算模型loss损失包括：

[0052] S1031、当目标样本数据由数据连接得到时，根据目标样本数据的置信度计算目标样本数据的loss损失；

[0053] 由于经过数据连接方法得到的数据中包含伪标签数据，其中某些数据的置信度较低，若采用与标定数据集相同的损失计算方法，会造成模型的错误学习，从而影响模型的检测准确率。为此，本实施例根据伪标签数据的置信度不同，调整每个伪标签数据对应的损失计算方法，以提高模型对伪标签数据集正检目标的关注度，降低模型对伪标签数据集错检目标的关注度。

[0054] S1032、当目标样本数据由其它方式得到时，根据损失函数计算目标样本数据的loss损失；

[0055] 当目标样本数据由另外三种方式得到时，即非数据连接方式得到时，根据损失函数计算目标样本数据的loss损失。本实施例中，分类损失采用softmax或Sigmoid计算，回归损失采用l1_smooth或其他回归损失计算函数计算。

[0056] S1033、计算训练样本集中，参与本次模型训练的样本数据的loss损失之和。

[0057] 计算训练样本集中的所有样本数据的loss损失，作为模型loss损失。计算原理为：

[0058] losssum＝loss伪标签目标+loss非伪标签目标

[0059] 进一步可选的，计算模型loss损失值，包括：当目标样本训练集由数据连接得到时，人工标定数据集的目标采用网络自带损失函数计算损失值，伪标签数据集目标根据所述目标样本数据的置信度损失函数计算损失值，然后将人工标定数据集的损失值和伪标签的数据集的损失值相加，得到连接数据集的损失值；当目标样本数据由其它方式得到时，根据损失函数计算所述目标样本数据的loss。

[0060] 作为一种可选的实施方式，图3是本发明实施例提供的数据连接后生成的样本数据loss损失计算方法的流程图，如图3所示，根据目标样本数据的置信度计算目标样本的loss损失。包括：

[0061] S10311、当目标样本数据的置信度大于或等于第一预设置信度阈值时，计算第一损失权重、目标样本数据的分类损失以及回归损失，将目标样本数据的分类损失及回归损失之和与第一损失权重相乘，得到目标样本数据的loss损失；

[0062] 预测框通过目标位置判断是否为伪标签目标，预测框与伪标签目标进行匹配。

[0063] 在本实施例中，第一预设置信度阈值为0.7，当目标样本数据的置信度(conf)大于等于0.7时，计算目标样本数据的分类损失和回归损失。

[0064] 也即，conf≥0.7时：

[0065] 第一损失权重：

[0066] 计算置信度大于0.7的目标样本数据的loss损失(lossconf≥0.7)值：

[0067] lossconf≥0.7＝loss_weight_conf0.7×(losscls+lossreg)

[0068] 其中，loss_weight_conf≥0.7为第一损失权重，losscls为分类损失，lossreg为回归损失。

[0069] 分类损失可通过softmax或Sigmoid计算，回归损失通过l1_smooth或其他回归损失计算函数计算。

[0070] S10312、当目标样本数据的置信度小于第一预设置信度阈值且大于或等于第二置信度阈值时，计算第二损失权重和目标样本数据的回归损失，将第二损失权重与目标样本数据的回归损失相乘得到目标样本数据的loss损失；

[0071] 在本实施例中，第二预设置信度阈值为0.3，当目标样本数据置信度(conf)大于等于0.3且小于0.7时。只计算回归损失，不计算分类损失。

[0072] 也即，0.3≤conf<0.7时：

[0073] 第二损失权重：

[0074] 计算置信度小于0.7且大于等于0.3的目标样本数据的loss损失(loss0.7＞conf≥0.3)值：

[0075] loss0.7＞conf≥0.3＝loss_weight_conf0.7＞conf≥0.3×lossreg[0076] 其中，loss_weight_conf0.7＞conf≥0.3为第二损失权重，lossreg为回归损失。

[0077] 回归损失通过l1_smooth或其他回归损失计算函数计算。

[0078] S10313、当目标样本数据的置信度小于第二置信度阈值时，不计算loss损失。

[0079] 也即，0.3>conf：不计算目标样本数据的loss损失。

[0080] 进行数据连接的所有样本数据损失(loss)计算：

[0081]

[0082] 作为一种可选的实施方式，图4是本发明实施例提供的无目标的伪标签数据与标定数据集中的数据图片整合方法的流程图，如图4所示，将目标伪标签数据与标定数据集中提取的目标物体数据进行图片整合，包括：

[0083] S10211、以标定数据集的数据中的目标物体数据为中心，对预设范围内的数据进行抠图，得到抠图数据；

[0084] 本实施例中每个预测框的范围为初始目标物体数据的范围，为避免目标物体边界线造成的影响，本实施例以目标物体为中心，使预测框向外延展1.5‑2.5倍，作为抠图范围，依照该抠图范围进行抠图，得到抠图数据。

[0085] S10212、将抠图数据中的目标物体数据进行目标抖动，得到第一待粘贴数据；

[0086] 为增加训练集涵盖的特征量，本实施例加入了目标抖动方法，设置了抖动值，抖动值范围设置为(0.5，0.9)，依据第一抖动值对目标物体数据进行缩减，得到第一待粘贴数据。

[0087] S10213、将第一待粘贴数据与目标伪标签数据进行泊松融合。

[0088] 作为一种优选的实施方式，在进行泊松融合之前，对第一待粘贴数据进行数据增强，例如，对第一待粘贴数据随机进行翻转，旋转等操作。

[0089] 作为一种可选的实施方式，图5是本发明实施例提供的有目标的伪标签数据与标定数据集中的数据图片整合方法的流程图，如图5所示，将目标伪标签数据中的目标物体数据与标定数据集中的数据进行图片整合，包括：

[0090] S10221、以目标伪标签数据的目标物体数据为中心，对预设范围内的数据进行抠图，得到第二待粘贴数据；

[0091] 本实施例中每个预测框的范围为初始目标物体数据的范围，为避免目标物体边界线造成的影响，本实施例以目标物体为中心，使预测框向外延展1.5‑2.5倍，作为抠图范围，依照该抠图范围进行抠图，得到第二待粘贴数据。

[0092] S10222、将第二待粘贴数据与标定数据集中的数据进行泊松融合；其中，目标伪标签数据为置信度大于第三预设置信度阈值的有目标的伪标签数据。

[0093] 作为一种优选的实施方式，在进行泊松融合之前，对第二待粘贴数据进行数据增强，例如，对第二待粘贴数据随机进行翻转，旋转等操作。

[0094] 为使图片整合后得到的新图片的可信度更强，本实施例选取置信度较高的伪标签数据进行图片整合。优选的，第三预设置信度阈值设为0.85。

[0095] 本发明还提供了一种船舶检测半监督在线训练装置，图6是本发明实施例提供的船舶检测半监督在线训练装置的结构示意图，如图6所示，包括：

[0096] 数据获取模块100，用于获取初始船舶检测模型，并获取标定数据集和待检测数据集；

[0097] 在数据获取阶段，将初始船舶检测模型作为模型调整的基础，并同时获取标定数据集以及待检测数据集。其中，标定数据集中的数据实为人工打标的具有目标信息的图片，标定数据集也为初始船舶检测模型的训练样本集，即初始船舶识别模型是由标定数据集进行模型训练得到的。待检测数据集为船舶通过监控点时抓拍到的、还未经过模型预测的图片的集合。

[0098] 训练样本集生成模块200，用于将待检测数据集输入至初始船舶检测模型进行检测，得到伪标签数据集，将伪标签数据集进行数据预处理得到训练样本集；

[0099] 使用初始船舶识别模型对待检测数据集的标签进行预测，得到伪标签数据集。

[0100] 伪标签数据集中有些数据存在目标物体信息，有些不存在目标物体信息，本实施例将有目标物体信息的数据和无目标物体信息的数据区分出来，得到无目标的伪标签数据集以及有目标的伪标签数据集。并将有目标的伪标签数据集保存到Object_File文件，没有目标的伪标签数据集保存到No_Obj文件。

[0101] 其中，训练样本集生成模块200包括：

[0102] 第一预处理子模块2001，用于当伪标签数据集中的目标伪标签数据为无目标的伪标签数据时，将目标伪标签数据与标定数据集中提取的目标物体数据进行图片整合，或，将目标伪标签数据与标定数据集中的数据进行图片混合；

[0103] 分别对伪标签数据集中的每个伪标签数据进行数据预处理。当判定当前进行预处理的目标伪标签数据为无目标的伪标签数据时，从如下两个方式中任选一种方式进行目标伪标签数据的预处理：

[0104] ①图片整合方式：由于标定数据集是进行人工打标后的图片数据集合，因此其目标物体信息是准确的。而目标伪标签数据是无目标的伪标签数据，其图片中不存在目标信息，只存在背景信息，因此可将标定数据集中的目标物体信息与目标伪标签数据中的背景信息进行整合，标定数据集中的图片与目标伪标签数据合并为一张有目标的图片。其中，目标伪标签数据可随机选择一张标定数据作为整合对象，也可选择多个标定数据分别进行整合，本实施例对此不做限制。

[0105] ②图片混合方式，采用mix_up方法，将目标伪标签数据与标定数据进行融合。以提高网络有效学习伪标签背景信息，提高模型的鲁棒性，提高模型的精确率。以使模型能够学习得到伪标签数据的背景信息，提高模型的鲁棒性，进而提高模型的检测准确率。

[0106] 第二预处理子模块2002，用于当伪标签数据集中的目标伪标签数据为有目标的伪标签数据时，将目标伪标签数据中的目标物体数据与标定数据集中的数据进行图片整合，或，将目标伪标签数据中的目标物体数据与标定数据集中的数据进行数据连接；

[0107] 当判定当前进行预处理的目标伪标签数据为有目标的伪标签数据时，从如下两个方式中任选一种方式进行目标伪标签数据的预处理：

[0108] ①图片整合方式：目标伪标签数据是有目标的伪标签数据，其图片中存在目标信息，但不能判定其标签与目标信息的对应关系是否准确。因此可将目标伪标签数据中的目标物体数据进行提取，与标定数据集中的背景信息进行整合，目标伪标签数据与对应整合的标定数据合并为一个新的具有目标的图片，该图片中包含伪标签目标。其中，目标伪标签数据可随机选择一张标定数据作为整合对象，也可选择多个标定数据分别进行整合，本实施例对此不做限制。

[0109] ②数据连接方式：将目标伪标签数据与标定数据集中的数据进行数据连接，并且对目标伪标签中的数据进行标志。进行数据连接后的数据，为一张有目标的伪标签图片与一张标定图片连接的图片，两个图片边缘可部分覆盖，只需满足目标物体不被遮盖的目的即可。这样可以使模型学习到伪标签数据中的目标物体信息，以增加模型训练数据量，提高船舶检出率。

[0110] 最新船舶检测模型生成模块300，用于船舶检测网络加载初始船舶检测模型，初始化模型权重，并采用训练样本集进行模型训练，前向传播提取目标特征，计算模型loss损失，反向传播更新网络参数，直至模型收敛，得到最新的船舶检测模型。

[0111] 船舶检测网络加载初始船舶检测模型，初始化模型权重，即将初始船舶检测模型中的参数赋值到船舶检测网络中，其中，船舶检测网络为模型训练网络。

[0112] 之后将上述进行数据预处理的训练样本集中的数据输入至船舶检测网络中，以进行模型训练，训练后可得到目标物体的特征，也即推理结果。通过loss计算函数对样本训练集进行loss损失计算得到当前loss损失，当前loss损失代表推理结果与伪标签数据集中目标物体信息的差异。根据当前loss损失对网络中的参数求导，得到反向传播信息，根据反向传播信息调整船舶检测网络中的参数，重复训练，loss损失值趋于稳定，直到模型达到最优状态。

[0113] 船舶检测半监督在线训练方法的整体过程如下：①将要训练的船舶检测网络里面的参数用之前已经训练好的初始船舶检测模型中的参数赋值；

[0114] ②用上述方法对人工标定的标定数据集和现已经存在模型推理出来的伪标签数据集进行数据预处理，将数据预处理后的训练样本集输入到船舶检测网络里，船舶检测网络依据输入的样本训练集中的图片信息经过网络计算得到有关船舶目标信息的特征，然后将得到的船舶目标信息特征跟人工标定或之前模型推理出来的船舶目标信息进行比对，通过loss损失计算公式，得到推理出来的结果和伪标签数据集船舶检测目标的差异，将得到的差异对网络反向传播(对网络里面的参数进行求导)得到反向传播信息，依据反向传播的信息对网络参数进行调整；

[0115] ③循环步骤②，直到推理目标信息和训练集目前信息差异不再发生变化，得到了最新的船舶检测模型。

[0116] 作为一种可选的实施方式，图7是本发明实施例提供的最新船舶检测模型生成模块的结构示意图，如图7所示，最新船舶检测模型生成模块300包括：

[0117] 第一数据损失计算子模块3001，用于当目标样本数据由数据连接得到时，根据目标样本数据的置信度计算目标样本数据的loss损失；

[0118] 由于经过数据连接方法得到的数据中包含伪标签数据，其中某些数据的置信度较低，若采用与标定数据集相同的损失计算方法，会造成模型的错误学习，从而影响模型的检测准确率。为此，本实施例根据伪标签数据的置信度不同，调整每个伪标签数据对应的损失计算方法，以提高模型对伪标签数据集正检目标的关注度，降低模型对伪标签数据集错检目标的关注度。

[0119] 第二数据损失计算子模块3002，用于当目标样本数据由其它方式得到时，根据损失函数计算目标样本数据的loss损失；

[0120] 当目标样本数据由另外三种方式得到时，即非数据连接方式得到时，根据损失函数计算目标样本数据的loss损失。本实施例中，分类损失采用softmax或Sigmoid计算，回归损失采用l1_smooth或其他回归损失计算函数计算。

[0121] 模型损失计算子模块3003，用于计算训练样本集中，参与本次模型训练的样本数据的loss损失之和。

[0122] 计算训练样本集中的所有样本数据的loss损失，作为模型loss损失。计算原理为：

[0123] losssum＝loss伪标签目标+loss非伪标签目标

[0124] 作为一种可选的实施方式，第一数据损失计算子模块3001，图8是本发明实施例提供的第一数据损失计算子模块的结构示意图，如图8所示，包括：

[0125] 第一loss损失计算单元30011，用于当目标样本数据的置信度大于或等于第一预设置信度阈值时，计算第一损失权重、目标样本数据的分类损失以及回归损失，将目标样本数据的分类损失及回归损失之和与第一损失权重相乘，得到目标样本数据的loss损失；

[0126] 预测框通过目标位置判断是否为伪标签目标，预测框与伪标签目标进行匹配。

[0127] 在本实施例中，第一预设置信度阈值为0.7，当目标样本数据的置信度(conf)大于等于0.7时，计算目标样本数据的分类损失和回归损失。

[0128] 也即，conf≥0.7时：

[0129] 第一损失权重：

[0130] 计算置信度大于0.7的目标样本数据的loss损失(lossconf≥0.7)值：

[0131] lossconf≥0.7＝loss_weight_conf0.7×(losscls+lossreg)

[0132] 其中，loss_weight_conf≥0.7为第一损失权重，losscls为分类损失，lossreg为回归损失。

[0133] 分类损失可通过softmax或Sigmoid计算，回归损失通过l1_smooth或其他回归损失计算函数计算。

[0134] 第二loss损失计算单元30012，用于当目标样本数据的置信度小于第一预设置信度阈值且大于或等于第二置信度阈值时，计算第二损失权重和目标样本数据的回归损失，将第二损失权重与目标样本数据的回归损失相乘得到目标样本数据的loss损失；

[0135] 在本实施例中，第二预设置信度阈值为0.3，当目标样本数据置信度(conf)大于等于0.3且小于0.7时。只计算回归损失，不计算分类损失。

[0136] 也即，0.3≤conf<0.7时：

[0137] 第二损失权重：

[0138] 计算置信度小于0.7且大于等于0.3的目标样本数据的loss损失(loss0.7＞conf≥0.3)值：

[0139] loss0.7＞conf≥0.3＝loss_weight_conf0.7＞conf≥0.3×lossreg[0140] 其中，loss_weight_conf0.7＞conf≥0.3为第二损失权重，lossreg为回归损失。

[0141] 回归损失通过l1_smooth或其他回归损失计算函数计算。

[0142] 第三loss损失计算单元30013，用于当目标样本数据的置信度小于第二置信度阈值时，不计算loss损失。

[0143] 也即，0.3>conf：不计算目标样本数据的loss损失。

[0144] 进行数据连接的所有样本数据损失(loss)计算：

[0145]

[0146] 作为一种可选的实施方式，图9是本发明实施例提供的第一预处理子模块的结构示意图，如图9所示，第一预处理子模块2001包括：

[0147] 抠图数据生成单元20011，用于以标定数据集的数据中的目标物体数据为中心，对预设范围内的数据进行抠图，得到抠图数据；

[0148] 本实施例中每个预测框的范围为初始目标物体数据的范围，为避免目标物体边界线造成的影响，本实施例以目标物体为中心，使预测框向外延展1.5‑2.5倍，作为抠图范围，依照该抠图范围进行抠图，得到抠图数据。

[0149] 第一待粘贴数据生成单元20012，用于将抠图数据中的目标物体数据进行目标抖动，得到第一待粘贴数据；

[0150] 为增加训练集涵盖的特征量，本实施例加入了目标抖动方法，设置了抖动值，抖动值范围设置为(0.5，0.9)，依据第一抖动值对目标物体数据进行缩减，得到第一待粘贴数据。

[0151] 第一图片整合单元20013，用于将第一待粘贴数据与目标伪标签数据进行泊松融合。

[0152] 作为一种优选的实施方式，在进行泊松融合之前，对第一待粘贴数据进行数据增强，例如，对第一待粘贴数据随机进行翻转，旋转等操作。

[0153] 作为一种可选的实施方式，图10是本发明实施例提供的第二预处理子模块的结构示意图，如图10所示，述第二预处理子模块2002包括：

[0154] 第二待粘贴数据生成单元20021，用于以目标伪标签数据的目标物体数据为中心，对预设范围内的数据进行抠图，得到第二待粘贴数据；

[0155] 本实施例中每个预测框的范围为初始目标物体数据的范围，为避免目标物体边界线造成的影响，本实施例以目标物体为中心，使预测框向外延展1.5‑2.5倍，作为抠图范围，依照该抠图范围进行抠图，得到第二待粘贴数据。

[0156] 第二图片整合单元20022，用于将第二待粘贴数据与标定数据集中的数据进行泊松融合；其中，目标伪标签数据为置信度大于第三预设置信度阈值的有目标的伪标签数据。

[0157] 作为一种优选的实施方式，在进行泊松融合之前，对第二待粘贴数据进行数据增强，例如，对第二待粘贴数据随机进行翻转，旋转等操作。

[0158] 为使图片整合后得到的新图片的可信度更强，本实施例选取置信度较高的伪标签数据进行图片整合。优选的，第三预设置信度阈值设为0.85。

[0159] 本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现上述的船舶检测模型生成方法。

[0160] 上述存储介质中存储有上述软件，该存储介质包括但不限于：光盘、软盘、硬盘、可擦写存储器等。

[0161] 本发明对伪标签数据进行数据预处理，增加样本数据量，修改损失函数计算方法，使得船舶检测网络可以在线学习，不断优化自身的权重，得到最优模型，实现模型在线半监督训练，提高模型的鲁棒性以及检出率。

[0162] 上述技术方案具有如下有益效果：通过已有模型，对待检测数据进行推理测试，得到伪标签数据集，伪标签训练集通过数据预处理，增加训练集数据量，丰富监控点目标信息和背景信息，使训练集信息更加丰富，提高模型的鲁棒性和检测准确率。伪标签数据集和标定数据集混合，减少了伪标签数据集错误图片信息影响；修改模型训练损失计算函数，提高正检目标对模型的影响，减低模型对错误目标的关注，使船舶检测模型可以在线学习，不断优化自身的权重，从而得到最优模型，在没有人为标定的情况下，将测试的数据转变为训练集，实现模型在线半监督训练，提高模型的鲁棒性以及检出率，降低了误检率。

[0163] 以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。