跨数据集的检测模型的训练方法、装置及电子设备

摘要

本申请公开了一种跨数据集的检测模型的训练方法、跨数据集的检测模型的训练装置、电子设备及计算机存储介质，该训练方法包括：在一个待训练检测模型中设置多个检测模块，可同时对来自不同数据集的训练样本进行特征提取和特征融合，得到每个训练样本的融合特征图；针对每个融合特征图，每个检测模块可根据对应的检测任务对该融合特征图进行预测，输出对应的预测特征图，并为其匹配正负样本；联合多个检测模块的训练损失值对待训练检测模型进行优化，在待训练检测模型未完成训练的情况下，不断地更新待训练检测模型的模型参数，直至待训练检测模型训练完成。该方法能够降低检测模型训练集的数据标注成本。

权利要求

1.一种跨数据集的检测模型的训练方法，其特征在于，所述训练方法包括：通过待训练检测模型对训练集中的每个训练样本进行特征提取和特征融合，得到每个所述训练样本的融合特征图；所述训练集由至少2个无交叉标注的数据集确定，每个所述数据集标注有一种检测任务所对应的真实标注框；所述待训练检测模型包括至少2个检测模块，每个检测模块对应一种所述检测任务；

针对每个所述融合特征图，通过每个所述检测模块对所述融合特征图进行预测，得到每个检测模块对应的预测特征图；

针对每个所述检测模块，基于对应的每个所述预测特征图中的先验框为每个关联真实标注框匹配正样本和负样本，所述关联真实标注框与所述检测模块所执行的所述检测任务匹配；

针对每个所述检测模块，基于对应的每个所述关联真实标注框所匹配的正样本和负样本确定所述检测模块的训练损失值；

在所述待训练检测模型的评价指标不满足预设条件，且迭代次数小于预设次数的情况下，联合每个所述检测模块的训练损失值更新所述待训练检测模型的模型参数，并返回执行通过待训练检测模型对训练集中的每个训练样本进行特征提取和特征融合的步骤及其后续步骤，直至所述评价指标满足预设条件，或者所述迭代次数达到所述预设次数，得到训练完成的所述待训练检测模型。

2.如权利要求1所述的训练方法，其特征在于，在所述通过待训练检测模型对训练集中的每个训练样本进行特征提取和特征融合之前，还包括：基于指定格式对所述数据集中的每个数据进行格式转换，并将所述数据集中格式转换失败的数据删除，得到清洗后的数据集；

对所述清洗后的数据集中的每个数据执行数据增强操作，得到预处理后的数据集；

基于聚类算法确定所述预处理后的数据集中各个数据所适用的锚框；

根据预设比例从所述预处理后的数据集中确定所述训练集。

3.如权利要求1所述的训练方法，其特征在于，所述待训练检测模型包括骨干网络和颈部网络，所述骨干网络与所述颈部网络连接；所述预测特征图包括每个预设尺度对应的预测特征图；所述通过待训练检测模型对训练集中的每个训练样本进行特征提取和特征融合，得到每个所述训练样本的融合特征图，包括：针对每个所述训练样本：

基于所述骨干网络对所述训练样本进行特征提取，得到基础特征图；

基于所述颈部网络对所述基础特征图进行尺度转换及特征融合，得到每个所述预设尺度对应的所述融合特征图。

4.如权利要求3所述的训练方法，其特征在于，在每个预设尺度下，所述基于对应的每个所述预测特征图中的先验框为每个关联真实标注框匹配正样本和负样本，包括：针对每个所述预测特征图：基于对应的每个所述先验框和每个所述关联真实标注框之间的位置关系确定预测框；所述预测框为所述先验框中检测目标占比大于预设的占比阈值；所述检测目标与所述预设尺度下的所述检测任务相对应；

针对每个所述预测框：

将所述预测框映射至所述预测特征图中，基于所述预测框的中心点从所述预测特征图中的网格确定对应的目标网格；

基于所述中心点和所述目标网格确定每个所述关联真实标注框对应的正样本和负样本。

5.如权利要求4所述的训练方法，其特征在于，所述目标网格包括第一目标网格和第二目标网格，所述第一目标网格为所述预测框的中心点所处的网格，所述第二目标网格为与所述第一目标网格相邻且与所述中心点的距离小于预设的距离阈值的网格。

6.如权利要求4所述的训练方法，其特征在于，所述基于所述中心点和所述目标网格确定每个所述关联真实标注框对应的正样本，包括：针对每个所述关联真实标注框：

基于中心点落入所述目标网格的所述先验框为所述关联真实标注框匹配至少2个第一候选样本；

基于所述第一候选样本计算样本总损失；

确定所述关联真实标注框与对应的各个所述第一候选样本之间的交并比；

基于所述交并比从各个所述第一候选样本中确定第二候选样本；

基于所述总损失对所述第二候选样本去重，得到所述关联真实标注框对应的所述正样本。

7.如权利要求6所述的训练方法，其特征在于，所述基于所述交并比从各个所述第一候选样本中确定第二候选样本，包括：基于所述交并比对各个所述第一候选样本进行降序排序；

将排序后的前k个第一候选样本确定为所述关联真实标注框对应的第二候选样本。

8.一种跨数据集的检测模型的训练装置，其特征在于，包括：

提取模块，用于通过待训练检测模型对训练集中的每个训练样本进行特征提取和特征融合，得到每个所述训练样本的融合特征图；所述训练集由至少2个无交叉标注的数据集确定，每个所述数据集标注有一种检测任务所对应的真实标注框；所述待训练检测模型包括至少2个检测模块，每个检测模块对应一种所述检测任务；

预测模块，用于针对每个所述融合特征图，通过每个所述检测模块对所述融合特征图进行预测，得到每个检测模块对应的预测特征图；

匹配模块，用于针对每个预测特征图，基于所述预测特征图中的先验框为每个关联真实标注框匹配正样本和负样本，所述关联真实标注框与所述预测特征图对应的所述检测模块所执行的所述检测任务匹配；

第一确定模块，用于针对每个所述检测模块，基于对应的每个所述关联真实标注框所匹配的正样本和负样本确定所述检测模块的训练损失值；

更新模块，用于在所述待训练检测模型的评价指标不满足预设条件，且迭代次数小于预设次数的情况下，联合每个所述检测模块的训练损失值更新所述待训练检测模型的模型参数，并触发所述提取模块的执行，直至所述评价指标满足预设条件，或者所述迭代次数达到所述预设次数，得到训练完成的所述待训练检测模型。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的检测模型的训练方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的检测模型的训练方法。

说明书

跨数据集的检测模型的训练方法、装置及电子设备

技术领域

[0001] 本申请属于图像处理领域，尤其涉及一种跨数据集的检测模型的训练方法、检测模型的训练装置、电子设备及计算机可读存储介质。

背景技术

[0002] 相关技术中，针对要执行跨数据集的多种检测任务的检测模型，其在训练时，对于无标注的数据集来说，需进行多种检测任务的标注；对于仅标注单一检测任务的不同数据集来说，需进行不同检测任务的交叉标注，导致标注工作繁重。显然，繁重的标注工作将增加检测模型的训练成本。

发明内容

[0003] 本申请提供了一种跨数据集检测模型的训练方法、跨数据集的检测模型的训练装置、电子设备及计算机可读存储介质，能够降低检测模型的训练成本。

[0004] 第一方面，本申请提供了一种跨数据集的检测模型的训练方法，包括：

[0005] 通过待训练检测模型对训练集中的每个训练样本进行特征提取和特征融合，得到每个训练样本的融合特征图；训练集由至少2个无交叉标注的数据集确定，每个数据集标注有一种检测任务所对应的真实标注框；待训练检测模型包括至少2个检测模块，每个检测模块对应一种检测任务；

[0006] 针对每个融合特征图，通过每个检测模块对融合特征图进行预测，得到每个检测模块对应的预测特征图；

[0007] 针对每个检测模块，基于对应的每个预测特征图中的先验框为每个关联真实标注框匹配正样本和负样本，关联真实标注框与检测模块所执行的检测任务匹配；

[0008] 针对每个检测模块，基于对应的每个关联真实标注框所匹配的正样本和负样本确定检测模块的训练损失值；

[0009] 在待训练检测模型的评价指标不满足预设条件，且迭代次数小于预设次数的情况下，联合每个检测模块的训练损失值更新待训练检测模型的模型参数，并返回执行通过待训练检测模型对训练集中的每个训练样本进行特征提取和特征融合的步骤及其后续步骤，直至评价指标满足预设条件，或者迭代次数达到预设次数，得到训练完成的待训练检测模型。

[0010] 第二方面，本申请提供了一种跨数据集的检测模型的训练装置，包括：

[0011] 提取模块，用于通过待训练检测模型对训练集中的每个训练样本进行特征提取和特征融合，得到每个训练样本的融合特征图；训练集由至少2个无交叉标注的数据集确定，每个数据集标注有一种检测任务所对应的真实标注框；待训练检测模型包括至少2个检测模块，每个检测模块对应一种检测任务；

[0012] 预测模块，用于针对每个融合特征图，通过每个检测模块对融合特征图进行预测，得到每个检测模块对应的预测特征图；

[0013] 匹配模块，用于针对每个检测模块，基于对应的每个预测特征图中的先验框为每个关联真实标注框匹配正样本和负样本，关联真实标注框与检测模块所执行的检测任务匹配；

[0014] 第一确定模块，用于针对每个检测模块，基于对应的每个关联真实标注框所匹配的正样本和负样本确定检测模块的训练损失值；

[0015] 更新模块，用于在待训练检测模型的评价指标不满足预设条件，且迭代次数小于预设次数的情况下，联合每个检测模块的训练损失值更新待训练检测模型的模型参数，并触发所述提取模块的执行，直至评价指标满足预设条件，或者迭代次数达到预设次数，得到训练完成的待训练检测模型。

[0016] 第三方面，本申请提供了一种电子设备，该电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。

[0017] 第四方面，本申请提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。

[0018] 第五方面，本申请提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。

[0019] 本申请与现有技术相比存在的有益效果是：

[0020] 针对需要执行至少2种检测任务的待训练检测模型来说，其包括至少2个检测模块，每个检测模块对应一种检测任务；其在训练过程中所使用的训练集，可由至少2个无交叉标注的数据集确定。其中，至少2个无交叉标注的数据集中，每个数据集仅标注一种检测任务所对应的真实标注框。

[0021] 具体地，待训练检测模型的训练过程包括：利用待训练检测模型对训练集中的每个训练样本进行特征提取和特征融合，得到每个训练样本的融合特征图。针对每个检测模块来说，其对应的检测任务所匹配的真实标注框，可记作关联真实标注框；针对每个融合特征图，可通过每个检测模块预测得到对应的预测特征图；针对每个检测模块所对应的每个预测特征图，可基于预测特征图中的先验框为每个关联真实标注框匹配的正样本和负样本。在所有的关联真实标注框均匹配到正样本和负样本之后，可分别确定待每个检测模块的训练损失值；在评价指标不满足预设条件，且迭代次数小于预设次数的情况下，说明待训练模型仍需训练；此时，为了能够得到鲁棒性较高的检测模型，可联合各个检测模块的训练损失值更新待训练模型的模型参数；之后可基于更新后的模型参数再次对训练集进行处理，直至评价指标满足预设条件，或者迭代次数达到预设次数，即可得到训练完成的检测模型。

[0022] 该训练方法通过增设待训练模型的检测模块，让一个检测模块对应一种检测任务；并且，通过联合各个检测模块的训练损失值来更新模型参数，可迁移标注有该种检测任务的训练样本的标注数据，来检测未标注该种检测任务的训练样本，以省去2种以上不同的训练样本之间的交叉标注工作，从而降低检测模型的训练成本。

[0023] 可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

[0024] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0025] 图1是本申请实施例提供的待检测训练模型的结构示意图；

[0026] 图2是本申请实施例提供的SPPFCSPC结构的结构示意图；

[0027] 图3是本申请实施例提供的单个检测模块的结构示意图；

[0028] 图4是本申请实施例提供的分割模块的结构示意图；

[0029] 图5是本申请实施例提供的检测模型的训练方法的流程示意图；

[0030] 图6是本申请实施例提供的检测模型的训练装置的结构示意图；

[0031] 图7是本申请实施例提供的电子设备的结构示意图。

具体实施方式

[0032] 以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

[0033] 相关技术中，对于要执行至少两种检测任务的检测模型，繁重的标注工作使得该检测模型的训练存在成本较高的问题。

[0034] 为了解决该问题，本申请提出了一种跨数据集的检测模型的训练方法，能够减少标注工作量，降低检测模型的训练成本。下面将通过具体的实施例对本申请所提出的训练方法进行说明。

[0035] 本申请实施例提供的跨数据集的检测模型的训练方法可以应用于手机、平板电脑、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra‑mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等电子设备上，本申请实施例对电子设备的具体类型不作任何限制。

[0036] 参阅图1，图1示出了一种待训练检测模型的模型结构。可以认为，该待训练检测模型主要由解码器和编码器组成，编码器与解码器相连接。其中，编码器包括图中的骨干(Backbone)网络和颈部(Neck)网络；颈部网络由尺度变换网络和特征融合网络组成。整个编码器中各个网络的连接关系为：骨干网络通过尺度变换网络与特征融合网络连接。编码器为检测网络，该检测网络包括至少2个检测模块；其中，特征融合网络与检测网络相连接。

[0037] 上述待训练检测模型是对目标检测模型YOLOv5的结构进行了两方面的改进而得，这两方面的改进具体为：

[0038] 第一方面的改进：将YOLOv5的空间金字塔池化(spatial pyramid pooling，SPP)结构替换为SPPFCSPC结构。参阅图2，图2示出了SPPFCSPC结构的结构示意图。该SPPFCSPC结构采用了三个内核为5的最大池化层并联计算，与SPP结构中所采用的三个内核大小分别为5、9和13的最大池化层并联计算相比，SPPFCSPC结构能做到参数量更少，更有利于信息融合，在保持感受野不变的情况下进一步提高计算速度。

[0039] 第二方面的改进：解耦检测模块的结构。该检测模块的个数与检测任务的种类相对应，即有几种检测任务，则设置几个检测模块。例如有两种检测任务，那么该检测模块则为双解耦检测模块。对于单个检测模块的结构，可参阅图3。

[0040] 在一些实施例中，若该检测模型还能够执行分割任务，可增设一个解码器，与上述的解码器共用一个编码器。其中，该增设的解码器是一个可实现实时有效分割的分割模块。该分割模块的结构示意图如图4所示，该分割模块包括跨阶段局部网络(Cross Stage Partial Network，CSPNet)。其中，跨阶段局部网络能够减少计算量，增加特征的融合，增强不同层内学习特征的可变性。进一步地，CSPNet与C3SPP结构连接，CSPP结构结合了CSP和SPP的思想，在计算过程中，既能够扩大感受野，也能够增强网络的特征学习能力。C3SPP结构通过与上采样模块连接，能够得到最后的分割结果。

[0041] 为了说明本申请所提出的跨数据集的检测模型的训练方法，下面将对各个实施例进行说明。

[0042] 图5示出了本申请提供的跨数据集的检测模型的训练方法的示意性流程图，该检测模型的训练方法包括：

[0043] 步骤510、通过待训练检测模型对训练集中的每个训练样本进行特征提取和特征融合，得到每个训练样本的融合特征图。

[0044] 训练集可由至少2个无交叉标注的数据集确定。其中，无交叉标注的数据集是指仅标注有一种检测任务所对应的真实标注框的数据集。训练集中有多个和训练样本，针对每个训练样本，可通过待训练检测模型的骨干网络对该训练样本进行特征提取，再通过颈部网络对提取得到的特征进行特征融合，以得到该训练样本的融合特征图。

[0045] 具体地，该训练检测模型包括至少2个检测模块。其中，该检测模块的个数与检测任务的种类相对应，即有几个种检测任务，可设置几个检测模块。每个检测模块对应一种检测任务，即各个检测模块与各个检测任务分别一一对应。

[0046] 步骤520、针对每个融合特征图，通过每个检测模块对融合特征图进行预测，得到每个检测模块对应的预测特征图。

[0047] 针对得到的每个融合特征图，可以通过每个检测模块对该融合特征图进行预测，得到每个检测模块对应的预测特征图。仅作为示例，假定有3个融合特征图，2个检测模块。针对每个融合特征图，可以通过2个检测模块分别对该融合特征图进行预测，得到每个检测模块对应的一个预测特征图，当三个融合特征图均完成预测，共可得到6张预测特征图。

[0048] 具体地，每个检测模块对每张融合特征图进行预测的过程可以包括：先使用卷积核大小为1的卷积层对该融合特征图进行卷积操作，将特征通道数减少至256；然后使用2个并行的卷积分支，分别对减少特征通道数后的融合特征图执行分类操作和回归操作，其中，每个卷积分支包含3个卷积核大小为3的卷积层；最终得到对应的预测特征图。

[0049] 步骤530、针对每个检测模块，基于对应的每个预测特征图中的先验框为每个关联真实标注框匹配正样本和负样本。

[0050] 由上可知，一个检测模块对应一种检测任务，与该检测任务匹配的真实标注框，可以认为是该检测模块的关联真实标注框。在确定出关联真实标注框后，便可以根据检测模块对应的每个预测特征图中的先验框为每个关联真实标注框匹配正样本和负样本。

[0051] 在预测特征图中，可控制锚框按照预设的规则生成对应的先验框。例如按照固定步长滑移生成对应的先验框。

[0052] 步骤540、针对每个检测模块，基于对应的每个关联真实标注框所匹配的正样本和负样本确定检测模块的训练损失值。

[0053] 在所有的关联真实标注框匹配到正样本和负样本后，可以基于该正样本和负样本来确定每个检测模块的训练损失值。具体地，检测模块设计有对应的损失函数。针对每个检测模块，可以将与其对应的每个关联真实标注框所匹配的正样本和负样本的相关数据代入该损失函数中，计算得到对应的训练损失值。

[0054] 步骤550、判断评价指标是否满足预设条件，或者迭代次数是否达到预设次数。

[0055] 待训练检测模型可以在两种情形下结束训练：一种情形下，待训练检测模型已经收敛。对于该情形来说，待训练检测模型的评价指标已经满足相应的要求，故此，可以认为当前得到的待训练检测模型即为目标检测模型；对于第二种情形来说，待训练检测模型已经迭代了预设次数，仍未收敛。对于该情形来说，更多次的迭代也可能无法使得待训练检测模型的评价指标满足相应要求，需要对模型进行调整、更改训练策略或者调整训练样本，使得待训练检测模型能够在有限次数的迭代过程中快速收敛。

[0056] 由上可知，可以通过两个条件来确定待训练检测模型是否可以结束训练：第一个条件是：评价指标是否满足对应的预设条件；第二个条件是：当前的迭代次数是否已经达到了预设次数。显然，从训练效果来看，两个条件具备优先级，即第一个条件的优先级高于第二个条件的优先级。也就是说，在每次训练完成时，先判断评价指标是否满足预设条件，当判断结果为否时，进一步确定当前的迭代次数是否达到预设次数。

[0057] 步骤560、在待训练检测模型的评价指标不满足预设条件，且迭代次数小于预设次数的情况下，联合每个检测模块的训练损失值更新待训练检测模型的模型参数，并返回执行步骤510及其后续步骤。

[0058] 在确定出每个检测模块的训练损失值后，可以基于待训练检测模型的评价指标和当前的迭代次数来确定是否停止训练，得到训练完成的待训练检测模型。可以理解，模型的训练过程是一个循环过程，在评价指标不满足预设条件，且迭代次数小于预设次数的情况下，说明当前的待训练检测模型还未收敛，不能停止训练；此时，为了得到鲁棒性更高的检测模型，可以联合每个检测模块的训练损失值来更新待训练检测模型的模型参数，并基于更新后的模型参数再次进行训练，即返回执行步骤510及其后续步骤。

[0059] 具体地，联合每个检测模块的训练损失值来更新待训练检测模型的模型参数具体包括：将各个检测模块的训练损失值累加，得到综合训练损失值；基于综合训练损失值来求解待训练检测模型的反向转播的梯度；根据该梯度来更新模型参数。

[0060] 其中，评价指标可以为全类平均正确率(mean Average Precision，mAP)、准确率、精确率、召回率、平均正确率及交并比中的一个或者2个以上的组合。当评价指标不同时，其对应的预设条件也有所区别。例如，当评价指标为mAP时，其对应的预设条件可以为差分阈值，其中，该差分阈值可以根据经验确定；当评价指标为精确率时，其对应的预设条件可以为一个精确率阈值。且，可以理解，当评价指标包含2个及以上的子评价指标时，只有每个子平均指标均满足对应的预设子条件，才能确定该评价指标满足对应的预设条件。

[0061] 步骤570、当评价指标满足预设条件，或者迭代次数达到预设次数时，得到训练完成的待训练检测模型。

[0062] 随着待训练模型不断的更迭，如果评价指标满足预设条件，或者迭代次数达到预设次数，说明模型已经训练完成，可以得到训练完成的待训练检测模型。

[0063] 可以理解，在不同的情况下所结束的训练，对应得到的待训练检测模型是有区别的。在评价指标满足预设条件的情况下，所得到的待训练检测模型鲁棒性更高；而在迭代次数达到预设次数的情况下，因所得到的待训练检测模型还未收敛，所以其鲁棒性偏低。

[0064] 本申请实施例在同一个待训练检测模型中设置多个检测模块，可同时对来自不同数据集的训练样本进行特征提取和特征融合，得到每个训练样本的融合特征图；针对每个融合特征图，每个检测模块可根据对应的检测任务对该融合特征图进行预测，输出对应的预测特征图，并为其匹配正负样本；联合多个检测模块的训练损失值对待训练检测模型进行优化，在待训练检测模型未完成训练的情况下，不断地更新待训练检测模型的模型参数，直至待训练检测模型训练完成。

[0065] 该训练方法通过增设待训练模型的检测模块，让一个检测模块对应一种检测任务；并且，通过联合各个检测模块的训练损失值来更新模型参数，可迁移标注有该种检测任务的训练样本的标注数据，来检测未标注该种检测任务的训练样本，以省去2种以上不同的训练样本之间的交叉标注工作，从而降低检测模型的训练成本。

[0066] 在一些实施例中，训练集可通过以下步骤确定：

[0067] 步骤A1、基于指定格式对数据集中的每个数据进行格式转换，并将数据集中格式转换失败的数据删除，得到清洗后的数据集。

[0068] 训练集是从至少2个无交叉标注的数据集中确定的。为了便于后续对训练集进行处理，可以先统一数据集中每个数据的数据格式，即确保得到的训练集中的各个训练样本的格式是统一的。具体地，可先确定待转换的数据格式，即指定格式；而后可以对数据集中的每个数据进行格式转换，即尝试将数据集中的每个数据的格式转换为指定格式；最后可清洗格式转换失败的数据，即将格式转换失败的数据从数据集中删除，得到清洗后的数据集。

[0069] 仅作为示例，指定格式可以为文本格式。

[0070] 步骤A2、对清洗后的数据集中的每个数据执行数据增强操作，得到预处理后的数据集。

[0071] 同时，为了提高检测模型的泛化能力，可以对数据执行数据增强操作。其中，数据增强操作可以包括缩放、裁剪、排布、旋转以及拼接等，对于不同的数据增强操作，可以设置其操作属性，例如随机或者按照预设的规则。以缩放这一数据增强操作为例，其操作属性可以为随机或者按照预设比例缩放。经过数据增强操作这一预处理后所得到的数据集，可增加其数据特征的复杂性；通过这样的数据集所确定出的训练集，其所包括的训练样本也具备复杂性，能够避免待训练检测模型过拟合，增强待训练检测模型的泛化能力。

[0072] 步骤A3、根据预设比例从预处理后的数据集中确定训练集。

[0073] 对于经过预处理的数据集，可根据预设比例从其中确定出训练集。在确定出训练集后，还可以将数据集中非训练集的数据作为验证集。当检测模型的训练结束后，可以利用验证集来确定最终的模型参数，以得到鲁棒性更高的检测模型。

[0074] 在本申请实施例中，对数据集中的数据进行清洗，能够提高训练集中各个数据格式的统一性；对清洗后的训练集中数据进行预处理，能够增加数据特征的复杂性。基于此，对于由预处理后的训练集确定的训练集来说，其所包括的各个训练样本也具备统一的格式，以及较强的特征复杂性。

[0075] 在一些实施例中，在步骤A2后，还包括：基于聚类算法确定预处理后的数据集中各个数据所适用的锚框。

[0076] 预测特征图中的先验框是由锚框在融合特征图中滑移得到的。故此，要得到先验框，可以先确定与数据集的各个数据所适配的锚框。具体地，可以将预处理后的数据集输入聚类算法中，以确定锚框的大小。

[0077] 其中，聚类算法可以包括划分式聚类算法、基于密度的聚类算法以及层次化聚类算法。本申请实施例优选较为成熟的划分式聚类算法，该聚类算法是提前指定聚类的数据或者聚类中心，通过反复迭代，从而达族内的点足够近，族间的点足够远的目的，以实现聚类。

[0078] 划分式聚类算法具体包括K均值聚类算法(K‑Means Clustering Algorithm)及K均值聚类算法的衍生算法。本申请实施例所采用的K均值聚类算法，能够对待训练的检测模型所需要的锚框进行聚类分析，以确定最佳尺寸的锚框。

[0079] 在一些实施例中，待预测目标有大有小，如果仅在一个尺度下对大小各异的目标进行检测，会降低检测模块预测的准确性。故此，为了提高检测模块预测的准确性，融合特征图可以包括每个预设尺度下的融合特征图。其中，一个预设尺度，对应一类大小相似的待预测目标。具体地，该融合特征图可以通过以下步骤确定：

[0080] 针对每个训练样本：

[0081] 步骤511、基于骨干网络对训练样本进行特征提取，得到基础特征图。

[0082] 对于每个训练样本，其可先经过骨干网络，实现特征提取，得到基础特征图。具体地，骨干网络可以为CSP‑DarkNet。同时，为了获取不同尺度的感受野信息，引入了SPPFCSPC结构，相比于YOLOv5的SPP结构，可以保持感受野不变的情况下提升模型的计算速度，有利于后续信息的融合。

[0083] 步骤512、基于颈部网络对基础特征图进行尺度转换及特征融合，得到每个预设尺度对应的融合特征图。

[0084] 在得到基础特征图后，为了能够生成不同预设尺度下的融合特征图，可以采用颈部网络对基础特征图进行尺度转换操作，得到每个预设尺度所对应的特征图，而后对各个特征图进行特征融合，即可得到每个预设尺度对应的融合特征图。

[0085] 具体地，颈部网络包括尺度转换网络和特征融合网络。其中，尺度转换网络可对基础特征图进行尺度转换，以得到每个预设尺度下的特征图。

[0086] 特征融合网络可对各个特征图进行特征融合，以得到每个预设尺度下的融合特征图。其中，特征融合网络为金字塔特征网络(feature pyramid networks，FPN)，FPN会使用卷积神经网络(Convolutional Neural Networks，CNN)中的每一层信息来生成最后的表达特征组合。对于预设尺度下的卷积神经网络的特征，可输出处理以反映对应维度的特征信息；另外，自上而下处理后所生成的特征会进行融合，即上层特征会影响下层特征的表达。

[0087] 仅作为示例，假定预设尺度有3个，分别为20x20、40x40以及80x80。首先确定预设尺度为20x20的特征图，由于该预设尺度所对应的网络层级为顶层，所以该特征图即为第一融合特征图；对第一融合特征图进行处理，可得到第一语义信息；将第一语义信息与预设尺度为40x40所对应的特征图进行融合，可生成预设尺度为40x40的第二融合特征图；对第二融合特征图进行处理，可得到第二语义信息；将第二语义信息与预设尺度为80x80所对应的特征图进行融合，可以生成预设尺度为80x80的第三融合特征图。

[0088] 在本申请是实施例中，通过对训练样本进行特征提取和特征融合，能够得到不同预设尺度下的融合特征图，有利于检测模块在不同预设尺度下精确地预测出待预测目标，以加快待训练检测模型的收敛。

[0089] 在一些实施例中，在每个预设尺度下，上述530具体包括：

[0090] 步骤531、针对每个预测特征图，基于每个先验框和每个关联真实标注框之间的位置关系确定预测框。

[0091] 针对每个关联真实标注框，可以将其分别与每个先验框进行匹配，以确定出预测框。具体地，可以计算每个关联真实标注框与各个先验框之间的宽度比例和高度比例，并统计两种比例倒数，对于宽度比例倒数和高度比例倒数均小于预设的倒数阈值的先验框，可以认为这样的先验框包含待预测目标的可能性较大。

[0092] 仅作为示例，假定预设比例阈值为4，且有先验框1、先验框2以及先验框3三个先验框，一个关联真实标注框；第1组宽高比例(先验框1与关联真实标注框之间的宽度比例和高度比例)为：0.2，0.1；第2组宽高比例(先验框2与关联真实标注框之间的宽度比例和高度比例)为：0.3，0.2；第3组宽高比例(先验框3与关联真实标注框之间的宽度比例和高度比例)为：0.5，0.8；分别对每组宽高比例取倒数，可得到三组倒数，第1组倒数为：5，10；第2组倒数为：3，5；第3组倒数为：2，1。由倒数阈值可知，其中满足条件的先验框为先验框3，也就是说，先验框3与关联真实标注框之间的差距较小，更容易预测出关联真实标注框所对应的待预测目标。

[0093] 在此基础上，为了进一步提升检测模块的预测能力，还可以对筛选出来的先验框的尺寸进行调整，以使得调整尺寸后的先验框与关联真实标注框大小相同，从而提升检测模块对待预测目标预测的准确性。

[0094] 步骤532、针对每个预测框：将预测框映射至预测特征图中，基于预测框的中心点从预测特征图中的网格确定对应的目标网格；基于中心点和目标网格确定每个关联真实标注框对应的正样本。

[0095] 为了扩充正样本的数量，针对每个预测框，可以将该预测框映射至预测特征图中；预测特征图中预先设置有网格，故此，可以根据预测框的中心点在网格中的位置确定出目标网格；而后变可根据中心点和目标网格来确定出关联真实标注框对应的正样本。

[0096] 步骤533、基于所述正样本确定每个所述关联真实标注框对应的负样本。

[0097] 对于每个关联真实标注框，当其正样本确定出来之后，可以认为对应的预测特征图中的所有先验框中，除了确定为正样本的先验框，其余的先验框均为负样本。

[0098] 在一些实施例中，目标网格可以包括目标网格包括第一目标网格和第二目标网格，第一目标网格为预测框的中心点所处的网格，第二目标网格为与第一目标网格相邻且与中心点的距离小于预设的距离阈值的网格。

[0099] 也就是说，可以先根据预测框的中心点确定出第一目标网格，而后根据第一目标网格上下左右的四个网格中确定出满足条件的第二目标网格。例如，可以在第一目标网格上下左右四个网格中，确定出两个与第一目标网格之间的距离小于0.5个单位长度的第二目标网格。

[0100] 在一些实施例中，正样本的确定可通过以下步骤确定：

[0101] 针对每个关联真实标注框：

[0102] 步骤B1、基于中心点落入目标网格的先验框为关联真实标注框匹配至少2个第一候选样本。

[0103] 在确定出目标网格后，可以确定哪些先验框的中心点落入该目标网格中，并基于该条件筛选出先验框；对于筛选得到的先验框，可以将其确定为对应的关联真实标注框的第一候选样本。其中，第一候选样本至少为2个。

[0104] 步骤B2、基于第一候选样本计算样本总损失。

[0105] 第一候选样本可以认为是为关联真实标注框初步匹配的样本。由此，可以计算该匹配过程中的样本总损失。具体的，该样本总损失包括回归损失和分类损失，是两种损失值之和。

[0106] 步骤B3、确定关联真实标注框与对应的各个第一候选样本之间的交并比。

[0107] 关联真实标注框与第一候选样本之间的交并比越大，说明第一候选样本为正样本的可能性越大；相反，该交并比越小，说明第一候选样本为正样本的可能性越小。基于此，可以确定关联真实标注框与各个第一候选样本之间的交并比，以便于后续准确确定关联真实标注框对应的正样本。

[0108] 步骤B4、基于交并比从各个第一候选样本中确定第二候选样本。

[0109] 如前文所述，交并比的大小反映了第一候选样本成为正样本的可能性。相应地，可以根据交并比从第一候选样本中筛选出成为正样本可能性较大的第一候选样本作为第二候选样本。以便于后续更准确地确定出正样本。

[0110] 在一些实施例中，第二候选样本的确定步骤包括：

[0111] 步骤B41、基于交并比对各个第一候选样本进行降序排序。

[0112] 每个第一候选样本均对应一个交并比，而交并比越大说明其成为正样本的可能性越大；由此，可以根据交并比来对第一候选样本进行降序排序，即排序后的各个第一候选样本的交并比逐渐变小。

[0113] 步骤B42、将排序后的前k个第一候选样本确定为关联真实标注框对应的第二候选样本。

[0114] 在第一候选样本排序后，可将排序后的前k个第一候选样本确定为第二候选样本。其中，k由上述计算出来的样本总损失确定。样本总损失越大，说明第一候选样本中可确定为正样本的可能性较小，k可以设置的小一些；如果样本总损失较小，说明第一候选样本中可确定为正样本的可能性较大，k可以设置的大一些。

[0115] 步骤B5、基于总损失对第二候选样本去重，得到关联真实标注框对应的正样本。

[0116] 为了提高正样本的质量，获取更为精细的正样本，可以根据总损失对第二候选样本去重，最终可得到关联真实标签对应的正样本。

[0117] 在一些实施例中，为了能够让待训练检测模型更快地收敛，可对每个检测模块的训练损失值计算进行改进，即通过分配正负样本来计算每个检测模块的训练损失值。

[0118] 具体地，当单个检测模块的训练损失值，其损失函数可以如下：

[0119]

[0120] 其中，tp是预测向量，tgt是真实向量。K是输出的特征图，S2表示网格的数量，B表示每个网格对应的先验框的数量。α*表示相对应项的权重，其中αbox＝0.05，αcls＝0.3，αobj＝0.7。 用于平衡每个预设尺度的输出融合特征图的权重，输出特征大小为80x80、
40x40以及20x20的对应的取值分别为[4.0,1.0,0.4]。 表示第k个输出的融合特征图，第i个网格，第j个先验框是否是正样本，如果是正样本， 的值为1，反之为0。Lbox是回归交并比损失函数(Complete Intersection over Union Loss，CIoULoss)，它综合考虑了距离、重叠率、比例的相似性以及预测框和关联真实标注框之间的长宽比。Lobj和Lcls是交叉熵损失函数(Binary Cross Entropy Loss，BCE Loss)，分别表示预测的置信度损失和分类损失。

[0121] 训练时，要对所有检测模块进行联合训练，可以将各个检测模块的训练损失值进行累加，得到综合训练损失值，之后基于综合训练损失值来优化带训练检测模型的模型参数，可迁移检测模块对应的先验知识，对未包含该种先验知识的训练样本进行预测，以省去2种以上不同的训练样本之间的交叉标注工作，从而降低检测模型的训练成本。

[0122] 在一些实施例中，当待训练检测模型还可执行分割任务时，可计算待训练检测模型的动态损失函数(Dynamic loss function，Ldynamic)，该动态损失函数能够提升待训练检测模型的鲁棒性和稳定性，有效地应对多任务和多数据集带来的梯度爆炸问题。

[0123] 具体地，Ldynamic的计算公式为：

[0124]

[0125] 其中，λ表示动态损失函数的权重，假定检测任务有两种，Ldetection1是第一种检测任务所对应的训练样本的损失函数，Ldetection2是第二种检测任务所对应的训练样本的损失函数，Lsegment是分割任务的损失函数，mAPj是第j个训练过程中的所有类别的平均准确度(Average Precision，AP)。

[0126] 具体地，分割损失函数如下：

[0127]

[0128] 其中，N是训练样本批次的大小，C是分割类别的数量，yc是每个分割类别的真实值，pc是每个分割类别的预测概率。

[0129] 在一些实施例中，更新待训练检测模型的模型参数时，可利用Ldynamic计算待训练检测模型反向传播的梯度，进而基于该梯度更新模型参数。

[0130] 在一些实施例中，上述待训练的检测模型可以为车载全景的感知模型，该感知模型可同时完成两种检测任务。其中，两种检测任务分别场景检测和交通标识牌检测，场景检测主要是对行人、车辆以及交通灯的检测。

[0131] 相应地，在对该感知模型训练前，训练集可以从2个无交叉标注的数据集中确定，其中，第一个数据集标注有场景检测所对应的场景真实检测框；第二个数据集标注有19类交通标识牌的标识牌真实检测框。在经过如前述步骤的数据处理，便可以得到对应的训练集。

[0132] 感知模型包括两个检测模块，假定为检测模块1和检测模块2。其中检测模块1实现场景的检测，检测模块2实现交通标识牌的检测。

[0133] 针对每个训练样本，在经过骨干网络和颈部网络处理后，可以实现特征提取和特征融合，得到三个尺度下的融合特征图。

[0134] 对于检测模块1，可以分别对三个尺度下的特征融合图进行场景标识的预测，得到三个场景预测特征图；即每个尺度下，对应一个场景预测特征图。每个场景预测特征图中，包括多个尺寸与当前尺度匹配的先验框。

[0135] 对于检测模块2，可分别对三个尺度下的特征融合图进行交通标识牌的预测，得到三个标识牌预测特征图；即每个尺度下，对应一个标识牌预测特征图，每个标识牌预测特征图中，也包括多个尺寸与当前尺度匹配的先验框。

[0136] 对于检测模块1，可根据每个场景预测特征图中的先验框为每个场景真实标注框匹配正负样本，并根据各个场景真实标注框正负样本的匹配情况确定出场景检测下的第一损失值。

[0137] 同理，对于检测模块2，可根据每个标识牌预测特征图为每个标识牌真实标注框匹配正负样本，并根据各个标识牌真实标注框正负样本的匹配情况确定出交通标识牌检测下的第二损失值。

[0138] 最终，可以将第一损失值和第二损失值累加，以得到综合损失值；通过综合损失值来确定感知模型的反向转播的梯度，根据该梯度来更新模型参数。对于更新模型参数后的感知模型，其检测模块1能够对未标注场景真实标注框的训练样本进行更准确的预测，让检测模块2能够对未标注标识牌真实标注框的训练样本进行更准确的预测。通过感知模型的不断迭代，当感知模型的评价指标满足相应条件后，便可以认为该感知模型已完成训练；但如果在感知模型的迭代次数达到预设的次数阈值时，评价指标仍未满足相应的要求，可以先停止对模型的训练，并尝试调整训练策略，来让感知模型在新的迭代过程中快速收敛。

[0139] 可以理解，如果该感知模型还能够完成分割任务，那么还可以包括一个分割模块；且第一数据集或者第二数据集中可以包含对车道线和斑马线的分割标识。相应地，该分割模块可以对指定尺度(包含语义信息最多的尺度)下的融合特征图进行处理，得到对应的分割预测图。对应的，可根据分割预测图中的预测分割标识和数据集中标注的分割标识来确定分割模块的第三损失值，在优化感知模型的模型参数时，可以基于两个检测模块的损失值和一个分割模块的损失值对感知模型进行联合优化，以使得优化后的感知模型的各个模块在执行三个任务时，能够得到更准确的预测结果。

[0140] 对应于上文实施例的跨数据集的检测模型的训练方法，图6示出了本申请实施例提供的跨数据集的检测模型的训练装置6的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

[0141] 参照图6，该检测模型的训练装置6包括：

[0142] 提取模块61，用于通过待训练检测模型对训练集中的每个训练样本进行特征提取和特征融合，得到每个训练样本的融合特征图；训练集由至少2个无交叉标注的数据集确定，每个数据集标注有一种检测任务所对应的真实标注框；待训练检测模型包括至少2个检测模块，每个检测模块对应一种检测任务；

[0143] 预测模块62，用于针对每个融合特征图，通过每个检测模块对融合特征图进行预测，得到每个检测模块对应的预测特征图；

[0144] 匹配模块63，用于针对每个检测模块，基于对应的每个预测特征图中的先验框为每个关联真实标注框匹配正样本和负样本，关联真实标注框与检测模块所执行的检测任务匹配；

[0145] 第一确定模块64，用于针对每个检测模块，基于对应的每个关联真实标注框所匹配的正样本和负样本确定检测模块的训练损失值；

[0146] 更新模块65，用于在待训练检测模型的评价指标不满足预设条件，且迭代次数小于预设次数的情况下，联合每个检测模块的训练损失值更新待训练检测模型的模型参数，并触发所述提取模块的执行，直至评价指标满足预设条件，或者迭代次数达到预设次数，得到训练完成的待训练检测模型。

[0147] 可以理解，上述预测模块62、匹配模块63、第一确定模块64以及更新模块65的执行均直接或间接地依赖与提取模块61的执行，故此，当提取模块61被再次触发后，预测模块62、匹配模块63、第一确定模块64以及更新模块65可依据数据处理的逻辑依次被执行，最终实现对待训练检测模型的训练。

[0148] 可选地，上述训练装置6还可以包括：

[0149] 清洗模块，用于基于指定格式对数据集中的每个数据进行格式转换，并将数据集中格式转换失败的数据删除，得到清洗后的数据集；

[0150] 预处理模块，用于对清洗后的数据集中的每个数据执行数据增强操作，得到预处理后的数据集；

[0151] 第二确定模块，用于基于聚类算法确定预处理后的数据集中各个数据所适用的锚框；

[0152] 第三确定模块，用于根据预设比例从预处理后的数据集中确定训练集。

[0153] 可选地，待训练检测模型包括骨干网络和颈部网络，骨干网络与颈部网络连接；融合特征图包括每个预设尺度对应的融合特征图，上述提取模块61可以包括：

[0154] 提取单元，用于针对每个训练样本，基于骨干网络对训练样本进行特征提取，得到基础特征图；

[0155] 转换及融合单元，用于基于所述颈部网络对所述基础特征图进行尺度转换及特征融合，得到每个所述预设尺度对应的所述融合特征图。

[0156] 可选地，上述匹配模块63可以包括：

[0157] 确定单元，用于针对每个预测特征图，基于对应的每个先验框和每个关联真实标注框之间的位置关系确定预测框；预测框为先验框中检测目标占比大于预设的占比阈值；检测目标与预设尺度下的检测任务相对应；

[0158] 匹配单元，用于针对每个预测框：将预测框映射至预测特征图中，基于预测框的中心点从预测特征图中的网格确定对应的目标网格；基于中心点和目标网格确定每个关联真实标注框对应的正样本；基于所述正样本确定每个所述关联真实标注框对应的负样本。

[0159] 可选地，上述匹配单元可以包括：

[0160] 匹配子单元，用于针对每个关联真实标注框，基于中心点落入目标网格的先验框为关联真实标注框匹配至少2个第一候选样本；

[0161] 计算子单元，用于基于第一候选样本计算样本总损失；

[0162] 第一确定子单元，用于确定关联真实标注框与对应的各个第一候选样本之间的交并比；

[0163] 第二确定子单元，用于基于交并比从各个第一候选样本中确定第二候选样本；

[0164] 去重子单元，用于基于总损失对第二候选样本去重，得到关联真实标注框对应的正样本。

[0165] 可选地，第二确定子单元具体用于：

[0166] 基于交并比对各个第一候选样本进行降序排序；

[0167] 将排序后的前k个第一候选样本确定为关联真实标注框对应的第二候选样本。

[0168] 需要说明的是，上述装置/单元之间的信息交互和执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

[0169] 图7为本申请一实施例提供的电子设备的物理层面的结构示意图。如图7所示，该实施例的电子设备7包括：至少一个处理器70(图7中仅示出一个)处理器、存储器71以及存储在存储器71中并可在至少一个处理器70上运行的计算机程序72，处理器70执行计算机程序72时实现上述任意检测模型的训练方法实施例中的步骤，例如图1所示出的步骤110‑150。

[0170] 所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，该处理器70还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field‑Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

[0171] 存储器71在一些实施例中可以是电子设备7的内部存储单元，例如电子设备7的硬盘或内存。存储器71在另一些实施例中也可以是电子设备7的外部存储设备，例如电子设备7上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

[0172] 进一步地，存储器71还可以既包括电子设备7的内部存储单元也包括外部存储设备。存储器71用于存储操作装置、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如计算机程序的程序代码等。存储器71还可以用于暂时地存储已经输出或者将要输出的数据。

[0173] 所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0174] 本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

[0175] 本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

[0176] 该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read‑Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。

[0177] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

[0178] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

[0179] 在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

[0180] 上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0181] 以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。