一种对象检测模型的确定方法和相关装置转让专利

申请号 : CN202111462134.1

文献号 : CN113887534B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 曾浩邓大付黄超李玺王君乐

申请人 : 腾讯科技(深圳)有限公司

摘要 :

本申请实施例公开了一种对象检测模型的确定方法和相关装置,可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。将源领域中具有样本标签的标注图像样本和目标领域中无标注图像均作为训练样本进行模型训练。根据特征提取器的第一中间层的第一输出特征,通过第一领域分类器得到的预测领域确定第一损失函数,基于第一损失函数的调整,可提高第一领域分类器对源领域和目标领域的分辨能力,基于第一损失函数的负值的调整,以指导第一中间层在提取特征时降低源领域和目标领域的特征间的特征距离,起到混淆源领域和目标领域的目的。使得源领域的大量标注数据在目标领域的对象检测中得以有效使用,大大提高了对象检测模型的训练效率和检测性能。

权利要求 :

1.一种对象检测模型的确定方法,其特征在于,所述方法包括:获取训练样本集,所述训练样本集中的训练样本包括源领域的标注图像样本和目标领域的无标注图像,所述标注图像样本的样本标签用于标识所述标注图像样本中目标对象的位置信息;

根据所述训练样本对初始检测模型进行模型训练,其中,若所述训练样本为所述标注图像样本,根据针对所述目标对象的检测结果和所述样本标签对所述初始检测模型进行模型参数调整以得到对象检测模型,所述初始检测模型包括用于提取所述训练样本的图像特征的特征提取器,所述对象检测模型用于对所述目标领域的图像进行所述目标对象的检测;

在所述模型训练的过程中,根据所述特征提取器的第一中间层的第一输出特征,通过第一领域分类器确定所述第一输出特征所包括像素分别对应的像素预测领域;根据所述像素预测领域确定第一预测领域;其中,所述第一中间层为局部特征提取层;

根据所述第一领域分类器确定输入的所述训练样本属于所述源领域还是所述目标领域,确定出所述训练样本属于所述源领域或者所述目标领域后,基于所述源领域或者所述目标领域与所述第一预测领域间的差异,确定第一损失函数;

基于所述第一损失函数调整所述第一领域分类器的模型参数,并通过所述第一损失函数的负值调整所述第一中间层的模型参数;

所述通过所述第一损失函数的负值调整所述第一中间层的模型参数,包括:将所述第一损失函数的负值输入所述第一中间层,使得所述第一领域分类器和所述第一中间层被通过完全相反的优化方向进行训练。

2.根据权利要求1所述的方法,其特征在于,在所述模型训练的过程中,所述方法还包括:

根据所述特征提取器的第二中间层的第二输出特征,通过第二领域分类器确定所述第二输出特征对应的第二预测领域;

根据所述训练样本的实际所属领域和所述第二预测领域的差异确定第二损失函数;

基于所述第二损失函数调整所述第二领域分类器的模型参数,并通过所述第二损失函数的负值调整所述第二中间层的模型参数。

3.根据权利要求2所述的方法,其特征在于,所述第一中间层为局部特征提取层,所述第二中间层为全局特征提取层。

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:获取所述第一领域分类器的第一中间层特征;

根据所述第一中间层特征和所述图像特征确定所述初始检测模型中对象检测层的输入特征,通过所述对象检测层确定针对所述目标对象的检测结果。

5.根据权利要求2所述的方法,其特征在于,所述方法还包括:获取所述第一领域分类器的第一中间层特征和所述第二领域分类器的第二中间层特征;

根据所述第一中间层特征、所述第二中间层特征和所述图像特征确定所述初始检测模型中对象检测层的输入特征,通过所述对象检测层确定针对所述目标对象的检测结果。

6.根据权利要求5所述的方法,其特征在于,所述根据针对所述目标对象的检测结果和所述样本标签对所述初始检测模型进行模型参数调整以得到对象检测模型,包括:根据针对所述目标对象的检测结果和所述样本标签确定对象检测损失函数;

根据所述对象检测损失函数对所述初始检测模型、所述第一领域分类器和所述第二领域分类器进行模型参数调整。

7.根据权利要求1所述的方法,其特征在于,所述初始检测模型中包括用于根据所述图像特征确定所述检测结果的对象检测层,在所述模型训练的过程中,所述方法还包括:获取所述对象检测层的中间层输出的检测框特征,所述检测框特征中包括了用于对象检测的检测框;

根据第三领域分类器确定所述检测框特征对应的第三预测领域;

根据所述训练样本的实际所属领域和所述第三预测领域的差异确定第三损失函数;

基于所述第三损失函数调整所述第三领域分类器的模型参数,并通过所述第三损失函数的负值调整所述对象检测层的模型参数。

8.根据权利要求1‑7任意一项所述的方法,其特征在于,所述方法还包括:针对所述目标领域的对象检测需求,确定待检测的所述目标对象;

根据所述目标对象确定具有所述目标对象的所述源领域。

9.根据权利要求1所述的方法,其特征在于,所述方法还包括:获取针对所述源领域和所述目标领域的图像风格转换模型;

通过所述图像风格转换模型将所述标注图像样本的图像风格从源领域转换到所述目标领域,得到风格训练样本,所述风格训练样本的样本标签为转换前所述标注图像样本的样本标签;

根据所述风格训练样本对所述初始检测模型进行模型训练,得到基于图像风格的对象检测模型,所述基于图像风格的对象检测模型用于对所述目标领域的图像进行对象检测。

10.根据权利要求9所述的方法,其特征在于,所述根据所述风格训练样本对所述初始检测模型进行模型训练,得到基于图像风格的对象检测模型,包括:根据所述风格训练样本和所述标注图像样本对所述初始检测模型进行模型训练,得到所述基于图像风格的对象检测模型。

11.一种对象检测模型的确定装置,其特征在于,所述装置包括获取单元和训练单元:所述获取单元,用于获取训练样本集,所述训练样本集中的训练样本包括源领域的标注图像样本和目标领域的无标注图像,所述标注图像样本的样本标签用于标识所述标注图像样本中目标对象的位置信息;

所述训练单元,用于根据所述训练样本对初始检测模型进行模型训练,其中,若所述训练样本为所述标注图像样本,根据针对所述目标对象的检测结果和所述样本标签对所述初始检测模型进行模型参数调整以得到对象检测模型,所述初始检测模型包括用于提取所述训练样本的图像特征的特征提取器,所述对象检测模型用于对所述目标领域的图像进行所述目标对象的检测;

所述训练单元在所述模型训练的过程中还用于,根据所述特征提取器的第一中间层的第一输出特征,通过第一领域分类器确定所述第一输出特征所包括像素分别对应的像素预测领域;根据所述像素预测领域确定第一预测领域;其中,所述第一中间层为局部特征提取层;

所述训练单元还用于根据所述第一领域分类器确定输入的所述训练样本属于所述源领域还是所述目标领域,确定出所述训练样本属于所述源领域或者所述目标领域后,基于所述源领域或者所述目标领域与所述第一预测领域间的差异,确定第一损失函数;

所述训练单元还用于基于所述第一损失函数调整所述第一领域分类器的模型参数,并通过所述第一损失函数的负值调整所述第一中间层的模型参数;

所述通过所述第一损失函数的负值调整所述第一中间层的模型参数,包括:将所述第一损失函数的负值输入所述第一中间层,使得所述第一领域分类器和所述第一中间层被通过完全相反的优化方向进行训练。

12.一种计算机设备,其特征在于,所述计算机设备包括处理器以及存储器:所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;

所述处理器用于根据所述程序代码中的指令执行权利要求1‑10中任意一项所述的方法。

13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行权利要求1‑10中任意一项所述的方法。

14.一种包括指令的计算机程序产品,当其在计算机上运行时,使得所述计算机执行权利要求1‑10任意一项所述的方法。

说明书 :

一种对象检测模型的确定方法和相关装置

技术领域

[0001] 本申请涉及数据处理领域,特别是涉及一种对象检测模型的确定方法和相关装置。

背景技术

[0002] 通过对象检测模型可以实现对图像中指定对象的检测功能,例如识别游戏图像中的敌方位置,识别交通图像中的车道线位置等。针对一个领域下的对象检测需求,需要训练
得到针对该领域的对象检测模型,而模型训练需要依赖大量的标注数据,这会耗费大量时
间和成本,尤其是该领域对于开发者来说是一个新领域的情况下。
[0003] 相关技术中,会采用其他相关领域的已经通过长期积累的大量标注数据进行对象检测模型的训练,并将训练得到的对象检测模型应用于该新领域中提供对象检测服务。然
而,这种跨域方式会导致域间隙(domain gap)的问题,域间隙指的是由于不同领域数据集
之间的数据分布存在差异,在通过一个领域数据集训练的对象检测模型在另一个领域数据
集上对象检测性能下降的现象。也就是说,通过相关技术得到的对象检测模型在新领域中
的检测性能并不理想。
[0004] 由此导致大量的其他领域的标注数据无法用于新领域,严重降低了新领域中对象检测模型的训练效率。

发明内容

[0005] 为了解决上述技术问题,本申请提供了一种对象检测模型的确定方法和相关装置,使得源领域的大量标注数据在目标领域的对象检测中得以有效使用,大大提高了目标
领域中对象检测模型的训练效率和检测性能。
[0006] 本申请实施例公开了如下技术方案:
[0007] 一方面,本申请实施例提供了一种对象检测模型的确定方法,所述方法包括:
[0008] 获取训练样本集,所述训练样本集中的训练样本包括源领域的标注图像样本和目标领域的无标注图像,所述标注图像样本的样本标签用于标识所述标注图像样本中目标对
象的位置信息;
[0009] 根据所述训练样本对初始检测模型进行模型训练,其中,若所述训练样本为所述标注图像样本,根据针对所述目标对象的检测结果和所述样本标签对所述初始检测模型进
行模型参数调整以得到对象检测模型,所述初始检测模型包括用于提取所述训练样本的图
像特征的特征提取器,所述对象检测模型用于对所述目标领域的图像进行所述目标对象的
检测;
[0010] 在所述模型训练的过程中,根据所述特征提取器的第一中间层的第一输出特征,通过第一领域分类器确定所述第一输出特征对应的第一预测领域;
[0011] 根据所述训练样本的实际所属领域和所述第一预测领域的差异确定第一损失函数;
[0012] 基于所述第一损失函数调整所述第一领域分类器的模型参数,并通过所述第一损失函数的负值调整所述第一中间层的模型参数。
[0013] 另一方面,本申请实施例提供了一种对象检测模型的确定装置,所述装置包括获取单元和训练单元:
[0014] 所述获取单元,用于获取训练样本集,所述训练样本集中的训练样本包括源领域的标注图像样本和目标领域的无标注图像,所述标注图像样本的样本标签用于标识所述标
注图像样本中目标对象的位置信息;
[0015] 所述训练单元,用于根据所述训练样本对初始检测模型进行模型训练,其中,若所述训练样本为所述标注图像样本,根据针对所述目标对象的检测结果和所述样本标签对所
述初始检测模型进行模型参数调整以得到对象检测模型,所述初始检测模型包括用于提取
所述训练样本的图像特征的特征提取器,所述对象检测模型用于对所述目标领域的图像进
行所述目标对象的检测;
[0016] 所述训练单元在所述模型训练的过程中还用于,根据所述特征提取器的第一中间层的第一输出特征,通过第一领域分类器确定所述第一输出特征对应的第一预测领域;
[0017] 所述训练单元还用于根据所述训练样本的实际所属领域和所述第一预测领域的差异确定第一损失函数;
[0018] 所述训练单元还用于基于所述第一损失函数调整所述第一领域分类器的模型参数,并通过所述第一损失函数的负值调整所述第一中间层的模型参数。
[0019] 又一方面,本申请实施例提供了一种计算机设备,所述计算机设备包括处理器以及存储器:
[0020] 所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
[0021] 所述处理器用于根据所述程序代码中的指令执行以上方面所述的方法。
[0022] 又一方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行以上方面所述的方法。
[0023] 又一方面,本申请实施例提供了一种包括指令的计算机程序产品,当其在计算机上运行时,使得所述计算机执行以上方面所述的方法。
[0024] 由上述技术方案可以看出,将源领域中具有样本标签的标注图像样本和目标领域中无标注图像均作为训练样本,对初始检测模型进行模型训练。初始检测模型包括用于提
取所述训练样本的图像特征的特征提取器,在模型训练过程中,根据特征提取器的第一中
间层的第一输出特征,通过第一领域分类器确定其对应的第一预测领域,并基于与训练样
本实际所属领域的差异确定第一损失函数,基于第一损失函数的调整,可提高第一领域分
类器对源领域和目标领域的分辨能力,基于第一损失函数的负值的调整,以指导第一中间
层在提取特征时降低源领域和目标领域的特征间的特征距离,起到混淆源领域和目标领域
的目的。由此通过完全相反的优化方向,基于对抗训练的思路对第一领域分类器和第一中
间层进行参数调整,指导特征提取器在提取训练样本特征时弱化源领域和目标领域下的分
别特有的信息,降低特征中能被用于区分源领域还是目标领域的信息,使得不论是源领域
的训练样本还是目标领域的训练样本,通过特征提取器所提取的图像特征中与领域相关的
信息被弱化,实现了领域混淆的作用。基于该类图像特征进行训练时,还可以在所述训练样
本为所述标注图像样本时,根据检测结果和所述样本标签对所述初始检测模型进行模型参
数调整,使得训练得到的对象检测模型不仅可以针对目标领域的图像有效提取图像特征,
并能够实现对目标对象的准确检测,使得源领域的大量标注数据在目标领域的对象检测中
得以有效使用,大大提高了目标领域中对象检测模型的训练效率和检测性能。

附图说明

[0025] 为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本
申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以
根据这些附图获得其他的附图。
[0026] 图1为本申请实施例提供的一种对象检测模型的确定场景示意图;
[0027] 图2为本申请实施例提供的一种对象检测模型的确定方法的方法流程图;
[0028] 图3为本申请实施例提供的一种基于领域分类器的对抗训练示意图;
[0029] 图4为本申请实施例提供的一种基于两个领域分类器的对抗训练示意图;
[0030] 图5为本申请实施例提供的一种基于领域分类器的对象检测模型的确定场景示意图;
[0031] 图6为本申请实施例提供的另一种对象检测模型的确定方法的方法流程图;
[0032] 图7为本申请实施例提供的一种对象检测模型的确定装置的装置结构图;
[0033] 图8为本申请实施例提供的一种终端设备的结构图;
[0034] 图9为本申请实施例提供的一种服务器的结构图。

具体实施方式

[0035] 下面结合附图,对本申请的实施例进行描述。
[0036] 相关技术中,针对缺少标注数据的目标领域,由于域间隙的问题,导致针对等待目标领域具有足量标注数据后,才能训练得到用于目标领域的对象检测模型,效率低下,对其
他领域中已有的大量标注数据也是一种浪费。
[0037] 为此,本申请实施例提供了一种对象检测模型的确定方法,使得源领域的大量标注数据在目标领域的对象检测中得以有效使用,大大提高了目标领域中对象检测模型的训
练效率和检测性能。
[0038] 本申请实施例所提供的对象检测模型的确定方法可以通过计算机设备实施,该计算机设备可以是终端设备或服务器,其中,服务器可以是独立的物理服务器,也可以是多个
物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终
端设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。终端设备以及
服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
[0039] 本申请实施例可应用于各种场景,包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
[0040] 可以理解的是,在本申请的具体实施方式中,所使用的各类图像中有可能会涉及到用户信息等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得用
户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法
规和标准。
[0041] 本申请实施例涉及人工智能(Artificial Intelligence, AI),AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知
识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个
综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应
的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、
推理与决策的功能。
[0042] 人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、
大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机
视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通
等几大方向。
[0043] 本申请实施例提供的方案涉及人工智能的计算机视觉技术、机器学习等技术,例如通过计算机视觉技术实现对图像的特征提取,通过机器学习实现对象检测等,其中:
[0044] 计算机视觉技术(Computer Vision, CV),计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量
等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的
图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多
维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语
义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技
术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的
人脸识别、指纹识别等生物特征识别技术。
[0045] 机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习
行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学
习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。
机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式
教学习等技术。
[0046] 具体通过如下实施例进行说明:
[0047] 如图1所示的场景中,以服务器100作为前述计算机设备的示例进行说明。针对目标领域中需要检测的目标对象确定训练样本集。
[0048] 该目标对象可以不同种类的对象,本申请不做限定,例如可以是人、动物、车辆、游戏角色等。
[0049] 根据目标对象确定的训练样本集中包括训练样本,该训练样本有源领域的标注图像样本和目标领域的无标注图像。该标注图像样本的样本标签用于标识所述标注图像样本
中目标对象的位置信息,即源领域和目标领域均包括有同类型的目标对象,且源领域相对
于目标领域具有充足的标注信息,即有大量的已经标注了目标对象的标注图像样本。而目
标领域中缺少或没有针对目标对象的标注信息,故在本申请实施例中只需要使用到目标领
域的无标注图像,即没有标识是否有目标对象,以及目标对象位置的图像。
[0050] 根据训练样本集中的训练样本对初始检测模型101进行模型训练,在模型训练过程中,针对初始检测模型101包括用于提取所述训练样本的图像特征的特征提取器,根据特
征提取器的第一中间层的第一输出特征,通过第一领域分类器103确定其对应的第一预测
领域,并基于与训练样本实际所属领域的差异确定第一损失函数,基于第一损失函数的调
整,可提高第一领域分类器103对源领域和目标领域的分辨能力,基于第一损失函数的负值
的调整,以指导第一中间层在提取特征时降低源领域和目标领域的特征间的特征距离,起
到混淆源领域和目标领域的目的。
[0051] 在图1的示例中,可以在第一中间层与第一领域分类器103之间的反向链路上设置梯度反转层(gradient reversal layer,GRL),通过GRL实现对第一损失函数的负值处理。
[0052] 由此通过完全相反的优化方向,基于对抗训练的思路对第一领域分类器103和第一中间层进行参数调整,指导特征提取器在提取训练样本特征时弱化源领域和目标领域下
的分别特有的信息,降低特征中能被用于区分源领域还是目标领域的信息,使得不论是源
领域的训练样本还是目标领域的训练样本,通过特征提取器所提取的图像特征中与领域相
关的信息被弱化,实现了领域混淆的作用。
[0053] 基于该类图像特征进行训练时,还可以在所述训练样本为所述标注图像样本时,根据检测结果和所述样本标签对所述初始检测模型进行模型参数调整,使得训练得到的对
象检测模型102不仅可以针对目标领域的图像有效提取图像特征,并能够实现对目标对象
的准确检测。
[0054] 通过本申请实施例提供的上述,基于多层次对抗训练的域适应目标检测方法(Adversarial‑based DDAOD),使得源领域的大量标注数据在目标领域的对象检测中得以
有效使用,大大提高了目标领域中对象检测模型的训练效率和检测性能。
[0055] 图2为本申请实施例提供的一种对象检测模型的确定方法的方法流程图,所述方法中可通过服务器作为前述计算机设备执行,所述方法包括:
[0056] S201:获取训练样本集,所述训练样本集中的训练样本包括源领域的标注图像样本和目标领域的无标注图像。
[0057] 源领域和目标领域属于不同的领域,该领域所标识的范围粒度大小可以基于实际应用场景的需求确定,基于不同的需求,该领域可以标识一个产品,一类产品,一个有应采
用,一类应用场景等。例如目标领域可以为一个新游戏应用、一个新社交应用、一个种类的
游戏等。
[0058] 该目标对象可以不同种类的对象,本申请不做限定,例如可以是人、动物、车辆、游戏角色等。具体针对何种目标对象进行检测可以基于目标领域的类型、实际需求等确定,例
如当目标领域为射击类游戏时,该游戏中的游戏角色均为人形虚拟形象,则目标对象可以
是人。当目标领域为自动驾驶应用时,所对应场景中需要识别交通环境中的车辆,则目标对
象可以是车辆。
[0059] 源领域的标注图像样本具有标注的样本标签,该样本标签用于标识所述标注图像样本中目标对象的位置信息。即通过样本标签可以明确标注图像样本中是否具有目标对
象,以及在具有目标对象时,目标对象在标注图像样本中的实际位置。
[0060] 需要说明的是,源领域可以是除了目标领域以外的至少一个其他领域。
[0061] 针对目标领域的目标对象检测,为了更准确的使用其他领域的标注图像样本,可以通过所需检测的目标对象来确定源领域,以及源领域的标注图像样本。
[0062] 在一种可能的实现方式中,所述方法还包括:
[0063] 针对所述目标领域的对象检测需求,确定待检测的所述目标对象;
[0064] 根据所述目标对象确定具有所述目标对象的所述源领域。
[0065] 也就是说,根据明确需要检测的目标对象,可以从其他领域中确定出具有目标对象的领域作为源领域。由此训练出的对象检测模型对目标领域中的目标对象的检测能力更
有针对性,具有更好的性能。
[0066] 例如,当针对目标领域需要检测的目标对象为“人”,已知领域有三个,分别为领域1、领域2和领域3,这三个领域中只有领域3的图像里具有人,且对图像中的人已经进行了标
注,故可以基于目标对象“人”从这三个领域中确定领域2为源领域,将领域2中已经对人进
行了标注的图像作为源领域的标注图像样本。
[0067] 需要说明的是,基于本申请中针对领域所标识范围粒度的不同,针对目标领域可以选择不同的源领域,本申请对此不做限定。例如当领域所标识范围为一类产品时,若目标
领域为游戏应用,源领域可以从非游戏类的各个产品中选择,当领域所标识范围为一个产
品时,若目标领域为射击类游戏,则源领域可以从非射击类游戏的各个产品中选择。
[0068] S202:根据所述训练样本对初始检测模型进行模型训练,其中,若所述训练样本为所述标注图像样本,根据针对所述目标对象的检测结果和所述样本标签对所述初始检测模
型进行模型参数调整以得到对象检测模型。
[0069] 其中,所述初始检测模型包括用于提取所述训练样本的图像特征的特征提取器,初始检测模型可以基于所提取的图像特征进行对象检测,得到检测结果。
[0070] 由于训练样本集中包括了一部分具有样本标签的训练样本,即源领域的标注图像样本,故通过初始检测模型确定这类训练样本的检测结果时,可以基于标注图像样本的样
本标签与检测结果的差异对初始检测模型进行模型参数调整,以使得初始检测模型在模型
训练过程中学习到针对目标对象的检测能力。
[0071] 从而所述对象检测模型可以用于对所述目标领域的图像进行所述目标对象的检测。
[0072] 例如目标领域为射击类游戏应用(FPS游戏)、目标对象为游戏角色为例,通过本申请实施例提供的模型训练方式,可以减少对象检测模型在训练过程中对目标领域下标注训
练样本的依赖。对于一个新的FPS游戏,只需要有标签的真实域数据和无标签的游戏数据进
行域适应训练,就可以大幅提高目标对象检测在游戏数据上的迁移效果。其中,真实域数据
是源领域的标注图像样本,无标签的游戏数据是目标领域的无标注图像。其具体应用场景
可以至少有以下两个:
[0073] 首先对象检测模型提供的对象检测服务可以为FPS游戏的AI提供不同场景下鲁棒的高层语义理解。对象检测结果中的游戏人物位置信息不仅可以帮助游戏AI感知目前游戏
对局的敌我态势,还能够为下一步的决策提供重要的依据。例如可以有效提升人机场景下
的AI对应能力。
[0074] 其次对象检测模型提供的对象检测服务还可以应用在基于图像的游戏场景自动化测试框架中。在自动化测试领域,针对游戏场景的自动化是一个难点,这是由于游戏是高
度个性化的产品,不同品类游戏玩法差异极大。每款游戏通常都是独立设计开发,游戏开发
商也不对外暴露统一的接口,这也意味着传统的基于 API 接口进行自动化的方案在游戏
领域并不通用。
[0075] 通过本申请实施例确定的对象检测模型,其实现的跨域自适应FPS游戏人物检测算法不依赖游戏开发商提供任何 API 接口,对于不同的FPS游戏,以游戏图像作为输入进
行域适应训练,都能够使对象检测算法的性能获得较大的提升,能够有效的支持游戏场景
自动化测试的业务场景。
[0076] 由此可见,基于作为训练样本的标注图像样本进行模型训练时,可以根据检测结果和所述样本标签对所述初始检测模型进行模型参数调整,使得训练得到的对象检测模型
能够实现对目标对象的准确检测,使得源领域的大量标注数据在目标领域的对象检测中得
以有效使用。
[0077] 接下来说明在模型训练过程中,如何使得源领域的标注图像样本可以应用到目标领域中。下述S203‑S205可以在通过S202完成对初始检测模型的训练之前执行,而且并不需
要训练样本是否具有样本标签,即可以对源领域的训练样本和目标领域的训练样本均进行
下述的对抗训练。
[0078] S203:在所述模型训练的过程中,根据所述特征提取器的第一中间层的第一输出特征,通过第一领域分类器确定所述第一输出特征对应的第一预测领域。
[0079] 特征提取器包括有多个中间层,每一个中间层都会对上一个中间层的输出进行相应的处理,在进行图像特征提取的过程中,作为训练样本的图像特征的分辨率会逐步降低,
最终输出用于表达该图像的图像特征。例如第i个中间层为多个中间层中的一层,第i个中
间层的输入特征可以为第i‑1个中间层的输出特征,第i个中间层的输出特征可以为第i+1
个中间层的输入特征。本申请不限定第一中间层为该多个中间层中的哪一层。
[0080] 第一中间层的第一输出特征中携带有训练样本在第一中间层所对应分辨率的图像信息,通过第一领域分类器可以确定对应的第一预测领域。
[0081] 第一中间层对应的分辨率可以相对较高(例如更接近特征提取器的输入层),例如是局部特征提取层,其第一输出特征为训练样本的底层特征,第一中间层对应的分辨率可
以相对较低(例如更接近特征提取器的输出层),例如是全局特征提取层,其第一输出特征
为训练样本的高层特征。
[0082] S204:根据所述训练样本的实际所属领域和所述第一预测领域的差异确定第一损失函数。
[0083] 第一领域分类器可以是二分类模型,用于确定输入数据属于源领域或者目标领域。
[0084] 由于不论训练样本是否具有样本标签,均可以明确该训练原本是源领域的还是目标领域的,故可以基于此确定与第一预测领域间的差异,从而确定第一损失函数。
[0085] S205:基于所述第一损失函数调整所述第一领域分类器的模型参数,并通过所述第一损失函数的负值调整所述第一中间层的模型参数。
[0086] 第一损失函数的负值可以通过对第一损失函数乘以一个负数(例如‑1)得到。由于第一损失函数所标识的差异越大,第一损失函数的负值所标识的差异就越小,从而以完全
相反的方向对第一领域分类器和第一中间层进行模型优化。
[0087] 基于第一损失函数调整所述第一领域分类器的模型参数,可提高第一领域分类器对源领域和目标领域的分辨能力。基于第一损失函数的负值调整第一中间层的模型参数,
以指导第一中间层在提取特征时降低源领域和目标领域的特征间的特征距离,起到混淆源
领域和目标领域的目的。
[0088] 也就是说,第一损失函数对第一领域分类器的优化方向是让第一领域分类器能够根据第一中间层的第一输出特征更准确的分辨出所对应领域为源领域或目标领域,而基于
第一损失函数的负值对第一中间层的优化方向是让特征提取器的第一中间层在提取第一
输出特征时,尽量弱化其中能够体现所属领域的领域特征,使得尽可能让第一领域分类器
分辨不出第一输出特征所对应图像来自哪个领域。由此实现了第一中间层和第一领域分类
器之间的对抗训练。
[0089] 如图3所示,在第一领域分类器和第一中间层之间的反向链路(虚线所示)上设置有GRL,如前所述,GRL是梯度反转层,可以将输入的第一损失函数乘以一个负数(例如‑1),
使得第一损失函数在通过第一领域分类器后被赋予负号,得到第一损失函数的负值,该第
一损失函数的负值通过第一中间层。使得第一领域分类器和第一中间层被通过完全相反的
优化方向进行训练。
[0090] 需要说明的是,第一领域分类器仅在对初始检测模型的训练过程中使用,也并不属于初始检测模型的一部分,在训练得到对象检测模型并为目标领域提供对象检测服务
时,并不会使用到第一领域分类器。
[0091] 在本申请实施例中,第一中间层可以是前述的局部特征提取层,也可以是前述的全局特征提取层。
[0092] 如前S203中的说明,局部特征提取层是特征提取器的多个中间层中分辨率较高的中间层,在模型结构上为距离特征提取器的输入层较近的中间层。由于局部特征提取层所
对应的分辨率较高,输入局部特征提取层的图像特征中具有训练样本中大量的图像细节信
息(或者说局部信息),故局部特征提取层在进行特征提取时更关注图像细节,使得得到的
输出特征中携带有丰富的图像细节信息。
[0093] 全局特征提取层是特征提取器的多个中间层中分辨率较低的中间层,在模型结构上为距离特征提取器的输出层较近的中间层。由于全局特征提取层所对应的分辨率较低,
输入全局特征提取层的图像特征中具有训练样本中大量的图像全局信息,而具有较少图像
细节信息,故全局特征提取层在进行特征提取时更关注图像全局,使得得到的输出特征中
携带有丰富的图像全局信息。
[0094] 在一种可能的实现方式中,若所述第一中间层为局部特征提取层,S203包括:
[0095] 根据所述特征提取器的第一中间层的第一输出特征,通过第一领域分类器确定所述第一输出特征所包括像素分别对应的像素预测领域;
[0096] 根据所述像素预测领域确定所述第一预测领域。
[0097] 例如第一输出特征为一个H*W的图像特征,其中具有H*W个像素,每个像素都会通过第一领域分类器确定对应的像素预测领域,即每个像素分别属于源领域或者目标领域的
识别结果。通过综合各个像素预测领域确定第一预测领域,从而能够考虑到整体像素的差
异,可以提高第一预测领域的准确性。
[0098] 由此通过完全相反的优化方向,基于对抗训练的思路对第一领域分类器和第一中间层进行参数调整,指导特征提取器在提取训练样本特征时弱化源领域和目标领域下的分
别特有的信息,降低特征中能被用于区分源领域还是目标领域的信息,使得不论是源领域
的训练样本还是目标领域的训练样本,通过特征提取器所提取的图像特征中与领域相关的
信息被弱化,实现了领域混淆的作用。训练得到的对象检测模型可以针对目标领域的图像
有效提取图像特征,使得源领域的大量标注数据在目标领域的对象检测中得以有效使用,
大大提高了目标领域中对象检测模型的训练效率和检测性能。
[0099] 为了更好的起到让特征提取器混淆源领域和目标领域的目的,在一种可能的实现方式中,在所述模型训练的过程中,所述方法还包括:
[0100] S11:根据所述特征提取器的第二中间层的第二输出特征,通过第二领域分类器确定所述第二输出特征对应的第二预测领域。
[0101] 第二中间层与第一中间层为特征提取器的多个中间层中不同的两个中间层。第二中间层的输入特征为特征提取器的多个中间层中第二中间层的前一个中间层,第二中间层
根据该输入特征,基于所对应分辨率对输入特征进行图像特征的提取,从而形成第二中间
层的输出,作为第二输出特征。
[0102] S12:根据所述训练样本的实际所属领域和所述第二预测领域的差异确定第二损失函数。
[0103] 第二领域分类器可以是二分类模型,用于确定输入数据属于源领域或者目标领域。
[0104] S13:基于所述第二损失函数调整所述第二领域分类器的模型参数,并通过所述第二损失函数的负值调整所述第二中间层的模型参数。
[0105] 也就是说,在对第一中间层进行基于领域分类器的对抗训练的基础上,还可以对特征提取器中与第一中间层不同的第二中间层进行类似的对抗训练,以强化特征提取器对
源领域和目标领域的特征混淆的能力。
[0106] 如图4所示,在第二领域分类器和第二中间层之间的反向链路(虚线所示)上设置有GRL,使得第二损失函数在通过第二领域分类器后被赋予负号,然后通过第二中间层。使
得第二领域分类器和第二中间层被通过完全相反的优化方向进行训练。
[0107] 基于对抗训练的方法利用领域分类器(如图4中的第一领域分类器和第二领域分类器)来度量源领域和目标领域间的差异,通过梯度反转层(GRL)使得特征提取器和领域分
类器之间进行对抗训练,来鼓励源领域的特征和目标领域的特征之间的领域混淆(domain 
confusion),从而实现初始检测模型中的特征提取器在对目标领域或源领域的训练样本进
行特征提取时,所提取的图像特征中用于区分领域的图像特征被弱化,相应的,用于目标对
象的图像特征被强化,使得训练得到的对象检测模型在针对目标领域的图像进行目标对象
的检测时,可以更为关注该图像中与目标对象相关的图像特征,提升对目标领域的检测性
能。
[0108] 领域分类器的主要作用是判别输入特征是来自于源领域还是目标领域。通过将特征提取器的中间层的特征输入领域分类器,领域分类器的作用是对输入特征进行二分类,
判断特征是来自于源领域还是目标领域。
[0109] 当网络训练进行梯度回传的时候会通过梯度反转层(GRL),梯度反转层的作用是将反传的梯度乘上负号,这样回传梯度会使得特征提取器部分的优化方向与领域分类器的
优化方向正好相反:领域分类器的作用是希望尽可能的判断出输入的训练样本是来自源领
域还是目标领域;特征提取器的优化方向就刚好相反,希望提取出的特征尽量不可能判断
出来自源领域还是目标领域。这样训练的特征提取器就可以实现源领域特征和目标领域特
征之间的领域混淆,拉近源领域和目标领域之间的特征距离,进而提高目标检测器在目标
领域上的检测性能。
[0110] 需要说明的是,第二领域分类器仅在对初始检测模型的训练过程中使用,也并不属于初始检测模型的一部分,在训练得到对象检测模型并为目标领域提供对象检测服务
时,并不会使用到第二领域分类器。
[0111] 考虑到目标领域与作为源领域的图像有可能差别很大,例如目标领域为游戏图像,源领域为真实图像。因此本申请实施例对于特征提取器中底层特征(即局部特征提取层
提取的第一输出特征,由于其中包括较多的图像细节信息,且局部特征提取层距离特征提
取器的输入层较近,故也记为底层特征)与高层特征(即全局特征提取层提取的第二输出特
征,由于其中包括较多的图像全局信息,且全局特征提取层距离特征提取器的输出层较近,
故也记为高层特征),通过对应的领域分类器分别进行的对抗训练,使得特征提取器的至少
两个中间层在提取图像特征时均能够实现弱化用于体现源领域或目标领域特点的图像特
征,达到领域混淆的目的。
[0112] 在一种可能的实现方式中,所述第一中间层为局部特征提取层,所述第二中间层为全局特征提取层;或者,
[0113] 所述第一中间层为全局特征提取层,所述第二中间层为局部特征提取层。
[0114] 例如针对局部特征提取层,其输出的第一输出特征中具有较多的图像细节信息,如纹理特征等,通过前述对抗训练使得第一输出特征中与源领域或目标领域相关的纹理特
征被弱化,实现了对齐底层纹理特征的效果。
[0115] 例如针对全局特征提取层,其输出的第二输出特征中具有较多的图像全局信息,如描述全局信息的语义特征等,通过前述对抗训练使得第二输出特征中与源领域或目标领
域相关的语义特征被弱化,实现了对齐高层语义特征的效果。
[0116] 从而在特征提取器所输出的图像特征中,实现了不同特征层次(例如局部的图像细节信息和图像全局信息)的领域混淆。
[0117] 也就是说,当第一中间层和第二中间层分别为局部特征提取层和全局特征提取层时,在分别与第一领域分类器和第二领域分类器进行前述对抗训练后,特征提取器的局部
特征提取层和全局特征提取层能够学习到在特征提取时混淆源领域和目标领域的能力,在
多个特征层次上提高特征提取器对源领域和目标领域的领域混淆能力,降低了第一输出特
征和第二输出特征中能被用于区分源领域还是目标领域的信息,使得不论是源领域的训练
样本还是目标领域的训练样本,通过特征提取器所提取的图像特征中与领域相关的信息被
弱化,训练得到的对象检测模型不论针对源领域还是目标领域均能够基于特征提取器输出
的图像特征进行准确的目标对象的检测,实现了领域混淆的作用。
[0118] 在第一中间层和第二中间层分别为局部特征提取层和全局特征提取层的场景下,第一损失函数和第二损失函数可以如下所示:
[0119] 结合图4所示,把特征提取器中局部特征提取层提取得到的底层局部特征(例如第一输出特征)送入第一领域分类器中,得到一个大小为H×W的领域预测图,预测图的每一个
像素表示该位置的预测结果,利用L2 loss对于底层局部特征进行强对齐。因此整个局部对
齐的第一损失函数的计算公式如下。
[0120]
[0121]
[0122]
[0123] 其中, 为来自源领域的训练样本, 为来自目标领域的训练样本, 为一次训练(batch)中所采用来自源领域的样本数量, 为该次训练中所采用来自目标领域的样本
数量,为局部特征提取层的参数,为第一领域分类器的参数, 表示输出预测
图上每个位置的预测结果, 为局部对齐的第一损失函数, 为来自源领域的训练样本
贡献的局部对齐损失函数, 为来自目标领域的训练样本贡献的局部对齐损失函数。
[0124] 对于特征提取器中全局特征提取层得到的高层全局特征(例如第二输出特征),将其送入第二领域分类器中,第二领域分类器会输出一个标签信息,表示这个特征是来自源
领域还是目标领域,利用Focal Loss对高层全局特征进行弱对齐,使得第二领域分类器能
够更加关注难以区分的困难样本。因此整个全局对齐的第二损失函数的计算公式如下。
[0125]
[0126] 其中, 为全局特征提取层的参数, 为第二领域分类器的参数, 为总的全局对齐的第二损失函数, 为来自源域数据贡献的全局对齐损失函数, 为来自目
标域数据贡献的全局对齐损失函数,为Focal loss中控制难样本权重的超参数,例如可
设置为5。
[0127] 以上公式中,第一领域分类器和第二领域分类器中针对源领域和目标领域的预测领域标签可以为0和1,其中,0标识源领域,1标识目标领域。
[0128] 领域分类器除了可以协助对特征提取器的中间层进行对抗训练,以帮助特征提取器学习对源领域和目标领域的混淆能力外,领域分类器还可以进一步为提高对象检测精度
提供协助。
[0129] 在一种可能的实现方式中,所述方法还包括:
[0130] S21:获取所述第一领域分类器的第一中间层特征。
[0131] S22:根据所述第一中间层特征和所述图像特征确定所述初始检测模型中对象检测层的输入特征,通过所述对象检测层确定针对所述目标对象的检测结果。
[0132] 第一领域分类器的第一中间层特征为第一领域分类器在对输入数据进行领域分类前处理得到的特征,特征中携带有用于领域分类的信息,而且根据特征提取器中第一中
间层所对应的分辨率,第一领域分类器的第一中间层特征还可以包括该分辨率下信息,例
如局部信息或全局信息。
[0133] 通过初始检测模型的对象检测层对训练样本进行对象检测的过程中,将第一中间层特征与初始检测模型的特征提取器所输出的图像特征一并作为对象检测的依据,可以丰
富第一中间层所对应分辨率的信息,并提供一部分与领域相关的信息,从而可以提高对象
检测所能参考的信息维度,对于检测结果的质量有所保障。
[0134] 在前述对特征提取器中多个中间层(例如第一中间层和第二中间层)进行对抗训练的场景中,除了可以将第一领域分类器的第一中间层特征作为对象检测的依据以外,还
可以将第二领域分类器的第二中间层特征加入对象检测中。
[0135] 在一种可能的实现方式中,所述方法还包括:
[0136] S31:获取所述第一领域分类器的第一中间层特征和所述第二领域分类器的第二中间层特征.
[0137] S32:根据所述第一中间层特征、所述第二中间层特征和所述图像特征确定所述初始检测模型中对象检测层的输入特征,通过所述对象检测层确定针对所述目标对象的检测
结果。
[0138] 由此当初始检测模型的第一中间层和第二中间层分别为局部特征提取层和全局特征提取层时,两个领域分类器的中间层特征可以强化对象检测时所依据的局部特征和全
局特征,从而全面的增强了对象检测所依据特征的数据维度和信息量,提高了对象检测结
果的质量。
[0139] 第一中间层特征和图像特征可以通过合并的方式得到一个完整的特征用于对象检测,同理,第一中间层特征、第二中间层特征和图像特征可以通过合并的方式得到一个完
整的特征用于对象检测。
[0140] 本申请不限定合并的具体实现手段,例如可以通过拼接的方式将中间层特征拼接到图像特征之后以完成合并。
[0141] 由于当训练样本为源领域的标注图像样本时,标注图像样本具有已知的样本标签,当初始检测模型确定出标注图像样本的检测结果后,该样本标签可以作为评价检测结
果的依据,从而实现对初始检测模型的模型训练。
[0142] 当在确定检测结果前,图像特征与第一中间层特征和第二中间层特征进行了合并时,在模型训练时还可以对第一领域分类器和第二领域分类器进行相应调整。
[0143] 在一种可能的实现方式中,S202包括:
[0144] S2021:根据针对所述目标对象的检测结果和所述样本标签确定对象检测损失函数。
[0145] S2022:根据所述对象检测损失函数对所述初始检测模型、所述第一领域分类器和所述第二领域分类器进行模型参数调整。
[0146] 如图5所示,将两个领域分类器的中间层的特征输出(例如第一中间层特征和第二中间层特征)作为上下文特征引入到初始对象检测模型的检测头网络(prediction head)
中,与输入检测头的图像特征进行合并,用于预测目标对象的类别和位置信息。这样在实现
更好的特征对齐的同时,可以帮助领域分类器更加稳定的训练。
[0147] 整个算法总损失函数的计算公式如下。
[0148]
[0149] F为初始对象检测模型中的特征提取器的整体参数,R为初始检测模型中其他部分的参数,D为领域分类器, 为总的对抗训练损失,包括全局对齐损失和局部对齐损失,
为初始检测模型的对象检测损失函数:包括分类损失和边界框回归损失, 为源领域
数据总的检测损失函数, 为最终优化目标。
[0150] 结合图5进行整体说明,算法整体计算过程:
[0151] 作为输入数据的训练样本首先通过初始检测模型的特征提取器,基于特征提取器的第一中间层和第二中间层提取到不同特征层次的输出特征(如第一输出特征和第二输出
特征)。
[0152] 第一输出特征和第二输出特征被分别送入第一领域分类器和第二领域分类器中,用于判别对应的输出特征是来自于源领域还是目标领域,并在此分辨计算对应的第一损失
函数和第二损失函数。同时会把第一领域分类器的第一中间层特征和第二领域分类器的第
二中间层特征作为上下文特征与由特征提取器输出图像特征进行合并,得到合并后的特
征。
[0153] 初始检测模型中包括用于确定检测结果的输入检测头网络,将前述合并后的特征输入该输入检测头网络,以起到稳定训练的作用。
[0154] 合并后的特征用于进一步的目标对象分类和边界框的回归,输出的检测结果和样本标签共同计算对象检测损失函数。
[0155] 数据要求:准备的训练样本集需要包含源领域和目标领域两部分的训练样本,源领域的训练样本具有样本标签,通常来自具有丰富标签的现实数据,如VOC;目标领域的训
练样本没有任何标注信息,通常来自目标领域的数据例如游戏数据。
[0156] 训练过程:在对初始检测模型进行模型训练中,每个batch可以同时包含来自源领域和目标领域的训练样本。来自源领域的训练样本由于有样本标签,因此会产生两部分的
损失,一部分是对初始检测模型产生的检测结果计算检测损失 ,一部分是数据通过领域
分类器后的标签计算域分类损失 和 。目标域的数据由于没有物体位置标注信息,
其计算的损失只包括域分类损失 和 。
[0157] 为了进一步增强对象检测模型对源领域和目标领域中领域特征的混淆能力,在一种可能的实现方式中,所述初始检测模型中包括用于根据所述图像特征确定所述检测结果
的对象检测层,在所述模型训练的过程中,所述方法还包括:
[0158] S41:获取所述对象检测层的中间层输出的检测框特征,所述检测框特征中包括了用于对象检测的检测框;
[0159] S42:根据第三领域分类器确定所述检测框特征对应的第三预测领域;
[0160] S43:根据所述训练样本的实际所属领域和所述第三预测领域的差异确定第三损失函数;
[0161] S44:基于所述第三损失函数调整所述第三领域分类器的模型参数,并通过所述第三损失函数的负值调整所述对象检测层的模型参数。
[0162] 初始检测模型在进行针对目标对象的对象检测时,会在输入特征上基于检测目的确定可能包括目标对象的检测框(一般该对象检测层的中间层可以是ROI Align层),然后
基于检测框包括的信息确定是否具有目标对象,以及目标对象的可能位置。
[0163] 基于第三领域分类器对检测框特征进行领域分类并基于与第一领域分类器和第二领域分类器类似的对抗训练思路,通过调整对象检测层的模型参数,使得对象检测层在
标注检测框的过程中弱化源领域的领域特征对检测框标注的影响,进一步的实现检测框特
征的对齐,从而实现了初始检测模型中更多尺度的特征对齐目标。
[0164] 需要说明的是,第三领域分类器仅在对初始检测模型的训练过程中使用,也并不属于初始检测模型的一部分,在训练得到对象检测模型并为目标领域提供对象检测服务
时,并不会使用到第三领域分类器。
[0165] 本申请实施例除了提供了上述基于多层次对抗训练的域适应目标检测方法,还提供了一种基于图像风格转换的域适应目标检测方法(Translation‑based DDAOD),该方式
也可以在针对目标领域的目标对象检测场景下,有效将源领域的标注图像样本应用于针对
目标领域的对象检测模型的训练中。该方式可以在前述图1‑图5所对应实施例的基础上实
现,也可以独立实施。
[0166] 图6为本申请实施例提供的一种对象检测模型的确定方法的方法流程图,所述方法可以通过服务器作为前述计算机设备执行,所述方法还包括:
[0167] S601:获取针对所述源领域和所述目标领域的图像风格转换模型。
[0168] S602:通过所述图像风格转换模型将所述标注图像样本的图像风格从源领域转换到所述目标领域,得到风格训练样本。
[0169] 所述风格训练样本的样本标签为转换前所述标注图像样本的样本标签。
[0170] S603:根据所述风格训练样本对所述初始检测模型进行模型训练,得到基于图像风格的对象检测模型。
[0171] 由于后续提及的标注图像样本本身具有用于标识所述标注图像样本中目标对象的样本标签,且风格转换后的风格训练样本的样本标签为转换前所述标注图像样本的样本
标签。故当将风格训练样本或标注图像样本作为该初始检测模型的训练样本输入初始检测
模型后,可以根据检测结果和所输入训练样本的样本标签间的差异,确定相应的损失函数
并对初始检测模型进行模型训练。
[0172] 初始检测模型与图1‑图5所对应实施例中提及的初始检测模型可以为相同的模型,但是不需要额外通过领域分类器对初始检测模型中的特征提取器进行对抗训练。
[0173] 该初始检测模型用于对输入的训练样本进行针对目标对象的检测,得到对应的检测结果,该检测结果标识训练样本中是否具有目标对象,以及在有目标对象的情况下目标
对象处于训练样本的位置。
[0174] 一个领域的图像风格是指这个领域下图像的表达风格,能够体现这个领域的特有颜色分布、美学形式等。而图像风格转换是指将源领域图像的图像风格转换为目标领域的
图像风格,例如源领域是写实风格,目标领域是卡通风格,通过图像风格转换将一张源领域
的写实风格图像转换为卡通风格,但仍然保留实质内容。
[0175] 在基于图像转换的方法中,首先利用CycleGAN算法进行风格转换。CycleGAN的目标是从两个不同数据域和中学习到一个映射转换函数。在实际训练过程中会利用CNN联合
学习映射 以及反向映射 。当CycleGAN模型(即图像风格转换模型)训练
完成后,利用CycleGAN模型把源域数据转换到目标域的风格,得到生成样本数据集,之后利
用源域标注作为生成样本的伪标签进行训练,进而达到像素层级域适应目标检测过程。
[0176] 需要说明的是,本申请不限定图像风格转换模型的模型类型,除了上述的CycleGAN模型以外,还可以是UNIT、MUNIT等算法模型。
[0177] 通过上述训练可以得到基于图像风格的对象检测模型,基于图像风格的对象检测模型用于对所述目标领域的图像进行对象检测。
[0178] 例如目标领域为射击类游戏应用(FPS游戏)、目标对象为游戏角色为例,通过本实施例提供的基于图像风格转换的模型训练方式,可以减少对象检测模型在训练过程中对目
标领域下标注训练样本的依赖。对于一个新的FPS游戏,只需要有标签的真实域数据进行图
像风格转换得到风格训练样本,通过风格训练样进行域适应训练,就可以大幅提高目标对
象检测在游戏数据上的迁移效果。其中,真实域数据是源领域的标注图像样本。其具体应用
场景可以至少有以下两个:
[0179] 首先基于图像风格的对象检测模型提供的对象检测服务可以为FPS游戏的AI提供不同场景下鲁棒的高层语义理解。对象检测结果中的游戏人物位置信息不仅可以帮助游戏
AI感知目前游戏对局的敌我态势,还能够为下一步的决策提供重要的依据。例如可以有效
提升人机场景下的AI对应能力。
[0180] 其次,基于图像风格的对象检测模型提供的对象检测服务还可以应用在基于图像的游戏场景自动化测试框架中。通过本实施例确定的基于图像风格的对象检测模型,其实
现的跨域自适应FPS游戏人物检测算法不依赖游戏开发商提供任何 API 接口,对于不同的
FPS游戏,以游戏图像作为输入进行域适应训练,都能够使对象检测算法的性能获得较大的
提升,能够有效的支持游戏场景自动化测试的业务场景。
[0181] 由此可见,通过获取源领域的标注图像样本,通过风格转换模型得到转换为目标领域图像风格的风格训练样本,在通过风格训练样本对初始检测模型进行模型训练时,可
以根据检测结果和所述样本标签对所述初始检测模型进行模型参数调整,使得训练得到的
对象检测模型能够实现对目标领域的图像进行目标对象的准确检测,使得源领域的大量标
注数据在目标领域的对象检测中得以有效使用。
[0182] 由于风格转换得到的风格训练样本的细节信息往往会有损失,例如标注图像样本中具有的目标对象在风格转换后,得到的风格训练样本中虽然也具有在目标领域风格下的
目标对象,但是目标对象的位置、外形等可能随着风格转换发生了变化。可是风格训练样本
的样本标签还是原标注图像样本的样本标签,由此导致样本标签所标注目标对象的位置信
息与风格训练样本中目标对象的实际位置可能并不相符,从而导致训练出的基于图像风格
的对象检测模型在检测到目标对象时,对目标对象的位置识别能力学习不足。
[0183] 为此,在一种可能的实现方式中,S603包括:根据所述风格训练样本和所述标注图像样本对所述初始检测模型进行模型训练,得到基于图像风格的对象检测模型。
[0184] 在对初始检测模型的训练中,通过加入未转换图像风格的源领域的标注图像样本,加强初始检测模型对目标对象位置识别能力的学习,从而通过模型训练,提高基于图像
风格的对象检测模型对目标对象的定位能力。
[0185] 在训练初始检测模型时,会将风格训练样本和来自源领域的标注图像样本进行混合,构成混合数据集并对初始检测模型进行训练。由此训练得到的基于图像风格的对象检
测模型针对目标领域,不仅具有较好的目标对象检测能力,还可以利用源领域的标注图像
样本保持较好的定位能力,从而有效的提升对象检测模型的检测性能。
[0186] 算法总损失函数的计算公式如下。
[0187]
[0188] 其中 为来自源领域的标注图像样本, 为来自源领域的标注图像样本的样本标签,为一次训练(batch)中来自源领域的样本数量, 为该次训练的风格训练样本, 为
风格训练样本的样本标签(也记为伪标签), 为该次训练中的风格训练样本的数量,F为初
始检测模型的参数, 为初始检测模型的所有损失:包括分类损失和边界框回归损失,
总的损失函数,也是最终的优化目标。
[0189] 算法整体计算过程:
[0190] 利用CycleGAN模型将源领域的标注图像样本转换为目标领域风格,得到风格训练样本。
[0191] 将风格训练样本和源领域的标注图像样本进行混合,构成混合数据集。
[0192] 在混合数据集上训练初始检测模型。
[0193] 数据要求:
[0194] 在进行图像风格转换,得到风格训练样本时,需要准备的数据集包括源领域的标注图像样本和风格转换为目标领域的风格训练样本两部分:源领域的标注图像样本具有样
本标签,通常来自具有丰富标签的现实数据,如VOC;风格转换为目标领域的风格训练样本
用对应的源领域的标注图像样本作为伪标签。
[0195] 在进行对象检测模型训练的时候需要准备第一步中得到的风格训练样本和源领域的标注图像样本,并将其混合,构成混合数据集。
[0196] 训练过程:在进行训练的时候,每次从混合数据集中抽取一组样本(batch),送入初始检测模型中进行训练,训练的损失一般包含两部分,一部分为分类损失,另一部分为边
界框回归损失。
[0197] 为了测试本申请中两个算法的跨域检测效果,以VOC‑person数据集作为源领域数据,CFM/CJZC/CODM这三个游戏数据集作为目标领域,进行域适应目标检测算法的训练。实
验中使用的检测模型是YOLOv5m。下表中的Baseline表示检测模型直接在VOC‑person上训
练,并直接在游戏数据上测试的结果,作为跨域测试的baseline结果。可以看到配合上我们
的两个域适应算法进行训练后,得到的检测模型可以在CFM/CJZC/CODM这三个游戏数据集
上都带来稳定的检测性能提升。
[0198] 表1、在CFM数据集上的实施效果
[0199]
[0200] 表2、在CJZC数据集上的实施效果
[0201]
[0202] 表3、在CODM‑thre‑0.005数据集上的实施效果
[0203]
[0204] 在前述图1‑图6所对应实施例的基础上,图7为本申请实施例提供的一种对象检测模型的确定装置的装置结构图,其特征在于,所述对象检测模型的确定装置700包括获取单
元701和训练单元702:
[0205] 所述获取单元701,用于获取训练样本集,所述训练样本集中的训练样本包括源领域的标注图像样本和目标领域的无标注图像,所述标注图像样本的样本标签用于标识所述
标注图像样本中目标对象的位置信息;
[0206] 所述训练单元702,用于根据所述训练样本对初始检测模型进行模型训练,其中,若所述训练样本为所述标注图像样本,根据针对所述目标对象的检测结果和所述样本标签
对所述初始检测模型进行模型参数调整以得到对象检测模型,所述初始检测模型包括用于
提取所述训练样本的图像特征的特征提取器,所述对象检测模型用于对所述目标领域的图
像进行所述目标对象的检测;
[0207] 所述训练单元702在所述模型训练的过程中还用于,根据所述特征提取器的第一中间层的第一输出特征,通过第一领域分类器确定所述第一输出特征对应的第一预测领
域;
[0208] 所述训练单元702还用于根据所述训练样本的实际所属领域和所述第一预测领域的差异确定第一损失函数;
[0209] 所述训练单元702还用于基于所述第一损失函数调整所述第一领域分类器的模型参数,并通过所述第一损失函数的负值调整所述第一中间层的模型参数。
[0210] 在一种可能的实现方式中,所述训练单元在所述模型训练的过程中还用于:
[0211] 根据所述特征提取器的第二中间层的第二输出特征,通过第二领域分类器确定所述第二输出特征对应的第二预测领域;
[0212] 根据所述训练样本的实际所属领域和所述第二预测领域的差异确定第二损失函数;
[0213] 基于所述第二损失函数调整所述第二领域分类器的模型参数,并通过所述第二损失函数的负值调整所述第二中间层的模型参数。
[0214] 在一种可能的实现方式中,所述第一中间层为局部特征提取层,所述第二中间层为全局特征提取层;或者,
[0215] 所述第一中间层为全局特征提取层,所述第二中间层为局部特征提取层。
[0216] 在一种可能的实现方式中,若所述第一中间层为局部特征提取层,所述训练单元还用于:
[0217] 根据所述特征提取器的第一中间层的第一输出特征,通过第一领域分类器确定所述第一输出特征所包括像素分别对应的像素预测领域;
[0218] 根据所述像素预测领域确定所述第一预测领域。
[0219] 在一种可能的实现方式中,所述训练单元还用于:
[0220] 获取所述第一领域分类器的第一中间层特征;
[0221] 根据所述第一中间层特征和所述图像特征确定所述初始检测模型中对象检测层的输入特征,通过所述对象检测层确定针对所述目标对象的检测结果。
[0222] 在一种可能的实现方式中,所述训练单元还用于:
[0223] 获取所述第一领域分类器的第一中间层特征和所述第二领域分类器的第二中间层特征;
[0224] 根据所述第一中间层特征、所述第二中间层特征和所述图像特征确定所述初始检测模型中对象检测层的输入特征,通过所述对象检测层确定针对所述目标对象的检测结
果。
[0225] 在一种可能的实现方式中,所述训练单元还用于:
[0226] 根据针对所述目标对象的检测结果和所述样本标签确定对象检测损失函数;
[0227] 根据所述对象检测损失函数对所述初始检测模型、所述第一领域分类器和所述第二领域分类器进行模型参数调整。
[0228] 在一种可能的实现方式中,所述初始检测模型中包括用于根据所述图像特征确定所述检测结果的对象检测层,所述训练单元在所述模型训练的过程中还用于:
[0229] 获取所述对象检测层的中间层输出的检测框特征,所述检测框特征中包括了用于对象检测的检测框;
[0230] 根据第三领域分类器确定所述检测框特征对应的第三预测领域;
[0231] 根据所述训练样本的实际所属领域和所述第三预测领域的差异确定第三损失函数;
[0232] 基于所述第三损失函数调整所述第三领域分类器的模型参数,并通过所述第三损失函数的负值调整所述对象检测层的模型参数。
[0233] 在一种可能的实现方式中,所述训练单元还用于:
[0234] 针对所述目标领域的对象检测需求,确定待检测的所述目标对象;
[0235] 根据所述目标对象确定具有所述目标对象的所述源领域。
[0236] 在一种可能的实现方式中,所述装置还包括转换单元:
[0237] 所述获取单元还用于获取针对所述源领域和所述目标领域的图像风格转换模型;
[0238] 所述转换单元,用于通过所述图像风格转换模型将所述标注图像样本的图像风格从源领域转换到所述目标领域,得到风格训练样本,所述风格训练样本的样本标签为转换
前所述标注图像样本的样本标签;
[0239] 所述训练单元还用于根据所述风格训练样本对所述初始检测模型进行模型训练,得到基于图像风格的对象检测模型,所述基于图像风格的对象检测模型用于对所述目标领
域的图像进行对象检测。
[0240] 在一种可能的实现方式中,所述训练单元还用于根据所述风格训练样本和所述标注图像样本对所述初始检测模型进行模型训练,得到基于图像风格的对象检测模型。
[0241] 由此可见,将源领域中具有样本标签的标注图像样本和目标领域中无标注图像均作为训练样本,对初始检测模型进行模型训练。初始检测模型包括用于提取所述训练样本
的图像特征的特征提取器,在模型训练过程中,根据特征提取器的第一中间层的第一输出
特征,通过第一领域分类器确定其对应的第一预测领域,并基于与训练样本实际所属领域
的差异确定第一损失函数,基于第一损失函数的调整,可提高第一领域分类器对源领域和
目标领域的分辨能力,基于第一损失函数的负值的调整,以指导第一中间层在提取特征时
降低源领域和目标领域的特征间的特征距离,起到混淆源领域和目标领域的目的。由此通
过完全相反的优化方向,基于对抗训练的思路对第一领域分类器和第一中间层进行参数调
整,指导特征提取器在提取训练样本特征时弱化源领域和目标领域下的分别特有的信息,
降低特征中能被用于区分源领域还是目标领域的信息,使得不论是源领域的训练样本还是
目标领域的训练样本,通过特征提取器所提取的图像特征中与领域相关的信息被弱化,实
现了领域混淆的作用。基于该类图像特征进行训练时,还可以在所述训练样本为所述标注
图像样本时,根据检测结果和所述样本标签对所述初始检测模型进行模型参数调整,使得
训练得到的对象检测模型不仅可以针对目标领域的图像有效提取图像特征,并能够实现对
目标对象的准确检测,使得源领域的大量标注数据在目标领域的对象检测中得以有效使
用,大大提高了目标领域中对象检测模型的训练效率和检测性能。
[0242] 本申请实施例还提供了一种计算机设备,该计算机设备为前述介绍的计算机设备,可以包括终端设备或服务器,前述的对象检测模型的确定装置可以配置在该计算机设
备中。下面结合附图对该计算机设备进行介绍。
[0243] 若该计算机设备为终端设备,请参见图8所示,本申请实施例提供了一种终端设备,以终端设备为手机为例:
[0244] 图8示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图8,手机包括:射频(Radio Frequency,简称RF)电路1410、存储器1420、输入单元1430、
显示单元1440、传感器1450、音频电路1460、无线保真(Wireless Fidelity,简称WiFi)模块
1470、处理器1480、以及电源1490等部件。本领域技术人员可以理解,图8中示出的手机结构
并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同
的部件布置。
[0245] 下面结合图8对手机的各个构成部件进行具体的介绍:
[0246] RF电路1410可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1480处理;另外,将设计上行的数据发送给基站。通常,RF电路
1410包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise 
Amplifier,简称LNA)、双工器等。此外,RF电路1410还可以通过无线通信与网络和其他设备
通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统
(Global System of Mobile communication,简称GSM)、通用分组无线服务(General 
Packet Radio Service,简称GPRS)、码分多址(Code Division Multiple Access,简称
CDMA)、宽带码分多址(Wideband Code Division Multiple Access,简称WCDMA)、长期演进
(Long Term Evolution,简称LTE)、电子邮件、短消息服务(Short Messaging Service,简
称SMS)等。
[0247] 存储器1420可用于存储软件程序以及模块,处理器1480通过运行存储在存储器1420的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1420可主
要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的
应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所
创建的数据(比如音频数据、电话本等)等。此外,存储器1420可以包括高速随机存取存储
器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固
态存储器件。
[0248] 输入单元1430可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1430可包括触控面板1431以及其他输入
设备1432。触控面板1431,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户
使用手指、触笔等任何适合的物体或附件在触控面板1431上或在触控面板1431附近的操
作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1431可包括触摸检测
装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带
来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它
转换成触点坐标,再送给处理器1480,并能接收处理器1480发来的命令并加以执行。此外,
可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1431。除了触控面
板1431,输入单元1430还可以包括其他输入设备1432。具体地,其他输入设备1432可以包括
但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的
一种或多种。
[0249] 显示单元1440可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1440可包括显示面板1441,可选的,可以采用液晶显示器(Liquid 
Crystal Display,简称LCD)、有机发光二极管(Organic Light‑Emitting Diode,简称
OLED)等形式来配置显示面板1441。进一步的,触控面板1431可覆盖显示面板1441,当触控
面板1431检测到在其上或附近的触摸操作后,传送给处理器1480以确定触摸事件的类型,
随后处理器1480根据触摸事件的类型在显示面板1441上提供相应的视觉输出。虽然在图8
中,触控面板1431与显示面板1441是作为两个独立的部件来实现手机的输入和输入功能,
但是在某些实施例中,可以将触控面板1431与显示面板1441集成而实现手机的输入和输出
功能。
[0250] 手机还可包括至少一种传感器1450,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线
的明暗来调节显示面板1441的亮度,接近传感器可在手机移动到耳边时,关闭显示面板
1441和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加
速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏
切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等; 至于手机还
可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
[0251] 音频电路1460、扬声器1461,传声器1462可提供用户与手机之间的音频接口。音频电路1460可将接收到的音频数据转换后的电信号,传输到扬声器1461,由扬声器1461转换
为声音信号输出;另一方面,传声器1462将收集的声音信号转换为电信号,由音频电路1460
接收后转换为音频数据,再将音频数据输出处理器1480处理后,经RF电路1410以发送给比
如另一手机,或者将音频数据输出至存储器1420以便进一步处理。
[0252] WiFi属于短距离无线传输技术,手机通过WiFi模块1470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图8示出了
WiFi模块1470,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改
变发明的本质的范围内而省略。
[0253] 处理器1480是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1420内的软件程序和/或模块,以及调用存储在存储器1420
内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器
1480可包括一个或多个处理单元;优选的,处理器1480可集成应用处理器和调制解调处理
器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处
理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1480中。
[0254] 手机还包括给各个部件供电的电源1490(比如电池),优选的,电源可以通过电源管理系统与处理器1480逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管
理等功能。
[0255] 尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
[0256] 在本实施例中,该终端设备所包括的处理器1480还具有以下功能:
[0257] 获取训练样本集,所述训练样本集中的训练样本包括源领域的标注图像样本和目标领域的无标注图像,所述标注图像样本的样本标签用于标识所述标注图像样本中目标对
象的位置信息;
[0258] 根据所述训练样本对初始检测模型进行模型训练,其中,若所述训练样本为所述标注图像样本,根据针对所述目标对象的检测结果和所述样本标签对所述初始检测模型进
行模型参数调整以得到对象检测模型,所述初始检测模型包括用于提取所述训练样本的图
像特征的特征提取器,所述对象检测模型用于对所述目标领域的图像进行所述目标对象的
检测;
[0259] 在所述模型训练的过程中,根据所述特征提取器的第一中间层的第一输出特征,通过第一领域分类器确定所述第一输出特征对应的第一预测领域;
[0260] 根据所述训练样本的实际所属领域和所述第一预测领域的差异确定第一损失函数;
[0261] 基于所述第一损失函数调整所述第一领域分类器的模型参数,并通过所述第一损失函数的负值调整所述第一中间层的模型参数。
[0262] 若计算机设备为服务器,本申请实施例还提供一种服务器,请参见图9所示,图9为本申请实施例提供的服务器1500的结构图,服务器1500可因配置或性能不同而产生比较大
的差异,可以包括一个或一个以上中央处理器(Central Processing Units,简称CPU)1522
(例如,一个或一个以上处理器)和存储器1532,一个或一个以上存储应用程序1542或数据
1544的存储介质1530(例如一个或一个以上海量存储设备)。其中,存储器1532和存储介质
1530可以是短暂存储或持久存储。存储在存储介质1530的程序可以包括一个或一个以上模
块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理
器1522可以设置为与存储介质1530通信,在服务器1500上执行存储介质1530中的一系列指
令操作。
[0263] 服务器1500还可以包括一个或一个以上电源1526,一个或一个以上有线或无线网络接口1550,一个或一个以上输入输出接口1558,和/或,一个或一个以上操作系统1541,例
TM TM TM TM TM
如Windows Server ,Mac OS X ,Unix , Linux ,FreeBSD 等等。
[0264] 上述实施例中由服务器所执行的步骤可以基于图9所示的服务器结构。
[0265] 另外,本申请实施例还提供了一种存储介质,所述存储介质用于存储计算机程序,所述计算机程序用于执行上述实施例提供的方法。
[0266] 本申请实施例还提供了一种包括指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例提供的方法。
[0267] 本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述程序可以存储于一计算机可读取存储介质中,该程序在
执行时,执行包括上述方法实施例的步骤;而前述的存储介质可以是下述介质中的至少一
种:只读存储器(英文:Read‑only Memory,缩写:ROM)、RAM、磁碟或者光盘等各种可以存储
程序代码的介质。
[0268] 需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
尤其,对于设备及系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,
相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性
的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的
部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络
单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
[0269] 以上所述,仅为本申请的一种具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,
都应涵盖在本申请的保护范围之内。而且本申请在上述各方面提供的实现方式的基础上,
还可以进行进一步组合以提供更多实现方式。因此,本申请的保护范围应该以权利要求的
保护范围为准。