一种信息处理方法、装置及计算机可读存储介质转让专利

申请号 : CN202010840896.X

文献号 : CN111709497B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 苗书宇杜俊珑彭湃孙星郭晓威黄飞跃吴永坚黄小明

申请人 : 腾讯科技(深圳)有限公司

摘要 :

本申请实施例公开了一种信息处理方法、装置及计算机可读存储介质,通过将目标训练样本分别输入第一目标检测模型和第二目标检测模型,得到第一目标特征图信息和第二目标特征图信息;分别对第一目标特征图信息和第二目标特征图信息进行图卷积计算,获取目标物体之间的第一关系特征向量和第二关系特征向量;构建第一关系特征向量和第二关系特征向量对应的蒸馏损失函数;将蒸馏损失函数加入至第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型;基于联合训练后的第二目标检测模型对待识别图像进行物体识别。以此,将第一目标检测模型对于目标物体标识框之间关系的学习能力迁移到第二目标检测模型中,提升信息处理效率。

权利要求 :

1.一种信息处理方法,其特征在于,包括:

将目标训练样本分别输入第一目标检测模型和第二目标检测模型,得到第一目标特征图信息和第二目标特征图信息;

获取所述第一目标特征图信息中第一目标物体标识框特征之间的第一距离矩阵信息和第二目标特征图信息中第二目标物体标识框特征之间的第二距离矩阵信息;

基于所述第一目标特征图信息与第一距离矩阵信息进行图卷积处理,得到第一关系特征向量;

基于所述第二目标特征图信息与第二距离矩阵信息进行图卷积处理,得到第二关系特征向量;

构建所述第一关系特征向量和第二关系特征向量对应的蒸馏损失函数;

将所述蒸馏损失函数乘以预设权重,得到目标蒸馏损失函数;

将所述目标蒸馏损失函数与所述第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型;

基于联合训练后的第二目标检测模型对待识别图像进行物体识别。

2.根据权利要求1所述的信息处理方法,其特征在于,所述获取所述第一目标特征图信息中第一目标物体标识框特征之间的第一距离矩阵信息和第二目标特征图信息中第二目标物体标识框特征之间的第二距离矩阵信息的步骤,包括:计算所述第一目标特征图信息中第一目标物体标识框特征之间的欧式距离,生成第一距离矩阵信息;

计算所述第二目标特征图信息中第二目标物体标识框特征之间的欧式距离,生成第二距离矩阵信息。

3.根据权利要求1所述的信息处理方法,其特征在于,所述基于所述第一目标特征图信息与第一距离矩阵信息进行图卷积处理,得到第一关系特征向量的步骤,包括:获取第一距离矩阵信息,并将所述第一距离矩阵信息与单位矩阵进行求和,得到第一矩阵信息;

获取所述第一矩阵信息的对角结点度矩阵;

基于所述第一矩阵信息和对角结点度矩阵对所述第一矩阵信息进行对称的归一化处理,得到第一目标矩阵信息;

通过激活函数对第一目标矩阵信息、第一参数矩阵和第一目标特征图信息进行计算,得到第一关系特征向量。

4.根据权利要求1所述的信息处理方法,其特征在于,所述获取所述第一目标特征图信息中第一目标物体标识框特征之间的第一距离矩阵信息和第二目标特征图信息中第二目标物体标识框特征之间的第二距离矩阵信息的步骤,包括:计算所述第一目标特征图信息中第一目标物体标识框特征之间的广义交并比,生成第一距离矩阵信息;

计算所述第二目标特征图信息中第二目标物体标识框特征之间的广义交并比,生成第二距离矩阵信息。

5.根据权利要求4所述的信息处理方法,其特征在于,所述计算所述第一目标特征图信息中第一目标物体标识框特征之间的广义交并比,生成第一距离矩阵信息的步骤,包括:获取所述第一目标特征图信息中第一目标物体标识框特征之间的交并比;

获取所述第一目标特征图信息中第一目标物体标识框特征之间的最小外接包围框;

计算所述最小外接包围框减去第一目标特征图信息中第一目标物体标识框特征之间的交集的差值的绝对值;

获取所述差值的绝对值与最小外接包围框的绝对值的比值;

计算所述交并比与所述比值的差值,得到所述第一目标特征图信息中第一目标物体标识框特征之间的广义交并比,生成第一距离矩阵信息。

6.根据权利要求1至5任一项所述的信息处理方法,其特征在于,所述将目标训练样本分别输入第一目标检测模型和第二目标检测模型,得到第一目标特征图信息和第二目标特征图信息的步骤,包括:获取目标训练样本,将所述目标训练样本输入第一目标检测模型,得到第一特征图信息;

将所述目标训练样本输入第二目标检测模型,得到第二特征图信息;

对所述第一特征图信息和第二特征图信息进行维度转换,生成第一目标特征图信息和第二目标特征图信息。

7.根据权利要求6所述的信息处理方法,其特征在于,所述对所述第一特征图信息和第二特征图信息进行维度转换,生成第一目标特征图信息和第二目标特征图信息的步骤,包括:将所述第一特征图信息和第二特征图信息进行维度统一处理,得到同一维度的第一特征图信息和第二特征图信息;

对维度统一处理后的第一特征图信息进行维度转换,生成包含第一目标物体标识框数量维度和第一目标物体标识框特征维度的第一目标特征图信息;

对维度统一处理后的第二特征图信息进行维度转换,生成包含第二目标物体标识框数量维度和第二目标物体标识框特征维度的第二目标特征图信息。

8.根据权利要求1至5任一项所述的信息处理方法,其特征在于,所述构建所述第一关系特征向量和第二关系特征向量对应的蒸馏损失函数的步骤,包括:通过均方误差函数计算所述第一关系特征向量和第二关系特征向量之间的损失值,构建对应的蒸馏损失函数。

9.一种信息处理装置,其特征在于,包括:

输入单元,用于将目标训练样本分别输入第一目标检测模型和第二目标检测模型,得到第一目标特征图信息和第二目标特征图信息;

图卷积单元,用于分别对所述第一目标特征图信息和第二目标特征图信息进行图卷积计算,获取目标物体之间的第一关系特征向量和第二关系特征向量;

所述图卷积单元,包括:

获取子单元,用于获取所述第一目标特征图信息中第一目标物体标识框特征之间的第一距离矩阵信息和第二目标特征图信息中第二目标物体标识框特征之间的第二距离矩阵信息;

第一图卷积子单元,用于基于所述第一目标特征图信息与第一距离矩阵信息进行图卷积处理,得到第一关系特征向量;

第二图卷积子单元,用于基于所述第二目标特征图信息与第二距离矩阵信息进行图卷积处理,得到第二关系特征向量;

构建单元,用于构建所述第一关系特征向量和第二关系特征向量对应的蒸馏损失函数;

训练单元,用于将所述蒸馏损失函数加入至所述第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型;

所述训练单元,用于:

将所述蒸馏损失函数乘以预设权重,得到目标蒸馏损失函数;

将所述目标蒸馏损失函数与所述第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型;

识别单元,用于基于联合训练后的第二目标检测模型对待识别图像进行物体识别。

10.根据权利要求9所述的处理装置,其特征在于,所述获取子单元,用于:计算所述第一目标特征图信息中第一目标物体标识框特征之间的欧式距离,生成第一距离矩阵信息;

计算所述第二目标特征图信息中第二目标物体标识框特征之间的欧式距离,生成第二距离矩阵信息。

11.根据权利要求9所述的处理装置,其特征在于,所述第一图卷积子单元,用于:获取第一距离矩阵信息,并将所述第一距离矩阵信息与单位矩阵进行求和,得到第一矩阵信息;

获取所述第一矩阵信息的对角结点度矩阵;

基于所述第一矩阵信息和对角结点度矩阵对所述第一矩阵信息进行对称的归一化处理,得到第一目标矩阵信息;

通过激活函数对第一目标矩阵信息、第一参数矩阵和第一目标特征图信息进行计算,得到第一关系特征向量。

12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至8任一项所述的信息处理方法中的步骤。

说明书 :

一种信息处理方法、装置及计算机可读存储介质

技术领域

[0001] 本申请涉及通信技术领域,具体涉及一种信息处理方法、装置及计算机可读存储介质。

背景技术

[0002] 随着计算机视觉的发展,目标检测技术(Object Detection)的应用在现实场景中愈加广泛。诸如,无人驾驶、智慧交通、智慧城市等场景,目标检测技术的核心为通过目标检测模型快速检测出视频或者图像中包含的目标物体。
[0003] 现有技术中,可以选择网络结构复杂的目标检测模型进行目标物体检测,优点为目标物体检测结果更为精确,还可以选择网络结构简单的目标检测模型进行目标物体检测,优点为目标物体检测速度更快。
[0004] 在对现有技术的研究和实践过程中,本申请的发明人发现,现有技术中,网络结构复杂的目标检测模型虽然检测结果精确,但是检测速度较慢,占用计算资源,而网络结构简单的目标检测模型虽然检测速度较快,但是检测准确率较差。

发明内容

[0005] 本申请实施例提供一种信息处理方法、装置及计算机可读存储介质,可以在保证目标检测速度的前提下,提升目标检测的准确率,进而提升信息处理效率。
[0006] 为解决上述技术问题,本申请实施例提供以下技术方案:
[0007] 一种信息处理方法,包括:
[0008] 将目标训练样本分别输入第一目标检测模型和第二目标检测模型,得到第一目标特征图信息和第二目标特征图信息;
[0009] 分别对所述第一目标特征图信息和第二目标特征图信息进行图卷积计算,获取目标物体之间的第一关系特征向量和第二关系特征向量;
[0010] 构建所述第一关系特征向量和第二关系特征向量对应的蒸馏损失函数;
[0011] 将所述蒸馏损失函数加入至所述第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型;
[0012] 基于联合训练后的第二目标检测模型对待识别图像进行物体识别。
[0013] 一种信息处理装置,包括:
[0014] 输入单元,用于将目标训练样本分别输入第一目标检测模型和第二目标检测模型,得到第一目标特征图信息和第二目标特征图信息;
[0015] 图卷积单元,用于分别对所述第一目标特征图信息和第二目标特征图信息进行图卷积计算,获取目标物体之间的第一关系特征向量和第二关系特征向量;
[0016] 构建单元,用于构建所述第一关系特征向量和第二关系特征向量对应的蒸馏损失函数;
[0017] 训练单元,用于将所述蒸馏损失函数加入至所述第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型;
[0018] 识别单元,用于基于联合训练后的第二目标检测模型对待识别图像进行物体识别。
[0019] 在一些实施方式中,该获取子单元,还用于:
[0020] 计算所述第一目标特征图信息中第一目标物体标识框特征之间的广义交并比,生成第一距离矩阵信息;
[0021] 计算所述第二目标特征图信息中第二目标物体标识框特征之间的广义交并比,生成第二距离矩阵信息。
[0022] 在一些实施方式中,该获取子单元,还用于:
[0023] 获取所述第一目标特征图信息中第一目标物体标识框特征之间的交并比;
[0024] 获取所述第一目标特征图信息中第一目标物体标识框特征之间的最小外接包围框;
[0025] 计算所述最小外接包围框减去第一目标特征图信息中第一目标物体标识框特征之间的交集的差值的绝对值;
[0026] 获取所述差值的绝对值与最小外接包围框的绝对值的比值;
[0027] 计算所述交并比与所述比值的差值,得到所述第一目标特征图信息中第一目标物体标识框特征之间的广义交并比,生成第一距离矩阵信息;
[0028] 计算所述第二目标特征图信息中第二目标物体标识框特征之间的广义交并比,生成第二距离矩阵信息。
[0029] 在一些实施方式中,所述输入单元,包括:
[0030] 第一输入子单元,用于获取目标训练样本,将所述目标训练样本输入第一目标检测模型,得到第一特征图信息;
[0031] 第二输入子单元,用于将所述目标训练样本输入第二目标检测模型,得到第二特征图信息;
[0032] 转换子单元,用于对所述第一特征图信息和第二特征图信息进行维度转换,生成第一目标特征图信息和第二目标特征图信息。
[0033] 在一些实施例中,所述转换子单元,用于:
[0034] 将所述第一特征图信息和第二特征图信息进行维度统一处理,得到同一维度的第一特征图信息和第二特征图信息;
[0035] 对维度统一处理后的第一特征图信息进行维度转换,生成包含第一目标物体标识框数量维度和第一目标物体标识框特征维度的第一目标特征图信息;
[0036] 对维度统一处理后的第二特征图信息进行维度转换,生成包含第二目标物体标识框数量维度和第二目标物体标识框特征维度的第二目标特征图信息。
[0037] 在一些实施例中,所述训练单元,用于:
[0038] 将所述蒸馏损失函数乘以预设权重,得到目标蒸馏损失函数;
[0039] 将所述目标蒸馏损失函数与所述第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型。
[0040] 在一些实施例中,所述构建单元,用于:
[0041] 通过均方误差函数计算所述第一关系特征向量和第二关系特征向量之间的损失值,构建对应的蒸馏损失函数。
[0042] 本申请实施例通过将目标训练样本分别输入第一目标检测模型和第二目标检测模型,得到第一目标特征图信息和第二目标特征图信息;分别对第一目标特征图信息和第二目标特征图信息进行图卷积计算,获取目标物体之间的第一关系特征向量和第二关系特征向量;构建第一关系特征向量和第二关系特征向量对应的蒸馏损失函数;将蒸馏损失函数加入至第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型;基于联合训练后的第二目标检测模型对待识别图像进行物体识别。以此,将第一目标检测模型对于目标物体标识框之间关系的学习能力迁移到第二目标检测模型进行补充学习,提升信息处理效率。

附图说明

[0043] 为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0044] 图1是本申请实施例提供的信息处理系统的场景示意图;
[0045] 图2是本申请实施例提供的信息处理方法的流程示意图;
[0046] 图3是本申请实施例提供的信息处理方法的一流程示意图;
[0047] 图4为本申请实施例提供的信息处理方法的场景示意图;
[0048] 图5是本申请实施例提供的信息处理装置的结构示意图;
[0049] 图6是本申请实施例提供的服务器的结构示意图。

具体实施方式

[0050] 下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0051] 本申请实施例提供一种信息处理方法、装置、及计算机可读存储介质。
[0052] 请参阅图1,图1为本申请实施例所提供的信息处理系统的场景示意图,包括:终端A、和服务器(该信息处理系统还可以包括除终端A之外的其他终端,终端具体个数在此处不作限定),终端A与服务器之间可以通过通信网络连接,该通信网络,可以包括无线网络以及有线网络,其中无线网络包括无线广域网、无线局域网、无线城域网、以及无线个人网中的一种或多种的组合。网络中包括路由器、网关等等网络实体,图中并未示意出。终端A可以通过通信网络与服务器进行信息交互,比如终端A可以将需要进行物体识别的待识别图像发送至服务器中。
[0053] 该信息处理系统可以包括信息处理装置,该信息处理装置具体可以集成在服务器中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。如图1所示,该服务器将目标训练样本分别输入第一目标检测模型和第二目标检测模型,得到第一目标特征图信息和第二目标特征图信息,分别对该第一目标特征图信息和第二目标特征图信息进行图卷积计算,获取目标物体之间的第一关系特征向量和第二关系特征向量,构建该第一关系特征向量和第二关系特征向量对应的蒸馏损失函数,将该蒸馏损失函数加入至该第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型,接收终端A发送的待识别图像,基于联合训练后的第二目标检测模型对待识别图像进行物体识别。
[0054] 该信息处理系统中终端A可以安装各种用户需要的应用,比如即时通讯应用、媒体应用以及浏览器应用等,终端A可以基于应用将待识别图像发送至服务器中进行物体识别,进行自动分类和图像解读等等处理。
[0055] 需要说明的是,图1所示的信息处理系统的场景示意图仅仅是一个示例,本申请实施例描述的信息处理系统以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着信息处理系统的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
[0056] 以下分别进行详细说明。需说明的是,以下实施例的序号不作为对实施例优选顺序的限定。
[0057] 在本实施例中,将从信息处理装置的角度进行描述,该信息处理装置具体可以集成在具备储存单元并安装有微处理器而具有运算能力的计算机设备中,计算机设备可以是服务器或者终端,在本实施例中以计算机设备是服务器为例进行说明。
[0058] 请参阅图2,图2是本申请实施例提供的信息处理方法的流程示意图。该信息处理方法包括:
[0059] 在步骤101中,将目标训练样本分别输入第一目标检测模型和第二目标检测模型,得到第一目标特征图信息和第二目标特征图信息。
[0060] 人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
[0061] 人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0062] 计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括信息处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition,OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
[0063] 本申请实施例提供的方案涉及人工智能的计算机视觉技术等技术,具体通过如下实施例进行说明:
[0064] 需要说明的是,该目标检测模型即为可以实现目标检测(object detection),完成对包含目标物体的标识检测区域进行框选,该目标检测模型可以主要分为4个部分:
[0065] 基本卷积网络(Conv layers)部分,该部分为一种卷积神经网络,如13个卷积(conv)层+13个线性整流函数(relu)层+4个池化层(pooling)层构成,主要用于提取待处理图像中的特征地图信息(feature maps)。
[0066] 区域生成网络(Region Proposal Networks,RPN),该区域生成网络用于生成标识候选区域(region proposals),具体为通过归一化函数(softmax)分类特征地图信息中的锚(anchors)获取积极分类(positive)信息和消极分类(negative)信息,将积极分类信息确定为标识候选区域,并计算锚的边框回归(bounding box regression)偏移量,根据该边框回归偏移量对该标识候选区域进行调整,得到最后的目标标识候选区域(proposal),同时剔除太小和超过边界的目标标识候选区域,实现了预设标识的定位框选。在一实施方式中,可以将该目标标识候选区域直接确定为目标物体标识框。
[0067] 兴趣池化层(ROI pooling),该层负责收集目标标识候选区域和特征地图信息,并计算出大小符合条件区域特征地图信息(proposal feature maps)送入后续层进行处理。
[0068] 分类器(Classifier),该层可以包括全连接层(full connection)和归一化处理层,该分类器通过全连接层和归一化处理层将区域特征地图信息进行组合,计算出该区域特征地图相应的标识分类结果,同时可以根据该标识分类结果对该目标标识候选区域进行微调,将微调后的目标标识候选区域确定为标识检测区域。
[0069] 其中,本申请实施例结合了知识蒸馏(Knowledge Distillation)技术,该知识蒸馏技术可以将复杂模型(Teacher模型)中的暗知识迁移到简单模型(Student模型)中,该第一目标检测模型可以为Teacher目标检测模型,为网络结构复杂的模型,模型参数量较大,因此,识别速度较慢,但是精度高。该第二目标检测模型可以为Student模型,为网络结构简单的模型,模型参数量较小,因此,识别速度较快,但是精度低,本申请实施例的目的为综合两者的优点,使得第二目标检测模型达到速度快,精度高的要求。
[0070] 以此,本申请实施例的第一目标检测模型和第二目标检测模型均为预训练好的目标检测模型,具有识别图像中目标物体标识框的能力,该目标训练样本可以为大量的图像组成,该图像的格式可以为多文种平面(BitMaP,BMP)格式或者图像互换格式(Graphics Interchange Forma,GIF)等等。
[0071] 在本申请实施例中,可以将该目标训练样本输入第一目标检测模型的特征提取器和第二目标检测模型的特征提取器,得到Teacher模型的第一目标特征图信息和Student模型的第二目标特征图信息。
[0072] 在一实施方式中,该目标特征图信息可以表示图像中目标物体标识框,可以将该目标物体标识框理解为图像中的节点,该目标特征图信息可以由二维向量组成,例如,该B可以为目标物体标识框的个数,该C可以为每一目标物体标识框的特征。
[0073] 在一些实施方式中,该将目标训练样本分别输入第一目标检测模型和第二目标检测模型,得到第一目标特征图信息和第二目标特征图信息的步骤,可以包括:
[0074] (1)获取目标训练样本,将该目标训练样本输入第一目标检测模型,得到第一特征图信息;
[0075] (2)将该目标训练样本输入第二目标检测模型,得到第二特征图信息;
[0076] (3)对该第一特征图信息和第二特征图信息进行维度转换,生成第一目标特征图信息和第二目标特征图信息。
[0077] 其中,可以先获取目标训练样本,该目标训练样本可以包含1000张图像,将该目标训练样本输入第一目标检测模型,得到Teacher模型的第一特征图信息,同时,将该目标训练样本输入第二目标检测模型,得到Student模型的第二特征图信息。
[0078] 由于该特征图信息的特征维度较高且不一致,为了便于后续的知识蒸馏处理,需要对该第一特征图信息和第二特征图信息进行维度转换,该维度转换可以包括降维和维度统一处理,生成维度转换后的第一目标特征图信息和第二目标特征图信息。
[0079] 在一些实施方式中,在对该第一特征图信息和第二特征图信息进行维度转换,生成第一目标特征图信息和第二目标特征图信息的步骤,可以包括:
[0080] (1.1)将该第一特征图信息和第二特征图信息进行维度统一处理,得到同一维度的第一特征图信息和第二特征图信息;
[0081] (1.2)对维度统一处理后的第一特征图信息进行维度转换,生成包含第一目标物体标识框数量维度和第一目标物体标识框特征维度的第一目标特征图信息;
[0082] (1.3)对维度统一处理后的第二特征图信息进行维度转换,生成包含第二目标物体标识框数量维度和第二目标物体标识框特征维度的第二目标特征图信息。
[0083] 其中,由于第一特征图信息和第二特征图信息的特征维度较高,如果直接对该第一特征图信息和第二特征图信息进行计算,会导致计算量过大,因此,可以将该第一特征图信息和第二特征图信息输入至两个自适应卷积网络层进行维度统一处理,分别进行非线性变换,降低第一特征图信息和第二特征图信息的数据维度,增加两者的非线性信息,并得到同一维度的第一特征图信息和第二特征图信息,方便建构后续的知识蒸馏。
[0084] 进一步的,为了构建图结构,计算不同的目标物体标识框之间的物体关系,需要对统一处理后的第一特征图信息进行维度转换,变换为包含第一目标物体标识框数量维度和第一目标物体标识框特征维度的第一目标特征图信息。对维度统一处理后的第二特征图信息进行维度转换,生成包含第二目标物体标识框数量维度和第二目标物体标识框特征维度的第二目标特征图信息。该第一目标特征图信息和第二目标特征图信息可以为标识为,B为目标物体标识框数量,C即为每一目标物体标识框特征。
[0085] 在步骤102中,分别对第一目标特征图信息和第二目标特征图信息进行图卷积计算,获取目标物体之间的第一关系特征向量和第二关系特征向量。
[0086] 其中,该图卷积计算通过图卷积神经网络(GCN)实现,该图卷积神经网络实际上和卷积神经网络的作用一样,为一个特征提取器,只不过图卷积神经网络可以精妙的从图数据(即第一目标特征图信息和第二目标图特征信息)中提取特征,从而让机器可以使用提取的特征对图数据进行节点分类(node classification),边预测(link prediction)等等,[0087] 在本申请实施例中,由于第一目标检测模型和第二目标检测模型对于不同的目标物体标识框的识别准确度不同,以此,第一目标特征图信息中对于目标物体标识框之间的物体关系的准确度优于第二目标特征图信息中对于目标物体标识框之间的物体关系。
[0088] 进一步的,可以将第一目标特征图信息输入预训练好的图卷积神经网络,得到可以表征第一目标特征图中目标物体之间关系的第一关系特征向量。将第二目标特征图信息输入预训练好的图卷积神经网络,得到可以表征第二目标特征图中目标物体之间关系的第二关系特征向量,该关系特征向量包含了识别的目标物体标识框之间关系的输出,该第一关系特征向量对于目标物体标识框之间的关系的准确率优于第二关系特征向量。
[0089] 在一些实施方式中,该分别对第一目标特征图信息和第二目标特征图信息进行图卷积计算,获取目标物体之间的第一关系特征向量和第二关系特征向量的步骤,可以包括:
[0090] (1)获取该第一目标特征图信息中第一目标物体标识框特征之间的第一距离矩阵信息和第二目标特征图信息中第二目标物体标识框特征之间的第二距离矩阵信息;
[0091] (2)基于该第一目标特征图信息与第一距离矩阵信息进行图卷积处理,得到第一关系特征向量;
[0092] (3)基于该第二目标特征图信息与第二距离矩阵信息进行图卷积处理,得到第二关系特征向量。
[0093] 其中,可以将第一目标特征图信息中的每一目标特征图标识框和相应的目标物体标识框特征作为一个节点,进而计算第一目标特征图信息中每一节点之间的距离,生成第一距离矩阵信息,例如以 表示,该第一距离矩阵信息记载了每一节点之间距离信息。将第二目标特征图信息中的每一目标特征图标识框和相应的目标物体标识框特征作为一个节点,进而计算第二目标特征图信息中每一节点之间的距离,生成第二距离矩阵信息。
[0094] 进一步的,可以将该表征节点的第一目标特征图信息和表征节点之间距离的第一距离矩阵信息输入图卷积模型进行图卷积处理,得到第一关系特征向量,该第一关系特征向量可以表征第一目标检测模型提取到目标物体标识框之间的位置关系。
[0095] 可以将该表征节点的第二目标特征图信息和表征节点之间距离的第二距离矩阵信息输入图卷积模型进行图卷积处理,得到第二关系特征向量,该第二关系特征向量可以表征第二目标检测模型提取到目标物体标识框之间的位置关系。
[0096] 在一些实施方式中,该获取该第一目标特征图信息中第一目标物体标识框特征之间的第一距离矩阵信息和第二目标特征图信息中第二目标物体标识框特征之间的第二距离矩阵信息的步骤,可以包括:
[0097] (1.1)计算该第一目标特征图信息中第一目标物体标识框特征之间的欧式距离,生成第一距离矩阵信息;
[0098] (1.2)计算该第二目标特征图信息中第二目标物体标识框特征之间的欧式距离,生成第二距离矩阵信息。
[0099] 其中,可以基于如下计算公式进行计算:
[0100]
[0101] 该 为第i个目标物体标识框与第j个目标物体标识框特征的欧氏距离,该Fi为第i个目标物体标识框的特征信息,Fj为第j个目标物体标识框的特征信息,通过上述公式可以计算第一目标特征图信息中每一个第一目标物体标识框特征之间的欧式距离,生成第一距离矩阵信息。
[0102] 进一步的,通过上述公式可以计算第二目标特征图信息中每一个第二目标物体标识框特征之间的欧式距离,生成第二距离矩阵信息。
[0103] 在步骤103中,构建第一关系特征向量和第二关系特征向量对应的蒸馏损失函数。
[0104] 其中,由于该第一关系特征向量对于目标物体标识框之间的关系的识别准确率优于第二关系特征向量,以此,需要将Teacher模型的第一关系特征向量的暗知识迁移到Student模型,使得网络简单的Student模型学习Teacher模型对于图像中目标物体标识框识别的能力,即需要让第一关系特征向量和第二关系特征向量的距离尽可能小,尽量接近,所以可以构建第一特征向量和第二关系特征向量对应的蒸馏损失函数。
[0105] 在一些实施方式中,该构建第一关系特征向量和第二关系特征向量对应的蒸馏损失函数的步骤,可以包括:通过均方误差函数计算该第一关系特征向量和第二关系特征向量之间的损失值,构建对应的蒸馏损失函数。
[0106] 其中,该均方误差函数可以计算参数估计值与参数值之差平方的期望值,记为MSE。可以通过以下公式表示:
[0107]
[0108] 该Lgraph表示蒸馏损失函数,该 为第一关系特征向量,该 为第二关系特征向量,MSN为均方误差函数,通过上述公式计算该第一关系特征向量和第二关系特征向量之间的损失值,构建对应的蒸馏损失函数。
[0109] 在步骤104中,将蒸馏损失函数加入至第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型。
[0110] 其中,该第二目标检测模型的损失函数为原有的目标检测模型的损失函数,通过该损失函数进行目标物体识别会由于网络简单导致目标物体识别的精度低,为了解决上述技术问题,本申请实施例可以将蒸馏损失函数加入至第二目标检测模型的损失函数中,将网络结构复杂的第一目标检测模型识别物体关系的能力迁移到第一目标检测模型进行联合训练,使得网络简单的第一目标检测模型可以结合网络复杂模型物体之间的关系进行识别处理,在一定程度上更符合人大脑的关系推理能力。
[0111] 例如,笔记本电脑旁边的鼠标因为笔记本的存在,鼠标的可能性会极大的增加,这种潜在的物体之间的关系,被网络简单的第一目标检测模型学习,会极大的提高第一目标检测模型的性能,有利用网络简单的第一目标检测模型拥有更好的检测效果,使得第一目标检测模型在拥有快速的优点下,还可以拥有较好的检测效果,提升了信息处理的效率。
[0112] 在一些实施方式中,该构建第一关系特征向量和第二关系特征向量对应的蒸馏损失函数的步骤,可以包括:
[0113] (1)将该蒸馏损失函数乘以预设权重,得到目标蒸馏损失函数;
[0114] (2)将该目标蒸馏损失函数与该第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型。
[0115] 其中,请一并参考如下公式:
[0116]
[0117] 该 为原第二目标检测模型的损失函数,该Lgraph表示蒸馏损失函数,该α为预设权重,例如为0.1,将该蒸馏损失函数乘以预设权重0.1,得到目标蒸馏损失函数,并将该目标蒸馏损失函数与该第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型,该联合训练后的第二目标检测模型可以结合网络复杂模型对物体之间的关系的学习能力进行识别处理,在拥有快速的优点下,还可以拥有更好的检测效果。
[0118] 在步骤105中,基于联合训练后的第二目标检测模型对待识别图像进行物体识别。
[0119] 其中,由于该联合训练后的第二目标检测模型可以结合网络复杂模型对物体之间的关系的学习能力进行识别处理,以此,基于联合训练后的第二目标检测模型对待识别图像进行物体识别时,可以在具有快速识别的优点下,还可以拥有更好的目标物体检测效果。
[0120] 由上述可知,本申请实施例通过将目标训练样本分别输入第一目标检测模型和第二目标检测模型,得到第一目标特征图信息和第二目标特征图信息;分别对第一目标特征图信息和第二目标特征图信息进行图卷积计算,获取目标物体之间的第一关系特征向量和第二关系特征向量;构建第一关系特征向量和第二关系特征向量对应的蒸馏损失函数;将蒸馏损失函数加入至第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型;基于联合训练后的第二目标检测模型对待识别图像进行物体识别。以此,将第一目标检测模型对于目标物体标识框之间关系的学习能力迁移到第二目标检测模型进行补充学习,提升信息处理效率。
[0121] 结合上述实施例所描述的方法,以下将举例作进一步详细说明。
[0122] 在本实施例中,将以该信息处理装置具体集成在服务器中为例进行说明。
[0123] 请一并参阅图3和图4,图3为本申请实施例提供的信息处理方法的另一流程示意图,图4为本申请实施例提供的信息处理方法的场景示意图。该方法流程可以包括:
[0124] 在步骤201中,服务器获取训练样本,对训练样本进行剪切、扩大以及翻转处理,生成对应的目标训练样本。
[0125] 其中,服务器获取的训练样本可以为PASCAL VOC2012 trainval数据集和MS COCO trainval35k数据集,该训练样本由多张图像组成。
[0126] 为了丰富训练样本,可以对该训练样本进行剪切、扩大以及翻转处理,扩展训练样本,生成比训练样本更多的目标训练样本1,该目标训练样本1携带标签信息,该标签信息可以用于标注目标物体标识框。
[0127] 在步骤202中,服务器获取目标训练样本,将目标训练样本输入第一目标检测模型,得到第一特征图信息,将目标训练样本输入第二目标检测模型,得到第二特征图信息。
[0128] 其中,服务器获取目标训练样本1,将该目标训练样本输入第一目标检测模型(Teacher模型)2和第二目标检测模型(Student模型)3,得到第一特征图信息 和第二特征图信息 。
[0129] 该第一目标检测模型的网络复杂度高于第二目标检测模型,以此,该第一目标检测模型对于目标训练样本1的目标物体的识别准确率必然高于第二目标检测模型,所以该第一特征图信息 对目标物体的特征描述优于第二特征图信息 。
[0130] 在步骤203中,服务器将第一特征图信息和第二特征图信息进行维度统一处理,得到同一维度的第一特征图信息和第二特征图信息,对维度统一处理后的第一特征图信息进行维度转换,生成包含第一目标物体标识框数量维度和第一目标物体标识框特征维度的第一目标特征图信息。
[0131] 其中,由于第一特征图信息 和第二特征图信息 的特征维度较高,如果直接对该第一特征图信息 和第二特征图信息 进行计算,会导致计算量过大,因此,可以先将第一特征图信息 和第二特征图信息 分别输入两个自适应卷积网络层,进行非线性变换,得到同一维度的第一特征图信息 和第二特征图信息 ,可以到达降低数据维度,增加特征图信息的非线性信息,以及使第一特征图信息 和第二特征图信息 拥有相同的数据维度,方便构建后续的图模型。
[0132] 需要说明的是,图模型G可以表示为 ,其中V为节点信息,在本申请实施例中,该节点信息可以为特征图信息中的目标物体标识框的特征信息,该E为图结构的边,即为目标物体标识框的特征信息之间的距离信息,该距离信息越接近,说明两者越相似,该距离信息越不接近,说明两者越不相似。
[0133] 以此,可以对维度统一处理后的第一特征图信息进行维度变换,将当前的多维信息变换为二维信息,得到第一目标特征图信息,该第一目标特征图信息即为第一目标检测模型识别得到的图结构的节点,可以表示为 ,该B为目标物体标识框数量,该C为每一个目标物体标识框的特征。
[0134] 在步骤204中,服务器对维度统一处理后的第二特征图信息进行维度转换,生成包含第二目标物体标识框数量维度和第二目标物体标识框特征维度的第二目标特征图信息。
[0135] 其中,服务器可以对维度统一处理后的第二特征图信息进行维度变换,将当前的多维信息变换为二维信息,得到第二目标特征图信息,该第二目标特征图信息即为第二目标检测模型识别得到的图结构的节点,也表示为 ,该B为目标物体标识框数量,该C为每一个目标物体标识框的特征。
[0136] 在步骤205中,服务器计算第一目标特征图信息中第一目标物体标识框特征之间的广义交并比,生成第一距离矩阵信息,计算第二目标特征图信息中第二目标物体标识框之间的广义交并比,生成第二距离矩阵信息。
[0137] 在一些实施方式中,该计算该第一目标特征图信息中第一目标物体标识框特征之间的广义交并比,生成第一距离矩阵信息的步骤,可以包括:
[0138] (1)获取该第一目标特征图信息中第一目标物体标识框特征之间的交并比;
[0139] (2)获取该第一目标特征图信息中第一目标物体标识框特征之间的最小外接包围框;
[0140] (3)计算该最小外接包围框减去第一目标特征图信息中第一目标物体标识框特征之间的交集的差值的绝对值;
[0141] (4)获取该差值的绝对值与最小外接包围框的绝对值的比值;
[0142] (5)计算该交并比与该比值的差值,得到该第一目标特征图信息中第一目标物体标识框特征之间的广义交并比,生成第一距离矩阵信息。
[0143] 其中,请一并参阅如下公式:
[0144]
[0145] 该IoU为交并比,为目标检测中最常用的指标,该M和N可以为不同的目标物体标识框特征,该 表示两个框的交集, 表示两个框的并集,请继续参阅如下公式:
[0146]
[0147] 该GIoU(Generalized Intersection over Union,GIOU)即为广义交并比,该C为两个框形成的最小外接包围框,通过上述计算方式,可以得到每一目标物体标识框两两之间的GIoU值,该GIoU值可以表示两个框之间的距离值,即首先可以获取该第一目标特征图中第一目标物体标识框特征之间的交并比IoU,获取第一目标特征图信息中第一目标物体标识框特征之间的最小外接包围框C,计算该最小外接包围框C减去第一目标特征图信息中第一目标物体标识框特征之间的交集的差值的绝对值,获取该差值的绝对值与最小外接包围框的绝对值的比值,最后计算该交并比与该比值的差值,得到该第一目标特征图信息中第一目标物体标识框特征之间的广义交并比,生成第一距离矩阵信息。
[0148] 同理,根据上述计算方式计算第二目标特征图信息中第二目标物体标识框之间的广义交并比,生成第二距离矩阵信息,该距离矩阵信息可以表示为 ,表示每一目标物体标识框与其他目标物体标识框之间的距离信息,即为图结构的边信息。
[0149] 在步骤206中,服务器基于第一目标特征图信息与第一距离矩阵信息进行图卷积处理,得到第一关系特征向量。
[0150] 在一些实施方式中,该基于第一目标特征图信息与第一距离矩阵信息进行图卷积处理,得到第一关系特征向量的步骤,可以包括:
[0151] (1)获取第一距离矩阵信息,并将该第一距离矩阵信息与单位矩阵进行求和,得到第一矩阵信息;
[0152] (2)获取该第一矩阵信息的对角结点度矩阵;
[0153] (3)基于该第一矩阵信息和对角结点度矩阵对该第一矩阵信息进行对称的归一化处理,得到第一目标矩阵信息;
[0154] (4)通过激活函数对第一目标矩阵信息、第一参数矩阵和第一目标特征图信息进行计算,得到第一关系特征向量。
[0155] 其中,请一并参阅如下公式:
[0156]
[0157] 该P为激活函数,例如Sigmoid函数或者Relu函数,该 可以为矩阵信息,表示为,该A为上述的第一距离矩阵信息 或者第二距离矩阵信息 ,该I为单位矩阵,为一个方阵,从左上角到右下角的对角线(称为主对角线)上的元素均为1,其他元素为0,该 为 对角结点度矩阵,为将A的每一行除以行的和,目的是为了防止AH矩阵变化后输出过大,进行相应的正则化处理,该F为上述的第一目标特征图信息 或者第二目标特征图信息 ,该W为第一参数矩阵或者第二参数矩阵,类似于网络参数,可以进行调节,通过上述公式,获取第一距离矩阵信息,并将该第一距离矩阵信息 与单位矩阵I进行求和,得到第一矩阵信息 ,获取该第一矩阵信息 的对角结点度矩阵 ,通过对第一距离矩阵信息 做一个对称的归一化处理,得到第一目标矩阵信息,最后通过激活函数P对第一目标矩阵信息、第一参数矩阵W和第一目标特征图信息 进行计算,得到第一关系特征向量(即Teacher关系特征向量)。
[0158] 在步骤207中,服务器基于第二目标特征图信息与第二距离矩阵信息进行图卷积处理,得到第二关系特征向量。
[0159] 其中,请继续参阅步骤206中的的公式,可以将第二目标特征图信息与第二距离矩阵信息输入公式进行图卷积处理,得到第二关系特征向量(即Student关系特征向量),该第一关系特征向量对于目标物体标识框之间的关系的识别准确率优于第二关系特征向量。
[0160] 在步骤208中,服务器通过均方误差函数计算第一关系特征向量和第二关系特征向量之间的损失值,构建对应的蒸馏损失函数。
[0161] 其中,需要将Teacher模型的第一关系特征向量对于目标物体标识框学习能力迁移到Student模型,中,即需要让第一关系特征向量和第二关系特征向量的距离尽可能小,两者尽量接近,因此,请一并参阅如下公式:
[0162]
[0163] 该Lgraph表示蒸馏损失函数,该 为第一关系特征向量,该 为第二关系特征向量,MSN为均方误差函数,通过上述公式计算该第一关系特征向量和第二关系特征向量之间的损失值,构建对应的蒸馏损失函数4,该蒸馏损失函数可以使得该第一关系特征向量的关系表达与第二关系特征向量的关系表达尽可能接近。
[0164] 在步骤209中,服务器将蒸馏损失函数乘以预设权重,得到目标蒸馏损失函数,将目标蒸馏损失函数与第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型。
[0165] 其中,请一并参考如下公式:
[0166]
[0167] 该 为原第二目标检测模型的损失函数,该Lgraph表示蒸馏损失函数4,该α为预设权重,例如为0.1,将该蒸馏损失函数乘以预设权重0.1,得到目标蒸馏损失函数,并将该目标蒸馏损失函数与该第二目标检测模型3的损失函数进行联合训练,得到联合训练后的第二目标检测模型,该联合训练后的Student模型3可以结合Teacher模型2对物体之间的关系的学习能力进行识别处理,在拥有快速的优点下,还可以拥有更好的检测效果。
[0168] 在一实施方式中,还可以对联合训练后的第二目标检测模型进行测试,将测试图像输入联合训练后的第二目标检测模型,在物体识别结果准确率高于预设阈值时停止联合训练。
[0169] 在步骤210中,服务器基于联合训练后的第二目标检测模型对待识别图像进行物体识别。
[0170] 其中,由于该联合训练后的Student模型3可以结合Teacher模型2对物体之间的关系的学习能力进行识别处理,以此,基于联合训练后的Student模型3对待识别图像进行物体识别时,可以在具有快速识别的优点下,还可以拥有更好的目标物体检测效果。
[0171] 由上述可知,本申请实施例通过将目标训练样本分别输入第一目标检测模型和第二目标检测模型,得到第一目标特征图信息和第二目标特征图信息;分别对第一目标特征图信息和第二目标特征图信息进行图卷积计算,获取目标物体之间的第一关系特征向量和第二关系特征向量;构建第一关系特征向量和第二关系特征向量对应的蒸馏损失函数;将蒸馏损失函数加入至第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型;基于联合训练后的第二目标检测模型对待识别图像进行物体识别。以此,将第一目标检测模型对于目标物体标识框之间关系的学习能力迁移到第二目标检测模型进行补充学习,提升信息处理效率。
[0172] 为便于更好的实施本申请实施例提供的信息处理方法,本申请实施例还提供一种基于上述信息处理方法的装置。其中名词的含义与上述信息处理方法中相同,具体实现细节可以参考方法实施例中的说明。
[0173] 请参阅图5,图5为本申请实施例提供的信息处理装置的结构示意图,其中该信息处理装置可以包括输入单元301、图卷积单元302、构建单元303、训练单元304及识别单元305等。
[0174] 输入单元301,用于将目标训练样本分别输入第一目标检测模型和第二目标检测模型,得到第一目标特征图信息和第二目标特征图信息。
[0175] 在一些实施方式中,该输入单元301,可以包括:
[0176] 第一输入子单元,用于获取目标训练样本,将该目标训练样本输入第一目标检测模型,得到第一特征图信息;
[0177] 第二输入子单元,用于将该目标训练样本输入第二目标检测模型,得到第二特征图信息;
[0178] 转换子单元,用于对该第一特征图信息和第二特征图信息进行维度转换,生成第一目标特征图信息和第二目标特征图信息。
[0179] 在一些实施方式中,该转换子单元,用于:将该第一特征图信息和第二特征图信息进行维度统一处理,得到同一维度的第一特征图信息和第二特征图信息;对维度统一处理后的第一特征图信息进行维度转换,生成包含第一目标物体标识框数量维度和第一目标物体标识框特征维度的第一目标特征图信息;对维度统一处理后的第二特征图信息进行维度转换,生成包含第二目标物体标识框数量维度和第二目标物体标识框特征维度的第二目标特征图信息。
[0180] 图卷积单元302,用于分别对该第一目标特征图信息和第二目标特征图信息进行图卷积计算,获取目标物体之间的第一关系特征向量和第二关系特征向量。
[0181] 在一些实施方式中,该图卷积单元,包括:
[0182] 获取子单元,用于获取该第一目标特征图信息中第一目标物体标识框特征之间的第一距离矩阵信息和第二目标特征图信息中第二目标物体标识框特征之间的第二距离矩阵信息;
[0183] 第一图卷积子单元,用于基于该第一目标特征图信息与第一距离矩阵信息进行图卷积处理,得到第一关系特征向量;
[0184] 第二图卷积子单元,用于基于该第二目标特征图信息与第二距离矩阵信息进行图卷积处理,得到第二关系特征向量。
[0185] 在一些实施方式中,该获取子单元,用于:计算该第一目标特征图信息中第一目标物体标识框特征之间的欧式距离,生成第一距离矩阵信息;计算该第二目标特征图信息中第二目标物体标识框特征之间的欧式距离,生成第二距离矩阵信息。
[0186] 在一些实施方式中,该获取子单元,还用于:计算该第一目标特征图信息中第一目标物体标识框特征之间的广义交并比,生成第一距离矩阵信息;计算该第二目标特征图信息中第二目标物体标识框特征之间的广义交并比,生成第二距离矩阵信息。
[0187] 在一些实施方式中,该获取子单元,还用于:获取该第一目标特征图信息中第一目标物体标识框特征之间的交并比;获取该第一目标特征图信息中第一目标物体标识框特征之间的最小外接包围框;计算该最小外接包围框减去第一目标特征图信息中第一目标物体标识框特征之间的交集的差值的绝对值;获取该差值的绝对值与最小外接包围框的绝对值的比值;计算该交并比与该比值的差值,得到该第一目标特征图信息中第一目标物体标识框特征之间的广义交并比,生成第一距离矩阵信息;计算该第二目标特征图信息中第二目标物体标识框特征之间的广义交并比,生成第二距离矩阵信息。
[0188] 在一些实施方式中,该第一图卷积子单元,用于:获取第一距离矩阵信息,并将该第一距离矩阵信息与单位矩阵进行求和,得到第一矩阵信息;获取该第一矩阵信息的对角结点度矩阵;基于该第一矩阵信息和对角结点度矩阵对该第一矩阵信息进行对称的归一化处理,得到第一目标矩阵信息;通过激活函数对第一目标矩阵信息、第一参数矩阵和第一目标特征图信息进行计算,得到第一关系特征向量。
[0189] 构建单元303,用于构建该第一关系特征向量和第二关系特征向量对应的蒸馏损失函数。
[0190] 在一些实施方式中,该构建单元303,用于:通过均方误差函数计算该第一关系特征向量和第二关系特征向量之间的损失值,构建对应的蒸馏损失函数。
[0191] 训练单元304,用于将该蒸馏损失函数加入至该第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型。
[0192] 在一些实施方式中,该训练单元304,用于:将该蒸馏损失函数乘以预设权重,得到目标蒸馏损失函数;将该目标蒸馏损失函数与该第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型。
[0193] 识别单元305,用于基于联合训练后的第二目标检测模型对待识别图像进行物体识别。
[0194] 在一些实施例中,该信息处理装置,还包括扩充单元,用于:获取训练样本;对该训练样本进行剪切、扩大以及翻转处理,生成对应的目标训练样本。
[0195] 以上各个单元的具体实施可参见前面的实施例,在此不再赘述。
[0196] 由上述可知,本申请实施例通过输入单元301将目标训练样本分别输入第一目标检测模型和第二目标检测模型,得到第一目标特征图信息和第二目标特征图信息;图卷积单元302分别对第一目标特征图信息和第二目标特征图信息进行图卷积计算,获取目标物体之间的第一关系特征向量和第二关系特征向量;构建单元303构建第一关系特征向量和第二关系特征向量对应的蒸馏损失函数;训练单元304将蒸馏损失函数加入至第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型;识别单元305基于联合训练后的第二目标检测模型对待识别图像进行物体识别。以此,将第一目标检测模型对于目标物体标识框之间关系的学习能力迁移到第二目标检测模型进行补充学习,提升信息处理效率。
[0197] 本申请实施例还提供一种计算机设备,如图6所示,其示出了本申请实施例所涉及的服务器的结构示意图,具体来讲:
[0198] 该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图6中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
[0199] 处理器401是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;可选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
[0200] 存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据服务器的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
[0201] 计算机设备还包括给各个部件供电的电源403,可选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0202] 计算机设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
[0203] 尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现前述实施例提供的各种方法步骤,如下:
[0204] 将目标训练样本分别输入第一目标检测模型和第二目标检测模型,得到第一目标特征图信息和第二目标特征图信息;分别对该第一目标特征图信息和第二目标特征图信息进行图卷积计算,获取目标物体之间的第一关系特征向量和第二关系特征向量;构建该第一关系特征向量和第二关系特征向量对应的蒸馏损失函数;将该蒸馏损失函数加入至该第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型;基于联合训练后的第二目标检测模型对待识别图像进行物体识别。
[0205] 在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对信息处理方法的详细描述,此处不再赘述。
[0206] 由上述可知,本申请实施例的计算机设备可以通过将目标训练样本分别输入第一目标检测模型和第二目标检测模型,得到第一目标特征图信息和第二目标特征图信息;分别对第一目标特征图信息和第二目标特征图信息进行图卷积计算,获取目标物体之间的第一关系特征向量和第二关系特征向量;构建第一关系特征向量和第二关系特征向量对应的蒸馏损失函数;将蒸馏损失函数加入至第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型;基于联合训练后的第二目标检测模型对待识别图像进行物体识别。以此,将第一目标检测模型对于目标物体标识框之间关系的学习能力迁移到第二目标检测模型进行补充学习,提升信息处理效率。
[0207] 本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
[0208] 为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种信息处理方法中的步骤。例如,该指令可以执行如下步骤:
[0209] 将目标训练样本分别输入第一目标检测模型和第二目标检测模型,得到第一目标特征图信息和第二目标特征图信息;分别对该第一目标特征图信息和第二目标特征图信息进行图卷积计算,获取目标物体之间的第一关系特征向量和第二关系特征向量;构建该第一关系特征向量和第二关系特征向量对应的蒸馏损失函数;将该蒸馏损失函数加入至该第二目标检测模型的损失函数进行联合训练,得到联合训练后的第二目标检测模型;基于联合训练后的第二目标检测模型对待识别图像进行物体识别。
[0210] 根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例提供的各种可选实现方式中提供的方法。
[0211] 以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
[0212] 其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
[0213] 由于该计算机可读存储介质中所存储的指令,可以执行本申请实施例所提供的任一种信息处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种信息处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
[0214] 以上对本申请实施例所提供的一种信息处理方法、装置、计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。