目标再识别方法、装置及电子设备转让专利

申请号 : CN202111160414.7

文献号 : CN113920306B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 王之港王健孙昊

申请人 : 北京百度网讯科技有限公司

摘要 :

本公开提供了一种目标再识别方法、装置及电子设备,涉及人工智能领域,尤其涉及计算机视觉和深度学习技术领域。具体实现方案为:获取待识别图像,所述待识别图像包括目标对象的图像内容;识别所述目标对象对应的第一外观呈现信息,所述第一外观呈现信息用于表征所述目标对象的外观在所述待识别图像中的呈现形式;获取数据检索库中与所述第一外观呈现信息匹配的候选检索图像;基于所述候选检索图像对所述待识别图像进行目标再识别。

权利要求 :

1.一种目标再识别方法,包括:

获取待识别图像,所述待识别图像包括目标对象的图像内容;

识别所述目标对象对应的第一外观呈现信息,所述第一外观呈现信息用于表征所述目标对象的外观在所述待识别图像中的呈现形式,所述第一外观呈现信息包括外观呈现尺寸、外观截断部位、外观呈现截断比例和外观呈现姿态;

获取数据检索库中与所述第一外观呈现信息匹配的候选检索图像;

基于所述候选检索图像对所述待识别图像进行目标再识别;

所述数据检索库包括M个检索图像和所述M个检索图像对应的K个外观呈现标签,一个检索图像对应至少一个外观呈现标签,M为正整数,K为大于或等于M的正整数,所述获取数据检索库中与所述第一外观呈现信息匹配的候选检索图像,包括:确定所述第一外观呈现信息与每个外观呈现标签之间的外观呈现相似度,得到所述K个外观呈现标签一一对应的K个外观呈现相似度;

在所述K个外观呈现相似度中存在大于或等于第一预设阈值的目标外观呈现相似度的情况下,将所述M个检索图像中目标外观呈现标签对应的检索图像确定为候选检索图像,所述目标外观呈现标签为所述K个外观呈现标签中所述目标外观呈现相似度对应的外观呈现标签;

所述外观呈现标签是在确定所述检索图像中对象的标识信息的情况下,与所述检索图像关联存储至所述数据检索库中的。

2.根据权利要求1所述的方法,所述获取数据检索库中与所述第一外观呈现信息匹配的候选检索图像之前,还包括:获取待入库图像和所述待入库图像对应的第二外观呈现信息;

在所述第二外观呈现信息满足预设条件的情况下,确定所述待入库图像中对象的标识信息;

基于所述标识信息将所述待入库图像和所述第二外观呈现信息对应存储至所述数据检索库中;

其中,所述预设条件包括以下至少一项:

所述第二外观呈现信息表征的对象的外观呈现尺寸小于第二预设阈值;

所述第二外观呈现信息表征的对象的外观呈现截断比例大于第三预设阈值。

3.根据权利要求1所述的方法,其中,所述基于所述候选检索图像对所述待识别图像进行目标再识别,包括:对所述候选检索图像进行特征提取,得到第一特征;以及对所述待识别图像进行特征提取,得到第二特征;

确定所述第一特征和所述第二特征的特征相似度;

基于所述特征相似度确定所述目标对象与所述候选检索图像中对象的关系,所述关系表征所述目标对象与所述候选检索图像中对象是否属于同一对象。

4.根据权利要求3所述的方法,其中,所述基于所述特征相似度确定所述目标对象与所述候选检索图像中对象的关系,包括如下至少一项:在所述候选检索图像为第一候选检索图像的情况下,若所述特征相似度大于第四预设阈值,确定所述目标对象与所述候选检索图像中对象属于同一对象;

在所述候选检索图像为第二候选检索图像的情况下,若所述特征相似度大于第五预设阈值,确定所述目标对象与所述候选检索图像中对象属于同一对象;

其中,所述第一候选检索图像对应的目标外观呈现相似度大于所述第二候选检索图像对应的目标外观呈现相似度,所述目标外观呈现相似度为所述第一外观呈现信息与所述候选检索图像对应的外观呈现标签之间的外观呈现相似度,所述第四预设阈值大于所述第五预设阈值。

5.一种目标再识别装置,包括:

第一获取模块,用于获取待识别图像,所述待识别图像包括目标对象的图像内容;

识别模块,用于识别所述目标对象对应的第一外观呈现信息,所述第一外观呈现信息用于表征所述目标对象的外观在所述待识别图像中的呈现形式,所述第一外观呈现信息包括外观呈现尺寸、外观截断部位、外观呈现截断比例和外观呈现姿态;

第二获取模块,用于获取数据检索库中与所述第一外观呈现信息匹配的候选检索图像;

目标再识别模块,用于基于所述候选检索图像对所述待识别图像进行目标再识别;

所述数据检索库包括M个检索图像和所述M个检索图像对应的K个外观呈现标签,一个检索图像对应至少一个外观呈现标签,M为正整数,K为大于或等于M的正整数,所述第二获取模块,具体用于:确定所述第一外观呈现信息与每个外观呈现标签之间的外观呈现相似度,得到所述K个外观呈现标签一一对应的K个外观呈现相似度;

在所述K个外观呈现相似度中存在大于或等于第一预设阈值的目标外观呈现相似度的情况下,将所述M个检索图像中目标外观呈现标签对应的检索图像确定为候选检索图像,所述目标外观呈现标签为所述K个外观呈现标签中所述目标外观呈现相似度对应的外观呈现标签;

所述外观呈现标签是在确定所述检索图像中对象的标识信息的情况下,与所述检索图像关联存储至所述数据检索库中的。

6.根据权利要求5所述的装置,还包括:

第三获取模块,用于获取待入库图像和所述待入库图像对应的第二外观呈现信息;

确定模块,用于在所述第二外观呈现信息满足预设条件的情况下,确定所述待入库图像中对象的标识信息;

存储模块,用于基于所述标识信息将所述待入库图像和所述第二外观呈现信息对应存储至所述数据检索库中;

其中,所述预设条件包括以下至少一项:

所述第二外观呈现信息表征的对象的外观呈现尺寸小于第二预设阈值;

所述第二外观呈现信息表征的对象的外观呈现截断比例大于第三预设阈值。

7.根据权利要求5所述的装置,其中,所述目标再识别模块,包括:特征提取单元,用于对所述候选检索图像进行特征提取,得到第一特征;以及对所述待识别图像进行特征提取,得到第二特征;

第一确定单元,用于确定所述第一特征和所述第二特征的特征相似度;

第二确定单元,用于基于所述特征相似度确定所述目标对象与所述候选检索图像中对象的关系,所述关系表征所述目标对象与所述候选检索图像中对象是否属于同一对象。

8.根据权利要求7所述的装置,其中,所述第二确定单元,具体用于:在所述候选检索图像为第一候选检索图像的情况下,若所述特征相似度大于第四预设阈值,确定所述目标对象与所述候选检索图像中对象属于同一对象;

在所述候选检索图像为第二候选检索图像的情况下,若所述特征相似度大于第五预设阈值,确定所述目标对象与所述候选检索图像中对象属于同一对象;

其中,所述第一候选检索图像对应的目标外观呈现相似度大于所述第二候选检索图像对应的目标外观呈现相似度,所述目标外观呈现相似度为所述第一外观呈现信息与所述候选检索图像对应的外观呈现标签之间的外观呈现相似度,所述第四预设阈值大于所述第五预设阈值。

9.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑4中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1‑4中任一项所述的方法。

说明书 :

目标再识别方法、装置及电子设备

技术领域

[0001] 本公开涉及人工智能领域,尤其涉及计算机视觉和深度学习技术领域,具体涉及一种目标再识别方法、装置及电子设备。

背景技术

[0002] 随着人工智能技术的高速发展,目标如行人再识别技术得到了广泛应用,目标再识别技术指的是基于检索图像对待识别图像中的图像内容进行目标再识别,以确定待识别图像与检索图像中是否存在同一对象。
[0003] 目前,可以使用再识别模型来对待识别图像进行目标再识别,再识别模型通常是通过比对检索图像的特征和待识别图像的特征来进行目标再识别。

发明内容

[0004] 本公开提供了一种目标再识别方法、装置及电子设备。
[0005] 根据本公开的第一方面,提供了一种目标再识别方法,包括:
[0006] 获取待识别图像,所述待识别图像包括目标对象的图像内容;
[0007] 识别所述目标对象对应的第一外观呈现信息,所述第一外观呈现信息用于表征所述目标对象的外观在所述待识别图像中的呈现形式;
[0008] 获取数据检索库中与所述第一外观呈现信息匹配的候选检索图像;
[0009] 基于所述候选检索图像对所述待识别图像进行目标再识别。
[0010] 根据本公开的第二方面,提供了一种目标再识别装置,包括:
[0011] 第一获取模块,用于获取待识别图像,所述待识别图像包括目标对象的图像内容;
[0012] 识别模块,用于识别所述目标对象对应的第一外观呈现信息,所述第一外观呈现信息用于表征所述目标对象的外观在所述待识别图像中的呈现形式;
[0013] 第二获取模块,用于获取数据检索库中与所述第一外观呈现信息匹配的候选检索图像;
[0014] 目标再识别模块,用于基于所述候选检索图像对所述待识别图像进行目标再识别。
[0015] 根据本公开的第三方面,提供了一种电子设备,包括:
[0016] 至少一个处理器;以及
[0017] 与至少一个处理器通信连接的存储器;其中,
[0018] 存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器能够执行第一方面中的任一项方法。
[0019] 根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行第一方面中的任一项方法。
[0020] 根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现第一方面中的任一项方法。
[0021] 根据本公开的技术解决了目标再识别技术中存在的识别准确率比较低的问题,提高了目标再识别的准确率。
[0022] 应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

[0023] 附图用于更好地理解本方案,不构成对本公开的限定。其中:
[0024] 图1是根据本公开第一实施例的目标再识别方法的流程示意图;
[0025] 图2是待入库图像的入库流程示意图;
[0026] 图3是根据本公开第二实施例的目标再识别装置的结构示意图;
[0027] 图4是用来实施本公开的实施例的示例电子设备的示意性框图。

具体实施方式

[0028] 以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
[0029] 第一实施例
[0030] 如图1所示,本公开提供一种目标再识别方法,包括如下步骤:
[0031] 步骤S101:获取待识别图像,所述待识别图像包括目标对象的图像内容。
[0032] 本实施例中,目标再识别方法涉及人工智能领域,尤其涉及计算机视觉和深度学习技术领域,其可以广泛应用于智慧城市和智能云场景。本公开实施例的目标再识别方法,可以由本公开实施例的目标再识别装置执行。本公开实施例的目标再识别装置可以配置在任意电子设备中,以执行本公开实施例的目标再识别方法。该电子设备可以为服务器,也可以为终端,这里不做具体限定。
[0033] 待识别图像可以为包括目标对象的图像内容的任一张图像,目标对象可以为人物、动物或车辆等,这里不进行具体限定。
[0034] 目标对象以人物为例,待识别图像中可以包括人体的图像内容,本实施例的目的即是通过目标再识别,以确定待识别图像中人体与数据检索库的检索图像中人体的关系,该关系可以表征待识别图像中人体与数据检索库的检索图像中人体是否为同一人。
[0035] 待识别图像可以包括目标对象的部分或全部图像内容,比如,可以包括整个人体的图像内容,又比如,可以包括人体躯干的图像内容,还比如,可以包括人体上半部分的图像内容。并且,待识别图像除了包括目标对象的图像内容之外,还可以包括其他图像内容,比如,背景图像内容和其他对象的图像内容,这里不进行具体限定。
[0036] 待识别图像的获取可以包括多种,比如,可以通过摄像头实时采集一张图像作为待识别图像,又比如,可以获取预先存储的一张图像作为待识别图像,还比如,可以接收其他电子设备发送的一张图像作为待识别图像,亦或是从网络上下载一张图像作为待识别图像。
[0037] 在一可选实施方式中,如在智慧城市和智能云场景中,可以在各个位置部署摄像头,以采集行人图像,并将行人图像存储至数据检索库,以进行相应应用。比如,通过目标再识别,确定数据检索库的检索图像中是否存在目标人体,又比如,通过目标再识别,确定新拍摄的行人图像中行人的身份,依据身份将新拍摄的行人图像存储至数据检索库的相应位置。
[0038] 步骤S102:识别所述目标对象对应的第一外观呈现信息,所述第一外观呈现信息用于表征所述目标对象的外观在所述待识别图像中的呈现形式。
[0039] 该步骤中,第一外观呈现信息可以表征目标对象的外观在待识别图像中的呈现形式,该呈现形式可以包括外观呈现尺寸、外观截断部位、外观呈现截断比例、外观呈现姿态等。
[0040] 其中,外观呈现尺寸可以指的是目标对象的图像内容在待识别图像中所占的比例,若目标对象的图像内容在待识别图像中所占的比例比较小,则外观呈现尺寸比较小。
[0041] 外观呈现截断比例指的是目标对象的外观截断在待识别图像之外的比例,也就是说,目标对象的外观不在待识别图像中的比例。而外观截断部位可以指的是目标对象的外观从哪个部位开始无法在待识别图像中呈现。
[0042] 比如,当整个人体的图像内容均呈现在待识别图像中时,则说明目标对象的外观呈现截断比例为0,又比如,当仅有人体上半部分的图像内容呈现在待识别图像中时,则外观呈现截断比例为50%,其外观截断部位为腿。
[0043] 外观呈现姿态可以指的是目标对象的外观在待识别图像的呈现姿态,在一可选实施方式中,外观呈现姿态可以为外观朝向,比如,人体脸部朝向正面,人体脸部朝向背面,人体脸部朝向侧面等。
[0044] 由于摄像头拍摄远近、拍摄角度不同、拍摄范围不同等原因,对象的外观在拍摄图像中的呈现形式各异。若两张图像中对象的呈现形式不一致,则很难去判别两张图像中是否为同一对象,影响目标再识别的准确率。
[0045] 比如,同一人的两张图像中,一张图像中人体上半部分被截断,另一张图像中人体下半部分被截断,通过再识别模型很难将两者判断为同一人,因此,该步骤可以识别第一外观呈现信息,以确定目标对象的外观在待识别图像中的呈现形式。
[0046] 第一外观呈现信息的识别方式可以包括多种,在一可选实施方式中,可以通过现有的或新的目标检测算法,检测待识别图像中目标对象的第一外观呈现信息。
[0047] 在另一可选实施方式中,可以通过判别器来进行目标对象的外观在待识别图像中的呈现形式的检测。比如,可以通过尺寸判别器来确定目标对象在待识别图像中的外观呈现尺寸,该判别器可以是根据图像尺寸进行判断的逻辑代码,也可以是通过模型用来精确判断图像中实际人体部分的大小和模糊程度等等。
[0048] 又比如,可以通过截断判别器来确定目标对象在待识别图像中的外观截断部位以及外观呈现截断比例。该截断判别器可以为预先训练的模型,用来判断一张图像中,对象是否有截断,以及若有截断,外观截断部位和外观呈现截断比例。
[0049] 还比如,可以通过朝向判别器来确定目标对象在待识别图像中的外观朝向。该朝向判别器可以为预先训练的模型,用来判断图像中对象如人体的朝向是正面、背面还是侧面。
[0050] 步骤S103:获取数据检索库中与所述第一外观呈现信息匹配的候选检索图像。
[0051] 该步骤中,数据检索库可以指的是存放检索图像的数据库,该数据检索库可以存放包括目标图像内容的检索图像,目标图像内容可以指的是已知身份对象的图像内容,也就是说,数据检索库的检索图像中对象的身份已知,以基于该数据检索库中的检索图像对待识别图像进行目标再识别。其中,数据检索库的检索图像中对象的身份已知可以指的是检索图像中对象存在一个身份标识。
[0052] 本实施例可以通过比对待识别图像的特征和数据检索库的候选检索图像的特征,以确定待识别图像中对象与候选检索图像中对象是否为同一对象。在一实施场景中,可以确定待识别图像中对象的身份,在确定数据检索库中,与待识别图像中对象无相同身份的检索图像时,可以自动生成一个新的身份标识,将待识别图像存储至数据检索库,以丰富数据检索库的资源。或者,在确定数据检索库中,存在与待识别图像中对象相同身份的检索图像时,当数据检索库中不包含该待识别图像时,也可以将待识别图像存储至数据检索库,以丰富数据检索库的资源。
[0053] 在另一实施场景如安防场景中,可以确定数据检索库中候选检索图像是否存在与待识别图像中对象相同身份的对象,在存在相同身份对象的情况下,可以基于候选检索图像对应的拍摄位置,确定待识别图像中对象出现的位置,这样可以达到寻人或寻物的目的。
[0054] 可以通过现有的或者新的图像识别算法分别识别数据检索库的每张检索图像中的对象外观呈现信息,将对象外观呈现信息与第一外观呈现信息比对,以获取数据检索库中与第一外观呈现信息匹配的候选检索图像。其中,与第一外观呈现信息匹配的候选检索图像指的是数据检索库中对象外观呈现信息与第一外观呈现信息相似或一致的检索图像。
[0055] 数据检索库也可以按照对象的身份、外观呈现标签存储检索图像,其中,外观呈现标签可以包括外观呈现尺寸标签、外观呈现姿态标签、外观呈现截断比例标签、外观截断部位标签等。
[0056] 比如,可以将具有相同身份标识的检索图像存储在一个文件夹,或者可以将具有相似外观呈现标签对应的检索图像存储在一个文件夹。总之,不管怎么存储,一个检索图像至少可以对应两种信息,分别为身份标识和外观呈现标签,可以基于身份标识和/或外观呈现标签在数据检索库中查找到相应的检索图像。
[0057] 由于两张图像中对象的呈现形式不一致,会影响目标再识别的准确率,因此,可以获取数据检索库中与第一外观呈现信息匹配的候选检索图像,以将比对的两张图像在对象图像内容的呈现形式上尽可能对齐,从而可以减少对象图像内容的呈现形式的因素对内容本身的干扰。
[0058] 其中,数据检索库中与第一外观呈现信息匹配的候选检索图像可以包括一个或多个,在候选检索图像包括多个的情况下,可以包括一种类型或两种类型的候选检索图像。
[0059] 第一种类型的候选检索图像可以称之为第一候选检索图像,指的是第一目标外观呈现标签对应的候选检索图像,第一目标外观呈现标签指的是与第一外观呈现信息非常相似的外观呈现标签,即第一目标外观呈现标签与第一外观呈现信息的相似度大于或等于第六预设阈值,第六预设阈值通常比较大,如90%。在确定数据检索库中存在检索图像对应第一目标外观呈现标签时,则获取数据检索库中第一目标外观呈现标签对应的检索图像作为第一候选检索图像。
[0060] 第二种类型的候选检索图像可以称之为第二候选检索图像,指的是第二目标外观呈现标签对应的候选检索图像,第二目标外观呈现标签指的是与第一外观呈现信息比较相似的外观呈现标签,即第二目标外观呈现标签与第一外观呈现信息的相似度大于或等于第一预设阈值,且小于第六预设阈值。第六预设阈值大于第一预设阈值,且第一预设阈值不能过小,否则会将数据检索库中,对象的呈现形式与待识别图像中对象的呈现形式不一致的检索图像作为候选检索图像,不利用目标再识别给出正确识别结果。在确定数据检索库中存在检索图像对应第二目标外观呈现标签时,则获取数据检索库中第二目标外观呈现标签对应的检索图像作为第二候选检索图像。
[0061] 可以通过计算外观呈现标签与第一外观呈现信息之间的距离,来确定外观呈现标签与第一外观呈现信息之间的相似度,即相似度等于1减去距离。
[0062] 外观呈现标签与第一外观呈现信息之间的距离可以通过距离公式计算,具体可以分别计算外观呈现尺寸与外观呈现尺寸标签之间的距离,计算外观呈现姿态和外观呈现姿态标签之间的距离,计算外观呈现截断比例与外观呈现截断比例标签之间的距离,以及计算外观截断部位与外观截断部位标签之间的距离,将这些距离的和,或距离的平均值确定为外观呈现标签与第一外观呈现信息之间的距离。
[0063] 步骤S104:基于所述候选检索图像对所述待识别图像进行目标再识别。
[0064] 该步骤中,实质是通过比对候选检索图像与待识别图像之间的特征相似度,来判断两张图像中的对象是否为同一对象,在对象为人物的情况下,即判断两张图像中的人体是否为同一人。
[0065] 具体的,可以通过再识别模型分别提取候选检索图像的特征和待识别图像的特征,通过现有的或者新的距离计算算法,计算候选检索图像的特征和待识别图像的特征之间的距离,以确定候选检索图像的特征和待识别图像的特征之间的特征相似度。
[0066] 在特征相似度大于一预设阈值的情况下,可以确定候选检索图像中对象与待识别图像中对象为同一对象,否则可以被认定为不为同一对象。该预设阈值可以根据实际情况进行设定,且候选检索图像的类型不同,该预设阈值也可以不同,当候选检索图像对应的外观呈现标签与第一外观呈现信息越相似时,预设阈值应当越大。
[0067] 在候选检索图像的数量为多个的情况下,可以分别确定每张候选检索图像的特征和待识别图像的特征之间的特征相似度,并分别基于特征相似度确定每张候选检索图像中对象与待识别图像中对象是否为同一对象。
[0068] 本实施例中,通过获取待识别图像,所述待识别图像包括目标对象的图像内容;识别所述目标对象对应的第一外观呈现信息,所述第一外观呈现信息用于表征所述目标对象的外观在所述待识别图像中的呈现形式;获取数据检索库中与所述第一外观呈现信息匹配的候选检索图像;基于所述候选检索图像对所述待识别图像进行目标再识别。如此,可以将比对的两张图像在对象图像内容的呈现形式上尽可能对齐,从而可以减少对象图像内容的呈现形式的因素对内容本身的干扰,进而可以提高目标再识别的准确率。
[0069] 并且,通过获取数据检索库中与所述第一外观呈现信息匹配的候选检索图像,基于候选检索图像对所述待识别图像进行目标再识别,可以减少图像比对的次数,从而可以提高目标再识别的识别效率。
[0070] 另外,若第一外观呈现信息表征目标对象的外观呈现尺寸比较小,或者第一外观呈现信息表征目标对象的外观呈现截断比例比较大,在一实施场景中,为了保证数据检索库中的检索图像质量,可以将待识别图像认定为低质量图像,不执行入库操作。在另一实施场景如安防场景中,则可以比对特征相似度时降低预设阈值,判断两张图像中的对象是否为同一对象,之后由人工作出最终判断。
[0071] 可选的,所述数据检索库包括M个检索图像和所述M个检索图像对应的K个外观呈现标签,一个检索图像对应至少一个外观呈现标签,M为正整数,K为大于或等于M的正整数,所述步骤S103具体包括:
[0072] 确定所述第一外观呈现信息与每个外观呈现标签之间的外观呈现相似度,得到所述K个外观呈现标签一一对应的K个外观呈现相似度;
[0073] 在所述K个外观呈现相似度中存在大于第一预设阈值的目标外观呈现相似度的情况下,将所述M个检索图像中目标外观呈现标签对应的检索图像确定为候选检索图像,所述目标外观呈现标签为所述K个外观呈现标签中所述目标外观呈现相似度对应的外观呈现标签。
[0074] 本实施方式中,数据检索库中可以包括M个检索图像,每个检索图像中包括至少一个对象的图像内容,因此,每个检索图像可以对应至少一个外观呈现标签。
[0075] 可以确定第一外观呈现信息与每个外观呈现标签之间的外观呈现相似度,以确定目标对象的呈现形式与数据检索库中每个对象的呈现形式是否统一。
[0076] 可以通过计算外观呈现标签与第一外观呈现信息之间的距离,来确定外观呈现标签与第一外观呈现信息之间的相似度,即相似度等于1减去距离。
[0077] 外观呈现标签与第一外观呈现信息之间的距离可以通过距离公式计算,具体可以分别计算外观呈现尺寸与外观呈现尺寸标签之间的距离,计算外观呈现姿态和外观呈现姿态标签之间的距离,计算外观呈现截断比例与外观呈现截断比例标签之间的距离,以及计算外观截断部位与外观截断部位标签之间的距离,将这些距离的和,或距离的平均值确定为外观呈现标签与第一外观呈现信息之间的距离。
[0078] 在K个外观呈现相似度中存在大于或等于第一预设阈值的目标外观呈现相似度的情况下,则确定数据检索库中存在与第一外观呈现信息匹配的候选检索图像。
[0079] 其中,候选检索图像的类型可以包括两种,第一种类型的候选检索图像可以称之为第一候选检索图像,指的是第一目标外观呈现标签对应的候选检索图像,第一目标外观呈现标签指的是与第一外观呈现信息非常相似的外观呈现标签,即第一目标外观呈现标签与第一外观呈现信息之间的相似度大于或等于第六预设阈值,第六预设阈值通常比较大,如90%。在确定数据检索库中存在检索图像对应第一目标外观呈现标签时,则获取数据检索库中第一目标外观呈现标签对应的检索图像作为第一候选检索图像。
[0080] 第二种类型的候选检索图像可以称之为第二候选检索图像,指的是第二目标外观呈现标签对应的候选检索图像,第二目标外观呈现标签指的是与第一外观呈现信息比较相似的外观呈现标签,即第二目标外观呈现标签与第一外观呈现信息之间的相似度大于或等于第一预设阈值,且小于第六预设阈值。第六预设阈值大于第一预设阈值,且第一预设阈值不能过小,否则会将数据检索库中,对象的呈现形式与待识别图像中对象的呈现形式不一致的检索图像作为候选检索图像,不利用目标再识别给出正确识别结果。在确定数据检索库中存在检索图像对应第二目标外观呈现标签时,则获取数据检索库中第二目标外观呈现标签对应的检索图像作为第二候选检索图像。
[0081] 需要说明的是,在候选检索图像包括多个对象的图像内容,且存在至少两个对象的外观呈现标签均与第一外观呈现信息之间的外观呈现相似度大于或等于第一预设阈值的情况下,后续图像比对时,针对该候选检索图像,可以分别将该候选检索图像中每个对象的图像内容对应的特征与待识别图像中目标对象的图像内容对应的特征进行比对,以确定该候选检索图像中每个对象与目标对象的关系。
[0082] 本实施方式中,通过确定所述第一外观呈现信息与每个外观呈现标签之间的外观呈现相似度,得到所述K个外观呈现标签一一对应的K个外观呈现相似度;在所述K个外观呈现相似度中存在大于或等于第一预设阈值的目标外观呈现相似度的情况下,将所述M个检索图像中目标外观呈现标签对应的检索图像确定为候选检索图像,所述目标外观呈现标签为所述K个外观呈现标签中所述目标外观呈现相似度对应的外观呈现标签。如此,可以提高图像检索的效率,从而可以提高目标再识别的识别效率。
[0083] 可选的,所述步骤S103之前,所述方法还包括:
[0084] 获取待入库图像和所述待入库图像对应的第二外观呈现信息;
[0085] 在所述第二外观呈现信息满足预设条件的情况下,确定所述待入库图像中对象的标识信息;
[0086] 基于所述标识信息将所述待入库图像和所述第二外观呈现信息对应存储至所述数据检索库中;
[0087] 其中,所述预设条件包括以下至少一项:
[0088] 所述第二外观呈现信息表征的对象的外观呈现尺寸小于第二预设阈值;
[0089] 所述第二外观呈现信息表征的对象的外观呈现截断比例大于第三预设阈值。
[0090] 本实施方式中,待入库图像在入库之前,均需要执行入库操作,一方面,确定待入库图像对应的第二外观呈现信息,以使第二外观呈现信息与待入库图像进行关联存储,另一方面,可以基于第二外观呈现信息检测待入库图像的质量,将低质量的图像过滤,而将符合要求的图像作为数据检索库中的检索图像,以被反复检索来进行目标再识别。
[0091] 待入库图像的获取方式与待识别图像的获取方式类似,这里不进行赘述。
[0092] 在一可选实施方式中,如图2所示,可以通过尺寸判别器来确定对象在待入库图像中的外观呈现尺寸,该判别器可以是根据图像尺寸进行判断的逻辑代码,也可以是通过模型用来精确判断图像中实际人体部分的大小和模糊程度等等。当判别对象在待入库图像中的外观呈现尺寸过小时,可以认定该待入库图像为低质量图像,直接被废弃,不再执行后续的入库操作。
[0093] 可以通过截断判别器来确定对象在待入库图像中的外观截断部位以及外观呈现截断比例。该截断判别器可以为预先训练的模型,用来判断一张图像中,对象是否有截断,以及若有截断,外观截断部位和外观呈现截断比例。如果判定外观呈现截断比例超过某一阈值,可以认定该待入库图像为低质量图像,直接被废弃,不再执行后续的入库操作。
[0094] 上述通过尺寸判别器和截断判别器来确定待入库图像对应的第二外观呈现信息的先后执行顺序可以不限定,可以先判别外观呈现尺寸,也可以先判别外观呈现截断比例,亦或是同时判别。
[0095] 之后,可以通过朝向判别器来确定对象在待识别图像中的外观朝向。该朝向判别器可以为预先训练的模型,用来判断图像中对象如人体的朝向是正面、背面还是侧面。
[0096] 在确定第二外观呈现信息的情况下,若第二外观呈现信息表征对象在待入库图像中的呈现形式满足要求,即第二外观呈现信息表征的对象外观呈现尺寸小于第二预设阈值和第二外观呈现信息表征的对象外观呈现截断比例大于第三预设阈值,此时,可以确定所述待入库图像中对象的标识信息。其中,第二预设阈值和第三预设阈值可以根据实际情况进行设置,这里不进行具体限定。
[0097] 对象以人物为例,待入库图像中对象的标识信息可以指的是对象的身份信息,可以通过再识别模型来识别对象的身份信息。
[0098] 如图2所示,再识别模型可以提取待入库图像的特征和数据检索库中与第二外观呈现信息匹配的检索图像的特征,并比对特征,以确定待入库图像中对象的身份信息。若数据检索库中不存在与第二外观呈现信息匹配的检索图像,则可以降低匹配的标准和预设阈值来比对待入库图像的特征和数据检索库中其他外观呈现标签下的检索图像的特征,以确定待入库图像中对象的身份信息。
[0099] 可以将数据检索库中的检索图像按照身份和外观呈现标签进行组织存放,如可以将具有相同身份标识的检索图像存储在一个文件夹,或者可以将具有相似外观呈现标签对应的检索图像存储在一个文件夹。若数据检索库中存在与待入库图像中对象同一身份的对象,但是不包括与待入库图像相似的图像,则可以将待入库图像入库,入库时同样可以按照身份和外观呈现标签归档进入相应子类别如相应文件夹中。若数据检索库中不存在与待入库图像中对象同一身份的对象,则可以将待入库图像中对象标识一个新的身份,并将待入库图像入库。
[0100] 本实施方式中,通过获取待入库图像和所述待入库图像对应的第二外观呈现信息;在所述第二外观呈现信息满足预设条件的情况下,确定所述待入库图像中对象的标识信息;基于所述标识信息将所述待入库图像和所述第二外观呈现信息对应存储至所述数据检索库中;所述预设条件包括以下至少一项:所述第二外观呈现信息表征的对象的外观呈现尺寸小于第二预设阈值;所述第二外观呈现信息表征的对象的外观呈现截断比例大于第三预设阈值。如此,一方面,可以使数据检索库中外观呈现标签与检索图像关联存储,另一方面,可以保证数据检索库中检索图像的质量,从而避免检索图像质量比较差而影响目标再识别的识别准确率,从根源上将低质量图像过滤掉,从而可以进一步提高目标再识别的识别准确率。
[0101] 可选的,所述步骤S104具体包括:
[0102] 对所述候选检索图像进行特征提取,得到第一特征;以及对所述待识别图像进行特征提取,得到第二特征;
[0103] 确定所述第一特征和所述第二特征的特征相似度;
[0104] 基于所述特征相似度确定所述目标对象与所述候选检索图像中对象的关系,所述关系表征所述目标对象与所述候选检索图像中对象是否属于同一对象。
[0105] 本实施方式中,通过对所述候选检索图像进行特征提取,得到第一特征;以及对所述待识别图像进行特征提取,得到第二特征;确定所述第一特征和所述第二特征的特征相似度;基于所述特征相似度确定所述目标对象与所述候选检索图像中对象的关系,所述关系表征所述目标对象与所述候选检索图像中对象是否属于同一对象。如此,可以实现对待识别图像的目标再识别。
[0106] 可选的,所述基于所述特征相似度确定所述目标对象与所述候选检索图像中对象的关系,包括如下至少一项:
[0107] 在所述候选检索图像为第一候选检索图像的情况下,若所述特征相似度大于第四预设阈值,确定所述目标对象与所述候选检索图像中对象属于同一对象;
[0108] 在所述候选检索图像为第二候选检索图像的情况下,若所述特征相似度大于第五预设阈值,确定所述目标对象与所述候选检索图像中对象属于同一对象;
[0109] 其中,所述第一候选检索图像对应的目标外观呈现相似度大于所述第二候选检索图像对应的目标外观呈现相似度,所述目标外观呈现相似度为所述第一外观呈现信息与所述候选检索图像对应的外观呈现标签之间的外观呈现相似度,所述第四预设阈值大于所述第五预设阈值。
[0110] 本实施方式中,候选检索图像可以仅包括第一候选检索图像,在该种情况下,可以按照严格阈值即比较大的阈值进行特征相似度的判别,在特征相似度大于第四预设阈值的情况下,才说明第一特征和第二特征相似,确定目标对象与候选检索图像中对象属于同一对象。
[0111] 候选检索图像也可以仅包括第二候选检索图像,在该种情况下,可以按照较宽松阈值即相对低于第四预设阈值的阈值进行特征相似度的判别,在特征相似度大于第五预设阈值的情况下,即可说明第一特征和第二特征相似,确定目标对象与候选检索图像中对象属于同一对象。为了保证判别结果的准确性,在该种情况下,还可以由人工进行最终判断。
[0112] 候选检索图像也可以同时包括第一候选检索图像和第二候选检索图像,在该种情况下,可以按照严格阈值进行第一候选检索图像的特征和待识别图像的特征之间的特征相似度的判别,同时按照较宽松阈值进行第二候选检索图像的特征和待识别图像的特征之间的特征相似度的判别。
[0113] 本实施方式中,可以根据候选检索图像的类型,采用不同大小的预设阈值来进行两张图像的特征相似度的判别,这样在保证目标再识别的识别准确率的同时,还可以降低目标再识别的漏检概率。
[0114] 第二实施例
[0115] 如图3所示,本公开提供一种目标再识别装置300,包括:
[0116] 第一获取模块301,用于获取待识别图像,所述待识别图像包括目标对象的图像内容;
[0117] 识别模块302,用于识别所述目标对象对应的第一外观呈现信息,所述第一外观呈现信息用于表征所述目标对象的外观在所述待识别图像中的呈现形式;
[0118] 第二获取模块303,用于获取数据检索库中与所述第一外观呈现信息匹配的候选检索图像;
[0119] 目标再识别模块304,用于基于所述候选检索图像对所述待识别图像进行目标再识别。
[0120] 可选的,所述数据检索库包括M个检索图像和所述M个检索图像对应的K个外观呈现标签,一个检索图像对应至少一个外观呈现标签,M为正整数,K为大于或等于M的正整数,所述第二获取模块303,具体用于:
[0121] 确定所述第一外观呈现信息与每个外观呈现标签之间的外观呈现相似度,得到所述K个外观呈现标签一一对应的K个外观呈现相似度;
[0122] 在所述K个外观呈现相似度中存在大于第一预设阈值的目标外观呈现相似度的情况下,将所述M个检索图像中目标外观呈现标签对应的检索图像确定为候选检索图像,所述目标外观呈现标签为所述K个外观呈现标签中所述目标外观呈现相似度对应的外观呈现标签。
[0123] 可选的,所述装置还包括:
[0124] 第三获取模块,用于获取待入库图像和所述待入库图像对应的第二外观呈现信息;
[0125] 确定模块,用于在所述第二外观呈现信息满足预设条件的情况下,确定所述待入库图像中对象的标识信息;
[0126] 存储模块,用于基于所述标识信息将所述待入库图像和所述第二外观呈现信息对应存储至所述数据检索库中;
[0127] 其中,所述预设条件包括以下至少一项:
[0128] 所述第二外观呈现信息表征的对象的外观呈现尺寸小于第二预设阈值;
[0129] 所述第二外观呈现信息表征的对象的外观呈现截断比例大于第三预设阈值。
[0130] 可选的,所述目标再识别模块304,包括:
[0131] 特征提取单元,用于对所述候选检索图像进行特征提取,得到第一特征;以及对所述待识别图像进行特征提取,得到第二特征;
[0132] 第一确定单元,用于确定所述第一特征和所述第二特征的特征相似度;
[0133] 第二确定单元,用于基于所述特征相似度确定所述目标对象与所述候选检索图像中对象的关系,所述关系表征所述目标对象与所述候选检索图像中对象是否属于同一对象。
[0134] 可选的,所述第二确定单元,具体用于:
[0135] 在所述候选检索图像为第一候选检索图像的情况下,若所述特征相似度大于第四预设阈值,确定所述目标对象与所述候选检索图像中对象属于同一对象;
[0136] 在所述候选检索图像为第二候选检索图像的情况下,若所述特征相似度大于第五预设阈值,确定所述目标对象与所述候选检索图像中对象属于同一对象;
[0137] 其中,所述第一候选检索图像对应的目标外观呈现相似度大于所述第二候选检索图像对应的目标外观呈现相似度,所述目标外观呈现相似度为所述第一外观呈现信息与所述候选检索图像对应的外观呈现标签之间的外观呈现相似度,所述第四预设阈值大于所述第五预设阈值。
[0138] 本公开提供的目标再识别装置300能够实现目标再识别方法实施例实现的各个过程,且能够达到相同的有益效果,为避免重复,这里不再赘述。
[0139] 本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
[0140] 根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0141] 图4示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0142] 如图4所示,设备400包括计算单元401,其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序,来执行各种适当的动作和处理。在RAM 403中,还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
[0143] 设备400中的多个部件连接至I/O接口405,包括:输入单元406,例如键盘、鼠标等;输出单元407,例如各种类型的显示器、扬声器等;存储单元408,例如磁盘、光盘等;以及通信单元409,例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0144] 计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理,例如目标再识别方法。例如,在一些实施例中,目标再识别方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元408。在一些实施例中,计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时,可以执行上文描述的目标再识别方法的一个或多个步骤。备选地,在其他实施例中,计算单元401可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行目标再识别方法。
[0145] 本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0146] 用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0147] 在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD‑ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0148] 为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0149] 可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
[0150] 计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端‑服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
[0151] 应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
[0152] 上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。