本发明公开了一种单目标多图像联合检索的方法和装置。该方法包括：接收包括同一个检索目标的多张图像；分别生成所述多张图像的差异性权重；根据所述差异性权重，融合所述多张图像中的所述检索目标的特征，生成特征集合；基于所述特征集合在图像数据库中进行检索获得第一检索结果；根据所述差异性权重，对所述第一检索结果进行加权融合，输出加权融合后的第二检索结果。通过对检索目标的多个样本提取差异性权重和特征集合，基于特征集合进行检索，将差异性权重加权到检索的结果中；融合了单个目标多张样本进行检索，检索结果更加直观，查准率和查全率更高。
1.一种单目标多图像联合检索的方法，其特征在于，包括：接收包括同一个检索目标的多张图像；
根据所述差异性权重，融合所述多张图像中的所述检索目标的特征，生成特征集合；
基于所述特征集合在图像数据库中进行检索获得第一检索结果；
根据所述差异性权重，对所述第一检索结果进行加权融合，输出加权融合后的第二检索结果。
2.根据权利要求1所述的方法，其特征在于，所述分别生成所述多张图像的差异性权重，包括：提取所述检索目标的局部特征，对所述局部特征进行压缩编码，生成目标模型；
对所述目标模型进行检索返回任意两个目标模型的相似度从高到低的排序；所述相似度为预设相似度阈值截断的相似度；
计算所述相似度排序中每个目标模型与其他目标模型的平均相似度；
根据所述平均相似度计算平均差异度，对所述平均差异度做L2归一化获得差异性权重。
3.根据权利要求1所述的方法，其特征在于，所述根据所述差异性权重，融合所述多张图像中的所述检索目标的特征，生成特征集合，包括：离线训练得到所述检索目标的所有特征的特征词袋中心；
根据所述特征之间的距离剔除特征词袋中心的冗余信息得到特征集合。
4.根据权利要求1所述的方法，其特征在于，所述根据所述差异性权重，对所述第一检索结果进行加权融合，输出加权融合后的第二检索结果，包括：将所述差异性权重对所述第一检索结果进行加权融合，输出加权融合后相似度从高到低的排序。
5.根据权利要求2所述的方法，其特征在于，所述平均相似度 0≤i,j＜k且i≠j；
其中k表示检索目标的样本总数，si,j表示样本i和样本j的相似度；wi表示差异性权重。
6.根据权利要求3所述的方法，其特征在于，所述离线训练的方式包括kmeans和GMM；
所述分别计算所述特征与特征词袋中心的隶属状态，包括：分别计算所述特征与特征词袋中心的欧式距离的最近邻，根据所述最近邻统计隶属情况；
所述根据所述特征之间的距离剔除特征词袋中心的冗余信息得到特征集合，包括：将隶属于相同的特征词袋中心的特征计算两两之间的距离，对距离小于指定阈值的所有特征进行均值融合，用融合后的特征替换原始的特征；
其中，所述特征的特征词袋中心的计算公式为：所述特征之间距离的计算公式为：
其中，fi,j(0≤i＜n,0≤j＜d)表示特征，ci,j(0≤i≤m,0≤j＜d)表示词袋中心；k表示检索目标的样本总数；n表示特征总数，m表示特征词袋中心的数目；d表示特征的维数；nthd,i表示距离小于指定阈值的特征的数目。
7.根据权利要求1所述的方法，其特征在于，所述加权融合后的相似度的计算，包括：其中，wi表示差异性权重，ti,j表示第一检索结果中图像与检索目标的相似度，k表示检索目标的样本总数；l表示第一检索结果中图像的总数。
8.一种单目标多图像联合检索的装置，其特征在于，包括：检索目标接收单元，用于接收包括同一个检索目标的多张图像；
差异性权重计算单元，用于分别生成所述多张图像的差异性权重；
特征集合生成单元，用于根据所述差异性权重，融合所述多张图像中的所述检索目标的特征，生成特征集合；
初级检索单元，用于基于所述特征集合在图像数据库中进行检索获得第一检索结果；
加权融合单元，用于根据所述差异性权重，对所述第一检索结果进行加权融合，输出加权融合后的第二检索结果。
9.根据权利要求8所述的装置，其特征在于，所述差异性权重计算单元，包括：目标模型生成模块，用于提取所述检索目标的局部特征，对所述局部特征进行压缩编码，生成目标模型；
相似度截断模块，用于对所述目标模型进行检索返回任意两个目标模型的相似度从高到低的排序；所述相似度为预设相似度阈值截断的相似度；
相似度累加模块，用于计算所述相似度排序中每个目标模型与其他目标模型的平均相似度；
差异度归一化模块，用于根据所述平均相似度计算平均差异度，对所述平均差异度做L2归一化获得差异性权重。
10.根据权利要求8所述的装置，其特征在于，所述特征集合生成单元，包括：离线训练模块，用于离线训练得到所述检索目标的所有特征的特征词袋中心；
隶属状态判断模块，用于分别计算所述特征与所述特征词袋中心的隶属状态；
冗余剔除模块，用于根据所述特征之间的距离剔除特征词袋中心的冗余信息得到特征集合。
11.根据权利要求9所述的装置，其特征在于，所述加权融合单元，具体用于：将所述差异性权重对所述第一检索结果进行加权融合，输出加权融合后相似度从高到低的排序。
12.根据权利要求9所述的装置，其特征在于，所述平均相似度 0≤i,j＜k且i≠j；
其中k表示检索目标的样本总数，si,j表示样本i和样本j的相似度；wi表示差异性权重。
13.根据权利要求10所述的装置，其特征在于，所述离线训练的方式包括kmeans和GMM；
分别计算所述特征与特征词袋中心的欧式距离的最近邻，根据所述最近邻统计隶属情况；
将隶属于相同的特征词袋中心的特征计算两两之间的距离，对距离小于指定阈值的所有特征进行均值融合，用融合后的特征替换原始的特征；
其中，所述特征的特征词袋中心的计算公式为：所述特征之间距离的计算公式为：
其中，fi,j(0≤i＜n,0≤j＜d)表示特征，ci,j(0≤i≤m,0≤j＜d)表示词袋中心；k表示检索目标的样本总数；n表示特征总数，m表示特征词袋中心的数目；d表示特征的维数；nthd,i表示距离小于指定阈值的特征的数目。
14.根据权利要求8所述的装置，其特征在于，所述加权融合后的相似度的计算具体为：其中，wi表示差异性权重，ti,j表示第一检索结果中图像与检索目标的相似度，k表示检索目标的样本总数；l表示第一检索结果中图像的总数。
一种单目标多图像联合检索的方法和装置
技术领域
[0001] 本发明涉及图像处理领域，尤其涉及一种单目标多图像联合检索的方法和装置。
背景技术
[0002] 图像检索在视频监控、智能分析、模式识别等应用领域有着广泛的应用。现有的图像检索一般是通过提取一张图像提取特征，在数据库上进行检索。在视频监控场景中，视频数据，图像数据数量庞大。用户所掌握的包含同一目标的各种光照条件，各种角度下的图像可能很多。常用的做法是用户一张一张的检索，查看检索结果。
[0003] 现有的检索方案无法将一个目标的多张查询图像的结果融合，并且对于相同目标在不同光照条件和角度下的查全率较低。
发明内容
[0004] 本发明的目的是提供一种单目标多图像联合检索的方法和装置，其通过对多个样本提取差异性权重和特征集合，基于特征集合进行检索，将差异性权重加权到检索的结果中；融合了单个目标多张样本进行检索，检索结果更加直观，查准率和查全率更高。
[0005] 为实现上述目的，具体采用以下技术方案：
[0006] 一方面采用一种单目标多图像联合检索的方法，包括：
[0007] 接收包括同一个检索目标的多张图像；
[0008] 分别生成所述多张图像的差异性权重；
[0009] 根据所述差异性权重，融合所述多张图像中的所述检索目标的特征，生成特征集合；
[0010] 基于所述特征集合在图像数据库中进行检索获得第一检索结果；
[0011] 根据所述差异性权重，对所述第一检索结果进行加权融合，输出加权融合后的第二检索结果。
[0012] 另一方面采用一种单目标多图像联合检索的装置，包括：
[0013] 检索目标接收单元，用于接收包括同一个检索目标的多张图像；
[0014] 差异性权重计算单元，用于分别生成所述多张图像的差异性权重；
[0015] 特征集合生成单元，用于根据所述差异性权重，融合所述多张图像中的所述检索目标的特征，生成特征集合；
[0016] 初级检索单元，用于基于所述特征集合在图像数据库中进行检索获得第一检索结果；
[0017] 加权融合单元，用于根据所述差异性权重，对所述第一检索结果进行加权融合，输出加权融合后的第二检索结果。
[0018] 本发明的有益效果在于：通过对检索目标的多个样本提取差异性权重和特征集合，基于特征集合进行检索，将差异性权重加权到检索的结果中；融合了单个目标多张样本进行检索，检索结果更加直观，查准率和查全率更高。
附图说明
[0019] 图1是本发明具体实施方式中提供的一种单目标多图像联合检索的方法的第一实施例的方法流程图。
[0020] 图2是本发明具体实施方式中提供的一种单目标多图像联合检索的方法的第二实施例的方法流程图。
[0021] 图3是本发明具体实施方式中提供的一种单目标多图像联合检索的装置的第一实施例的结构方框图。
[0022] 图4是本发明具体实施方式中提供的一种单目标多图像联合检索的装置的第二实施例的结构方框图。
具体实施方式
[0023] 为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
[0024] 请参考图1，其是本发明具体实施方式中提供的一种单目标多图像联合检索的方法的第一实施例的方法流程图。本实施例中的方法，主要用于各种视频，特别是监控视频的中的图像检索。如图所示，该方法，包括：
[0025] 步骤S101：接收包括同一个检索目标的多张图像。
[0026] 对于检索目标而言，从单张图像中提取的特征不足以对其进行全面描述。当检索目标所在的环境或局部特征发生变化时，可能导致检索不全或不准。在本方案中，接收同一个检索目标的多张图像，从多张图像中综合提取检索目标的特征，在多方位特征提取的基础上对检索目标进行多方位检索，提高检索的全面性。
[0027] 步骤S102：分别生成所述多张图像的差异性权重。
[0028] 图像之间的差异性(或相似性)通过图像检索方法实现，相当于先在多图像中携带的所有样本之间做一小范围的图像检索。
[0029] 步骤S103：根据所述差异性权重，融合所述多张图像中的所述检索目标的特征，生成特征集合。
[0030] 对单个目标多个样本进行特征提取和特征融合，生成更全面描述该目标的特征。
[0031] 步骤S104：基于所述特征集合在图像数据库中进行检索获得第一检索结果。
[0032] 利用融合后的特征集合在整个图像数据库中查找与检索目标相关的图像，检索方式与步骤S101中的检索方式相同，图像检索在现有技术中有各种实现，在此不做进一步说明。
[0033] 步骤S105：根据所述差异性权重，对所述第一检索结果进行加权融合，输出加权融合后的第二检索结果。
[0034] 将差异性权重对第一检索结果进行加权融合之后，能够判断出多特征角度下检索结果的准确度，获得更加全面的判断结果。
[0035] 综上所述，通过对检索目标的多个样本提取差异性权重和特征集合，基于特征集合进行检索，将差异性权重加权到检索的结果中；融合了单个目标多张样本进行检索，检索结果更加直观，查准率和查全率更高。
[0036] 请参考图2，其是发明具体实施方式中提供的一种单目标多图像联合检索的方法的第二实施例的方法流程图，如图所示，该方法包括：
[0037] 步骤S201：接收包括同一个检索目标的多张图像。
[0038] 多张图像最好是有一定区别的图像，例如对车辆的不同角度、不同光照、不同背景下采集到的图像。
[0039] 步骤S202：提取所述检索目标的局部特征，对所述局部特征进行压缩编码，生成目标模型。
[0040] 对输入的多个目标区域图像提取局部特征包含但不限于SIFT，SURF等局部特征。对提取的局部特征利用离线训练好的模型利用包含但不限于视觉词袋(BOW)，汉明嵌入，局部敏感哈希，CDVS(图像检索紧凑描述)方法进行编码压缩，生成目标模型。
[0041] 步骤S203：对所述目标模型进行检索返回任意两个目标模型的相似度从高到低的排序；所述相似度为预设相似度阈值截断的相似度。
[0042] 检索时利用包含但不限于视觉词袋(BOW)，汉明嵌入，局部敏感哈希，CDVS(图像检索紧凑描述)方法进行检索，返回指定相似度阈值截断的图像相似度从高到低的排序。
[0043] 步骤S204：计算所述相似度排序中每个目标模型与其他目标模型的平均相似度。
[0044] 所述平均相似度 且i≠j。
[0045] 步骤S205：根据所述平均相似度计算平均差异度，对所述平均差异度做L2归一化获得差异性权重。
[0046] 所述平均差异度ti＝1-ri,0≤i＜k；
[0047] 所述L2归一化具体为：
[0048]
[0049] wi＝ti/sum,0≤i＜k；
[0050] 其中k表示检索目标的样本总数，si,j表示样本i和样本j的相似度；wi表示差异性权重。
[0051] 对输入的同一个检索目标的多个样本之间的差异性进行描述，对每一个样本利用图像检索方法计算出与其他样本的相似度，与其他样本相似度高的，差异性权重小，与其他样本相似度低的，差异性权重大。
[0052] 假定给定了单目标的k(k>1)个不同光照条件和角度的样本，在这k个样本图像集内利用图像检索算法计算出与其他样本的相似度，得到除与自身之外的两两之间的相似度si,j，0≤i,j＜k且i≠j，计算与其他样本的相似度即可得到平均相似度ri。
[0053] 步骤S206：离线训练得到所述检索目标的所有特征的特征词袋中心。
[0054] 所述离线训练的方式包括kmeans和GMM。
[0055] 步骤S207：分别计算所述特征与所述特征词袋中心的隶属状态。
[0056] 分别计算所述特征与特征词袋中心的欧式距离的最近邻，根据所述最近邻统计隶属情况。
[0057] 步骤S208：根据所述特征之间的距离剔除特征词袋中心的冗余信息得到特征集合。
[0058] 特征之间的距离用于描述特征之间的相似度，距离越大，相似度越小；距离越小，相似度越大；如果距离为0，那么说明两者完全一样。将隶属于相同的特征词袋中心的特征计算两两之间的距离，对距离小于指定阈值的所有特征进行均值融合，用融合后的特征替换原始的特征。
[0059] 特征的特征词袋中心的计算公式为：
[0060]
[0061] 所述特征之间距离的计算公式为：
[0062]
[0063] 所述特征的均值融合的计算公式为：
[0064]
[0065] 其中，fi,j(0≤i＜n,0≤j＜d)表示特征，ci,j(0≤i≤m,0≤j＜d)表示词袋中心；k表示检索目标的样本总数；n表示特征总数，m表示特征词袋中心的数目；d表示特征的维数；nthd,i表示距离小于指定阈值的特征的数目。
[0066] 步骤S209：基于所述特征集合在图像数据库中进行检索获得第一检索结果。
[0067] 步骤S210：根据所述差异性权重，对所述第一检索结果进行加权融合，输出加权融合后相似度从高到低的排序。
[0068] 所述加权融合后的相似度的计算具体为：
[0069]
[0070] 其中，wi表示差异性权重，ti,j表示第一检索结果中图像与检索目标的相似度，k表示检索目标的样本总数；l表示第一检索结果中图像的总数。
[0071] 综上所述，通过对检索目标的多个样本提取差异性权重和特征集合，基于特征集合进行检索，将差异性权重加权到检索的结果中；融合了单个目标多张样本进行检索，检索结果更加直观，查准率和查全率更高。同时，实现各级数据处理的进一步限定也提高了方案的运算效率，完善了图片检索的查准率和查全率。
[0072] 以下是本发明具体实施方式中提供的一种单目标多图像联合检索的装置的实施例，单目标多图像联合检索的装置的实施例基于上述的单目标多图像联合检索的方法的实施例实现，在数单目标多图像联合检索的装置的实施例中未尽的阐述，请参考上述的单目标多图像联合检索的方法的实施例。
[0073] 请参考图3，其是本发明具体实施方式中提供的一种单目标多图像联合检索的装置的第一实施例的结构方框图，如图所示，该装置，包括：
[0074] 检索目标接收单元310，用于接收包括同一个检索目标的多张图像；
[0075] 差异性权重计算单元320，用于分别生成所述多张图像的差异性权重；
[0076] 特征集合生成单元330，用于根据所述差异性权重，融合所述多张图像中的所述检索目标的特征，生成特征集合；
[0077] 初级检索单元340，用于基于所述特征集合在图像数据库中进行检索获得第一检索结果；
[0078] 加权融合单元350，用于根据所述差异性权重，对所述第一检索结果进行加权融合，输出加权融合后的第二检索结果。
[0079] 综上所述，上述各单元的协同工作，通过对检索目标的多个样本提取差异性权重和特征集合，基于特征集合进行检索，将差异性权重加权到检索的结果中；融合了单个目标多张样本进行检索，检索结果更加直观，查准率和查全率更高。
[0080] 请参考图4，其是本发明具体实施方式中提供的一种单目标多图像联合检索的装置的第二实施例的结构方框图，如图所示，该装置，包括：
[0081] 检索目标接收单元310，用于接收包括同一个检索目标的多张图像；
[0082] 差异性权重计算单元320，用于分别生成所述多张图像的差异性权重；
[0083] 特征集合生成单元330，用于根据所述差异性权重，融合所述多张图像中的所述检索目标的特征，生成特征集合；
[0084] 初级检索单元340，用于基于所述特征集合在图像数据库中进行检索获得第一检索结果；
[0085] 加权融合单元350，用于根据所述差异性权重，对所述第一检索结果进行加权融合，输出加权融合后的第二检索结果。
[0086] 其中，所述差异性权重计算单元320，包括：
[0087] 目标模型生成模块321，用于提取所述检索目标的局部特征，对所述局部特征进行压缩编码，生成目标模型；
[0088] 相似度截断模块322，用于对所述目标模型进行检索返回任意两个目标模型的相似度从高到低的排序；所述相似度为预设相似度阈值截断的相似度；
[0089] 相似度累加模块323，用于计算所述相似度排序中每个目标模型与其他目标模型的平均相似度；
[0090] 差异度归一化模块324，用于根据所述平均相似度计算平均差异度，对所述平均差异度做L2归一化获得差异性权重。
[0091] 其中，所述特征集合生成单元330，包括：
[0092] 离线训练模块331，用于离线训练得到所述检索目标的所有特征的特征词袋中心；
[0093] 隶属状态判断模块332，用于分别计算所述特征与所述特征词袋中心的隶属状态；
[0094] 冗余剔除模块333，用于根据所述特征之间的距离剔除特征词袋中心的冗余信息得到特征集合。
[0095] 所述加权融合单元350，具体用于：
[0096] 将所述差异性权重对所述第一检索结果进行加权融合，输出加权融合后相似度从高到低的排序。
[0097] 其中，所述平均相似度 且i≠j；
[0098] 所述平均差异度ti＝1-ri,0≤i＜k；
[0099] 所述L2归一化具体为：
[0100]
[0101] wi＝ti/sum,0≤i＜k；
[0102] 其中k表示检索目标的样本总数，si,j表示样本i和样本j的相似度；wi表示差异性权重。
[0103] 其中，所述离线训练的方式包括kmeans和GMM；
[0104] 所述隶属状态判断模块332，具体用于：
[0105] 分别计算所述特征与特征词袋中心的欧式距离的最近邻，根据所述最近邻统计隶属情况；
[0106] 所述冗余剔除模块333，具体用于：
[0107] 将隶属于相同的特征词袋中心的特征计算两两之间的距离，对距离小于指定阈值的所有特征进行均值融合，用融合后的特征替换原始的特征。
[0108] 其中，所述特征的特征词袋中心的计算公式为：
[0109]
[0110] 所述特征之间距离的计算公式为：
[0111]
[0112] 所述特征的均值融合的计算公式为：
[0113]
[0114] 其中，fi,j(0≤i＜n,0≤j＜d)表示特征，ci,j(0≤i≤m,0≤j＜d)表示词袋中心；k表示检索目标的样本总数；n表示特征总数，m表示特征词袋中心的数目；d表示特征的维数；nthd,i表示距离小于指定阈值的特征的数目。
[0115] 其中，所述加权融合后的相似度的计算具体为：
[0116]
[0117] 其中，wi表示差异性权重，ti,j表示第一检索结果中图像与检索目标的相似度，k表示检索目标的样本总数；l表示第一检索结果中图像的总数。
[0118] 综上所述，上述功能模块的协同合作，通过对检索目标的多个样本提取差异性权重和特征集合，基于特征集合进行检索，将差异性权重加权到检索的结果中；融合了单个目标多张样本进行检索，检索结果更加直观，查准率和查全率更高。同时，实现各级数据处理的进一步限定也提高了方案的运算效率，完善了图片检索的查准率和查全率。
[0119] 应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
[0120] 尽管已经详细描述了本发明的实施方式，但是应该理解的是，在不偏离本发明的精神和范围的情况下，可以对本发明的实施方式做出各种改变、替换和变更。
