本发明公开了一种基于视觉特征与时空约束的行人再识别方法，包括以下步骤：利用训练好的图像分类器计算检索图像与行人图像数据集的第一视觉相似度；建立时空约束模型计算检索图像与行人图像数据集的时空概率；将所述第一视觉相似度以及所述时空概率进行融合，得到融合模型；基于所述融合模型计算所述检索图像与所述行人图像数据集的第二视觉相似度，并基于所述第二视觉相似度进行排序以得到行人识别结果。同时，还提出一种行人再识别系统，包括：视觉计算模块，时空计算模块，融合模块以及行人识别模块。本发明的有益效果是：通过结合所述第一视觉相似度以及所述时空概率，融合模型在识别行人图像的精确度上比单一的视觉模型有了极大的提升。
1.一种基于视觉特征与时空约束的行人再识别方法，其特征在于，包括以下步骤：利用训练好的图像分类器计算检索图像与行人图像数据集的第一视觉相似度；
建立时空约束模型计算所述检索图像与所述行人图像数据集的时空概率；
将所述第一视觉相似度以及所述时空概率进行融合，得到融合模型；
基于所述融合模型计算所述检索图像与所述行人图像数据集的第二视觉相似度，并基于所述第二视觉相似度进行排序以得到行人识别结果。
2.根据权利要求1所述的基于视觉特征与时空约束的行人再识别方法，其特征在于，所述基于所述第二视觉相似度进行排序以得到行人识别结果，之后还包括：基于所述行人识别结果进行学习排序；
将学习排序结果返还至所述图像分类器，基于所述学习排序结果对所述图像分类器进行训练以得到优化后的图像分类器；
将所述学习排序结果返还至所述时空约束模型，基于所述学习排序结果对所述时空约束模型进行训练以得到优化后的时空约束模型；
基于所述优化后的图像分类器以及优化后的时空约束模型对所述融合模型进行优化，得到优化后的融合模型。
3.根据权利要求2所述的基于视觉特征与时空约束的行人再识别方法，其特征在于，所述基于所述行人识别结果进行学习排序，包括：利用List-wise方法对所述行人识别结果进行排序。
4.根据权利要求1所述的基于视觉特征与时空约束的行人再识别方法，其特征在于，所述建立时空约束模型，具体包括：统计训练数据集中的同一个行人图像被不同摄像头拍摄到的时间差概率分布，基于所述概率分布建立所述时空约束模型。
5.根据权利要求1所述的基于视觉特征与时空约束的行人再识别方法，其特征在于，所述将所述第一视觉相似度以及所述时空概率进行融合，得到融合模型，具体包括：基于Boosting的算法将所述第一视觉相似度以及所述时空概率进行融合，所述融合模型为：基于Adaboost算法，计算α与β的值，得到所述融合模型；
6.根据权利要求1所述的基于视觉特征与时空约束的行人再识别方法，其特征在于，所述利用训练好的图像分类器计算检索图像与行人图像数据集的第一视觉相似度，之前还包括：利用带有平滑标签的数据集对二分类图像分类器进行训练，得到所述训练好的图像分类器。
7.一种基于视觉特征与时空约束的行人再识别系统，其特征在于，包括：视觉计算模块，用于根据训练好的图像分类器计算检索图像与行人图像数据集的第一视觉相似度；
时空计算模块，用于建立时空约束模型计算所述检索图像与所述行人图像数据集的时空概率；
融合模块，用于将所述第一视觉相似度以及所述时空概率进行融合，得到融合模型；
行人识别模块，用于基于所述融合模型计算所述检索图像与所述行人图像数据集的第二视觉相似度，并基于所述第二视觉相似度进行排序以得到行人识别结果。
8.根据权利要求7所述的基于视觉特征与时空约束的行人再识别系统，其特征在于，所述系统还包括优化模块，所述优化模块包括学习排序单元、第一优化单元、第二优化单元以及融合优化单元，其中：所述学习排序单元用于将所述行人识别结果进行学习排序；
所述第一优化单元用于根据所述学习排序结果对所述图像分类器进行训练以得到优化后的图像分类器；
所述第二优化单元用于根据所述学习排序结果对所述时空约束模型进行训练以得到优化后的时空约束模型；
所述融合优化单元用于基于所述优化后的图像分类器以及优化后的时空约束模型对所述融合模型进行优化，得到优化后的融合模型。
9.根据权利要求8所述的基于视觉特征与时空约束的行人再识别系统，其特征在于，所述学习排序单元包括排序计算单元，所述第一排序计算单元用于根据List-wise方法对所述行人识别结果进行排序。
10.根据权利要求7所述的基于视觉特征与时空约束的行人再识别系统，其特征在于，所述时空计算模块包括时空模型创建单元，所述时空模型创建单元用于统计训练数据集中的同一个行人图像被不同摄像头拍摄到的时间差概率分布，并基于所述概率分布建立所述时空约束模型。
一种基于视觉特征与时空约束的行人再识别方法及系统
技术领域
[0001] 本发明涉及图像识别技术领域，具体的说，是一种基于视觉特征与时空约束的行人再识别方法及系统。
背景技术
[0002] 近年来，视频监控在公共安全领域中发挥了重大的作用。在监控视频中，由于相机分辨率和拍摄角度的缘故，通常无法得到质量非常高的人脸图片。因此，当人脸识别失效的情况下，行人重识别技术在视频监控中发挥了非常关键的作用。
[0003] 但是，目前的行人再识别方法通常基于图像本身，提取视觉特征，训练图像分类器，对目标行人进行匹配。这种训练方法需要大量的有标签的图像数据，不仅获取这样的训练数据非常费时费力，而且这种图像分类器在实际应用中经常表现不佳。
发明内容
[0004] 本发明所要解决的技术问题是提供一种基于视觉特征与时空约束的行人再识别方法及系统，以提高行人再识别的效率以及准确度。
[0005] 本发明解决上述技术问题的技术方案如下：
[0006] 一种基于视觉特征与时空约束的行人再识别方法，包括以下步骤：
[0007] 利用训练好的图像分类器计算检索图像与行人图像数据集的第一视觉相似度；
[0008] 建立时空约束模型计算所述检索图像与所述行人图像数据集的时空概率；
[0009] 将所述第一视觉相似度以及所述时空概率进行融合，得到融合模型；
[0010] 基于所述融合模型计算所述检索图像与所述行人图像数据集的第二视觉相似度，并基于所述第二视觉相似度进行排序以得到行人识别结果。
[0011] 本发明的有益效果是：通过结合所述第一视觉相似度以及所述时空概率，即行人的视觉特征与摄像机网络中拍到该行人的时空约束结合，融合模型在识别行人图像的精确度上比单一的视觉模型有了极大的提升。
[0012] 在上述技术方案的基础上，本发明还可以做如下改进。
[0013] 进一步地，所述基于所述第二视觉相似度进行排序以得到行人识别结果，之后还包括：
[0014] 基于所述行人识别结果进行学习排序；
[0015] 将学习排序结果返还至所述图像分类器，基于所述学习排序结果对所述图像分类器进行训练以得到优化后的图像分类器；
[0016] 将所述学习排序结果返还至所述时空约束模型，基于所述学习排序结果对所述时空约束模型进行训练以得到优化后的时空约束模型；
[0017] 基于所述优化后的图像分类器以及优化后的时空约束模型对所述融合模型进行优化，得到优化后的融合模型。
[0018] 采用上述进一步方案的有益效果是：通过将所述融合模型的排序结果发送至所述图像分类器以及所述时空约束模型进行重新学习，可以对原来的图像分类器以及时空约束模型进行优化，进而优化融合模型，使得融合模型能够对行人图像进行更加精确的识别。
[0019] 进一步地，所述基于所述行人识别结果进行学习排序，包括：
[0020] 利用List-wise方法对所述行人识别结果进行排序。
[0021] 采用上述进一步方案的有益效果是：通过利用List-wise的方法对所述行人识别结果根据得分由高到低排序，使得排序效果更佳。
[0022] 进一步地，所述建立时空约束模型，具体包括：
[0023] 统计训练数据集中的同一个行人图像被不同摄像头拍摄到的时间差概率分布，基于所述概率分布建立所述时空约束模型。
[0024] 采用上述进一步方案的有益效果是：通过基于所述时间差概率分布，可以训练出一个时空约束模型，使得得到的时空分布模型具有更好的泛化性能。
[0025] 进一步地，所述将所述第一视觉相似度以及所述时空概率进行融合，得到融合模型，具体包括：
[0026] 基于Boosting的算法将所述第一视觉相似度以及所述时空概率进行融合，所述融合模型为：
[0027]
[0028] 基于Adaboost算法，计算α与β的值，得到所述融合模型；
[0029] 其中， 为第一视觉相似度， 为时空概率。
[0030] 采用上述进一步方案的有益效果是：通过Boosting的算法融合将所述第一视觉相似度以及所述时空概率进行融合，可以得到合理比重的融合模型，使得融合模型更加准确。
[0031] 进一步地，所述利用训练好的图像分类器计算检索图像与行人图像数据集的第一视觉相似度，之前还包括：
[0032] 利用带有平滑标签的数据集对二分类图像分类器进行训练，得到所述训练好的图像分类器。
[0033] 采用上述进一步方案的有益效果是：通过利用带有平滑标签的数据集对二分类图像分类器进行训练，可以得到一个弱分类的图像分类器。
[0034] 同时，本发明还提出一种基于视觉特征与时空约束的行人再识别系统，包括：
[0035] 视觉计算模块，用于根据训练好的图像分类器计算检索图像与行人图像数据集的第一视觉相似度；
[0036] 时空计算模块，用于建立时空约束模型计算所述检索图像与所述行人图像数据集的时空概率；
[0037] 融合模块，用于将所述第一视觉相似度以及所述时空概率进行融合，得到融合模型；
[0038] 行人识别模块，用于基于所述融合模型计算所述检索图像与所述行人图像数据集的第二视觉相似度，并基于所述第二视觉相似度进行排序以得到行人识别结果。
[0039] 进一步地，所述系统还包括优化模块，所述优化模块包括学习排序单元、第一优化单元、第二优化单元以及融合优化单元，其中：
[0040] 所述学习排序单元用于将所述行人识别结果进行学习排序；
[0041] 所述第一优化单元用于根据所述学习排序结果对所述图像分类器进行训练以得到优化后的图像分类器；
[0042] 所述第二优化单元用于根据所述学习排序结果对所述时空约束模型进行训练以得到优化后的时空约束模型；
[0043] 所述融合优化单元用于基于所述优化后的图像分类器以及优化后的时空约束模型对所述融合模型进行优化，得到优化后的融合模型。
[0044] 进一步地，所述学习排序单元包括排序计算单元，所述第一排序计算单元用于根据List-wise方法对所述行人识别结果进行排序。
[0045] 进一步地，所述时空计算模块包括时空模型创建单元，所述时空模型创建单元用于统计训练数据集中的同一个行人图像被不同摄像头拍摄到的时间差概率分布，并基于所述概率分布建立所述时空约束模型。
附图说明
[0046] 图1为本发明一种基于视觉特征与时空约束的行人再识别方法的逻辑示意图；
[0047] 图2为本发明一种基于视觉特征与时空约束的行人再识别系统的结构示意图。
具体实施方式
[0048] 以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
[0049] 如图1所示，一种基于视觉特征与时空约束的行人再识别方法，包括以下步骤：
[0050] 利用训练好的图像分类器计算检索图像与行人图像数据集的第一视觉相似度；
[0051] 建立时空约束模型计算所述检索图像与所述行人图像数据集的时空概率；
[0052] 将所述第一视觉相似度以及所述时空概率进行融合，得到融合模型；
[0053] 基于所述融合模型计算所述检索图像与所述行人图像数据集的第二视觉相似度，并基于所述第二视觉相似度进行排序以得到行人识别结果。
[0054] 需要说明的是，所述利用训练好的图像分类器计算检索图像与行人图像数据集的第一视觉相似度，包括采用ResNet50网络提取所述检索图像的第一行人特征以及所述行人图像数据集中的图像的第二行人特征，然后计算所述第一行人特征以及第二行人特征的欧式距离，得出所述第一视觉相似度。即通过给定检索图像以及行人图像数据集中的图片，所述图像分类器输出这两张图片包含同一个行人的概率，然后根据所述第一视觉相似度进行排序，将排序高的部分作为行人识别结果，即第一视觉相似度排序越高的检索图像与行人图像数据库中的图像构成的图像对就是越接近为同一个行人的图像对。具体操作为：先在CycleGAN中添加一个identity mapping loss，保证转换后前景例如颜色等人物信息损失尽可能的小。然后利用改进后的CycleGAN进行数据增强，同时利用GAN造图的一些弊端生成噪音，配合翻转和随机擦除的数据增强方法，避免过拟合的产生来获得更好的行人特征。
[0055] 另外，计算检索图像与行人图像数据集的第一视觉相似度，计算所述检索图像与所述行人图像数据集的时空概率，即是计算probe到gallery的概率，其中probe为待查询输入，即检索人像；gallery为候选行人库，即行人图像数据集。
[0056] 具体地，所述基于所述第二视觉相似度进行排序以得到行人识别结果，之后还包括：
[0057] 基于所述行人识别结果进行学习排序；
[0058] 将学习排序结果返还至所述图像分类器，基于所述学习排序结果对所述图像分类器进行训练以得到优化后的图像分类器；
[0059] 将所述学习排序结果返还至所述时空约束模型，基于所述学习排序结果对所述时空约束模型进行训练以得到优化后的时空约束模型；
[0060] 基于所述优化后的图像分类器以及优化后的时空约束模型对所述融合模型进行优化，得到优化后的融合模型。
[0061] 需要说明的是，对行人识别结果进行学习排序，即LTR标注训练集，然后将排序后的行人识别结果重新喂给图像分类器以及时空约束模型来进行重新学习，以对图像分类器以及时空约束模型进行优化，然后通过优化后的图像分类器以及时空约束模型来进一步优化融合模型，以得到一个强大的融合模型。而且，这一步骤可以循环多次，让融合模型不断优化，从而得到一个目标场景识别很强大的融合模型。
[0062] 具体地，所述基于所述行人识别结果进行学习排序，包括：
[0063] 利用List-wise方法对所述行人识别结果进行排序。
[0064] 需要说明的是，本发明优选为利用List-wise方法来对进行排序，List-wise根据训练样例训练得到最优评分函数F，对应新的查询，评分F对每个文档打分，然后根据得分由高到低排序，即为最终的排序结果通过枚举所有排列情况，计算综合得分，并将得分最高的一种排序作为学习排序的结果。
[0065] 具体地，所述建立时空约束模型，具体包括：
[0066] 统计训练数据集中的同一个行人图像被不同摄像头拍摄到的时间差概率分布，基于所述概率分布建立所述时空约束模型。
[0067] 需要说明的是，所述训练数据集是用于训练得到所述时空约束模型的数据集，通过统计训练数据集中属于同一个行人的监控图像的拍摄时间和摄像头编号之间的关联，可以得到时间差概率分布，然后基于时间差概率构建一个时空约束模型。
[0068] 另外，需要说明的是，利用时空约束模型计算所述检索图像与所述行人图像数据集的时空概率，即是在摄像机网络中，任一摄像机n到摄像机m之间行人最小步行时间为TMinnm,则摄像机0处拍到的行人i与在摄像机m处拍到的行人j的时间间隔可以定义为：若 则说明在摄像机0处拍摄到的行人i与在摄像机m处拍
摄到的行人j不是同一人。因此，还包括构建滤波器模型，用于将时空概率为零的情况排除，以减少数据查询的复杂度。
[0069] 而且，当 时，时空约束模型的匹配概率首先增加，然后达到峰值，随着时间间隔变长，匹配概率逐渐下降；因此，可以假设摄像机网络之间的过渡时间遵循韦布尔分布，所以时空概率可以定义为：
[0070]
[0071] 其中，k>0是形状参数，λ>0是分布的比例参数。
[0072] 具体地，所述将所述第一视觉相似度以及所述时空概率进行融合，得到融合模型，具体包括：
[0073] 基于Boosting的算法将所述第一视觉相似度以及所述时空概率进行融合，所述融合模型为：
[0074]
[0075] 基于Adaboost算法，计算α与β的值，得到所述融合模型；
[0076] 其中， 为第一视觉相似度， 为时空概率。
[0077] 需要说明的是，本发明通过使用Boosting的算法来进行所述第一视觉相似度以及所述时空概率的融合，即通过加权平均的方式融合，然后通过Adaboost算法，计算出α与β的权值，得到所述融合模型。
[0078] 具体地，所述利用训练好的图像分类器计算检索图像与行人图像数据集的第一视觉相似度，之前还包括：
[0079] 利用带有平滑标签的数据集对二分类图像分类器进行训练，得到所述训练好的图像分类器。
[0080] 同时，如图2所示，本发明还提出一种基于视觉特征与时空约束的行人再识别系统，包括：
[0081] 视觉计算模块，用于根据训练好的图像分类器计算检索图像与行人图像数据集的第一视觉相似度；
[0082] 时空计算模块，用于建立时空约束模型计算所述检索图像与所述行人图像数据集的时空概率；
[0083] 融合模块，用于将所述第一视觉相似度以及所述时空概率进行融合，得到融合模型；
[0084] 行人识别模块，用于基于所述融合模型计算所述检索图像与所述行人图像数据集的第二视觉相似度，并基于所述第二视觉相似度进行排序以得到行人识别结果。
[0085] 具体地，所述系统还包括优化模块，所述优化模块包括学习排序单元、第一优化单元、第二优化单元以及融合优化单元，其中：
[0086] 所述学习排序单元用于将所述行人识别结果进行学习排序；
[0087] 所述第一优化单元用于根据所述学习排序结果对所述图像分类器进行训练以得到优化后的图像分类器；
[0088] 所述第二优化单元用于根据所述学习排序结果对所述时空约束模型进行训练以得到优化后的时空约束模型；
[0089] 所述融合优化单元用于基于所述优化后的图像分类器以及优化后的时空约束模型对所述融合模型进行优化，得到优化后的融合模型。
[0090] 具体地，所述学习排序单元包括排序计算单元，所述第一排序计算单元用于根据List-wise方法对所述行人识别结果进行排序。
[0091] 具体地，所述时空计算模块包括时空模型创建单元，所述时空模型创建单元用于统计训练数据集中的同一个行人图像被不同摄像头拍摄到的时间差概率分布，并基于所述概率分布建立所述时空约束模型。
[0092] 具体地，所述融合模块包括融合单元以及计算单元，所述融合单元用于根据Boosting的算法将所述第一视觉相似度以及所述时空概率进行融合；
[0093] 所述融合模型计算单元用于根据Adaboost算法计算得出所述融合模型。
[0094] 具体地，还包括训练模块，所述训练模块用于根据带有平滑标签的数据集对二分类图像分类器进行训练，得到所述训练好的图像分类器。
[0095] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
