本发明属于车辆重识别技术领域，涉及一种基于类人视觉注意力加权的车辆重识别方法，通过深度学习网络学习人眼注意力信息，从而加权车辆重识别中判别性区域，并通过深度自学习和互学习网络模拟人眼观察单一车辆以及车辆间信息时的判断机制，从而提升车辆重识别精度，解决了目前车辆重识别过程中采用的手工设计先验知识和特征存在的歧义性问题，同时采用类人注意力加权方式能够自动按照人类目的模式设计先验以及对人类行为方式模拟，进行局部特征加权，能够应用于其他物体检测和分类领域。
1.一种基于类人视觉注意力加权的车辆重识别方法，其特征在于，具体过程为：（1）构建车辆重识别数据集和车辆类人注意力加权数据集组成的数据集，并将车辆重识别数据集划分为测试集和训练集；其中车辆类人注意力加权数据集是采用人眼视点收集的方式揭示注意力视觉机制，从而将人类在观看车辆图片以及不同车辆间查找不同时注意力集中的位置信息进行提取得到的，具体为：通过眼动仪收集人类在观察车辆图片时候的眼动数据，以及人类在查找相同车辆时进行对比过程中的眼动数据，将这些眼动位置作为车辆的最具判别性的位置区域构建车辆类人注意力加权数据集；
（2）将数据集中的车牌图像输入ResNet网络提取与注意力相关的区域的特征信息作为车辆类人注意力加权特征，其中与注意力相关的区域的特征信息包括车辆的颜色信息、车辆的轮廓信息和车辆的纹理信息；
（3）将步骤（2）得到的每张车牌图像车辆类人注意力加权特征进行自学习；
（4）将两张不同车辆图像的车辆类人注意力加权特征进行互学习；
（5）将车辆图像输入车辆重识别分支提取车辆重识别特征，车辆重识别分支与步骤（2）提取特征的网络具有相同的结构；
（6）根据步骤（5）提取的车辆重识别特征，采用车辆重识别特征自学习的方式生成与车辆重识别相关的特征；
（7）将车辆重识别特征自学习后产生的特征引入注意力约束进行车辆重识别特征互学习，使车辆间判别性特征互学习，从而能够充分挖掘车辆间的差异信息，将车辆间的差异特征查找出来；
（8）先训练车辆重识别网路，采用ResNet50作为基础网络，基础网络在ImageNet数据集上预训练后采用SGD优化器进行网络优化，将优化完成后将网络的模型保存到本地文件夹得到训练好的模型数据，再测试车辆重识别网络，加载训练好的模型数据，并将车辆重识别的尺寸设置为256*256，通过计算车辆之间的相似性进行车辆重识别。
2.根据权利要求1所述基于类人视觉注意力加权的车辆重识别方法，其特征在于，步骤（1）所述车辆重识别数据集由VeRi‑776数据集、VeRi‑776数据集和VehicleID数据集构成，训练集和测试集的划分与数据集原有的划分方式相同。
3.根据权利要求2所述基于类人视觉注意力加权的车辆重识别方法，其特征在于，步骤（2）得到的车辆类人注意力加权特征为：，
其中，I为车辆图片数据，Fi代表网络输出的特征，Fi包含多层特征，层的索引i分别为
4.根据权利要求3所述基于类人视觉注意力加权的车辆重识别方法，其特征在于，步骤（3）进行自学习的具体过程为：，
其中，GAP（·）代表全局平均池化层，GMP（·）代表全局最大值池化层，代表矩阵乘法，Reshape（·）代表特征维度转换，Rank（·）代表矩阵值排名，Drop（·）代表将部分区域值去除，从而保证能够去除噪声信息，Gate（·）代表门控开关ConvGRU，能够将增强后的特征层间的顺序低频信息过滤掉；Conv（·）表示卷积操作。
5.根据权利要求4所述基于类人视觉注意力加权的车辆重识别方法，其特征在于，步骤（4）进行互学习的具体过程为：，
其中，和 代表不同车辆图片提取的特征信息， 在不同车辆图片时网络参数共享，从而增强网络的多样性；
其中， 代表特征归一化函数， 代表特征维度转换，其他符号的定义与步骤（3）中定义相同。
6.根据权利要求5所述基于类人视觉注意力加权的车辆重识别方法，其特征在于，步骤（5）提取的车辆重识别特征为：，
其中， 代表提取的特征为车辆相关特征， 代表对车辆提取的相关特征通过车辆类人注意力特征进行加权，从而保证产生的车辆特征更符合人眼观察车辆时的行为。
7.根据权利要求6所述基于类人视觉注意力加权的车辆重识别方法，其特征在于，步骤（6）所述车辆重识别特征自学习的过程为：，
其中 计算代表通道级的注意力， 代表特征归一化函数， 代表通道级特征叠加函数， 代表生成的第 层的特征权重， 代表由Conv层、BN层和Relu层组成的卷积模块。
8.根据权利要求7所述基于类人视觉注意力加权的车辆重识别方法，其特征在于，步骤（7）所述车辆重识别特征互学习的具体过程为：，
其中， , 分别表示车辆i和车辆j之间的记忆权重，通过记忆权重的方式决定当前信息在车辆重识别中的占比。
一种基于类人视觉注意力加权的车辆重识别方法
技术领域
[0001] 本发明属于车辆重识别技术领域，涉及一种基于类人视觉注意力加权的车辆重识别方法。
背景技术
[0002] 随着城市的不断现代化，车辆也不断的增多，给城市的交通治理带来了前所未有的挑战，车辆重识别算法能够识别不同摄像机拍摄的场景下相同的车辆，能够极大的方便城市的管理。
[0003] 作为数据驱动的深度学习网络，虽然需要人工进行数据标注，但是，其能够充分挖掘数据内部的关系约束，从而转化为深度学习网络的内部参数，即使在没有任何标注的数据上，其仍然能够取得非常高的精度。
[0004] 目前，车辆重识别算法虽然取得了非常大的进步，但是，目前车辆重识别算法在实际场景与训练集场景存在非常大差异的时候，出现精度下降，主要原因在于网络自动学习局部区域特征的过程中，存在噪声信息，而噪声信息仅仅依靠网络自身提取的判别行特征无法进行精确区分。
发明内容
[0005] 本发明的目的在于克服现有技术存在的缺点，针对目前车辆充实别过程中采用深度学习网络自动搜寻车辆判别性区域存在的识别精度不高问题，以及人工设计车辆检测先验导致的判别性特征不显著问题，设计提供一种类人视觉注意力加权的车辆重识别方法，通过深度学习网络学习人眼注意力信息，从而加权车辆重识别中判别性区域，并通过深度自学习和互学习网络模拟人眼观察单一车辆以及车辆间信息时的判断机制，从而提升车辆重识别精度。
[0006] 为实现上述发明目的，本发明实现车辆重识别的具体过程为：
[0007] （1）构建车辆重识别数据集和车辆类人注意力加权数据集组成的数据集，并将车辆重识别数据集划分为测试集和训练集；
[0008] （2）将数据集中的车牌图像输入ResNet网络提取与注意力相关的区域的特征信息作为车辆类人注意力加权特征，其中与注意力相关的区域的特征信息包括车辆的颜色信息、车辆的轮廓信息和车辆的纹理信息；
[0009] （3）将步骤（2）得到的每张车牌图像车辆类人注意力加权特征进行自学习；
[0010] （4）将两张不同车辆图像的车辆类人注意力加权特征进行互学习；
[0011] （5）将车辆图像输入车辆重识别分支提取车辆重识别特征，车辆重识别分支与步骤（2）提取特征的网络具有相同的结构；
[0012] （6）根据步骤（5）提取的车辆重识别特征，采用车辆重识别特征自学习的方式生成与车辆重识别相关的特征；
[0013] （7）将车辆重识别特征自学习后产生的特征引入注意力约束进行车辆重识别特征互学习，使车辆间判别性特征互学习，从而能够充分挖掘车辆间的差异信息，将车辆间的差异特征查找出来；
[0014] （8）先训练车辆重识别网路，采用ResNet50作为基础网络，基础网络在ImageNet数据集上预训练后采用SGD优化器进行网络优化，将优化完成后将网络的模型保存到本地文件夹得到训练好的模型数据，再测试车辆重识别网络，加载训练好的模型数据，并将车辆重识别的尺寸设置为256*256，通过计算车辆之间的相似性进行车辆重识别。
[0015] 作为本发明的进一步技术方案，步骤（1）所述车辆重识别数据集由VeRi‑776数据集、VeRi‑776数据集和VehicleID数据集构成，训练集和测试集的划分与数据集原有的划分方式相同。
[0016] 作为本发明的进一步技术方案，步骤（1）所述车辆类人注意力加权数据集是采用人眼视点收集的方式揭示注意力视觉机制，从而将人类在观看车辆图片以及不同车辆间查找不同时注意力集中的位置信息进行提取得到的，具体为：通过眼动仪收集人类在观察车辆图片时候的眼动数据，以及人类在查找相同车辆时进行对比过程中的眼动数据，将这些眼动位置作为车辆的最具判别性的位置区域构建车辆类人注意力加权数据集。
[0017] 作为本发明的进一步技术方案，步骤（2）得到的车辆类人注意力加权特征为：
[0018] ，
[0019] 其中，I为车辆图片数据，Fi代表网络输出的特征，Fi包含多层特征，层的索引i分别为1，…，n。
[0020] 作为本发明的进一步技术方案，步骤（3）进行自学习的具体过程为：
[0021] ，
[0022] 其中，GAP（·）代表全局平均池化层，GMP（·）代表全局最大值池化层，代表矩阵乘法，Reshape（·）代表特征维度转换，Rank（·）代表矩阵值排名，Drop（·）代表将部分区域值去除，从而保证能够去除噪声信息，Gate（·）代表门控开关ConvGRU，能够将增强后的特征层间的顺序低频信息过滤掉；Conv（·）表示卷积操作。
[0023] 作为本发明的进一步技术方案，步骤（4）进行互学习的具体过程为：
[0024] ，
[0025] ，
[0026] 其中，和 代表不同车辆图片提取的特征信息， 在不同车辆图片时网络参数共享，从而增强网络的多样性；
[0027]，
[0028] 其中， 代表特征归一化函数， 代表特征维度转换，其他符号的定义与步骤（3）中定义相同。
[0029] 作为本发明的进一步技术方案，步骤（5）提取的车辆重识别特征为：
[0030] ，
[0031] 其中， 代表提取的特征为车辆相关特征， 代表对车辆提取的相关特征通过车辆类人注意力特征进行加权，从而保证产生的车辆特征更符合人眼观察车辆时的行为。
[0032] 作为本发明的进一步技术方案，步骤（6）所述车辆重识别特征自学习的过程为：
[0033] ，
[0034]，
[0035] 其中 计算代表通道级的注意力， 代表特征归一化函数，代表通道级特征叠加函数， 代表生成的第 层的特征权重， 代表
由Conv层、BN层和Relu层组成的卷积模块。
[0036] 作为本发明的进一步技术方案，步骤（7）所述车辆重识别特征互学习的具体过程为：
[0037] ，
[0038]，
[0039]，
[0040] 其中， , 分别表示车辆i和车辆j之间的记忆权重，通过记忆权重的方式决定当前信息在车辆重识别中的占比，保证相同车辆的信息能够保持更高的权重值。
[0041] 与现有技术相比，本发明解决了现有车辆重识别过程中采用的手工设计先验知识和特征存在的歧义性问题，并采用类人注意力加权方式能够自动按照人类目的模式设计先验以及对人类行为方式模拟，进行局部特征加权，能够应用于其他物体检测和分类领域。
附图说明
[0042] 图1为本发明实现车辆重识别的流程框架示意图。
[0043] 图2为本发明实现车辆重识别的网络框架示意图。
具体实施方式
[0044] 下面通过实施例并结合附图进一步描述本发明，但不以任何方式限制本发明的范围。
[0045] 实施例：
[0046] 本实施例基于类人视觉注意力加权实现车辆重识别的过程采用图1所示的流程和图2所示的网络，具体包括如下步骤：
[0047] （1）构建车辆重识别数据集和车辆类人注意力加权数据集
[0048] 本实施例采用的数据集主要由两部分构成，分别为车辆重识别数据集和车辆加权数据集，其中车辆重识别数据集由VeRi‑776数据集、VeRi‑776数据集和VehicleID数据集构成，其中VeRi‑776数据集共5万多张图片， VERI‑Wild数据集包含41万张图片， VehicleID数据集由21万多车辆数据组成，本实施例采用的训练集和测试集的划分与数据集原有的划分方式相同；
[0049] 为了实现对车辆特征进行与人类注意力相同模式的加权数据集收集，本实施例采用人眼视点收集的方式揭示注意力视觉机制，从而将人类在观看车辆图片以及不同车辆间查找不同时注意力集中的位置信息进行提取，首先，通过眼动仪收集人类在观察车辆图片时候的眼动数据，以及人类在查找相同车辆时进行对比过程中的眼动数据，这些眼动位置为车辆的最具判别性的位置区域；
[0050] （2）车辆类人注意力加权特征提取
[0051] 人眼在观察车辆信息的时候往往首先关注的是车辆的视觉特征，如，车辆的颜色信息，车辆的轮廓信息，以及车辆的纹理信息，通过这些信息能够迅速将不同视觉特征的车辆区分开，因此，本实施例提取与注意力相关的区域的特征信息，
[0052] ，
[0053] 其中，I为车辆图片数据，Fi代表网络输出的特征，Fi包含多层特征，层的索引i分别为1，…，n；
[0054] （3）车辆类人注意力加权特征自学习
[0055] 人眼在观察同一辆车的过程中，会观察车辆的不同位置，而观察的过程中，并不是观察整辆车，而是会观察局部区域，而这些局部区域往往对于车辆的区分和判别具有至关重要的作用，并且，这些区域之间之间会存在潜在的关系约束，而潜在的关系约束与人眼对与信息处理的过程具有潜在联系，因此对车辆类人注意力加权特征采用自学习的方式：
[0056] ，
[0057] 其中，GAP（·）代表全局平均池化层，GMP（·）代表全局最大值池化层，代表矩阵乘法，Reshape（·）代表特征维度转换，Rank（·）代表矩阵值排名，Drop（·）代表将部分区域值去除，从而保证能够去除噪声信息，Gate（·）代表门控开关ConvGRU，能够将增强后的特征层间的顺序低频信息过滤掉；
[0058] （4）车辆类人注意力加权特征互学习
[0059] 人眼注意力区域在不同图片中会存在关系约束，因为人眼观察同一车辆所处不同场景，潜在的意识会导致人眼注意两张图片中的差异信息，而这种潜意识的行为可以引入到注意力加权特征互学习中，从而模拟人眼在差异信息建模的过程：
[0060] ，
[0061] ，
[0062] 其中，和 代表不同车辆图片提取的特征信息， 在不同车辆图片时网络参数共享，从而增强网络的多样性；
[0063]，
[0064] 其中， 代表特征归一化函数， 代表特征维度转换，其他符号的定义与步骤（3）中定义相同；
[0065] （5）车辆重识别特征提取
[0066] 为提取车辆重识别特征，本实施例采用车辆重识别分支提取车辆特征信息，与人眼注意力区域特征提取网络具有相同的结构，但是其目的不一样，人眼注意力区域旨在生成判别性区域的加权特征，而车辆重识别区域旨在查找视觉特征，车辆重识别区域特征中存在噪声信息，提取的车辆重识别特征提取为：
[0067] ，
[0068] 车辆重识别互学习特征提取方式如下为：
[0069] ，
[0070] ，
[0071] 其中， 代表提取的特征为车辆相关特征， 代表对车辆提取的相关特征通过车辆类人注意力特征进行加权，从而保证产生的车辆特征更符合人眼观察车辆时的行为；
[0072] （6）车辆重识别特征自学习
[0073] 通过人眼注意力区域特征加权后，有助于提取判别性区域的特征将被施加更高的权重值，从而有助于车辆重识别，为学习单一车辆中最具判别信息，本实施例同样采用车辆特征自学习的方式，与人眼注意力特征自学习的区别在于车辆重识别特征自学习为生成与车辆重识别相关的特征：
[0074] ，
[0075]，
[0076] 其中 计算代表通道级的注意力， 代表特征归一化函数，代表通道级特征叠加函数， 代表生成的第 层的特征权重， 代表
由Conv层、BN层和Relu层组成的卷积模块；
[0077] （7）车辆重识别特征互学习
[0078] 将车辆重识别特征自学习后产生的特征引入注意力约束，能够使得车辆间判别性特征互学习，从而能够充分挖掘车辆间的差异信息，将车辆间的差异特征查找出来，通过增强网络挖掘差异特征的能力，保证车辆重识别的精度，具体为：
[0079] ，
[0080]，
[0081]，
[0082] 其中， , 分别表示车辆i和车辆j之间的记忆权重，通过记忆权重的方式决定当前信息在车辆重识别中的占比，保证相同车辆的信息能够保持更高的权重值；
[0083] （8）车辆重识别网络训练和测试
[0084] 为训练车辆重识别网络，本实施例采用ResNet50作为基础网络，基础网络在ImageNet数据集上预训练，采用双流网络训练时，类人注意力模型训练的次数为100个迭代，车辆重识别网络训练的次数为131个迭代；由于网络在中间层实现交互，从而使得车辆重识别层收到类人注意力特征的加权；本实施例首先训练类人注意力模型，然后再同时训练两个网络，采用这种方式能够保证网络更快收敛，最后采用SGD优化器进行网络优化，优化完成后将网络的模型保存到本地文件夹得到训练好的模型数据；
[0085] 为测试车辆重识别网络， 首先加载训练好的模型数据，并将车辆重识别的尺寸设置为256*256，通过计算车辆之间的相似性进行车辆重识别。
[0086] 需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
