一种车辆识别方法、装置、电子设备和存储介质

摘要

本申请涉及图像处理技术领域，尤其涉及一种车辆识别方法、装置、电子设备和存储介质，用以提高车辆轴数识别的效率和精度。其中，方法包括：通过对待识别视频进行迭代检测，获取目标车辆对象和车轮关联信息；基于车轮关联信息，确定目标车辆对象的车辆轴数识别结果，在一次迭代检测过程中：根据从待处理视频帧中检测出的初始车辆对象更新车辆集合，和根据初始车轮对象更新车轮集合；基于更新后的车辆集合中目标车辆对象的车辆检测信息，和更新后的车轮集合中初始车轮对象的车轮检测信息，更新目标车辆对象的车轮关联信息。本申请通过对待识别视频进行检测，基于获得的车辆对象的车轮关联信息确定车辆轴数，能够有效提高车辆轴数识别的效率和精度。

权利要求

1.一种车辆识别方法，其特征在于，该方法包括：

通过对待识别视频进行迭代检测，获取所述待识别视频中的目标车辆对象，以及所述目标车辆对象的车轮关联信息，所述车轮关联信息用于指示归属于所述目标车辆对象的车轮；

基于所述目标车辆对象的车轮关联信息，确定所述目标车辆对象的车辆轴数识别结果；

其中，在一次迭代检测过程中执行以下操作：

根据从所述待识别视频中的待处理视频帧中检测出的初始车辆对象更新车辆集合，以及根据从所述待处理视频帧中检测出的初始车轮对象更新车轮集合，所述待处理视频帧是针对目标行驶路线采集的，每个初始车辆对象包括对应的车辆检测信息，所述车辆检测信息包括用于标识对应的初始车辆对象在所述待处理视频帧中的边界的车辆边界框；

将更新后的所述车辆集合中，车辆边界框与预设位置向量相交的各初始车辆对象确定为所述目标车辆对象，所述预设位置向量是基于所述目标行驶路线确定的；

基于所述目标车辆对象的车辆检测信息，和更新后的车轮集合中的各初始车轮对象的车轮检测信息，确定所述目标车辆对象与各初始车轮对象的重叠度；

根据确定的各重叠度，更新所述目标车辆对象的车轮关联信息。

2.如权利要求1所述的方法，其特征在于，所述待处理视频帧为所述待识别视频中的第i个视频帧；在所述基于更新后的车辆集合中所述目标车辆对象的车辆检测信息，和更新后的车轮集合中各初始车轮对象的车轮检测信息，更新所述目标车辆对象的车轮关联信息之前，还包括：确定所述更新后的车辆集合中的目标车辆对象满足车轮关联更新条件，其中所述车轮关联更新条件为：所述目标车辆对象在所述第i个视频帧中的对象状态为有效状态，且所述目标车辆对象在目标视频帧中的对象状态为所述有效状态，所述目标视频帧包括所述待识别视频中的所述第i个视频帧之前连续的预设数量的视频帧。

3.如权利要求1所述的方法，其特征在于，所述车轮检测信息包括用于标识所述初始车轮对象在所述待处理视频帧中的边界的车轮边界框；

所述基于更新后的车辆集合中的目标车辆对象的车辆检测信息，和更新后的车轮集合中的各初始车轮对象的车轮检测信息，确定所述目标车辆对象与各初始车轮对象的重叠度，包括：将各初始车轮对象的车轮边界框对应的重叠面积与所述各初始车轮对象的车轮边界框的面积之比，确定为所述目标车辆对象与所述各初始车轮对象的重叠度；其中，所述重叠面积是所述目标车辆对象的车辆边界框和对应的初始车轮对象的车轮边界框的重叠部分的面积。

4.如权利要求2所述的方法，其特征在于，所述确定所述更新后的车辆集合中的目标车辆对象满足车轮关联更新条件之后，所述方法还包括：对所述目标车辆对象进行抓拍，获得所述目标车辆对象的车辆抓拍图像；

基于所述车辆抓拍图像对确定的车辆轴数识别结果进行校验。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述目标车辆对象的车辆轴型信息；

基于所述目标车辆对象的车辆轴数识别结果和车辆轴型信息，确定所述目标车辆对象的限重信息，所述限重信息用于判定所述目标车辆对象是否存在异常行驶行为。

6.如权利要求5所述的方法，其特征在于，所述待处理视频帧是针对目标行驶路线采集的，所述车轮检测信息包括用于标识所述初始车轮对象在所述待处理视频帧中的边界的车轮边界框，所述车轮关联信息包括所述目标车辆对象关联的各初始车轮对象；

所述获取各目标车辆对象各自的车辆轴型信息，包括：

基于所述目标车辆对象关联的各初始车轮对象的车轮边界框与预设位置向量首次相交的时间间隔，确定所述目标车辆对象的车辆轴型信息，所述预设位置向量是基于目标行驶路线确定的。

7.如权利要求1所述的方法，其特征在于，所述根据从所述待识别视频中的待处理视频帧中检测出的初始车辆对象更新车辆集合，以及根据从所述待处理视频帧中检测出的初始车轮对象更新车轮集合，包括：对所述待处理视频帧进行检测，获得检测到的至少一个候选对象；

基于所述至少一个候选对象中各候选对象的对象检测信息，与当前的对象集合中的各初始对象的对象检测信息，对所述各候选对象和当前的对象集合中的各初始对象进行匹配；

基于第一候选对象的对象检测信息，更新所述当前的对象集合中第一初始对象的对象检测信息，所述第一候选对象包括在所述当前的对象集合中成功匹配到初始对象的所述候选对象；所述第一初始对象是初始的对象集合中与所述第一候选对象成功匹配的初始对象；和/或，将第二候选对象作为初始对象添加到所述当前的对象集合中，所述第二候选对象包括在所述当前的对象集合中无法匹配到初始对象的所述候选对象；其中：所述候选对象为候选车辆对象时，所述对象检测信息为所述车辆检测信息，所述对象集合为所述车辆集合；

所述候选对象为候选车轮对象时，所述对象检测信息为所述车轮检测信息，所述对象集合为所述车轮集合。

8.如权利要求7所述的方法，其特征在于，所述方法还包括：

确定所述当前的对象集合中的第二初始对象，所述第二初始对象包括所述当前的对象集合中除与各候选对象成功匹配的初始对象之外的初始对象；

基于所述第二初始对象的预设对象检测信息，更新所述第二初始对象的对象检测信息；其中，所述预设对象检测信息是基于所述第二初始对象的历史对象检测信息确定的。

9.如权利要求1所述的方法，其特征在于，所述待处理视频帧为所述待识别视频中的第j个视频帧；所述方法还包括：确定所述更新后的车辆集合中的目标车辆对象满足迭代停止条件，则基于所述目标车辆对象的车轮关联信息，确定所述目标车辆对象的车辆轴数识别结果，其中所述迭代停止条件为：所述目标车辆对象在所述第j个视频帧中的对象状态为非有效状态，且所述目标车辆对象在第j‑1个视频帧中的对象状态为有效状态。

10.如权利要求1 9任一项所述的方法，其特征在于，所述车轮关联信息包括所述目标~车辆对象关联的各初始车轮对象，所述基于所述目标车辆对象的车轮关联信息，确定所述目标车辆对象的车辆轴数识别结果，包括：基于所述目标车辆对象关联的各初始车轮对象的数量，确定所述目标车辆对象的车辆轴数识别结果。

11.一种车辆识别装置，其特征在于，包括：

检测单元，用于通过对待识别视频进行迭代检测，获取所述待识别视频中的目标车辆对象，以及所述目标车辆对象的车轮关联信息，所述车轮关联信息用于指示归属于所述目标车辆对象的车轮；

第一确定单元，用于基于所述目标车辆对象的车轮关联信息，确定所述目标车辆对象的车辆轴数识别结果；

其中，所述检测单元在一次迭代检测过程中具体用于：

根据从所述待识别视频中的待处理视频帧中检测出的初始车辆对象更新车辆集合，以及根据从所述待处理视频帧中检测出的初始车轮对象更新车轮集合，所述待处理视频帧是针对目标行驶路线采集的，每个初始车辆对象包括对应的车辆检测信息，所述车辆检测信息包括用于标识对应的初始车辆对象在所述待处理视频帧中的边界的车辆边界框；

将更新后的所述车辆集合中，车辆边界框与预设位置向量相交的各初始车辆对象确定为所述目标车辆对象，所述预设位置向量是基于所述目标行驶路线确定的；

基于所述目标车辆对象的车辆检测信息，和更新后的车轮集合中的各初始车轮对象的车轮检测信息，确定所述目标车辆对象与各初始车轮对象的重叠度；

根据确定的各重叠度，更新所述目标车辆对象的车轮关联信息。

12.一种电子设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1 10中任~一所述方法的步骤。

13.一种计算机可读存储介质，其特征在于，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行权利要求1 10中任一所述方~法的步骤。

14.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序存储在计算机可读存储介质中；当电子设备的处理器从所述计算机可读存储介质读取所述计算机程序时，所述处理器执行所述计算机程序，使得所述电子设备执行权利要求1 10中任一所述方~法的步骤。

说明书

一种车辆识别方法、装置、电子设备和存储介质

技术领域

[0001] 本申请涉及图像处理技术领域，尤其涉及一种车辆识别方法、装置、电子设备和存储介质。

背景技术

[0002] 依托于智慧城市、安全城市的大环境背景下，载货车辆的“源头治超”问题与道路安全已是密不可分。其中，载货车辆轴数识别作为“源头治超”的重要环节，高精度轴数识别方法的成熟应用，将会极大程度上助力于当前智慧城市、安全城市的建设。

[0003] 以物流卡口场景为例，相关技术中，在物流卡口场景下，对于载货车辆的轴数识别，主要是依托于人工读取的方式，但是该方式识别效率低，成本高且识别精度无法保证。

[0004] 因此，基于当前人工智能的时代背景下，如何提高对载货车辆轴数识别的效率和精度成为目前亟待解决的问题。

发明内容

[0005] 本申请实施例提供一种车辆识别方法、装置、电子设备和存储介质，用以提高车辆轴数识别的效率和精度。

[0006] 本申请实施例提供的一种车辆识别方法，包括：

[0007] 通过对待识别视频进行迭代检测，获取所述待识别视频中的目标车辆对象，以及所述目标车辆对象的车轮关联信息，所述车轮关联信息用于指示归属于所述目标车辆对象的车轮；

[0008] 基于所述目标车辆对象的车轮关联信息，确定所述目标车辆对象的车辆轴数识别结果；

[0009] 其中，在一次迭代检测过程中执行以下操作：

[0010] 根据从所述待识别视频中的待处理视频帧中检测出的初始车辆对象更新车辆集合，以及根据从所述待处理视频帧中检测出的初始车轮对象更新车轮集合；

[0011] 基于更新后的车辆集合中所述目标车辆对象的车辆检测信息，和更新后的车轮集合中各初始车轮对象的车轮检测信息，更新所述目标车辆对象的车轮关联信息。

[0012] 在一种可选的实施方式中，所述待处理视频帧为所述待识别视频中的第i个视频帧；在所述基于更新后的车辆集合中所述目标车辆对象的车辆检测信息，和更新后的车轮集合中各初始车轮对象的车轮检测信息，更新所述目标车辆对象的车轮关联信息之前，还包括：

[0013] 确定所述更新后的车辆集合中的目标车辆对象满足车轮关联更新条件，其中所述车轮关联更新条件为：

[0014] 所述目标车辆对象在所述第i个视频帧中的对象状态为有效状态，且所述目标车辆对象在目标视频帧中的对象状态为所述有效状态，所述目标视频帧包括所述待识别视频中的所述第i个视频帧之前连续的预设数量的视频帧。

[0015] 在一种可选的实施方式中，所述待处理视频帧是针对目标行驶路线采集的；所述车辆检测信息包括用于标识所述初始车辆对象在所述待处理视频帧中的边界的车辆边界框；

[0016] 所述根据从所述待识别视频中的待处理视频帧中检测出的初始车辆对象更新车辆集合之后，还包括：

[0017] 通过下列方式确定所述车辆集合中的目标车辆对象：

[0018] 将更新后的车辆集合中，车辆边界框与预设位置向量相交的各初始车辆对象确定为所述目标车辆对象，所述预设位置向量是基于所述目标行驶路线确定的。

[0019] 在一种可选的实施方式中，所述基于更新后的车辆集合中所述目标车辆对象的车辆检测信息，和更新后的车轮集合中初始车轮对象的车轮检测信息，更新所述目标车辆对象的车轮关联信息，包括：

[0020] 基于更新后的车辆集合中的目标车辆对象的车辆检测信息，和更新后的车轮集合中的各初始车轮对象的车轮检测信息，确定所述目标车辆对象与各初始车轮对象的重叠度；

[0021] 根据确定的各重叠度，更新所述目标车辆对象的车轮关联信息。

[0022] 在一种可选的实施方式中，所述车辆检测信息包括用于标识所述初始车辆对象在所述待处理视频帧中的边界的车辆边界框；所述车轮检测信息包括用于标识所述初始车轮对象在所述待处理视频帧中的边界的车轮边界框；

[0023] 所述基于更新后的车辆集合中的目标车辆对象的车辆检测信息，和更新后的车轮集合中的各初始车轮对象的车轮检测信息，确定所述目标车辆对象与各初始车轮对象的重叠度，包括：

[0024] 将各初始车轮对象的车轮边界框对应的重叠面积与所述各初始车轮对象的车轮边界框的面积之比，确定为所述目标车辆对象与所述各初始车轮对象的重叠度；其中，所述重叠面积是所述目标车辆对象的车辆边界框和对应的初始车轮对象的车轮边界框的重叠部分的面积。

[0025] 在一种可选的实施方式中，所述确定所述更新后的车辆集合中的目标车辆对象满足车轮关联更新条件之后，所述方法还包括：

[0026] 对所述目标车辆对象进行抓拍，获得所述目标车辆对象的车辆抓拍图像；

[0027] 基于所述车辆抓拍图像对确定的车辆轴数识别结果进行校验。

[0028] 在一种可选的实施方式中，所述方法还包括：

[0029] 获取所述目标车辆对象的车辆轴型信息；

[0030] 基于所述目标车辆对象的车辆轴数识别结果和车辆轴型信息，确定所述目标车辆对象的限重信息，所述限重信息用于判定所述目标车辆对象是否存在异常行驶行为。

[0031] 在一种可选的实施方式中，所述待处理视频帧是针对目标行驶路线采集的，所述车轮检测信息包括用于标识所述初始车轮对象在所述待处理视频帧中的边界的车轮边界框，所述车轮关联信息包括所述目标车辆对象关联的各初始车轮对象；

[0032] 所述获取各目标车辆对象各自的车辆轴型信息，包括：

[0033] 基于所述目标车辆对象关联的各初始车轮对象的车轮边界框与预设位置向量首次相交的时间间隔，确定所述目标车辆对象的车辆轴型信息，所述预设位置向量是基于目标行驶路线确定的。

[0034] 在一种可选的实施方式中，所述根据从所述待识别视频中的待处理视频帧中检测出的初始车辆对象更新车辆集合，以及根据从所述待处理视频帧中检测出的初始车轮对象更新车轮集合，包括：

[0035] 对所述待处理视频帧进行检测，获得检测到的至少一个候选对象；

[0036] 基于所述至少一个候选对象中各候选对象的对象检测信息，与当前的对象集合中的各初始对象的对象检测信息，对所述各候选对象和当前的对象集合中的各初始对象进行匹配；

[0037] 基于第一候选对象的对象检测信息，更新所述当前的对象集合中第一初始对象的对象检测信息，所述第一候选对象包括在所述当前的对象集合中成功匹配到初始对象的所述候选对象；所述第一初始对象是所述初始的对象集合中与所述第一候选对象成功匹配的初始对象；和/或，将第二候选对象作为初始对象添加到所述当前的对象集合中，所述第二候选对象包括在所述当前的对象集合中无法匹配到初始对象的所述候选对象；其中：

[0038] 所述候选对象为候选车辆对象时，所述对象检测信息为所述车辆检测信息，所述对象集合为所述车辆集合；

[0039] 所述候选对象为候选车轮对象时，所述对象检测信息为所述车轮检测信息，所述对象集合为所述车轮集合。

[0040] 在一种可选的实施方式中，所述方法还包括：

[0041] 确定所述当前的对象集合中的第二初始对象，所述第二初始对象包括所述当前的对象集合中除与各候选对象成功匹配的初始对象之外的初始对象；

[0042] 基于所述第二初始对象的预设对象检测信息，更新所述第二初始对象的对象检测信息；其中，所述预设对象检测信息是基于所述第二初始对象的历史对象检测信息确定的。

[0043] 在一种可选的实施方式中，所述待处理视频帧为所述待识别视频中的第j个视频帧；所述方法还包括：

[0044] 确定所述更新后的车辆集合中的目标车辆对象满足迭代停止条件，则基于所述目标车辆对象的车轮关联信息，确定所述目标车辆对象的车辆轴数识别结果，其中所述迭代停止条件为：

[0045] 所述目标车辆对象在所述第j个视频帧中的对象状态为非有效状态，且所述目标车辆对象在第j‑1个视频帧中的对象状态为有效状态。

[0046] 在一种可选的实施方式中，所述车轮关联信息包括所述目标车辆对象关联的各初始车轮对象，所述基于所述目标车辆对象的车轮关联信息，确定所述目标车辆对象的车辆轴数识别结果，包括：

[0047] 基于所述目标车辆对象关联的各初始车轮对象的数量，确定所述目标车辆对象的车辆轴数识别结果。

[0048] 本申请实施例提供的一种车辆识别装置，包括：

[0049] 检测单元，用于通过对待识别视频进行迭代检测，获取所述待识别视频中的目标车辆对象，以及所述目标车辆对象的车轮关联信息，所述车轮关联信息用于指示归属于所述目标车辆对象的车轮；

[0050] 第一确定单元，用于基于所述目标车辆对象的车轮关联信息，确定所述目标车辆对象的车辆轴数识别结果；

[0051] 其中，所述检测单元在一次迭代检测过程中具体用于：

[0052] 根据从所述待识别视频中的待处理视频帧中检测出的初始车辆对象更新车辆集合，以及根据从所述待处理视频帧中检测出的初始车轮对象更新车轮集合；

[0053] 基于更新后的车辆集合中所述目标车辆对象的车辆检测信息，和更新后的车轮集合中各初始车轮对象的车轮检测信息，更新所述目标车辆对象的车轮关联信息。

[0054] 可选的，所述待处理视频帧为所述待识别视频中的第i个视频帧；在所述基于更新后的车辆集合中所述目标车辆对象的车辆检测信息，和更新后的车轮集合中初始车轮对象的车轮检测信息，更新所述目标车辆对象的车轮关联信息之前，所述装置还包括第二确定单元，用于：

[0055] 确定所述更新后的车辆集合中的目标车辆对象满足车轮关联更新条件，其中所述车轮关联更新条件为：

[0056] 所述目标车辆对象在所述第i个视频帧中的对象状态为有效状态，且所述目标车辆对象在目标视频帧中的对象状态为所述有效状态，所述目标视频帧包括所述待识别视频中的所述第i个视频帧之前连续的预设数量的视频帧。

[0057] 可选的，所述待处理视频帧是针对目标行驶路线采集的；所述车辆检测信息包括用于标识所述初始车辆对象在所述待处理视频帧中的边界的车辆边界框；所述根据从所述待识别视频中的待处理视频帧中检测出的初始车辆对象更新车辆集合之后，所述装置还包括第三确定单元，用于：

[0058] 通过下列方式确定所述车辆集合中的目标车辆对象：

[0059] 将更新后的车辆集合中，车辆边界框与预设位置向量相交的各初始车辆对象确定为所述目标车辆对象，所述预设位置向量是基于所述目标行驶路线确定的。

[0060] 可选的，所述检测单元具体用于：

[0061] 基于更新后的车辆集合中的目标车辆对象的车辆检测信息，和更新后的车轮集合中的各初始车轮对象的车轮检测信息，确定所述目标车辆对象与各初始车轮对象的重叠度；

[0062] 根据确定的各重叠度，更新所述目标车辆对象的车轮关联信息。

[0063] 可选的，所述车辆检测信息包括用于标识所述初始车辆对象在所述待处理视频帧中的边界的车辆边界框；所述车轮检测信息包括用于标识所述初始车轮对象在所述待处理视频帧中的边界的车轮边界框；所述检测单元具体用于：

[0064] 将各初始车轮对象的车轮边界框对应的重叠面积与所述各初始车轮对象的车轮边界框的面积之比，确定为所述目标车辆对象与所述各初始车轮对象的重叠度；其中，所述重叠面积是所述目标车辆对象的车辆边界框和对应的初始车轮对象的车轮边界框的重叠部分的面积。

[0065] 可选的，所述第二确定单元还用于：

[0066] 对所述目标车辆对象进行抓拍，获得所述目标车辆对象的车辆抓拍图像；

[0067] 基于所述车辆抓拍图像对确定的车辆轴数识别结果进行校验。

[0068] 可选的，所述装置还包括获取单元，用于：

[0069] 获取所述目标车辆对象的车辆轴型信息；

[0070] 基于所述目标车辆对象的车辆轴数识别结果和车辆轴型信息，确定所述目标车辆对象的限重信息，所述限重信息用于判定所述目标车辆对象是否存在异常行驶行为。

[0071] 可选的，所述待处理视频帧是针对目标行驶路线采集的，所述车轮检测信息包括用于标识所述初始车轮对象在所述待处理视频帧中的边界的车轮边界框，所述车轮关联信息包括所述目标车辆对象关联的各初始车轮对象；所述获取单元具体用于：

[0072] 基于所述目标车辆对象关联的各初始车轮对象的车轮边界框与预设位置向量首次相交的时间间隔，确定所述目标车辆对象的车辆轴型信息，所述预设位置向量是基于目标行驶路线确定的。

[0073] 可选的，所述检测单元具体用于：

[0074] 对所述待处理视频帧进行检测，获得检测到的至少一个候选对象；

[0075] 基于所述至少一个候选对象中各候选对象的对象检测信息，与当前的对象集合中的各初始对象的对象检测信息，对所述各候选对象和当前的对象集合中的各初始对象进行匹配；

[0076] 基于第一候选对象的对象检测信息，更新所述当前的对象集合中第一初始对象的对象检测信息，所述第一候选对象包括在所述当前的对象集合中成功匹配到初始对象的所述候选对象；所述第一初始对象是所述初始的对象集合中与所述第一候选对象成功匹配的初始对象；和/或，将第二候选对象作为初始对象添加到所述当前的对象集合中，所述第二候选对象包括在所述当前的对象集合中无法匹配到初始对象的所述候选对象；其中：

[0077] 所述候选对象为候选车辆对象时，所述对象检测信息为所述车辆检测信息，所述对象集合为所述车辆集合；

[0078] 所述候选对象为候选车轮对象时，所述对象检测信息为所述车轮检测信息，所述对象集合为所述车轮集合。

[0079] 可选的，所述检测单元还用于：

[0080] 确定所述当前的对象集合中的第二初始对象，所述第二初始对象包括所述当前的对象集合中除与各候选对象成功匹配的初始对象之外的初始对象；

[0081] 基于所述第二初始对象的预设对象检测信息，更新所述第二初始对象的对象检测信息；其中，所述预设对象检测信息是基于所述第二初始对象的历史对象检测信息确定的。

[0082] 可选的，所述待处理视频帧为所述待识别视频中的第j个视频帧；所述装置还包括停止单元，用于：

[0083] 确定所述更新后的车辆集合中的目标车辆对象满足迭代停止条件，则基于所述目标车辆对象的车轮关联信息，确定所述目标车辆对象的车辆轴数识别结果，其中所述迭代停止条件为：

[0084] 所述目标车辆对象在所述第j个视频帧中的对象状态为非有效状态，且所述目标车辆对象在第j‑1个视频帧中的对象状态为有效状态。

[0085] 可选的，所述第一确定单元具体用于：

[0086] 基于所述目标车辆对象关联的各初始车轮对象的数量，确定所述目标车辆对象的车辆轴数识别结果。

[0087] 本申请实施例提供的一种电子设备，包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行上述任意一种车辆识别方法的步骤。

[0088] 本申请实施例提供一种计算机可读存储介质，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行上述任意一种车辆识别方法的步骤。

[0089] 本申请实施例提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中；当电子设备的处理器从计算机可读存储介质读取所述计算机程序时，所述处理器执行所述计算机程序，使得所述电子设备执行上述任意一种车辆识别方法的步骤。

[0090] 本申请有益效果如下：

[0091] 本申请实施例提供了一种车辆识别方法、装置、电子设备和存储介质。由于本申请通过对待识别视频进行迭代检测，获得目标车辆对象，以及目标车辆对象的车轮关联信息，并基于车轮关联信息确定目标车辆对象的车辆轴数识别结果。该方式下，通过单个相机即可完成对车辆轴数的识别，能够有效降低识别成本，针对待识别视频中的目标车辆对象进行车辆轴数确定，能够滤除无关目标，提高车辆轴数识别的效率和精度。

[0092] 本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

[0093] 此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

[0094] 图1为本申请实施例中的一种应用场景的一个可选的示意图；

[0095] 图2为本申请实施例中的一种车辆识别方法的实施流程图；

[0096] 图3为本申请实施例中的一种相机视野中的对象示意图；

[0097] 图4为本申请实施例中的一种向量间的位置示意图；

[0098] 图5A为本申请实施例中的一种车辆集合的示意图；

[0099] 图5B为本申请实施例中的另一种车辆集合的示意图；

[0100] 图6为本申请实施例中的一种车辆识别方法的流程示意图；

[0101] 图7为本申请实施例中的一种车辆识别装置的结构示意图；

[0102] 图8为应用本申请实施例的一种电子设备的一个硬件组成结构示意图；

[0103] 图9为应用本申请实施例的另一种电子设备的一个硬件组成结构示意图。

具体实施方式

[0104] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。

[0105] 下面对本申请实施例中涉及的部分概念进行介绍。

[0106] 超载：指交通运输工具的实际装载量超过核定的最大容许限度，货运超载通常是指机动车运输的货物超过货运机动车的荷载总重。基于本申请中的车辆识别方法能够通过对载货车辆进行轴数识别，对超载情况进行有效限制。

[0107] 车轴：通过悬架与车架（或承载式车身）相连接，其两端安装车轮，承受汽车的载荷，维持汽车在道路上的正常行驶。目前，车辆载重的标准主要是依据车辆轴数进行限定的，对相应轴数的载货车辆限重是有统一标准的，并且同一轴数下有多种轴型，不同轴型的车辆限重值不同。在本申请实施例中，主要是通过对车辆轴数和轴型的识别，确定车辆的限重信息。

[0108] 候选车辆对象：对待处理视频帧进行检测获得的车辆对象称为候选车辆对象，将候选车辆对象与车辆集合中的初始车辆对象进行匹配，根据候选车辆对象的车辆检测信息更新匹配上的初始车辆对象的车辆检测信息。

[0109] 初始车辆对象：指车辆集合中的车辆对象，对待处理视频帧进行检测后首次获得的候选车辆对象在加入车辆集合后称为初始车辆对象，在迭代检测过程中对初始车辆对象进行更新。

[0110] 目标车辆对象：指车辆集合中车辆边界框与预设位置向量相交的初始车辆对象，通过车辆边界框与预设位置向量相交对初始车辆对象进行筛选，滤除无效目标。

[0111] 候选车轮对象：对待处理视频帧进行检测获得的车轮对象称为候选车轮对象，将候选车轮对象与车轮集合中的初始车轮对象进行匹配，根据候选车轮对象的车轮检测信息更新匹配上的初始车轮对象的车轮检测信息。

[0112] 初始车轮对象：指车轮集合中的车轮对象，对待处理视频帧进行检测后首次获得的候选车轮对象在加入车轮集合后称为初始车轮对象，在迭代检测过程中对初始车轮对象进行更新。

[0113] 车辆检测信息：指车辆对象在待处理视频帧中的位置和/或图像区域的信息，车辆检测信息可以包括但不局限于包括车辆对象的边界框、车辆对象的车辆关键点的在待处理视频帧中的坐标信息、待处理视频帧中车辆对象区域的图像数据中的至少一种。

[0114] 车轮检测信息：指车轮对象在待处理视频帧中的位置和/或图像区域的信息，车轮检测信息可以包括但不局限于包括车轮对象的边界框、车轮对象的车轮关键点的在待处理视频帧中的坐标信息、待处理视频帧中车轮对象区域的图像数据中的至少一种。

[0115] 车轮关联信息：包括目标车辆对象关联的各初始车轮对象，在迭代检测过程中，可以对目标车辆对象的车轮关联信息进行更新，以获得最终的车轮关联信息。

[0116] 以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

[0117] 如图1所示，其为本申请实施例的应用场景示意图。该应用场景图中包括两个终端设备110和一个服务器120。

[0118] 在本申请实施例中，终端设备110包括但不限于手机、平板电脑、笔记本电脑、台式电脑、智能语音交互设备、智能家电、车载终端等设备；终端设备上可以安装有车辆识别相关的客户端，该客户端可以是软件（例如浏览器、超载抓拍软件等），也可以是网页、小程序等，服务器120则是与软件或是网页、小程序等相对应的后台服务器，或者是专门用于进行车辆识别的服务器，本申请不做具体限定。服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content Delivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器。

[0119] 需要说明的是，本申请实施例中的车辆方法可以由电子设备执行，该电子设备可以为服务器120或者终端设备110，即，该方法可以由服务器120或者终端设备110单独执行，也可以由服务器120和终端设备110共同执行。比如由终端设备110和服务器120共同执行时，终端设备110通过对待识别视频进行迭代检测，获取待识别视频中的目标车辆对象，以及目标车辆对象的车轮关联信息，基于目标车辆对象的车轮关联信息，确定目标车辆对象的车辆轴数识别结果，服务器120基于车辆轴数识别结果确定目标车辆对象的限重信息。

[0120] 在一种可选的实施方式中，终端设备110与服务器120之间可以通过通信网络进行通信。

[0121] 在一种可选的实施方式中，通信网络是有线网络或无线网络。

[0122] 需要说明的是，图1所示只是举例说明，实际上终端设备和服务器的数量不受限制，在本申请实施例中不做具体限定。

[0123] 本申请实施例中，当服务器的数量为多个时，多个服务器可组成为一区块链，而服务器为区块链上的节点；如本申请实施例所公开的车辆识别方法，其中所涉及的待识别视频可保存于区块链上。

[0124] 此外，本申请实施例可应用于各种场景，不仅包括车辆识别场景，还包括但不限于云技术、人工智能、智慧交通、辅助驾驶等场景。例如，应用于智慧交通场景时，本申请实施例中的车辆识别方法可作为车辆轴数识别系统搭载于相机上，并可外接地磅称重系统，基于车辆识别方法获取目标车辆对象的车辆轴数和轴型后，将该车辆的国标限重与实际载重信息进行比对，智能判断车辆是否超载。

[0125] 参阅图2所示，为本申请实施例提供的一种车辆识别方法的实施流程图，以执行主体为终端为例，该方法的具体实施流程包括如下步骤S21‑S22：

[0126] S21：终端通过对待识别视频进行迭代检测，获取待识别视频中的目标车辆对象，以及目标车辆对象的车轮关联信息；

[0127] 其中，车轮关联信息用于指示归属于目标车辆对象的车轮，例如，目标车辆对象1的车轮关联信息为[车轮1，车轮2]，则表示车轮1和车轮2归属于目标车辆对象1；另外，可以根据车辆类型确定待识别视频中的目标车辆对象，例如，初始车辆对象中的货车为目标车辆对象，也可以根据实际需求指定初始车辆对象中的任意一辆为目标车辆对象，本申请在此不做具体限定。

[0128] 其中，在一次迭代检测过程中执行以下步骤：

[0129] S211：根据从待识别视频中的待处理视频帧中检测出的初始车辆对象更新车辆集合，以及根据从待处理视频帧中检测出的初始车轮对象更新车轮集合；

[0130] S212：基于更新后的车辆集合中目标车辆对象的车辆检测信息，和更新后的车轮集合中各初始车轮对象的车轮检测信息，更新目标车辆对象的车轮关联信息。

[0131] 其中，车辆检测信息可以表征车辆对象在待处理视频帧中的位置和/或图像区域的信息，车辆检测信息可以包括但不局限于包括车辆对象的边界框、车辆对象的车辆关键点的在待处理视频帧中的坐标信息、待处理视频帧中车辆对象区域的图像数据中的至少一种；车轮检测信息可以表征车轮对象在待处理视频帧中的位置和/或图像区域的信息，车轮检测信息可以包括但不局限于包括车轮对象的边界框、车轮对象的车轮关键点的在待处理视频帧中的坐标信息、待处理视频帧中车轮对象区域的图像数据中的至少一种。

[0132] 具体地，终端对待识别视频进行迭代检测，在第一次检测过程中基于检测出的第一数量的初始车辆对象建立车辆集合，以及基于检测出的第二数量的初始车轮对象建立车轮集合，其中，第一数量和第二数量可以相同也可以不同，例如可以每个车辆集合中包括10个初始车辆对象且每个车轮集合包括10个初始车轮对象，也可以每个车辆集合包括8个初始车辆对象且每个车轮集合包括16个初始车轮对象等。

[0133] 在之后的迭代检测过程中，基于检测出的初始车辆对象更新车辆集合，基于检测出的初始车轮对象更新车轮集合。例如，待处理视频帧为待识别视频中的第7帧，此时目标车辆对象3的车轮关联信息中包括初始车轮对象1，待处理视频帧为第8帧时，基于从待处理视频帧中检测出的初始车轮对象2更新车轮集合，并且基于目标车辆对象3的车辆检测信息和初始车轮对象2的车轮检测信息，更新目标车辆对象3的车轮关联信息，此时目标车辆对象3的车轮关联信息中包括初始车轮对象1和初始车轮对象2。

[0134] 在一种可选的实施方式中，车辆集合和车轮集合可以为跟踪链或一维数组的形式，例如，分别建立车辆目标跟踪链与车轮目标跟踪链，初始化各链表长度L以及链表中的子节点，每个子节点对应一个跟踪目标，由于目前国内载货车辆的轴数国标没有超过6轴，跟踪链初始化长度可设置为10，即可同时跟踪10个目标。

[0135] 需要说明的是，本申请仅以初始化长度设置为10为例进行说明，跟踪链的长度可以根据实际需求设置，本申请在此不做具体限定。

[0136] 在一种可选的实施方式中，可以基于YOLO检测模型对待识别视频图像进行目标检测，检测目标包括载货车辆和车轮两类，获取到边界框及类别属性，并滤除置信度小于置信度阈值的边界框，保证目标检测结果的可靠性。

[0137] 在基于YOLO检测模型进行目标检测之前，可以基于训练数据对搭建好的YOLO检测模型进行训练，将车辆和车轮的类别标签分别设置为0和1。

[0138] 需要说明的是，在本申请实施例中可以基于YOLO检测模型对待识别视频图像进行目标检测，也可以基于SSD（Single Shot MultiBox Detector，多分类单杆检测器）、FasterRcnn（更快速的区域循环神经网络）、GoogleNet（谷歌网络）、Resnet（Deep residual network，深度残差网络）、DenseNet（Densely Connected Convolutional Networks，密集连接的卷积网络）等深度学习网络检测模型进行目标检测，本申请在此不做具体限定。

[0139] S22：终端基于目标车辆对象的车轮关联信息，确定目标车辆对象的车辆轴数识别结果。

[0140] 在本申请实施例中，通过对待识别视频进行迭代检测，获得目标车辆对象，以及目标车辆对象的车轮关联信息，并基于车轮关联信息确定目标车辆对象的车辆轴数识别结果。该方式下，通过单个相机即可完成对车辆轴数的识别，能够有效降低识别成本，针对待识别视频中的目标车辆对象进行车辆轴数确定，能够滤除无关目标，提高车辆轴数识别的效率和精度。

[0141] 在一种可选的实施方式中，车轮关联信息包括目标车辆对象关联的各初始车轮对象，通过以下方式确定目标车辆对象的车辆轴数识别结果：

[0142] 基于目标车辆对象关联的各初始车轮对象的数量，确定目标车辆对象的车辆轴数识别结果。

[0143] 具体地，若目标车辆对象1的关联的初始车轮对象的数量为3，则目标车辆对象1的车辆轴数识别结果为3。

[0144] 在一种可选的实施方式中，待处理视频帧是针对目标行驶路线采集的；车辆检测信息包括用于标识初始车辆对象在待处理视频帧中的边界的车辆边界框，通过下列方式确定车辆集合中的目标车辆对象：

[0145] 将更新后的车辆集合中，车辆边界框与预设位置向量相交的各初始车辆对象确定为目标车辆对象。

[0146] 也就是说，对于待处理视频帧而言，可基于上述方式确定更新后的车辆集合中的初始车辆对象是否可作为目标车辆对象。此外，若确定一个初始车辆对象可作为目标车辆对象，还可将该目标车辆对象在该待处理视频帧中的对象状态设置为有效状态。

[0147] 其中，预设位置向量是基于目标行驶路线确定的，在相机视野有效范围内，初始车辆对象的目标行驶路线上设定两点A、B，AB两点连接线段与初始车辆对象行驶轨迹存在交集，则AB点组成的向量即为预设位置向量，图3中的向量v2即为预设位置向量。通过设置预设位置向量能够有效过滤相机视野中的无效目标，也就是说，车辆边界框与预设位置向量相交的初始车辆对象为目标车辆对象。

[0148] 在一种可选的实施方式中，车轮检测信息包括用于标识初始车轮对象在待处理视频帧中的边界的车轮边界框，通过下列方式确定车轮集合中的目标车轮对象：

[0149] 将更新后的车轮集合中，车轮边界框与预设位置向量相交的各初始车轮对象确定为目标车轮对象。

[0150] 具体地，如图3所示，矩形1为初始车辆对象1的边界框1，矩形2为初始车轮对象1的边界框2，矩形3为初始车轮对象2的边界框3，通过向量间跨立叉乘法判别预设抓拍向量（即预设位置向量）与边界框1之间的位置关系时，边界框1的左上端点与右下端点之间组成候选向量v1。通过判断候选向量v1和预设抓拍向量v2之间的位置关系，确定预设抓拍向量和边界框1的位置关系。如图4所示，预设抓拍向量的端点为A(xa，ya)和B(xb，yb)，边界框1的左上坐标C(xc，yc)、右下坐标D(xd，yd)，则向量组1（AD/AB/AC）的计算公式如下：

[0151]

[0152] 向量组2（CD/CB/CA）的计算公式如下：

[0153]

[0154] 向量间的跨立叉乘运算如下：

[0155]

[0156] 令res1= ，res2= ，若res1与res2之间的乘积大于0，则判定当前向量AB与向量CD处于相交状态，否则处于相离状态。采用向量间的跨立叉乘法判别初始对象的边界框生成的候选向量v1与预设抓拍向量v2之间的位置状态，即可获得预设位置向量与边界框之间的位置关系，相交状态时初始对象作为目标对象，并将其valid_flag（有效标志位）置为1（即该目标对象的对象状态为有效状态）。相应的，任意一个初始车辆对象都可采用上述方式确定预设位置向量与初始车辆对象的车辆边界框之间的位置关系。

[0157] 其中，初始对象的边界框也称为跟踪框，可以为每个跟踪框设置跟踪框ID区分不同的跟踪框，例如初始对象1的边界框可称为跟踪框1，初始对象2的边界框可称为跟踪框2。

[0158] 通过当前ID的跟踪框的左上坐标点、右下坐标点组成候选向量v1，并设计向量跨立叉乘法判别候选向量v1与预设抓拍向量v2之间的位置关系，能够甄别当前跟踪目标有效性，滤除周边无效目标。

[0159] 在一种可选的实施方式中，在确定车辆集合中的目标车辆对象和车轮集合中的目标车轮对象之后，可以基于更新后的车辆集合中目标车辆对象的车辆检测信息，和更新后的车轮集合中各目标车轮对象的车轮检测信息，更新目标车辆对象的车轮关联信息。

[0160] 在一种可选的实施方式中，待处理视频帧为待识别视频中的第i个视频帧；在基于更新后的车辆集合中目标车辆对象的车辆检测信息，和更新后的车轮集合中初始车轮对象的车轮检测信息，更新目标车辆对象的车轮关联信息之前，还包括：

[0161] 确定更新后的车辆集合中的目标车辆对象满足车轮关联更新条件。

[0162] 其中，车轮关联更新条件为：目标车辆对象在第i个视频帧中的对象状态为有效状态，且目标车辆对象在目标视频帧中的对象状态为有效状态，目标视频帧包括待识别视频中的第i个视频帧之前连续的预设数量的视频帧。

[0163] 具体地，在确定目标车辆对象满足车轮关联更新条件后更新目标车辆对象的车轮关联信息，例如，第i个视频帧为第6帧，预设数量为3帧，当目标车辆对象1在第3‑6帧视频帧中的对象状态均为有效状态时，确定目标车辆对象1满足车轮关联更新条件，可以在第6帧对目标车辆对象1的车轮关联关系更新。

[0164] 在一种可选的实施方式中，基于以下步骤更新车辆集合和车轮对象：

[0165] 步骤1：对待处理视频帧进行检测，获得检测到的至少一个候选对象；

[0166] 步骤2：基于至少一个候选对象中各候选对象的对象检测信息，与当前的对象集合中的各初始对象的对象检测信息，对各候选对象和当前的对象集合中的各初始对象进行匹配；

[0167] 步骤3：基于第一候选对象的对象检测信息，更新当前的对象集合中第一初始对象的对象检测信息，第一候选对象包括在当前的对象集合中成功匹配到初始对象的候选对象；第一初始对象是初始的对象集合中与第一候选对象成功匹配的初始对象；和/或，将第二候选对象作为初始对象添加到当前的对象集合中，第二候选对象包括在当前的对象集合中无法匹配到初始对象的候选对象。

[0168] 其中，候选对象为候选车辆对象时，对象检测信息为车辆检测信息，对象集合为车辆集合；候选对象为候选车轮对象时，对象检测信息为车轮检测信息，对象集合为车轮集合，第一候选对象和第二候选对象可以只存在一种，也可以同时存在两种。

[0169] 具体地，对待处理视频帧进行目标检测，获得至少一个候选对象，例如，候选对象为候选车辆对象，则基于各候选车辆对象与车辆集合中的各初始车辆对象各自的车辆检测信息，将候选车辆对象与初始车辆对象进行匹配，确定各初始车辆对象对应的各候选车辆对象，若初始车辆对象匹配到对应的候选车辆对象，则基于候选车辆对象的车辆检测信息更新对应的初始车辆对象的车辆检测信息，若候选车辆对象无法匹配到初始车辆对象，则将此候选车辆对象作为初始车辆对象加入车辆集合中。相应的，候选对象为候选车轮对象时的目标检测过程如上所示，在此不做赘述。

[0170] 如图5A所示，为初始化后的车辆集合，包含5个子节点，可同时跟踪5个车辆目标，对第一帧视频帧目标检测后，获得3个候选车辆对象，则直接将3个候选车辆对象作为初始车辆对象，加入车辆集合中，如图5B所示。然后，继续对待识别视频的下一视频帧进行目标检测，以获得最终的车辆集合和车轮集合。

[0171] 在一种可选的实施方式中，确定当前的对象集合中的第二初始对象，第二初始对象包括当前的对象集合中除与各候选对象成功匹配的初始对象之外的初始对象；基于第二初始对象的预设对象检测信息，更新第二初始对象的对象检测信息。

[0172] 具体地，预设对象检测信息是基于第二初始对象的历史对象检测信息确定的，若集合中的初始对象未匹配到对应的候选对象，则启动主动跟踪虚拟边界框，基于预设对象检测信息更新初始对象的对象检测信息，以第二初始对象为车辆集合中的初始车辆对象为例，若初始车辆对象未匹配到候选车辆对象，则基于此初始车辆对象的预设对象检测信息，更新初始车辆对象的车辆检测信息。

[0173] 在一种可选的实施方式中，通过以下方式确定预设对象检测信息：

[0174] 方式一：计算初始对象在第5帧中的预设对象检测信息时，通过初始对象在第2‑3、第3‑4帧之间的位移（即每帧初始对象移动了多少个像素）确定初始对象的移动速度，通过初始对象在第2‑4帧中的中心点位置坐标拟合初始对象的运动方向，通过确定的移动速度和运动方向确定初始对象在第5帧中的预设对象检测信息；

[0175] 该方式下，初始对象在第2‑3、第3‑4帧之间的位移，以及在第2‑4帧中的中心点位置坐标即为初始对象的历史对象检测信息，并且，当初始对象的历史对象检测信息大于等于三帧时，采用上述方式一来确定初始对象的预设对象检测信息。

[0176] 方式二：计算初始对象在第5帧中的预设对象检测信息时，将初始对象在第4帧中的对象边界框内所有的像素点信息输入CSK（Exploiting the Circulant Structure of Tracking‑by‑detection with Kernels，利用核跟踪检测的循环结构）模型中，CSK模型输出初始对象在第5帧中的预设对象检测信息。

[0177] 该方式下，初始对象在第4帧中的对象边界框内所有的像素点信息即为初始对象的历史对象检测信息，并且，当初始对象的历史对象检测信息少于3帧时，才会采用方式二来确定初始对象的预设对象检测信息。

[0178] 可选的，基于以下方式获得候选对象对应的初始对象：当前帧所有候选对象组成候选集，通过计算候选对象的边界框与对应类别的初始对象的边界框之间IOU（Intersection Of Union，交并比）值与预设重叠阈值的关系判定两者是否关联。例如，候选车辆对象1的边界框的左上角坐标为(x1，y1)，右下角坐标(x2，y2)，车辆集合中初始车辆对象1的边界框左上角坐标为(x3，y3)，右下角坐标为(x4，y4)，则IOU值的计算过程如下：

[0179] 候选车辆对象1的边界框面积Sod与初始车辆对象1的边界框Strack计算公式如下：

[0180]

[0181] 两边界框之间的重叠面积sover计算公式如下：

[0182]

[0183] 由上述公式可得IOU的计算公式如下：

[0184]

[0185] 候选对象的边界框和初始对象的边界框之间IOU超过预设重叠阈值，则认为两者关联成功，即该候选对象为初始对象对应的候选对象。其中，候选对象边界框可称为检测框，初始对象的边界框可称为跟踪框，跟踪框是连续的且存在唯一的ID标识，以区分不同的初始对象，ID相同表明是同一个跟踪目标，检测框没有对应的ID，检测框是为迭代更新跟踪框信息而存在的。

[0186] 例如，预设重叠阈值可以为0.5，候选车辆对象1的检测框与跟踪框4的IOU为0.7，大于0.5且跟踪框4用于标识初始车辆对象4，则表明候选车辆对象1的与初始车辆对象4相对应，基于候选车辆对象1的对象边界信息更新初始车辆对象4的对象边界信息。

[0187] 在一种可选的实施方式中，在预设时长内，若一个初始对象仍无法匹配到对应的候选对象，则在集合删除此初始对象。

[0188] 例如，初始车轮对象3在第2帧时为匹配到相应的候选车轮对象，则通过主动跟踪更新初始车轮对象的边界信息，若在接下来的4帧内，仍无法为初始车轮对象3匹配到候选车轮对象，则将初始车轮对象3从车轮集合中删除。

[0189] 基于视频序列检测和主动跟踪相结合的目标跟踪方式，能够有效优化单一视频检测模式下目标丢失问题，并且在预设时长内仍无法匹配的初始对象，直接从检测集合中删除，可以清除无效目标，避免检测集合中的节点被无效目标占用。

[0190] 在一种可选的实施方式中，基于各目标车辆对象的对象检测信息，确定各目标车辆对象的车辆边界框各自包含的车辆图像；并分别对各个车辆图像进行图像识别，获得至少一个识别结果；根据至少一个识别结果的出现次数，确定相应的目标车辆对象的车牌识别结果。

[0191] 具体地，从目标车辆对象的有效标志位置1的视频帧开始，将目标车辆对象的车辆边界框包含的车辆图像送入车牌识别模块进行车牌识别，并该帧车牌识别结果存入目标车辆对象下长度为N的车牌识别队列中，车牌识别操作持续至目标车辆对象的有效标志位置0。获得至少一个车牌识别结果后，将出现次数最多的车牌识别结果作为目标车辆对象的车牌识别结果。

[0192] 在一种可选的实施方式中，确定更新后的车辆集合中的目标车辆对象满足车轮关联更新条件之后，则对目标车辆对象进行抓拍，获得目标车辆对象的车辆抓拍图像；基于车辆抓拍图像对确定的车辆轴数识别结果进行校验。。

[0193] 具体地，若目标车辆对象的有效标志位置1的状态持续N帧，则对该目标车辆对象进行抓拍，并将该目标车辆对象下的snap_flag（断开标志位）置1。

[0194] 在一种可选的实施方式中，通过以下方式更新目标车辆对象的车轮关联信息：

[0195] 基于更新后的车辆集合中的目标车辆对象的车辆检测信息，和更新后的车轮集合中的各初始车轮对象的车轮检测信息，确定目标车辆对象与各初始车轮对象的重叠度；根据确定的各重叠度，更新目标车辆对象的车轮关联信息。

[0196] 例如，目标车辆对象5在第7帧时车轮关联信息包括初始车轮对象6，在第8帧更新车辆集合和车轮集合后，计算得到目标车辆对象5与初始车轮对象7、初始车轮对象8的重叠度分别为0.1、0.6，设置预设重叠度阈值为0.5，重叠度高于0.5时，更新车轮关联信息，则将初始车轮对象8添加到目标车辆对象5的车轮关联信息中，目标车辆对象5的车轮关联信息更新为包括初始车轮对象6和初始车轮对象8。

[0197] 在一种可选的实施方式中，车辆检测信息包括用于标识初始车辆对象在待处理视频帧中的边界的车辆边界框；车轮检测信息包括用于标识初始车轮对象在待处理视频帧中的边界的车轮边界框；通过以下方式确定目标车辆对象与各初始车轮对象的重叠度：

[0198] 根据各初始车轮对象的车轮边界框对应的重叠面积与各初始车轮对象的车轮边界框的面积之比，确定为目标车辆对象与各初始车轮对象的重叠度；其中，重叠面积是目标车辆对象的车辆边界框和对应的初始车轮对象的车轮边界框的重叠部分的面积。

[0199] 具体地，若检测到目标车辆对象下的断开标志位置1，则开始进行目标车辆对象和初始车轮对象的关联。对于集合中的目标对象，通过判别车辆集合中目标车辆对象的边界框与车轮集合中初始车轮对象的边界框之间的耦合关系，将目标车轮对象和初始车辆对象进行关联。其中，耦合关系的计算是：目标车轮对象的边界框与初始车辆对象的边界框之间重叠面积sover1与目标车轮对象的边界框面积swheel之间的比值R，其中sover1的计算方式和sover计算方式一致，在此不做赘述，则R的计算公式如下：

[0200]

[0201] 当R的值超过预设关联阈值，则表示目标车辆对象与初始车轮对象的关联关系建立，并将当前初始车轮对象挂载至目标车辆对象的轴数列表中。

[0202] 在本申请实施例中，通过对待识别视频进行目标检测，创建车辆集合和车轮集合，并判别目标车辆对象的边界框与初始车轮对象的边界框之间的耦合关系，将初始车轮对象动态挂载至目标车辆对象下的轴数列表中，单个相机即可完成载货车辆轴数识别，有效降低系统成本。

[0203] 在一种可选的实施方式中，通过下列方式确定目标车辆对象的限重信息：

[0204] 首先，获取目标车辆对象的车辆轴型信息；然后，基于目标车辆对象的车辆轴数识别结果和车辆轴型信息，确定目标车辆对象的限重信息，限重信息用于判定目标车辆对象是否存在异常行驶行为。

[0205] 具体地，由于同一车辆轴数下有多种轴型，且不同轴型对应的国标限重值不一样，通过结合车辆轴数识别结果和车辆轴型信息，能够获取更加准确的车辆的限重信息。

[0206] 需要说明的是，也可仅基于车辆轴数识别结果确定车辆的限重信息，本申请在此不做具体限定。

[0207] 在一种可选的实施方式中，待处理视频帧是针对目标行驶路线采集的，车轮检测信息包括用于标识初始车轮对象在待处理视频帧中的边界的车轮边界框，车轮关联信息包括目标车辆对象关联的各初始车轮对象；通过下列方式获得目标车辆对象的车辆轴型信息：

[0208] 基于目标车辆对象关联的各初始车轮对象的车轮边界框与预设位置向量首次相交的时间间隔，确定目标车辆对象的车辆轴型信息，预设位置向量是基于目标行驶路线确定的。

[0209] 具体地，车轮边界框与预设位置向量的位置关系首次为相交时，初始车轮对象的有效标志位置1，可以基于各初始车轮对象的有效标志位首次置1的时间间隔与预设时间间隔之间的数量关系，确定相邻车轴之间的距离，进而确定该目标车辆的轴型。

[0210] 由于视频帧率一定时，在一定的时间间隔内对应的视频帧数也一定，因此还可以依据目标车辆对象的轴数列表中关联的各初始车轮对象的有效标志位首次置1的帧数间隔△f与设定帧数K之间的数量关系，判别相邻车轴之间的距离状态，若小于K认为两车轴为紧邻状态，否则为远距离状态，进而获得该目标车辆对象的车辆轴型。

[0211] 例如，目标车辆对象3关联初始车轮对象1、初始车轮对象2和初始车轮对象3，初始车轮对象1的有效标志位在待识别视频的第5帧置1，初始车轮对象2的有效标志位在待识别视频的第8帧置1，初始车轮对象3的有效标志位在待识别视频的第15帧置1，初始车轮对象1与初始车轮对象2的有效标志位置1的帧数间隔为3帧，初始车轮对象2与初始车轮对象3的有效标志位置1的帧数间隔为7帧，K为5帧，则初始车轮对象1对应的车轴与初始车轮对象2对应的车轴为近距离状态，初始车轮对象2对应的车轴与初始车轮对象3对应的车轴为远距离状态，基于上述信息获得目标车辆对象的车辆轴型信息。

[0212] 在一种可选的实施方式中，待处理视频帧为待识别视频中的第j个视频帧；通过下列方式确定对一个目标车辆对象的迭代检测停止：

[0213] 确定更新后的车辆集合中的目标车辆对象满足迭代停止条件，则基于目标车辆对象的车轮关联信息，确定目标车辆对象的车辆轴数识别结果，其中迭代停止条件为：目标车辆对象在第j个视频帧中的对象状态为非有效状态，且目标车辆对象在第j‑1个视频帧中的对象状态为有效状态。

[0214] 具体地，若目标车辆对象的有效标志位状态值在第3‑6帧为1，在第7帧为0（即非有效状态）时，即表示当前目标车辆对象已完成跟踪且目标已驶出相机视野，则停止对此目标车辆对象的迭代目标检测。此时该目标车辆对象下挂载的轴数列表中目标车轮对象的个数即为目标车辆轴数的识别结果。通过查表法即可获取当前轴数对应的国标限重信息，将车牌识别结果、车辆轴数识别结果以及对应轴数的国标限重信息上报。

[0215] 需要说明的是，实际上在对待识别视频进行迭代检测的过程中会存在多个目标车辆对象，上述迭代停止仅是针对待识别视频中的一个目标车辆对象的迭代检测停止。

[0216] 参阅图6，其为本申请实施例中的一种车辆识别方法的流程示意图，包括以下步骤：

[0217] S601：获取待识别视频；

[0218] S602：对待识别视频进行目标检测；

[0219] S603：建立车辆集合和车轮集合；

[0220] S604：将候选对象与初始对象匹配，更新车辆集合和车轮集合；

[0221] S605：判断初始对象的边界框与预设位置向量之间的位置关系是否为相交；

[0222] S606：将目标车辆对象的有效标志位置1；

[0223] S607：判断目标车辆对象的断开标志位是否为1；

[0224] S608：对目标车辆对象进行车牌识别，获得车牌识别结果；

[0225] S609：对目标车辆对象进行车辆抓拍，获得车辆抓拍图像，并将断开标志位置1；

[0226] S610：将目标车辆对象和初始车轮对象关联；

[0227] S611：判断目标车辆对象的有效标志位是否置1；

[0228] S612：输出车辆轴数识别结果、车牌识别结果、车辆限重信息。

[0229] 在本申请实施例中，基于单相机模式下，利用深度学习视频检测与主动跟踪相结合的目标跟踪方法，判别车辆集合中目标车辆对象与车轮集合中目标车轮对象之间的动态关联关系，智能实现载货车辆轴数识别输出。首先通过检测待识别视频中边界框的类别属性的状态值（0是车辆，1是车轮），分别创建车辆集合与车轮集合，然后检测集合中初始对象的边界框的左上坐标点、右下坐标点组成候选向量v1，通过本申请中的向量跨立叉乘法判别候选向量v1与预设抓拍向量v2之间的位置关系，甄别当前初始对象的有效性，并对目标车辆对象进行抓拍及车牌识别操作。然后，通过判别目标车辆对象与目标车轮对象之间的耦合关系，将目标车轮对象动态挂载至目标车辆对象下的轴数列表中，将轴数列表中有效节点的个数作为目标车辆对象的轴数识别结果，并依据轴数列表中目标车轮对象的有效标志位首次置1的帧数间隔△f，判别该目标车辆对象在该输出轴数下的车辆轴型。最终，将目标车辆对象的车牌识别结果、轴数识别结果以及相应国标限重信息进行系统上报。

[0230] 基于相同的发明构思，本申请实施例还提供一种车辆识别装置。如图7所示，其为车辆识别装置700的结构示意图，可以包括：

[0231] 检测单元701，用于通过对待识别视频进行迭代检测，获取待识别视频中的目标车辆对象，以及目标车辆对象的车轮关联信息，车轮关联信息用于指示归属于目标车辆对象的车轮；

[0232] 第一确定单元702，用于基于目标车辆对象的车轮关联信息，确定目标车辆对象的车辆轴数识别结果；

[0233] 其中，检测单元701在一次迭代检测过程中具体用于：

[0234] 根据从待识别视频中的待处理视频帧中检测出的初始车辆对象更新车辆集合，以及根据从待处理视频帧中检测出的初始车轮对象更新车轮集合；

[0235] 基于更新后的车辆集合中目标车辆对象的车辆检测信息，和更新后的车轮集合中各初始车轮对象的车轮检测信息，更新目标车辆对象的车轮关联信息。

[0236] 可选的，待处理视频帧为待识别视频中的第i个视频帧；在基于更新后的车辆集合中目标车辆对象的车辆检测信息，和更新后的车轮集合中初始车轮对象的车轮检测信息，更新目标车辆对象的车轮关联信息之前，装置还包括第二确定单元703，用于：

[0237] 确定更新后的车辆集合中的目标车辆对象满足车轮关联更新条件，其中车轮关联更新条件为：

[0238] 目标车辆对象在第i个视频帧中的对象状态为有效状态，且目标车辆对象在目标视频帧中的对象状态为有效状态，目标视频帧包括待识别视频中的第i个视频帧之前连续的预设数量的视频帧。

[0239] 可选的，待处理视频帧是针对目标行驶路线采集的；车辆检测信息包括用于标识初始车辆对象在待处理视频帧中的边界的车辆边界框；根据从待识别视频中的待处理视频帧中检测出的初始车辆对象更新车辆集合之后，装置还包括第三确定单元704，用于：

[0240] 通过下列方式确定车辆集合中的目标车辆对象：

[0241] 将更新后的车辆集合中，车辆边界框与预设位置向量相交的各初始车辆对象确定为目标车辆对象，预设位置向量是基于目标行驶路线确定的。

[0242] 可选的，检测单元701具体用于：

[0243] 基于更新后的车辆集合中的目标车辆对象的车辆检测信息，和更新后的车轮集合中的各初始车轮对象的车轮检测信息，确定目标车辆对象与各初始车轮对象的重叠度；

[0244] 根据确定的各重叠度，更新目标车辆对象的车轮关联信息。

[0245] 可选的，车辆检测信息包括用于标识初始车辆对象在待处理视频帧中的边界的车辆边界框；车轮检测信息包括用于标识初始车轮对象在待处理视频帧中的边界的车轮边界框；检测单元701具体用于：

[0246] 将各初始车轮对象的车轮边界框对应的重叠面积与各初始车轮对象的车轮边界框的面积之比，确定为目标车辆对象与各初始车轮对象的重叠度；其中，重叠面积是目标车辆对象的车辆边界框和对应的初始车轮对象的车轮边界框的重叠部分的面积。

[0247] 可选的，第二确定单元703还用于：

[0248] 对目标车辆对象进行抓拍，获得目标车辆对象的车辆抓拍图像；

[0249] 基于车辆抓拍图像对确定的车辆轴数识别结果进行校验。

[0250] 可选的，装置还包括获取单元705，用于：

[0251] 获取目标车辆对象的车辆轴型信息；

[0252] 基于目标车辆对象的车辆轴数识别结果和车辆轴型信息，确定目标车辆对象的限重信息，限重信息用于判定目标车辆对象是否存在异常行驶行为。

[0253] 可选的，待处理视频帧是针对目标行驶路线采集的，车轮检测信息包括用于标识初始车轮对象在待处理视频帧中的边界的车轮边界框，车轮关联信息包括目标车辆对象关联的各初始车轮对象；获取单元705具体用于：

[0254] 基于目标车辆对象关联的各初始车轮对象的车轮边界框与预设位置向量首次相交的时间间隔，确定目标车辆对象的车辆轴型信息，预设位置向量是基于目标行驶路线确定的。

[0255] 可选的，检测单元701具体用于：

[0256] 对待处理视频帧进行检测，获得检测到的至少一个候选对象；

[0257] 基于至少一个候选对象中各候选对象的对象检测信息，与当前的对象集合中的各初始对象的对象检测信息，对各候选对象和当前的对象集合中的各初始对象进行匹配；

[0258] 基于第一候选对象的对象检测信息，更新当前的对象集合中第一初始对象的对象检测信息，第一候选对象包括在当前的对象集合中成功匹配到初始对象的候选对象；第一初始对象是初始的对象集合中与第一候选对象成功匹配的初始对象；和/或，将第二候选对象作为初始对象添加到当前的对象集合中，第二候选对象包括在当前的对象集合中无法匹配到初始对象的候选对象；其中：

[0259] 候选对象为候选车辆对象时，对象检测信息为车辆检测信息，对象集合为车辆集合；

[0260] 候选对象为候选车轮对象时，对象检测信息为车轮检测信息，对象集合为车轮集合。

[0261] 可选的，检测单元701还用于：

[0262] 确定当前的对象集合中的第二初始对象，第二初始对象包括当前的对象集合中除与各候选对象成功匹配的初始对象之外的初始对象；

[0263] 基于第二初始对象的预设对象检测信息，更新第二初始对象的对象检测信息；其中，预设对象检测信息是基于第二初始对象的历史对象检测信息确定的。

[0264] 可选的，待处理视频帧为待识别视频中的第j个视频帧；装置还包括停止单元706，用于：

[0265] 确定更新后的车辆集合中的目标车辆对象满足迭代停止条件，则基于目标车辆对象的车轮关联信息，确定目标车辆对象的车辆轴数识别结果，其中迭代停止条件为：

[0266] 目标车辆对象在第j个视频帧中的对象状态为非有效状态，且目标车辆对象在第j‑1个视频帧中的对象状态为有效状态。

[0267] 可选的，第一确定单元702具体用于：

[0268] 基于目标车辆对象关联的各初始车轮对象的数量，确定目标车辆对象的车辆轴数识别结果。

[0269] 为了描述的方便，以上各部分按照功能划分为各模块（或单元）分别描述。当然，在实施本申请时可以把各模块（或单元）的功能在同一个或多个软件或硬件中实现。

[0270] 所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

[0271] 与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备。在一种实施例中，该电子设备可以是服务器，如图1所示的服务器120。在该实施例中，电子设备的结构可以如图8所示，包括存储器801，通讯模块803以及一个或多个处理器802。

[0272] 存储器801，用于存储处理器802执行的计算机程序。存储器801可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。

[0273] 存储器801可以是易失性存储器（volatile memory），例如随机存取存储器（random‑access memory，RAM）；存储器801也可以是非易失性存储器（non‑volatile memory），例如只读存储器，快闪存储器（flash memory），硬盘（hard disk drive，HDD）或固态硬盘（solid‑state drive，SSD）；或者存储器801是能够用于携带或存储具有指令或数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质，但不限于此。存储器801可以是上述存储器的组合。

[0274] 处理器802，可以包括一个或多个中央处理单元（central processing unit， CPU）或者为数字处理单元等等。处理器802，用于调用存储器801中存储的计算机程序时实现上述车辆识别方法。

[0275] 通讯模块803用于与终端设备和其他服务器进行通信。

[0276] 本申请实施例中不限定上述存储器801、通讯模块803和处理器802之间的具体连接介质。本申请实施例在图8中以存储器801和处理器802之间通过总线804连接，总线804在图8中以粗线描述，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线804可以分为地址总线、数据总线、控制总线等。为便于描述，图8中仅用一条粗线描述，但并不描述仅有一根总线或一种类型的总线。

[0277] 存储器801中存储有计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本申请实施例的车辆识别方法。处理器802用于执行上述的车辆识别方法，如图2所示。

[0278] 在另一种实施例中，电子设备也可以是其他电子设备，如图1所示的终端设备110。在该实施例中，电子设备的结构可以如图9所示，包括：通信组件910、存储器920、显示单元
930、摄像头940、传感器950、音频电路960、蓝牙模块970、处理器980等部件。

[0279] 通信组件910用于与服务器进行通信。在一些实施例中，可以包括电路无线保真（Wireless Fidelity，WiFi）模块，WiFi模块属于短距离无线传输技术，电子设备通过WiFi模块可以帮助用户收发信息。

[0280] 存储器920可用于存储软件程序及数据。处理器980通过运行存储在存储器920的软件程序或数据，从而执行终端设备110的各种功能以及数据处理。存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器920存储有使得终端设备110能运行的操作系统。本申请中存储器920可以存储操作系统及各种应用程序，还可以存储执行本申请实施例车辆识别方法的计算机程序。

[0281] 显示单元930还可用于显示由用户输入的信息或提供给用户的信息以及终端设备110的各种菜单的图形用户界面（graphical user interface，GUI）。具体地，显示单元930可以包括设置在终端设备110正面的显示屏932。其中，显示屏932可以采用液晶显示器、发光二极管等形式来配置。显示单元930可以用于显示本申请实施例中的车辆识别用户界面等。

[0282] 显示单元930还可用于接收输入的数字或字符信息，产生与终端设备110的用户设置以及功能控制有关的信号输入，具体地，显示单元930可以包括设置在终端设备110正面的触摸屏931，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。

[0283] 其中，触摸屏931可以覆盖在显示屏932之上，也可以将触摸屏931与显示屏932集成而实现终端设备110的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元930可以显示应用程序以及对应的操作步骤。

[0284] 摄像头940可用于捕获静态图像，用户可以将摄像头940拍摄的图像通过应用发布评论。摄像头940可以是一个，也可以是多个。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件（charge coupled device，CCD）或互补金属氧化物半导体（complementary metal‑oxide‑semiconductor，CMOS）光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器980转换成数字图像信号。

[0285] 终端设备还可以包括至少一种传感器950，比如加速度传感器951、距离传感器952、指纹传感器953、温度传感器954。终端设备还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。

[0286] 音频电路960、扬声器961、传声器962可提供用户与终端设备110之间的音频接口。音频电路960可将接收到的音频数据转换后的电信号，传输到扬声器961，由扬声器961转换为声音信号输出。终端设备110还可配置音量按钮，用于调节声音信号的音量。另一方面，传声器962将收集的声音信号转换为电信号，由音频电路960接收后转换为音频数据，再将音频数据输出至通信组件910以发送给比如另一终端设备110，或者将音频数据输出至存储器
920以便进一步处理。

[0287] 蓝牙模块970用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，终端设备可以通过蓝牙模块970与同样具备蓝牙模块的可穿戴电子设备（例如智能手表）建立蓝牙连接，从而进行数据交互。

[0288] 处理器980是终端设备的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器920内的软件程序，以及调用存储在存储器920内的数据，执行终端设备的各种功能和处理数据。在一些实施例中，处理器980可包括一个或多个处理单元；处理器980还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器980中。本申请中处理器980可以运行操作系统、应用程序、用户界面显示及触控响应，以及本申请实施例的车辆识别方法。另外，处理器980与显示单元930耦接。

[0289] 在一些可能的实施方式中，本申请提供的车辆识别方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在电子设备上运行时，计算机程序用于使电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的车辆识别方法中的步骤，例如，电子设备可以执行如图2中所示的步骤。

[0290] 程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体地例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器（CD‑ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。

[0291] 本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器（CD‑ROM）并包括计算机程序，并可以在电子设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。

[0292] 可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。

[0293] 可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

[0294] 可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的计算机程序，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。计算机程序可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络包括局域网（LAN）或广域网（WAN）连接到用户电子设备，或者，可以连接到外部电子设备（例如利用因特网服务提供商来通过因特网连接）。

[0295] 应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

[0296] 此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

[0297] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用计算机程序的计算机可用存储介质（包括但不限于磁盘存储器、CD‑ROM、光学存储器等）上实施的计算机程序产品的形式。

[0298] 本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序命令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序命令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的命令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

[0299] 这些计算机程序命令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的命令产生包括命令装置的制造品，该命令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

[0300] 这些计算机程序命令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的命令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

[0301] 尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

[0302] 显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。