一种基于主动学习的步态识别方法

摘要

本发明公开了一种基于主动学习的步态识别方法，对待检测输入图像，使用主模型提取出特征矩阵，使用副模型对样本进行评估和筛选。在训练过程中，首先使用数量相对较少的已标注样本对主模型和副模型进行训练，然后对未标注的样本进行评估。在得到未标注样本的评估结果后，按照既定策略进行样本筛选，将筛选出的样本加入到已标注样本集中，输入模型中继续进行训练。本方法利用主动学习的思想，从未标注的数据样本中选取更有价值的样本进行标注训练，可以大大减少人工标注的代价。在数据样本有限时，本方法也可用来选取信息量相对更丰富的样本，使模型能够有针对性进行训练，从而在样本有限的情况下，尽可能利用样本多样性来提升模型的效果。

权利要求

1.一种基于主动学习的步态识别方法，其特征在于，所述方法包括下述步骤：(1)生成轮廓数据集：

(1.1)对一段步态序列中的每一帧轮廓图，依据每一行的像素和不为0的原则，找上边和下边；

(1.2)根据上边和下边对轮廓图进行切割；

(1.3)对切割后的图进行resize操作，高度为64，宽度保持比例；

(1.4)依据每一列的和最大的为中心线原则，找到中心线；

(1.5)中心线左右各32像素进行切割，不够的补0；

(1.6)得到对齐后的轮廓图；

(2)初始化已标注集与未标注集：

将生成的轮廓数据集作为训练特征提取主模型和样本选择副模型的数据集，按照不同的应用场景选择相应的策略，对数据集进行初始化，当数据集样本数量庞大、需要高昂的代价进行人工标注时，初始化数据集的策略是：将轮廓数据集中已经进行了标注的数据设置为已标注集，轮廓数据集中未进行标注的数据设置为未标注集，当数据集样本数量有限、难以获取更多样本时，初始化数据集的策略是：随机从生成的轮廓数据集中选择一定数量的样本作为已标注集，其余的样本视为未标注样本，加入未标注集；

(3)训练特征提取主模型：

(3.1)将初始化好的已标注集样本输入到特征提取主模型当中，使用卷积神经网络和池化层，将已标注集样本从图像序列编码成具有代表性的特征；

(3.2)使用注意力机制，将每一个序列中最大的特征值、中间特征值和平均特征值进行叠加，作为每个序列在模型中的特征表示；

(3.3)得到每个序列的特征表示后，按照不同的尺度将特征进行分层叠加，得到序列多尺度的特征表示；

(3.4)使用损失函数对得到的特征进行评估，反向传播训练特征提取主模型；

(4)训练主动学习样本选择副模型：(4.1)使用特征提取主模型提取好已标注集中样本的特征后，将提取好的特征输入到主动学习样本选择副模型当中，根据不同的应用场景，选择主动学习样本选择副模型的训练方式；

(4.2)当数据样本数量庞大，需要大量的标注，标注代价高昂，主动学习样本选择副模型的主要目的是降低标注代价时，根据特征提取主模型提取出的特征，主动学习样本选择副模型对已标注集中的每个样本预测不确定分数，以特征提取主模型的损失函数值作为真实值，计算主动学习样本选择副模型的损失函数值，反向传播进行训练；

(4.3)当数据集的数量比较有限、新样本获取困难，主动学习样本选择副模型的主要目的是充分利用数据样本的多样性时，根据特征提取主模型提取出的特征，主动学习样本选择副模型对已标注集中的样本预测目标标签，以每个样本的真实标签作为真实值，计算主动学习样本选择副模型的损失函数值，反向传播进行训练；

(5)更新已标注集与未标注集：

将训练好的特征提取主模型和主动学习样本选择副模型设置为测试模式，使用特征提取主模型提取未标注集中样本的特征，输入到主动学习样本选择副模型中，主动学习样本选择副模型对未标注集中每一个样本进行评估，按照设定好的选择策略，根据每个样本的不确定性分数或离相应目标标签特征中心距离的大小，将未标注数据集中的样本进行排序，选取K个样本进行标注后加入到已标注集中；

(6)重复步骤(3)到(5)，直到已标注数据集中的样本数量达到预先设定好的容量。

2.根据权利要求1所述的基于主动学习的步态识别方法，其特征在于，所述步骤(3.3)中的损失函数的计算过程为：根据(3.1)中提取出的每个序列的特征，计算不同样本之间的距离，使标签相同的样本距离尽可能近，标签不同的样本距离尽可能远。

3.根据权利要求1或2所述的基于主动学习的步态识别方法，其特征在于，所述步骤(4.1)中主动学习样本选择副模型的使用过程具体为：根据需求场景的不同，选择相应的主动学习样本选择副模型筛选策略，使用特征提取主模型生成的特征矩阵进行联合训练；当数据样本数量庞大，需要大量的标注，标注代价高昂，主动学习样本选择副模型的主要目的是降低标注代价时，主动学习样本选择副模型对未标注集中的样本进行困难度的评估，筛选出困难样本进行标记，加入到已标注集中，送入到特征提取主模型进行进一步的训练；当数据集的数量比较有限，主动学习样本选择副模型的主要目的是充分利用数据样本的多样性时，主动学习样本选择副模型对样本进行混淆度的评估；主动学习样本选择副模型预测未标注集中样本的目标标签，分别计算出每个目标标签下所有序列的中心特征，选择未标注集中离相应目标标签中心特征距离最远的样本作为混淆度最大的样本加入到已标注集中，送入到特征提取主模型中进行训练。

4.根据权利要求1或2所述的基于主动学习的步态识别方法，其特征在于，所述步骤(4.2)中的主动学习样本选择副模型的具体训练方式为：利用特征提取主模型输出的特征矩阵作为输入，使用池化层和全连接层处理输入的特征，输出对样本预测的不确定值。

5.根据权利要求1或2所述的基于主动学习的步态识别方法，其特征在于，所述步骤(4.2)中的主动学习样本选择副模型的损失函数计算方式为：利用特征提取主模型的损失函数值作为副模型的监督信息；由于特征提取主模型的损失函数值会随着训练动态变化，因此，在计算主动学习样本选择副模型的损失函数值时，进行成对样本损失函数相对值的比较；即比较成对的样本损失函数值相对大小，若主动学习样本选择副模型预测的损失函数值相对大小与特征提取主模型损失函数值相对大小相符合，则认定主动学习样本选择副模型的预测正确。

6.根据权利要求1或2所述的基于主动学习的步态识别方法，其特征在于，所述步骤(4.3)中的主动学习样本选择副模型的具体训练方式为：利用特征提取主模型输出的特征矩阵作为输入，使用池化层和全连接层处理输入的特征，输出对样本预测的标签。

7.根据权利要求1或2所述的基于主动学习的步态识别方法，其特征在于，所述步骤(4.3)中的主动学习样本选择副模型的损失函数计算方式为：主动学习样本选择副模型对已标注集样本预测的标签值与样本的真实标签值计算交叉熵，即为主动学习样本选择副模型的损失函数值。

8.根据权利要求1或2所述的基于主动学习的步态识别方法，其特征在于，所述步骤(5)中的目标标签特征中心的计算方式为：利用特征提取主模型得到未标注集中所有序列的特征矩阵，根据主动学习样本选择副模型对未标注集中样本预测的目标标签，计算每个目标标签下所有序列特征矩阵每一个维度上的平均值，即为每个目标标签的中心特征。

9.根据权利要求1或2所述的基于主动学习的步态识别方法，其特征在于，所述步骤(5)中的样本与对应目标标签特征中心距离计算公式为：其中x表示对应序列的特征矩阵，c表示序列对应目标标签的特征中心矩阵；||x||和||c||分别表示序列特征矩阵的中心特征矩阵的L2范数。

10.根据权利要求1或2所述的基于主动学习的步态识别方法，其特征在于，所述步骤(5)中的选择策略具体为：将主动学习样本选择副模块设置为测试模式；当主动学习样本选择副模型主要目的为降低标注代价时，主动学习样本选择副模型给每个未标注样本预测一个不确定性分数，根据输出的分数将未标注样本进行排序，选择K个不确定性最高的数据进行标注，然后加入到已标注集中；当主动学习样本选择副模型主要目的为利用样本多样性时，主动学习样本选择副模型预测每个未标注样本的标签，通过选取每个目标标签下所有序列中距离相应目标特征中心距离最远的K个未标注样本进行标注，然后加入到已标注集。

说明书

一种基于主动学习的步态识别方法

技术领域

[0001] 本发明属于计算机视觉技术领域，更具体地，涉及一种基于主动学习的步态识别方法。

背景技术

[0002] 步态识别是一种独特的生物识别技术，研究的是如何从人类走路的姿态中识别出目标的身份。与其他的生物识别技术，如面部识别、虹膜识别等方法相比，步态识别可以在
较远距离进行识别，并且无需受配者的主动参与。因此，在预防犯罪、法医鉴定以及社会保
障方面具有广泛的应用。

[0003] 目前的步态识别方法主要是基于深度学习的方法，将图像输入到设计好的深度学习模型当中进行处理和匹配，从而达到识别的目的。这样的方法往往需要大量的数据。然
而，大量的数据往往意味着需要大量的人力与时间，很多时候，这样巨大的标注代价是不可
承受的。此外，在一些情况下，数据的获取比较困难，数据样本的数量比较有限。

[0004] 因此，需要设计基于主动学习的步态识别方法，能够从大量数据中筛选出有训练价值的数据进行标注，从而减少标注代价；同时在数据样本数量有限时，能够尽可能有效利
用数据样本的多样性来提升步态识别方法的识别性能。

发明内容

[0005] 本发明的目的在于提供一种基于主动学习的步态识别方法，该方法可以有效地从数据集中找到信息量较大的数据进行标注，从而大大减少数据标注的代价。同时，在数据集
数据量有限的时候，可以充分利用数据的多样性，达到提升性能的目的。

[0006] 为了实现上述目的，本发明提供了一种基于主动学习的步态识别方法，包括下述步骤：

[0007] (1)生成轮廓数据集：

[0008] (1.1)对一段步态序列中的每一帧轮廓图，依据每一行的像素和不为0的原则，找上边和下边；

[0009] (1.2)根据上边和下边对轮廓图进行切割；

[0010] (1.3)对切割后的图进行resize操作，高度为64，宽度保持比例；

[0011] (1.4)依据每一列的和最大的为中心线原则，找到中心线；

[0012] (1.5)中心线左右各32像素进行切割，不够的补0；

[0013] (1.6)得到对齐后的轮廓图；

[0014] (2)初始化已标注集与未标注集：

[0015] 将生成的轮廓数据集作为训练特征提取主模型和样本选择副模型的数据集。按照不同的应用场景选择相应的策略，对数据集进行初始化。当数据集样本数量庞大、需要高昂
的代价进行人工标注时，初始化数据集的策略是：将轮廓数据集中已经进行了标注的数据
设置为已标注集，轮廓数据集中未进行标注的数据设置为未标注集。当数据集样本数量有
限、难以获取更多样本时，初始化数据集的策略是：随机从生成的轮廓数据集中选择一定数
量的样本作为已标注集，其余的样本视为未标注样本，加入未标注集；

[0016] (3)训练特征提取主模型：

[0017] (3.1)将初始化好的已标注集样本输入到特征提取主模型当中。使用卷积神经网络和池化层，将已标注集样本从图像序列编码成具有代表性的特征；

[0018] (3.2)使用注意力机制，将每一个序列中最大的特征值、中间特征值和平均特征值进行叠加，作为每个序列在模型中的特征表示；

[0019] (3.3)得到每个序列的特征表示后，按照不同的尺度将特征进行分层叠加，得到序列多尺度的特征表示；

[0020] (3.4)使用损失函数对得到的特征进行评估，反向传播训练特征提取主模型；

[0021] (4)训练主动学习样本选择副模型：

[0022] (4.1)使用特征提取主模型提取好已标注集中样本的特征后，将提取好的特征输入到主动学习样本选择副模型当中。根据不同的应用场景，选择主动学习样本选择副模型
的训练方式。

[0023] (4.2)当数据样本数量庞大，需要大量的标注，标注代价高昂，主动学习样本选择副模型的主要目的是降低标注代价时，根据特征提取主模型提取出的特征，主动学习样本
选择副模型对已标注集中的每个样本预测不确定分数，以特征提取主模型的损失函数值作
为真实值，计算主动学习样本选择副模型的损失函数值，反向传播进行训练。

[0024] (4.3)当数据集的数量比较有限，主动学习样本选择副模型的主要目的是充分利用数据样本的多样性时，根据特征提取主模型提取出的特征，主动学习样本选择副模型对
已标注集中的样本预测目标标签，以每个样本的真实标签作为真实值，计算主动学习样本
选择副模型的损失函数值，反向传播进行训练。

[0025] (5)更新已标注集与未标注集：

[0026] 将训练好的特征提取主模型和主动学习样本选择副模型设置为测试模式，使用特征提取主模型提取未标注集中样本的特征，输入到主动学习样本选择副模型中，主动学习
样本选择副模型对未标注集中每一个样本进行评估，按照设定好的选择策略，根据每个样
本的不确定性分数或离相应目标标签特征中心距离的大小，将未标注数据集中的样本进行
排序，选取K个样本进行标注后加入到已标注集中。

[0027] (6)重复步骤(3)到(5)，直到已标注数据集中的样本数量达到预先设定好的容量。

[0028] 本发明的一个实施例中，所述步骤(3.3)中的损失函数的计算过程为：根据(3.1)中提取出的每个序列的特征，计算不同样本之间的距离，使标签相同的样本距离尽可能近，
标签不同的样本距离尽可能远。

[0029] 本发明的一个实施例中，所述步骤(4.1)中主动学习样本选择副模型的使用过程具体为：根据需求场景的不同，选择相应的主动学习样本选择副模型筛选策略，使用特征提
取主模型生成的特征矩阵进行联合训练；当数据样本数量庞大，需要大量的标注，标注代价
高昂，主动学习样本选择副模型的主要目的是降低标注代价时，主动学习样本选择副模型
对未标注集中的样本进行困难度的评估，筛选出困难样本进行标记，加入到已标注集中，送
入到特征提取主模型进行进一步的训练；当数据集的数量比较有限，主动学习样本选择副
模型的主要目的是充分利用数据样本的多样性时，主动学习样本选择副模型对样本进行混
淆度的评估；主动学习样本选择副模型预测未标注集中样本的目标标签，分别计算出每个
目标标签下所有序列的中心特征，选择未标注集中离相应目标标签中心特征距离最远的样
本作为混淆度最大的样本加入到已标注集中，送入到特征提取主模型中进行训练。

[0030] 本发明的一个实施例中，所述步骤(4.2)中的主动学习样本选择副模型的具体训练方式为：利用特征提取主模型输出的特征矩阵作为输入，使用池化层和全连接层处理输
入的特征，输出对样本预测的不确定值。

[0031] 本发明的一个实施例中，所述步骤(4.2)中的主动学习样本选择副模型的损失函数计算方式为：利用特征提取主模型的损失函数值作为副模型的监督信息；由于特征提取
主模型的损失函数值会随着训练动态变化，因此，在计算主动学习样本选择副模型的损失
函数值时，进行成对样本损失函数相对值的比较；即比较成对的样本损失函数值相对大小，
若主动学习样本选择副模型预测的损失函数值相对大小与特征提取主模型损失函数值相
对大小相符合，则认定主动学习样本选择副模型的预测正确。

[0032] 本发明的一个实施例中，所述步骤(4.3)中的主动学习样本选择副模型的具体训练方式为：利用特征提取主模型输出的特征矩阵作为输入，使用池化层和全连接层处理输
入的特征，输出对样本预测的标签。

[0033] 本发明的一个实施例中，所述步骤(4.3)中的主动学习样本选择副模型的损失函数计算方式为：主动学习样本选择副模型对已标注集样本预测的标签值与样本的真实标签
值计算交叉熵，即为主动学习样本选择副模型的损失函数值。

[0034] 本发明的一个实施例中，所述步骤(5)中的目标标签特征中心的计算方式为：利用特征提取主模型得到未标注集中所有序列的特征矩阵，根据主动学习样本选择副模型对未
标注集中样本预测的目标标签，计算每个目标标签下所有序列特征矩阵每一个维度上的平
均值，即为每个目标标签的中心特征。

[0035] 本发明的一个实施例中，所述步骤(5)中的样本与对应目标标签特征中心距离计算公式为：

[0036]

[0037] 其中x表示对应序列的特征矩阵，c表示序列对应目标标签的特征中心矩阵；||x||和||c||分别表示序列特征矩阵的中心特征矩阵的L2范数。

[0038] 本发明的一个实施例中，所述步骤(5)中的选择策略具体为：将主动学习样本选择副模块设置为测试模式；当主动学习样本选择副模型主要目的为降低标注代价时，主动学
习样本选择副模型给每个未标注样本预测一个不确定性分数，根据输出的分数将未标注样
本进行排序，选择K个不确定性最高的数据进行标注，然后加入到已标注集中；当主动学习
样本选择副模型主要目的为利用样本多样性时，主动学习样本选择副模型预测每个未标注
样本的标签，通过选取每个目标标签下所有序列中距离相应目标特征中心距离最远的K个
未标注样本进行标注，然后加入到已标注集。

[0039] 本发明的一个实施例中，所述步骤(5)中的K值一般选取为数据集样本总数的十分之一。

[0040] 通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下技术效果：

[0041] (1)方法独特新颖：在现有技术中，还没有将主动学习结合到步态识别任务的方法，本发明提出的方法目前在步态识别领域中比较新颖；

[0042] (2)结构简单有效：本发明方法相对于其他的主动学习方法，结构简单，设置一个副模型，利用主模型提取出的特征，使用简单的网络结构或者机器学习方法，对数据进行评
估，结构简单但是效果明显；

[0043] (3)可移植性高：本发明方法不依赖于主模型的结构，只需要简单利用主模型输出的特征或中间层的特征来对样本进行不确定性或多样性的预测，主模型的结构改变不影响
副模型的设计，可以与各种步态识别模型进行适配；

[0044] (4)鲁棒性强：本发明的副模型使用主模型的输出作为输入来对样本数据进行评估，可以使用简单的结构有效利用样本的步态信息，同时，副模型的关注重点在于数据的相
对变化，因此能够适应不同的数据，鲁棒性强。

附图说明

[0045] 图1是本发明一种基于主动学习的步态识别方法的流程图。

具体实施方式

[0046] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并
不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要
彼此之间未构成冲突就可以相互组合。

[0047] 以下首先就本发明的技术术语进行解释和说明：

[0048] CASIA‑B数据集：包含124人，来自11个视角，每个视角包括10个视频，这10个视频中，共有124位行人，故共计13640个序列，3种表现变化(背包，穿大衣，普通行走)，在这10个
视频中，6个是正常视频(简称nm，其中4个是gallery，2个为prob)，两个穿大衣视频(简称
cl，均为prob)，2个带包视频(简称bg，均为prob)。数据格式为‘xxx‑mm‑nn‑ttt.avi’

[0049] 其中：

[0050] xxx:subject id,from 001to 124

[0051] mm:walking status,can be‘nm’(normal),‘cl’(in a coat)or‘bg’(with a bag)

[0052] nn:sequence number

[0053] ttt:view angel,can be‘000’,‘018’,…,‘180’

[0054] 卷积神经网络：一类包含有卷积操作且具有深度结构的前馈神经网络，通过卷积核的参数学习对输入进行表征学习；

[0055] 池化层：一般在卷积层之间进行使用，用来进行特征参数的降维；

[0056] 注意力机制：是一种通过学习资源分配机制，网络通过学习对象的特征，找到特征中相对重要和不重要的部分，通过加强重要的部分，抑制不重要的部分来使网络能够学到
更重要的信息。

[0057] 如图1所示，本发明提供了一种基于主动学习的步态识别方法，包括以下步骤：

[0058] (1)生成轮廓数据集：

[0059] (1.1)对一段步态序列中的每一帧轮廓图，依据每一行的像素和不为0的原则，找上边和下边；

[0060] (1.2)根据上边和下边对轮廓图进行切割；

[0061] (1.3)对切割后的图进行resize操作，高度为64，宽度保持比例；

[0062] (1.4)依据每一列的和最大的为中心线原则，找到中心线；

[0063] (1.5)中心线左右各32像素进行切割，不够的补0；

[0064] (1.6)得到对齐后的轮廓图；

[0065] (2)初始化已标注集与未标注集：

[0066] 将生成的轮廓数据集作为训练特征提取主模型和样本选择副模型的数据集。按照不同的应用场景选择相应的策略，对数据集进行初始化。当数据集样本数量庞大、需要高昂
的代价进行人工标注时，初始化数据集的策略是：将轮廓数据集中已经进行了标注的数据
设置为已标注集，轮廓数据集中未进行标注的数据设置为未标注集。当数据集样本数量有
限、难以获取更多样本时，初始化数据集的策略是：随机从生成的轮廓数据集中选择一定数
量的样本作为已标注集，其余的样本视为未标注样本，加入未标注集；

[0067] (3)训练特征提取主模型：

[0068] (3.1)将初始化好的已标注集样本输入到特征提取主模型当中。使用卷积神经网络和池化层，将已标注集样本从图像序列编码成具有代表性的特征；

[0069] (3.2)使用注意力机制，将每一个序列中最大的特征值、中间特征值和平均特征值进行叠加，作为每个序列在模型中的特征表示；

[0070] (3.3)得到每个序列的特征表示后，按照不同的尺度将特征进行分层叠加，得到序列多尺度的特征表示；

[0071] (3.4)使用损失函数对得到的特征进行评估，反向传播训练特征提取主模型；

[0072] (4)训练主动学习样本选择副模型：

[0073] (4.1)使用特征提取主模型提取好已标注集中样本的特征后，将提取好的特征输入到主动学习样本选择副模型当中。根据不同的应用场景，选择主动学习样本选择副模型
的训练方式。

[0074] (4.2)当数据样本数量庞大，需要大量的标注，标注代价高昂，主动学习样本选择副模型的主要目的是降低标注代价时，根据特征提取主模型提取出的特征，主动学习样本
选择副模型对已标注集中的每个样本预测不确定分数，以特征提取主模型的损失函数值作
为真实值，计算主动学习样本选择副模型的损失函数值，反向传播进行训练。

[0075] (4.3)当数据集的数量比较有限，主动学习样本选择副模型的主要目的是充分利用数据样本的多样性时，根据特征提取主模型提取出的特征，主动学习样本选择副模型对
已标注集中的样本预测目标标签，以每个样本的真实标签作为真实值，计算主动学习样本
选择副模型的损失函数值，反向传播进行训练。

[0076] (5)更新已标注集与未标注集：

[0077] 将训练好的特征提取主模型和主动学习样本选择副模型设置为测试模式，使用特征提取主模型提取未标注集中样本的特征，输入到主动学习样本选择副模型中，主动学习
样本选择副模型对未标注集中每一个样本进行评估，按照设定好的选择策略，根据每个样
本的不确定性分数或离相应目标标签特征中心距离的大小，将未标注数据集中的样本进行
排序，选取K个样本进行标注后加入到已标注集中。

[0078] (6)重复步骤(3)到(5)，直到已标注数据集中的样本数量达到预先设定好的容量。

[0079] 以下通过实验实例来证明本发明的有效性，实验结果证明本发明能够提高图像识别的识别准确率。

[0080] 本发明在数据集上，与我们使用的基础网络进行了对比，表1是本发明方法在该数据集上的精度，其中Random表示随机选取样本加入标注集，Active表示我们使用的主动学
习模型选取样本加入标注集，Backbone表示普通的步态识别方法使用全部数据集的结果，
Backbone‑75％表示使用主动学习样本选择模块筛选出的75％的数据量达到的性能。NM,
BG,CL分别表示在目标正常行走、背包和身穿大衣三种状态下的识别准确率。结果的数值越
大表示图像识别的准确率越高，从表中可以看到，本发明方法提升非常明显。在仅使用75％
的数据量进行训练时，达到的性能已经跟Backbone使用全部数据达到的性能相近。

[0081] 表1在CASIA‑B数据集上的精度

[0082]

[0083]

[0084] 本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含
在本发明的保护范围之内。