一种用于有遮挡的人脸识别方法

摘要

本发明提供了用于有遮挡的人脸识别方法。该用于有遮挡的人脸识别方法包括：对第一训练样本集中各样本进行局部特征提取，在稀疏约束下求解一组过完备基，第一训练样本为包含未被遮挡人脸的图像；获得全局向量；生成多个人脸候选区域；提取每个人脸候选区域的4096维的特征并归一化，转化为相似度描述子；在基于第一训练样本集和第二训练样本集获得的特征池中对每个人脸候选区域的相似度描述子进行匹配，以获得每个第二训练样本中被遮挡部分的匹配特征，并基于该匹配特征对对应的遮挡部分进行修复；每个第二训练样本为包含至少部分被遮挡的人脸的图像。本发明的上述技术能够在人脸有遮挡干扰信息的情况下提高人脸识别的准确度。

权利要求

1.一种用于有遮挡的人脸识别方法，其特征在于，所述用于有遮挡的人脸识别方法包括：获得第一训练样本集，所述第一训练样本集包括多个第一训练样本，每个第一训练样本为包含未被遮挡人脸的图像；

对所述第一训练样本集中的各第一训练样本进行局部特征提取，依据提取的局部特征在稀疏约束下求解一组过完备基；

对所有第一训练样本的局部特征进行编码，以将局部特征的稀疏编码汇总为一个表示图像的全局向量；

确定阈值，利用该阈值，基于所述全局向量生成多个人脸候选区域；

提取多个人脸候选区域中的每个人脸候选区域的4096维的特征，并对提取后的4096维的特征进行归一化，将归一化后的结果作为每个人脸候选区域的描述子；

对每个人脸候选区域的描述子进行噪声抑制，并转化为对应的相似度描述子；

获得第二训练样本集，所述第二训练样本集包括多个第二训练样本，每个第二训练样本为包含至少部分被遮挡的人脸的图像；

基于所述第一训练样本集和所述第二训练样本集，获得特征池；

在所述特征池中对每个人脸候选区域的相似度描述子进行匹配，以获得每个第二训练样本中被遮挡部分的匹配特征，并基于该匹配特征对对应的遮挡部分进行修复。

2.根据权利要求1所述的用于有遮挡的人脸识别方法，其特征在于，该方法还包括：对修复的部分进行人脸区域验证，以对所述修复的部分中的人脸位置和尺度进行微调。

3.根据权利要求1或2所述的用于有遮挡的人脸识别方法，其特征在于，在提取多个人脸候选区域中的每个人脸候选区域的4096维的特征的步骤中采用VGGFace方法实现。

4.根据权利要求1或2所述的用于有遮挡的人脸识别方法，其特征在于，采用LLE方法将每个人脸候选区域的描述子转化为对应的相似度描述子。

5.根据权利要求1或2所述的用于有遮挡的人脸识别方法，其特征在于，在所述特征池中对每个人脸候选区域的相似度描述子进行匹配的步骤采用knn方法实现匹配。

6.根据权利要求1-5中任一项所述的用于有遮挡的人脸识别方法，其特征在于，将测试样本包含在所述第二训练样本集中。

说明书

一种用于有遮挡的人脸识别方法

技术领域

[0001] 本发明涉及信息处理技术，尤其涉及一种用于有遮挡的人脸识别方法。

背景技术

[0002] 随着信息处理技术的发展，人脸识别研究取得了很大的进展，人们在日常生活、工作中越来越离不开人脸识别技术。

[0003] 然而，现有的人脸识别技术在很多实际应用场景下识别效果依然不好或难以应用，比如，光照、表情、姿势、分辨率和遮挡等条件下可能导致训练图像和待识别图像之间发生严重的数据偏移，因此，真实环境中遮挡的存在大大限制了人脸识别的精度。

[0004] 目前，现有的用于处理遮挡问题的技术主要有基于图像修复、局部特征识别、统计分析和稀疏表达四类方法，但这些方法对于遮挡人脸并不具有很高的识别率。

[0005] 例如，实验结果表明，现有的基于图像修复的人脸遮挡识别方法在面对遮挡面积占比较小时例如面部的小瑕疵点等情况时表现出较好的效果，可面对遮挡占比较大或者纹理特征部分时表现得不甚理想。

[0006] 又如，现有的局部特征的人脸遮挡识别方法，其核心思想在于将遮挡区域从大的整体区域中分离出来，降低甚至忽略遮挡区域在识别分类中的权重，主要利用非遮挡区域进行分类识别。在目前的局部分析的情况而言，遮挡的大小和定位、区域划分和权重设定的策略依然是需要继续探究和努力的问题。

[0007] 此外，现有的基于统计分析的人脸识别方法虽然在一定程度上减小了遮挡所引发的干扰因素，但其实质上只是将由遮挡产生的重构误差分布于整个图像信息中，对识别依然不利。

[0008] 又如，经大量验证表明，现有的基于稀疏表达的遮挡人脸识别方法虽然具有很强的分类识别能力，并且能更好地应用于人脸的遮挡和其他干扰因素等的环境下，但其在图像重构的过程中，仅仅考虑稀疏解，得到的最稀疏解有可能会造成丢失目标的现象发生。因此，需要构造多目标以及变正则参数的稀疏表示模型，以满足更多应用问题的特点与需要。

发明内容

[0009] 在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不意图确定本发明的关键或重要部分，也不意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

[0010] 鉴于此，本发明提供了用于有遮挡的人脸识别方法，以至少解决现有技术在识别具有遮挡的人脸时存在的识别不准确的问题。

[0011] 本发明的一方面提供了一种用于有遮挡的人脸识别方法，所述用于有遮挡的人脸识别方法包括：获得第一训练样本集，所述第一训练样本集包括多个第一训练样本，每个第一训练样本为包含未被遮挡人脸的图像；对所述第一训练样本集中的各第一训练样本进行局部特征提取，依据提取的局部特征在稀疏约束下求解一组过完备基；对所有第一训练样本的局部特征进行编码，以将局部特征的稀疏编码汇总为一个表示图像的全局向量；确定阈值，利用该阈值，基于所述全局向量生成多个人脸候选区域；提取多个人脸候选区域中的每个人脸候选区域的4096维的特征，并对提取后的4096维的特征进行归一化，将归一化后的结果作为每个人脸候选区域的描述子；对每个人脸候选区域的描述子进行噪声抑制，并转化为对应的相似度描述子；获得第二训练样本集，所述第二训练样本集包括多个第二训练样本，每个第二训练样本为包含至少部分被遮挡的人脸的图像；基于所述第一训练样本集和所述第二训练样本集，获得特征池；在所述特征池中对每个人脸候选区域的相似度描述子进行匹配，以获得每个第二训练样本中被遮挡部分的匹配特征，并基于该匹配特征对对应的遮挡部分进行修复。

[0012] 进一步地，该方法还包括：对修复的部分进行人脸区域验证，以对所述修复的部分中的人脸位置和尺度进行微调。

[0013] 进一步地，在提取多个人脸候选区域中的每个人脸候选区域的4096维的特征的步骤中采用VGGFace方法实现。

[0014] 进一步地，采用LLE方法将每个人脸候选区域的描述子转化为对应的相似度描述子。

[0015] 进一步地，在所述特征池中对每个人脸候选区域的相似度描述子进行匹配的步骤采用knn方法实现匹配。

[0016] 进一步地，将测试样本包含在所述第二训练样本集中。

[0017] 本发明提供了一种用于有遮挡的人脸识别方法，该方法针对在人脸识别中有遮挡干扰信息的情况，分别将被遮挡的人脸进行分块提取特征、将人脸被遮挡的部分恢复并且进行识别，能够有效地提高识别率。

[0018] 通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

[0019] 本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。其中：

[0020] 图1是示出本发明的用于有遮挡的人脸识别方法的一种示例性流程的示意图；

[0021] 图2是示出本发明的用于有遮挡的人脸识别方法的一个优选实施例的处理原理的示意图。

[0022] 本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本发明实施例的理解。

具体实施方式

[0023] 在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本发明内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

[0024] 在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

[0025] 本发明的实施例提供了一种用于有遮挡的人脸识别方法，所述用于有遮挡的人脸识别方法包括：获得第一训练样本集，所述第一训练样本集包括多个第一训练样本，每个第一训练样本为包含未被遮挡人脸的图像；对所述第一训练样本集中的各第一训练样本进行局部特征提取，依据提取的局部特征在稀疏约束下求解一组过完备基；对所有第一训练样本的局部特征进行编码，以将局部特征的稀疏编码汇总为一个表示图像的全局向量；确定阈值，利用该阈值，基于所述全局向量生成多个人脸候选区域；提取多个人脸候选区域中的每个人脸候选区域的4096维的特征，并对提取后的4096维的特征进行归一化，将归一化后的结果作为每个人脸候选区域的描述子；对每个人脸候选区域的描述子进行噪声抑制，并转化为对应的相似度描述子；获得第二训练样本集，所述第二训练样本集包括多个第二训练样本，每个第二训练样本为包含至少部分被遮挡的人脸的图像；基于所述第一训练样本集和所述第二训练样本集，获得特征池；在所述特征池中对每个人脸候选区域的相似度描述子进行匹配，以获得每个第二训练样本中被遮挡部分的匹配特征，并基于该匹配特征对对应的遮挡部分进行修复。

[0026] 图1示出了本发明的一种用于有遮挡的人脸识别方法的流程图。

[0027] 如图1所示，在步骤S110中，获得第一训练样本集。

[0028] 其中，第一训练样本集包括多个第一训练样本，每个第一训练样本为包含未被遮挡人脸的图像。

[0029] 接着，在步骤S120中，对第一训练样本集中的各第一训练样本进行局部特征提取，并依据提取的局部特征在稀疏约束下求解一组过完备基。然后执行步骤S130。

[0030] 在步骤S130中，对所有第一训练样本的局部特征进行编码，以将局部特征的稀疏编码汇总为一个表示图像的全局向量。

[0031] 然后，在步骤S140中，确定阈值，利用该阈值，基于全局向量生成多个人脸候选区域。

[0032] 接着，在步骤S150中，提取多个人脸候选区域中的每个人脸候选区域的4096维的特征，并对提取后的4096维的特征进行归一化，将归一化后的结果作为每个人脸候选区域的描述子。

[0033] 作为示例，在提取多个人脸候选区域中的每个人脸候选区域的4096维的特征的步骤中采用VGGFace方法实现。

[0034] 这样，可以在步骤S160中对每个人脸候选区域的描述子进行噪声抑制，并转化为对应的相似度描述子。

[0035] 作为示例，采用LLE(Locally Linear Embedding，局部线性嵌入)方法将每个人脸候选区域的描述子转化为对应的相似度描述子。

[0036] 然后，在步骤S170中，获得第二训练样本集。

[0037] 其中，第二训练样本集包括多个第二训练样本，每个第二训练样本为包含至少部分被遮挡的人脸的图像。

[0038] 接着，在步骤S180中，基于第一训练样本集和第二训练样本集，获得特征池。

[0039] 在步骤S190中，在特征池中对每个人脸候选区域的相似度描述子进行匹配，以获得每个第二训练样本中被遮挡部分的匹配特征，并基于该匹配特征对对应的遮挡部分进行修复。

[0040] 作为示例，在特征池中对每个人脸候选区域的相似度描述子进行匹配的步骤采用knn方法实现匹配。

[0041] 作为示例，上述方法还可以包括：对修复的部分进行人脸区域验证，以对修复的部分中的人脸位置和尺度进行微调。

[0042] 在测试阶段，作为示例，可以将测试样本(即待修复的具有遮挡的人脸图像)包含在第二训练样本集中，将上述步骤S110～S180重复执行即可完成对测试样本的修复。

[0043] 下面描述本发明的一个优选实施例。该实施例提出了一种具有注意机制的卷积中性网络方法(ACNN)，该方法可以感知面部的遮挡并且能够关注对识别最有帮助的未遮挡人脸区域。这种带有注意机制的卷积神经网络，用于部分遮挡的面部表情识别。为了解决遮挡问题，通过ACNN努力关注面部图像的不同区域，并根据其被遮挡程度(补丁被遮挡的程度)以及其对面部表情识别的贡献来权衡每个区域。

[0044] 下图描述上述ACNN的框架。

[0045] 1.框架概述

[0046] 从图2中可以看出，网络将面部图像作为输入。图像被送入卷积网(VGG)并表示为一些特征图。然后，ACNN将整个面部的特征图分解为多个子特征图，以获得不同的局部斑块。每个局部补丁由补丁门控单元(PG-Unit)编码为加权矢量。

[0047] 考虑到它的阻碍，PG-Unit通过注意网络计算每个补丁的权重。除了加权的局部表示之外，整个面部的特征图由全局门控单元(GG-Unit)编码为加权矢量。具有局部表示的加权的全局面部特征被连接并且用作被遮挡的面部的表示。遵循两个完全连接的层以将面部分类为情绪类别之一。通过最小化softmax函数损失来优化ACNN。

[0048] 考虑到所有人种的不同特征，我们引入了两个版本的ACNN：基于补丁的ACNN(pACNN)和基于全球的ACNN(gACNN)。

[0049] pACNN仅包含本地注意机制。如图所示，在前两个蓝色虚线矩形中示出了两个PG单元的例子。gACNN结合了基于整体的注意力方法。gACNN中的GG-Unit在底部的蓝色虚线矩形中示出。

[0050] 2.基于ACNN的补丁(pACNN)

[0051] 将面部表情分类为不同的类别需要捕捉面部肌肉的区域扭曲。受到这种直觉的启发，pACNN旨在专注于本地的独特和有代表性的补丁。pACNN包含两个关键方案：区域分解和遮挡感知。

[0052] 详细介绍如下。

[0053] 1)区域分解：面部表情在特定面部区域中区分，因为表达是由肌肉运动组调用的面部活动。对表达相关部分进行定位和编码有利于识别面部表情。此外，将面部划分为多个局部斑块有助于找到遮挡的位置。

[0054] 为了找到与表达相关的典型面部部位，我们首先通过dilb库检测68个面部标志点，然后，基于检测到的68个点，我们选择或重新计算覆盖信息区域的24个点。脸，包括眼睛，鼻子，嘴巴，脸颊。然后我们根据每个受试者的面部标志的位置提取补丁。

[0055] a)我们从最初的68个面部标志中挑选16个点来覆盖每个主体的眉毛，眼睛，鼻子，嘴巴。

[0056] b)我们为每只眼睛和眉毛添加一个信息点。我们在眼睛和眉毛周围挑选四个点对，然后计算每个点对的中点作为委托。这是因为我们在卷积特征图而不是输入图像上进行补丁提取，面部图像上的相邻面部点将合并到特征图上的相同点。

[0057] c)由于脸部脸颊没有直接被面部标记覆盖，我们选择两个点对，然后计算它们的中点。然后，我们选择两个相对于嘴角具有固定偏移的面部点。对于左嘴角，目标点的坐标可以计算为(x,y)＝(xleft-16,yleft-16)。对于右嘴角则可以计算为(x,y)＝(xright-16,yright-16)。

[0058] 选定的补丁被定义为以24个点中的每一个为中心的区域。从整体框架可以看出，补丁分解操作是在卷积层而不是原始图像的特征图上进行的。这是因为共享一些卷积操作可能会减少模型大小和扩大后续神经元的感受域。基于512×28×28特征图以及24个局部区域中心，我们共获得24个局部区域，每个区域的大小为512×6×6。

[0059] 2)门单元的遮挡感知：

[0060] 我们在pACNN中嵌入了补丁门控单元，以自动感知被阻挡的面部补丁，并主要关注未阻止的补丁和信息丰富的补丁。PG-Unit的详细结构如图中的前两个蓝色虚线矩形所示。在每个特定于补丁的PG-Unit中，裁剪的局部特征映射被馈送到两个卷积层而不降低空间分辨率，因此在学习区域特定模式时保留更多信息。然后，最后的特征映射在两个分支中处理。第一个分支将输入要素图编码为矢量形局部特征。第二个分支由注意网络组成，该网络估计标量权重以表示本地补丁的重要性。然后通过计算的权重对局部特征进行加权。

[0061] 从数学上讲，让我们假设Pi表示第i个补丁的输入512×6×6特征映射。表示在两个分支(图中的上部蓝色虚线矩形)之前的最后512×6×6个特征图。第i个PG单元将特征映射 作为输入，学习局部特定的面部特征ψi：

[0062]

[0063] 和相应的权重αi：

[0064]

[0065] ψi是表示未加权特征的向量。αi是一个标量，表示补丁的重要性。I(·)表示注意网络中的操作，包括池化操作，一个卷积操作，两个内部产生和一个S形激活。S形激活迫使输出αi范围为[0,1]，其中1表示最突出的无阻塞补丁，0表示完全封锁补丁。

[0066] 最后，第i个PG-Unit然后使用αi来加权局部特征ψi，并输出其加权特征φi：

[0067] φi＝αi·ψi  (3)

[0068] 在所提出的门单元中的注意机制下，根据其遮挡条件或重要性对每个裁剪的贴片进行不同的称重。通过整体pACNN的端到端训练，这些PG单元可以自动学习遮挡部分的低权重和未阻塞和有区别部分的高权重。

[0069] 3.全球本地的ACNN(gACNN)

[0070] pACNN通过注意机制学习局部面部表征是有效的，因为它结合了面部表情的先验知识。但是，pACNN中的那些面部贴片可能会忽略在常规图像中显示的一些补充信息。在存在遮挡的情况下，预计与全球代表的整合将带来更好的FER表现。

[0071] 1)与全脸区域的整合：除了关注局部面部贴片外，gACNN还考虑了全局面部区域。一方面，全局局部注意方法有助于从图像中并行地推断局部细节和全局背景线索。另一方面，gACNN可以被视为一种集合学习，旨在促进学习特征之间的多样性。整个面部的特征图在VGG16网络中从conv4 2编码到conv5 2。基于512x28x28特征映射，我们获得了大小为
512x14x14的编码区域。

[0072] 2)全球门控单位(GG-Unit)：我们进一步将GG-unit嵌入gACNN以自动权衡全球面部表征。GG-Unit的详细结构显示在图中最下面的蓝色虚线矩形中。在GG-Unit中的两个分支中，第一个分支将输入特征映射编码为矢量形状的全局表示。第二个分支由注意网络组成，该网络学习标量权重以表示全局面部表征的贡献。然后通过计算的权重对全局表示进行加权。

[0073] 4.具有里程碑意义的错位对ACNN的影响

[0074] 建议的ACNN依赖于检测到的地标。不可忽视的是，在存在严重闭塞的情况下，面部标志将遭受错误对齐。拟议的ACNN对具有里程碑意义的错位不敏感。我们描述原因如下。

[0075] 首先，我们通过dilb库检测到面部标志，这在一定程度上对面部遮挡具有很强的鲁棒性。面部标志在存在部分遮挡时非常准确。当侧面面临严重闭塞时会出现大的错位。

[0076] 其次，提取的斑块对地标未对准不敏感。这是因为我们的方法在卷积特征图上提取补丁而不是在输入图像上。

[0077] 卷积特征图的空间维度是输入面部图像的1/8。面部标记的8个像素未对准将仅在相关提取的贴片上引起1步偏差。

[0078] 最后，未对齐的面部标志对gACNN中的全脸表示没有影响。

[0079] 最后应说明的是：以上实施例仅用以示例性说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明及本发明带来的有益效果进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求的范围。