一种结合配合式活检的用户人脸注册方法与系统

摘要

本发明提供了一种结合配合式活检的用户人脸注册方法与系统属于人脸识别技术领域，其中该方法包括：使用配合式活体注册流程提取出视频流中的模板图像生成人脸模板图像的候选集合；对候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集；使用人脸质量深度网络计算过滤候选图像集中各个图像对应的质量值；根据质量值确定最终的多模板注册图像。本发明首先通过对候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集，然后使用人脸质量深度网络计算过滤候选图像集中各个图像对应的质量值，最终使用质量值确定多模板注册图像，可以得到超高质量的用户人脸注册图像，大大提升了人脸识别系统的识别效率。

权利要求

1.一种结合配合式活检的用户人脸注册方法，其特征在于，包括：步骤1：获取视频流；

步骤2：使用配合式活体注册流程提取出所述视频流中的模板图像生成人脸模板图像的候选集合；

步骤3：对所述候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集；

步骤4：使用人脸质量深度网络计算所述过滤候选图像集中各个图像对应的质量值；

步骤5：根据所述质量值确定最终的多模板注册图像；

所述步骤3：对所述候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集，包括：步骤3.1：使用特征提取网络提取出过滤候选图像集中各个图像的特征向量；

步骤3.2：计算任意两个特征向量的距离值得到N*N的距离矩阵；其中，N为过滤候选图像集中图像的个数；

步骤3.3：计算所述距离矩阵中每一行距离值的均值和方差；

步骤3.4：根据所述均值和所述方差构建分数区间；

步骤3.5：将超出所述分数区间的相应图像去除得到过滤候选图像集；

所述步骤4：使用人脸质量深度网络计算所述过滤候选图像集中各个图像对应的质量值，包括：步骤4.1：获取不同环境下采集的人脸样本，并对所述人脸样本进行人工标注标签；所述标签包括光照标签、姿态标签和人脸关键点；

步骤4.2：对所述人脸样本进行归一化处理得到待训练人脸样本；

步骤4.3：将所述待训练人脸样本输入到神经网络中进行训练得到人脸质量深度网络；

所述步骤4.3中神经网络在训练过程中的损失函数为：Loss＝W光照*L光照+W姿态*L姿态+W关键点*L关键点r

L光照＝(1‑pt) log(pt)

L姿态＝CE(Yaw)+CE(Pitch)+CE(Roll)L关键点＝L关键点集+L拓扑连线

其中，W光照表示光照损失函数的权值，W姿态表示姿态损失函数的权值，W关键点表示关键点损失函数的权值，r表示调节参数，预测概率 y表示光照是否正常，y＝1表示光照正常，CE(Yaw)表示在Yaw方向的交叉熵损失，CE(Pitch)表示在Pitch方向的交叉熵损失，CE(Roll)表示在Roll方向的交叉熵损失，J表示关键点数量，C表示构建拓扑结构中所有的关键点数，W(p)表示是否可见，当关键点或者拓扑连线不可见时该值为0，L2表示欧式距离， 表示所有关键点的预测值， 表示所有关键点的标注值， 表示拓扑结构中的拓扑连线点的预测值， 表示拓扑结构中的拓扑连线点的标注值。

2.一种结合配合式活检的用户人脸注册系统，其特征在于，包括：视频流获取模块，用于获取视频流；

模板图像提取模块，用于使用配合式活体注册流程提取出所述视频流中的模板图像生成人脸模板图像的候选集合；

图像过滤模块，用于对所述候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集；

质量值获取模块，用于使用人脸质量深度网络计算所述过滤候选图像集中各个图像对应的质量值；

注册图像确定模块，用于根据所述质量值确定最终的多模板注册图像；

所述图像过滤模块，包括：

特征提取单元，用于使用特征提取网络提取出过滤候选图像集中各个图像的特征向量；

距离矩阵构建单元，用于计算任意两个特征向量的距离值得到N*N的距离矩阵；其中，N为过滤候选图像集中图像的个数；

距离值处理单元，用于计算所述距离矩阵中每一行距离值的均值和方差；

分数区间构建单元，用于根据所述均值和所述方差构建分数区间；

图像筛选单元，用于将超出所述分数区间的相应图像去除得到过滤候选图像集；

所述质量值获取模块，包括：

样本获取单元，用于获取不同环境下采集的人脸样本，并对所述人脸样本进行人工标注标签；所述标签包括光照标签、姿态标签和人脸关键点；

归一化处理单元，用于对所述人脸样本进行归一化处理得到待训练人脸样本；

训练单元，用于将所述待训练人脸样本输入到神经网络中进行训练得到人脸质量深度网络；

所述训练单元中神经网络在训练过程中的损失函数为：Loss＝W光照*L光照+W姿态*L姿态+W关键点*L关键点r

L光照＝(1‑pt) log(pt)

L姿态＝CE(Yaw)+CE(Pitch)+CE(Roll)L关键点＝L关键点集+L拓扑连线

其中，W光照表示光照损失函数的权值，W姿态表示姿态损失函数的权值，W关键点表示关键点损失函数的权值，r表示调节参数， y表示光照是否正常，y＝1表示光照正常，CE(Yaw)表示在Yaw方向的交叉熵损失，CE(Pitch)表示在Pitch方向的交叉熵损失，CE(Roll)表示在Roll方向的交叉熵损失，J表示关键点数量，C表示构建拓扑结构中所有的关键点数，W(p)表示是否可见，当关键点或者拓扑连线不可见时，该值为0，L2表示欧式距离， 表示所有关键点的预测值， 表示所有关键点的标注值， 表示拓扑结构中的拓扑连线点的预测值， 表示拓扑结构中的拓扑连线点的标注值。

3.一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1所述的一种结合配合式活检的用户人脸注册方法中的步骤。

4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1所述的一种结合配合式活检的用户人脸注册方法中的步骤。

说明书

一种结合配合式活检的用户人脸注册方法与系统

技术领域

[0001] 本发明涉及人脸识别技术领域，具体而言，涉及一种结合配合式活检的用户人脸注册方法与系统。

背景技术

[0002] 随着互联网技术的发展，人脸识别技术应用到了越来越多的领域。例如，可以通过人脸识别来解锁终端设备或者登陆应用账号等。人脸识别的成功率很大程度上取决于在人
脸注册过程中所获取到的用户的注册人脸图像，因此，如何获取能够提取出关键人脸特征
的注册人脸图像对于提升人脸识别的成功率具有重要意义。然而现有的人脸注册方法一般
都是单模板注册，识别结果容易受注册模板图像质量的影响，导致后续人脸识别过程出现
漏识或者误识的问题。

发明内容

[0003] 为了克服现有技术的不足，本发明的目的在于提供一种结合配合式活检的用户人脸注册方法。

[0004] 一种结合配合式活检的用户人脸注册方法，包括：

[0005] 步骤1：获取视频流；

[0006] 步骤2：使用配合式活体注册流程提取出所述视频流中的模板图像生成人脸模板图像的候选集合；

[0007] 步骤3：对所述候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集；

[0008] 步骤4：使用人脸质量深度网络计算所述过滤候选图像集中各个图像对应的质量值；

[0009] 步骤5：根据所述质量值确定最终的多模板注册图像。

[0010] 优选的，所述步骤3：对所述候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集，包括：

[0011] 步骤3.1：使用特征提取网络提取出过滤候选图像集中各个图像的特征向量；

[0012] 步骤3.2：计算任意两个特征向量的距离值得到N*N的距离矩阵；其中，N为过滤候选图像集中图像的个数；

[0013] 步骤3.3：计算所述距离矩阵中每一行距离值的均值和方差；

[0014] 步骤3.4：根据所述均值和所述方差构建分数区间；

[0015] 步骤3.5：将超出所述分数区间的相应图像去除得到过滤候选图像集。

[0016] 优选的，所述步骤4：使用人脸质量深度网络计算所述过滤候选图像集中各个图像对应的质量值，包括：

[0017] 步骤4.1：获取不同环境下采集的人脸样本，并对所述人脸样本进行人工标注标签；所述标签包括光照标签、姿态标签和人脸关键点；

[0018] 步骤4.2：对所述人脸样本进行归一化处理得到待训练人脸样本；

[0019] 步骤4.3：将所述待训练人脸样本输入到神经网络中进行训练得到人脸质量深度网络。

[0020] 优选的，所述步骤4.3中神经网络在训练过程中的损失函数为：

[0021] Loss＝W光照*L光照+W姿态*L姿态+W关键点*L关键点

[0022] L光照＝(1‑pt)rlog(pt)

[0023] L姿态＝CE(Yaw)+CE(Pitch)+CE(Roll)

[0024] L关键点＝L关键点集+L拓扑连线

[0025]

[0026]

[0027] 其中，W光照表示光照损失函数的权值，W姿态表示姿态损失函数的权值，W关键点表示关键点损失函数的权值，r表示调节参数， y表示光照是否正常，y
＝1表示光照正常，CE(Yaw)表示在Yaw方向的交叉熵损失，CE(Pitch)表示在Pitch方向的交
叉熵损失，CE(Roll)表示在Roll方向的交叉熵损失，J表示关键点数量，C表示构建拓扑结构
中所有的关键点数，W(p)表示是否可见，当关键点或者连线不可见(无标注)时该值为0，L2
表示欧式距离， 表示所有关键点的预测值， 表示所有关键点的标注值， 表示拓扑
结构中的关键点的预测值， 表示拓扑结构中的关键点的标注值。

[0028] 本发明还提供了一种结合配合式活检的用户人脸注册系统，包括：

[0029] 视频流获取模块，用于获取视频流；

[0030] 模板图像提取模块，用于使用配合式活体注册流程提取出所述视频流中的模板图像生成人脸模板图像的候选集合；

[0031] 图像过滤模块，用于对所述候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集；

[0032] 质量值获取模块，用于使用人脸质量深度网络计算所述过滤候选图像集中各个图像对应的质量值；

[0033] 注册图像确定模块，用于根据所述质量值确定最终的多模板注册图像。

[0034] 优选的，所述图像过滤模块，包括：

[0035] 特征提取单元，用于使用特征提取网络提取出过滤候选图像集中各个图像的特征向量；

[0036] 距离矩阵构建单元，用于计算任意两个特征向量的距离值得到N*N的距离矩阵；其中，N为过滤候选图像集中图像的个数；

[0037] 距离值处理单元，用于计算所述距离矩阵中每一行距离值的均值和方差；

[0038] 分数区间构建单元，用于根据所述均值和所述方差构建分数区间；

[0039] 图像筛选单元，用于将超出所述分数区间的相应图像去除得到过滤候选图像集。

[0040] 优选的，所述质量值获取模块，包括：

[0041] 样本获取单元，用于获取不同环境下采集的人脸样本，并对所述人脸样本进行人工标注标签；所述标签包括光照标签、姿态标签和人脸关键点；

[0042] 归一化处理单元，用于对所述人脸样本进行归一化处理得到待训练人脸样本；

[0043] 训练单元，用于将所述待训练人脸样本输入到神经网络中进行训练得到人脸质量深度网络。

[0044] 优选的，所述训练单元中神经网络在训练过程中的损失函数为：

[0045] Loss＝W光照*L光照+W姿态*L姿态+W关键点*L关键点

[0046] L光照＝(1‑pt)rlog(pt)

[0047] L姿态＝CE(Yaw)+CE(Pitch)+CE(Roll)

[0048] L关键点＝L关键点集+L拓扑连线

[0049]

[0050]

[0051] 其中，W光照表示光照损失函数的权值，W姿态表示姿态损失函数的权值，W关键点表示关键点损失函数的权值，r表示调节参数， y表示光照是否正常，y
＝1表示光照正常，CE(Yaw)表示在Yaw方向的交叉熵损失，CE(Pitch)表示在Pitch方向的交
叉熵损失，CE(Roll)表示在Roll方向的交叉熵损失，J表示关键点数量，C表示构建拓扑结构
中所有的关键点数，W(p)表示是否可见，当关键点或者拓扑连线不可见(无标注)时该值为
0，L2表示欧式距离， 表示所有关键点的预测值， 表示所有关键点的标注值， 表示拓
扑结构中的关键点的预测值， 表示拓扑结构中的关键点的标注值。

[0052] 本发明还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器
通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现上述的一种结
合配合式活检的用户人脸注册方法中的步骤。

[0053] 本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的一种结合配合式活检的用户人脸注册方法中
的步骤。

[0054] 本发明提供的一种结合配合式活检的用户人脸注册方法与系统的有益效果在于：与现有技术相比，本发明首先通过对候选集合中具有数据噪点的图像进行过滤得到过滤候
选图像集，然后使用人脸质量深度网络计算过滤候选图像集中各个图像对应的质量值，最
终使用质量值确定多模板注册图像，可以得到超高质量的用户人脸注册图像，大大提升了
人脸识别系统的识别效率。

[0055] 为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

[0056] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。

[0057] 图1示出了本发明实施例所提供的结合配合式活检的用户人脸注册方法流程图；

[0058] 图2示出了本发明实施例所提供的配合式活体注册流程图；

[0059] 图3示出了本发明实施例所提供的图像过滤原理图；

[0060] 图4示出了本发明实施例所提供的图像质量值计算原理图；

[0061] 图5示出了本发明实施例所提供的拓扑结构图；

[0062] 图6示出了本发明实施例所提供的连线有效区域定义图。

具体实施方式

[0063] 在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特
定的方位构造和操作，因此不能理解为对本发明的限制。

[0064] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者
隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，
除非另有明确具体的限定。

[0065] 在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元
件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发
明中的具体含义。

[0066] 请参阅图1‑4，一种结合配合式活检的用户人脸注册方法，包括：

[0067] 步骤1：获取视频流；

[0068] 步骤2：使用配合式活体注册流程提取出所述视频流中的模板图像生成人脸模板图像的候选集合；

[0069] 请参阅图2，本发明的配合式活体注册流程首先需要将视频流按照不同的动作逻辑拆分为多个不同的子视频流段。针对特定的子视频流段，设定不同的采样策略。如：对于
应该是静止的视频流段，需要根据时间特性在对应的时间段内进行均匀采样；对于左转头
动作的视频流段，需要根据角度特性，在满足角度阈值的前提下，在获取符合条件的最大左
转头角度图像和正面图像之间按照左转头的角度进行均匀采样(该策略可适用于左转头/
右转头/低头等和角度相关的动作)；对应于张嘴动作的视频流段，可以先根据张嘴大小筛
选出满足符合要求的图像，然后对这些图像在根据时间进行采样(该策略可适用于张嘴/眨
眼等和人脸关键点相关的动作)。

[0070] 本发明的配合式活体动作虽然和现有系统类似，但是由于该系统属于多模板注册，因此多模板数据的候选集构建是基于对这些子动作片段采用不同的采样策略来设计
的，采样策略要兼顾图像质量和图像的多样性；将上述每个子视频段选择出来的模板图像
直接拼接，生成人脸模板图像的候选集合。需要说明的是，在启用配合式活体注册流程时，
如果通过该流程，则系统输出满足要求的N张候选图像集合；如果不通过该流程，则系统给
出无法通过活体的提示。

[0071] 步骤3：对所述候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集；

[0072] 进一步的，请参阅图3，所述步骤3包括：

[0073] 步骤3.1：使用特征提取网络提取出过滤候选图像集中各个图像的特征向量；

[0074] 步骤3.2：计算任意两个特征向量的距离值得到N*N的距离矩阵；其中，N为过滤候选图像集中图像的个数；

[0075] 步骤3.3：计算所述距离矩阵中每一行距离值的均值和方差；

[0076] 步骤3.4：根据所述均值和所述方差构建分数区间；

[0077] 步骤3.5：将超出所述分数区间的相应图像去除得到过滤候选图像集。

[0078] 下面结合具体的应用场景对图像过滤过程进行进一步的说明：假设现有N张模板数据，对每张模板图像提取其在人脸特征空间中的特征后，两两特征向量进行特征空间的
cosine距离计算，得到N*N的距离矩阵；对矩阵的每一行取和得到每一行的分数值Si，然后
对N个分数值计算均值Sm和方差Svar；对于分数值在[Sm‑3*Svar,Sm+3*Svar]内的数据，认为属
于正常区间的分数值；对于超出这个区域的分数值，则认为属于噪音，需要从模板集中删
除；通过在人脸特征空间中的数据分析，实现了基于人脸特征空间基础上的噪音过滤，形成
了优化版的候选数据集。

[0079] 步骤4：使用人脸质量深度网络计算所述过滤候选图像集中各个图像对应的质量值；

[0080] 进一步的，所述步骤4包括：

[0081] 步骤4.1：获取不同环境下采集的人脸样本，并对所述人脸样本进行人工标注标签；所述标签包括光照标签、姿态标签和人脸关键点；

[0082] 步骤4.2：对所述人脸样本进行归一化处理得到待训练人脸样本；

[0083] 步骤4.3：将所述待训练人脸样本输入到神经网络中进行训练得到人脸质量深度网络。其中，神经网络在训练过程中的损失函数为：

[0084] Loss＝W光照*L光照+W姿态*L姿态+W关键点*L关键点

[0085] L光照＝(1‑pt)rlog(pt)

[0086] L姿态＝CE(Yaw)+CE(Pitch)+CE(Roll)

[0087] L关键点＝L关键点集+L拓扑连线

[0088]

[0089]

[0090] 其中，W光照表示光照损失函数的权值，W姿态表示姿态损失函数的权值，W关键点表示关键点损失函数的权值，r表示调节参数， y表示光照是否正常，y
＝1表示光照正常，CE(Yaw表示在Yaw方向的交叉熵损失，CE(Pitch)表示在Pitch方向的交
叉熵损失，CE(Roll)表示在Roll方向的交叉熵损失，J表示关键点数量，C表示构建拓扑结构
中所有的关键点数，W(p)表示是否可见，当关键点或者拓扑连线不可见(无标注)时该值为
0，L2表示欧式距离， 表示所有关键点的预测值， 表示所有关键点的标注值， 表示
拓扑结构中的关键点的预测值， 表示拓扑结构中的关键点的标注值。

[0091] 下面结合具体的实施例对本发明的人脸质量深度网络的训练过程做进一步的说明：1样本获取：

[0092] 通过线下在不同环境下采集大量的人脸样本进行人工标注标签

[0093] a：光照标签分为合格、不合格L光照＝{l合格,l不合格}

[0094] b：姿态标签分别给出三个方向Pitch,Yaw,Roll的角度，L姿态＝{lPitch,lYaw,lRoll}

[0095] c：人脸关键点，给每张人脸标记68个关键点L关键点＝{S1,S2,…,S68}。

[0096] 2数据预处理：

[0097] 1)把所有训练样本resize到128*128.

[0098] 2)对样本进行归一化处理。

[0099] 3训练流程：

[0100] 1)主干网络基于Mobilenet v1(也可以为其他主干网络),后面分别接判断光照、姿态、关键点的三个分支子网络。

[0101] 2)损失函数定义如下：

[0102] Loss＝W光照*L光照+W姿态*L姿态+W关键点*L关键点

[0103] 4损失函数说明：

[0104] 1)光照损失函数：

[0105] L光照＝(1‑pt)rlog(pt)

[0106]

[0107] 对于光照(光照合格和光照不合格)，通过调节参数r，对于样本不均衡情况进行处理。

[0108] 2)姿态损失函数：

[0109] L姿态＝CE(Yaw)+CE(Pitch)+CE(Roll)

[0110] 对于姿态，对人脸在姿态的三个角度分别计算cross‑entropy loss，然后进行相加。

[0111] 3)关键点损失函数：

[0112] L关键点＝L关键点集+L拓扑连线

[0113]

[0114] 其中，J表示关键点数量68，且关键点采用传统的68人脸关键点，损失计算根据预测点和标注点之间的欧式距离计算：

[0115]

[0116] 其中，C表示构建拓扑结构中所有的关键点数。在实际应用中，除了对于关键点的位置进行损失计算外，还会选取人脸结构化特征明显的区域构建人脸拓扑结构，并以此为
约束项优化关键点的计算，拓扑结构如图5所示。

[0117] 通过构建拓扑结构，一方面可以更好的对关键点进行定位，另一方面可以对人脸的遮挡情况进行过滤。拓扑损失函数定义为：

[0118]

[0119] 其中，连线有效区域参照图6，图中Pstart和Pend代表拓扑连线，对于预测的位置Ppred定义预测位置在上述L1和L2范围内区域为连线有效区域，其他区域为无效区域，v值为从
Pstart到Pend方向的单位向量。

[0120] 对于函数中的W(p)函数定义如下：

[0121]

[0122] 在训练中，光照、姿态和关键点的权重可以动态根据训练情况调整，以提升最终的训练效果。

[0123] 步骤5：根据所述质量值确定最终的多模板注册图像。

[0124] 本发明首先通过对候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集，然后使用人脸质量深度网络计算过滤候选图像集中各个图像对应的质量值，最终使用
质量值确定多模板注册图像，可以得到超高质量的用户人脸注册图像，大大提升了人脸识
别系统的识别效率。

[0125] 本发明还提供了一种结合配合式活检的用户人脸注册系统，包括：

[0126] 视频流获取模块，用于获取视频流；

[0127] 模板图像提取模块，用于使用配合式活体注册流程提取出所述视频流中的模板图像生成人脸模板图像的候选集合；

[0128] 图像过滤模块，用于对所述候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集；

[0129] 质量值获取模块，用于使用人脸质量深度网络计算所述过滤候选图像集中各个图像对应的质量值；

[0130] 注册图像确定模块，用于根据所述质量值确定最终的多模板注册图像。

[0131] 优选的，所述图像过滤模块，包括：

[0132] 特征提取单元，用于使用特征提取网络提取出过滤候选图像集中各个图像的特征向量；

[0133] 距离矩阵构建单元，用于计算任意两个特征向量的距离值得到N*N的距离矩阵；其中，N为过滤候选图像集中图像的个数；

[0134] 距离值处理单元，用于计算所述距离矩阵中每一行距离值的均值和方差；

[0135] 分数区间构建单元，用于根据所述均值和所述方差构建分数区间；

[0136] 图像筛选单元，用于将超出所述分数区间的相应图像去除得到过滤候选图像集。

[0137] 优选的，所述质量值获取模块，包括：

[0138] 样本获取单元，用于获取不同环境下采集的人脸样本，并对所述人脸样本进行人工标注标签；所述标签包括光照标签、姿态标签和人脸关键点；

[0139] 归一化处理单元，用于对所述人脸样本进行归一化处理得到待训练人脸样本；

[0140] 训练单元，用于将所述待训练人脸样本输入到神经网络中进行训练得到人脸质量深度网络。

[0141] 优选的，所述训练单元中神经网络在训练过程中的损失函数为：

[0142] Loss＝W光照*L光照+W姿态*L姿态+W关键点*L关键点

[0143] L光照＝(1‑pt)rlog(pt)

[0144] L姿态＝CE(Yaw)+CE(Pitch)+CE(Roll)

[0145] L关键点＝L关键点集+L拓扑连线

[0146]

[0147]

[0148] 其中，W光照表示光照损失函数的权值，W姿态表示姿态损失函数的权值，W关键点表示关键点损失函数的权值，r表示调节参数， y表示光照是否正常，y
＝1表示光照正常，CE(Yaw)表示在Yaw方向的交叉熵损失，CE(Pitch)表示在Pitch方向的交
叉熵损失，CE(Roll)表示在Roll方向的交叉熵损失，J表示关键点数量，C表示构建拓扑结构
中所有的关键点数，W(p)表示是否可见，当关键点或者拓扑连线不可见(无标注)时该值为
0，L2表示欧式距离， 表示所有关键点的预测值， 表示所有关键点的标注值， 表示拓
扑结构中的关键点的预测值， 表示拓扑结构中的关键点的标注值。

[0149] 本发明首先通过对候选集合中具有数据噪点的图像进行过滤得到过滤候选图像集，然后使用人脸质量深度网络计算过滤候选图像集中各个图像对应的质量值，最终使用
质量值确定多模板注册图像，可以得到超高质量的用户人脸注册图像，大大提升了人脸识
别系统的识别效率。

[0150] 本发明还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器
通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现上述的一种结
合配合式活检的用户人脸注册方法中的步骤，与现有技术相比，本发明提供的电子设备的
有益效果与上述技术方案所述一种结合配合式活检的用户人脸注册方法的有益效果相同，
在此不做赘述。

[0151] 本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的一种结合配合式活检的用户人脸注册方法中
的步骤，与现有技术相比，本发明提供的计算机可读存储介质的有益效果与上述技术方案
所述一种结合配合式活检的用户人脸注册方法的有益效果相同，在此不做赘述。

[0152] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换的技术方
案，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护
范围为准。