一种人脸活体检测的方法、相关装置、设备及存储介质

摘要

本申请公开了一种人脸活体检测的方法，该方法应用于人工智能领域，本申请提供的包括获取初始人脸图像以及N个光照方向所对应的人脸图像集合；根据初始人脸图像以及人脸图像集合，获取N个差分图像；根据N个差分图像以及所述N个光照方向生成法线图以及反射率图；根据N个差分图像、法线图以及反射率图确定人脸活体检测结果。本申请还公开了一种相关装置、设备及存储介质。本申请由于同时考虑人脸图像的三维几何信息和表面材质信息，从而能够辨识出人脸图像的真实性，有效地抵御不同的人脸活体攻击方式。

权利要求

1.一种人脸活体检测的方法，其特征在于，包括：

获取初始人脸图像以及N个光照方向所对应的人脸图像集合，其中，所述人脸图像集合包括N个人脸图像，且每个人脸图像对应于一个光照方向，所述N个光照方向为互不相同的光照方向，且所述N个光照方向对应于N个光源位置，所述N个光源位置不在同一直线上，所述N为大于或等于3的整数；

根据所述初始人脸图像以及所述人脸图像集合，获取N个差分图像；

根据所述N个差分图像以及所述N个光照方向生成法线图以及反射率图，其中，所述法线图是基于每个像素点对应的法线所构成的图像，所述反射率图是基于每个像素点所对应的反射率所构成的图像；

根据所述N个差分图像、所述法线图以及所述反射率图确定人脸活体检测结果。

2.根据权利要求1所述的方法，其特征在于，所述获取初始人脸图像以及N个光照方向所对应的人脸图像集合，包括：获取所述初始人脸图像；

在目标时长内的第一时刻下，获取第一光照方向下所对应的第一人脸图像；

在所述目标时长内的第二时刻下，获取第二光照方向下所对应的第二人脸图像，其中，所述第二时刻与所述第一时刻为不同时刻；

在所述目标时长内的第三时刻下，获取第三光照方向下所对应的第三人脸图像，其中，所述第三时刻与所述第一时刻为不同时刻，且所述第三时刻与所述第二时刻为不同时刻。

3.根据权利要求1所述的方法，其特征在于，所述人脸图像集合至少包括第一人脸图像、第二人脸图像以及第三人脸图像；

所述N个光照方向至少包括第一光照方向、第二光照方向以及第三光照方向，且所述第一光照方向、所述第二光照方向以及所述第三光照方向为不同方向上的光照；

所述获取初始人脸图像以及N个光照方向所对应的人脸图像集合，包括：获取所述初始人脸图像；

在所述第一光照方向下获取所述第一人脸图像；

在所述第二光照方向下获取所述第二人脸图像；

在所述第三光照方向下获取所述第三人脸图像。

4.根据权利要求3所述的方法，其特征在于，所述N个光源位置至少包括第一光源位置、第二光源位置以及第三光源位置，且所述第一光源位置、所述第二光源位置以及所述第三光源位置不在同一直线上；

所述在所述第一光照方向下获取所述第一人脸图像，包括：

当终端设备的第一屏幕区域点亮时，在所述第一光照方向下采集所述第一人脸图像，其中，所述第一屏幕区域位于所述第一光源位置，所述第一光照方向为所述第一屏幕区域在点亮时照射待识别人脸所对应的方向；

所述在所述第二光照方向下获取所述第二人脸图像，包括：

当所述终端设备的第二屏幕区域点亮时，在所述第二光照方向下采集所述第二人脸图像，其中，所述第二屏幕区域位于所述第二光源位置，所述第二光照方向为所述第二屏幕区域在点亮时照射所述待识别人脸所对应的方向；

所述在所述第三光照方向下获取所述第三人脸图像，包括：

当所述终端设备的第三屏幕区域点亮时，在所述第三光照方向下采集所述第三人脸图像，其中，所述第三屏幕区域位于所述第三光源位置，所述第三光照方向为所述第三屏幕区域在点亮时照射所述待识别人脸所对应的方向。

5.根据权利要求3所述的方法，其特征在于，所述N个光源位置至少包括第一光源位置、第二光源位置以及第三光源位置，且所述第一光源位置、所述第二光源位置以及所述第三光源位置不在同一直线上；

所述在所述第一光照方向下获取所述第一人脸图像，包括：

当第一发光区域点亮时，在所述第一光照方向下采集所述第一人脸图像，其中，所述第一发光区域位于所述第一光源位置，所述第一光照方向为所述第一发光区域在点亮时照射待识别人脸所对应的方向；

所述在所述第二光照方向下获取所述第二人脸图像，包括：

当第二发光区域点亮时，在所述第二光 照方向下采集所述第二人脸图像，其中，所述第二发光区域位于所述第二光源位置，所述第二光照方向为所述第二发光区域在点亮时照射所述待识别人脸所对应的方向；

所述在所述第三光照方向下获取所述第三人脸图像，包括：

当第三发光区域点亮时，在所述第三光 照方向下采集所述第三人脸图像，其中，所述第三发光区域位于所述第三光源位置，所述第三光照方向为所述第三发光区域在点亮时照射所述待识别人脸所对应的方向。

6.根据权利要求1所述的方法，其特征在于，所述人脸图像集合至少包括第一人脸图像、第二人脸图像以及第三人脸图像；

所述根据所述初始人脸图像以及所述人脸图像集合，获取N个差分图像，包括：对所述初始人脸图像进行人脸关键点检测，得到初始人脸关键点集合，其中，所述初始人脸关键点集合包括多个初始人脸关键点；

对所述第一人脸图像进行人脸关键点检测，得到第一人脸关键点集合，其中，所述初始人脸关键点集合包括多个第一人脸关键点；

对所述第二人脸图像进行人脸关键点检测，得到第二人脸关键点集合，其中，所述初始人脸关键点集合包括多个第二人脸关键点；

对所述第三人脸图像进行人脸关键点检测，得到第三人脸关键点集合，其中，所述初始人脸关键点集合包括多个第三人脸关键点；

根据所述初始人脸关键点集合以及所述第一人脸关键点集合，生成第一差分图像，其中，所述第一差分图像为所述N个差分图像中的一个差分图像；

根据所述初始人脸关键点集合以及所述第二人脸关键点集合，生成第二差分图像，其中，所述第二差分图像为所述N个差分图像中不同于所述第一差分图像的一个差分图像；

根据所述初始人脸关键点集合以及所述第三人脸关键点集合，生成第三差分图像，其中，所述第二差分图像为所述N个差分图像中不同于所述第一差分图像以及所述第二差分图像的一个差分图像。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：根据所述初始人脸关键点集合以及所述第一人脸关键点集合，计算得到第一关键点偏移量；

根据所述初始人脸关键点集合以及所述第二人脸关键点集合，计算得到第二关键点偏移量；

根据所述初始人脸关键点集合以及所述第三人脸关键点集合，计算得到第三关键点偏移量；

若所述第一关键点偏移量、所述第二关键点偏移量以及所述第三关键点偏移量中的至少一项大于或等于所述偏移阈值，则展示重新采集的提示消息；

若所述第一关键点偏移量、所述第二关键点偏移量以及所述第三关键点偏移量均小于偏移阈值，则执行根据所述初始人脸关键点集合以及所述第一人脸关键点集合，根据所述初始人脸关键点集合以及所述第二人脸关键点集合，生成第二差分图像，根据所述初始人脸关键点集合以及所述第三人脸关键点集合，生成第三差分图像的步骤。

8.根据权利要求6所述的方法，其特征在于，所述根据所述初始人脸关键点集合以及所述第一人脸关键点集合，生成第一差分图像，包括：根据所述初始人脸关键点集合以及所述第一人脸关键点集合确定第一变换矩阵；

基于所述第一变换矩阵以及所述初始人脸图像，对所述第一人脸图像进行对齐处理，得到对齐后的第一人脸图像；

根据所述对齐后的第一人脸图像以及所述初始人脸图像，生成所述第一差分图像；

所述根据所述初始人脸关键点集合以及所述第二人脸关键点集合，生成第二差分图像，包括：根据所述初始人脸关键点集合以及所述第二人脸关键点集合确定第二变换矩阵；

基于所述第二变换矩阵以及所述初始人脸图像，对所述第二人脸图像进行对齐处理，得到对齐后的第二人脸图像；

根据所述对齐后的第二人脸图像以及所述初始人脸图像，生成所述第二差分图像；

所述根据所述初始人脸关键点集合以及所述第三人脸关键点集合，生成第三差分图像，包括：根据所述初始人脸关键点集合以及所述第三人脸关键点集合确定第三变换矩阵；

基于所述第三变换矩阵以及所述初始人脸图像，对所述第三人脸图像进行对齐处理，得到对齐后的第三人脸图像；

根据所述对齐后的第三人脸图像以及所述初始人脸图像，生成所述第三差分图像。

9.根据权利要求6所述的方法，其特征在于，所述根据所述N个差分图像生成法线图以及反射率图，包括：根据所述第一差分图像、所述第二差分图像以及所述第三差分图像，计算得到法线以及反射率；

根据所述法线生成所述法线图；

根据所述反射率生成所述反射率图。

10.根据权利要求9所述的方法，其特征在于，所述根据所述第一差分图像、所述第二差分图像以及所述第三差分图像，计算得到法线以及反射率，包括：根据所述第一差分图像中的目标像素点，确定第一方程式；

根据所述第二差分图像中的目标像素点，确定第二方程式；

根据所述第三差分图像中的目标像素点，确定第三方程式，其中，所述第一差分图像中的目标像素点、所述第二差分图像中的目标像素点以及所述第三差分图像中的目标像素点均对应于相同的像素点位置；

根据所述第一方程式、所述第二方程式、所述第三方程式以及第四方程式，计算得到所述目标像素点的法线以及所述目标像素点的反射率，其中，所述第四方程式表示所述法线所对应的三个方向分类的关系；

所述根据所述法线生成所述法线图，包括：

根据所述目标像素点的法线生成所述目标像素点所对应的法线图；

所述根据所述反射率生成所述反射率图，包括：

根据所述目标像素点的反射率生成所述目标像素点所对应的反射率图。

11.根据权利要求1至10中任一项所述的方法，其特征在于，所述根据所述N个差分图像、所述法线图以及所述反射率图确定人脸活体检测结果，包括：基于所述N个差分图像、所述法线图以及所述反射率图，通过活体检测模型获取待识别人脸所对应的活体概率，其中，所述待识别人脸包含于所述初始人脸图像以及所述人脸图像集合中；

根据所述待识别人脸所对应的活体概率，确定所述待识别人脸所对应的所述人脸活体检测结果。

12.根据权利要求1至10中任一项所述的方法，其特征在于，所述根据所述N个差分图像、所述法线图以及所述反射率图确定人脸活体检测结果，包括：向服务器发送所述N个差分图像、所述法线图以及所述反射率图，以使所述服务器基于所述N个差分图像、所述法线图以及所述反射率图，通过活体检测模型获取待识别人脸所对应的活体概率，并根据所述待识别人脸所对应的活体概率，确定所述待识别人脸所对应的所述人脸活体检测结果，其中，所述待识别人脸包含于所述初始人脸图像以及所述人脸图像集合中；

接收所述服务器发送的所述人脸活体检测结果。

13.一种人脸活体检测装置，其特征在于，包括：

获取模块，用于获取初始人脸图像以及N个光照方向所对应的人脸图像集合，其中，所述人脸图像集合包括N个人脸图像，且每个人脸图像对应于一个光照方向，所述N个光照方向为互不相同的光照方向，且所述N个光照方向对应于N个光源位置，所述N个光源位置不在同一直线上，所述N为大于或等于3的整数；

所述获取模块，还用于根据所述初始人脸图像以及所述人脸图像集合，获取N个差分图像；

生成模块，用于根据所述N个差分图像以及所述N个光照方向生成法线图以及反射率图，其中，所述法线图是基于每个像素点对应的法线所构成的图像，所述反射率图是基于每个像素点所对应的反射率所构成的图像；

确定模块，用于根据所述获取模块获取的所述N个差分图像、所述生成模块生成的所述法线图以及所述反射率图确定人脸活体检测结果。

14.一种电子设备，其特征在于，包括：存储器、收发器、处理器以及总线系统；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，以实现如上述权利要求1至12中任一项所述的方法；

所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

15.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至12中任一项所述的方法。

说明书

一种人脸活体检测的方法、相关装置、设备及存储介质

技术领域

[0001] 本申请涉及人工智能领域，尤其涉及一种人脸活体检测的方法、相关装置、设备及存储介质。

背景技术

[0002] 人脸活体检测的主要目的是判断当前的人脸是否为真实活人，以抵挡假人脸的攻击。人脸活体检测是进行人脸识别之前的重要步骤。随着人脸识别在人脸支付以及人脸门禁等诸多重要领域的应用，采用仿冒人脸来攻击人脸识别的问题日益凸显，人脸活体检测是抵挡仿冒人脸攻击的主要技术路径。

[0003] 目前，主要多张人脸图像作为人脸活体检测的依据，例如，人脸图像中的人脸满足眨眼或者张嘴等动作特征，则判定该图像中的人脸为活体人脸。

[0004] 然而，对于高清打印的人脸图像或高分辨率的人脸照片，则难以区分是否为活体人脸，例如，使用一张睁眼的高分辨率的人脸照片以及一张闭眼的高分辨率的人脸照片作为人脸活体检测，也可能会被误认为是活体人脸。由此可见，采用目前的方案进行人脸活体检测，缺乏鲁棒性，且难以抵御仿冒人脸的攻击。

发明内容

[0005] 本申请实施例提供了一种人脸活体检测的方法、相关装置、设备及存储介质，可以利用不同方向的入射光照射人脸，计算出人脸图像的法线图和反射图，同时考虑人脸图像的三维几何信息和表面材质信息，从而能够辨识出人脸图像的真实性，有效地抵御不同的人脸活体攻击方式。

[0006] 有鉴于此，本申请第一方面提供一种人脸活体检测的方法，包括：

[0007] 获取初始人脸图像以及N个光照方向所对应的人脸图像集合，其中，人脸图像集合包括N个人脸图像，且每个人脸图像对应于一个光照方向，N个光照方向为互不相同的光照方向，且N个光照方向对应于N个光源位置，N个光源位置不在同一直线上，N为大于或等于3的整数；

[0008] 根据初始人脸图像以及人脸图像集合，获取N个差分图像；

[0009] 根据N个差分图像以及N个光照方向生成法线图以及反射率图，其中，法线图是基于每个像素点对应的法线所构成的图像，反射率图是基于每个像素点所对应的反射率所构成的图像；

[0010] 根据N个差分图像、法线图以及反射率图确定人脸活体检测结果。

[0011] 本申请第二方面提供一种人脸活体检测装置，包括：

[0012] 获取模块，用于获取初始人脸图像以及N个光照方向所对应的人脸图像集合，其中，人脸图像集合包括N个人脸图像，且每个人脸图像对应于一个光照方向，N个光照方向为互不相同的光照方向，且N个光照方向对应于N个光源位置，N个光源位置不在同一直线上，N为大于或等于3的整数；

[0013] 获取模块，还用于根据初始人脸图像以及人脸图像集合，获取N个差分图像，其中， N个差分图像中的每个差分图像为基于初始人脸图像与人脸图像获取到的；

[0014] 生成模块，用于根据获取模块获取的N个差分图像生成法线图以及反射率图，其中，法线图为每个像素点所对应的法线表示为不同通道的图像，反射率图为每个像素点所对应的发射率表示为不同通道的图像；

[0015] 确定模块，用于根据获取模块获取的N个差分图像、生成模块生成的法线图以及反射率图确定人脸活体检测结果。

[0016] 在一种可能的设计中，在本申请实施例的第二方面的第一种实现方式中，[0017] 获取模块，具体用于获取初始人脸图像；

[0018] 在目标时长内的第一时刻下，获取第一光照方向下所对应的第一人脸图像；

[0019] 在目标时长内的第二时刻下，获取第二光照方向下所对应的第二人脸图像，其中，第二时刻与第一时刻为不同时刻；

[0020] 在目标时长内的第三时刻下，获取第三光照方向下所对应的第三人脸图像，其中，第三时刻与第一时刻为不同时刻，且第三时刻与第二时刻为不同时刻。

[0021] 在一种可能的设计中，在本申请实施例的第二方面的第二种实现方式中，人脸图像集合至少包括第一人脸图像、第二人脸图像以及第三人脸图像；

[0022] N个光照方向至少包括第一光照方向、第二光照方向以及第三光照方向，且第一光照方向、第二光照方向以及第三光照方向为不同方向上的光照；

[0023] 获取模块，具体用于获取初始人脸图像；

[0024] 在第一光照方向下获取第一人脸图像；

[0025] 在第二光照方向下获取第二人脸图像；

[0026] 在第三光照方向下获取第三人脸图像。

[0027] 在一种可能的设计中，在本申请实施例的第二方面的第三种实现方式中，N个光源位置至少包括第一光源位置、第二光源位置以及第三光源位置，且第一光源位置、第二光源位置以及第三光源位置不在同一直线上；

[0028] 获取模块，具体用于当终端设备的第一屏幕区域点亮时，在第一光照方向下采集第一人脸图像，其中，第一屏幕区域位于第一光源位置，第一光照方向为第一屏幕区域在点亮时照射待识别人脸所对应的方向；

[0029] 当终端设备的第二屏幕区域点亮时，在第二光照方向下采集第二人脸图像，其中，第二屏幕区域位于第二光源位置，第二光照方向为第二屏幕区域在点亮时照射待识别人脸所对应的方向；

[0030] 当终端设备的第三屏幕区域点亮时，在第三光照方向下采集第三人脸图像，其中，第三屏幕区域位于第三光源位置，第三光照方向为第三屏幕区域在点亮时照射待识别人脸所对应的方向。

[0031] 在一种可能的设计中，在本申请实施例的第二方面的第四种实现方式中，N个光源位置至少包括第一光源位置、第二光源位置以及第三光源位置，且第一光源位置、第二光源位置以及第三光源位置不在同一直线上；

[0032] 获取模块，具体用于当第一发光二极管发光区域点亮时，在第一光照方向下采集第一人脸图像，其中，第一发光区域位于第一光源位置，第一光照方向为第一发光区域在点亮时照射待识别人脸所对应的方向；

[0033] 当第二发光区域点亮时，在第二照方向下采集第二人脸图像，其中，第二发光区域位于第二光源位置，第二光照方向为第二发光区域在点亮时照射待识别人脸所对应的方向；

[0034] 当第三发光区域点亮时，在第三照方向下采集第三人脸图像，其中，第三发光区域位于第三光源位置，第三光照方向为第三发光区域在点亮时照射待识别人脸所对应的方向。

[0035] 在一种可能的设计中，在本申请实施例的第二方面的第五种实现方式中，人脸图像集合至少包括第一人脸图像、第二人脸图像以及第三人脸图像；

[0036] 获取模块，具体用于对初始人脸图像进行人脸关键点检测，得到初始人脸关键点集合，其中，初始人脸关键点集合包括多个初始人脸关键点；

[0037] 对第一人脸图像进行人脸关键点检测，得到第一人脸关键点集合，其中，初始人脸关键点集合包括多个第一人脸关键点；

[0038] 对第二人脸图像进行人脸关键点检测，得到第二人脸关键点集合，其中，初始人脸关键点集合包括多个第二人脸关键点；

[0039] 对第三人脸图像进行人脸关键点检测，得到第三人脸关键点集合，其中，初始人脸关键点集合包括多个第三人脸关键点；

[0040] 根据初始人脸关键点集合以及第一人脸关键点集合，生成第一差分图像，其中，第一差分图像为N个差分图像中的一个差分图像；

[0041] 根据初始人脸关键点集合以及第二人脸关键点集合，生成第二差分图像，其中，第二差分图像为N个差分图像中不同于第一差分图像的一个差分图像；

[0042] 根据初始人脸关键点集合以及第三人脸关键点集合，生成第三差分图像，其中，第二差分图像为N个差分图像中不同于第一差分图像以及第二差分图像的一个差分图像。

[0043] 在一种可能的设计中，在本申请实施例的第二方面的第六种实现方式中，人脸活体检测装置还包括计算模块、展示模块以及执行模块；

[0044] 计算模块，用于根据初始人脸关键点集合以及第一人脸关键点集合，计算得到第一关键点偏移量；

[0045] 计算模块，还用于根据初始人脸关键点集合以及第二人脸关键点集合，计算得到第二关键点偏移量；

[0046] 计算模块，还用于根据初始人脸关键点集合以及第三人脸关键点集合，计算得到第三关键点偏移量；

[0047] 展示模块，用于若第一关键点偏移量、第二关键点偏移量以及第三关键点偏移量中的至少一项大于或等于偏移阈值，则展示重新采集的提示消息；

[0048] 执行模块，用于若第一关键点偏移量、第二关键点偏移量以及第三关键点偏移量均小于偏移阈值，则执行根据初始人脸关键点集合以及第一人脸关键点集合，根据初始人脸关键点集合以及第二人脸关键点集合，生成第二差分图像，根据初始人脸关键点集合以及第三人脸关键点集合，生成第三差分图像的步骤。

[0049] 在一种可能的设计中，在本申请实施例的第二方面的第七种实现方式中，[0050] 获取模块，具体用于根据初始人脸关键点集合以及第一人脸关键点集合确定第一变换矩阵；

[0051] 基于第一变换矩阵以及初始人脸图像，对第一人脸图像进行对齐处理，得到对齐后的第一人脸图像；

[0052] 根据对齐后的第一人脸图像以及初始人脸图像，生成第一差分图像；

[0053] 获取模块，具体用于根据初始人脸关键点集合以及第二人脸关键点集合确定第二变换矩阵；

[0054] 基于第二变换矩阵以及初始人脸图像，对第二人脸图像进行对齐处理，得到对齐后的第二人脸图像；

[0055] 根据对齐后的第二人脸图像以及初始人脸图像，生成第二差分图像；

[0056] 获取模块，具体用于根据初始人脸关键点集合以及第三人脸关键点集合确定第三变换矩阵；

[0057] 基于第三变换矩阵以及初始人脸图像，对第三人脸图像进行对齐处理，得到对齐后的第三人脸图像；

[0058] 根据对齐后的第三人脸图像以及初始人脸图像，生成第三差分图像。

[0059] 在一种可能的设计中，在本申请实施例的第二方面的第八种实现方式中，[0060] 生成模块，具体用于根据第一差分图像、第二差分图像以及第三差分图像，计算得到法线以及反射率；

[0061] 根据法线生成法线图；

[0062] 根据反射率生成反射率图。

[0063] 在一种可能的设计中，在本申请实施例的第二方面的第九种实现方式中，[0064] 生成模块，具体用于根据第一差分图像中的目标像素点，确定第一方程式；

[0065] 根据第二差分图像中的目标像素点，确定第二方程式；

[0066] 根据第三差分图像中的目标像素点，确定第三方程式，其中，第一差分图像中的目标像素点、第二差分图像中的目标像素点以及第三差分图像中的目标像素点均对应于相同的像素点位置；

[0067] 根据第一方程式、第二方程式、第三方程式以及第四方程式，计算得到目标像素点的法线以及目标像素点的反射率，其中，第四方程式表示法线所对应的三个方向分类的关系；

[0068] 生成模块，具体用于根据目标像素点的法线生成目标像素点所对应的法线图；

[0069] 生成模块，具体用于根据目标像素点的反射率生成目标像素点所对应的反射率图。

[0070] 在一种可能的设计中，在本申请实施例的第二方面的第十种实现方式中，[0071] 确定模块，具体用于基于N个差分图像、法线图以及反射率图，通过活体检测模型获取待识别人脸所对应的活体概率，其中，待识别人脸包含于初始人脸图像以及人脸图像集合中；

[0072] 根据待识别人脸所对应的活体概率，确定待识别人脸所对应的人脸活体检测结果。

[0073] 在一种可能的设计中，在本申请实施例的第二方面的第十一种实现方式中，[0074] 确定模块，具体用于向服务器发送N个差分图像、法线图以及反射率图，以使服务器基于N个差分图像、法线图以及反射率图，通过活体检测模型获取待识别人脸所对应的活体概率，并根据待识别人脸所对应的活体概率，确定待识别人脸所对应的人脸活体检测结果，其中，待识别人脸包含于初始人脸图像以及人脸图像集合中；

[0075] 接收服务器发送的人脸活体检测结果。

[0076] 本申请第三方面提供一种电子设备，包括存储器、收发器、处理器以及总线系统；

[0077] 其中，存储器用于存储程序；

[0078] 处理器用于执行存储器中的程序，以实现上述各个方面的方法；

[0079] 总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。

[0080] 本申请的第四方面提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。

[0081] 从以上技术方案可以看出，本申请实施例具有以下优点：

[0082] 本申请实施例中，提供了一种人脸活体检测的方法，首先可以获取初始人脸图像以及N个光照方向所对应的人脸图像集合，然后根据初始人脸图像以及人脸图像集合，获取 N个差分图像，再根据N个差分图像以及所述N个光照方向生成法线图以及反射率图，最后基于N个差分图像、法线图以及反射率图确定人脸活体检测结果。通过上述方式，利用不同方向的入射光照射人脸，可以计算出人脸图像的法线图和反射图，法线图中包含了三维几何信息，而反射率图中包含了表面材质信息，由于同时考虑人脸图像的三维几何信息和表面材质信息，从而能够辨识出人脸图像的真实性，有效地抵御不同的人脸活体攻击方式。

附图说明

[0083] 图1为本申请实施例中人脸活体检测系统的一个架构示意图；

[0084] 图2为本申请实施例中人脸活体检测系统的另一个架构示意图；

[0085] 图3为本申请实施例中人脸活体检测的方法一个示意图；

[0086] 图4为本申请实施例中光源位置的一个排列示意图；

[0087] 图5为本申请实施例中终端设备展示图像采集提示消息的一个界面示意图；

[0088] 图6为本申请实施例中人脸图像集合的采集方式的一个示意图；

[0089] 图7为本申请实施例的屏幕区域的一个示意图；

[0090] 图8为本申请实施例中人脸图像集合的采集方式的一个示意图；

[0091] 图9为本申请实施例的LED排列方式的一个示意图；

[0092] 图10为本申请实施例中人脸关键点集合的一个示意图；

[0093] 图11为本申请实施例中终端设备展示重采集提示消息的一个界面示意图；

[0094] 图12为本申请实施例中法线图和反射率图的一个示意图；

[0095] 图13为本申请实施例中活体检测模型的一个结构示意图；

[0096] 图14为本申请实施例中人脸活体检测流程的一个示意图；

[0097] 图15为本申请实施例中唤醒词检测装置一个实施例示意图；

[0098] 图16为与本申请实施例提供的终端设备相关的手机的部分结构的框图。

具体实施方式

[0099] 本申请实施例提供了一种人脸活体检测的方法、相关装置、设备及存储介质，可以利用不同方向的入射光照射人脸，计算出人脸图像的法线图和反射图，同时考虑人脸图像的三维几何信息和表面材质信息，从而能够辨识出人脸图像的真实性，有效地抵御不同的人脸活体攻击方式。

[0100] 本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

[0101] 应理解，本申请提供的人脸活体检测的方法可以应用于人脸识别场景，具体可以应用在多个不同的领域，例如安防、金融以及考勤等领域。在实际应用中，由于普遍存在姿态的变换、眼镜的反光、光线的强弱以及表情的变化等众多干扰因素，因此，容易对人脸识别的效果产生影响，而利用3D硅胶人脸以及3D打印人脸等方式对人脸识别进行攻击的情况也日益严峻。对人脸进行活体检测，不仅是后续人脸识别的基础，而且对于金融、安防和考勤等领域也有广泛的应用价值。

[0102] 本申请提供的人脸活体检测的方法可以应用于图1所示出的环境中，请参阅图1，图 1为本申请实施例中人脸活体检测系统的一个架构示意图，如图所示，本申请所提供的方法可以应用于平板电脑、智能手机、个人电脑或者门禁系统等终端设备。例如，在金融领域中，存在对于人脸活体检测的需求。用户可以通过智能手机进行转账、支付或修改账户信息等需要进行身份验证的操作。具体地，当通过智能手机采集到用户甲的多个人脸图像时，该智能手机可以采用本申请提供的人脸活体检测方法，对用户甲的身份进行识别，从而判定本次操作是否由用户甲本人发起的。又例如，在安防领域中，可以利用自助通关设备进行通关检查。具体地，用户乙通过自助通关设备进行通关检查，该自助通关设备可以采用本申请提供的人脸活体检测方法，对采集到的用户乙头像进行活体检测，以识别是否冒用身份。又例如，在考勤领域中，可以应用于人脸打卡机或人脸门禁系统中。具体地，用户丙在打卡或者解锁门禁时对其进行人脸活体检测，以防止代他人打卡或无关人员冒用身份。此处不对应用场景进行穷举。

[0103] 为了在上述各种场景中进行人脸活体检测以辨识出人脸图像的真实性，本申请提供了一种人脸活体检测的方法，该方法可以应用于图2的系统架构，请参阅图2，图2为本申请实施例中人脸活体检测系统的另一个架构示意图，如图所示，本申请所提供的人脸活体检测的方法还可以应用于服务器。例如，在金融领域中，存在对于人脸活体检测的需求。假设用户甲通过智能手机进行转账，当智能手机采集到用户甲的多个人脸图像时，可以将这些人脸图像发送至服务器，该服务器采用本申请提供的人脸活体检测方法，对用户甲的身份进行识别，从而判定本次操作是否由用户甲本人发起的，并将判定结果反馈至终端设备，从而完成人脸活体检测。此处不对应用场景进行穷举。

[0104] 在实际应用中，系统架构的选择可以取决于实际要处理的数据量等因素。例如，对于门禁系统而言，如果使用该门禁系统存储的用户数据量较小，则本申请的方法可以部署在门禁设备本地，即门禁设备在确定人脸活体检测结果为是活体人脸时，可以将采集到的人脸与门禁设备本地存储的人脸图像进行比对，从而确定身份信息。又例如，对于网络银行支付或公安系统而言，往往需要存储大量的用户数据，因此，可以由服务器生成人脸活体检测结果，并且在确定人脸活体检测结果为是活体人脸时，可以将采集到的人脸与门禁设备本地存储的人脸图像进行比对，从而确定身份信息。

[0105] 其中，图2中的服务器为用于进行人脸活体检测的服务器，可以是一台服务器或多台服务器组成的服务器集群或云计算中心等，具体此处均不限定。终端设备可以为图1或图 2中示出的平板电脑、智能手机、个人电脑(personal computer，PC)及门禁设备，也可以为监控设备或者人脸识别设备等，此处不做限定。在部分实现方式中，配置有人脸活体检测装置的客户端均可以表现为网页客户端，也可以表现为应用程序类客户端，部署于前述终端设备上。

[0106] 终端设备和服务器之间可以通过无线网络、有线网络或可移动存储介质进行通信。其中，上述的无线网络使用标准通信技术和/或协议。无线网络通常为因特网、但也可以是任何网络，包括但不限于蓝牙、局域网(Local Area  Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，可以使用定制或专用数据通信技术取代或者补充上述数据通信技术。可移动存储介质可以为通用串行总线(Universal Serial Bus，USB) 闪存盘、移动硬盘或其他可移动存储介质等。

[0107] 虽然图2中仅示出了四个终端设备和一个服务器，但应当理解，图2中的示例仅用于理解本方案，具体终端设备和服务器的数量均应当结合实际情况灵活确定。

[0108] 本申请实施例提供了一种基于人工智能的人脸活体检测方法，可以采用基于人工智能领域的计算机视觉技术(Computer Vision，CV)，在对本申请提供的方法进行介绍之前，先对人工智能领域的一些基础概念进行介绍。人工智能(Artificial Intelligence，AI) 是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

[0109] 其中，计算机视觉技术是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

[0110] 随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

[0111] 结合上述介绍，下面将对本申请中人脸活体检测的方法进行介绍，请参阅图3，本申请实施例中人脸活体检测的方法一个实施例包括：

[0112] 101、获取初始人脸图像以及N个光照方向所对应的人脸图像集合，其中，人脸图像集合包括N个人脸图像，且每个人脸图像对应于一个光照方向，N个光照方向为互不相同的光照方向，且N个光照方向对应于N个光源位置，N个光源位置不在同一直线上，N为大于或等于3的整数；

[0113] 本实施例中，人脸活体检测装置获取初始人脸图像以及N个光照方向所对应的人脸图像集合。初始人脸图像是在自然光的情况下拍摄的人脸图像，N个人脸图像中所包括的人脸的表情和位置应保持不变或变化幅度较小。在自然光很弱的情况下，例如黑暗的环境下，图像采集装置难以拍摄到清晰的人脸图像，此时，初始人脸图像也可以在多个光源或全部光源同时启用的情况下进行拍摄。

[0114] 其中，N个光源不应处在同一直线上，为了便于理解，请参阅图4，图4为本申请实施例中光源位置的一个排列示意图，如图所示，在N为3的情况下，光源的位置在两两连线后可以构成如图4所示三角形。应理解，图4所示出的光源数量和位置仅为示例，在其他实施例中，光源的数量可以大于3个，光源的位置也可以构成其他图形，例如4个光源所对应的位置可以构成矩形、平行四边形或者其他四边形等，5个光源所对应的位置可以构成五边形或其他形等，此处均不作限定。

[0115] 需要说明的是，人脸活体检测装置可以部署于服务器，也可以部署于终端设备，为了便于说明，本申请以人脸活体检测装置部署于终端设备为例进行说明，但这不应理解为对本申请的限定。

[0116] 102、根据初始人脸图像以及人脸图像集合，获取N个差分图像；

[0117] 在本实施例中，人脸活体检测装置可以根据初始人脸图像以及人脸图像集合获取N个差分图像。由于各个人脸图像对应不同的光照方向，因此，差分图像可以理解为，在某个方向的光照条件下获取到的人脸图像与在自然光条件下获取到的初始人脸图像之间的差异。差分图像可以通过人脸图像减去初始人脸图像得到，具体地，通过人脸图像上各个像素值分别减去初始人脸图像上对应位置的像素值之后，即可得到差分图像。

[0118] 103、根据N个差分图像以及N个光照方向生成法线图以及反射率图，其中，法线图是基于每个像素点对应的法线所构成的图像，反射率图是基于每个像素点所对应的反射率所构成的图像；

[0119] 在本实施例中，人脸活体检测装置根据N个差分图像以及N个光照方向生成法线图 (Normal Map)和反射率图(Albedo Map)，其中，法线图是基于每个像素点对应的法线所构成的图像，反射率图是基于每个像素点所对应的反射率所构成的图像。不同通道可以为红绿蓝(red green blue，RGB)通道，也可以是YUV通道或HSV通道，此处不作限定。法线图包含三维几何信息，用于表示人脸图像中的凹凸表面，其利用在不同通道的值来记录各个像素点的法线方向。反射率图包含表面材质信息，可以使用黑色和白色来指出图像的反射强度级别，例如黑色的像素点指示该位置的反射率为0％，而白色的像素点指示该位置的反射率为100％。

[0120] 104、根据N个差分图像、法线图以及反射率图确定人脸活体检测结果。

[0121] 在本实施例中，人脸活体检测装置根据N个差分图像、法线图以及反射率图确定人脸活体检测结果。人脸活体检测结果可以表示为一个概率值，基于该概率值可以确定属于活体人脸的可能性。可选地，人脸活体检测结果也可以表示为一个判定结果，比如，即所检测的人脸属于活体人脸，或者属于非活体人脸。如果人脸活体检测结果为非活体人脸，则终端设备可以显示告警信息，或通过短信、邮箱等方式通知相关工作人员。例如，在海关，如果用户甲的人脸活体检测结果为非活体人脸，则可以锁定通关闸门并通知海关人员进行人工检查。如果用户乙的人脸活体检测结果为活体人脸，则可进入进行后续操作。又例如，在人脸支付中，如果用户乙的人脸活体检测结果为活体人脸，则可以继续进行后续的验证或支付操作。

[0122] 本申请实施例中，提供了一种人脸活体检测的方法，首先可以获取初始人脸图像以及 N个光照方向所对应的人脸图像集合，然后根据初始人脸图像以及人脸图像集合，获取N 个差分图像，再根据N个差分图像生成法线图以及反射率图，最后基于N个差分图像、法线图以及反射率图确定人脸活体检测结果。通过上述方式，利用不同方向的入射光照射人脸，可以计算出人脸图像的法线图和反射图，法线图中包含了三维几何信息，而反射率图中包含了表面材质信息，由于同时考虑人脸图像的三维几何信息和表面材质信息，从而能够辨识出人脸图像的真实性，有效地抵御不同的人脸活体攻击方式。

[0123] 可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的人脸活体检测的方法一个可选实施例中，获取初始人脸图像以及N个光照方向所对应的人脸图像集合，可以包括：

[0124] 获取初始人脸图像；

[0125] 在目标时长内的第一时刻下，获取第一光照方向下所对应的第一人脸图像；

[0126] 在目标时长内的第二时刻下，获取第二光照方向下所对应的第二人脸图像，其中，第二时刻与第一时刻为不同时刻；

[0127] 在目标时长内的第三时刻下，获取第三光照方向下所对应的第三人脸图像，其中，第三时刻与第一时刻为不同时刻，且第三时刻与第二时刻为不同时刻。

[0128] 本实施例中，介绍了一种在目标时长内获取初始人脸图像以及N个人脸图像的方式。人脸活体检测装置可以在目标时长内获取人脸图像集合。应理解，各个光照方向通常是固定的，因此，在人脸姿态不变的情况下，对于人脸上的某个部分，各个光照方向的光线入射角是固定的。如果各个人脸图像中人脸与光源的相对位置发生变化，则会导致相同位置的入射角发生变化。例如，在第一光照方向和第二光照方向下，鼻尖所处位置的入射角分别是λ1和λ2，如果在第二光照方向对应的人脸图像中，鼻尖的位置发生变化，则入射角的实际值可能变化为λ3，而计算法线图和入射率图时，人脸图像需要尽量与与初始人脸图像对齐，计算所使用的入射角值仍会采用λ1和λ2，因此，如果λ2和λ3之间的差异较大，那么计算结果的准确性便会受到影响，产生一定的误差，从而、导致基于差分图像计算的得到的法线图和反射率图的准确性下降。需要说明的是，在采集人脸图像的过程中，应尽量保证人脸姿态和面部肌肉不变，其中，转动头部或者移动头部均可能造成姿态变化。

[0129] 为了保证初始人脸图像和N个人脸图像中的人脸姿态和面部肌肉尽可能一致，应在目标时长内获取上述人脸图像。目标时长可以预先设置的固定时长，例如1秒，也可以由人为进行动态调节。例如，在周围环境较暗的情况下，可以延长目标时长，以此使人脸图像具有更长的曝光时间，提高图像的清晰度。在周围环境光线良好的情况下，可以缩短目标时长，以降低用户在获取图像过程中，由于人脸姿态改变、面部肌肉抖动或者图像采集装置晃动而引起图像采集失败的可能性。

[0130] 可以理解的是，若人脸图像采集失败，或者，在采集人脸图像之前，还可以展示相关的提示，为了便于说明，请参阅图5，图5为本申请实施例中终端设备展示图像采集提示消息的一个界面示意图，如图所示，用户在使用手机进行人脸支付的过程中，在收集拍摄人脸图像之前，可以在屏幕上显示“请勿晃动手机并保持表情一致”的文字提示(或语音提示)，以提醒用户配合进行操作。为了上述目的，人脸活体检测装置还可以在获取人脸图像的过程中检测终端设备是否晃动。例如，基于终端设备的陀螺仪和/或重力感应器，可以判断该终端设备是否在目标时长内晃动，如果发生晃动，则可以终止此次获取人脸图像操作，并且重新进行人脸图像的采集。

[0131] 在本申请实施例中，提供了一种在目标时长内获取初始人脸图像以及N个人脸图像的方法，通过上述方式，在短时间内连续采集多张人脸图像，可以确保人脸图像中人脸的位置和表情不变或相似，有利于计算差分图像，从而有利于提升人脸活体检测的准确度。

[0132] 可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的人脸活体检测的方法一个可选实施例中，人脸图像集合至少包括第一人脸图像、第二人脸图像以及第三人脸图像；N个光照方向至少包括第一光照方向、第二光照方向以及第三光照方向，且第一光照方向、第二光照方向以及第三光照方向为不同方向上的光照；

[0133] 获取初始人脸图像以及N个光照方向所对应的人脸图像集合，可以包括：

[0134] 获取初始人脸图像；

[0135] 在第一光照方向下获取第一人脸图像；

[0136] 在第二光照方向下获取第二人脸图像；

[0137] 在第三光照方向下获取第三人脸图像。

[0138] 在本实施例中，介绍了一种获取不同方向上人脸图像的方式，人脸活体检测装置通过图像采集装置拍摄初始人脸图像和各个光照方向下的人脸图像。图像采集装置可以是终端设备的内置摄像头或外置摄像头。应理解，来自不同的方向上光源照射至人脸，以获取不同光照下的人脸图像。光照方向与人脸图像之间具有对应关系，即在第一光照方向下获取第一人脸图像，在第二光照方向下获取第二人脸图像，在第三光照方向下获取第三人脸图像，且第一光照方向、第二光照方向以及第三光照方向为不同方向上的光照。

[0139] 为了便于理解，下面结合示例进行描述，当用户甲通过手机修改银行账户信息时，需要进行人脸活体验证。首先，可以通过手机的内置摄像头在自然光条件下拍摄初始人脸图像。然后手机屏幕被点亮，由此提供不同的光照方向，内置摄像头依次拍摄对应的人脸图像A、人脸图像B和人脸图像C。在获取人脸图像的过程中，手机可以显示提示信息来指导用户尽量保持手机稳定，并且保持人脸姿态和面部肌肉不变。在获取到初始人脸图像、人脸图像A、人脸图像B和人脸图像C之后，手机可以计算差分图像A、差分图像B和差分图像C，进而得到法线图和反射率图，最后通过差分图像A、差分图像B和差分图像C，以及法线图和反射率图，生成人脸活体检测结果，手机按照结果进行后续操作，即允许用户甲修改或显示告警信息。

[0140] 为了保证人脸图像中人脸的位置和表情尽量一致，图像采集装置可以按照上述的方式在目标时长的不同时刻下拍摄各个人脸图像，具体方式与上述一致，此处不再赘述。

[0141] 应理解，虽然在本实施例中以人脸活体检测装置为例，但是上述过程也可以通过服务器和人脸活体检测装置交互进行。例如，人脸活体检测装置也可以将所获取到的人脸图像及相关信息上传到服务器，由服务器计算人脸活体检测结果并返回给手机。

[0142] 应理解，本实施例中的光照方向和对应人脸图像的数量仅用于示例，不应理解为对本申请的限定，在其他实施例中，可按照实际情况提供更多数量的光照方向和拍摄出更多对应的人脸图像。

[0143] 在本申请实施例中，提供了一种获取不同方向上人脸图像的方法，通过上述方式，采用图像采集装置获取初始人脸图像和至少三个光照方向的人脸图像，可以为计算法线图和反射率图提供合理的数据基础，避免计算失败，从而提升计算可靠性。

[0144] 可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的人脸活体检测的方法一个可选实施例中，N个光源位置至少包括第一光源位置、第二光源位置以及第三光源位置，且第一光源位置、第二光源位置以及第三光源位置不在同一直线上；

[0145] 在第一光照方向下获取第一人脸图像，可以包括：

[0146] 当终端设备的第一屏幕区域点亮时，在第一光照方向下采集第一人脸图像，其中，第一屏幕区域位于第一光源位置，第一光照方向为第一屏幕区域在点亮时照射待识别人脸所对应的方向；

[0147] 在第二光照方向下获取第二人脸图像，可以包括：

[0148] 当终端设备的第二屏幕区域点亮时，在第二光照方向下采集第二人脸图像，其中，第二屏幕区域位于第二光源位置，第二光照方向为第二屏幕区域在点亮时照射待识别人脸所对应的方向；

[0149] 在第三光照方向下获取第三人脸图像，可以包括：

[0150] 当终端设备的第三屏幕区域点亮时，在第三光照方向下采集第三人脸图像，其中，第三屏幕区域位于第三光源位置，第三光照方向为第三屏幕区域在点亮时照射待识别人脸所对应的方向。

[0151] 在本实施例中，介绍了一种基于人脸活体检测装置的屏幕区域点亮的模式获取人脸图像的方法。终端设备点亮第一屏幕区域来照射待识别人脸，第一屏幕区域所在的位置即第一光源位置，第一光源位置照射人脸的方向即第一照射方向，然后图像采集装置对人脸进行拍摄获得第一人脸图像，之后该终端设备熄灭第一屏幕区域。类似地，终端设备点亮第二屏幕区域来照射待识别人脸，第二屏幕区域所在的位置即第二光源位置，第二光源位置照射人脸的方向即第二照射方向，然后图像采集装置对人脸进行拍摄获得第二人脸图像，之后终端设备熄灭第二屏幕区域。终端设备点亮第三屏幕区域来照射待识别人脸，第三屏幕区域所在的位置即第三光源位置，第三光源位置照射人脸的方向即第三照射方向，然后图像采集装置对人脸进行拍摄获得第三人脸图像，之后终端设备熄灭第三屏幕区域。以此类推，在其他实施例中，还存在更多屏幕区域，采用与上述类似的方式获得相应的人脸图像，此处不做穷举。

[0152] 为便于理解，请参阅图6，图6为本申请实施例中人脸图像集合的采集方式的一个示意图。以人脸活体检测装置为终端设备为例，假设该终端设备为手机，具体地，如图6中的(a)图所示，当通过手机采集人脸图像集合时，手机点亮屏幕区域A，点亮后的屏幕区域A用于提供来自第一光照方向的光源，于是手机拍摄用户甲在第一光照方向下的第一人脸图像，之后手机将熄灭屏幕区域A。类似地，如图6中的(b)图所示，手机点亮屏幕区域B，点亮后的屏幕区域B用于提供来自第二光照方向的光源，于是手机拍摄用户甲在第二光照方向下的第二人脸图像，之后手机将熄灭屏幕区域B。最后，如图6中的(c)图所示，手机点亮屏幕区域C，点亮后的屏幕区域C用于提供来自第三光照方向的光源，于是手机拍摄用户甲在第三光照方向下的第三人脸图像，之后手机将熄灭屏幕区域C。

[0153] 为了便于理解，可以将终端设备的屏幕划分为多个区域，每个区域用于提供来源于不同光照方向的光源。请参阅图7，图7为本申请实施例的屏幕区域的一个示意图，如图所示，屏幕被划分为9个区域，假设区域A为第一屏幕区域，区域B为第二屏幕区域，区域 C为第三屏幕区域。在手机点亮区域A时，可将区域A的屏幕设置为亮屏状态，非区域A 的其他区域为黑屏状态。图7中未使用的区域可以是备选区域，在需要更多区域作为光源时可点亮使用。应理解，图7中的划分方式仅是实例，在实际应用中，可以采用任意方式划分出任意形状的区域，例如圆形，区域的数量和点亮顺序也可以按实际需求而定，此处不做限定。

[0154] 可以理解的是，处于亮屏状态发出的光源颜色包含但不仅限于白光、红光以及紫光等，此处不做限定。此外，点亮的屏幕还可以模拟自然光。

[0155] 需要注意的是，在获取人脸图像集合的过程中，每次有且仅有一个光源位置所对应的光源被点亮，而不会同时点亮多个光源位置所对应的光源。

[0156] 在本申请实施例中，提供了一种基于终端设备的屏幕区域点亮的模式获取人脸图像的方法，通过上述方式，通过将屏幕划分成多个区域，利用这些区域作为光源进行人脸图像集合的获取，可以在不需要额外光源的情况下利用屏幕获得不同光照方向，提升图像获取的便利性，节约硬件成本，也使得终端设备的体积更小。

[0157] 可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的人脸活体检测的方法一个可选实施例中，N个光源位置至少包括第一光源位置、第二光源位置以及第三光源位置，且第一光源位置、第二光源位置以及第三光源位置不在同一直线上；

[0158] 在第一光照方向下获取第一人脸图像，可以包括：

[0159] 当第一发光二极管发光区域点亮时，在第一光照方向下采集第一人脸图像，其中，第一发光区域位于第一光源位置，第一光照方向为第一发光区域在点亮时照射待识别人脸所对应的方向；

[0160] 在第二光照方向下获取第二人脸图像，可以包括：

[0161] 当第二发光区域点亮时，在第二照方向下采集第二人脸图像，其中，第二发光区域位于第二光源位置，第二光照方向为第二发光区域在点亮时照射待识别人脸所对应的方向；

[0162] 在第三光照方向下获取第三人脸图像，可以包括：

[0163] 当第三发光区域点亮时，在第三照方向下采集第三人脸图像，其中，第三发光区域位于第三光源位置，第三光照方向为第三发光区域在点亮时照射待识别人脸所对应的方向。

[0164] 在本实施例中，介绍了一种基于发光区域点亮的模式获取人脸图像的方法，其中发光区域可以是发光二极管(Light Emitting Diode，LED)、紧凑型荧光灯或其他或其他照明设备，本实施例中以LED为例，人脸活体检测装置点亮第一LED来照射待识别人脸，第一 LED所在的位置即第一光源位置，第一LED照射人脸的方向即第一光照方向，然后图像采集装置对人脸进行拍摄获得第一人脸图像，之后人脸活体检测装置熄灭第一LED。类似地，人脸活体检测装置点亮第二LED来照射待识别人脸，第二LED所在的位置即第二光源位置，第二LED照射人脸的方向即第二光照方向，然后图像采集装置对人脸进行拍摄获得第二人脸图像，之后人脸活体检测装置熄灭第二LED。人脸活体检测装置点亮第三LED来照射待识别人脸，第三LED所在的位置即第三光源位置，第三LED照射人脸的方向即第三光照方向，然后图像采集装置对人脸进行拍摄获得第三人脸图像，之后人脸活体检测装置熄灭第三LED。在其他实施例中，还存在其他数量(至少3个)的LED，采用与上述类似的方式获得相应的人脸图像，此处不做穷举。

[0165] 为便于理解，请参阅图8，图8为本申请实施例中人脸图像集合的采集方式的一个示意图。以人脸活体检测装置为终端设备为例，且该终端设备可以控制LED的点亮或熄灭，具体地，如图8中的(a)图所示，当采集人脸图像集合时，首先终端设备控制LED A点亮，点亮后的LED A用于提供来自第一光照方向的光源，于是手机拍摄用户甲在第一光照方向下的第一人脸图像，之后终端设备控制LED A熄灭。类似地，如图8中的(b)图所示，终端设备控制LED B点亮，点亮后的LED B用于提供来自第二光照方向的光源，于是手机拍摄用户甲在第二光照方向下的第二人脸图像，之后终端设备控制LED B熄灭。如图 8中的(c)图所示，终端设备控制LED C点亮，点亮后的LED C用于提供来自第三光照方向的光源，于是手机拍摄用户甲在第三光照方向下的第三人脸图像，之后终端设备控制LED C熄灭。此外，还可以拍摄更多的人脸图像，如图8中的(d)图所示，终端设备还控制 LED D点亮，点亮后的LED D用于提供来自第四光照方向的光源，于是手机拍摄用户甲在第四光照方向下的第四人脸图像，之后终端设备控制LED D熄灭。

[0166] 需要说明的是，光源可以报考多个LED，每个LED用于提供不同照射方向。为了便于理解，请参阅图9，图9为本申请实施例的LED排列方式的一个示意图，如图所示，LED 可以分布在圆形的圆周上。应理解，图9中的LED的分布方式仅为一个示意，在实际应用中，LED可以分布成任意形状，例如长方形或椭圆形，LED的数量和点亮顺序也可以按实际需求而定，此处不做限定。

[0167] 可以理解的是，处于点亮状态发出的光源颜色包含但不仅限于白光、红光以及紫光等，此处不做限定。此外，点亮的LED还可以模拟自然光。

[0168] 需要注意的是，在获取人脸图像集合的过程中，每次有且仅有一个光源位置所对应的光源被点亮，而不会同时点亮多个光源位置所对应的光源。

[0169] 在本申请实施例中，提供了一种基于LED点亮的模式获取人脸图像的方法，通过上述方式，通过利用LED作为光源进行人脸图像集合的获取，可以提供更好的光照效果，提升人脸图像和初始人脸图像之间的区别程度和人脸图形的清晰度，有利于提高计算的准确性。

[0170] 可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的人脸活体检测的方法一个可选实施例中，人脸图像集合至少包括第一人脸图像、第二人脸图像以及第三人脸图像；

[0171] 根据初始人脸图像以及人脸图像集合，获取N个差分图像，可以包括：

[0172] 对初始人脸图像进行人脸关键点检测，得到初始人脸关键点集合，其中，初始人脸关键点集合包括多个初始人脸关键点；

[0173] 对第一人脸图像进行人脸关键点检测，得到第一人脸关键点集合，其中，初始人脸关键点集合包括多个第一人脸关键点；

[0174] 对第二人脸图像进行人脸关键点检测，得到第二人脸关键点集合，其中，初始人脸关键点集合包括多个第二人脸关键点；

[0175] 对第三人脸图像进行人脸关键点检测，得到第三人脸关键点集合，其中，初始人脸关键点集合包括多个第三人脸关键点；

[0176] 根据初始人脸关键点集合以及第一人脸关键点集合，生成第一差分图像，其中，第一差分图像为N个差分图像中的一个差分图像；

[0177] 根据初始人脸关键点集合以及第二人脸关键点集合，生成第二差分图像，其中，第二差分图像为N个差分图像中不同于第一差分图像的一个差分图像；

[0178] 根据初始人脸关键点集合以及第三人脸关键点集合，生成第三差分图像，其中，第二差分图像为N个差分图像中不同于第一差分图像以及第二差分图像的一个差分图像。

[0179] 在本实施例中，介绍了一种基于人脸关键点生成差分图像的方法。人脸活体检测装置对初始人脸图像进行人脸关键点检测，得到包括多个关键点的初始人脸关键点集合。类似地，还需要对第一人脸图像进行人脸关键点检测，得到包括多个第一人脸关键点的第一人脸关键点集合。对第二人脸图像进行人脸关键点检测，得到包括多个第二人脸关键点的第二人脸关键点集合。对第三人脸图像进行人脸关键点检测，得到包括多个第三人脸关键点的第三人脸关键点集合，其中，上述的关键点用于标识人脸上的特征，如眼睛、鼻尖、嘴角点、眉毛或者人脸各部件轮廓点等，初始人脸关键点集合、第一人脸关键点集合、第二人脸关键点集合和第三人脸关键点集合中所标识出的特征相同。人脸活体检测装置根据初始人脸关键点集合以及第一人脸关键点集合，生成第一差分图像。类似地，根据初始人脸关键点集合以及第二人脸关键点集合，生成第二差分图像。类似地，根据初始人脸关键点集合以及第三人脸关键点集合，生成第三差分图像。在一个实施例中，在生成第一差分图像的过程中，人脸活体检测装置首先根据第一人脸关键点集合和初始人脸关键点集合对第一人脸图像与初始人脸图像进行人脸对齐，然后基于对齐的图像生成第一差分图像，第二差分图像和第三差分图像的生成与第一差分图像类似，此处不再赘述。

[0180] 为了便于描述，请参阅图10，图10为本申请实施例中人脸关键点集合的一个示意图，如图所示，图10中包括初始人脸图像P0、第一人脸图像P1、第二人脸图像P2和第三人脸图像P3，人脸活体检测装置对初始人脸图像P0进行人脸关键点检测，得到人脸关键点集合S0，将人脸关键点集合S0标记到初始人脸图像P0上的对应位置，可以得到图10中标记有关键点的初始人脸图像P0。类似地，人脸活体检测装置对图10中的人脸图像P1、人脸图像P2和人脸图像P3进行人脸关键点检测，得到人脸图像P1的人脸关键点集合S1，人脸图像P2的脸关键点集合S2以及人脸图像P3的人脸关键点集合S3。

[0181] 将初始人脸图像P0上的人脸关键点集合S0与人脸图像P1上的人脸关键点集合S1进行对齐之后，可以生成对应的差分图像D1。类似地，将初始人脸图像P0上的人脸关键点集合S0与人脸图像P2上的人脸关键点集合S2进行对齐之后，可以生成对应的差分图像 D2。将初始人脸图像P0上的人脸关键点集合S0与人脸图像P3上的人脸关键点集合S3进行对齐之后，可以生成对应的差分图像D3。对齐的方式包含但不仅限于平移、旋转或缩放。

[0182] 应理解，多个人脸图像的关键点检测没有时序要求，且生成差分图像也没有时序要求。例如，可以先对第一人脸图像进行人脸关键点检测，得到第一关键点集合后，生成第一差分图像，然后再对第二人脸图像进行人脸关键点检测。也可以先对第一人脸图像和第二人脸图像进行关键点检测，然后分别生成相应的差分图像。还可以同时对第一人脸图像进行人脸关键点检测，以及对第二人脸图像进行人脸关键点检测。

[0183] 在本申请实施例中，提供了一种基于人脸关键点生成差分图像的方法，通过上述方式，为方案的实现提供了具体的依据，从而有利于提升方案的可行性。

[0184] 可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的人脸活体检测的方法一个可选实施例中，该方法还可以包括：

[0185] 根据初始人脸关键点集合以及第一人脸关键点集合，计算得到第一关键点偏移量；

[0186] 根据初始人脸关键点集合以及第二人脸关键点集合，计算得到第二关键点偏移量；

[0187] 根据初始人脸关键点集合以及第三人脸关键点集合，计算得到第三关键点偏移量；

[0188] 若第一关键点偏移量、第二关键点偏移量以及第三关键点偏移量中的至少一项大于或等于偏移阈值，则展示重新采集的提示消息；

[0189] 若第一关键点偏移量、第二关键点偏移量以及第三关键点偏移量均小于偏移阈值，则执行根据初始人脸关键点集合以及第一人脸关键点集合，根据初始人脸关键点集合以及第二人脸关键点集合，生成第二差分图像，根据初始人脸关键点集合以及第三人脸关键点集合，生成第三差分图像的步骤。

[0190] 在本实施例中，介绍了一种基于人脸关键点集合的偏移量判定图像采集是否成功的方法。人脸活体检测装置基于初始人脸关键点集合以及第一人脸关键点集合、第二人脸关键点集合和第三人脸关键点集合，分别计算得到第一关键点偏移量、第二关键点偏移量及第三关键点偏移量，若第一关键点偏移量、第二关键点偏移量或第三关键点偏移量中的至少一个偏移量大于或等于偏移阈值，则表示采集的人脸图像之间的位置和表情的差异较大，进而影响人脸活体检测结果的准确性，因此，需要向用户展示重采集提示消息来提示用户需要重新采集人脸图像；若第一关键点偏移量、第二关键点偏移量或第三关键点偏移量均小于偏移阈值，则表示采集的人脸图像可以计算出较准确得到人脸活体检测结果，因此，人脸活体检测装置可以进一步基于采集的人脸图像生成对应的差分图像。

[0191] 下面将介绍关键点偏移量的确定方式，可以采用如下三种方式：

[0192] 方式一，可以获取关键点集合中任意一对对应关键点的偏移量。假设初始人脸关键点为鼻尖关键点，第一人脸关键点也为鼻尖关键点，在计算第一关键点偏移量时，可以在计算该初始人脸关键点与该第一人脸关键点之间的像素点的最小距离，其中，该最小距离即为第一关键点偏移量。

[0193] 需要说明的是，第二关键点偏移量与第三关键点偏移量的计算方式类似，此处不一一列举。

[0194] 方式二，可以获取关键点集合之间最大的偏移量作为关键点偏移量。假设存在100个初始人脸关键点以及100个第一人脸关键点，将每个初始人脸关键点与对应的第一人脸关键点进行计算，得到100个关键点距离，再从中选择关键点距离的最大值作为第一关键点偏移量。

[0195] 需要说明的是，第二关键点偏移量与第三关键点偏移量的计算方式类似，此处不一一列举。

[0196] 方式三，可以获取关键点集合之间偏移量的平均值作为关键点偏移量。假设存在100 个初始人脸关键点以及100个第一人脸关键点，将每个初始人脸关键点与对应的第一人脸关键点进行计算，得到100个关键点距离，然后对这100个关键点距离进行平均值计算，即可得到关键点平均距离，该关键点平均距离作为第一关键点偏移量。

[0197] 需要说明的是，第二关键点偏移量与第三关键点偏移量的计算方式类似，此处不一一列举。

[0198] 下面将介绍偏移阈值的取值方式，偏移阈值可以是固定阈值或动态阈值。固定阈值可以具有多个备选阈值。人脸活体检测装置取决于其实际情况确定固定阈值的实际值。例如，备选阈值可以包括适用于手机的备选阈值、适用于平板电脑的备选阈值和适用于自助柜员机的备选阈值，当人脸活体检测装置是手机时，可以使用适用于手机的备选阈值来作为固定阈值。

[0199] 动态阈值可以基于采集人脸图像的数量和预设的阈值计算获得，动态阈值的一种计算公式如下：

[0200]

[0201] 其中，T表示动态阈值，N表示人脸活体检测装置所采集的人脸图像的数量，S表示默认的人脸图像的数量，通常情况下S可以设置为3，P表示默认的偏移量阈值，α是缩放系数。

[0202] 为了便于理解，请参见图11，图11为本申请实施例中人脸活体检测装置展示重采集提示消息的一个界面示意图，如图所示，假设人脸活体检测装置采用的固定阈值M，并且 M＝10。若初始人脸关键点集合中的鼻尖关键点与第一人脸关键点集合中的鼻尖关键之间的关键点距离为D，且D＝30，则由于D＞M，如图11所示，人脸活体检测装置将通过终端设备的屏幕，向用户提示“图像晃动过大，请重新拍摄”的提示消息。

[0203] 在本申请实施例中，提供了一种基于人脸关键点集合的偏移量判定图像采集是否成功的方法。通过上述方式，可以在所采集的人脸图像差异太大时重新进行采集，避免了由于采集图像的差异而影响人脸活体检测的结果，使人脸活体检测结果更可靠。

[0204] 可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的人脸活体检测的方法一个可选实施例中，根据初始人脸关键点集合以及第一人脸关键点集合，生成第一差分图像，可以包括：

[0205] 根据初始人脸关键点集合以及第一人脸关键点集合确定第一变换矩阵；

[0206] 基于第一变换矩阵以及初始人脸图像，对第一人脸图像进行对齐处理，得到对齐后的第一人脸图像；

[0207] 根据对齐后的第一人脸图像以及初始人脸图像，生成第一差分图像；

[0208] 根据初始人脸关键点集合以及第二人脸关键点集合，生成第二差分图像，可以包括：

[0209] 根据初始人脸关键点集合以及第二人脸关键点集合确定第二变换矩阵；

[0210] 基于第二变换矩阵以及初始人脸图像，对第二人脸图像进行对齐处理，得到对齐后的第二人脸图像；

[0211] 根据对齐后的第二人脸图像以及初始人脸图像，生成第二差分图像；

[0212] 根据初始人脸关键点集合以及第三人脸关键点集合，生成第三差分图像，可以包括：

[0213] 根据初始人脸关键点集合以及第三人脸关键点集合确定第三变换矩阵；

[0214] 基于第三变换矩阵以及初始人脸图像，对第三人脸图像进行对齐处理，得到对齐后的第三人脸图像；

[0215] 根据对齐后的第三人脸图像以及初始人脸图像，生成第三差分图像。

[0216] 在本实施例中，介绍了一种基于变换矩阵生成差分图像的方法。对于初始人脸关键点集合与第一人脸关键点集合、第二人脸关键点集合和第三人脸关键点集合，人脸活体检测装置分别确定相应的第一变换矩阵、第二变换矩阵及第三变换矩阵，并且基于所得到的第一变换矩阵、第二变换矩阵及第三变换矩阵将对应的人脸图像与初始人脸图像对齐，然后基于对齐后的人脸图像和初始人脸图像生成差分图像。

[0217] 变换矩阵的一种计算公式如下：

[0218] Mi＝min||K0‑Mi×Ki||L2

[0219] 其中，K0表示初始人脸关键点集合，Ki表示第i个人脸图像所对应的人脸关键点集合，可以表示为3×T的矩阵，T为关键点的数量，Mi表示第i个人脸图像到初始人脸图像的变换矩阵，可以表示为2×3的矩阵，||||L2表示L2的范数。

[0220] 为了便于介绍，下面将以生成第一差分图像为例进行说明，可以理解的是，其他差分图像的生成方式类似，此处不做赘述。假设第一差分图像有100个第一人脸关键点，初始人脸图像也有对应的100个初始人脸关键点，假设从第一人脸关键点取出6个第一人脸关键点，并且从初始人脸关键点取出与该6个第一人脸关键点对应的6个初始人脸关键点，基于6对人脸关键点计算出第一变换矩阵。接下来基于计算得到的第一变换矩阵，将第一人脸图像中剩余的94个第一人脸关键点，与初始人脸图像中剩余的94个初始人脸关键点进行对齐处理，得到对齐后的第一人脸图像，最后，将对齐后的第一人脸图像减去初始人脸图像，即可生成第一差分图像。需要说明的是，对齐操作包含但不仅限于仿射变换，具体包括伸缩、旋转和平移等。

[0221] 在本申请实施例中，提供了一种基于变换矩阵生成差分图像的方法，通过上述方式，可以利用人脸图像和初始人脸图像中的部分关键点生成变换矩阵，然后利用变换矩阵对齐人脸图像和初始人脸图像上其他的关键点，从而实现的图像对齐。

[0222] 可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的人脸活体检测的方法一个可选实施例中，根据N个差分图像生成法线图以及反射率图，可以包括：

[0223] 根据第一差分图像、第二差分图像以及第三差分图像，计算得到法线以及反射率；

[0224] 根据法线生成法线图；

[0225] 根据反射率生成反射率图。

[0226] 在本实施例中，介绍了一种根据N个差分图像生成法线图以及反射率图的方法。人脸活体检测装置可以根据第一差分图像的每个像素值、第二差分图像的每个像素值以及第三差分图像的每个像素值，联立方程式，从而计算出法线图上每个像素点的法线，以及反射率图上每个像素点的反射率，并基于所得到的各个像素点的法线生成法线图，基于所得到的各个像素点的反射率生成反射率图。为便于介绍，请参阅图12，图12为本申请实施例中法线图和反射率图的一个示意图，其中，左侧的图为法线图，右侧的图反射率图。法线图中每个像素点所对应的法线具有三个方向的分量。

[0227] 在本申请实施例中，提供了一种根据N个差分图像生成法线图以及反射率图的方法，通过上述方式，可基于光线入射角和像素值计算差分图像的法线图和反射率图，进一步提高了本方案的可执行性。

[0228] 可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的人脸活体检测的方法一个可选实施例中，根据第一差分图像、第二差分图像以及第三差分图像，计算得到法线以及反射率，可以包括：

[0229] 根据第一差分图像中的目标像素点，确定第一方程式；

[0230] 根据第二差分图像中的目标像素点，确定第二方程式；

[0231] 根据第三差分图像中的目标像素点，确定第三方程式，其中，第一差分图像中的目标像素点、第二差分图像中的目标像素点以及第三差分图像中的目标像素点均对应于相同的像素点位置；

[0232] 根据第一方程式、第二方程式、第三方程式以及第四方程式，计算得到目标像素点的法线以及目标像素点的反射率，其中，第四方程式表示法线所对应的三个方向分类的关系；

[0233] 根据法线生成法线图，可以包括：

[0234] 根据目标像素点的法线生成目标像素点所对应的法线图；

[0235] 根据反射率生成反射率图，可以包括：

[0236] 根据目标像素点的反射率生成目标像素点所对应的反射率图。

[0237] 在本实施例中，人脸活体检测装置针对N个差分图像中的同一个位置下的像素点，确定对应的方程式，由于存在至少三个差分图像，因此可以得到至少三个方程式，结合法线的三个分量的平方和为1的第四方程式，可以计算得到该像素点的法线和反射率。对于差分图像中的每个像素点进行上述操作，即可每个像素点的法线(即包括三个法线分量)和反射率，也就是计算得到法线图和反射率图。

[0238] 以第一差分图像、第二差分图像和第三差分图像中的目标像素点为例，假设该目标像素点所在的位置均为(1,1)，即表示在目标像素点在第一差分图像中的位置为(1,1)，目标像素点在第二差分图像中的位置也为(1,1))，且目标像素点在第三差分图像中的位置也为(1,1)，但是每个目标像素点在不同的差分图像中具有不同的像素值，即，目标像素点在第一差分图像中的像素值为 目标像素点在第二差分图像中的像素值为 目标像素点在第三差分图像中的像素值为 基于此，可以联立如下方程式：

[0239]

[0240] 其中，第一方程式为 第二方程式为 第三方程11
式为 第四方程式为 其中，α 表示目标像素点的反射率， 
11 11
n 表示目标像素点的法线，nx、ny和nz分别表示法线n 的三个分量。λ1表示第一差分图像所对应的第一光照方向，λ2表示第二差分图像所对应的第二光照方向，λ3表示第三差分图像所对应的第三光照方向。 表示目标像素点在第一差分图像上的像素值， 表示目标像素点在第二差分图像上的像素值， 表示目标像素点在第三差分图像上的像素值。

[0241] 需要说明的是，上标11即表示目标像素点的位置为(1,1)，以此类推，每个像素点都可以采用上标的方式标记具体位置。

[0242] 当差分图像中每个像素点都经过上述计算时，即得到法线图和反射率图。

[0243] 由于在实际应用中，差分图像的数量不仅限于3，因此，可以采用如下方式进行计算：

[0244]

[0245] 其中，αxy表示在(x,y)位置上的像素点反射率，nxy表示在(x,y)位置上的像素点反xy射率法线，nx、ny和nz分别表示法线n 的三个分量，λi表示第i个人脸图像的光照方向， 表示第i个人脸图像在(x,y)位置上的像素值，其中，i为大于或等于1，且小于或等于N的整数。

[0246] 在本申请实施例中，提供了一种针对图像中的每个像素点计算法线图和反射率图的方法，通过上述方式，能够针对每个像素点准确地计算出相应的结果，从而提升方案的可行性和可操作性。

[0247] 可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的人脸活体检测的方法一个可选实施例中，根据N个差分图像、法线图以及反射率图确定人脸活体检测结果，可以包括：

[0248] 基于N个差分图像、法线图以及反射率图，通过活体检测模型获取待识别人脸所对应的活体概率，其中，待识别人脸包含于初始人脸图像以及人脸图像集合中；

[0249] 根据待识别人脸所对应的活体概率，确定待识别人脸所对应的人脸活体检测结果。

[0250] 在本实施例中，介绍了一种在终端设备上利用活体检测模型确定人脸活体概率的方法，人脸活体检测装置将计算得到的N个差分图像、法线图和反射率图输入到活体检测模型中，活体检测模型基于输入的数据输出一个[0,1]之间的浮点数，该浮点数表示了该人脸属于活体人脸的概率。

[0251] 活体检测模型可以采用卷积神经网络(Convolutional Neural Networks,CNN)，例如残差网络‑50(ResidualNeuralNetwork‑50，ResNet‑50)网络。人脸活体检测装置部署于终端设备上，且该终端设备还部署有经过训练的活体检测模型。该活体检测模型的训练可以在服务器或其他计算能力较强的终端设备上进行。在训练活体检测模型时，首先需要采集活体人脸样本图像，并将活体人脸样本图像的标签设置为1，采集非活体人脸样本图像，并将非活体人脸样本图像的标签设置为0，并且采集活体人脸样本图像所对应的N张差分图像、法线图和反射率图，以及非活体人脸样本图像所对应的N张差分图像、法线图和反射率图，将N张差分图像、法线图和反射率图拼接在一起，形成一个分辨率为W*H，通道数为(3*N+3+1)的数据作为待训练活体检测模型的输入，用所标记的真实标签与实际输出的预测标签之间的损失值作为监督训练该活体检测模型，直至活体检测模型的损失值收敛，则表示活体检测模型训练完成。

[0252] 为了便于介绍，请参阅图13，图13为本申请实施例中活体检测模型的一个结构示意图，如图所示，将N个差分图像、法线图和反射率图作为输入数据，输入至活体检测模型，活体检测模型可以包括卷积层、池化层和全连接(full connection，FC)层。输入数据经过卷积层、池化层和全连接层，输出一个[0,1]之间的浮点数，该浮点数用于表示输入数据属于活体人脸的概率，基于输出的概率值可以确定人脸活体检测结果。

[0253] 需要说明的是，虽然图中仅包括一个卷积层和一个池化层，然而这仅用于示例，不应理解为对本申请的限制。在实际应用中，活体检测模型可以包括多个卷积层和多个池化层，具体数量可以取决于实际情况而定。

[0254] 在本实施例中，提供了一种在终端设备上利用活体检测模型确定人脸活体概率的方法，通过上述方式，可以在不需要联网的情况下，利用终端设备即可判断人脸活体的概率，从而提升检测的灵活性。

[0255] 可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的人脸活体检测的方法一个可选实施例中，根据N个差分图像、法线图以及反射率图确定人脸活体检测结果，可以包括：

[0256] 向服务器发送N个差分图像、法线图以及反射率图，以使服务器基于N个差分图像、法线图以及反射率图，通过活体检测模型获取待识别人脸所对应的活体概率，并根据待识别人脸所对应的活体概率，确定待识别人脸所对应的人脸活体检测结果，其中，待识别人脸包含于初始人脸图像以及人脸图像集合中；

[0257] 接收服务器发送的人脸活体检测结果。

[0258] 在本实施例中，介绍了一种在服务器上利用活体检测模型确定人脸活体概率的方法，经训练的活体检测模型被部署于服务器，人脸活体检测装置将计算得到的N个差分图像、法线图和反射率图发送给服务器，服务器将接收到的数据输入到活体检测模型中，活体检测模型基于输入的数据输出一个[0,1]之间的浮点数，该浮点数表示了该人脸是真人的概率，服务器最后将基于浮点数确定的人脸活体检测结果发送给人脸活体检测装置。

[0259] 应理解，本实施例中的活体检测模型的训练方式与上述实施例中涉及的训练方式类似，此处不再赘述。

[0260] 在本实施例中，提供了一种在服务器上利用活体检测模型确定人脸活体概率的方法，通过上述方式，服务器利用活体检测模型确定人脸是活体的概率，可以降低对于终端设备的硬件需求，节省终端设备的硬件成本，并且服务器的计算能力较强，计算速度较快，可以提高本申请的方法的效率。

[0261] 下面结合实际应用描述本申请实施例的执行过程，请参阅图14，图14为本申请实施例中人脸活体检测流程的一个示意图，如图所示，以在终端设备上进行人脸支付为例，用户在使用终端设备进行人脸支付时，会触发人脸活体检测，具体地：

[0262] 步骤S1中，终端设备首先会在自然光情况下获取初始人脸图像P0，然后会依次点亮终端设备上的N个区域作为光源来提供N个不同方向上的方向，每启动一个光源可以采集一个人脸图像，假设N为3，即可以采集到第一人脸图像P1、第二人脸图像P2和第三人脸图像P3。

[0263] 在步骤S2中，终端设备将第一人脸图像P1减去初始人脸图像P0，得到第一差分图像 D1，类似地，将第二人脸图像P2减去初始人脸图像P0，得到第二差分图像D2。将第三人脸图像P3减去初始人脸图像P，得到第三差分图像D3。

[0264] 在步骤S3中，基于第一差分图像D1、第二差分图像D2和第三差分图像D3以及N个不同方向，终端设备计算得到法线图和反射率图。

[0265] 在步骤S4中，终端设备将第一差分图像D1、第二差分图像D2和第三差分图像D3、法线图以及反射率图输入到活体检测模型，由该活体检测模型输出人脸活体检测结果，该人脸活体检测结果可以采集到的为活体人脸，或者采集到的为非活体人脸，由终端设备展示生成的人脸活体检测结果。

[0266] 下面对本申请中的人脸活体检测装置进行详细描述，请参阅图15，图15为本申请实施例中人脸活体检测装置一个实施例示意图，人脸活体检测装置20包括：

[0267] 获取模块201，用于获取初始人脸图像以及N个光照方向所对应的人脸图像集合，其中，人脸图像集合包括N个人脸图像，且每个人脸图像对应于一个光照方向，N个光照方向为互不相同的光照方向，且N个光照方向对应于N个光源位置，N个光源位置不在同一直线上，N为大于或等于3的整数；

[0268] 获取模块201，还用于根据初始人脸图像以及人脸图像集合，获取N个差分图像；

[0269] 生成模块202，用于根据N个差分图像以及N个光照方向生成法线图以及反射率图，其中，法线图是基于每个像素点对应的法线所构成的图像，反射率图是基于每个像素点所对应的反射率所构成的图像；

[0270] 确定模块203，用于根据获取模块获取的N个差分图像、生成模块生成的法线图以及反射率图确定人脸活体检测结果。

[0271] 可选地，在上述图15所对应的实施例的基础上，本申请实施例提供的人脸活体检测装置20的另一实施例中，

[0272] 获取模块201，具体用于获取初始人脸图像；

[0273] 在目标时长内的第一时刻下，获取第一光照方向下所对应的第一人脸图像；

[0274] 在目标时长内的第二时刻下，获取第二光照方向下所对应的第二人脸图像，其中，第二时刻与第一时刻为不同时刻；

[0275] 在目标时长内的第三时刻下，获取第三光照方向下所对应的第三人脸图像，其中，第三时刻与第一时刻为不同时刻，且第三时刻与第二时刻为不同时刻。

[0276] 可选地，在上述图15所对应的实施例的基础上，本申请实施例提供的人脸活体检测装置20的另一实施例中，人脸图像集合至少包括第一人脸图像、第二人脸图像以及第三人脸图像；

[0277] N个光照方向至少包括第一光照方向、第二光照方向以及第三光照方向，且第一光照方向、第二光照方向以及第三光照方向为不同方向上的光照；

[0278] 获取模块201，具体用于获取初始人脸图像；

[0279] 在第一光照方向下获取第一人脸图像；

[0280] 在第二光照方向下获取第二人脸图像；

[0281] 在第三光照方向下获取第三人脸图像。

[0282] 可选地，在上述图15所对应的实施例的基础上，本申请实施例提供的人脸活体检测装置20的另一实施例中，N个光源位置至少包括第一光源位置、第二光源位置以及第三光源位置，且第一光源位置、第二光源位置以及第三光源位置不在同一直线上；

[0283] 获取模块201，具体用于当终端设备的第一屏幕区域点亮时，在第一光照方向下采集第一人脸图像，其中，第一屏幕区域位于第一光源位置，第一光照方向为第一屏幕区域在点亮时照射待识别人脸所对应的方向；

[0284] 当终端设备的第二屏幕区域点亮时，在第二光照方向下采集第二人脸图像，其中，第二屏幕区域位于第二光源位置，第二光照方向为第二屏幕区域在点亮时照射待识别人脸所对应的方向；

[0285] 当终端设备的第三屏幕区域点亮时，在第三光照方向下采集第三人脸图像，其中，第三屏幕区域位于第三光源位置，第三光照方向为第三屏幕区域在点亮时照射待识别人脸所对应的方向。

[0286] 可选地，在上述图15所对应的实施例的基础上，本申请实施例提供的人脸活体检测装置20的另一实施例中，N个光源位置至少包括第一光源位置、第二光源位置以及第三光源位置，且第一光源位置、第二光源位置以及第三光源位置不在同一直线上；

[0287] 获取模块201，具体用于当第一发光二极管发光区域点亮时，在第一光照方向下采集第一人脸图像，其中，第一发光区域位于第一光源位置，第一光照方向为第一发光区域在点亮时照射待识别人脸所对应的方向；

[0288] 当第二发光区域点亮时，在第二照方向下采集第二人脸图像，其中，第二发光区域位于第二光源位置，第二光照方向为第二发光区域在点亮时照射待识别人脸所对应的方向；

[0289] 当第三发光区域点亮时，在第三照方向下采集第三人脸图像，其中，第三发光区域位于第三光源位置，第三光照方向为第三发光区域在点亮时照射待识别人脸所对应的方向。

[0290] 可选地，在上述图15所对应的实施例的基础上，本申请实施例提供的人脸活体检测装置20的另一实施例中，人脸图像集合至少包括第一人脸图像、第二人脸图像以及第三人脸图像；

[0291] 获取模块201，具体用于对初始人脸图像进行人脸关键点检测，得到初始人脸关键点集合，其中，初始人脸关键点集合包括多个初始人脸关键点；

[0292] 对第一人脸图像进行人脸关键点检测，得到第一人脸关键点集合，其中，初始人脸关键点集合包括多个第一人脸关键点；

[0293] 对第二人脸图像进行人脸关键点检测，得到第二人脸关键点集合，其中，初始人脸关键点集合包括多个第二人脸关键点；

[0294] 对第三人脸图像进行人脸关键点检测，得到第三人脸关键点集合，其中，初始人脸关键点集合包括多个第三人脸关键点；

[0295] 根据初始人脸关键点集合以及第一人脸关键点集合，生成第一差分图像，其中，第一差分图像为N个差分图像中的一个差分图像；

[0296] 根据初始人脸关键点集合以及第二人脸关键点集合，生成第二差分图像，其中，第二差分图像为N个差分图像中不同于第一差分图像的一个差分图像；

[0297] 根据初始人脸关键点集合以及第三人脸关键点集合，生成第三差分图像，其中，第二差分图像为N个差分图像中不同于第一差分图像以及第二差分图像的一个差分图像。

[0298] 可选地，在上述图15所对应的实施例的基础上，本申请实施例提供的人脸活体检测装置20的另一实施例中，人脸活体检测装置20还包括计算模块204、展示模块205以及执行模块206；

[0299] 计算模块204，用于根据初始人脸关键点集合以及第一人脸关键点集合，计算得到第一关键点偏移量；

[0300] 计算模块204，还用于根据初始人脸关键点集合以及第二人脸关键点集合，计算得到第二关键点偏移量；

[0301] 计算模块204，还用于根据初始人脸关键点集合以及第三人脸关键点集合，计算得到第三关键点偏移量；

[0302] 展示模块205，用于若第一关键点偏移量、第二关键点偏移量以及第三关键点偏移量中的至少一项大于或等于偏移阈值，则展示重新采集的提示消息；

[0303] 执行模块206，用于若第一关键点偏移量、第二关键点偏移量以及第三关键点偏移量均小于偏移阈值，则执行根据初始人脸关键点集合以及第一人脸关键点集合，根据初始人脸关键点集合以及第二人脸关键点集合，生成第二差分图像，根据初始人脸关键点集合以及第三人脸关键点集合，生成第三差分图像的步骤。

[0304] 可选地，在上述图15所对应的实施例的基础上，本申请实施例提供的人脸活体检测装置20的另一实施例中，

[0305] 获取模块201，具体用于根据初始人脸关键点集合以及第一人脸关键点集合确定第一变换矩阵；

[0306] 基于第一变换矩阵以及初始人脸图像，对第一人脸图像进行对齐处理，得到对齐后的第一人脸图像；

[0307] 根据对齐后的第一人脸图像以及初始人脸图像，生成第一差分图像；

[0308] 获取模块201，具体用于根据初始人脸关键点集合以及第二人脸关键点集合确定第二变换矩阵；

[0309] 基于第二变换矩阵以及初始人脸图像，对第二人脸图像进行对齐处理，得到对齐后的第二人脸图像；

[0310] 根据对齐后的第二人脸图像以及初始人脸图像，生成第二差分图像；

[0311] 获取模块201，具体用于根据初始人脸关键点集合以及第三人脸关键点集合确定第三变换矩阵；

[0312] 基于第三变换矩阵以及初始人脸图像，对第三人脸图像进行对齐处理，得到对齐后的第三人脸图像；

[0313] 根据对齐后的第三人脸图像以及初始人脸图像，生成第三差分图像。

[0314] 可选地，在上述图15所对应的实施例的基础上，本申请实施例提供的人脸活体检测装置20的另一实施例中，生成模块202，具体用于根据第一差分图像、第二差分图像以及第三差分图像，计算得到法线以及反射率；

[0315] 根据法线生成法线图；

[0316] 根据反射率生成反射率图。

[0317] 可选地，在上述图15所对应的实施例的基础上，本申请实施例提供的人脸活体检测装置20的另一实施例中，生成模块202，具体用于根据第一差分图像中的目标像素点，确定第一方程式；

[0318] 根据第二差分图像中的目标像素点，确定第二方程式；

[0319] 根据第三差分图像中的目标像素点，确定第三方程式，其中，第一差分图像中的目标像素点、第二差分图像中的目标像素点以及第三差分图像中的目标像素点均对应于相同的像素点位置；

[0320] 根据第一方程式、第二方程式、第三方程式以及第四方程式，计算得到目标像素点的法线以及目标像素点的反射率，其中，第四方程式表示法线所对应的三个方向分类的关系；

[0321] 生成模块202，具体用于根据目标像素点的法线生成目标像素点所对应的法线图；

[0322] 生成模块202，具体用于根据目标像素点的反射率生成目标像素点所对应的反射率图。

[0323] 可选地，在上述图15所对应的实施例的基础上，本申请实施例提供的人脸活体检测装置20的另一实施例中，确定模块203，具体用于基于N个差分图像、法线图以及反射率图，通过活体检测模型获取待识别人脸所对应的活体概率，其中，待识别人脸包含于初始人脸图像以及人脸图像集合中；

[0324] 根据待识别人脸所对应的活体概率，确定待识别人脸所对应的人脸活体检测结果。

[0325] 可选地，在上述图15所对应的实施例的基础上，本申请实施例提供的人脸活体检测装置20的另一实施例中，确定模块203，具体用于向服务器发送N个差分图像、法线图以及反射率图，以使服务器基于N个差分图像、法线图以及反射率图，通过活体检测模型获取待识别人脸所对应的活体概率，并根据待识别人脸所对应的活体概率，确定待识别人脸所对应的人脸活体检测结果，其中，待识别人脸包含于初始人脸图像以及人脸图像集合中；

[0326] 接收服务器发送的人脸活体检测结果。

[0327] 本申请实施例还提供了一种人脸活体检测装置，该人脸活体检测装置可以部署于电子设备，以该电子设备为终端设备为例，即终端设备上可以部署有上述图15对应的实施例中提供的人脸活体检测装置，用于执行图3中描述的步骤。如图16所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参阅本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、销售终端设备(Point of Sales，POS)、车载电脑等任意终端设备，以终端设备为手机为例：

[0328] 图16示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图16，手机包括：射频(Radio Frequency，RF)电路310、存储器320、输入单元330、显示单元340、传感器350、音频电路360、无线保真(wireless fidelity，WiFi)模块 370、处理器380、以及电源390等部件。本领域技术人员可以理解，图16中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

[0329] 下面结合图16对手机的各个构成部件进行具体的介绍：

[0330] RF电路310可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器380处理；另外，将设计上行的数据发送给基站。通常，RF电路310包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，RF电路310还可以通过无线通信与网络和其他设备通信。
上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统 (Global System of Mobile communication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution， LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

[0331] 存储器320可用于存储软件程序以及模块，处理器380通过运行存储在存储器320的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

[0332] 输入单元330可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元330可包括触控面板331以及其他输入设备 332。触控面板331，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板331上或在触控面板331附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板331可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器380，并能接收处理器380发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板331。除了触控面板331，输入单元330还可以包括其他输入设备332。具体地，其他输入设备332可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

[0333] 显示单元340可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元340可包括显示面板341，可选的，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light‑Emitting Diode，OLED)等形式来配置显示面板341。进一步的，触控面板331可覆盖显示面板341，当触控面板331检测到在其上或附近的触摸操作后，传送给处理器380以确定触摸事件的类型，随后处理器380 根据触摸事件的类型在显示面板341上提供相应的视觉输出。虽然在图16中，触控面板 331与显示面板341是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板331与显示面板341集成而实现手机的输入和输出功能。

[0334] 手机还可包括至少一种传感器350，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板341的亮度，接近传感器可在手机移动到耳边时，关闭显示面板341 和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

[0335] 音频电路360、扬声器361，传声器362可提供用户与手机之间的音频接口。音频电路360可将接收到的音频数据转换后的电信号，传输到扬声器361，由扬声器361转换为声音信号输出；另一方面，传声器362将收集的声音信号转换为电信号，由音频电路360 接收后转换为音频数据，再将音频数据输出处理器380处理后，经RF电路310以发送给比如另一手机，或者将音频数据输出至存储器320以便进一步处理。

[0336] WiFi属于短距离无线传输技术，手机通过WiFi模块370可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图16示出了 WiFi模块370，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

[0337] 处理器380是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器320内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器380 可包括一个或多个处理单元；可选的，处理器380可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器380中。

[0338] 手机还包括给各个部件供电的电源390(比如电池)，可选的，电源可以通过电源管理系统与处理器380逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

[0339] 尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

[0340] 在本申请实施例中，该终端设备所包括的处理器380还具有以下功能：

[0341] 执行存储器中的程序，以实现如前述图3至图13所示实施例描述的人脸活体检测方法。

[0342] 本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如前述图3至图13所示实施例描述的方法中终端设备所执行的步骤，或者，使得计算机执行如前述图15所示实施例描述的方法中终端设备所执行的步骤。

[0343] 本申请实施例中还提供一种包括程序的计算机程序产品，当其在计算机上运行时，使得计算机执行如前述图3至图13所示实施例描述的方法中终端设备所执行的步骤，或者，使得计算机执行如前述图15所示实施例描述的方法中终端设备所执行的步骤。

[0344] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0345] 在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

[0346] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0347] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

[0348] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 (可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read‑only memory， ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

[0349] 以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。