一种加速的人脸检测方法及存储介质，该方法为通过带有彩色图捕捉和深度图捕捉的设备，获取不少于一帧的2D图像和其对应的深度图，根据获取的视频帧进行背景建模，获得背景图；接着计算得到前景图；对前景图进行去噪处理，查找连通区域，根据连通区域大小判断是否存在运动物体；获取运动物体的外轮廓，以及该区域所对应的深度值，将外轮廓映射到彩色图中，得到人脸检测器作用区域；根据深度值确定人脸检测器尺度参数，进行人脸检测，定位人脸位置，根据人脸区域的深度值判断当时人脸为3D立体人脸还是平面人脸，同时根据深度值校正人脸框位置；将得到的人脸位置映射回原始图像坐标系中，得到人脸位置。
图像获取步骤S110：通过带有彩色图捕捉和深度图捕捉的图像采集设备，获取不少于一帧的2D图像Ii(x,y)和其对应的深度图Di(x,y)；
背景图建模步骤S120：利用所获取的不少于一帧的深度视频帧，进行背景建模获得背景图像B(x,y)；
前景图获取步骤S130:获取新的视频帧，计算得到前景图F(x,y)；
运动物体判断步骤S140：去除前景图F(x,y)中的噪声，查找连通区域，根据连通区域大小或者面积判断是否存在运动物体，若连通区域面积大于设定的阈值，则认为检测到感兴趣物体，即运动物体，并继续进行下一步，否则没有感兴趣物体，回到图像获取步骤S110；
外轮廓及深度信息获取步骤S150：获取感兴趣物体，即运动物体的外轮廓ROI，并计算该外轮廓的深度值d；
人脸检测步骤S160:将所得到的外轮廓ROI映射到原始彩色图中，截取该ROI区域得到新的彩色图 即人脸检测器作用区域；
其中，i代表视频帧序号；K代表用来计算背景图所需的视频帧数；x代表图像水平方向坐标；y代表图像垂直方向坐标；
根据深度值d确定人脸检测器尺度参数，利用新的彩色图 进行人脸检测，并定为人脸区域，如果没有检测到人脸则返回到步骤S110，重复上述S110-S150，否则进入下一步；
真实人脸判断步骤S170:统计人脸区域对应的深度值，根据人脸区域的深度值判断当时人脸为3D立体人脸还是平面人脸，同时根据人脸区域的深度值校正人脸框位置；
终止判断步骤S180:将ROI区域的人脸区域L1＝(u1,v1,w1,h1)映射回原始图像坐标系，得到人脸在原始图像中的坐标L′1＝(u′1,v′1,w1,h1)，判断是否满足终止条件，若满足则终止，否则重复S110-S170，人脸位置L′1相对于L1左上角的坐标发生了偏移，宽和高保持不变；
终止条件可以为以下任意一种条件：(1)用户发命令，停止程序运行；(2)达到最大视频帧数；(3)达到预先设定的运行时间。
2.根据权利要求1所述的加速的人脸检测方法，其特征在于：在所述背景图建模步骤S120中，背景是没有运动物体的固定场景，或者是通过实时背景建模的方式获取的实时背景；
所述背景建模能够采用平均背景建模、高斯背景建模或CodeBook背景建模完成。
3.根据权利要求1所述的加速的人脸检测方法，其特征在于：所述前景图获取步骤S130具体为：
获取新的深度视频帧Di+K(x,y)，将当前帧的深度图减去背景图B(x,y)获得差分图像，并做二值化处理，得到前景图F(x,y)：threshold为阈值。
4.根据权利要求1所述的加速的人脸检测方法，其特征在于：所述运动物体判断步骤S140具体包括：前景图F(x,y)是一个二值图像，采用均值滤波、形态学滤波或者中值滤波去除二值图中的噪声，接着按照8临域或4临域的方式查找图像中的连通区域；若连通区域的面积大于设定的阈值，则认为是感兴趣物体，否则不是。
5.根据权利要求1所述的加速的人脸检测方法，其特征在于：在外轮廓及深度信息获取步骤S150中，外轮廓ROI是一个矩形框，用一个四元组L0＝(u0,v0,w0,h0)表示，四个元素分别表示该矩形框的左上角水平坐标、左上角垂直坐标、矩形框的宽和高；深度值为该轮廓内的深度平均值d。
6.根据权利要求1所述的加速的人脸检测方法，其特征在于：在人脸检测步骤S160中，检测到的人脸位置由一个矩形框L1＝(u1,v1,w1,h1)表示，分别表示该矩形框的左上角水平、垂直坐标、矩形框的宽和高，人脸检测采用MTCNN的方式定位人脸。
7.根据权利要求1所述的加速的人脸检测方法，其特征在于：在真实人脸判断步骤S170中，采用LBP、HOG或者SURF的纹理描述子提取人脸区域的深度特征，然后输入到一个分类器进行分类判决，所述分类器为SVM、Adaboost或者CNN分类器。
8.一种存储介质，该存储介质能够被用于存储计算机可执行指令，其特征在于：所述计算机可执行指令在被处理器执行时执行权利要求1-7中的任意一项所述的加速的人脸检测方法。
一种加速的人脸检测方法及存储介质
技术领域
[0001] 本发明涉及图像领域，具体的，涉及一种加速的人脸检测方法，以及存储介质，基于深度信息和彩色信息融合的人脸检测方法，同时结合背景建模技术，能够快速准确地定位人脸。
背景技术
[0002] 随着信息科技以及图像识别技术的不断发展，人脸技术越来越多地应用到各个领域中，如智能手机、视频监控、新零售、智能家居、金融支付等。这些人脸应用一般包括人脸检测、人脸识别(比对)、人脸属性识别、活体检测等基础算法，其中人脸检测是定位图像(视频)中人脸的位置，是所有人脸算法的入口，提升人脸检测的精度和速度对整个人脸应用算法性能的提升有着重要的意义。现有的人脸检测算法大多数只是基于2D图像信息(即，RGB或灰度)进行检测，这些做法仅依赖于图像像素值信息，抗干扰能力较弱，当人脸姿态变化较大、光照不均或不理想时，定位往往不够准确；现有人脸检测方法为了尽可能检测出不同大小的人脸，往往采用多尺度的方式遍历整张图像定位人脸，这样往往比较耗时。
[0003] 中国专利申请CN201710386007.5“一种基于监控视频多目标跟踪和人脸识别的隐私保护方法”提出了一种基于多目标跟踪和人脸识别的隐私保护方法，该方法：根据实时监控录像建立和更新背景模型，运用新背景模型分割出前景目标区域；基于前景目标区域进行行人检测，接着在行人区域进行人脸识别，通过卡尔曼滤波器跟踪预测目标的状态，使用Kuhn-Munkres算法进行上一帧图像中的预测目标与当前帧检测目标之间的目标关联；利用信息隐藏对社区内部人员的视频信息进行保护。虽然该专利申请采用了背景建模的方式，却只在前景区域进行行人检测，然后在行人区域进行人脸检测和识别，且因为没有深度信息，需要采用多尺度的方式定位人脸位置，即需要在多尺度图像上进行滑窗检测，检测时间较长。
[0004] 且现有技术依赖于2D图像信息的人脸识别，抗干扰能力弱，当人脸姿态角度较大、光照不理想，定位准确度往往不高，没有深度信息，很难区分是否是真实人脸还是照片。
发明内容
[0005] 本发明的目的在于提出一种作用在视频帧序列上的基于图像像素值和深度信息的人脸检测方法及存储介质，首先通过背景建模的方式查找运动物体，然后利用运动物体深度信息确定人脸检测器尺度参数，最后结合跟踪技术，定位出视频帧中人脸位置。
[0006] 为达此目的，本发明采用以下技术方案：
[0007] 一种加速的人脸检测方法，包括如下步骤：
[0008] 图像获取步骤S110：通过带有彩色图捕捉和深度图捕捉的图像采集设备，获取不少于一帧的2D图像Ii(x,y)和其对应的深度图Di(x,y)；
[0009] 背景图建模步骤S120：利用所获取的不少于一帧的深度视频帧，进行背景建模获得背景图像B(x,y)；
[0010] 前景图获取步骤S130:获取新的视频帧，计算得到前景图F(x,y)；
[0011] 运动物体判断步骤S140：去除前景图F(x,y)中的噪声，查找连通区域，根据连通区域大小或者面积判断是否存在运动物体，若连通区域面积大于设定的阈值，则认为检测到感兴趣物体，即运动物体，并继续进行下一步，否则没有感兴趣物体，回到图像获取步骤S110；
[0012] 外轮廓及深度信息获取步骤S150：获取感兴趣物体，即运动物体的外轮廓ROI，并计算该外轮廓的深度值d；
[0013] 人脸检测步骤S160:将所得到的外轮廓ROI映射到原始彩色图中，截取该ROI区域得到新的彩色图 即人脸检测器作用区域，根据深度值d确定人脸检测器尺度参数，利用新的彩色图 进行人脸检测，并定为人脸区域，如果没有检测到人脸则返回到步骤S110，重复上述S110-S150，否则进入下一步；
[0014] 真实人脸判断步骤S170:统计人脸区域对应的深度值，根据人脸区域的深度值判断当时人脸为3D立体人脸还是平面人脸，同时根据人脸区域的深度值校正人脸框位置；
[0015] 终止判断步骤S180:将ROI区域的人脸区域映射回原始图像坐标系，得到人脸在原始图像中的坐标L'1＝(u'1,v'1,w1,h1)，判断是否满足终止条件，若满足则终止，否则重复S110-S170。人脸位置L'1相对于L1左上角的坐标发生了偏移，宽和高保持不变。
[0016] 可选的，在所述背景图建模步骤S120中，背景是没有运动物体的固定场景，或者是通过实时背景建模的方式获取的实时背景；所述背景建模能够采用平均背景建模、高斯背景建模或CodeBook背景建模完成。
[0017] 可选的，所述前景图获取步骤S130具体为：
[0018] 获取新的深度视频帧Di+K(x,y)，将当前帧的深度图减去背景图B(x,y)获得差分图像，并做二值化处理，得到前景图F(x,y)：
[0019]
[0020] threshold为阈值。
[0021] 可选的，所述运动物体判断步骤S140具体包括：前景图F(x,y)是一个二值图像，采用均值滤波、形态学滤波或者中值滤波去除二值图中的噪声，接着按照8临域或4临域的方式查找图像中的连通区域；若连通区域的面积大于设定的阈值，则认为是感兴趣物体，否则不是。
[0022] 可选的，在外轮廓及深度信息获取步骤S150中，外轮廓ROI是一个矩形框，用一个四元组L0＝(u0,v0,w0,h0)表示，四个元素分别表示该矩形框的左上角水平坐标、左上角垂直坐标、矩形框的宽和高；深度值为该轮廓内的深度平均值d。
[0023] 可选的，在人脸检测步骤S160中，检测到的人脸位置由一个矩形框L1＝(u1,v1,w1,h1)表示，分别表示该矩形框的左上角水平、垂直坐标、矩形框的宽和高，人脸检测采用MTCNN的方式定位人脸。
[0024] 可选的，在真实人脸判断步骤S170中，采用LBP、HOG或者SURF的纹理描述子提取人脸区域的深度特征，然后输入到一个分类器进行分类判决，所述分类器为SVM、Adaboost或者CNN分类器。
[0025] 本发明还公开了一种存储介质，该存储介质能够被用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时执行上述中的任意一项所述的加速的人脸检测方法。
[0026] 本发明具有如下优点：
[0027] (1)在深度图上采用背景建模的方式去除背景，只对前景区域进行人脸检测，缩小了人脸检测搜索范围，加速人脸检测速度；
[0028] (2)根据前景区域的深度值，设置彩色图上人脸检测器的尺度因子，避免人脸检测器多尺度运算，能够进一步提升人脸检测器的速度；
[0029] (3)根据人脸区域深度值，判断是3D真实人脸还是平面人脸；同时根据深度信息对人脸框的位置进行校正，达到提升人脸检测精度的目的。
附图说明
[0030] 图1是根据本发明具体实施例的加速的人脸检测方法的流程图；
[0031] 图2(a)、(b)分别是真实的人脸和深度图；
[0032] 图3(a)、(b)分别是电子显示屏显示的人脸和深度图。
具体实施方式
[0033] 下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0034] 在本发明中，存在如下相关概念：ROI(Region of Interest,感兴趣区域)；RGB-D(红绿蓝-深度)；LBP(Local Binary Pattern,局部二值模式)；HOG(Histogram of Grdient,梯度直方图)；SURF(Speed Up Robust Features,加速的鲁棒特征)；MTCNN(Multi-task Cascaded Convolutional Networks,多任务级联卷积网络)。
[0035] 本发明首先通过带有彩色图捕捉和深度图捕捉的设备，获取不少于一帧的2D图像和其对应的深度图，根据获取的视频帧进行背景建模，获得背景图；接着获取新的视频帧，计算得到前景图；对前景图进行去噪处理；查找连通区域，根据连通区域大小(面积)判断是否存在运动物体；获取运动物体的外轮廓，以及该区域所对应的深度值，将外轮廓映射到彩色图中，得到人脸检测器作用区域；根据深度值确定人脸检测器尺度参数，进行人脸检测，定位人脸位置，根据人脸区域的深度值判断当时人脸为3D立体人脸还是平面人脸，同时根据深度值校正人脸框位置；将得到的人脸位置映射回原始图像坐标系中，得到人脸位置。
[0036] 参见图1，示出了根据本发明具体实施例的加速的人脸检测方法的流程图，包括如下步骤：
[0037] 图像获取步骤S110：通过带有彩色图捕捉和深度图捕捉的图像采集设备，获取不少于一帧的2D图像Ii(x,y)和其对应的深度图Di(x,y)；在该步骤中，深度图Di(x,y)和彩色图Ii(x,y)应当是对齐的。
[0038] 背景图建模步骤S120：利用所获取的不少于一帧的深度视频帧，进行背景建模获得背景图像B(x,y)。
[0039] 在该步骤中，背景可以是没有运动物体的固定场景，也可以是通过实时背景建模的方式获取的实时背景。
[0040] 背景建模的方式可以采用如：平均背景建模、高斯背景建模、CodeBook背景建模等方式完成。以平均背景建模为例，背景B(x,y)由以下公式计算得到：
[0041]
[0042] 其中K≥1，表示用来计算背景图的视频帧数。
[0043] 前景图获取步骤S130:获取新的视频帧，计算得到前景图F(x,y)；
[0044] 具体的，在该步骤中，可以获取新的深度视频帧Di+K(x,y)，将当前帧的深度图减去背景图B(x,y)获得差分图像，并做二值化处理，得到前景图F(x,y)：
[0045]
[0046] 其中threshold可以用户自定义，也可以采用自适应的方法确定。
[0047] 运动物体判断步骤S140：去除前景图F(x,y)中的噪声，查找连通区域，根据连通区域大小(或者面积)判断是否存在运动物体，若连通区域面积大于设定的阈值，则认为检测到感兴趣物体，即运动物体，并继续进行下一步，否则没有感兴趣物体，回到图像获取步骤S110。
[0048] 由于本发明对深度视频流进行背景建模，只对前景进行检测，减少了人脸检测方法作用范围，加速了人脸检测速度。
[0049] 在一个可选的实施例中，前景图F(x,y)是一个二值图像，可以采用如均值滤波、形态学滤波、中值滤波等方式去除二值图中的噪声；接着按照8临域或4临域的方式查找图像中的连通区域；若连通区域的面积大于设定的阈值，则认为是感兴趣物体，否则不是。
[0050] 外轮廓及深度信息获取步骤S150：获取感兴趣物体，即运动物体的外轮廓ROI，并计算该外轮廓的深度值d。
[0051] 在一个可选的实施例中，ROI是一个矩形框，用一个四元组L0＝(u0,v0,w0,h0)表示，四个元素分别表示该矩形框的左上角水平坐标、左上角垂直坐标、矩形框的宽和高；深度值为该轮廓内的深度平均值d。
[0052] 人脸检测步骤S160:将所得到的外轮廓ROI映射到原始彩色图中，截取该ROI区域得到新的彩色图 即人脸检测器作用区域，根据深度值d确定人脸检测器尺度参数，利用新的彩色图 进行人脸检测，并定为人脸区域，如果没有检测到人脸则返回到步骤S110，重复上述S110-S150，否则进入下一步。
[0053] 在该步骤中，检测到的人脸位置由一个矩形框L1＝(u1,v1,w1,h1)表示，分别表示该矩形框的左上角水平、垂直坐标、矩形框的宽和高。为了检测出不同尺度的人脸，人脸检测器往往需要在不同尺度的输入图像上定位人脸，这样做比较耗时。该步骤在一个缩小的ROI区域进行人脸检测，同时根据深度值d确定人脸检测器的尺度因子，人脸检测器在固定的尺度图像上进行检测，避免了多尺度运算，因此进一步减少了计算时间。
[0054] 人脸检测可以采用如MTCNN的方式定位人脸。人脸检测可以表示成如下形式：
[0055]
[0056] 真实人脸判断步骤S170:统计人脸区域对应的深度值，根据人脸区域的深度值判断当时人脸为3D立体人脸还是平面人脸，例如纸张或者电子屏，同时根据人脸区域的深度值校正人脸框位置。
[0057] 真实人脸的深度值是满足特定分布的，而平面人脸的深度值基本一样或按照特定方式变化的，例如把照片弯曲，根据深度值的这个特性可以判断是真实3D人脸还是平面人脸。
[0058] 参见图2、图3，分别示出了真实的人脸和电子显示屏显示的人脸以及深度图。
[0059] 在该步骤中，可以采用LBP、HOG、SURF等的纹理描述子提取人脸区域的深度特征，然后输入到一个分类器，如SVM、Adaboost、CNN分类等进行分类判决。
[0060] 终止判断步骤S180:将ROI区域的人脸区域映射回原始图像坐标系，得到人脸在原始图像中的坐标L'1＝(u'1,v'1,w1,h1)，判断是否满足终止条件，若满足则终止，否则重复S110-S170。人脸位置L'1相对于L1左上角的坐标发生了偏移，宽和高保持不变。
[0061] 在S180步骤之前，找到的人脸位置都是在原始图像上的一个子区域的位置，此时应当将子区域的人脸位置映射回原始图像上去，得到人脸在原始图像上的位置。
[0062] 在本步骤中，终止条件可以是人为终止，或执行到一定时间了终止。
[0063] 本发明进一步还公开了一种存储介质，该存储介质能够被用于存储计算机可执行指令，其中所述计算机可执行指令在被处理器执行时执行上述的任意一项所述的加速的人脸检测方法。
[0064] 因此，本发明具有如下优点：
[0065] (1)在深度图上采用背景建模的方式去除背景，只对前景区域进行人脸检测，缩小了人脸检测搜索范围，加速人脸检测速度；
[0066] (2)根据前景区域的深度值，设置彩色图上人脸检测器的尺度因子，避免人脸检测器多尺度运算，能够进一步提升人脸检测器的速度；
[0067] (3)根据人脸区域深度值，判断是3D真实人脸还是平面人脸；同时根据深度信息对人脸框的位置进行校正，达到提升人脸检测精度的目的。
[0068] 显然，本领域技术人员应该明白，上述的本发明的各单元或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上,可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
[0069] 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定保护范围。
