深度图中人脸区域定位方法、电子设备及存储介质转让专利
申请号 : CN202111365544.4
文献号 : CN113792718B
文献日 : 2022-03-25
发明人 : 何武 , 寇鸿斌 , 付贤强 , 化雪诚 , 户磊
申请人 : 北京的卢深视科技有限公司 , 合肥的卢深视科技有限公司
摘要 :
权利要求 :
1.一种深度图中人脸区域定位方法,其特征在于,所述方法包括:获取目标人脸深度图中深度值最小的像素点,将所述深度值最小的像素点作为鼻尖点,在以所述鼻尖点为中心的预设的检测框中进行边缘检测,确定鼻子轮廓,并根据所述鼻子轮廓确定出鼻子区域;
在所述鼻子区域内根据所述鼻尖点确定鼻子关键点,根据所述鼻子关键点确定内眦点,并根据所述内眦点确定眼睛宽度,通过所述眼睛宽度确定眼睛区域;
经过所述鼻尖点并朝下颌方向纵向作射线,在所述鼻尖点下方的射线上检测深度值较小的两个像素点,将所述深度值较小的两个像素点作为上嘴唇中心点和下嘴唇中心点,并根据所述上嘴唇中心点和所述下嘴唇中心点确定出嘴唇宽度;
根据所述鼻子关键点确定嘴唇长度,通过所述嘴唇宽度和所述嘴唇长度确定嘴唇区域,完成目标人脸深度图的人脸区域定位;
所述鼻子关键点至少包括鼻翼两侧边缘点和鼻根点;
所述根据所述鼻子关键点确定内眦点,包括:在以所述鼻根点为中心的预设的检测框内确定深度值较大的两个像素点,并将所述深度值较大的两个像素点作为两个内眦点;或者,经过所述鼻翼两侧边缘点并朝着头顶方向分别作射线,在所述鼻翼两侧边缘点上方的两条射线之间的区域内检测深度值较大的两个像素点,将所述深度值较大的两个像素点作为两个内眦点,其中,所述两条射线之间的区域在鼻翼朝向头顶的方向上逐渐变大。
2.根据权利要求1所述的深度图中人脸区域定位方法,其特征在于,所述在所述鼻子区域内根据所述鼻尖点确定鼻子关键点,包括:经过所述鼻尖点纵向作直线,并在所述鼻子区域内计算所述直线两侧的像素点的距离;
将所述距离的最大值对应的两个像素点作为鼻翼两侧边缘点;
经过所述鼻尖点并朝着头顶方向纵向作射线,检测所述射线上深度值最大的像素点,将所述射线上深度值最大的像素点作为鼻根点;
其中,所述鼻子关键点包括所述鼻翼两侧边缘点和所述鼻根点。
3.根据权利要求1所述的深度图中人脸区域定位方法,其特征在于,所述鼻子关键点至少包括鼻翼两侧边缘点;
所述根据所述鼻子关键点确定嘴唇长度,包括:在所述鼻子区域内经过所述鼻翼两侧边缘点作线段,经过所述线段上的每一个像素点并朝下颌方向纵向作射线;
检测每一条射线上深度值较小的两个像素点,并根据所述每一条射线上深度值较小的两个像素点确定嘴唇轮廓,根据所述嘴唇轮廓确定嘴唇长度。
4.根据权利要求1所述的深度图中人脸区域定位方法,其特征在于,所述根据所述鼻子关键点确定嘴唇长度,通过所述嘴唇宽度和所述嘴唇长度确定嘴唇区域,完成目标人脸深度图的人脸区域定位之后,还包括:检测所述人脸区域中的每一个像素点与所述鼻尖点的深度差值和距离,其中,所述人脸区域是指眼睛区域或嘴唇区域;
判断所述人脸区域中每一个像素点的深度差值和距离是否均满足所述人脸区域对应的预设条件;
当所述人脸区域中不满足预设条件的像素点的数量大于预设的阈值时,重新确定所述不满足预设条件的像素点所在的人脸区域。
5.根据权利要求4所述的深度图中人脸区域定位方法,其特征在于,所述检测所述人脸区域中的每一个像素点与所述鼻尖点的深度差值和距离,包括:从所述人脸区域的边缘开始向内检测每一个像素点与所述鼻尖点的深度差值和距离。
6.根据权利要求4所述的深度图中人脸区域定位方法,其特征在于,所述当所述人脸区域中不满足预设条件的像素点的数量大于预设的阈值时,重新确定所述不满足预设条件的像素点所在的人脸区域,包括:
当不满足预设条件的像素点的数量大于预设阈值时,获取不满足预设条件的像素点相对于满足预设条件的像素点的方位;
将每一个满足预设条件的像素点作为所述预设的检测框的中心,按照所述方位的相反方位检测所述检测框内每一个像素点与所述鼻尖点的深度差值和距离;
获取所述深度差值和所述距离均满足预设条件的像素点;
根据所有满足预设条件的像素点的位置重新确定所述人脸区域。
7.根据权利要求1所述的深度图中人脸区域定位方法,其特征在于,所述检测框为正n边形,n为大于3的整数。
8.一种电子设备,其特征在于,包括:至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任一所述的深度图中人脸区域定位方法。
9.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的深度图中人脸区域定位方法。
说明书 :
深度图中人脸区域定位方法、电子设备及存储介质
技术领域
背景技术
深度图对应的人脸彩色图,对人脸彩色图进行人脸检测,然后将人脸彩色图的检测结果对
应到人脸深度图中,但该方法中获取的人脸彩色图容易受光照等环境影响,人脸彩色图的
质量无法保证,且在将人脸彩色图的检测结果对应到人脸深度图的过程中,很容易出现偏
差。
发明内容
域。
尖点,在以所述鼻尖点为中心的预设的检测框中进行边缘检测,确定鼻子轮廓,并根据所述
鼻子轮廓确定出鼻子区域;在所述鼻子区域内根据所述鼻尖点确定鼻子关键点,根据所述
鼻子关键点确定内眦点,并根据所述内眦点确定眼睛宽度,通过所述眼睛宽度确定眼睛区
域;经过所述鼻尖点并朝下颌方向纵向作射线,在所述鼻尖点下方的射线上检测深度值较
小的两个像素点,将所述深度值较小的两个像素点作为上嘴唇中心点和下嘴唇中心点,并
根据所述上嘴唇中心点和所述下嘴唇中心点确定出嘴唇宽度;根据所述鼻子关键点确定嘴
唇长度,通过所述嘴唇宽度和所述嘴唇长度确定嘴唇区域,完成目标人脸深度图的人脸区
域定位。
被至少一个处理器执行,以使至少一个处理器能够执行如上述实施方式提及的深度图中人
脸区域定位方法。
测确定鼻子区域,后续在鼻子区域内根据鼻尖点确定鼻子关键点,再根据鼻子关键点确定
眼睛区域和嘴唇区域。整个方法充分利用人脸深度图中各像素点的深度值就可以完成人脸
中眼睛区域、鼻子区域和嘴唇区域的定位,快速简单,既不需要对人脸彩色图进行处理,也
无需建立、训练复杂的模型。
的像素点的距离;将所述距离的最大值对应的两个像素点作为所述鼻翼两侧边缘点;经过
所述鼻尖点并朝着头顶方向纵向作射线,检测所述射线上深度值最大的像素点,将所述射
线上深度值最大的像素点作为鼻根点;其中,所述鼻子关键点包括鼻翼两侧边缘点和所述
鼻根点。在鼻子区域内根据鼻尖点可快速确定鼻翼两侧边缘点和鼻根点,由此可快速精准
确定目标人脸深度图中的鼻子区域的特征:鼻子轮廓、鼻子高低、鼻翼宽度和鼻子长度。
点,并将所述深度值较大的两个像素点作为两个内眦点;或者,经过所述鼻翼两侧边缘点并
朝着头顶方向分别作射线,在所述鼻翼两侧边缘点上方的两条射线之间的区域内检测深度
值较大的两个像素点,将所述深度值较大的两个像素点作为两个内眦点,其中,所述两条射
线之间的区域在鼻翼朝向头顶的方向上逐渐变大。根据鼻子关键点确定内眦点的方法包括
两种,一种是根据鼻根点确定,一种是根据鼻翼两侧边缘点确定。可以根据鼻子关键点的内
容进行选择,为实际应用提供了多种选择空间。
的每一个像素点并朝下颌方向纵向作射线;检测每一条射线上深度值较小的两个像素点,
并根据所述每一条射线上深度值较小的两个像素点确定嘴唇轮廓,根据所述嘴唇轮廓确定
嘴唇长度。通过鼻翼两侧边缘点就可以快速确定嘴唇轮廓,通过嘴唇轮廓即可确定嘴唇长
度。整个方法仅需要对射线上的深度值进行检测,简单快速。
差值和距离,其中,所述人脸区是指眼睛区域或嘴唇区域;判断所述人脸区域中每一个像素
点的深度差值和距离是否均满足所述人脸区域对应的预设条件;当所述人脸区域中不满足
预设条件的像素点的数量大于预设的阈值时,重新确定所述不满足预设条件的像素点所在
的人脸区域。完成人脸区域的定位后,通过检测眼睛区域或嘴唇区域中每一个像素点与鼻
尖点的深度值和距离判断眼睛区域和嘴唇区域定位是否准确,若不准确,重新确定人脸区
域,进一步提高人脸区域定位的准确性。
附图说明
非有特别申明,附图中的图不构成比例限制。
具体实施方式
式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节
和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
点,将关键点对应到人脸深度图上完成人脸五官区域的定位。另一种是将人脸深度图输入
到已经训练好的神经网络模型中,利用深度学习的方法完成人脸五官区域的定位。而第一
种方法中人脸彩色图易受环境影响,人脸彩色图的质量不能保证,另一方面,将人脸彩色图
上的关键点对应到人脸深度图的过程中很容易出现偏差,造成人脸深度图中五官区域的定
位不准确。而第二种方法,虽然对深度图直接进行处理,其准确性较高,但前期神经网络的
搭建和训练复杂度较高、时间较长,且训练过程中也要求准备大量的样本深度图,费时费
力。
轮廓确定出鼻子区域。
脸深度图中某一区域像素点的像素值大小和像素值分布状况可以反映人脸的不同区域。而
鼻尖作为人脸中最突出的特征,其在整个人脸深度图中就体现为深度值最小的像素点。
形状可以为三角形、矩形等任意形状。检测框的大小可以预先在不同大小的人脸、不同脸型
的人脸上进行测试,选取能覆盖整个鼻子的、大小合适的检测框。进一步地,确定出的鼻子
区域包含鼻子的轮廓和鼻子的高度,鼻子的高度可以通过鼻尖点的深度值大小进行确定,
这可以为后续的人脸识别提供精确且全方位的数值结果。
定鼻子的轮廓,进而确定出鼻子区域。而眼睛区域、嘴唇区域等由于与临近的皮肤区域边缘
界限不是很明显,采用边缘检测算法来确定这些区域的效果就会很差。
外,除了通过边缘检测算法外还可以采用基于最小二乘法的鼻子轮廓提取方法、阈值分割
的图像处理方法等获取鼻子的轮廓。
距离;将距离的最大值对应的两个像素点作为鼻翼两侧边缘点;经过鼻尖点并朝着头顶方
向纵向作射线,检测射线上深度值最大的像素点,将射线上深度值最大的像素点作为鼻根
点;将鼻翼两侧边缘点和所述鼻根点作为鼻子关键点。
过鼻翼两侧边缘点的距离确定,鼻子长度可以根据鼻根点和鼻子两侧边缘点确定。
或者,经过鼻翼两侧边缘点并朝着头顶方向的方向分别作射线,在鼻翼两侧边缘点上方的
两条射线之间的区域内检测深度值较大的两个像素点,深度值较大的两个像素点作为两个
内眦点,其中,两条射线之间的区域在鼻翼朝向头顶的方向上逐渐变大。
框中搜索确定深度值最大的像素点,而深度值最大的像素点即为内眦点。需要说明的是,预
设的检测框可以为矩形、三角形、圆形等任意形状,在此不对检测框的形状做具体限定。检
测框的大小可以预先根据多个不同脸型的人脸试验确定。
射线区域内,检测深度值最大的像素点,可以理解的是在该射线区域内深度值最大的像素
点为内眦点。需要说明的是,倾斜角度可以为任意数值。
区域。一般认为左眼和右眼关于鼻子部分是对称分布的。
根据上嘴唇中心点和所述下嘴唇中心点确定出嘴唇宽度。
心点即可确定嘴唇宽度和嘴唇的位置。需要说明的是,根据人脸形态学可以确定的是一个
眼睛的宽度(左眼外眼角到左眼内眼角或右眼内眼角到右眼外眼角)基本与鼻翼的宽度、嘴
唇的长度相等,即内眦点、鼻翼边缘点、嘴角边缘点基本在一条直线上。
深度值较小的两个像素点,并根据每一条射线上深度值较小的两个像素点确定嘴唇轮廓,
根据嘴唇轮廓确定嘴唇长度。本领域技术人员可以理解的是,嘴唇轮廓上的每个点都是鼻
子下方区域内最为突出的点,即深度值最小的像素点。而确定出嘴唇轮廓后根据轮廓的弧
度即可确定嘴唇的长度。
说,通过这些区域即可实现。
测确定鼻子区域,后续在鼻子区域内根据鼻尖点确定鼻子关键点,再根据鼻子关键点确定
眼睛区域和嘴唇区域。整个方法充分利用人脸深度图中各像素点的深度值就可以完成人脸
中眼睛区域、鼻子区域和嘴唇区域的定位,快速简单,既不需要对人脸彩色图进行处理,也
无需建立、训练复杂的模型。
轮廓确定出鼻子区域。
根据上嘴唇中心点和所述下嘴唇中心点确定出嘴唇宽度。
的深度差值和距离。对于眼睛区域,其包括左眼区域和右眼区域,一般认为左眼区域和右眼
区域关于鼻子对称分布,因此,可以只对其中一个眼睛区域进行检测以此来判断两个眼睛
区域是否满足预设条件。其中,深度差值即为两个像素点深度值的差。
的边缘开始向内检测可以快速地检测出区域内不满足预设条件的像素点,因为一旦边缘区
域不满足条件,那么中心区域也很有可能不满足预设条件。
和距离是否均满足第一预设条件。对于嘴唇区域,判断嘴唇区域中每一个像素点与鼻尖点
之间的深度差值和距离是否均满足第二预设条件。另外,第一预设条件和第二预设条件可
以根据以下步骤确定:预先获取多个样本人脸深度图,其中,多个样本人脸深度图中的人脸
脸型不同;对每个样本人脸深度图进行人脸检测,确定每个样本人脸深度图中的多个关键
点;根据每个样本人脸深度图中的多个关键点确定眼睛区域和嘴唇区域,其中,眼睛区域和
嘴唇区域均包括多个关键点;确定多个样本人脸深度图中深度值最小的像素点,将深度值
最小的像素点作为鼻尖点,并计算每个样本人脸深度图的眼睛区域中每一个像素点与鼻尖
点的深度差值和距离,根据该深度差值和距离确定第一预设条件。同样地,嘴唇区域以类似
的方法确定第二预设条件。比如:确定出嘴唇区域中每一个像素点与鼻尖点的深度差值都
在(x1,x2)范围内,距离都在(m1,m2)范围内,则将这两个阈值范围确定为第二预设条件。当
然,此处仅为举例说明,实际应用时预设条件可以是任何形式。
眼睛区域的总像素点数量为200个,嘴唇区域的总像素点数量为300个,规定眼睛区域和嘴
唇区域不满足预设条件的像素点的数量不能超过总像素点数量的百分之五,则眼睛区域的
第一阈值为10,嘴唇区域的第二阈值为15。又比如,规定眼睛区域中不满足预设条件的像素
点数量不能超过总像素点数量的百分之六,嘴唇区域不能超过百分之四,则眼睛区域的第
一阈值和嘴唇区域的第二阈值均为12。当然,具体阈值的设定可以为任何数值,可以根据对
人脸定位的速度和精度的要求进行调整。
的数量大于预设阈值时,获取不满足预设条件的像素点相对于满足预设条件的像素点的方
位;将每一个满足预设条件的像素点作为所述预设的检测框的中心,按照方位的相反方位
检测检测框内每一个像素点与鼻尖点的深度差值和距离;获取深度差值和所述距离均满足
预设条件的像素点;根据所有满足预设条件的像素点的位置重新确定所述人脸区域。
时,重新确定嘴唇区域。两者重新确定人脸区域的方法相同。另外,在获取不满足预设条件
的像素点相对于满足预设条件的像素点的方位时,是根据不满足预设条件的像素点的整体
位置相对于满足预设条件的像素点的整体位置的方位关系。
处于人脸区域边缘的像素点作为预设的检测框的中心,按照方位的相反方位检测检测框内
每一个像素点与鼻尖点的深度差值和距离。如此,可以更加快速地确定出满足条件的像素
点,进而确定人脸区域。
测确定鼻子区域,后续在鼻子区域内根据鼻尖点确定鼻子关键点,再根据鼻子关键点确定
眼睛区域和嘴唇区域。整个方法充分利用人脸深度图中各像素点的深度值就可以完成人脸
中眼睛区域、鼻子区域和嘴唇区域的定位,快速简单,既不需要对人脸彩色图进行处理,也
无需建立、训练复杂的模型。
内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法
和流程的核心设计都在该专利的保护范围内。
至少一个处理器301能够执行如上述实施方式提及的深度图中人脸区域定位方法。
存储器302作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失
性计算机可执行程序以及模块,如本申请实施方式中策略空间内的各处理策略对应的算法
就存储于存储器302中。处理器301通过运行存储在存储器302中的非易失性软件程序、指令
以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述深度图中人脸区域定
位方法。
包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存
器件、或其他非易失性固态存储器件。在一些实施方式中,存储器302可选包括相对于处理
器301远程设置的存储器,这些远程存储器可以通过网络连接至外接设备。上述网络的实例
包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的
全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read‑Only
Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程
序代码的介质。