图像处理方法、装置、计算机设备及计算机可读存储介质转让专利

申请号 : CN201711054078.1

文献号 : CN107862659B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 曾元清

申请人 : OPPO广东移动通信有限公司

摘要 :

本申请实施例涉及一种图像处理方法、装置、计算机设备及计算机可读存储介质。上述方法,包括:对待处理图像进行人脸识别,确定人脸区域;获取所述人脸区域的皮肤区域,并提取所述皮肤区域的肤质特征;通过预设的分类模型分析所述肤质特征,得到肤质级别;获取与所述肤质级别对应的磨皮参数,并根据所述磨皮参数对所述皮肤区域进行磨皮处理。上述图像处理方法、装置、计算机设备及计算机可读存储介质,可以根据人脸的肤质特征自适应选取对应的磨皮参数,提高磨皮效果,使图像的视觉显示效果更好。

权利要求 :

1.一种图像处理方法,其特征在于,包括:对待处理图像进行人脸识别,确定人脸区域;

获取所述人脸区域的皮肤区域,并提取所述皮肤区域的肤质特征;肤质特征包括纹理信息及边缘信息;所述纹理信息为皮肤区域的纹理分布情况;

通过预设的分类模型分析所述肤质特征,得到肤质级别;

获取与所述肤质级别对应的磨皮参数,并根据所述磨皮参数对所述皮肤区域进行磨皮处理;

所述提取所述皮肤区域的肤质特征,包括:对所述皮肤区域进行边缘检测,得到所述皮肤区域的边缘信息及纹理信息;

根据所述边缘信息及纹理信息获取肤质特征;

所述获取所述人脸区域的皮肤区域,包括:生成所述人脸区域的颜色直方图;

获取所述颜色直方图的峰值,以及所述峰值对应的颜色区间;

根据所述颜色区间划分皮肤颜色区间;

将所述人脸区域中落入所述皮肤颜色区间的像素点定义为皮肤区域;

所述磨皮参数包括窗口半径;

所述获取与所述肤质级别对应的磨皮参数,并根据所述磨皮参数对所述皮肤区域进行磨皮处理,包括:获取与所述肤质级别对应的窗口半径;

根据所述肤质特征确定所述皮肤区域的待磨皮区域;

选取与所述窗口半径匹配的目标窗口对所述待磨皮区域进行滤波处理。

2.根据权利要求1所述的方法,其特征在于,所述获取与所述肤质级别对应的磨皮参数,包括:当所述肤质级别满足预设的级别条件时,所述肤质级别与磨皮参数呈线性关系。

3.根据权利要求1所述的方法,其特征在于,所述获取与所述肤质级别对应的磨皮参数,并根据所述磨皮参数对所述皮肤区域进行磨皮处理,还包括:从与所述待磨皮区域相邻的区域中提取皮肤信息;

根据所述皮肤信息对所述待磨皮区域的像素点进行调整。

4.根据权利要求1所述的方法,其特征在于,所述获取与所述肤质级别对应的磨皮参数,并根据所述磨皮参数对所述皮肤区域进行磨皮处理,还包括:获取与所述待处理图像对应的目标图像;

从所述目标图像与所述待磨皮区域对应的区域中提取皮肤信息;

根据所述皮肤信息对所述待磨皮区域的像素点进行调整。

5.一种图像处理装置,其特征在于,包括:识别模块,用于对待处理图像进行人脸识别,确定人脸区域;

特征提取模块,用于获取所述人脸区域的皮肤区域,并提取所述皮肤区域的肤质特征;

肤质特征包括纹理信息及边缘信息;所述纹理信息为皮肤区域的纹理分布情况;

分类模块,用于通过预设的分类模型分析所述肤质特征,得到肤质级别;

处理模块,用于获取与所述肤质级别对应的磨皮参数,并根据所述磨皮参数对所述皮肤区域进行磨皮处理;

还包括边缘检测单元和特征获取单元;

所述边缘检测单元,用于对所述皮肤区域进行边缘检测,得到所述皮肤区域的边缘信息及纹理信息;

所述特征获取单元,用于根据所述边缘信息及纹理信息获取肤质特征;

所述特征提取模块,包括生成单元、区间获取单元、划分单元和定义单元;

所述生成单元,用于生成所述人脸区域的颜色直方图;

所述区间获取单元,用于获取所述颜色直方图的峰值,以及所述峰值对应的颜色区间;

所述划分单元,用于根据所述颜色区间划分皮肤颜色区间;

所述定义单元,用于将所述人脸区域中落入所述皮肤颜色区间的像素点定义为皮肤区域;

所述处理模块,包括半径获取单元、区域确定单元和滤波单元;

所述半径获取单元,用于获取与所述肤质级别对应的窗口半径;

所述区域确定单元,用于根据所述肤质特征确定所述皮肤区域的待磨皮区域;

所述滤波单元,用于选取与所述窗口半径匹配的目标窗口对所述待磨皮区域进行滤波处理。

6.根据权利要求5所述的装置,其特征在于,当所述肤质级别满足预设的级别条件时,所述肤质级别与磨皮参数呈线性关系。

7.根据权利要求5所述的装置,其特征在于,所述处理模块,还包括信息提取单元和调整单元;

所述信息提取单元,用于从与所述待磨皮区域相邻的区域中提取皮肤信息;

所述调整单元,用于根据所述皮肤信息对所述待磨皮区域的像素点进行调整。

8.根据权利要求5所述的装置,其特征在于,所述处理模块,还包括信息提取单元和调整单元;

所述信息提取单元,还用于获取与所述待处理图像对应的目标图像;从所述目标图像与所述待磨皮区域对应的区域中提取皮肤信息;

调整单元,用于根据所述皮肤信息对所述待磨皮区域的像素点进行调整。

9.一种计算机设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1至4任一所述的方法。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一所述的方法。

说明书 :

图像处理方法、装置、计算机设备及计算机可读存储介质

技术领域

[0001] 本申请涉及图像处理技术领域,特别是涉及一种图像处理方法、装置、计算机设备及计算机可读存储介质。

背景技术

[0002] 在成像设备采集人物图像时,由于图像传感器的像素很高,能够将人脸上的瑕疵都拍摄得很清楚。计算机设备可通过对图像的人脸进行磨皮处理,可使得脸部皮肤区域看起来更加干净平滑。

发明内容

[0003] 本申请实施例提供一种图像处理方法、装置、计算机设备及计算机可读存储介质,可以根据人脸的肤质特征自适应选取对应的磨皮参数,提高磨皮效果,使图像的视觉显示效果更好。
[0004] 一种图像处理方法,包括:
[0005] 对待处理图像进行人脸识别,确定人脸区域;
[0006] 获取所述人脸区域的皮肤区域,并提取所述皮肤区域的肤质特征;
[0007] 通过预设的分类模型分析所述肤质特征,得到肤质级别;
[0008] 获取与所述肤质级别对应的磨皮参数,并根据所述磨皮参数对所述皮肤区域进行磨皮处理。
[0009] 一种图像处理装置,包括:
[0010] 识别模块,用于对待处理图像进行人脸识别,确定人脸区域。
[0011] 特征提取模块,用于获取所述人脸区域的皮肤区域,并提取所述皮肤区域的肤质特征;
[0012] 分类模块,用于通过预设的分类模型分析所述肤质特征,得到肤质级别;
[0013] 处理模块,用于获取与所述肤质级别对应的磨皮参数,并根据所述磨皮参数对所述皮肤区域进行磨皮处理。
[0014] 一种计算机设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如上所述的方法。
[0015] 一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的方法。
[0016] 上述图像处理方法、装置、计算机设备及计算机可读存储介质,对待处理图像进行人脸识别,获取人脸区域的皮肤区域,通过预设的分类模型对皮肤区域的肤质特征进行分析,得到肤质级别,并根据与肤质级别对应的磨皮参数对皮肤区域进行磨皮处理,可以根据人脸的肤质特征自适应选取对应的磨皮参数,提高磨皮效果,使图像的视觉显示效果更好。

附图说明

[0017] 图1为一个实施例中计算机设备的框图;
[0018] 图2为一个实施例中图像处理方法的流程示意图;
[0019] 图3为一个实施例中肤质级别与磨皮参数的关系示意图;
[0020] 图4为一个实施例中获取皮肤区域的流程示意图;
[0021] 图5为一个实施例中生成的颜色直方图;
[0022] 图6为一个实施例中提取肤质特征的流程示意图;
[0023] 图7为一个实施例中对皮肤区域进行磨皮处理的流程示意图;
[0024] 图8为一个实施例中图像处理装置的框图;
[0025] 图9为一个实施例中特征提取模块的框图;
[0026] 图10为一个实施例中图像处理电路的示意图。

具体实施方式

[0027] 为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
[0028] 可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。
[0029] 图1为一个实施例中计算机设备的框图。如图1所示,该计算机设备包括通过系统总线连接的处理器、存储器、显示屏和输入装置。其中,存储器可包括非易失性存储介质及处理器。计算机设备的非易失性存储介质存储有操作系统及计算机程序,该计算机程序被处理器执行时以实现本申请实施例中提供的一种图像处理方法。该处理器用于提供计算和控制能力,支撑整个计算机设备的运行。计算机设备中的内存储器为非易失性存储介质中的计算机程序的运行提供环境。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏等,输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,也可以是外接的键盘、触控板或鼠标等。该计算机设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0030] 如图2所示,在一个实施例中,提供一种图像处理方法,包括以下步骤:
[0031] 步骤210,对待处理图像进行人脸识别,确定人脸区域。
[0032] 计算机设备可获取待处理图像,待处理图像可以是计算机设备通过摄像头等成像设备采集的可在显示屏预览的预览图像,也可以是已经生成并存储的图像。计算机设备可对待处理图像进行人脸识别,确定待处理图像中的人脸区域。计算机设备可提取待处理图像的图像特征,并通过预设的人脸识别模型对图像特征进行分析,判断待处理图像中是否包含人脸,若包含,则确定对应的人脸区域。图像特征可包括形状特征、空间特征及边缘特征等,其中,形状特征指的是待处理图像中局部的形状,空间特征指的是待处理图像中分割出来的多个区域之间的相互的空间位置或相对方向关系,边缘特征指的是待处理图像中组成两个区域之间的边界像素等。
[0033] 在一个实施例中,人脸识别模型可以是预先通过机器学习构建的决策模型,构建人脸识别模型时,可获取大量的样本图像,样本图像中包含有人脸图像及无人图像,可根据每个样本图像是否包含人脸对样本图像进行标记,并将标记的样本图像作为人脸识别模型的输入,通过机器学习进行训练,得到人脸识别模型。
[0034] 步骤220,获取人脸区域的皮肤区域,并提取皮肤区域的肤质特征。
[0035] 计算机设备确定待处理图像的人脸区域后,可获取人脸区域的皮肤区域,可根据人脸区域中各个像素点的颜色信息获取皮肤区域,其中,颜色信息可以是像素点在RGB(红、绿、蓝)或HSV(色调、饱和度、明度)等颜色空间的值。在一个实施例中,计算机设备可预先划分属于皮肤区域的颜色信息范围,并可将人脸区域中颜色信息落入预先划分的颜色信息范围的像素点定义为皮肤区域。
[0036] 计算机设备可提取皮肤区域的肤质特征,肤质特征可用于表示皮肤状态,肤质特征可包括纹理信息、边缘信息、边缘强度及肤色特征等,其中,纹理信息指的是皮肤区域的纹理分布情况,例如纹理粗细、疏密等,边缘信息则可包含皮肤区域中出现阶跃性变化或屋脊变化的像素点,边缘强度可指的是出现阶跃性变化或屋脊变化的像素点的变化程度,肤色特征指的是皮肤区域呈现的颜色、亮暗等。
[0037] 步骤230,通过预设的分类模型分析肤质特征,得到肤质级别。
[0038] 计算机设备提取皮肤区域的肤质特征后,可通过预设的分类模型分析肤质特征,得到肤质级别,其中,分类模型可预先通过机器学习进行构建。在一个实施例中,计算机设备可预先构建分类模型,可获取大量的样本图像,每个样本图像中可标记有肤质级别。可选地,肤质级别可根据需求进行划分,样本图像中的人脸皮肤较为光滑、干净的,可对应较低的肤质级别,样本图像中的人脸皮肤中包含较多的斑、痘或是皱纹,是有较多瑕疵的,可对应较高的肤质级别。计算机设备可将样本图像作为分类模型的输入,通过机器学习等方式进行训练,构建分类模型。
[0039] 在一个实施例中,计算机设备进行训练时,可将每个样本图像映射到高维特征空间,训练得到代表各个样本图像的肤质特征的支持向量集,形成分类模型中各个用于判断肤质特征所属的肤质类别的判别函数。计算机设备提取待处理图像中人脸的皮肤区域的肤质特征后,将肤质特征输入分类模型,分类模型可将肤质特征映射到高维特征空间,并根据各个判别函数确定肤质特征对应的肤质级别。
[0040] 步骤240,获取与肤质级别对应的磨皮参数,并根据磨皮参数对皮肤区域进行磨皮处理。
[0041] 计算机设备可获取与肤质级别对应的磨皮参数,不同的肤质级别可对应不同的磨皮参数,磨皮参数可包括窗口半径等参数。计算机设备可根据磨皮参数对皮肤区域进行磨皮处理,可选地,计算机设备可选取与窗口半径对应的目标窗口,并根据目标窗口对皮肤区域进行滤波处理,滤波处理可以是保边的平滑滤波、双边滤波、高斯滤波等。当磨皮参数较大时,对应的磨皮程度较强,计算机设备可选取窗口半径较大的目标窗口进行滤波处理,可得到较好的平滑效果,但是损失的信息也较多;当磨皮参数较小时,对应的磨皮程度较弱,计算机设备可选取窗口半径较小的目标窗口进行滤波处理,可保留较多的信息,但是平滑效果较差。根据皮肤区域的肤质级别自适应选取磨皮参数,可根据皮肤区域的实际情况选取相应的磨皮程度,可减少出现因磨皮程度过小导致平滑效果差,或是因磨皮程度过大导致皮肤细节丢失等情况。
[0042] 在一个实施例中,肤质级别与磨皮参数可具备一定的对应关系,比如线性关系等。当肤质级别满足预设的级别条件时,肤质级别与磨皮参数可呈线性关系,可选地,可将肤质级别划分为三大区间,当肤质级别位于第一区间时,可对应固定的第一磨皮参数;当肤质级别位于第二区间时,可与磨皮参数呈线性关系;磨皮参数可随着肤质级别的增加而增加,当肤质级别位于第三区间时,可对应固定的第二磨皮参数。计算机设备可设置多个级别阈值,当肤质级别大于第一级别阈值且小于第二级别阈值时,可认为位于第二区间,与磨皮参数呈线性关系。例如,肤质级别包含10级,可设置第一级别阈值为3级,第二级别阈值为8级,当皮肤区域的肤质级别为1~3级时,可对应固定的第一磨皮参数,当皮肤区域的肤质级别为4~7级时,可与磨皮参数呈线性关系,当皮肤区域的肤质级别为8~10级时,可对应固定的第二磨皮参数。
[0043] 图3为一个实施例中肤质级别与磨皮参数的关系示意图。如图3所示,当待处理图像人脸的皮肤区域的肤质级别小于或等于第一级别阈值时,可对应固定的第一磨皮参数;当肤质级别大于第一级阈值且小于第二级别阈值时,可与磨皮参数呈线性关系,磨皮参数可随着肤质级别的增大而增大;当肤质级别大于第二级别阈值时,可对应固定的第二磨皮参数。可以理解地,皮肤区域的肤质级别与磨皮参数也可具备其他的对应关系,并不仅限于图3所示的对应关系。
[0044] 在本实施例中,对待处理图像进行人脸识别,获取人脸区域的皮肤区域,通过预设的分类模型对皮肤区域的肤质特征进行分析,得到肤质级别,并根据与肤质级别对应的磨皮参数对皮肤区域进行磨皮处理,可以根据人脸的肤质特征自适应选取对应的磨皮参数,提高磨皮效果,使图像的视觉显示效果更好。
[0045] 如图4所示,在一个实施例中,步骤获取人脸区域的皮肤区域,包括以下步骤:
[0046] 步骤402,生成人脸区域的颜色直方图。
[0047] 计算机设备可生成人脸区域的颜色直方图,颜色直方图可以是RGB颜色直方图或HSV颜色直方图等,并不限于此。颜色直方图可用于描述不同色彩在人脸区域中所占的比例,可将颜色空间划分为多个小的颜色区间,并分别计算人脸区域中落入各个颜色区间的像素点的数量,从而可得到颜色直方图。
[0048] 在一个实施例中,计算机设备可生成人脸区域的HSV颜色直方图,可先将人脸区域从RGB颜色空间转换至HSV颜色空间,其中,在HSV颜色空间中,分量可包括H(Hue,色调)、S(Saturation,饱和度)及V(Value,明度),其中,H用角度度量,取值范围为0°~360°,从红色开始按逆时针方向计算,红色为0°,绿色为120°,蓝色为240°;S表示颜色接近光谱色的程度,光谱色所占的比例越大,颜色接近光谱色的程度就越高,颜色的饱和度也越高,饱和度高,颜色一般深而艳;V表示颜色明亮的程度,对于光源色,明度值与发光体的光亮度有关;对于物体色,此值和物体的透射比或反射比有关,V通常取值范围为0%(黑)到100%(白)。
[0049] 计算机设备可分别对HSV中的H、S及V三个分量进行量化,并将量化后的H、S及V三个分量合成一维的特征向量,特征向量的取值可在0~255之间,共256个值,也即,可将HSV颜色空间划分为256个颜色区间,每个颜色区间对应一个特征向量的值。例如,可将H分量量化为16级,将S分量及V分量分别量化为4级,合成一维的特征向量可如式(1)所示:
[0050] L=H*QS*QV+S*QV+V   (1);
[0051] 其中,L表示量化后的H、S及V三个分量合成的一维的特征向量;QS表示S分量的量化级数,QV表示V分量的量化级数。计算机设备可根据人脸区域中各个像素点在HSV颜色空间中的值,确定在H、S及V三个分量的量化级别,并计算各个像素点的特征向量,再分别统计特征向量在256个值上分布的像素点的数量,生成颜色直方图。
[0052] 步骤404,获取颜色直方图的峰值,以及峰值对应的颜色区间。
[0053] 计算机设备可获取颜色直方图的峰值,可先确定颜色直方图上包含的波峰,波峰指的是在颜色直方图形成的一段波内波幅的最大值,可通过求取颜色直方图中各个点的一阶差分进行确定,峰值则为波峰上的最大值。计算机设备获取颜色直方图的峰值后,可获取峰值对应的颜色区间,该颜色区间可以是HSV颜色空间中与峰值对应的特征向量的值。
[0054] 图5为一个实施例中生成的颜色直方图。如图5所示,颜色直方图的横轴可以表示在HSV颜色空间的特征向量,也即HSV颜色空间划分的多个颜色区间,纵轴表示像素点的数量,该颜色直方图中包含波峰502,波峰502的峰值为850,该峰值对应的颜色区间可为150的值。
[0055] 步骤406,根据颜色区间划分皮肤颜色区间。
[0056] 计算机设备可根据颜色直方图的峰值对应的颜色区间划分人脸区域的皮肤颜色区间,可预先设定皮肤颜色区间的范围值,再根据峰值对应的颜色区间及预设的范围值计算皮肤颜色区间。可选地,计算机设备可将峰值对应的颜色区间与预设的范围值相乘,其中,预设的范围值可包括上限值与下限值,可将峰值对应的颜色区间分别与上限值及下限值相乘,得到皮肤颜色区间。例如,计算机设备可预先设定皮肤颜色区间的范围值为80%~120%,若颜色直方图的峰值对应的颜色区间为150的值,则可计算得到皮肤颜色区间为120~180。
[0057] 步骤408,将人脸区域中落入皮肤颜色区间的像素点定义为皮肤区域。
[0058] 计算机设备可将人脸区域中落入皮肤颜色区间的像素点定义为皮肤区域,可选地,计算机设备可获取人脸区域中各个像素点在HSV颜色空间的特征向量,并判断特征向量是否落入皮肤颜色区间,若落入,则可将对应的像素点定义为皮肤区域的像素点。例如,计算得到皮肤颜色区间为120~180,则计算机设备可将人脸区域中在HSV颜色空间的特征向量在120~180之间的像素点定义为皮肤区域。
[0059] 在本实施例中,可根据人脸区域的颜色直方图获取皮肤区域,可直接根据皮肤区域的肤质特征选取磨皮参数,可减小毛发等对参数的影响,可使选取的磨皮调节参数更为准确,使磨皮效果更好。
[0060] 如图6所示,在一个实施例中,步骤提取皮肤区域的肤质特征,包括以下步骤:
[0061] 步骤602,对皮肤区域进行边缘检测,得到皮肤区域的边缘信息及纹理信息。
[0062] 计算机设备获取人脸区域的皮肤区域后,可提取皮肤区域的肤质特征。计算机设备可对皮肤区域进行边缘检测,得到皮肤区域的边缘信息及纹理信息,其中,边缘可用于表明一个特征区域的终结和另一个特征区域的开始,通常可存在于目标与目标、目标与背景、区域与区域等之间。可选地,边缘检测可采用多种边缘检测算子,例如Roberts Cross算子,Prewitt算子,Sobel算子,Kirsch算子,罗盘算子等。
[0063] 计算机设备可计算皮肤区域对应的灰度图像的一阶或二阶导数,通过一阶或二阶导数可找到灰度值发生阶跃性变化或屋脊变化等的像素点。计算机设备对皮肤区域进行边缘检测,可先对皮肤区域进行滤波处理,减小皮肤区域中的噪声给边缘检测带来的误差。进行滤波降噪后,计算机设备可对皮肤区域中灰度值有显著变化的像素点进行增强,并可根据灰度值的一阶导数的梯度幅值阈值来检测皮肤区域中的边缘点,再对边缘的像素点进行定位,获取边缘像素点的位置或方向等信息。
[0064] 可选地,计算机设备还可获取皮肤区域的边缘强度,边缘强度指的是边缘像素点的梯度幅值,边缘强度可根据灰度值的一阶导数在一个周期内,数据变化的最大绝对值得到。计算机设备对皮肤区域进行边缘检测后,可根据检测得到的边缘像素点得到边缘信息及纹理信息等,其中,边缘信息可包括边缘像素点的位置或方向等信息,纹理信息可通过分析边缘信息得到。计算机设备可根据边缘信息计算纹理复杂度,若边缘像素点较集中,纹理分布可能较为密集,若边缘像素点较分散,纹理分布可能较为稀疏。
[0065] 步骤604,根据边缘信息及纹理信息获取肤质特征。
[0066] 计算机设备提取皮肤区域的肤质特征,肤质特征可包括边缘信息、边缘强度及纹理信息等,根据肤质特征可得到皮肤区域的皮肤状态。
[0067] 在本实施例中,可通过对皮肤区域进行边缘检测获取肤质特征,可使提取的肤质特征更为准确,方便后续根据人脸的肤质特征自适应选取对应的磨皮参数,可以提高磨皮效果,使图像的视觉显示效果更好。
[0068] 如图7所示,在一个实施例中,步骤240获取与肤质级别对应的磨皮参数,并根据磨皮参数对皮肤区域进行磨皮处理,包括以下步骤:
[0069] 步骤702,获取与肤质级别对应的窗口半径。
[0070] 计算机设备获取皮肤区域的肤质级别后,可获取与肤质级别对应的窗口半径,该窗口半径可用于表示进行滤波处理的目标窗口大小。在一个实施例,肤质级别可与窗口半径具备一定的对应关系,比如线性关系等。当肤质级别满足预设的级别条件时,肤质级别与窗口半径可呈线性关系,该级别条件可以是大于第一级别阈值且小于第二级别阈值等,但不限于此。
[0071] 步骤704,根据肤质特征确定皮肤区域的待磨皮区域。
[0072] 计算机设备可根据肤质特征中包含的边缘信息、纹理信息等将皮肤区域划分为多个子区域,可包括待磨皮区域及正常区域,其中,待磨皮区域指的是需要进行磨皮处理的子区域,正常区域则指的是不需要进行磨皮处理的子区域。可选地,待磨皮区域中包含的边缘信息通常较为丰富,待磨皮区域中各个像素点的RGB等颜色空间的颜色信息较正常区域可能偏黑等。
[0073] 步骤706,选取与窗口半径匹配的目标窗口对待磨皮区域进行滤波处理。
[0074] 计算机设备可选取与窗口半径匹配的目标窗口对待磨皮区域进行滤波处理,滤波处理可以是保边的平滑滤波、双边滤波、高斯滤波等,但不仅限于此。在一个实施例中,计算机设备提取肤质特征后,可先根据肤质特征确定皮肤区域的待磨皮区域,并通过预设的分类模型分析每一个待磨皮区域中包含的肤质特征,确定每一个待磨皮区域对应肤质级别。针对每一个待磨皮区域,计算机设备可获取与待磨皮区域对应肤质级别对应的窗口半径,并选取与该窗口半径匹配的目标窗口对该待磨皮区域进行滤波处理。针对不同的待磨皮区域选取不同的磨皮参数,可使选取的磨皮参数更为准确,磨皮效果更好。
[0075] 步骤708,从与待磨皮区域相邻的区域中提取皮肤信息。
[0076] 计算机设备对待磨皮区域进行滤波处理后,可获取皮肤信息对滤波处理后的待磨皮区域的像素点进行调整,使待磨皮区域具备皮肤质感。可选地,计算机设备可从与待磨皮区域相邻的正常区域中提取皮肤信息,皮肤信息可包括正常区域的纹理信息、各个像素点的RGB等颜色空间的颜色信息、亮度值等。
[0077] 步骤710,根据皮肤信息对待磨皮区域的像素点进行调整。
[0078] 计算机设备可根据提取的皮肤信息对待磨皮区域的像素点进行调整,使待磨皮区域的像素点与相邻的正常区域的像素点较为相近。使待磨皮区域的像素点与相邻的正常区域的像素点较为相近可包括待磨皮区域的像素点的颜色信息等与相邻的正常区域的像素点较为相近。计算机设备可先计算与待磨皮区域相邻的正常区域中包含的各个像素点在RGB或HSV等颜色空间的均值,并根据该均值调整待磨皮区域的像素点的颜色信息,使待磨皮区域的像素点的RGB值或HSV值与相邻的正常区域对应颜色空间的均值的差值小于预设范围。在一个实施例中,计算机设备可也直接从与待磨皮区域相邻的正常区域中获取像素点,并将获取的像素点填充到待磨皮区域中。
[0079] 在一个实施例中,计算机设备可获取与待处理图像对应的目标图像,目标图像可为采用第三方软件对待处理图像进行自动修图后得到的图像,例如采用第三方软件对待处理图像进行一键美颜后得到的图像,目标图像也可为采用第三方软件对待处理图像进行手动修图后得到的图像等。计算机设备可先确定目标图像中,与待处理图像的待磨皮区域对应的区域,该对应的区域可指的是目标图像中位置与待磨皮区域一致的区域。计算机设备可从目标图像与待磨皮区域对应的区域中提取皮肤信息,并根据该皮肤信息对待磨皮区域的像素点进行调整。
[0080] 在一个实施例中,计算机设备也可先缓存待处理图像,对待磨皮区域进行磨皮处理后,可对缓存的待处理图像进行高反差保留,得到待磨皮区域的皮肤细节,再将缓存的待处理图像置于进行磨皮处理后的图像上进行图层混合,即可得到保留有皮肤细节的进行磨皮处理后的图像。
[0081] 在本实施例中,可根据获取的皮肤信息对磨皮处理后的待磨皮区域进行调整,可使磨皮处理后的图像保持有原有的皮肤质感,保留更多的皮肤信息,可使磨皮之后的图像更为真实、自然,图像的视觉显示效果更好。
[0082] 在一个实施例中,提供一种图像处理方法,包括以下步骤:
[0083] 步骤(1),对待处理图像进行人脸识别,确定人脸区域。
[0084] 步骤(2),获取人脸区域的皮肤区域。
[0085] 可选地,获取人脸区域的皮肤区域,包括:生成人脸区域的颜色直方图;获取颜色直方图的峰值,以及峰值对应的颜色区间;根据颜色区间划分皮肤颜色区间;将人脸区域中落入皮肤颜色区间的像素点定义为皮肤区域。
[0086] 步骤(3),提取皮肤区域的肤质特征。
[0087] 可选地,提取皮肤区域的肤质特征,包括:对皮肤区域进行边缘检测,得到皮肤区域的边缘信息及纹理信息;根据边缘信息及纹理信息获取肤质特征。
[0088] 步骤(4),通过预设的分类模型分析肤质特征,得到肤质级别。
[0089] 步骤(5),获取与肤质级别对应的磨皮参数,并根据磨皮参数对皮肤区域进行磨皮处理。
[0090] 可选地,当肤质级别满足预设的级别条件时,肤质级别与磨皮参数呈线性关系。
[0091] 可选地,获取与肤质级别对应的磨皮参数,并根据磨皮参数对皮肤区域进行磨皮处理,包括:获取与肤质级别对应的窗口半径;根据肤质特征确定皮肤区域的待磨皮区域;选取与窗口半径匹配的目标窗口对待磨皮区域进行滤波处理。
[0092] 可选地,获取与肤质级别对应的磨皮参数,并根据磨皮参数对皮肤区域进行磨皮处理,还包括:从与待磨皮区域相邻的区域中提取皮肤信息;根据皮肤信息对待磨皮区域的像素点进行调整。
[0093] 可选地,获取与肤质级别对应的磨皮参数,并根据磨皮参数对皮肤区域进行磨皮处理,还包括:获取与待处理图像对应的目标图像;从目标图像与待磨皮区域对应的区域中提取皮肤信息;根据皮肤信息对待磨皮区域的像素点进行调整。
[0094] 在本实施例中,对待处理图像进行人脸识别,获取人脸区域的皮肤区域,通过预设的分类模型对皮肤区域的肤质特征进行分析,得到肤质级别,并根据与肤质级别对应的磨皮参数对皮肤区域进行磨皮处理,可以根据人脸的肤质特征自适应选取对应的磨皮参数,提高磨皮效果,使图像的视觉显示效果更好。
[0095] 如图8所示,在一个实施例中,提供一种图像处理装置800,包括识别模块810、特征提取模块820、分类模块830及处理模块840。
[0096] 识别模块810,用于对待处理图像进行人脸识别,确定人脸区域。
[0097] 特征提取模块820,用于获取人脸区域的皮肤区域,并提取皮肤区域的肤质特征。
[0098] 分类模块830,用于通过预设的分类模型分析肤质特征,得到肤质级别。
[0099] 处理模块840,用于获取与肤质级别对应的磨皮参数,并根据磨皮参数对皮肤区域进行磨皮处理。
[0100] 可选地,当肤质级别满足预设的级别条件时,肤质级别与磨皮参数呈线性关系。
[0101] 在本实施例中,对待处理图像进行人脸识别,获取人脸区域的皮肤区域,通过预设的分类模型对皮肤区域的肤质特征进行分析,得到肤质级别,并根据与肤质级别对应的磨皮参数对皮肤区域进行磨皮处理,可以根据人脸的肤质特征自适应选取对应的磨皮参数,提高磨皮效果,使图像的视觉显示效果更好。
[0102] 如图9所示,在一个实施例中,特征提取模块820,包括生成单元822、区间获取单元824、划分单元826及定义单元828。
[0103] 生成单元822,用于生成人脸区域的颜色直方图。
[0104] 区间获取单元824,用于获取颜色直方图的峰值,以及峰值对应的颜色区间。
[0105] 划分单元826,用于根据颜色区间划分皮肤颜色区间。
[0106] 定义单元828,用于将人脸区域中落入皮肤颜色区间的像素点定义为皮肤区域。
[0107] 在本实施例中,可根据人脸区域的颜色直方图获取皮肤区域,可直接根据皮肤区域的肤质特征选取磨皮参数,可减小毛发等对参数的影响,可使选取的磨皮调节参数更为准确,使磨皮效果更好。
[0108] 在一个实施例中,特征提取模块820,除了包括生成单元822、区间获取单元824、划分单元826及定义单元828,还包括边缘检测单元及特征获取单元。
[0109] 边缘检测单元,用于对皮肤区域进行边缘检测,得到皮肤区域的边缘信息及纹理信息。
[0110] 特征获取单元,用于根据边缘信息及纹理信息获取肤质特征。
[0111] 在本实施例中,可通过对皮肤区域进行边缘检测获取肤质特征,可使提取的肤质特征更为准确,方便后续根据人脸的肤质特征自适应选取对应的磨皮参数,可以提高磨皮效果,使图像的视觉显示效果更好。
[0112] 在一个实施例中,处理模块840,包括半径获取单元、区域确定单元、滤波单元、信息提取单元及调整单元。
[0113] 半径获取单元,用于获取与肤质级别对应的窗口半径。
[0114] 区域确定单元,用于根据肤质特征确定皮肤区域的待磨皮区域。
[0115] 滤波单元,用于选取与窗口半径匹配的目标窗口对待磨皮区域进行滤波处理。
[0116] 信息提取单元,用于从与待磨皮区域相邻的区域中提取皮肤信息。
[0117] 调整单元,用于根据皮肤信息对待磨皮区域的像素点进行调整。
[0118] 可选地,信息提取单元,还用于获取与待处理图像对应的目标图像,从目标图像与待磨皮区域对应的区域中提取皮肤信息。
[0119] 调整单元,还用于根据皮肤信息对待磨皮区域的像素点进行调整。
[0120] 在本实施例中,可根据获取的皮肤信息对磨皮处理后的待磨皮区域进行调整,可使磨皮处理后的图像保持有原有的皮肤质感,保留更多的皮肤信息,可使磨皮之后的图像更为真实、自然,图像的视觉显示效果更好。
[0121] 本申请实施例还提供一种计算机设备。上述计算机设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
[0122] 如图10所示,图像处理电路包括ISP处理器1040和控制逻辑器1050。成像设备1010捕捉的图像数据首先由ISP处理器1040处理,ISP处理器1040对图像数据进行分析以捕捉可用于确定和/或成像设备1010的一个或多个控制参数的图像统计信息。成像设备1010可包括具有一个或多个透镜1012和图像传感器1014的照相机。图像传感器1014可包括色彩滤镜阵列(如Bayer滤镜),图像传感器1014可获取用图像传感器1014的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器1040处理的一组原始图像数据。传感器1020(如陀螺仪)可基于传感器1020接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1040。传感器1020接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
[0123] 此外,图像传感器1014也可将原始图像数据发送给传感器1020,传感器1020可基于传感器1020接口类型把原始图像数据提供给ISP处理器1040,或者传感器1020将原始图像数据存储到图像存储器1030中。
[0124] ISP处理器1040按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器1040可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
[0125] ISP处理器1040还可从图像存储器1030接收图像数据。例如,传感器1020接口将原始图像数据发送给图像存储器1030,图像存储器1030中的原始图像数据再提供给ISP处理器1040以供处理。图像存储器1030可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
[0126] 当接收到来自图像传感器1014接口或来自传感器1020接口或来自图像存储器1030的原始图像数据时,ISP处理器1040可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器1030,以便在被显示之前进行另外的处理。ISP处理器
1040还可从图像存储器1030接收处理数据,对上述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器1080,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器
1040的输出还可发送给图像存储器1030,且显示器1080可从图像存储器1030读取图像数据。在一个实施例中,图像存储器1030可被配置为实现一个或多个帧缓冲器。此外,ISP处理器1040的输出可发送给编码器/解码器1070,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器1080设备上之前解压缩。
[0127] ISP处理器1040处理图像数据的步骤包括:对图像数据进行VFE(Video Front End,视频前端)处理和CPP(Camera Post Processing,摄像头后处理)处理。对图像数据的VFE处理可包括修正图像数据的对比度或亮度、修改以数字方式记录的光照状态数据、对图像数据进行补偿处理(如白平衡,自动增益控制,γ校正等)、对图像数据进行滤波处理等。对图像数据的CPP处理可包括对图像进行缩放、向每个路径提供预览帧和记录帧。其中,CPP可使用不同的编解码器来处理预览帧和记录帧。
[0128] ISP处理器1040处理后的图像数据可发送给美颜模块1060,以便在被显示之前对图像进行美颜处理。美颜模块1060对图像数据美颜处理可包括:美白、祛斑、磨皮、瘦脸、祛痘、增大眼睛等。其中,美颜模块1060可为计算机设备中的CPU(Central Processing Unit,中央处理器)、GPU或协处理器等。美颜模块1060处理后的数据可发送给编码器/解码器1070,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器1080设备上之前解压缩。其中,美颜模块1060还可位于编码器/解码器1070与显示器1080之间,即美颜模块对已成像的图像进行美颜处理。上述编码器/解码器1070可为计算机设备中CPU、GPU或协处理器等。
[0129] ISP处理器1040确定的统计数据可发送给控制逻辑器1050单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1012阴影校正等图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备1010的控制参数以及ISP处理器1040的控制参数。例如,成像设备1010的控制参数可包括传感器1020控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜1012控制参数(例如聚焦或变焦用焦距),或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜1012阴影校正参数。
[0130] 在本实施例中,运用图10中图像处理技术可实现上述的图像处理方法。
[0131] 在一个实施例中,提供一种计算机设备,包括存储器及处理器,存储器中存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:
[0132] 对待处理图像进行人脸识别,确定人脸区域;
[0133] 获取人脸区域的皮肤区域,并提取皮肤区域的肤质特征;
[0134] 通过预设的分类模型分析肤质特征,得到肤质级别;
[0135] 获取与肤质级别对应的磨皮参数,并根据磨皮参数对皮肤区域进行磨皮处理。
[0136] 在一个实施例中,提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的图像处理方法。
[0137] 在一个实施例中,提供一种包含计算机程序的计算机程序产品,当其在计算机设备上运行时,使得计算机设备执行时实现上述的图像处理方法。
[0138] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
[0139] 如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
[0140] 以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0141] 以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。