一种图像降噪方法、装置、存储介质及终端转让专利

申请号 : CN201910008658.X

文献号 : CN109639982B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 张弓

申请人 : OPPO广东移动通信有限公司

摘要 :

本申请实施例公开了一种图像降噪方法、装置、存储介质及终端。该方法包括确定目标图像中肤色区域的亮度信息;确定所述肤色区域中亮度低于预设亮度阈值的目标子区域,根据所述目标子区域的亮度和所述亮度信息确定目标降噪强度;基于所述目标降噪强度对所述目标子区域进行降噪处理,得到降噪处理后的目标图像。通过采用上述技术方案,基于亮度确定待进行降噪处理的目标子区域,根据目标子区域内每个像素点的亮度与该肤色区域的亮度信息确定降噪强度,基于降噪强度对相应的像素点进行降噪处理,实现基于亮度对肤色区域进行局部降噪的效果,使得肤色区域的噪点分布更加均匀。

权利要求 :

1.一种图像降噪方法,其特征在于,包括:

在由目标图像中的考察区域和脸部皮肤区域构成肤色区域之后,对所述目标图像进行噪声统计,基于统计结果确定所述肤色区域和背景区域的噪声等级,其中,所述考察区域内的像素点与所述脸部皮肤区域内的像素点在亮度和颜色上的偏差小于设定阈值;

在所述肤色区域的噪声等级高于所述背景区域的噪声等级时,触发局部降噪事件;

检测到所述局部降噪事件被触发,确定所述目标图像中肤色区域的亮度信息;

确定所述肤色区域中亮度低于预设亮度阈值的目标子区域,根据所述目标子区域的所述亮度和所述亮度信息确定目标降噪强度;

基于所述目标降噪强度对所述目标子区域进行降噪处理,得到降噪处理后的目标图像。

2.根据权利要求1所述的方法,其特征在于,在确定所述目标图像中肤色区域的亮度信息之前,还包括:获取色亮分离颜色模式的目标图像,对所述目标图像进行人脸识别,确定所述目标图像包含的人脸信息,其中,所述人脸信息包括人脸数量,以及脸部、眉毛、眼睛、鼻子和嘴巴的轮廓信息;

根据所述人脸信息中的所述轮廓信息确定所述目标图像的脸部皮肤区域;

分别获取所述脸部皮肤区域内的每个像素点的亮度和颜色,根据所述亮度和颜色由所述目标图像中确定考察区域;

由所述考察区域和所述脸部皮肤区域构成肤色区域。

3.根据权利要求1所述的方法,其特征在于,在对所述目标图像进行噪声统计,基于统计结果确定所述肤色区域和背景区域的噪声等级之后,还包括:根据所述肤色区域和背景区域的噪声等级确定对所述目标图像进行整体降噪处理的整体降噪强度,基于所述整体降噪强度对所述目标图像进行整体降噪处理。

4.根据权利要求1所述的方法,其特征在于,确定所述肤色区域中亮度低于预设亮度阈值的目标子区域,根据所述目标子区域的所述亮度和所述亮度信息确定目标降噪强度,包括:将所述肤色区域中各个像素点的亮度与预设亮度阈值进行比较,标记亮度低于预设亮度阈值的目标像素点,将所述目标像素点聚类成至少一个目标子区域;

根据每个所述目标子区域内目标像素点的亮度、亮度均值、亮度最大值和亮度最小值确定基于亮度的目标降噪强度。

5.根据权利要求4所述的方法,其特征在于,在基于所述目标降噪强度对所述目标子区域进行降噪处理之前,还包括:在目标图像中包含至少两张人脸时,获取肤色区域的颜色,根据所述颜色确定所述目标图像中肤色区域的第一颜色均值、最大颜色值和最小颜色值;

分别计算每张人脸对应的肤色区域的第二颜色均值;

对于所述第二颜色均值小于所述第一颜色均值的目标肤色区域,根据所述目标肤色区域的颜色、所述第一颜色均值、所述最大颜色值和最小颜色值确定基于颜色的目标降噪强度。

6.根据权利要求5所述的方法,其特征在于,在根据所述目标肤色区域的颜色、所述第一颜色均值、所述最大颜色值和最小颜色值确定基于颜色的目标降噪强度之后,还包括:确定基于亮度的目标降噪强度和所述基于颜色的目标降噪强度的加权运算结果,将所述加权运算结果作为目标降噪强度。

7.根据权利要求1至6中任一项所述的方法,其特征在于,在基于所述目标降噪强度对所述目标子区域进行降噪处理之后,还包括:对降噪处理后的目标图像进行噪声统计,基于统计结果确定所述肤色区域的噪声等级;

判断所述噪声等级是否属于预设噪声区间;

若是,则输出降噪处理后的目标图像;

否则,根据所述噪声等级确定混合权重,基于所述混合权重对目标图像和降噪处理后的目标图像进行混合处理,输出混合处理后的目标图像。

8.一种图像降噪装置,其特征在于,包括:

事件触发模块,用于在由目标图像中的考察区域和脸部皮肤区域构成肤色区域之后,对所述目标图像进行噪声统计,基于统计结果确定所述肤色区域和背景区域的噪声等级,其中,所述考察区域内的像素点与所述脸部皮肤区域内的像素点在亮度和颜色上的偏差小于设定阈值;

在所述肤色区域的噪声等级高于所述背景区域的噪声等级时,触发局部降噪事件;

信息确定模块,用于检测到所述局部降噪事件被触发,确定所述目标图像中肤色区域的亮度信息;

降噪强度确定模块,用于确定所述肤色区域中亮度低于预设亮度阈值的目标子区域,根据所述目标子区域的所述亮度和所述亮度信息确定目标降噪强度;

降噪处理模块,用于基于所述目标降噪强度对所述目标子区域进行降噪处理,得到降噪处理后的目标图像。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的图像降噪方法。

10.一种电子设备,其特征在于,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-7中任一所述的图像降噪方法。

说明书 :

一种图像降噪方法、装置、存储介质及终端

技术领域

[0001] 本申请实施例涉及终端技术领域,尤其涉及一种图像降噪方法、装置、存储介质及终端。

背景技术

[0002] 随着终端技术的快速发展,诸如手机、平板电脑等电子设备均具备了图像采集功能,用户对终端采集的图像的质量要求越来越高。
[0003] 在实际使用过程中,用户通常会使用手机拍照。然而,在不同环境下,拍摄得到的人脸图像的噪点变化较大。例如,在逆光、侧光或者点光源下,拍摄得到的人脸图像的脖子阴影处及鼻翼等区域的噪点较多,进而影响照片的最终呈现效果。相关技术中的降噪方案将人脸当成一个整体,采用相似的降噪强度对人脸进行整体降噪处理。由于人脸图像中的噪点的实际分布并不一致,采用整体降噪方案会导致不同区域的噪点分布不均匀现象,降噪效果并不理想。

发明内容

[0004] 本申请实施例提供一种图像降噪方法、装置、存储介质及终端,可以优化相关技术中的降噪方案。
[0005] 第一方面,本申请实施例提供了一种图像降噪方法,包括:
[0006] 确定目标图像中肤色区域的亮度信息;
[0007] 确定所述肤色区域中亮度低于预设亮度阈值的目标子区域,根据所述目标子区域的所述亮度和所述亮度信息确定目标降噪强度;
[0008] 基于所述目标降噪强度对所述目标子区域进行降噪处理,得到降噪处理后的目标图像。
[0009] 第二方面,本申请实施例还提供了一种图像降噪装置,该装置包括:
[0010] 信息确定模块,用于确定目标图像中肤色区域的亮度信息;
[0011] 降噪强度确定模块,用于确定所述肤色区域中亮度低于预设亮度阈值的目标子区域,根据所述目标子区域的所述亮度和所述亮度信息确定目标降噪强度;
[0012] 降噪处理模块,用于基于所述目标降噪强度对所述目标子区域进行降噪处理,得到降噪处理后的目标图像。
[0013] 第三方面,本申请实施例还提供了本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请任意实施例提供的图像降噪方法。
[0014] 第四方面,本申请实施例提供了一种终端,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,所述处理器执行所述计算机程序时实现如本申请任意实施例提供的图像降噪方法。
[0015] 本申请实施例提供一种图像降噪方案,通过确定目标图像中肤色区域的亮度信息;确定该肤色区域中亮度低于预设亮度阈值的目标子区域,根据该目标子区域的亮度和亮度信息确定目标降噪强度;基于该目标降噪强度对该目标子区域进行降噪处理,得到降噪处理后的目标图像。通过采用上述技术方案,基于亮度确定待进行降噪处理的目标子区域,根据目标子区域内每个像素点的亮度与该肤色区域的亮度信息确定降噪强度,基于降噪强度对相应的像素点进行降噪处理,实现基于亮度对肤色区域进行局部降噪的效果,使得肤色区域的噪点分布更加均匀。

附图说明

[0016] 图1为本申请实施例提供的一种图像降噪方法的流程图;
[0017] 图2为本申请实施例提供的一种图像噪声分布示意图;
[0018] 图3为本申请实施例提供的另一种图像降噪方法的流程图;
[0019] 图4为本申请提供的又一种图像降噪方法的流程图;
[0020] 图5为本申请实施例提供的一种图像降噪装置的结构框图;
[0021] 图6为本申请实施例提供的一种终端的结构示意图;
[0022] 图7为本申请实施例提供的一种智能手机的结构框图。

具体实施方式

[0023] 下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。
[0024] 在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0025] 图1为本申请实施例提供的一种图像降噪方法的流程图,该方法可以适用于拍照场景,包括但不限于拍摄视频或照片,该方法可以由图像降噪装置来执行,该装置可由软件和/或硬件实现,一般可集成在终端中。如图1所示,该方法包括:
[0026] 步骤110、确定目标图像中肤色区域的亮度信息。
[0027] 需要说明的是,本申请实施例中的终端可包括手机、平板电脑、笔记本电脑、计算机等展示图像的电子设备。本申请实施例中的终端内集成有操作系统,本申请实施例中对操作系统的类型不做限定,例如可包括安卓(Android)操作系统、窗口(Windows)操作系统以及苹果(ios)操作系统等等。
[0028] 需要说明的是,亮度信息可以是目标图像的肤色区域中的各个像素点的亮度相关信息。例如,亮度信息可以是肤色区域的亮度均值;亮度信息可以是肤色区域的亮度加权值;亮度信息还可以是肤色区域的亮度最大值;以及,亮度信息还可以是肤色区域的亮度最小值等等。
[0029] 需要说明的是,目标图像可以是通过具有拍摄功能的终端拍摄目标场景得到的图像,还可以是由终端的相册中获取的图像,或者是由互联网平台获取的图像等等。目标图像可以是RGB颜色模式、YUV颜色模式、HSV颜色模式或Lab颜色模式的图像。其中,颜色通常用三个相对独立的属性来描述,三个独立变量综合作用,自然就构成一个空间坐标,这就是颜色模式。颜色模式可分为基色颜色模式和色、亮分离颜色模式,其中,色、亮分离颜色模式用于指示颜色和亮度分离的颜色模式,例如,基色颜色模式包括但不限于RGB颜色模式,色、亮分离颜色模式包括但不限于YUV颜色模式、Lab颜色模式和HSV颜色模式。在YUV颜色模式中Y分量表征亮度,U分量表征颜色,V分量表征浓度,其中,U分量和V分量共同表示图像的色彩。在Lab颜色模式中L分量表征亮度,a和b共同表示色彩。在HSV颜色模式中H分量表征色相,S分量表征饱和度,V分量表征明度,其中,色相是色彩的基本属性,饱和度是指色彩的纯度,明度也就是亮度。在色、亮分离颜色模式的图像中,可分别提取亮度和色彩分量,可对图像进行亮度和色彩中任一方面的处理,示例性的,对亮度进行处理过程中,不会对图像的色彩分量造成任何的影响。
[0030] 本申请实施例中,获取肤色区域内各个像素点的亮度,从而,可以计算得到肤色区域的亮度均值mean_lux。通过比较肤色区域内各个像素点的亮度可以确定亮度最大值max_lux和亮度最小值min_lux。
[0031] 步骤120、确定所述肤色区域中亮度低于预设亮度阈值的目标子区域,根据所述目标子区域的亮度和所述亮度信息确定目标降噪强度。
[0032] 示例性的,获取色亮分离颜色模式的目标图像中肤色区域内的各个像素点,将该肤色区域中各个像素点的亮度与预设亮度阈值进行比较,标记亮度低于预设亮度阈值的目标像素点,将该目标像素点聚类成至少一个目标子区域;根据每个所述目标子区域内目标像素点的亮度、所述亮度均值、所述亮度最大值和所述亮度最小值确定基于亮度的目标降噪强度。
[0033] 需要说明的是,预设亮度阈值是用于筛序肤色区域中需要进行局部降噪处理的目标子区域的门限值,包括但不限于肤色区域的亮度均值、肤色区域的亮度加权值(其中,权重为各个亮度对应的像素点的数量与肤色区域中包含的像素点总数的比值)、肤色区域中亮度高于亮度均值且对应的像素点最多的目标亮度值,或者肤色区域中亮度低于亮度均值且对应的像素点最多的目标亮度值。
[0034] 例如,将肤色区域中各个像素点的亮度与亮度均值进行比较,确定亮度低于亮度均值的目标子区域。对于亮度高于亮度均值的像素点构成的区域不进行额外地局部降噪处理。
[0035] 又如,将肤色区域中各个像素点的亮度与亮度加权值进行比较,确定亮度低于亮度加权值的目标子区域。对于亮度高于亮度加权值的像素点构成的区域不进行额外地局部降噪处理。
[0036] 步骤130、基于所述目标降噪强度对所述目标子区域进行降噪处理,得到降噪处理后的目标图像。
[0037] 示例性的,以基于亮度的目标降噪强度为基准,根据目标降噪强度调整目标像素点,采用相似的方式,分别采用目标子区域内的各个像素点对应的目标降噪强度调整各个目标像素点,实现对目标图像的局部降噪处理,可以有效地抑制逆光、侧光、点光源直射、以及暗光等不理想光线下的人脸噪点的数量,使得人脸区域呈现自然、清晰的画面效果,避免出现传统人脸降噪方案将人脸视为一个整体,对整个人脸区域进行整体降噪处理,而导致处理后的图像中不同区域的噪点不均匀的现象,影响照片的一致性。另外,本申请实施例在单帧图像的基础上,对人脸区域进行降噪处理,具有较高的处理速度,可以避免多帧降噪方案用时较长而影响照片成片成功率和照片出片速度的问题。
[0038] 本申请实施例的技术方案,通过确定目标图像中肤色区域的亮度信息;确定该肤色区域中亮度低于预设亮度阈值的目标子区域,根据该目标子区域的亮度和亮度信息确定目标降噪强度;基于该目标降噪强度对该目标子区域进行降噪处理,得到降噪处理后的目标图像。通过采用上述技术方案,基于亮度确定待进行降噪处理的目标子区域,根据目标子区域内每个像素点的亮度与该肤色区域的亮度信息确定降噪强度,基于降噪强度对相应的像素点进行降噪处理,实现基于亮度对肤色区域进行局部降噪的效果,使得肤色区域的噪点分布更加均匀。
[0039] 图3为本申请实施例提供的另一种图像降噪方法的流程图,该方法包括:
[0040] 步骤301、获取色亮分离颜色模式的目标图像,对所述目标图像进行人脸识别,确定所述目标图像包含的人脸信息。
[0041] 示例性的,对整幅目标图像进行人脸检测,标记脸部特征点,通过脸部特征点确定脸部的轮廓信息、眉毛的轮廓信息、眼睛的轮廓信息、鼻子的轮廓信息和嘴巴的轮廓信息,以及人脸数据。可选的,可以采用人脸框标识出人脸区域。
[0042] 在本申请实施例中,该色亮分离颜色模式的目标图像可以是由摄像头根据拍摄指令拍摄得到的图像,还可以是由摄像头在拍摄指令执行前,采集的呈现在电子设备屏幕上、供用户预览的图像信息。
[0043] 需要说明的是,在获取的图像并非色亮分离颜色模式时,可以采用设定算法将该图像转换为色亮分离颜色模式。以手机为例,基于手机中的图像采集设备采集图像时,所述YUV颜色模式的图像的生成方法,包括:基于图像传感器获取的原始数据,将所述原始数据转换为RGB颜色模式的图像;根据所述RGB颜色模式的图像生成YUV颜色模式的图像。其中,图像采集设备例如可以是摄像头,摄像头中可包括电荷耦合器件(CCD,Charge-coupled Device)图像传感器或互补金属氧化物半导体(CMOS,Complementary Metal Oxide Semiconductor)图像传感器,基于上述CCD图像传感器或CMOS图像传感器将捕捉到的光源信号转化为数字信号的RAW原始数据,基于RAW原始数据转换为RGB颜色模式的图像数据,并进一步转换为YUV颜色模式的图像数据。在手机的图像采集设备中,JPG格式的图像可由YUV颜色模式的图像形成。
[0044] 需要说明的是,由RAW原始数据转换形成的RGB颜色模式的图像数据中的色彩不是图像的真实色彩,无法对此处形成的RGB颜色模式的图像数据进行任何处理,YUV颜色模式的图像数据中形成的色彩为图像的真实色彩,可对该YUV颜色模式的图像数据进行处理。在常用的图像处理时,通常对RGB数据进行处理,其处理过程中对图像传感器采集的原始数据进行如下的颜色模式的转换:对RAW原始数据——RGB颜色模式的图像——YUV颜色模式的图像——RGB颜色模式的图像,对RGB颜色模式的图像进行处理操作,得到处理后的RGB颜色模式的图像,在将处理后的RGB颜色模式的图像转换为YUV颜色模式的图像,可输出得到JPG格式的图像。相应的,当对其他颜色模式的图像进行处理时,均需要经YUV颜色模式的图像进行转换后得到,并将处理后的图像转换为YUV颜色模式的图像后,得到JPG格式的图像。
[0045] 步骤302、根据所述人脸信息中的所述轮廓信息确定所述目标图像的脸部皮肤区域。
[0046] 示例性的,可以根据所述人脸信息中的轮廓信息确定目标图像的脸部皮肤区域。诸如,根据五官的位置坐标确定人脸上的脸部皮肤区域。
[0047] 本申请实施例中,采用人脸识别技术及关键点(代表眉毛、眼睛、嘴巴及脸部轮廓的特征点)标定方式识别出图像中人脸的数量、大小、姿态,以及还识别出脸部区域、五官位置,从而由脸部图像中分割出脸部皮肤区域。可选的,还可以采用人脸识别技术识别出鼻头的位置,基于鼻头坐标取固定长宽的人脸框。基于人脸框选中的区域确定脸部皮肤区域,但是,这种方式并不能精确的确定脸部皮肤区域,可能在噪声统计时引入误差,降低降噪精度。
[0048] 步骤303、分别获取所述脸部皮肤区域内的每个像素点的亮度和颜色,根据所述亮度和颜色由所述目标图像中确定考察区域。
[0049] 示例性的,根据脸部皮肤区域包含的像素点的亮度计算该脸部皮肤区域的亮度均值。以及,根据脸部皮肤区域包含的像素点的颜色计算该脸部皮肤区域的颜色均值。以脸部皮肤区域为基准对相近目标图像区域进行扩展,得到脖子、耳朵、肩膀等于脸部皮肤具有相似亮度和颜色的区域。例如,分别计算脸部皮肤区域的邻域内的像素点的亮度和颜色与上述亮度均值和颜色均值的亮度偏差和颜色偏差。若亮度偏差小于设定亮度阈值,且颜色偏差小于设定颜色阈值,则确定该像素点与脸部皮肤区域内的像素点比较相似。将与脸部皮肤区域内的像素点比较相似的像素点构成的区域标记为考察区域。
[0050] 又如,以人脸框为基准,按照设定比例增加人脸框的面积。获取变化前后的人脸框新增区域的每个新增像素点的亮度和颜色。分别确定每个新增像素点与上述亮度均值的亮度偏差和颜色偏差。在该亮度偏差小于设定亮度阈值时,确定该新增像素点属于考察区域。
[0051] 需要说明的是,按照设定比例增加人脸框的方式有很多种,本申请实施例并不做具体限定。例如,可以沿人脸框的长边和短边向远离质心的方向各延伸10%得到新的人脸框。又如,可以根据像素点的亮度与脸部皮肤区域的平均亮度的差异以及颜色与平均颜色的差异确定沿某一方向延伸5%等等。
[0052] 步骤304、由所述考察区域和所述脸部皮肤区域构成肤色区域。
[0053] 步骤305、对所述目标图像进行噪声统计,基于统计结果确定所述肤色区域和背景区域的噪声等级。
[0054] 在确定脸部皮肤区域之后,将目标图像中除脸部区域之外的剩余区域记为背景区域,包括头发、衣服和饰品等。对所述目标图像进行噪声统计,基于统计结果确定所述肤色区域和背景区域的噪声等级。例如,采用图像噪声估计算法对目标图像进行噪声估计。例如,对目标图像进行分块处理,基于领域相关度(通过计算图像中某个图像块区域内所有像素点与其相邻像素间的差异来反映该块内各像素间的相关程度,简称为块内领域相关度,用块内领域相关度对该图像块的平滑程度进行判别)进行平滑图像块的筛选;再对筛选出的平滑图像块利用SVD(即K-SVD算法,K-奇异值分解算法)进行噪声估计,最后对各平滑图像块的噪声估计值进行比较,确定最大噪声估计值和最小噪声估计值。将最大噪声估计值和最下噪声估计值构成的噪声区间分为N个噪声等级,N为正整数,为系统默认值。噪声等级越高,说明噪声越大。采用相似的方法,分别对肤色区域和背景区域进行噪声估计,得到肤色噪声值与背景噪声值。将肤色噪声值与背景噪声值分别与噪声等级进行匹配,分别确定肤色区域和背景区域的噪声等级。基于上述噪声估计结果确定对目标图像进行整体降噪处理的整体降噪强度,根据该整体降噪强度对目标图像进行整体降噪处理。图2为本申请实施例提供的一种图像噪声分布示意图,如图2所示,黑色区域表示非噪声区域,灰色区域表示噪声区域,由图2所示,噪点集中分布在眉眼边缘220、脸部轮廓230、脖子阴影240及头发边缘210等区域。
[0055] 本申请实施例中,在确定肤色区域和背景区域的噪声等级后,若肤色区域的噪声等级高于背景区域的噪声等级,也就是说肤色区域的噪声大于背景区域的噪声,触发局部降噪事件,以对肤色区域进行额外降噪处理。若肤色区域的噪声小于背景区域的噪声,则对人脸区域进行细节保护。
[0056] 步骤306、根据所述噪声等级确定对所述目标图像进行整体降噪处理的整体降噪强度,基于所述整体降噪强度对所述目标图像进行整体降噪处理。
[0057] 需要说明的是,眼睛、眉毛和嘴巴等五官区域包含较多图像细节信息,不宜对其进行降噪处理。
[0058] 步骤307、判断所述肤色区域的噪声等级是否高于所述背景区域的噪声等级,若是,则执行步骤308,否则执行步骤319。
[0059] 步骤308、触发局部降噪事件。
[0060] 其中,所述局部降噪事件用于指示确定目标图像中肤色区域的亮度信息的操作执行。
[0061] 在目标图像的肤色区域的噪声等级高于背景区域的噪声等级时,触发局部降噪事件。
[0062] 步骤309、检测到局部降噪事件被触发。
[0063] 步骤310、确定目标图像中肤色区域的亮度均值、亮度最大值和亮度最小值。
[0064] 步骤311、将所述肤色区域中各个像素点的亮度与所述亮度均值进行比较,标记亮度低于亮度均值的目标像素点,将所述目标像素点聚类成至少一个目标子区域。
[0065] 本申请实施例中,将肤色区域内的各个像素点的亮度与该肤色区域的亮度均值进行比较,标记亮度低于亮度均值的目标像素点,将该目标像素点聚类成至少一个目标子区域。顺序获取各个目标子区域内的一个目标像素点,根据该目标像素点的亮度in_lux、肤色区域的亮度均值、亮度最大值和亮度最小值计算基于亮度的目标降噪强度。例如,可以采用如下公式计算基于亮度的目标降噪强度L_nr:
[0066] L_nr=(max_lux-min_lux)*(mean_lux-in_lux)/mean_lux    (1)
[0067] 需要说明的是,可以根据上述基于亮度的目标降噪强度对对应的目标像素点进行降噪处理。可以采用上述方式分别计算每个目标子区域内的目标像素点对应的目标降噪强度。
[0068] 例如,目标子区域可以是脖子阴影处或者脸部轮廓处等亮度较低的区域。
[0069] 步骤312、根据每个所述目标子区域内目标像素点的亮度、所述亮度均值、所述亮度最大值和所述亮度最小值确定基于亮度的目标降噪强度。
[0070] 步骤313、判断所述目标图像中的人脸数量是否大于1,若是,则执行步骤314,否则执行步骤318。
[0071] 步骤314、在目标图像中包含至少两张人脸时,获取肤色区域的颜色,根据所述颜色确定所述目标图像中肤色区域的第一颜色均值、最大颜色值和最小颜色值。
[0072] 示例性的,在目标图像中包含至少两张人脸时,分别获取每张人脸包含的像素点的颜色分量,基于加权求和的方式计算肤色区域中各个像素点的颜色。以YUV颜色模式为例,每个像素点的颜色C可以表示为:
[0073]
[0074] 其中,(m,n)属于坐标范围(0,0)到(x,y),表示每张人脸的脸部肤色区域的一个像素点,α和β是设定权重,可以是系统默认值。Umn和Vmn分别表示每张人脸的脸部肤色区域中每个像素点的颜色分量。
[0075] 根据每张人脸的脸部肤色区域中每个像素点的颜色确定目标图像中肤色区域的第一颜色均值、最大颜色值和最小颜色值。
[0076] 步骤315、分别计算每张人脸对应的肤色区域的第二颜色均值。
[0077] 示例性的,基于每张人脸的脸部肤色区域中每个像素点的颜色确定每张人脸的肤色区域的颜色均值,记为第二颜色均值。
[0078] 步骤316、对于所述第二颜色均值小于所述第一颜色均值的目标肤色区域,根据所述目标肤色区域的颜色、所述第一颜色均值、所述最大颜色值和最小颜色值确定基于颜色的目标降噪强度。
[0079] 示例性的,比较第二颜色均值与第一颜色均值,确定平均肤色小于肤色均值的目标肤色区域。顺序获取目标肤色区域内的一个考察像素点,根据该考察像素点的颜色in_col、第一颜色均值mean1_col、最大颜色值max_col和最小颜色值min_col计算基于颜色的目标降噪强度。例如,可以采用如下公式计算基于颜色的目标降噪强度C_nr:
[0080] C_nr=(max_col-min_col)*(mean1_col-in_col)/mean1_col   (3)[0081] 可选的,还可以根据目标肤色区域内的每张人脸对应的肤色区域的第二颜色均值mean2_col、第一颜色均值mean1_col、最大颜色值max_col和最小颜色值min_col计算基于颜色的目标降噪强度。例如,可以采用如下公式计算基于颜色的目标降噪强度C_nr:
[0082] C_nr=(max_col-min_col)*(mean1_col-mean2_col)/mean1_col(4)[0083] 步骤317、确定基于亮度的目标降噪强度和所述基于颜色的目标降噪强度的加权运算结果,将所述加权运算结果作为目标降噪强度。
[0084] 示例性的,采用设定加权系数,对基于亮度的目标降噪强度和基于颜色的目降噪强度进行加权运算,将加权运算结果作为目标降噪强度,即Nr=a*L_nr+bC_nr,其中,a和b为加权系数,为系统默认值。
[0085] 步骤318、基于目标降噪强度对所述目标子区域进行降噪处理,得到降噪处理后的目标图像。
[0086] 示例性的,目标图像中的人脸数量是1张时,采用基于亮度的目标降噪强度L_nr对目标子区域内像素点进行降噪处理,得到降噪处理后的目标图像。
[0087] 若目标图像中的人脸数量至少为2张时,采用加权运算后的目标降噪强度Nr对目标子区域内像素点进行降噪处理,得到降噪处理后的目标图像。
[0088] 步骤319、输出目标图像。
[0089] 本申请实施例的技术方案,在目标图像包含至少2张人脸时,分别统计每张人脸的颜色范围,计算整幅目标的人脸颜色均值、每张人脸的人脸颜色均值,颜色最大值和颜色最小值,从而,基于人脸颜色均值、颜色最大值和颜色最小值确定基于颜色的目标降噪强度;确定基于亮度的目标降噪强度和基于颜色的目标降噪强度的加权运算结果,将该加权运算结果作为目标降噪强度。采用上述技术方案,可以根据每张人脸的肤色深浅和肤色亮度将肤色区域划分为不同的子区域,为不同的子区域确定不同的目标降噪强度,实现对肤色较深、亮度较低的区域采用较大的目标降噪强度,对肤色较浅,亮度较高的区域采用较小的目标降噪强度,从而,有效的减少深肤色区域、脖子阴影、脸部轮廓等暗光区域的噪点。
[0090] 在一些实施例中,在基于所述目标降噪强度对所述目标子区域进行降噪处理之后,还包括:对降噪处理后的目标图像进行噪声统计,基于统计结果确定所述肤色区域的噪声等级;判断所述噪声等级是否属于预设噪声区间;若是,则输出降噪处理后的目标图像;否则,根据所述噪声等级确定混合权重,基于所述混合权重对目标图像和降噪处理后的目标图像进行混合处理,输出混合处理后的目标图像。图4为本申请提供的又一种图像降噪方法的流程图,在获取原始目标图像origin_pic后,选定降噪区域。例如,对原始目标图像origin_pic进行人脸检测、关键点、边缘标记以及肤色区域选择等操作,确定脸部肤色区域,以及确定包含耳朵、肩膀和脖子等与脸部肤色相近的考察区域,将脸部肤色区域和考察区域标记为肤色区域,该肤色区域即为降噪区域。对目标图像进行噪声估计,确定整体降噪强度。基于整体降噪强度对脸部整体进行降噪处理。在基于皮肤的亮度和皮肤的颜色对肤色区域进行局部降噪处理得到降噪后的目标图像NR_pic。确定NR_pic中肤色区域的噪声等级,在该噪声等级不属于预设噪声区间时,获取原始目标图像origin_pic以及降噪处理后的目标图像NR_pic。基于NR_pic的肤色区域的噪声等级确定混合权重blend_percent(0≤blend_percent≤100),最终输出的目标图像中的每个像素点是origin_pic和NR_pic基于blend_percent的混合值(即blend_percent*NR_pic+(1-blend_percent)*origin_pic)。这样设计的好处在于,在肤色区域进行局部降噪处理后的噪声等级不在预设噪声区间时(可能是降噪过渡可丢失一些细节信息),根据降噪处理后的肤色区域的噪声等级确定混合权重,并基于该混合权重对原始的目标图像和降噪处理后的目标图像进行混合处理,以动态调整目标图像的噪点分布,使最终的目标图像中的噪点分布更加均匀,呈现更自然、清晰的目标图像。
[0091] 需要说明的是,可以将本申请实施例的技术方案加入至ISP(Image  Signal Processing,图像信号处理)的中间流程或最后流程,以优化照片拍摄效果。可选的,还可以将本申请实施例的技术方案与多帧降噪技术结合使用,实现对随机噪点和暗处降噪场景下具有更好的降噪效果。
[0092] 图5为本申请实施例提供的一种图像降噪装置的结构框图,该装置可由软件和/或硬件实现,一般集成在终端中,可以通过执行图像降噪方法有效地抑制因为逆光、侧光、点光源直射、暗光等不理想光线下的人脸噪点,呈现更加清晰、自然的人脸图像。如图5所示,该装置包括:
[0093] 信息确定模块510,用于确定目标图像中肤色区域的亮度信息;
[0094] 降噪强度确定模块520,用于确定所述肤色区域中亮度低于预设亮度阈值的目标子区域,根据所述目标子区域的所述亮度和所述亮度信息确定目标降噪强度;
[0095] 降噪处理模块530,用于基于所述目标降噪强度对所述目标子区域进行降噪处理,得到降噪处理后的目标图像。
[0096] 本申请实施例提供一种图像降噪装置,通过确定该肤色区域中亮度低于预设亮度阈值的目标子区域,根据该目标子区域的亮度和亮度信息确定目标降噪强度;基于该目标降噪强度对该目标子区域进行降噪处理,得到降噪处理后的目标图像。通过采用上述技术方案,基于亮度确定待进行降噪处理的目标子区域,根据目标子区域内每个像素点的亮度与该肤色区域的亮度信息确定降噪强度,基于降噪强度对相应的像素点进行降噪处理,实现基于亮度对肤色区域进行局部降噪的效果,使得肤色区域的噪点分布更加均匀。
[0097] 可选的,还包括肤色区域,该肤色区域用于:
[0098] 在确定目标图像中肤色区域的亮度信息之前,获取色亮分离颜色模式的目标图像,对所述目标图像进行人脸识别,确定所述目标图像包含的人脸信息,其中,所述人脸信息包括人脸数量,以及脸部、眉毛、眼睛、鼻子和嘴巴的轮廓信息;
[0099] 根据所述人脸信息中的所述轮廓信息确定所述目标图像的脸部皮肤区域;
[0100] 分别获取所述脸部皮肤区域内的每个像素点的亮度和颜色,根据所述亮度和颜色由所述目标图像中确定考察区域,其中,所述考察区域内的像素点与所述脸部皮肤区域内的像素点在亮度和颜色上的偏差小于设定阈值;
[0101] 由所述考察区域和所述脸部皮肤区域构成肤色区域。
[0102] 可选的,还包括事件触发模块,该事件触发模块用于:
[0103] 在由所述考察区域和所述脸部皮肤区域构成肤色区域之后,对所述目标图像进行噪声统计,基于统计结果确定所述肤色区域和背景区域的噪声等级;
[0104] 在所述肤色区域的噪声等级高于所述背景区域的噪声等级时,触发局部降噪事件,其中,所述局部降噪事件用于指示确定目标图像中肤色区域的亮度信息的操作执行。
[0105] 可选的,还包括整体降噪模块,该整体降噪模块用于:
[0106] 在对所述目标图像进行噪声统计,基于统计结果确定所述肤色区域和背景区域的噪声等级之后,根据所述噪声等级确定对所述目标图像进行整体降噪处理的整体降噪强度,基于所述整体降噪强度对所述目标图像进行整体降噪处理。
[0107] 可选的,降噪强度确定模块520具体用于:
[0108] 将所述肤色区域中各个像素点的亮度与预设亮度域值进行比较,标记亮度低于预设亮度阈值的目标像素点,将所述目标像素点聚类成至少一个目标子区域;
[0109] 根据每个所述目标子区域内目标像素点的亮度、所述亮度均值、所述亮度最大值和所述亮度最小值确定基于亮度的目标降噪强度。
[0110] 可选的,还包括颜色信息确定模块,该颜色信息确定模块用于:
[0111] 在基于所述目标降噪强度对所述目标子区域进行降噪处理之前,在目标图像中包含至少两张人脸时,获取肤色区域的颜色,根据所述颜色确定所述目标图像中肤色区域的第一颜色均值、最大颜色值和最小颜色值;
[0112] 分别计算每张人脸对应的肤色区域的第二颜色均值;
[0113] 对于所述第二颜色均值小于所述第一颜色均值的目标肤色区域,根据所述目标肤色区域的颜色、所述第一颜色均值、所述最大颜色值和最小颜色值确定基于颜色的目标降噪强度。
[0114] 可选的,还包括:
[0115] 加权运算模块,用于在根据所述目标肤色区域的颜色、所述第一颜色均值、所述最大颜色值和最小颜色值确定基于颜色的目标降噪强度之后,确定基于亮度的目标降噪强度和所述基于颜色的目标降噪强度的加权运算结果,将所述加权运算结果作为目标降噪强度。
[0116] 可选的,还包括图像混合模块,该图像混合模块用于:
[0117] 在基于所述目标降噪强度对所述目标子区域进行降噪处理之后,对降噪处理后的目标图像进行噪声统计,基于统计结果确定所述肤色区域的噪声等级;
[0118] 判断所述噪声等级是否属于预设噪声区间;
[0119] 若是,则输出降噪处理后的目标图像;
[0120] 否则,根据所述噪声等级确定混合权重,基于所述混合权重对目标图像和降噪处理后的目标图像进行混合处理,输出混合处理后的目标图像。
[0121] 本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行图像降噪方法,该方法包括:
[0122] 检测到局部降噪事件被触发;
[0123] 确定目标图像中肤色区域的亮度信息,其中,所述亮度信息包括亮度均值、亮度最大值和亮度最小值;
[0124] 确定所述肤色区域中亮度低于亮度均值的目标子区域,根据所述目标子区域的亮度和所述亮度信息确定目标降噪强度;
[0125] 基于所述目标降噪强度对所述目标子区域进行降噪处理,得到降噪处理后的目标图像。
[0126] 存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDR RAM、SRAM、EDO RAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中,或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
[0127] 当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的图像降噪操作,还可以执行本申请任意实施例所提供的图像降噪方法中的相关操作。
[0128] 本申请实施例提供了一种终端,该终端中可集成本申请实施例提供的图像降噪装置。图6为本申请实施例提供的一种终端的结构示意图。如图6所示,该终端包括存储器610及处理器620。所述存储器610,用于存储计算机程序;所述处理器620读取并执行所述存储器610中存储的计算机程序。所述处理器620在执行所述计算机程序时实现以下步骤:确定目标图像中肤色区域的亮度信息;确定所述肤色区域中亮度低于预设亮度域值的目标子区域,根据所述目标子区域的亮度和所述亮度信息确定目标降噪强度;基于所述目标降噪强度对所述目标子区域进行降噪处理,得到降噪处理后的目标图像。
[0129] 上述示例中列举的存储器及处理器均为终端的部分元器件,所述终端还可以包括其它元器件。以智能手机为例,说明上述终端可能的结构。图7为本申请实施例提供的一种智能手机的结构框图。如图7所示,该智能手机可以包括:存储器701、中央处理器(Central Processing Unit,CPU)702(又称处理器,以下简称CPU)、外设接口703、RF(Radio Frequency,射频)电路705、音频电路706、扬声器711、触摸屏712、电源管理芯片708、输入/输出(I/O)子系统709、其他输入/控制设备710以及外部端口704,这些部件通过一个或多个通信总线或信号线707来通信。
[0130] 应该理解的是,图示智能手机700仅仅是终端的一个范例,并且智能手机700可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
[0131] 下面就本实施例提供的集成有图像降噪装置的智能手机进行详细的描述。
[0132] 存储器701,所述存储器701可以被CPU702、外设接口703等访问,所述存储器701可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0133] 外设接口703,所述外设接口703可以将设备的输入和输出外设连接到CPU702和存储器701。
[0134] I/O子系统709,所述I/O子系统709可以将设备上的输入输出外设,例如触摸屏712和其他输入/控制设备710,连接到外设接口703。I/O子系统709可以包括显示控制器7091和用于控制其他输入/控制设备710的一个或多个输入控制器7092。其中,一个或多个输入控制器7092从其他输入/控制设备710接收电信号或者向其他输入/控制设备710发送电信号,其他输入/控制设备710可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮。值得说明的是,输入控制器7092可以与以下任一个连接:键盘、红外端口、USB接口以及诸如鼠标的指示设备。
[0135] 触摸屏712,所述触摸屏712是用户终端与用户之间的输入接口和输出接口,将可视输出显示给用户,可视输出可以包括图形、文本、图标、视频等。
[0136] I/O子系统709中的显示控制器7091从触摸屏712接收电信号或者向触摸屏712发送电信号。触摸屏712检测触摸屏上的接触,显示控制器7091将检测到的接触转换为与显示在触摸屏712上的用户界面对象的交互,即实现人机交互,显示在触摸屏712上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是,设备还可以包括光鼠,光鼠是不显示可视输出的触摸敏感表面,或者是由触摸屏形成的触摸敏感表面的延伸。
[0137] RF电路705,主要用于建立手机与无线网络(即网络侧)的通信,实现手机与无线网络的数据接收和发送。例如收发短信息、电子邮件等。具体地,RF电路705接收并发送RF信号,RF信号也称为电磁信号,RF电路705将电信号转换为电磁信号或将电磁信号转换为电信号,并且通过该电磁信号与通信网络以及其他设备进行通信。RF电路705可以包括用于执行这些功能的已知电路,其包括但不限于天线系统、RF收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC(COder-DECoder,编译码器)芯片组、用户标识模块(Subscriber Identity Module,SIM)等等。
[0138] 音频电路706,主要用于从外设接口703接收音频数据,将该音频数据转换为电信号,并且将该电信号发送给扬声器711。
[0139] 扬声器711,用于将手机通过RF电路705从无线网络接收的语音信号,还原为声音并向用户播放该声音。
[0140] 电源管理芯片708,用于为CPU702、I/O子系统及外设接口所连接的硬件进行供电及电源管理。
[0141] 本申请实施例提供的终端,可以基于亮度确定待进行降噪处理的目标子区域,根据目标子区域内每个像素点的亮度与该肤色区域的亮度最大值和亮度最小值确定降噪强度,基于降噪强度对相应的像素点进行降噪处理,实现基于亮度对肤色区域进行局部降噪的效果,使得肤色区域的噪点分布更加均匀。
[0142] 上述实施例中提供的图像降噪装置、存储介质及终端可执行本申请任意实施例所提供的图像降噪方法,具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的图像降噪方法。
[0143] 注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。