去除图像中镜片反光的图像处理方法、装置和终端设备

摘要

本申请公开了一种去除图像中镜片反光的图像处理方法、装置和终端设备，其中，去除图像中镜片反光的图像处理方法包括：生成彩色图像和深度图像；基于人脸识别算法，从彩色图像中提取出人脸区域；根据彩色图像和深度图像确定人脸区域中的反光区域；以及对反光区域进行图像修正处理。本申请实施例的去除图像中镜片反光的图像处理方法、装置和终端设备，通过生成彩色图像和深度图像，并基于人脸识别算法，从彩色图像中提取出人脸区域，以及根据彩色图像和深度图像确定人脸区域中的反光区域，并对反光区域进行图像修正处理，能够准确地识别出反光区域，并去除反光区域中的反光，提高图像效果。

权利要求

1.一种去除图像中镜片反光的图像处理方法，其特征在于，包括：生成彩色图像和深度图像；

基于人脸识别算法，从所述彩色图像中提取出人脸区域；

根据所述彩色图像和所述深度图像确定所述人脸区域中的反光区域，其中，获取生成所述深度图像时结构光的强度信息，并根据所述强度信息确定镜片区域，根据所述深度图像从所述镜片区域中获取人眼区域，根据所述镜片区域和所述人眼区域确定所述镜片区域中的非人眼区域，对所述非人眼区域进行高光检测，确定反光区域；以及对所述反光区域进行图像修正处理。

2.如权利要求1所述的方法，其特征在于，生成彩色图像和深度图像，包括：通过图像传感器捕获摄像头所拍摄的彩色图像；

通过结构光传感器获取利用结构光生成的深度图像。

3.如权利要求2所述的方法，其特征在于，通过结构光传感器获取利用结构光生成的深度图像，包括：通过结构光投射器向人脸投射结构光，并通过所述结构光传感器获取经过所述人脸的结构光图像；

对所述结构光图像进行解码处理，以生成所述深度图像。

4.如权利要求3所述的方法，其特征在于，对所述结构光图像进行解码处理，以生成所述深度图像，包括：解码所述结构光图像中变形位置像素对应的相位信息；

将所述相位信息转化为高度信息；

根据所述高度信息生成所述深度图像。

5.如权利要求1所述的方法，其特征在于，对所述反光区域进行图像修正处理，包括：获取所述人脸区域的皮肤特征信息；

根据所述人脸区域的皮肤特征信息对所述反光区域进行图像修正处理。

6.如权利要求1所述的方法，其特征在于，对所述非人眼区域进行高光检测，确定反光区域，包括：获取所述非人眼区域中像素的亮度信息；

当所述非人眼区域中像素的亮度信息大于预设亮度值时，确定所述非人眼区域中的高亮像素；

将所述高亮像素组成的集合作为所述反光区域。

7.如权利要求1所述的方法，其特征在于，还包括：在根据所述深度图像从所述镜片区域中获取人眼区域之后，利用边缘增强算法对所述人眼区域进行锐化处理。

8.一种去除图像中镜片反光的图像处理装置，其特征在于，包括：生成模块，用于生成彩色图像和深度图像；

提取模块，用于基于人脸识别算法，从所述彩色图像中提取出人脸区域；

确定模块，用于根据所述彩色图像和所述深度图像确定所述人脸区域中的反光区域，其中，所述确定模块获取生成所述深度图像时结构光的强度信息，并根据所述强度信息确定镜片区域，根据所述深度图像从所述镜片区域中获取人眼区域，根据所述镜片区域和所述人眼区域确定所述镜片区域中的非人眼区域，对所述非人眼区域进行高光检测，确定反光区域；以及处理模块，用于修正对所述反光区域进行图像修正处理。

9.如权利要求8所述的装置，其特征在于，所述生成模块，用于：通过图像传感器捕获摄像头所拍摄的彩色图像；

通过结构光传感器获取利用结构光生成的深度图像。

10.如权利要求9所述的装置，其特征在于，所述生成模块，用于：通过结构光投射器向人脸投射结构光，并通过所述结构光传感器获取经过所述人脸的结构光图像；

对所述结构光图像进行解码处理，以生成所述深度图像。

11.如权利要求10所述的装置，其特征在于，所述生成模块，用于：解码所述结构光图像中变形位置像素对应的相位信息；

将所述相位信息转化为高度信息；

根据所述高度信息生成所述深度图像。

12.如权利要求8所述的装置，其特征在于，所述处理模块，用于：获取所述人脸区域的皮肤特征信息；

根据所述人脸区域的皮肤特征信息对所述反光区域进行图像修正处理。

13.如权利要求8所述的装置，其特征在于，所述确定模块，用于：获取所述非人眼区域中像素的亮度信息；

当所述非人眼区域中像素的亮度信息大于预设亮度值时，确定所述非人眼区域中的高亮像素；

将所述高亮像素组成的集合作为所述反光区域。

14.如权利要求8所述的装置，其特征在于，所述确定模块，还用于：在根据所述深度图像从所述镜片区域中获取人眼区域之后，利用边缘增强算法对所述人眼区域进行锐化处理。

15.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的去除图像中镜片反光的图像处理方法。

16.一种终端设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的去除图像中镜片反光的图像处理方法。

说明书

去除图像中镜片反光的图像处理方法、装置和终端设备

技术领域

[0001] 本申请涉及信息处理技术领域，尤其涉及一种去除图像中镜片反光的图像处理方法、装置和终端设备。

背景技术

[0002] 随着科技的不断进步，手机的照相功能越发强大，摄像头的像素数也越来越高，图像越来越清晰。人们可以使用手机随时随地的拍照。但是，在人像拍照成像的过程中，眼镜的反光造成的眼部细节丢失一直是难以解决的问题。目前，去除反光技术可包括两类方法，一是在拍照前进行预处理，例如加装偏振片或调整光源、镜片的角度，甚至分别拍摄戴眼镜和不戴眼镜的照片进行合成；二是拍照成像之后，通过后期图像处理去除反光，例如提取图片眼睛区域的蓝色通道与其他通道进行差分处理，消除蓝色反光。第一类方法会让拍摄过程变复杂，而且加装偏振片会降低成像质量。第二类方法难以准确获得正确的眼部区域，由于眼镜反射光斑具有复杂性，光斑的大小、颜色、分布都难以预测，后期处理效率低，成本高。

[0003] 申请内容

[0004] 本申请提供一种去除图像中镜片反光的图像处理方法、装置和终端设备，以解决现有技术中，拍摄人像时眼镜镜片产生反光造成的眼部细节丢失的问题。

[0005] 本申请实施例提供一种去除图像中镜片反光的图像处理方法，包括：生成彩色图像和深度图像；

[0006] 基于人脸识别算法，从所述彩色图像中提取出人脸区域；

[0007] 根据所述彩色图像和所述深度图像确定所述人脸区域中的反光区域；以及[0008] 对所述反光区域进行图像修正处理。

[0009] 可选的，生成彩色图像和深度图像，包括：

[0010] 通过图像传感器捕获摄像头所拍摄的彩色图像；

[0011] 通过结构光传感器获取利用结构光生成的深度图像。

[0012] 可选的，根据所述彩色图像和所述深度图像确定所述人脸区域中的反光区域，包括：

[0013] 获取生成所述深度图像时结构光的强度信息，并根据所述强度信息确定镜片区域；

[0014] 根据所述深度图像从所述镜片区域中获取人眼区域；

[0015] 根据所述镜片区域和所述人眼区域确定所述镜片区域中的非人眼区域；

[0016] 对所述非人眼区域进行高光检测，确定反光区域。

[0017] 可选的，通过结构光传感器获取利用结构光生成的深度图像，包括：

[0018] 通过结构光投射器向人脸投射结构光，并通过所述结构光传感器获取经过所述人脸的结构光图像；

[0019] 对所述结构光图像进行解码处理，以生成所述深度图像。

[0020] 可选的，对所述结构光图像进行解码处理，以生成所述深度图像，包括：

[0021] 解码所述结构光图像中变形位置像素对应的相位信息；

[0022] 将所述相位信息转化为高度信息；

[0023] 根据所述高度信息生成所述深度图像。

[0024] 可选的，对所述反光区域进行图像修正处理，包括：

[0025] 获取所述人脸区域的皮肤特征信息；

[0026] 根据所述人脸区域的皮肤特征信息对所述反光区域进行图像修正处理。

[0027] 可选的，对所述非人眼区域进行高光检测，确定反光区域，包括：

[0028] 获取所述非人眼区域中像素的亮度信息；

[0029] 当所述非人眼区域中像素的亮度信息大于预设亮度值时，确定所述非人眼区域中的高亮像素；

[0030] 将所述高亮像素组成的集合作为所述反光区域。

[0031] 可选的，在根据所述深度图像从所述镜片区域中获取人眼区域之后，利用边缘增强算法对所述人眼区域进行锐化处理。

[0032] 本申请另一实施例提供一种去除图像中镜片反光的图像处理装置，包括：生成模块，用于生成彩色图像和深度图像；

[0033] 提取模块，用于基于人脸识别算法，从所述彩色图像中提取出人脸区域；

[0034] 确定模块，用于根据所述彩色图像和所述深度图像确定所述人脸区域中的反光区域；以及

[0035] 处理模块，用于修正对所述反光区域进行图像修正处理。

[0036] 可选的，所述生成模块，用于：

[0037] 通过图像传感器捕获摄像头所拍摄的彩色图像；

[0038] 通过结构光传感器获取利用结构光生成的深度图像。

[0039] 可选的，所述确定模块，用于：

[0040] 获取生成所述深度图像时结构光的强度信息，并根据所述强度信息确定镜片区域；

[0041] 根据所述深度图像从所述镜片区域中获取人眼区域；

[0042] 根据所述镜片区域和所述人眼区域确定所述镜片区域中的非人眼区域；

[0043] 对所述非人眼区域进行高光检测，确定反光区域。

[0044] 可选的，所述生成模块，用于：

[0045] 通过结构光投射器向人脸投射结构光，并通过所述结构光传感器获取经过所述人脸的结构光图像；

[0046] 对所述结构光图像进行解码处理，以生成所述深度图像。

[0047] 可选的，所述生成模块，用于：

[0048] 解码所述结构光图像中变形位置像素对应的相位信息；

[0049] 将所述相位信息转化为高度信息；

[0050] 根据所述高度信息生成所述深度图像。

[0051] 可选的，所述处理模块，用于：

[0052] 获取所述人脸区域的皮肤特征信息；

[0053] 根据所述人脸区域的皮肤特征信息对所述反光区域进行图像修正处理。

[0054] 可选的，所述确定模块，用于：

[0055] 获取所述非人眼区域中像素的亮度信息；

[0056] 当所述非人眼区域中像素的亮度信息大于预设亮度值时，确定所述非人眼区域中的高亮像素；

[0057] 将所述高亮像素组成的集合作为所述反光区域。

[0058] 可选的，所述确定模块，还用于：

[0059] 在根据所述深度图像从所述镜片区域中获取人眼区域之后，利用边缘增强算法对所述人眼区域进行锐化处理。

[0060] 本申请还一实施例提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本申请第一方面实施例所述的去除图像中镜片反光的图像处理方法。

[0061] 本申请又一实施例提供一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，本申请第一方面实施例所述的去除图像中镜片反光的图像处理方法。

[0062] 本申请实施例提供的技术方案可以包括以下有益效果：

[0063] 通过生成彩色图像和深度图像，并基于人脸识别算法，从所述彩色图像中提取出人脸区域，以及根据所述彩色图像和所述深度图像确定所述人脸区域中的反光区域，并对所述反光区域进行图像修正处理，能够准确地识别出反光区域，并去除反光区域中的反光，提高图像效果。

[0064] 本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

[0065] 本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

[0066] 图1是根据本申请一个实施例的去除图像中镜片反光的图像处理方法的流程图；

[0067] 图2是根据本申请一个实施例的解码结构光图像生成对应的深度图像的流程图；

[0068] 图3是根据本申请一个实施例的结构光测量的场景示意图；

[0069] 图4是根据本申请一个实施例的根据彩色图像和深度图像确定人脸区域中的反光区域的流程图；

[0070] 图5是根据本申请一个实施例的确定镜片区域的场景示意图；

[0071] 图6是根据本申请一个实施例的确定镜片区域和反光区域的场景示意图；

[0072] 图7是根据本申请另一个实施例的根据彩色图像和深度图像确定人脸区域中的反光区域的流程图；

[0073] 图8是根据本申请一个实施例的去除图像中镜片反光的图像处理装置的结构框图；

[0074] 图9是根据本申请一个实施例的终端设备的结构示意图。

具体实施方式

[0075] 下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

[0076] 下面参考附图描述本申请去除图像中镜片反光的图像处理方法、装置和终端设备。

[0077] 图1是根据本申请一个实施例的去除图像中镜片反光的图像处理方法的流程图。

[0078] 如图1所示，该去除图像中镜片反光的图像处理方法包括：

[0079] S101，生成彩色图像和深度图像。

[0080] 目前，移动终端技术日趋强大，人们可以使用智能手机随时随地的拍照。但是，在人像拍照成像的过程中，眼镜的反光造成的眼部细节丢失一直是难以解决的问题。为解决上述问题，本申请提出一种去除图像中镜片反光的图像处理方法。

[0081] 本实施例中，可通过图像传感器捕获摄像头所拍摄的彩色图像，并通过结构光传感器获取利用结构光生成的深度图像。

[0082] 具体地，可通过结构光投射器向人脸投射结构光，并通过结构光传感器获取经过人脸的结构光图像，然后对结构光图像进行解码处理，从而生成对应的深度图像。其中，解码结构光图像生成对应的深度图像的过程，如图2所示，可进一步包括：

[0083] S201，解码结构光图像中变形位置像素对应的相位信息。

[0084] S202，将相位信息转化为高度信息。

[0085] S203，根据高度信息生成深度图像。

[0086] 也就是说，可通过向用户的人脸投射结构光，进行人脸的三维模型的相关信息的采集。其中，结构光为红外光，可以是激光条纹、格雷码、正弦条纹、或者，非均匀散斑等图案。上述图案经过人脸后，可获取到人脸的轮廓和深度信息，如鼻子的高度、脸型等。

[0087] 下面以一种应用广泛的条纹投影技术为例来阐述其具体原理。在使用面结构光投影的时候，如图3所示，通过计算机编程产生正弦条纹，将该正弦条纹通过投影设备投影至被测物，利用摄像头拍摄条纹受物体调制的弯曲程度，解调该弯曲条纹得到相位，再将相位转化为高度。当然其中至关重要的一点就是系统的配准，包括摄像头与投影设备的配准，否则很可能会产生误差。具体地，可将弯曲条纹的相位与参考条纹的相位相减得到相位差，该相位差则表征了被测物相对参考面的高度信息，再代入相位与高度转化公式，从而得到待测物体的三维模型。应当理解的是，在实际应用中，根据具体应用场景的不同，本申请实施例中所采用的结构光除了上述条纹之外，还可是其他任意图案。

[0088] S102，基于人脸识别算法，从彩色图像中提取出人脸区域。

[0089] 具体地，可基于人脸识别算法识别获取人脸在彩色图像中的位置，所占的大小等。通过上述信息提取出人脸区域。

[0090] S103，根据彩色图像和深度图像确定人脸区域中的反光区域。

[0091] 其中，人脸区域中的反光区域为眼镜被光照射时产生反射的区域。

[0092] 在本申请的一个实施例中，如图4所示，根据彩色图像和深度图像确定人脸区域中的反光区域，可进一步包括以下步骤：

[0093] S401，获取生成深度图像时结构光的强度信息，并根据强度信息确定镜片区域。

[0094] S402，根据深度图像从镜片区域中获取人眼区域。

[0095] S403，根据镜片区域和人眼区域确定镜片区域中的非人眼区域。

[0096] S404，对非人眼区域进行高光检测，确定反光区域。

[0097] 具体地，可获取非人眼区域中像素的亮度信息。当非人眼区域中像素的亮度信息大于预设亮度值时，就可以确定出非人眼区域中的高亮像素。然后，将高亮像素组成的集合作为反光区域。

[0098] 如图5所示，利用彩色摄像头拍摄人脸的彩色图像，同时利用红外发射器(结构光投影设备)发出结构光，当红外线(结构光)a1照射到眼镜镜片的时候，部分光线会被镜面反射，部分光线透过眼镜镜片并照射到人眼表面上。而不经过眼镜镜片，直接照射在人脸皮肤上的红外线(结构光)a2，由于没有经过反射，红外传感器(结构光接收器)收到的红外线a2的红外信号更强。两者的强度信息相差比较大，因此，如图6所示，就可以根据红外传感器接收到的红外线的强度信息确定镜片区域A1。结构光同时还能获取人脸的深度信息，识别精度达到毫米级别，因此，可以对红外光进行解码，获得人眼部分的深度图像及其边缘轮廓信息，就可以确定人眼区域A2。而镜片区域A1中，除去人眼区域A2剩下的部分，就是非人眼区域。检测该区域中像素的亮度信息，亮度信息大于预设亮度值的部分，就是反光区域。其中，预设亮度值可根据实际情况设置，因为反光往往是因为接收到的光线更多，因此预设亮度值一定要大于正常曝光时对应的亮度值。

[0099] S104，对反光区域进行图像修正处理。

[0100] 在本申请的一个实施例中，可获取人脸区域的皮肤特征信息，然后根据人脸区域的皮肤特征信息对反光区域进行图像修正处理。例如：可以利用眼镜框周围的人脸皮肤的颜色、亮度等特征补充至反光区域中丢失掉的细节。

[0101] 此外，为了进一步提高修正的效果，如图7所示，还可包括以下步骤：

[0102] S405，在根据深度图像从镜片区域中获取人眼区域之后，利用边缘增强算法对人眼区域进行锐化处理。

[0103] 由于拍照的角度问题，有些反光也会遮挡住人眼区域，导致人眼细节的丢失。为此，可利用边缘增强算法对人眼区域进行锐化处理，从而强化人眼区域的显示效果，弱化反光的影响。

[0104] 本申请实施例的身份验证方法，通过生成彩色图像和深度图像，并基于人脸识别算法，从彩色图像中提取出人脸区域，以及根据彩色图像和深度图像确定人脸区域中的反光区域，并对反光区域进行图像修正处理，能够准确地识别出反光区域，并去除反光区域中的反光，提高图像效果。

[0105] 为了实现上述实施例，本申请还提出了一种去除图像中镜片反光的图像处理装置。

[0106] 图8是根据本申请一个实施例的去除图像中镜片反光的图像处理装置的结构框图。

[0107] 如图8所示，该装置包括生成模块810、提取模块820、确定模块830和处理模块840。

[0108] 其中，生成模块810，用于生成彩色图像和深度图像。

[0109] 提取模块820，用于基于人脸识别算法，从彩色图像中提取出人脸区域。

[0110] 确定模块830，用于根据彩色图像和深度图像确定人脸区域中的反光区域。

[0111] 处理模块840，用于修正对反光区域进行图像修正处理。

[0112] 需要说明的是，前述对去除图像中镜片反光的图像处理方法的解释说明，也适用于本申请实施例的去除图像中镜片反光的图像处理装置，本申请实施例中未公布的细节，在此不再赘述。

[0113] 本申请实施例的去除图像中镜片反光的图像处理装置，通过生成彩色图像和深度图像，并基于人脸识别算法，从彩色图像中提取出人脸区域，以及根据彩色图像和深度图像确定人脸区域中的反光区域，并对反光区域进行图像修正处理，能够准确地识别出反光区域，并去除反光区域中的反光，提高图像效果。

[0114] 为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时能够实现如前述实施例的去除图像中镜片反光的图像处理方法。

[0115] 为了实现上述实施例，本申请还提出了一种终端设备。

[0116] 如图9所示，该终端设备90包括：处理器91、存储器92、及图像处理电路93。

[0117] 其中，存储器92用于存储可执行程序代码；处理器91通过读取存储器92中存储的可执行程序代码，及图像处理电路93对图像进行处理，来实现如前述实施例中的去除图像中镜片反光的图像处理方法。

[0118] S101’，生成彩色图像和深度图像。

[0119] S102’，基于人脸识别算法，从彩色图像中提取出人脸区域。

[0120] S103’，根据彩色图像和深度图像确定人脸区域中的反光区域。

[0121] S104’，对反光区域进行图像修正处理。

[0122] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

[0123] 尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。