一种提高人脸图像分辨率的方法和装置

摘要

本发明公开了一种提高人脸图像分辨率的方法和装置，针对一图像提取出第一原始人脸图像；对所述第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像；对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点；对所述第一人脸特征点进行插值处理，获取第一人脸先验信息；对所述第一人脸先验信息和所述第一目标人脸图像进行融合处理，获取具有更高分辨率的第二目标人脸图像。当然，为了获得更高分辨率的图像，也可以对获得的第二目标人脸图像继续提取人脸先验信息，从而获取更高分辨率的人脸图像。该方案充分考虑了人脸先验信息，获得的重建的人脸图像具有更多的细节，能获得较好的重建效果。

权利要求

1.一种提高人脸图像分辨率的方法，其特征在于，所述方法包括：针对一图像提取出具有第一分辨率第一原始人脸图像；

对所述第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像；

对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点；

对所述第一人脸特征点进行插值处理，获取第一人脸先验信息；

对所述第一人脸先验信息和所述第一目标人脸图像进行融合处理，获取具有第二分辨率的第二目标人脸图像，其中，所述第二分辨率高于所述第一分辨率，包括：根据所述第一人脸先验信息和所述第一目标人脸图像提取出第一人脸各局部特征细节信息；

根据所述第一目标人脸图像提取出第一人脸高频细节信息，对所述第一人脸各局部特征细节信息、所述第一人脸高频细节信息和所述第一目标人脸图像进行融合，获取第一高频人脸图像；

将所述第一目标人脸图像和所述第一高频人脸图像合并成所述第二目标人脸图像。

2.如权利要求1所述的方法，其特征在于，在所述获取具有第二分辨率的第二目标人脸图像之后，所述方法还包括：分别对所述第一目标人脸图像和所述第二目标人脸图像进行分辨率放大处理，并对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，对合并处理后的图像进行人脸特征点的提取处理，获取第二人脸特征点；

对所述第二人脸特征点进行插值处理，获取第二人脸先验信息；

对所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合处理，获取具有第三分辨率的第三目标人脸图像，其中，所述第三分辨率高于所述第二分辨率。

3.如权利要求2所述的方法，其特征在于，对所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合处理，获取具有第三分辨率的第三目标人脸图像，包括：根据所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸各局部特征细节信息；

根据进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸高频细节信息；

对所述第二人脸各局部特征细节信息、所述第二人脸高频细节信息进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合，获得所述第三目标人脸图像。

4.如权利要求2所述的方法，其特征在于，在所述获取具有第三分辨率的第三目标人脸图像之后，所述方法还包括：对所述第三目标人脸图像进行分辨率放大处理，获取第四目标人脸图像；

对所述第四目标人脸图像进行人脸特征点的提取处理，获取第三人脸特征点；

对所述第三人脸特征点进行插值处理，获取第三人脸先验信息；

基于所述第三人脸先验信息和所述第四目标人脸图像，获取具有第四分辨率的第五目标人脸图像，其中，所述第四分辨率高于所述第三分辨率。

5.如权利要求4所述的方法，其特征在于，所述基于所述第三人脸先验信息和所述第四目标人脸图像，获取具有第四分辨率的第五目标人脸图像，包括：根据所述第三人脸先验信息和所述第四目标人脸图像提取出第三人脸各局部特征细节信息；

将所述第三人脸各局部特征细节信息和所述第四目标人脸图像合并成所述第五目标人脸图像。

6.一种提高人脸图像分辨率的装置，其特征在于，所述装置包括：第一提取模块，用于针对一图像提取出具有第一分辨率第一原始人脸图像；

第一获取模块，用于对所述第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像；

第二提取模块，用于对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点；

第二获取模块，用于对所述第一人脸特征点进行插值处理，获取第一人脸先验信息；

第三获取模块，用于对所述第一人脸先验信息和所述第一目标人脸图像进行融合处理，获取具有第二分辨率的第二目标人脸图像，其中，所述第二分辨率高于所述第一分辨率，包括：根据所述第一人脸先验信息和所述第一目标人脸图像提取出第一人脸各局部特征细节信息；根据所述第一目标人脸图像提取出第一人脸高频细节信息，对所述第一人脸各局部特征细节信息、所述第一人脸高频细节信息和所述第一目标人脸图像进行融合，获取第一高频人脸图像；将所述第一目标人脸图像和所述第一高频人脸图像合并成所述第二目标人脸图像。

7.如权利要求6所述的装置，其特征在于，所述装置还包括：

第四获取模块，用于在所述获取具有第二分辨率的第二目标人脸图像之后，分别对所述第一目标人脸图像和所述第二目标人脸图像进行分辨率放大处理，并对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，对合并处理后的图像进行人脸特征点的提取处理，获取第二人脸特征点；

第五获取模块，用于对所述第二人脸特征点进行插值处理，获取第二人脸先验信息；

第六获取模块，用于对所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合处理，获取具有第三分辨率的第三目标人脸图像，其中，所述第三分辨率高于所述第二分辨率。

8.如权利要求7所述的装置，其特征在于，所述第六获取模块包括：第三提取子模块，根据所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸各局部特征细节信息；

第四提取子模块，根据进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸高频细节信息；

第二获取子模块，对所述第二人脸各局部特征细节信息、所述第二人脸高频细节信息进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合，获取所述第三目标人脸图像。

9.如权利要求7所述的装置，其特征在于，所述装置还包括：

第七获取模块，用于在所述获取具有第三分辨率的第三目标人脸图像之后，对所述第三目标人脸图像进行分辨率放大处理，获取第四目标人脸图像；

第八获取模块，对所述第四目标人脸图像进行人脸特征点的提取处理，获取第三人脸特征点；

第九获取模块，对所述第三人脸特征点进行插值处理，获取第三人脸先验信息；

第十获取模块，基于所述第三人脸先验信息和所述第四目标人脸图像，获取具有第四分辨率的第五目标人脸图像，其中，所述第四分辨率高于所述第三分辨率。

10.如权利要求9所述的装置，其特征在于，所述第十获取模块包括：第五提取子模块，用于根据所述第三人脸先验信息和所述第四目标人脸图像提取出第三人脸各局部特征细节信息；

第三获取子模块，用于将所述第三人脸各局部特征细节信息和所述第四目标人脸图像合并成所述第五目标人脸图像。

11.一种计算机装置，其特征在于，所述装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-5中任一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述方法的步骤。

说明书

一种提高人脸图像分辨率的方法和装置

技术领域

[0001] 本发明涉及图像处理领域，尤其涉及一种提高人脸图像分辨率的方法和装置。

背景技术

[0002] 图像的超分辨率重建技术指的是从一幅的或多幅低分辨率、低质量图像中产生高分辨率、高质量图像的数字图像处理技术。这里的数字图像的分辨率指的图像的空间分辨率，即是每英寸图像含有的像素点个数，分辨率的单位为dpi(dots per inch)。不难理解，分辨率越大，图像信息量越大，图像也越清晰。而从低分辨率图像中获得更高分辨率图像是一种“无中生有”过程，即从现有的信息量中去估计得到更多的信息量。

[0003] 作为一种无需改善硬件设备,却可显著提高图像质量的方法,超分辨率在视频监控、医学成像、遥感图像等领域中有着广泛的应用前景，例如：(1)视频监控领域：视频中的定格画面和对特定区域的放大显示(例如，识别录像中的汽车)，对目标识别进行分辨率的增强(例如，识别嫌疑犯的面容)；(3)医学图像(CT(Computed Tomography,计算机断层成像)，MRI(Nuclear Magnetic Resonance Imaging，磁共振成像)等)领域：已知若干幅有限分辨率的医学图像，可以获得高分辨率的医学图像；(4)视频标准转换领域：例如，从NTSC(National Television Systems Committee，正交平衡调幅制)视频信号变为HDTV((High Definition Television，高清晰度电视)视频信号。

[0004] 现有技术分为传统方法和基于深度学习的方法。传统方法主要有非均匀插值方法，该是一种最为直观的超分辨率算法。将有亚像素位移的低分辨率图像配准后映射到高分辨率网格上，形成一幅不完全均匀间隔采样网格上的复合图像，将复合图像进行内插和重采样后可得到超分辨率网格上的采样点值，这样得到超分辨率图像的方法即为非均匀插值方法。常用的内插方法有：最邻近插值、双线性插值、双三次插值和自适应插值等。

[0005] 基于深度学习的方法中，2014年的论文《Super Resolution Convolutional Neural Network》的作者是较早地提出使用深度学习做超分辨率的方法。该方法提出的网络结构十分简单，仅仅使用了三个卷积层。该方法对于一个低分辨率图像，先使用双三次插值将其放大到目标大小，再通过三层卷积网络做非线性映射，得到的结果作为高分辨率图像的输出。三个卷积层使用的卷积核的大小分别为9x9,1x1和5x5，前两个的输出特征图的个数分别为64和32。

[0006] 基于非均匀插值方法的缺点是，该类方法重建处理的图像的效果较差，处理后的图像具有锯齿效果，图像较模糊不能满足实际的需求。

[0007] 传统方法和基于深度学习的提高人脸图像分辨率的方法和传统的提高人脸图像分辨率的方法，在进行人脸图像处理时没有考虑人脸先验信息，对于非常极端的低分辨率人脸图像的处理效果差，不能满足用户的实际需求。

发明内容

[0008] 本发明实施例通过提供一种提高人脸图像分辨率的方法和装置，用于解决现有技术中在进行人脸图像处理时没有考虑人脸先验信息，对于非常极端的低分辨率人脸图像的处理效果差，不能满足用户的实际需求的技术问题。

[0009] 第一方面，本发明一实施例提供了一种提高人脸图像分辨率的方法，所述方法包括：

[0010] 针对一图像提取出具有第一分辨率第一原始人脸图像；

[0011] 对所述第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像；

[0012] 对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点；

[0013] 对所述第一人脸特征点进行插值处理，获取第一人脸先验信息；

[0014] 对所述第一人脸先验信息和所述第一目标人脸图像进行融合处理，获取具有第二分辨率的第二目标人脸图像，其中，所述第二分辨率高于所述第一分辨率。

[0015] 可选的，对所述第一人脸先验信息和所述第一目标人脸图像进行融合处理，获取具有第二分辨率的第二目标人脸图像，包括：

[0016] 根据所述第一人脸先验信息和所述第一目标人脸图像提取出第一人脸各局部特征细节信息；

[0017] 根据所述第一目标人脸图像提取出第一人脸高频细节信息；

[0018] 对所述第一人脸各局部特征细节信息、所述第一人脸高频细节信息和所述第一目标人脸图像进行融合，获取第一高频人脸图像；

[0019] 将所述第一目标人脸图像和所述第一高频人脸图像合并成所述第二目标人脸图像。

[0020] 可选的，在所述获取具有第二分辨率的第二目标人脸图像之后，所述方法还包括：

[0021] 分别对所述第一目标人脸图像和所述第二目标人脸图像进行分辨率放大处理，并对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，对合并处理后的图像进行人脸特征点的提取处理，获取第二人脸特征点；

[0022] 对所述第二人脸特征点进行插值处理，获取第二人脸先验信息；

[0023] 对所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合处理，获取具有第三分辨率的第三目标人脸图像，其中，所述第三分辨率高于所述第二分辨率。

[0024] 可选的，对所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合处理，获取具有第三分辨率的第三目标人脸图像，包括：

[0025] 根据所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸各局部特征细节信息；

[0026] 根据进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸高频细节信息；

[0027] 对所述第二人脸各局部特征细节信息、所述第二人脸高频细节信息进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合，获得所述第三目标人脸图像。

[0028] 可选的，在所述获取具有第三分辨率的第三目标人脸图像之后，所述方法还包括：

[0029] 对所述第三目标人脸图像进行分辨率放大处理，获取第四目标人脸图像；

[0030] 对所述第四目标人脸图像进行人脸特征点的提取处理，获取第三人脸特征点；

[0031] 对所述第三人脸特征点进行插值处理，获取第三人脸先验信息；

[0032] 基于所述第三人脸先验信息和所述第四目标人脸图像，获取具有第四分辨率的第五目标人脸图像，其中，所述第四分辨率高于所述第三分辨率。

[0033] 可选的，所述基于所述第三人脸先验信息和所述第四目标人脸图像，获取具有第四分辨率的第五目标人脸图像，包括：

[0034] 根据所述第三人脸先验信息和所述第四目标人脸图像提取出第三人脸各局部特征细节信息；

[0035] 将所述第三人脸各局部特征细节信息和所述第四目标人脸图像合并成所述第五目标人脸图像。

[0036] 第二方面，本发明一实施例提供了一种提高人脸图像分辨率的装置，所述装置包括：

[0037] 第一提取模块，用于针对一图像提取出具有第一分辨率第一原始人脸图像；

[0038] 第一获取模块，用于对所述第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像；

[0039] 第二提取模块，用于对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点；

[0040] 第二获取模块，用于对所述第一人脸特征点进行插值处理，获取第一人脸先验信息；

[0041] 第三获取模块，用于对所述第一人脸先验信息和所述第一目标人脸图像进行融合处理，获取具有第二分辨率的第二目标人脸图像，其中，所述第二分辨率高于所述第一分辨率。

[0042] 可选的，所述第三获取模块包括：

[0043] 第一提取子模块，用于根据所述第一人脸先验信息和所述第一目标人脸图像提取出第一人脸各局部特征细节信息；

[0044] 第二提取子模块，用于根据所述第一目标人脸图像提取出第一人脸高频细节信息；

[0045] 第一获取子模块，用于对所述第一人脸各局部特征细节信息、所述第一人脸高频细节信息和所述第一目标人脸图像进行融合，获取第一高频人脸图像；

[0046] 第一合并子模块，用于将所述第一目标人脸图像和所述第一高频人脸图像合并成所述第二目标人脸图像。

[0047] 可选的，所述装置还包括：

[0048] 第四获取模块，用于在所述获取具有第二分辨率的第二目标人脸图像之后，分别对所述第一目标人脸图像和所述第二目标人脸图像进行分辨率放大处理，并对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，对合并处理后的图像进行人脸特征点的提取处理，获取第二人脸特征点；

[0049] 第五获取模块，用于对所述第二人脸特征点进行插值处理，获取第二人脸先验信息；

[0050] 第六获取模块，用于对所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合处理，获取具有第三分辨率的第三目标人脸图像，其中，所述第三分辨率高于所述第二分辨率。

[0051] 可选的，所述第六获取模块包括：

[0052] 第三提取子模块，根据所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸各局部特征细节信息；

[0053] 第四提取子模块，根据进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸高频细节信息；

[0054] 第二获取子模块，对所述第二人脸各局部特征细节信息、所述第二人脸高频细节信息进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合，获取所述第三目标人脸图像。

[0055] 可选的，所述装置还包括：

[0056] 第七获取模块，用于在所述获取具有第三分辨率的第三目标人脸图像之后，对所述第三目标人脸图像进行分辨率放大处理，获取第四目标人脸图像；

[0057] 第八获取模块，对所述第四目标人脸图像进行人脸特征点的提取处理，获取第三人脸特征点；

[0058] 第九获取模块，对所述第三人脸特征点进行插值处理，获取第三人脸先验信息；

[0059] 第十获取模块，基于所述第三人脸先验信息和所述第四目标人脸图像，获取具有第四分辨率的第五目标人脸图像，其中，所述第四分辨率高于所述第三分辨率。

[0060] 可选的，所述第十获取模块包括：

[0061] 第五提取子模块，用于根据所述第三人脸先验信息和所述第四目标人脸图像提取出第三人脸各局部特征细节信息；

[0062] 第三获取子模块，用于将所述第三人脸各局部特征细节信息和所述第四目标人脸图像合并成所述第五目标人脸图像。

[0063] 第三方面，本发明一实施例提供了一种计算机装置，所述装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如第一方面实施例所述方法的步骤。

[0064] 第四方面，本发明一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一方面实施例所述方法的步骤。

[0065] 本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

[0066] 本发明实施例提供的技术方案充分考虑了人脸先验信息，对于图像质量很差的低分辨率的人脸图像进行分辨率重建，获得的重建的人脸图像具有更多的细节，能获得较好的重建效果。

附图说明

[0067] 图1A为本发明实施例提供的提高人脸图像分辨率的方法的第一流程图；

[0068] 图1B为本发明实施例提供的提高人脸图像分辨率的方法的第二流程图；

[0069] 图1C为本发明实施例提供的提高人脸图像分辨率的方法的第三流程图；

[0070] 图2为本发明实施例提供的提高人脸图像分辨率的方法的示例流程图；

[0071] 图3A为本发明实施例提供的获取的人脸特征点的示意图；

[0072] 图3B为本发明实施例提供的获取的人脸先验信息的示意图；

[0073] 图4为本发明实施例提供的提高人脸图像分辨率的装置的示意图。

具体实施方式

[0074] 为了解决上述技术问题，本发明实施例中的技术方案的总体思路如下：

[0075] 一种提高人脸图像分辨率的方法和装置，针对一图像提取出具有第一分辨率第一原始人脸图像；对所述第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像；对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点；对所述第一人脸特征点进行插值处理，获取第一人脸先验信息；对所述第一人脸先验信息和所述第一目标人脸图像进行融合处理，获取具有第二分辨率的第二目标人脸图像，其中，所述第二分辨率高于所述第一分辨率。当然，为了获得更高分辨率的图像，也可以对获得的第二目标人脸图像继续提取人脸先验信息，从而获取更高分辨率的人脸图像。

[0076] 为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

[0077] 如图1A所示，本发明实施例一提供了一种提高人脸图像分辨率的方法，所述方法包括：

[0078] S101，针对一图像提取出具有第一分辨率第一原始人脸图像。

[0079] S102，对所述第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像。

[0080] S103，对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点。

[0081] S104，对所述第一人脸特征点进行插值处理，获取第一人脸先验信息。

[0082] S105，对所述第一人脸先验信息和所述第一目标人脸图像进行融合处理，获取具有第二分辨率的第二目标人脸图像，其中，所述第二分辨率高于所述第一分辨率。

[0083] 其中，步骤S105具体可以包括：根据所述第一人脸先验信息和所述第一目标人脸图像提取出第一人脸各局部特征细节信息；

[0084] 根据所述第一目标人脸图像提取出第一人脸高频细节信息；

[0085] 对所述第一人脸各局部特征细节信息、所述第一人脸高频细节信息和所述第一目标人脸图像进行融合，获得第一高频人脸图像；

[0086] 将所述第一目标人脸图像和所述第一高频人脸图像合并成所述第二目标人脸图像。

[0087] 在执行完步骤S105后，如果第二目标人脸图像的分辨率满足用户要求，可以不对第二目标人脸图像继续进行处理；如图1B所示，如果需要获得更高分辨率的图像，可以对所述第二目标人脸图像进行如下处理：

[0088] S106，分别对所述第一目标人脸图像和所述第二目标人脸图像进行分辨率放大处理，并对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，对合并处理后的图像进行人脸特征点的提取处理，获取第二人脸特征点。

[0089] S107，对所述第二人脸特征点进行插值处理，获取第二人脸先验信息。

[0090] S108，对所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合处理，获取具有第三分辨率的第三目标人脸图像，其中，所述第三分辨率高于所述第二分辨率。

[0091] 其中，步骤S108具体可以包括：根据所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸各局部特征细节信息；

[0092] 根据进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸高频细节信息；

[0093] 对所述第二人脸各局部特征细节信息、所述第二人脸高频细节信息进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合，获得所述第三目标人脸图像。

[0094] 在执行完步骤S108后，如果第三目标人脸图像的分辨率满足用户要求，可以不对第三目标人脸图像继续进行处理；如图1C所示，如果需要获得更高分辨率的图像，可以对所述第三目标人脸图像进行如下处理：

[0095] S109，对所述第三目标人脸图像进行分辨率放大处理，获取第四目标人脸图像。

[0096] S1010，对所述第四目标人脸图像进行人脸特征点的提取处理，获取第三人脸特征点。

[0097] S1011，对所述第三人脸特征点进行插值处理，获取第三人脸先验信息。

[0098] S1012，基于所述第三人脸先验信息和所述第四目标人脸图像，获取具有第四分辨率的第五目标人脸图像，其中，所述第四分辨率高于所述第三分辨率。

[0099] 其中，步骤S1012具体可以包括：

[0100] 根据所述第三人脸先验信息和所述第四目标人脸图像提取出第三人脸各局部特征细节信息；

[0101] 将所述第三人脸各局部特征细节信息和所述第四目标人脸图像合并成所述第五目标人脸图像。

[0102] 为了更好的理解本发明的上述实施例，对本发明实施例中提供的方法步骤进行如下具体说明，具体可参见图2，图2中包括第一级联网络、第二级联网络和幻象增强网络，其中“↑”表示对输入图像进行2倍的双三次插值，使得输入图像的分辨率放大，“+”表示将两幅图像合成为一幅图像，即对两幅图像中数据点进行叠加，“×”表示两幅图像中相似数据点的相乘。

[0103] 图2中的第一级联网络处理的输入图像为步骤S101中获取的第一原始人脸图像；对于步骤S101，具体地，获得一需要处理的图像，对该图像进行检测，提取出一个人脸图像，计算该人脸图像中的特征点，提取出具有第一分辨率的即需要进行超分辨率重建的第一原始人脸图像，其中，第一分辨率为低分辨率。

[0104] 该第一级联网络的进行图像处理工作步骤包括前述步骤S102-S105，具体如下：

[0105] 对于步骤S102，可以利用2倍的双三次插值方法对第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像。当然，根据实际的应用需要，也可以采用3倍甚至更大倍数的双三次插值方法对第一原始人脸图像进行分辨率放大处理，也可以采用其他的内插方法例如最邻近插值、双线性插值或者自适应插值等方法对第一原始人脸图像进行分辨率放大处理。

[0106] 在获得第一目标人脸图像后，对于步骤S103和步骤S104，具体包括：

[0107] 对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点；对所述第一人脸特征点进行插值处理，获取第一人脸先验信息；具体包括：对所述第一目标人脸图像进行人脸特征点提取处理，提取到第一人脸特征点，对所述第一人脸特征点进行插值后获取第一人脸先验信息，其中，第一人脸先验信息即对所述第一人脸特征点进行插值(例如双三次插值)后获得的人脸各局部特征的掩膜(例如人脸各个区域的人脸特征掩膜)。例如，利用SRCNN(Super-Resolution Using Deep Convolutional Neural Network，超分辨率的深度卷积网络)对第一目标人脸图像进行处理。其中SRCNN处理为端到端的图像处理方法。利用SRCNN对第一目标人脸图像进行处理后，再利用2倍的双三次插值方法对处理后的图像进行分辨率放大后再利用SRCNN进行处理，获得输出的图像。利用DCPN(Deformation Coefficients Prediction Network，变形系数预测网络)计算该输出的图像的人脸的特征点，如图3A所示，即为通过对第一目标人脸图像进行处理获得的第一人脸特征点。根据该第一人脸特征点计算出第一人脸先验信息，第一人脸先验信息如图3B所示，人脸先验信息为人脸的各局部特征(眼睛、鼻子、嘴等局部特征)的掩膜，即为该获得的人脸特征点进行插值得到的人脸各局部特征的掩膜。

[0108] 具体地，对于步骤S105，包括HFBCNN(High Frequency Branch Convolutional Neural Network，高频分支网络)，CBCNN(Common Branch Convolutional Neural Network，基础网络)和FCNN(Fusion Convolutional Neural Network，融合网络)执行的响应的步骤。HFBCNN通过使用第一人脸先验信息和第一目标人脸图像主要提取第一人脸各局部特征细节信息(例如眼睛、鼻子和嘴等局部特征的细节信息)，基础网络从第一目标人脸图像中提取人脸高频细节信息(一般图像的细节信息分为高频和低频，高频细节信息例如是图像中纹理较多的区域的细节信息)，然后通过级联，FCNN(融合网络)对第一目标人脸图像、第一人脸各局部特征的细节信息以及第一高频细节信息进行融合，对融合后的图像、第一人脸各局部特征的细节信息、第一高频细节信息进行如图2所示的第一级联网络中的相乘和叠加计算，获取第一高频人脸图像，然后利用“+”对第一高频人脸图像和第一目标人脸图像进行合并，获得第二目标人脸图像。

[0109] 在获得第二目标人脸图像后，如果第二目标人脸图像的分辨率满足用户要求，可以不对第二目标人脸图像继续进行处理；如果需要获得更高分辨率的图像，可以利用图2中的第二级联模块对所述第二目标人脸图像进行如步骤S106-S108的处理，具体如下：

[0110] 可以利用2倍的双三次插值方法分别对第一目标人脸图像和第二目标人脸图像进行分辨率放大处理；当然，根据实际的应用需要，也可以采用3倍甚至更大倍数的双三次插值方法分别对第一目标人脸图像和第二目标人脸图像进行分辨率放大处理，也可以采用其他的内插方法例如最邻近插值、双线性插值或者自适应插值等方法对第一目标人脸图像和第二目标人脸图像进行分辨率放大处理。

[0111] 然后，对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，对合并处理后的图像进行人脸特征点的提取处理，获取第二人脸特征点；对所述第二人脸特征点进行插值处理，获取第二人脸先验信息，其中，第二人脸先验信息即对所述第二人脸特征点进行插值后获得的人脸各局部特征的掩膜。

[0112] 例如，利用SRCNN对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，获得合并处理后的图像。其中SRCNN处理为端到端的图像处理方法。利用DCPN计算该合并处理后的图像的第二人脸特征点，根据该第二人脸特征点计算出第二人脸先验信息，人脸先验信息为人脸的各局部特征(眼睛、鼻子、嘴等局部特征)的掩膜，即为该获得的人脸特征点进行插值得到的人脸各局部特征的掩膜。其中，第二人脸特征点与第二人脸先验信息的图与图3A和图3B中所示的人脸特征点和人脸先验信息类似，在此不再以图示方式示出。

[0113] 与第一级联网络相同，第二级联网络还包括HFBCNN，CBCNN和FCNN。HFBCNN通过使用第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像，提取第二人脸各局部特征的细节信息(例如眼睛、鼻子和嘴等局部特征的细节信息)。CBCNN从进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像中提取第二高频细节信息(一般图像的细节信息分为高频和低频，高频细节信息例如是图像中纹理较多的区域的细节信息)，然后通过级联，FCNN(融合网络)对进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的第二目标人脸图像、第二人脸各局部特征的细节信息以及第二高频细节信息进行融合，对融合后的图像、第一人脸各局部特征的细节信息、第一高频细节信息进行如图2中第二级联网络所示的相乘和叠加计算，获取第三目标人脸图像。

[0114] 在执行完步骤S108后，如果第三目标人脸图像的分辨率满足用户要求，可以不对第三目标人脸图像继续进行处理；如果需要获得更高分辨率的图像，可以利用图2中的幻象增强网络对所述第三目标人脸图像进行如步骤S109-S1012的处理，具体如下：

[0115] 可以利用2倍的双三次插值方法分别对第三目标人脸图像进行分辨率放大处理，获取第四目标人脸图像；当然，根据实际的应用需要，也可以采用3倍甚至更大倍数的双三次插值方法分别对第三目标人脸图像进行分辨率放大处理，也可以采用其他的内插方法例如最邻近插值、双线性插值或者自适应插值等方法对第三目标人脸图像进行分辨率放大处理。

[0116] 然后，对所述第四目标人脸图像进行人脸特征点的提取，获取第三人脸特征点；对所述第三人脸特征点进行插值处理，获取第三人脸先验信息；第三人脸先验信息即对所述第三人脸特征点进行插值后获得的人脸各局部特征的掩膜。

[0117] 例如，利用SRCNN对第四目标人脸图像进行处理，获得输出图像。其中SRCNN处理为端到端的图像处理方法。利用DCPN计算该输出图像的第三人脸特征点，根据该第三人脸特征点计算出第三人脸先验信息，人脸先验信息为人脸的各局部特征(眼睛、鼻子、嘴等局部特征)的掩膜，即为该获得的人脸特征点进行插值得到的人脸各局部特征的掩膜。

[0118] 该幻象增强网络中还包括HFBCNN。HFBCNN通过使用第三人脸先验信息、和第四目标人脸图像，提取第三人脸各局部特征细节信息(例如眼睛、鼻子和嘴等局部特征的细节信息)。利用“+”合并第三人脸各局部特征细节信息和第四目标人脸图像，获得第五目标人脸图像，该第五目标人脸图像的分辨率高于原始人脸图像。

[0119] 利用本实施例提供的方法能够将分辨率极低的人脸图像重建为分辨率高的具有很多细节的人脸图像。

[0120] 如图4所示，本发明实施例一提供了一种提高人脸图像分辨率的装置，所述装置包括：

[0121] 第一提取模块201，用于针对一图像提取出具有第一分辨率第一原始人脸图像；

[0122] 第一获取模块202，用于对所述第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像；

[0123] 第二提取模块203，用于对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点；

[0124] 第二获取模块204，用于对所述第一人脸特征点进行插值处理，获取第一人脸先验信息；

[0125] 第三获取模块205，用于对所述第一人脸先验信息和所述第一目标人脸图像进行融合处理，获取具有第二分辨率的第二目标人脸图像，其中，所述第二分辨率高于所述第一分辨率。

[0126] 其中，第三获取模块205具体可以包括：

[0127] 第一提取子模块，用于根据所述第一人脸先验信息和所述第一目标人脸图像提取出第一人脸各局部特征细节信息；

[0128] 第二提取子模块，用于根据所述第一目标人脸图像提取出第一人脸高频细节信息；

[0129] 第一获取子模块，用于对所述第一人脸各局部特征细节信息、所述第一人脸高频细节信息和所述第一目标人脸图像进行融合，获取第一高频人脸图像；

[0130] 第一合并子模块，用于将所述第一目标人脸图像和所述第一高频人脸图像合并成所述第二目标人脸图像。

[0131] 该装置还可以包括第四获取模块、第五获取模块和第六获取模块，如果通过第三获取模块205获取的第二目标人脸图像的分辨率满足用户要求，可以不对第二目标人脸图像继续进行处理；如果需要获得更高分辨率的图像，可以通过第四获取模块、第五获取模块和第六获取模块对所述第二目标人脸图像进行如下处理：

[0132] 第四获取模块，用于在所述获取具有第二分辨率的第二目标人脸图像之后，分别对所述第一目标人脸图像和所述第二目标人脸图像进行分辨率放大处理，并对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，对合并处理后的图像进行人脸特征点的提取处理，获取第二人脸特征点；

[0133] 第五获取模块，用于对所述第二人脸特征点进行插值处理，获取第二人脸先验信息；

[0134] 第六获取模块，用于对所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合处理，获取具有第三分辨率的第三目标人脸图像，其中，所述第三分辨率高于所述第二分辨率。

[0135] 其中，第六获取模块具体可以包括：

[0136] 第三提取子模块，根据所述第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸各局部特征细节信息；

[0137] 第四提取子模块，根据进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像提取出第二人脸高频细节信息；

[0138] 第二获取子模块，对所述第二人脸各局部特征细节信息、所述第二人脸高频细节信息进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像进行融合，获取所述第三目标人脸图像。

[0139] 该装置还可以包括第七至第十获取模块，如果第六获取模块获取的第三目标人脸图像的分辨率满足用户要求，可以不对第三目标人脸图像继续进行处理；如果需要获得更高分辨率的图像，可以通过第七至第十获取模块对所述第三目标人脸图像进行如下处理：

[0140] 第七获取模块，用于在所述获取具有第三分辨率的第三目标人脸图像之后，对所述第三目标人脸图像进行分辨率放大处理，获取第四目标人脸图像；

[0141] 第八获取模块，对所述第四目标人脸图像进行人脸特征点的提取处理，获取第三人脸特征点；

[0142] 第九获取模块，对所述第三人脸特征点进行插值处理，获取第三人脸先验信息；

[0143] 第十获取模块，基于所述第三人脸先验信息和所述第四目标人脸图像，获取具有第四分辨率的第五目标人脸图像，其中，所述第四分辨率高于所述第三分辨率。

[0144] 其中，所述第十获取模块可以包括：

[0145] 第五提取子模块，用于根据所述第三人脸先验信息和所述第四目标人脸图像提取出第三人脸各局部特征细节信息；

[0146] 第三获取子模块，用于将所述第三人脸各局部特征细节信息和所述第四目标人脸图像合并成所述第五目标人脸图像。

[0147] 为了更好的理解本发明的上述实施例，对本发明实施例中提供的装置的各模块以及装置的工作原理进行如下具体说明，具体可参见图2，图2中包括第一级联网络、第二级联网络和幻象增强网络，其中“↑”表示对输入图像进行2倍的双三次插值，使得输入图像的分辨率放大，“+”表示将两幅图像合成为一幅图像，即两幅图像中数据点的叠加，“×”表示两幅图像中相似数据点的相乘。

[0148] 图2中的第一级联网络处理的输入图像为通过第一提取模块获取的第一原始人脸图像；对于第一提取模块，具体地，获得一需要处理的图像，第一提取模块对该图像进行检测，提取出一个人脸图像，计算该人脸图像中的特征点，提取出具有第一分辨率的即需要进行超分辨率重建的第一原始人脸图像，其中，第一分辨率为低分辨率。

[0149] 前述第一至第三获取模块和第二提取模块具体可以通过图2中的第一级联网络实现，具体地：

[0150] 第一获取模块可以是2倍的双三次插值模块，可以利用2倍的双三次插值方法对第一原始人脸图像进行分辨率放大处理，获取第一目标人脸图像。当然，根据实际的应用需要，也可以采用3倍甚至更大倍数的双三次插值方法对第一原始人脸图像进行分辨率放大处理，也可以采用其他的内插方法例如最邻近插值、双线性插值或者自适应插值等方法对第一原始人脸图像进行分辨率放大处理。

[0151] 在获得第一目标人脸图像后，第二提取模块对所述第一目标人脸图像进行人脸特征点提取处理，获取第一人脸特征点；第二获取模块对所述第一人脸特征点进行插值处理，获取第一人脸先验信息；具体地，第一提取模块对所述第一目标人脸图像进行人脸特征点提取处理，提取到第一人脸特征点，第二获取模块对所述第一人脸特征点进行插值后获取第一人脸先验信息，其中，第一人脸先验信息即对所述第一人脸特征点进行插值后获得的人脸各局部特征的掩膜。

[0152] 例如，第二提取模块为SRCNN和DPCN，利用SRCNN对第一目标人脸图像进行处理。其中SRCNN处理为端到端的图像处理方法。利用SRCNN对第一目标人脸图像进行处理后，再利用2倍的双三次插值方法对处理后的图像进行分辨率放大后再利用SRCNN进行处理，获得输出的图像。利用DCPN计算该输出的图像的人脸的特征点，如图3A所示，即为通过对第一目标人脸图像进行处理获得的第一人脸特征点。第二获取模块根据该第一人脸特征点计算出第一人脸先验信息，第一人脸先验信息如图3B所示，人脸先验信息为人脸的各局部特征(眼睛、鼻子、嘴等局部特征)的掩膜，即为该获得的人脸特征点进行插值得到的人脸各局部特征的掩膜。

[0153] 具体地，对于第三获取模块，其包括如图2中第一级联网络中的HFBCNN(高频分支网络)，CBCNN(基础网络)和FCNN(融合网络)以及两个“×”处理子模块和两个“+”处理子模块。HFBCNN通过使用第一人脸先验信息和第一目标人脸图像主要提取第一人脸各局部特征细节信息(例如眼睛、鼻子和嘴等局部特征的细节信息)，基础网络从第一目标人脸图像中提取人脸高频细节信息(一般图像的细节信息分为高频和低频，高频细节信息例如是图像中纹理较多的区域的细节信息)，然后通过级联，FCNN(融合网络)对第一目标人脸图像、第一人脸各局部特征的细节信息以及第一高频细节信息进行融合，对融合后的图像、第一人脸各局部特征的细节信息、第一高频细节信息进行如图2所示的第一级联网络中的相乘和叠加计算，获取第一高频人脸图像，然后利用“+”对第一高频人脸图像和第一目标人脸图像进行合并，获得第二目标人脸图像。

[0154] 前述第四至第六获取模块可以通过图2中的第二级联网络实现，如果通过第一级联网络获得的第二目标人脸图像的分辨率满足用户要求，可以不对第二目标人脸图像继续进行处理；如果需要获得更高分辨率的图像，可以利用图2中的第二级联模块对所述第二目标人脸图像进行如下处理，具体如下：

[0155] 可以利用2倍的双三次插值方法分别对第一目标人脸图像和第二目标人脸图像进行分辨率放大处理；当然，根据实际的应用需要，也可以采用3倍甚至更大倍数的双三次插值方法分别对第一目标人脸图像和第二目标人脸图像进行分辨率放大处理，也可以采用其他的内插方法例如最邻近插值、双线性插值或者自适应插值等方法对第一目标人脸图像和第二目标人脸图像进行分辨率放大处理。

[0156] 然后，对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，对合并处理后的图像进行人脸特征点的提取处理，获取第二人脸特征点；对所述第二人脸特征点进行插值处理，获取第二人脸先验信息，其中，第二人脸先验信息即对所述第二人脸特征点进行插值后获得的人脸各局部特征的掩膜。

[0157] 例如，利用SRCNN对进行分辨率放大后的所述第一目标人脸图像和所述第二目标人脸图像进行合并处理，获得合并处理后的图像。其中SRCNN处理为端到端的图像处理方法。利用DCPN计算该合并处理后的图像的第二人脸特征点，根据该第二人脸特征点计算出第二人脸先验信息，人脸先验信息为人脸的各局部特征(眼睛、鼻子、嘴等局部特征)的掩膜，即为该获得的人脸特征点进行插值得到的人脸各局部特征的掩膜。其中，第二人脸特征点与第二人脸先验信息的图与图3A和图3B中所示的人脸特征点和人脸先验信息类似，在此不再以图示方式示出。

[0158] 与第一级联网络相同，第二级联网络还包括HFBCNN，CBCNN和FCNN。HFBCNN通过使用第二人脸先验信息、进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像，提取第二人脸各局部特征的细节信息(例如眼睛、鼻子和嘴等局部特征的细节信息)。CBCNN从进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的所述第二目标人脸图像中提取第二高频细节信息(一般图像的细节信息分为高频和低频，高频细节信息例如是图像中纹理较多的区域的细节信息)，然后通过级联，FCNN(融合网络)对进行分辨率放大后的所述第一目标人脸图像和进行分辨率放大后的第二目标人脸图像、第二人脸各局部特征的细节信息以及第二高频细节信息进行融合，对融合后的图像、第一人脸各局部特征的细节信息、第一高频细节信息进行如图2中第二级联网络所示的相乘和叠加计算，获取第三目标人脸图像。

[0159] 前述第七至第十获取模块可以通过图2中的幻象增强网络实现，如果第三目标人脸图像的分辨率满足用户要求，可以不对第三目标人脸图像继续进行处理；如果需要获得更高分辨率的图像，可以利用图2中的幻象增强网络对所述第三目标人脸图像进行如下处理，具体如下：

[0160] 可以利用2倍的双三次插值方法分别对第三目标人脸图像进行分辨率放大处理，获取第四目标人脸图像；当然，根据实际的应用需要，也可以采用3倍甚至更大倍数的双三次插值方法分别对第三目标人脸图像进行分辨率放大处理，也可以采用其他的内插方法例如最邻近插值、双线性插值或者自适应插值等方法对第三目标人脸图像进行分辨率放大处理。

[0161] 然后，对所述第四目标人脸图像进行人脸特征点的提取，获取第三人脸特征点；对所述第三人脸特征点进行插值处理，获取第三人脸先验信息；第三人脸先验信息即对所述第三人脸特征点进行插值后获得的人脸各局部特征的掩膜。

[0162] 例如，利用SRCNN对第四目标人脸图像进行处理，获得输出图像。其中SRCNN处理为端到端的图像处理方法。利用DCPN计算该输出图像的第三人脸特征点，根据该第三人脸特征点计算出第三人脸先验信息，人脸先验信息为人脸的各局部特征(眼睛、鼻子、嘴等局部特征)的掩膜，即为该获得的人脸特征点进行插值得到的人脸各局部特征的掩膜。

[0163] 该幻象增强网络中还包括HFBCNN。HFBCNN通过使用第三人脸先验信息、和第四目标人脸图像，提取第三人脸各局部特征细节信息(例如眼睛、鼻子和嘴等局部特征的细节信息)。利用“+”合并第三人脸各局部特征细节信息和第四目标人脸图像，获得第五目标人脸图像，该第五目标人脸图像的分辨率高于原始人脸图像。

[0164] 利用本实施例提供的方法能够将分辨率极低的人脸图像重建为分辨率高的具有很多细节的人脸图像。

[0165] 对于本发明实施例一和实施例二中提供的提高人脸图像分辨率的方法和装置，如图2所示，可以根据实际工程应用中对分辨率的要求，可以利用第一级联网络或第二级联网络对原始人脸图像进行处理，或者利用第一级联网络和幻象增强网络对原始人脸图像依次进行处理，或者利用第二级联网络和幻象增强网络对原始人脸图像依次进行处理，或者利用第一级联网络、第二级联网络和幻象增强网络对原始人脸图像依次进行处理。或者，若对分辨率要求很高，可以将第一级联网络、第二级联网络和幻象增强网络中的一个或多个进行重复的级联，对原始人脸图像进行处理，例如将采用一个第一级联网络、两个第二级联网络、一个幻想增强网络级联对原始人脸图像进行处理，其中第一级联网络、第二级联网络和幻象增强网络的数量以及连接关系可以根据实际应用中对图像的分辨率要求来确定。

[0166] 本发明实施例三提供了一种计算机装置，所述装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如实施例一所述方法的步骤。

[0167] 本发明实施例四提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例一所述方法的步骤。

[0168] 上述本发明实施例中的技术方案，至少具有如下的技术效果或优点：

[0169] 本发明实施例提供的技术方案充分考虑了人脸的先验信息，对于图像质量很差的低分辨率的人脸图像进行分辨率重建，获得的重建的人脸图像具有更多的细节，能获得较好的重建效果。

[0170] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

[0171] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。