基于线性和贝叶斯概率混合模型的人脸超分辨率处理方法

摘要

本发明涉及一种基于线性和贝叶斯概率混合模型的人脸超分辨率处理方法，由图像采集和图像预处理、人脸图像主成分提取、特征脸超分辨率处理、主成分超分辨率处理和贝叶斯概率修正组成。该人脸超分辨率处理方法采用一种基于线性模型和贝叶斯概率模型的混合模型，首先提取低分辨率人脸图像的主成分分量，利用线性模型通过训练得到低分辨率特征脸的超分辨率结果实现主成分的初步超分辨结果；然后利用贝叶斯概率模型，通过最大后验概率估计对初步超分辨结果进行修正，有效地加强了超分辨率算法对噪声的鲁棒性，提高了超分辨率结果的清晰度。

权利要求

1.基于线性和贝叶斯概率混合模型的人脸超分辨率处理方法，该方法包括：步骤一：图像采集和图像预处理；

使用图像采集设备采集低分辨率人脸图像，并分别读取高分辨率人脸图像训练库和低分辨率人脸图像训练库中的高分辨率人脸图像和低分辨率人脸图像，使用直方图均衡和直方图拉伸的方法分别对采集到的上述三种人脸图像做预处理；

步骤二：人脸图像主成分提取；

对从步骤一中得到低分辨率人脸图像训练库中低分辨率人脸图像的预处理结果进行人脸图像的主成分提取，即提取低分辨率人脸图像特征脸；

其具体步骤如下：

(1)将从步骤一中得到低分辨率人脸图像训练库中低分辨率人脸图像的预处理结果转化成向量，构造总体散布矩阵；

(2)通过奇异值分解的方法，计算总体散布矩阵的特征值和特征向量；

(3)将特征值按照从大到小排序，选择前L个特征值对应的特征向量作为人脸的主成分，即特征脸；

步骤三：人脸图像特征脸的超分辨率处理；

建立线性模型，在线性模型中使用高分辨率人脸图像训练库中的高分辨率人脸图像替代低分辨率人脸图像，即对低分辨率人脸图像特征脸进行超分辨率处理；

其具体步骤如下：

(1)通过奇异值分解的方法，计算训练样本中低分辨率人脸图像的总体散布矩阵的特征向量矩阵：

其中，E为特征向量矩阵，U为训练人脸图像矩阵，V为总体散布矩阵的转置的特征向量矩阵，Λ为特征值矩阵；

(2)将低分辨率的特征脸表示成低分辨率训练图像的线性求和：

其中，eil为低分辨率特征脸，Ul为低分辨率训练人脸图像矩阵，Vl为低分辨率训练人脸图像的总体散布矩阵的转置的特征向量矩阵，Λl为低分辨率训练人脸图像的特征值矩阵，ai为加权系数，ml为低分辨率平均脸向量；

(3)用训练人脸图像库中的高分辨率人脸图像代替和之对应的低分辨率人脸图像，得到对应的低分辨率特征脸的超分辨率处理结果：

其中，为低分辨率特征脸的超分辨率处理结果，Uh为高分辨率训练人脸图像矩阵，mh为高分辨率人脸图像的平均脸向量，ai、Vl、Λl分别为低分辨率人脸图像的参数；

步骤四：人脸图像主成分超分辨率处理；

利用步骤三所得到的低分辨率特征脸的超分辨率处理的结果，对采集的低分辨率人脸图像的主成分进行超分辨率处理，其步骤如下：(1)将采集的低分辨率人脸图像投影于低分辨率人脸图像的主成分上，将该低分辨率人脸图像xl定义为两部分，其中定义为低分辨率人脸图像主成分的线性和，定义为低分辨率人脸图像的其余非主成分部分：

其中，ai为人脸图像主成分线性和中的加权系数，由人脸图像主成分投影得到，L为所选取的加权系数的个数，为低分辨率特征脸，elx为低分辨率人脸图像的其余非主成分部分；

(2)使用特征脸超分辨率处理中所得到的低分辨率特征脸的超分辨率处理结果来计算采集的低分辨率人脸图像的初步超分辨率处理结果：

其中，为低分辨率人脸图像主成分线性和的超分辨率处理结果，为低分辨率特征脸对应的超分辨率处理结果；

步骤五：贝叶斯概率修正；

使用一个最大后验概率的贝叶斯估计器对步骤四中低分辨率人脸图像的其余非主成分部分的超分辨率处理结果进行估计，用该估计值对步骤四中得到的低分辨率人脸图像的初步超分辨率处理结果进行修正，将主成分和非主成分的超分辨率处理结果求和，得到最终人脸图像超分辨率处理结果，具体步骤如下：非主成分部分为：

其满足方程：

其中，ehx是elx超分辨率处理结果的非主成分部分，为低分辨率人脸图像非主成分部分的超分辨率处理结果，Eh表示高分辨率人脸图像的特征向量矩阵，ah表示高分辨率人脸图像的加权系数，H为图像退化矩阵，n为噪声，经过变换进一步得到其满足方程：

其中，表示低分辨率人脸图像的特征向量矩阵的转置；

本发明使用的最大后验概率的贝叶斯估计器：

其中，表示高分辨率人脸图像加权系数的估计值，p(ah)是先验概率，是条件概率；

人脸图像的先验概率被看作一个高斯模型：

其中，Z为归一化系数，Λ是高分辨率人脸图像加权系数ah的协方差矩阵，μa是高分辨率人脸图像加权系数ah的均值；

将F＝Hehx+n看作另一个高斯模型，则F的先验概率为：

其中，Z为归一化系数，K是F的协方差矩阵，μF是F的均值；

K和μF通过训练样本计算得到，最后得到高分辨率人脸图像加权系数的最大后验概率估计为：

则采集低分辨率人脸图像的非主成分部分的超分辨率处理结果为：

Eh通过训练图像库中的高分辨率人脸图像训练得到，而在非主成分部分的超分辨率中，子空间表示的误差可以被忽略，故将作为精确解，将主成分和非主成分的超分辨率处理结果求和，则采集低分辨率图像的最终超分辨率处理结果xh为：

2.根据权利要求1所述的基于线性和贝叶斯概率混合模型的人脸超分辨率处理方法，其特征在于，步骤二中所述的选择前L个特征值对应的特征向量作为人脸的主成分，对于低分辨率人脸图像经过主成分提取处理后共有100个特征值，采用前30个即L＝30作为所选取的特征值的个数。

说明书

技术领域

本发明涉及基于线性和贝叶斯概率混合模型的人脸超分辨率处理方法，属于计算机视觉中的智能监控技术，特别是人脸识别技术。

背景技术

人脸是人类最重要的生物特征之一，反映了很多重要的生物信息，如身份、性别、年龄、种族、表情等等。随着计算机技术的飞速发展，基于人脸图像的计算机视觉和模式识别问题也成为近些年研究的热点问题。其中包括人脸区域检测、人脸识别、人脸表情识别等各类识别问题。但是，受限于设备成本、天气、与事件人脸间的拍摄距离，所拍摄的人脸图像往往由于分辨率过低而难以辨认。而随着人脸图像分辨率的降低，一般的人脸识别算法的识别率将迅速下降。而在许多实际应用中，又往往需要对所拍摄到的低分辨率人脸图像，如监控录像中所拍摄到的人脸图像进行识别。为了提高对低分辨率人脸的识别性能，一般的做法是利用各种常规放大算法，对单幅人脸图像进行简单的放大后再识别。然而，常规放大算法并不能重构出真正体现人脸特征的细节信息，因而对提高识别率并无明显帮助。图像超分辨率处理技术是指由低分辨率图像预测高分辨率图像，人脸图像超分辨率处理技术是图像超分辨率处理技术在人脸上的应用。
目前图像超分辨率处理技术主要有两大类：基于重建的方法和基于学习的方法。
1基于重建的超分辨率处理技术
基于重建的超分辨率处理技术主要又分成两类方法：频域方法和空域方法。频域方法实际上是在频域内解决图像内插问题，其观察模型是基于傅里叶变换的移位特性。空域类方法中，其线性空域观测模型涉及全局和局部运动、光学模糊、帧内运动模糊、空间可变点扩散函数、非理想采样、压缩赝像以及其他一些内容。
2基于学习的超分辨率处理技术
基于学习的方法是一种基于识别先验知识的方法。通过算法去学习识别指定类别，如对象、场景、图像，将得到的识别先验知识用于超分辨率，获得了比传统使用标准平滑先验知识的基于重构的超分辨率方法更好的结果，这就是基于学习的超分辨率方法。
但是基于重建的超分辨率处理技术总是存在对噪声的鲁棒性不高的问题，而基于学习的超分辨率处理技术算法的复杂度又总是偏高。
人脸超分辨率处理技术可以应用在很多领域，如人脸识别等。视频监控中的人脸图像通常比较小，为了更好地识别它们，可以先对它们进行超分辨率放大，然后再进行识别，以及人脸表情分析。有些场景中，如影视片段，人脸图像太小，以至于无法进行表情分析，同样可以先对其进行超分辨率放大，再进行表情分析。由于人们对人脸非常熟悉和敏感，因而对人脸图像超分辨率等算法进行研究是一个有挑战性的课题。

发明内容

本发明的目的在于建立一套人脸图像超分辨率方法，用于对低分辨率人脸图像进行超分辨率恢复，并提高人脸超分辨率系统对噪声的鲁棒性。
为了达到上述目的，本发明的技术解决方案提供了一套人脸图像超分辨率的方法，由图像采集和图像预处理、人脸图像主成分提取、特征脸超分辨率处理、人脸主成分超分辨率处理和贝叶斯概率修正组成。图像采集指人脸图像摄入。图像预处理指图像的尺度归一化和采用灰度均衡和灰度拉伸的灰度归一化。人脸图像主成分提取包括人脸图像主成分的提取和选择，主要通过构造训练图像的总体散布矩阵，然后通过奇异值分解的方法计算总体散布矩阵的特征值和特征向量，按特征值从大到小排序，选择前L个特征值对应的特征向量作为主成分的特征脸，对于低分辨率人脸图像经过主成分提取处理后共有100个特征值，本发明采用前L＝30作为所选取的特征值的个数。特征脸超分辨率处理是将选择出的人脸训练库中的图像的主成分，即特征脸，进行超分辨率处理，主要包括使用线性模型计算特征脸的超分辨率处理结果。人脸主成分超分辨率处理主要指将采集的低分辨率图像的主成分进行超分辨率处理。贝叶斯概率修正是指用一个最大后验概率的贝叶斯估计器修正特征脸超分辨方法中人脸图像的非主成分部分，然后将主成分和非主成分的超分辨率处理结果求和获得低分辨率人脸图像的最终超分辨率处理结果。
本发明是基于线性和贝叶斯概率混合模型的人脸超分辨率方法，本发明的主要特点是在利用线性模型对采集低分辨率人脸图像的主成份进行超分辨率处理的同时，利用贝叶斯模型对采集的低分辨率人脸图像的非主成分进行超分辨率处理，进而达到人脸图像超分辨的目的。本发明所述方法的主要实现步骤如下：
步骤一：图像采集和图像预处理；
使用图像采集设备采集低分辨率人脸图像，并分别读取高分辨率人脸图像训练库和低分辨率人脸图像训练库中的高分辨率人脸图像和低分辨率人脸图像，使用直方图均衡和直方图拉伸的方法分别对采集到的上述三种人脸图像做预处理；
步骤二：人脸图像主成分提取；
对从步骤一中得到低分辨率人脸图像训练库中低分辨率人脸图像的预处理结果进行人脸图像的主成分提取，即提取低分辨率人脸图像特征脸；
步骤三：人脸图像特征脸的超分辨率处理；
主要通过建立线性模型实现，在线性模型中使用高分辨率人脸图像训练库中的高分辨率人脸图像替代低分辨率人脸图像，实现对低分辨率人脸图像特征脸的超分辨率处理；
步骤四：人脸图像主成分超分辨率处理；
利用步骤三所得到的低分辨率人脸图像特征脸的超分辨率处理的结果，对采集的低分辨率人脸图像的主成分进行超分辨率处理；
步骤五：贝叶斯概率修正；
使用一个最大后验概率的贝叶斯估计器对步骤四人脸主成分超分辨中人脸图像的非主成分部分进行修正，得到最终的人脸图像的超分辨率处理结果。
通过以上五个步骤的联合，可以对低分辨率人脸图像进行超分辨率处理。
本发明的优点在于：
(1)本发明采用基于线性和贝叶斯概率混合模型的人脸超分辨率方法，除了采用线性模型外，还采用了贝叶斯概率修正模型；
(2)本发明中混合模型所得到的结果远远优于仅通过线性模型得到的超分辨率处理结果，对噪声的鲁棒性很高，可以在噪声能量较高的情况下恢复出原始的高分辨率人脸图像；
(3)本发明中混合模型所得到的结果远远优于仅通过贝叶斯概率模型得到的超分辨率处理结果，恢复的高分辨率人脸图像与原始高分辨率人脸图像非常相似。

附图说明

图1为本发明人脸图像超分辨率方法的示意图；
图2为本发明低分辨人脸图像的特征脸；
图3为本发明低分辨率人脸图像的特征脸和与其相对应的超分辨率处理结果图像；
图4为本发明人脸图像超分辨率处理结果。

具体实施方式

下面结合附图对本发明做进一步详细说明。
图1所示为本发明基于线性和贝叶斯概率混合模型的人脸超分辨率方法的示意图，本发明所述方法包含如下步骤：
步骤一：图像采集和图像预处理；
使用图像采集设备采集低分辨率人脸图像，并分别读取高分辨率人脸图像训练库和低分辨率人脸图像训练库中的高分辨率人脸图像和低分辨率人脸图像，使用直方图均衡和直方图拉伸的方法分别对采集到的上述三种人脸图像做预处理；
步骤二：人脸图像主成分提取；
对从步骤一中得到低分辨率人脸图像训练库中低分辨率人脸图像的预处理结果进行人脸图像的主成分提取，即提取低分辨率人脸图像特征脸；
其具体步骤如下：
(1)将从步骤一中得到低分辨率人脸图像训练库中低分辨率人脸图像的预处理结果转化成向量，构造总体散布矩阵；
(2)通过奇异值分解的方法，计算总体散布矩阵的特征值和特征向量；
(3)将特征值按照从大到小排序，选择前L个特征值对应的特征向量作为人脸的主成分，即特征脸；
对于低分辨率人脸图像经过主成分提取处理后共有100个特征值，本发明采用前L＝30作为所选取的特征值的个数；
步骤三：人脸图像特征脸的超分辨率处理；
主要通过建立线性模型实现，在线性模型中使用高分辨率人脸图像训练库中的高分辨率人脸图像替代低分辨率人脸图像，实现对低分辨率人脸图像特征脸的超分辨率处理；
其具体步骤如下：
(1)通过奇异值分解的方法，计算训练样本中低分辨率人脸图像的总体散布矩阵的特征向量矩阵：
$E={\mathrm{UV\Lambda }}^{-\frac{1}{2}}$
其中，E为特征向量矩阵，U为训练人脸图像矩阵，V为总体散布矩阵的转置的特征向量矩阵，Λ为特征值矩阵。
(2)将低分辨率的特征脸表示成低分辨率训练图像的线性求和：
$e_i^l=U_l{V}_l{\Lambda }_l^{-\frac{1}{2}}{a}_i+m_l$
其中，为低分辨率特征脸，Ul为低分辨率训练人脸图像矩阵，Vl为低分辨率训练人脸图像的总体散布矩阵的转置的特征向量矩阵，Λl为低分辨率训练人脸图像的特征值矩阵，ai为加权系数，ml为低分辨率平均脸向量，如图2所示。
(3)用训练人脸图像库中的高分辨率人脸图像代替和之对应的低分辨率人脸图像，可以得到对应的低分辨率特征脸的超分辨率处理结果，如图3所示：
$s_i^h=U_h{V}_l{\Lambda }_l^{-\frac{1}{2}}{a}_i+m_h$
其中，为低分辨率特征脸的超分辨率处理结果，Uh为高分辨率训练人脸图像矩阵，mh为高分辨率人脸图像的平均脸向量，ai、Vl、Λl分别为低分辨率人脸图像的参数。
步骤四：人脸图像主成分超分辨率处理；
利用步骤三所得到的人脸图像特征脸的超分辨率处理的结果，对采集的低分辨率人脸图像的主成分进行超分辨率处理，其主要实现步骤如下：
(1)将采集的低分辨率人脸图像投影于低分辨率人脸图像的主成分上，将该低分辨率人脸图像xl定义为两部分，其中定义为低分辨率人脸图像主成分的线性和，定义为低分辨率人脸图像的其余非主成分部分：
$x_l=x_l^1+x_l^2$
$x_l^1=\underset{i=1}{\overset{L}{\Sigma }}{a}_i{e}_i^l+m_l$
$x_l^2=e_{\mathrm{lx}}$
其中，ai为人脸图像主成分线性和中的加权系数，通过如图1中人脸图像主成分投影过程得到，L为所选取的加权系数的个数，为低分辨率特征脸，elx为低分辨率人脸图像的其余非主成分部分。
(2)使用特征脸超分辨率处理中所得到的低分辨率特征脸的超分辨率处理结果来计算采集的低分辨率人脸图像的初步超分辨率处理结果：
$x_h^1=\underset{i=1}{\overset{L}{\Sigma }}{a}_i{s}_i^h+m_h$
其中，为低分辨率人脸图像主成分线性和的超分辨率处理结果，为低分辨率特征脸对应的超分辨率处理结果。
步骤五：贝叶斯概率修正；
使用一个最大后验概率的贝叶斯估计器对步骤四中低分辨率人脸图像的其余非主成分部分的超分辨率处理结果进行估计，用该估计值对步骤四中得到的低分辨率人脸图像的初步超分辨率处理结果进行修正，将主成分和非主成分的超分辨率处理结果求和，得到最终人脸图像超分辨率处理结果，具体步骤完成如下：
非主成分部分为：
$x_l^2=e_{\mathrm{lx}}$
其满足方程：
$x_l^2=e_{\mathrm{lx}}={\mathrm{Hx}}_h^2+n={\mathrm{HE}}_h{a}_h+{\mathrm{He}}_{\mathrm{hx}}+n$
其中，ehx是elx的超分辨率处理结果的非主成分部分，为低分辨率人脸图像非主成分部分的超分辨率处理结果，Eh表示高分辨率人脸图像的特征向量矩阵，ah表示高分辨率人脸图像的加权系数，H为图像退化矩阵，n为噪声，经过变换进一步可得到其满足方程：
$E_l^T{\mathrm{HE}}_h{a}_h+E_l^T{\mathrm{He}}_{\mathrm{hx}}+E_l^{T}n=0$
其中，表示低分辨率人脸图像的特征向量矩阵的转置，计算人脸图像的非主成分部分的超分辨率处理结果只需要解决以上方程，本发明使用的最大后验概率的贝叶斯估计器：
${\hat{a}}_h=\underset{a_h}{\arg \max }\left\{p\left({\hat{a}}_h\right|a_h)p\left(a_h\right)\right\}$
其中，表示高分辨率人脸图像加权系数的估计值，p(ah)是先验概率，是条件概率。
人脸图像的先验概率可以看作一个高斯模型：
$p\left(a_h\right)=\frac{1}{Z}\exp (-{(a_h-{\mu }_a)}^T{\Lambda }^{-1}(a_h-{\mu }_a))$
其中，Z为归一化系数，Λ是高分辨率人脸图像加权系数ah的协方差矩阵，μa是高分辨率人脸图像加权系数ah的均值。同时将F＝Hehx+n看作另一个高斯模型，则F的先验概率为：
$p\left(F\right)=\frac{1}{Z}\exp (-{(F-{\mu }_F)}^T{K}^{-1}(F-{\mu }_F))$
其中，Z为归一化系数，K是F的协方差矩阵，μF是F的均值。K和μF可以通过训练样本计算得到，最后可以得到高分辨率人脸图像加权系数的最大后验概率估计为：
${\hat{a}}_h=\underset{a_h}{\arg \min }\{{({\hat{a}}_h-E_l^T{\mathrm{HE}}_h{a}_h-E_i^T{\mu }_F)}^T$
$Q^{-1}({\hat{a}}_h-E_l^T{\mathrm{HE}}_h{a}_h-E_l^T{\mu }_F)$
$+(a_h-{\mu }_a){\Lambda }^{-1}(a_h-{\mu }_a)\}$
其中，Q是E的转置矩阵乘上F得到的矩阵的协方差矩阵，则采集低分辨率人脸图像的非主成分部分的超分辨率处理结果为：
$x_h^2=E_h{\hat{a}}_h$
Eh可以通过训练图像库中的高分辨率人脸图像训练得到，而在非主成分部分的超分辨中，子空间表示的误差可以忽略，故$x_h^2=E_h{\hat{a}}_h$可看成精确解，将主成分和非主成分的超分辨率处理结果求和，则采集低分辨率图像的最终超分辨率处理结果xh如下：
$x_h=\underset{i=1}{\overset{L}{\Sigma }}{a}_i{s}_i^h+m_h+E_h{\hat{a}}_h$
本发明的训练人脸库采用经典的美国人脸数据库(Facial RecognitionTechnology，简称为FERET)人脸库，随机选取了126张256灰度图像，归一化为40×40的图像作为训练样本库中的高分辨率人脸图像，然后通过降采样得到10×10的低分辨率人脸图像，同时加上高斯噪声(m＝0，σ＝0.1，其中，m为噪声均值，σ为噪声均方差)得到训练样本库中对应的低分辨率人脸图像。对于低分辨率人脸图像经过主成分提取处理后共有100个特征值，本发明采用前L＝30作为所选取的特征值的个数，具体实验结果如图4所示。
图4中，(a)是输入的低分辨率人脸图像，(b)是通过双三次插值得到的高分辨率人脸图像，(c)是仅通过线性模型得到的高分辨率人脸图像，(d)是本发明的通过线性和贝叶斯估计的混合模型所得到的超分辨率人脸图像，(e)是原始的高分辨率人脸图像，从结果可以看出来，混合模型所得到的结果远远优于仅通过线性模型得到的超分辨率处理结果，而且与原始高分辨率人脸图像非常相似。
同时，对比这几种方法所得结果的信噪比如表1所示：
      表1
 信噪比双三次插值线性模型本发明图像112.594415.602517.1287图像212.471117.170318.0258图像312.507817.436117.5645图像413.085118.021719.8149
从表1可见，本发明所使用的基于线性和贝叶斯概率混合模型的人脸超分辨率方法对四种输入的低分辨率人脸图像的信噪比结果均优于其它两种方法，本发明对噪声的鲁棒性较高，可以在噪声能量较高的情况下恢复出原始的高分辨人脸图像。