本发明提出了一种基于标记传播与邻域保持嵌入的人脸表情识别方法，同时考虑了已标记的人脸表情图像的邻域结构与全局特征。首先，运用标准的标记传播方法获得人脸表情图像的传播类标记矩阵，然后，使用邻域保持嵌入（NPE）得到人脸表情图像在低维空间的流形结构，最后，在新的流形特征空间中考虑图像间的邻域结构信息更新传播类标记矩阵，依据更新后的类标记矩阵对表情图像进行识别。由于更新后的类标记矩阵考虑了人脸表情图像的流形特征及邻域结构特征，因此，比传播类标记矩阵更准确地描述了人脸表情图像的特征结构，从而获得较高的人脸表情识别效果。
1.一种基于标记传播与邻域嵌入保持的人脸表情识别方法，其特征是，具体步骤如下：步骤1.利用已标记及未标记人脸表情图像，构建图像初始类标记矩阵所述步骤1是指：假设人脸表情图像集X由两部分组成，即 其中，Xl＝{x1,x2,…,xl}表示有类标的l个人脸表情图像组成的集合,l为正整数，Xu＝{xl+1,…,xn}表示无类标的n-l个人脸表情图像组成的集合，n为大于l的正整数，u也是正整数，它的取值范围是(l+1)≤u≤n；任意一个人脸表情图像xi∈Xl被标记为ti∈Γ(1≤i≤l)，其中，i为正整数，Γ＝{1,…c}为类标记集合，c表示人脸表情图像表情类别的个数；
依据给定的标记及未标记的人脸表情图像定义人脸表情图像初始类标记矩阵 对于已标记人脸表情图像xi，如果标记ti＝j，j∈Γ，则 否则 其中 表示矩阵 的第i行第j列元素；如果人脸表情图像xi为未标记人脸表情图像，则j∈Γ；矩阵 的大小为n×c，n行c列矩阵；
步骤2.使用标记传播方法及步骤1中得到的图像初始类标记矩阵 计算所有人脸表情图像的传播类标记矩阵所述步骤2是指：根据步骤1中得到的初始类标记矩阵 及标记传播方法计算人脸表情图像的传播类标记矩阵 首先构造近邻图G＝(v,e)，其中G的顶点表示人脸表情图像，v表示顶点集合，e表示边集合；当且仅当人脸表情图像xj是人脸表情图像xi的k近邻，k＝5时，构造边eij将xj与xi连接；给近邻图的每条边eij赋予一个权重，其定义如下：-1/2 -1/2
其中σ为调节参数σ＝1，sij为边eij的权重；定义正则拉普拉斯矩阵L＝D SD ，其中D为对角矩阵，其对角元素定义为：dii为对角矩阵D的第i行第i列元素；i为正整数，且1≤i≤n；假定矩阵 表示人脸表情图像集的n×c类标记矩阵；定义关于 的代价函数：其中γ为调节公式(3)右侧两项作用的参数，γ＝0.5； 表示 的第i行， 表示的第j行， 表示 的第i行；djj为对角矩阵D的第j行第j列元素，j为正整数，且
1≤j≤n； 是以 为参数的函数，n为所有图像的个数；
根据 得到 即(3)所表示问题的解； 为依据标记传播方法得到的人脸表情图像的传播类标记矩阵；
步骤3.使用邻域保持嵌入方法将所有人脸表情图像映射到低维空间，得到人脸表情图像的低维流形结构；
所述步骤3是指：找到一个最优投影转换矩阵将高维空间中的人脸表情图像xi转换成D d低维空间中的人脸表情图像yi(xi∈R,yi∈R,D＞d)，D为原图像维数，d为降维后的低D维空间维数，R 表示D维实数空间；其方法为：首先最小化目标函数(4)，求出系数矩阵w；
根据系数矩阵w，最小化目标函数(5)，求出人脸表情图像xi在低维空间中对应的人脸表情图象yi：T
(5)中Ω＝(I-w)(I-w)及I＝diag(1,…,1)为对角元素为1的矩阵；
Ω为n×n矩阵，wij为系数矩阵w的第i行第j列元素，I为n×n的对角元素为1的矩阵；η(w)为以w为参数的函数，X为以所有图像为列组成的矩阵；目标函数(5)转化为T T求解XΩXα＝λXXα的特征向量；设求得的行特征向量α0,α1,…,αd-1，d为小于D的整数，按特征值从小到大排列；通过(6)得到人脸表情图像xi在低维空间中对应的人脸表情图像yi：T
其中，A＝(α0,α1,…,αd-1)，A是转换矩阵；
步骤4.在低维流形结构中，获取未标记人脸表情图像的重构系数矩阵，并根据重构系数矩阵及步骤2中得到的所有人脸表情图像的传播类标记矩阵 计算得到图像最终类标记矩阵所述步骤4是指：定义目标函数(7)，通过最小化目标函数(7)得到d维空间中未标记* *人脸表情图像的重构系数矩阵w，w 是nu×n的矩阵；
(7)中的求和 表示对集合N(yi)中的每个元素求和；其中η(w)是以w为参数的函数，nu表示未标记人脸表情图像的数量，yi表示人脸表情图像，N(yi)表示人脸表情图像yi的k近邻集合，k＝5； 表示第i个未标记人脸表情图像与其第j个近邻间的重构系数；如果人脸表情图像yj不属于人脸表情图像yi的k近邻集合，则 通过求*解公式(7)得到w 后，结合步骤2中得到的所有人脸表情图像的传播类标记矩阵 根据公式(8)计算未标记人脸表情图像的最终类标记矩阵步骤5.依据步骤4中得到的最终类标记矩阵 对未标记人脸表情图像进行识别；所述步骤5是指：按照公式(9)对未标记人脸表情图像xi的类别ti(xi)进行识别；
一种基于标记传播与邻域嵌入保持的人脸表情识别方法
技术领域
[0001] 本发明涉及一种基于标记传播与邻域嵌入保持的人脸表情识别方法，属于图像识别技术领域。
背景技术
[0002] 人脸表情主要分为高兴、生气、恐惧、厌恶、中性、悲伤和惊讶七种，自动识别人脸表情具有重要研究及应用价值。近年来，研究人员提出了多种人脸表情自动识别方法，如双线性模型用来解决三维人脸及表情识别[Mpiperis,I.,Malassiotis,S.,Strintzis,M.G.Bilinear Models for 3-D Face and Facial Expression Recognition.IEEE Transactions on Information Forensics and Security 3,3,498-511]；基于回归的二维几何多视图人脸表情识别[Rudovic,O.,Patras,I.,Pantic,M.Regression-based Multi-View Facial Expression Recognition.20th International Conference on Pattern Recognition(Aug 23-26,2010),4121-4124]等。流形学习技术在人脸表情识别中取得了良好效果。Xiao等提出一中广义框架学习每种表情对应的流形[Xiao,R.,Zhao,Q.J.,and Zhang,D.,et.al.Facial expression recognition on multiple manifolds.Pattern Recognition 44(2011),107–116.]。Wang等提出一种统一的人脸表情空间，将不同表情幅度与不同主题的表情对齐到一个统一的流形空间[Wang,H.,Wang,K.Q.Affective interaction based on person-independent facial expression space.Neurocomputing71(2008),1889–1901]。为了合成人的任意表情，该方法提出保持原始图像与处理后的表情图像间的局部几何结构。基于张量降维方法概括出一种张量子空间模型，并且通过分析高阶张量子空间的正交基提出一种正交张量近邻保持嵌入方法[Liu,S.,Ruan,Q.Q.Orthogonal Tensor Neighborhood Preserving Embedding for facial expression recognition.Pattern Recognition 44(2011),1497-1513]。该方法在处理张量格式人脸表情图像特别是当人脸表情图像位于一个光滑紧凑的流形上时，具有良好性能。Wang等提出使用鲁棒性加权特征映射获得表情流形，提高识别效率[Wang,S.F.,Lai,S.H.2011.Reconstructing 3D Face Model with Associated Expression Deformation from a Single Face Image via Constructing a Low-Dimensional Expression Deformation Manifold.IEEE Transactions on Pattern Analysis and Machine Intelligence
33,10,2115-2121]。[Chang,Y.,Hu,C.B.,and Feris,R.,et.al.2006.Manifold based analysis of facial expression.Image and Vision Computing 24(2006),605–614]已有人脸表情识别方法，有些方法运用原始高维空间中的人脸表情图像进行识别，有些方法通过提取人脸表情图像在低维流形空间中的特征后进行识别。这些方法只利用高维空间中的人脸表情图像信息或只考虑流形空间中的人脸表情图像结构，大多忽略了人脸表情图像在原始高维空间及低维流形空间之间的内在联系以及如何通过传播已标记人脸表情图像的类别，提高未标记人脸表情图像类别的识别。因此不能有效提取人脸表情图像的类别特征。
发明内容
[0003] 本发明提供一种基于标记传播与邻域嵌入保持的人脸表情识别方法，既考虑训练人脸表情图像的邻域结构与全局特征，提取人脸表情图像的低维流形结构，又通过传播已标记人脸表情图像的类别，提高未标记人脸表情图像类别的识别率。
[0004] 为实现上述目的，本发明采用如下技术方案：
[0005] 一种基于标记传播与邻域嵌入保持的人脸表情识别方法，同时考虑了训练人脸表情图像的邻域结构、全局特征与流形结构；首先，根据图像标记信息得到图像初始类标记矩阵，然后运用标记传播方法获得人脸表情图像的传播类标记矩阵，通过邻域保持嵌入方法得到人脸表情图像的低维流形结构，并在低维流形结构空间学习图像邻域结构信息；利用邻域结构信息及图像的传播类标记矩阵，得到图像最终类标记矩阵；依据图像最终类标记矩阵对未标记图像的类别进行识别；由于图像最终类标记矩阵考虑了人脸表情图像的流形特征及图像在低维流形空间的邻域结构信息，因此，比图像原空间得到的传播类标记矩阵更准确地表示人脸表情图像的类标信息。
[0006] 具体包括以下步骤：
[0007] 步骤1.利用已标记及未标记人脸表情图像，构建图像初始类标记矩阵[0008] 步骤2.使用标记传播方法及步骤1中得到的图像初始类标记矩阵 计算所有人脸表情图像的传播类标记矩阵
[0009] 步骤3.使用邻域保持嵌入方法将所有人脸表情图像映射到低维空间，得到人脸表情图像的低维流形结构；
[0010] 步骤4.在低维流形结构中，获取未标记人脸表情图像的重构系数矩阵，并根据重构系数矩阵及步骤2中得到的图像传播类标记矩阵 计算得到图像最终类标记矩阵[0011] 步骤5.依据步骤4中得到的最终类标记矩阵 对未标记人脸表情图像进行识别。
[0012] 所述步骤1是指：假设人脸表情图像集X由两部分组成，即X＝Xl∪Xu，其中，Xl＝{x1,x2,…,xl}表示有类标的l个人脸表情图像组成的集合,l为正整数，Xu＝{xl+1,…,xn}表示无类标的n-l个人脸表情图像组成的集合，n为大于l的正整数，μ也是正整数，它的取值范围是(l+1)≤μ≤n。任意一个人脸表情图像xi∈Xl被标记为ti∈Γ(1≤i≤l)，其中，i为正整数，Γ＝{1,…c}为类标记集合，c表示人脸表情图像表情类别的个数。
[0013] 依据给定的标记及未标记的人脸表情图像定义人脸表情图像初始类标记矩阵对于已标记人脸表情图像xi，如果标记Ti＝j（j∈Γ），则 否则 其中 表示矩阵 的第i行第j列元素。如果人脸表情图像xi为未标记人脸表情图像，则（j∈Γ）。矩阵 的大小为n×c(n行c列矩阵)。
[0014] 所述步骤2是指：根据步骤1中得到的初始类标记矩阵 及标记传播方法计算人脸表情图像的传播类标记矩阵 首先构造近邻图G＝(v,e)，其中G的顶点表示人脸表情图像，v表示顶点集合，e表示边集合。当且仅当图像xj是xi的k(k=5)近邻时，构造边eij将xj与xi连接。给近邻图的每条边eij赋予一个权重，其定义如下：
[0015]
[0016] 其中σ(σ＝1)为调节参数，sij为边eij的权重。定义正则拉普拉斯矩阵-1/2 -1/2L=D SD ，其中D为对角矩阵，其对角元素定义为：
[0017]
[0018] dii为对角矩阵D的第i行第i列元素。i为正整数，且1≤i≤n。假定矩阵 表示人脸表情图像集的n×c类标记矩阵。定义关于 的代价函数：
[0019]
[0020] 其中γ(γ＝0.5)为调节公式(3)右侧两项作用的参数。 表示 的第i行，表示 的第j行， 表示 的第i行。djj为对角矩阵D的第j行第j列元素，j为正整数，且1≤j≤n。 是以 为参数的函数，n为所有图像的个数。
[0021] 根据 得到 即(3)所表示问题的解。 为依据标记传播方法得到的人脸表情图像的传播类标记矩阵。
[0022] 所述步骤3是指：找到一个最优投影转换矩阵将高维空间中的人脸表情图像向量D dxi转换成低维空间中的人脸表情图像向量yi(xi∈R,yi∈R,D＞d)(D为原图像维数，d为D
降维后的低维空间维数，R 表示D维实数空间)。其方法为：首先最小化目标函数(4)，求出系数矩阵w；根据系数矩阵w，最小化目标函数(5)，求出人脸表情图像xi在低维空间中对应的图象yi：
[0023]
[0024]
[0025] (5)中Ω＝(I-w)T(I-w)及I＝diag(1，…,1)为对角元素为1的矩阵。
[0026] Ω为n×n矩阵，wij为系数矩阵w的第i行第j列元素，I为n×n的对角元素为1的矩阵。η(w)为以w为参数的函数，X为以所有图像为列组成的矩阵。目标函数(5)转化T T为求解XΩXα＝λXXα的特征向量。设求得的行特征向量α0,α1,…αd-1（d为小于D的整数）按特征值从小到大排列。通过(6)得到人脸图像xi在低维空间中对应的图像yi：
[0027] yi＝ATxi (6)
[0028] 其中，A＝(α0,α1，…,αd-1)，A是转换矩阵。
[0029] 所述步骤4是指：定义目标函数(7)，通过最小化目标函数(7)可得步骤3中得到*的d维空间中未标记人脸表情图像的重构系数矩阵w(nu×n的矩阵)。
[0030] (7)
[0031]
[0032] (7)中的求和 表示对集合N(yi)中的每个元素求和。其中η(w*)是*以w 为参数的函数，nu表示未标记人脸表情图像的数量，yi表示低维空间中第i个未标记人脸表情图像，N(yi)表示人脸表情图像yi的k(k=5)近邻集合。 表示第i个未标记人脸表情图像与其第j个近邻间的重构系数。如果人脸表情图像yj不属于人脸表情图像yi的*
k近邻集合，则 通过求解公式(7)得到w 后，结合步骤2中得到的未标记人脸表情图像的传播类标记矩阵 根据公式(8)计算未标记人脸表情图像的最终类标记矩阵[0033]
[0034] 所述步骤5是指：按照公式(9)对未标记人脸表情图像xi的类别ti(xi)进行识别。
[0035]
[0036] 本发明的有益效果是：有效保持了训练人脸表情图像的邻域信息和流形结构。由于人脸表情图像本身具有流形结构，类标矩阵更新同时考虑了人脸表情图像的流形特征与邻域信息，因此，流形空间中得到的类标矩阵比原空间中的初始类标矩阵更能准确地描述人脸表情图像特征，提高人脸表情图像识别准确度。
附图说明
[0037] 图1为标记传播方法示意图；
[0038] 图2为邻域保持嵌入方法示意图；
[0039] 图3为流形空间更新标记矩阵示意图；
[0040] 图4为表情识别方法总流程图。
具体实施方式
[0041] 下面结合附图与实例对本发明作进一步说明。
[0042] 如图1所示，假设人脸表情图像集X由两部分组成，即X＝Xl∪Xu，其中，Xl＝{x1,x2,…,xl}表示有类标的l个人脸表情图像组成的集合,l为正整数，Xu＝{xl+1,…,xn}表示无类标的n-l个人脸表情图像组成的集合，n为大于l的正整数，μ也是正整数，它的取值范围是(l+1)≤μ≤n。利用已标记及未标记人脸表情图像，构建图像初始类标记矩阵 使用标准标记传播方法及得到的图像初始类标记矩阵 计算所有人脸表情图像的传播类标记矩阵
[0043] 如图2所示，
[0044] 找到一个最优投影转换矩阵将高维空间中的人脸表情图像向量xi转换成低维空D d间中的人脸表情图像向量yi(xi∈R,yi∈R,D＞d)(D为原图像维数，d为降维后的低维D
空间维数，R 表示D维实数空间)。其方法为：首先最小化目标函数(4)，求出系数矩阵w；
根据系数矩阵w，最小化目标函数(5)，求出人脸表情图像xi在低维空间中对应的图象yi：
[0045]
[0046]T
[0047] (5)中Ω＝(I-w)(I-w)及I＝diag(1,…,1)为对角元素为1的矩阵。
[0048] Ω为n×n矩阵，wij为系数矩阵w的第i行第j列元素，I为n×n的对角元素为1的矩阵。η(w)为以w为参数的函数，X为以所有图像为列组成的矩阵。目标函数(5)转T T
化为求解XΩXα＝λXXα的特征向量。设求得的行特征向量α0,α1,…,αd-1（d为小于D的整数）按特征值从小到大排列。通过(6)得到人脸图像xi在低维空间中对应的图像yi：
T
[0049] yi＝Axi (6)
[0050] 其中，A＝(α0,α1,…,αd-1)，A是转换矩阵。
[0051] 所述步骤4是指：定义目标函数(7)，通过最小化目标函数(7)可得步骤3中得到*的d维空间中未标记人脸表情图像的重构系数矩阵w(nu×n的矩阵)。
[0052] (7)
[0053]
[0054] (7)中的求和 表示对集合N(yi)中的每个元素求和。其中η(w*)是*以w 为参数的函数，nu表示未标记人脸表情图像的数量，yi表示低维空间中第i个未标记人脸表情图像，N(yi)表示人脸表情图像yi的k(k=5)近邻集合。 表示第i个未标记人脸表情图像与其第j个近邻间的重构系数。如果人脸表情图像yj不属于人脸表情图像yi的*
k近邻集合，则 通过求解公式(7)得到w 后，结合步骤2中得到的未标记人脸表情图像的传播类标记矩阵 根据公式(8)计算未标记人脸表情图像的最终类标记矩阵[0055]
[0056] 所述步骤5是指：按照公式(9)对未标记人脸表情图像xi的类别ti(xi)进行识别。
[0057]
[0058] 如图4所示，本发明的具体过程为：
[0059] 步骤1.利用已标记及未标记人脸表情图像，构建图像初始类标记矩阵[0060] 步骤2.使用标准标记传播方法及步骤1中得到的图像初始类标记矩阵 计算所有人脸表情图像的传播类标记矩阵
[0061] 步骤3.使用邻域保持嵌入方法将所有人脸表情图像映射到低维空间，得到人脸表情图像的低维流形结构；
[0062] 步骤4.在低维特征空间中，获取未标记人脸表情图像的重构系数矩阵，并根据重构系数矩阵及步骤2中得到的图像传播类标记矩阵 计算得到图像最终类标记矩阵[0063] 步骤5.依据步骤4中得到的最终类标记矩阵 对未标记人脸表情图像进行识别。
[0064] 以日本女性人脸表情图像库（JAFFE）为例对该方法加以说明。该人脸表情图像集包含10个日本女性的213幅静态人脸表情图像（256×256像素）。每个人拥有7种表情（高兴(HAP)、生气(ANG)、恐惧(FEA)、厌恶(DIS)、中性(NEG)、悲伤(SAD)、惊讶(SUR)）的2-4幅图像。实验前对图像进行预处理，将所有图像调整为32×32像素。实验中随机选择每个人的图像数量的50%作为训练人脸表情图像，其他人脸表情图像作为测试人脸表情图像。实验过程重复10次取10次的平均值作为最终表情识别准确率，准确率如表1所示。
[0065] 所述步骤5是指：按照公式(9)对未标记人脸表情图像xi的类别ti(xi)进行识别。
[0066]
[0067] 表1人脸表情图像集JAFFE上七种表情的识别混淆矩阵（%）
[0068]ANG DIS FEA HAP SAD NEG SUR
ANG 91.36 2.24 1.82 0 1.66 0 2.82
DIS 1.19 89.99 2.04 0 4.73 0.92 1.13
FEA 2.29 1.70 89.34 0.88 2.26 2.17 1.36
HAP 0 1.27 1.15 92.71 0 2.06 2.81
SAD 1.64 3.02 1.28 0 90.77 2.77 0.52
NEG 1.16 3.85 1.47 0 3.86 88.89 0.77
SUR 1.74 1.66 4.09 0.45 1.38 1.18 89.50
