一种基于光流和Fisher Vector编码的微表情识别方法

摘要

公开了一种基于光流和Fisher Vector编码的微表情识别方法，包括：对测试样本中的微表情图像序列进行HOF特征提取，获取第一特征数据X＝{x1,…xr,…xR|xr∈RD}；对第一特征数据X进行Fisher Vector编码，获取第二特征数据F；基于预先训练得到的分类器对第二特征数据F进行识别。本发明通过使用光流特征描述微表情的微弱运动，并使用Fisher Vector对光流特征进行编码，进一步提取了期望信息和方差信息，因此能更加充分地表示微表情特征，降低了局部噪声的影响，提高了微表情特征的鲁棒性，进而提高了微表情识别的识别率。

权利要求

1.一种基于光流和Fisher Vector编码的微表情识别方法，其特征在于，所述方法包括：步骤S1、对测试样本中的微表情图像序列进行HOF特征提取，获取第一特征数据X＝{x1,…xr,…xR|xr∈RD}；

步骤S2、对第一特征数据X进行Fisher Vector编码，获取第二特征数据F；

步骤S3、基于预先训练得到的分类器对第二特征数据F进行识别；

其中，步骤S2包括：

S21、利用高斯混合模型逼近第一特征数据X的分布；

式中，pk(xr|λ)是第k个高斯分布的概率密度函数，p(xr|λ)是第一特征数据X中的向量xr的分布；

S22、根据EM算法估计高斯混合模型中的参数λ，λ＝{wk,μk,Σk,k＝1,2,...,K}；其中，wk为第k个高斯分布的组合系数，且wk≥0，∑wk＝1，μk为第k个高斯分布的均值向量，Σk为第k个高斯分布的协方差矩阵，且Σk满足：S23、根据估计的参数λ计算第一特征数据的Fisher Vector编码向量 获取第二特征数据F；

式中， γr(k)为向量xr由第k个高斯

分布生成的概率，且γr(k)满足：

2.如权利要求1所述的方法，其特征在于，步骤S1包括：S11、计算微表情图像序列中相邻两帧图像之间的光流；

S12、进行光流对齐；

S13、将微表情图像序列划分成R个时空子块，并且对每个时空子块的光流方向进行加权统计，获取第一特征数据X＝{x1,…xr,…xR|xr∈RD}，其中， 为第r个时空子块的光流方向加权直方图向量。

3.如权利要求2所述的方法，其特征在于，在步骤S11之前，步骤S1还包括：S10、对微表情图像序列进行结构纹理分解，保留图像的纹理分量。

4.如权利要求3所述的方法，其特征在于，在步骤S10中，根据以下公式对微表情图像序列进行结构纹理分解，式中， 表示待处理的灰度图像， 表示图像的纹理部分， 表示待处理的图像的结构部分，Ω表示整幅图像的像素所在位置坐标的集合，θ为调节系数。

5.如权利要求2所述的方法，其特征在于，所述进行光流对齐包括：根据如下公式计算x方向上光流分量的补偿量 以及y方向上光流分量的补偿量式中，Φ(A)表示矩阵A中等于0的元素的个数，I表示全一矩阵；

根据如下公式计算矫正后的光流分量矩阵；

式中， 为矫正后x方向上的光流分量矩阵， 为矫正后y方向上的光流分量矩阵，Ut为t矫正前x方向上的光流分量矩阵，V为矫正前y方向上的光流分量矩阵。

6.如权利要求2所述的方法，其特征在于，所述进行光流对齐包括：根据如下公式计算x方向上光流分量的补偿量 以及y方向上光流分量的补偿量式中， 表示光流分量矩阵Ut中元素大小的统计直方图、 表示光流分量直方图Vt中元素大小的统计直方图，u、v表示统计直方图中各组取值范围的中值；

根据如下公式计算矫正后的光流分量矩阵；

式中， 为矫正后x方向上的光流分量矩阵， 为矫正后y方向上的光流分量矩阵，Ut为矫正前x方向上的光流分量矩阵，Vt为矫正前y方向上的光流分量矩阵。

7.如权利要求1所述的方法，其特征在于，所述分类器的训练过程包括如下步骤：对训练样本中的微表情图像序列进行HOF特征提取，获取第一特征数据X＝{x1,…xr,…xR|xr∈RD}；

对第一特征数据X进行Fisher Vector编码，获取第二特征数据F；

基于第二特征数据F训练分类器。

8.如权利要求7所述的方法，其特征在于，所述分类器为径向基函数支持向量机。

说明书

一种基于光流和Fisher Vector编码的微表情识别方法

技术领域

[0001] 本发明涉及机器学习和模式识别技术领域，尤其涉及一种基于光流和Fisher Vector编码的微表情识别方法。

背景技术

[0002] 人类的面部表情研究起源于19世纪。最近，国外学者Ekman和Erika进行了面部测绘行为的研究，验证了微表情(micro expression)可提供更全面的隐蔽情感信息。与宏观表情不同，微表情是一种持续时间段、强度小的快速表情。虽然持续时间短，但是微表情更能揭露人内心的真实情感，为判断人的内在精神状态提供可靠的依据，因此其在司法系统、临床诊断等方面有着重要应用。

[0003] 在国外，微表情的研究起步较早，不仅提出、定义了微表情，而且已将微表情的研究成果应用于司法机关诊断案情、商业谈判、心理咨询等领域。在国内，微表情的研究起步较晚。傅小兰教授主持的2011－2013年国家自然科学基金面上项目“面向自动谎言识别的微表情表达研究”，推动了国内对于微表情研究的发展。

[0004] 然而，现有的微表情识别方法存在鲁棒性差、容易受噪声干扰、识别率低等问题。鉴于此，亟需一种新的微表情识别方法，以降低局部噪声的影响，提高微表情特征的鲁棒性和微表情识别的识别率。

发明内容

[0005] 本发明的目的在于提出一种新的微表情识别方法，以能更加充分地表示微表情特征，降低了局部噪声的影响，提高了微表情特征的鲁棒性，进而提高了微表情识别的识别率。

[0006] 本发明提供了一种基于光流和Fisher Vector编码的微表情识别方法，包括：步骤S1、对测试样本中的微表情图像序列进行HOF特征提取，获取第一特征数据X＝{x1,…xr,…xR|xr∈RD}；步骤S2、对第一特征数据X进行Fisher Vector编码，获取第二特征数据F；步骤S3、基于预先训练得到的分类器对第二特征数据F进行识别。

[0007] 优选的，步骤S1包括：S11、计算微表情图像序列中相邻两帧图像之间的光流；S12、进行光流对齐；S13、将微表情图像序列划分成R个时空子块，并且对每个时空子块的光流方向进行加权统计，获取第一特征数据X＝{x1 ,…xr,…xR|xr∈RD}，其中，为第r个时空子块的光流方向加权直方图向量。

[0008] 优选的，步骤S2包括：S21、利用高斯混合模型逼近第一特征数据X的分布；

[0009]

[0010]

[0011] 式中，pk(xr|λ)是第k个高斯分布的概率密度函数，p(xr|λ)是第一特征数据X中的向量xr的分布；

[0012] S22、根据EM算法估计高斯混合模型中的参数λ，λ＝{wk,μk,Σk,k＝1,2,...,K}；其中，wk为第k个高斯分布的组合系数，且wk≥0，∑wk＝1，μk为第k个高斯分布的均值向量，Σk为第k个高斯分布的协方差矩阵，且Σk满足：

[0013]

[0014] S23、根据估计的参数λ计算第一特征数据的Fisher Vector编码向量获取第二特征数据F；

[0015]

[0016]

[0017]

[0018] 式中， γr(k)为向量xr由第k个高斯分布生成的概率，且γr(k)满足：

[0019]

[0020] 优选的，在步骤S11之前，步骤S1还包括：S10、对微表情图像序列进行结构纹理分解，保留图像的纹理分量。

[0021] 优选的，在步骤S10中，根据以下公式对微表情图像序列进行结构纹理分解，[0022]

[0023] 式中， 表示待处理的灰度图像， 表示图像的纹理部分， 表示待处理的图像的结构部分，Ω表示整幅图像的像素所在位置坐标的集合，θ为调节系数。

[0024] 优选的，所述进行光流对齐包括：根据如下公式计算x方向上光流分量的补偿量以及y方向上光流分量的补偿量

[0025]

[0026]

[0027] 式中，Φ(A)表示矩阵A中等于0的元素的个数，I表示全一矩阵；

[0028] 根据如下公式计算矫正后的光流分量矩阵；

[0029]

[0030]

[0031] 式中， 为矫正后x方向上的光流分量矩阵， 为矫正后y方向上的光流分量矩t t阵，U为矫正前x方向上的光流分量矩阵，V为矫正前y方向上的光流分量矩阵。

[0032] 优选的，所述进行光流对齐包括：根据如下公式计算x方向上光流分量的补偿量以及y方向上光流分量的补偿量

[0033]

[0034]

[0035] 式中， 表示光流分量矩阵Ut中元素大小的统计直方图、 表示光流分量直方图Vt中元素大小的统计直方图，u、v表示统计直方图中各组取值范围的中值；

[0036] 根据如下公式计算矫正后的光流分量矩阵；

[0037]

[0038]

[0039] 式中， 为矫正后x方向上的光流分量矩阵， 为矫正后y方向上的光流分量矩阵，Ut为矫正前x方向上的光流分量矩阵，Vt为矫正前y方向上的光流分量矩阵。

[0040] 优选的，所述分类器的训练过程包括如下步骤：对训练样本中的微表情图像序列D进行HOF特征提取，获取第一特征数据X＝{x1,…xr,…xR|xr∈R }；对第一特征数据X进行Fisher Vector编码，获取第二特征数据F；基于第二特征数据F训练分类器。

[0041] 优选的，所述分类器为径向基函数支持向量机。

[0042] 从以上技术方案可以看出，本发明通过使用光流特征描述微表情的微弱运动，并使用Fisher Vector对光流特征进行编码，进一步提取了期望信息和方差信息，因此能更加充分地表示微表情特征，降低了局部噪声的影响，提高了微表情特征的鲁棒性，进而提高了微表情识别的识别率。

附图说明

[0043] 通过以下参照附图而提供的具体实施方式部分，本发明的特征和优点将变得更加容易理解，在附图中：

[0044] 图1是本发明实施例的微表情识别方法的流程示意图；

[0045] 图2是图1所示流程中步骤S1的一种实现方法的流程示意图；

[0046] 图3是对原始图片进行结构纹理分解的示意图；

[0047] 图4是从图片纹理部分提取光流特征的示意图；

[0048] 图5是对光流方向进行加权统计的流程示意图；

[0049] 图6是图1所示流程中步骤S2的一种实现方法的流程示意图。

具体实施方式

[0050] 下面参照附图对本发明的示例性实施方式进行详细描述。对示例性实施方式的描述仅仅是出于示范目的，而绝不是对本发明及其应用或用法的限制。

[0051] 为了克服现有微表情识别方法存在的鲁棒性差、容易受噪声干扰、识别率低等问题，本发明的发明人提出了一种新的微表情识别方法。

[0052] 下面结合附图和具体实施例对本发明的技术方案进行详细说明。图1示出了本发明实施例中的微表情识别方法的流程图。从图1可见，该方法主要包括以下步骤：

[0053] 步骤S1、对测试样本中的微表情图像序列进行光流方向加权直方图(HOF)特征提取，获取第一特征数据X＝{x1,…xr,…xR|xr∈RD}。

[0054] 图2示出了步骤S1的一种实现方法。如图2所示，步骤S1具体包括步骤S11、S12、S13。

[0055] 在步骤S11中，计算微表情图像序列中相邻两帧图像之间的光流。

[0056] 在具体实施时，考虑到微表情图像序列中不同帧之间的光照变化会影响到光流计算的精确性，因此，为了减小光流计算误差，在进行步骤S11之前，还可进行图3所示的图像处理步骤：S10、对微表情图像序列进行结构纹理分解，保留图像的纹理分量。具体实施时，可根据以下公式对微表情图像序列进行结构纹理分解：

[0057]

[0058] 式中， 表示待处理的灰度图像，即待处理的微表情图像序列； 表示图像的纹理部分， 表示待处理的图像的结构部分，Ω表示整幅图像的像素所在位置坐标的集合，θ为调节系数。

[0059] 在获取了微表情图像序列的纹理部分之后，可基于纹理部分计算光流。光流，是指两帧图像上像素点移动的速度。其具体计算过程如下：在纹理图像中，假设t时刻(x,y)位置处的像素点灰度值为IT，在t+dt时刻该像素点运动到(x+dx,y+dy)位置处，由灰度恒常约束条件可知：

[0060] IT(x,y,t)＝IT(x+dx,y+dy,t+dt)  公式2

[0061] 将上式右边进行泰勒展开，可得，

[0062]

[0063] 由于τ是高阶无穷小，因此可得，

[0064]

[0065] 进而得到，

[0066]

[0067] 其中， 是在x方向上的光流分量， 为在y方向上的光流分量。在具体计算光流分量 时，可基于公式5、以及增加的假设条件进行求解。比如，可采用图4所示的RLOF方法计算光流。关于RLOF方法的详细介绍，可参考现有文献Robust local optical flow for feature tracking[J].IEEE Transactions on Circuits and Systems for Video Technology,2012,22(9):1377-1387.这样，即可求解微表情图像序列在x方向上的光流分量矩阵Ut、以及在y方向上的光流分量矩阵Vt。

[0068] 在步骤S12中，进行光流对齐。

[0069] 考虑到头部姿态变化引起的光流偏差，在步骤S11之后，还需对所述光流偏差进行补偿，具体包括：首先，根据如下公式计算x方向上光流分量的补偿量 以及y方向上光流分量的补偿量

[0070]

[0071]

[0072] 式中，Φ(A)表示矩阵A中等于0的元素的个数，I表示全一矩阵。

[0073] 然后，根据如下公式计算矫正后的光流分量矩阵；

[0074]

[0075]

[0076] 式中， 为矫正后x方向上的光流分量矩阵， 为矫正后y方向上的光流分量矩阵，Ut为矫正前x方向上的光流分量矩阵，Vt为矫正前y方向上的光流分量矩阵。

[0077] 在另一个实施例中，为了简化计算，还可根据如下公式计算x方向上光流分量的补偿量 以及y方向上光流分量的补偿量

[0078]

[0079]

[0080] 式中， 表示光流分量矩阵Ut中元素大小的统计直方图、 表示光流分量直方图Vt中元素大小的统计直方图。该统计直方图中各组的频数表示落在该组取值范围的元素对应像素点的个数，u、v表示统计直方图中各组取值范围的中值。在根据公式10、11得到以后，可根据公式8、9计算矫正后x方向、以及y方向的光流分量矩阵。

[0081] 在步骤S13中，将微表情图像序列划分成R个时空子块，并且对每个时空子块的光流方向进行加权统计，获取第一特征数据X＝{x1,…xr,…xR|xr∈RD}，其中，为第r个时空子块的光流方向加权直方图向量。

[0082] 在具体实施时，一个时空尺寸为M×N×T的微表情图像序列可被等分成R个时空子块，R＝m×n×num-T。其中，m表示对M划分的块数，n表示对N划分的块数，num_T表示对T划分的块数，每个时空子块的尺寸满足 并且，可用(bi,bj,bk)表示每个时空子块所处的时空坐标，bi∈{1,2,...m}，bj∈{1,2,...n}，bk∈{1,2,...num_T}。在将划分出R个时空子块之后，对每个时空子块的光流方向进行加权统计。

[0083] 在具体实施时，对每个时空子块的光流方向进行加权统计具体包括：统计时空子块上所有像素点的光流向量在已划分的圆周范围内的各个角度区间内的分布数目，并将每个角度区间内的像素点的光流向量幅值进行累加，获取以累加幅值表示的光流直方图向量。然后，对所有时空子块的光流直方图向量进行归一化，以获取第一特征数据。

[0084] 下面结合图5对获取光流直方图向量的流程进行详细说明。如图5所示，假设一个时空子块包含9个像素点，9个像素点分别用编号①至⑨表示。并且，编号①至⑨对应的光流向量的大小分别是0.72、0.63、0.74、0.70、1.11、0.57、0.34、0.42、1.20。首先，统计这9个像素点的光流向量在已划分好的8个角度区间的数目。其中，编号为0、1、6、7的角度区间的像素数目均为0；编号为2的角度区间存在两个像素点，即②、③；编号为3的角度区间存在1个像素点，即①；编号为4的角度区间存在3个像素点，即④、⑤、⑦；编号为5的角度区间存在三个像素点，即⑥⑧⑨。然后，对8个角度区间的累加幅值进行统计，即可得到该时空子块对应的加权直方图向量(0,0,1.37,0.72,2.15,2.19,0,0)。

[0085] 步骤S2、对第一特征数据X进行Fisher Vector编码，获取第二特征数据F。

[0086] 图6为步骤S2的一种实现方法的流程示意图。如图6所示，步骤S2主要包括步骤S21、S22、S23。

[0087] 在步骤S21中，利用高斯混合模型逼近第一特征数据X的分布。该步骤具体包括：假设第一特征数据X中的R个向量是独立同分布的，其概率密度函数为p(X|λ)，则有：

[0088] 对公式12两边取对数，则有：

[0089]

[0090] 用高斯混合模型(即K个高斯分布的线性组合)逼近p(xr|λ)，则有

[0091]

[0092]

[0093] 式中，pk(xr|λ)是第k个高斯分布的概率密度函数，p(xr|λ)是第一特征数据X中的向量xr的分布。

[0094] 在步骤S22中，根据最大期望算法(EM)估计高斯混合模型中的参数λ，λ＝{wk,μk,Σk,k＝1,2,...,K}。其中，wk为第k个高斯分布的组合系数，且wk≥0，∑wk＝1，μk为第k个高斯分布的均值向量，Σk为第k个高斯分布的协方差矩阵，且Σk满足：

[0095]

[0096] 在步骤S23中，根据估计的参数λ计算第一特征数据的Fisher Vector编码向量获取第二特征数据F。该步骤具体包括：分别计算L(X|λ)对均值和协方差的梯度，可得：

[0097]

[0098]

[0099] 计算梯度归一化系数，即

[0100]

[0101]

[0102] 利用公式18、19中的归一化系数对 进行归一化，上述公式16至19所表示的计算过程可统一表示成如下向量表达式：

[0103]

[0104]

[0105] 式中， γr(k)为向量xr由第k个高斯分布生成的概率，且γr(k)满足：

[0106]

[0107] 通过以上步骤，即可获取第二特征数据F，

[0108]

[0109] 步骤S3、基于预先训练得到的分类器对第二特征数据F进行识别。

[0110] 其中，所述分类器的训练过程包括如下步骤：对训练样本中的微表情图像序列进行HOF特征提取，获取第一特征数据X＝{x1,…xr,…xR|xr∈RD}；对第一特征数据X进行Fisher Vector编码，获取第二特征数据F；基于第二特征数据F训练分类器。在具体实施时，所述分类器可选用径向基函数支持向量机。

[0111] 在本发明实施例中，通过采用光流描述微表情图像序列中的细微运动并通过Fisher Vector编码对微表情图像序列的局部光流特征进行编码，形成对微表情序列紧凑的特征表示，更能表征微表情运动的本质，提高微表情识别率。进一步的，通过对微表情图像系列进行结构纹理分解、以及光流对齐，降低了光照和头部抖动对光流的影响，增强了微表情特征对噪声的鲁棒性。

[0112] 为了进一步体现本发明的技术效果，下面给出一个具体的实验过程。在该实验中，可采用CASMEⅡ数据库中的微表情图像序列进行实验。在具体实验时，采用留一人验证法进行交叉验证，设m＝n＝10，num-T＝3，K＝20，并且为降低计算复杂度每次实验从所有训练样本中的第一特征数据中随机选取50000个光流直方图向量用于估计高斯混合模型的参数，分类器选用径向基函数支持向量机。并且，进行了五次实验求取识别率的平均值。表1示出了这五次实验的识别率以及平均识别率。

[0113] 表1

[0114]

[0115] 为了证明本技术方案的技术效果，在实验中我们与其他微表情识别方法进行了对比。表2示出了本发明实施例中的方法与其他微表情识别方法的对比结果。

[0116] 表2

[0117]方法 本文方法 FDM LBP-TOP DTSA
识别率(％) 47.29 42.02 36.50 32.45

[0118] 从表2可见，与现有的FDM方法、LBP-TOP方法、DTSA方法相比，本发明实施例的方法的识别率提高了5％～15％。

[0119] 虽然参照示例性实施方式对本发明进行了描述，但是应当理解，本发明并不局限于文中详细描述和示出的具体实施方式，在不偏离权利要求书所限定的范围的情况下，本领域技术人员可以对所述示例性实施方式做出各种改变。