本发明提供了一种基于三支决策和光流过滤机制的微表情压缩方法，该方法包括：首先，对于每段微表情视频的微表情视频片段集合V＝{v1,v2,…,vt}获取视频片段间的光流O＝{o1,o2,…,ot‑1}。接着，计算每张光流的横向位移与纵向位移联合作用函数进行光流加权。然后，联合三支决策调节三支化阈值(α,β)对光流进行NEG域，BND域及POS域光流的迭代筛选，当达到收敛条件联合BND域及POS域按序生成最终光流集合。最后，通过联合BND域及POS域完成视频压缩。本发明将粗糙集概率决策引入微表情领域，通过粗糙集进行信息决策，拓展了微表情研究新方向。本发明依据光流变化权重对图片信息进行去冗余，有效压缩视频片段信息，提升信息间的语义表达。
1.一种基于三支决策和光流过滤机制的微表情压缩方法，其特征在于：包括如下步骤：S1:选取微表情数据集A＝{V1,V2,V3,…Vt}进行图像的补齐、统一大小、图像灰值化预处理；
S2:采用MTCNN多任务级联神经网络对V1,V2,V3,…Vt视频片段图片进行脸部区域的定位裁剪,并统一图片大小；
S3:对每一段视频Vi＝{v1,v2,…,vt}对于每两个连续的视频片段vi和vi+1都有oi生成,视频Vi转变为光流集合Oi＝{o1,o2,…,ot‑1}；
S4:对于Oi＝{o1,o2,…,ot‑1}获取每一张光流的横向位移 和纵向位移通过如下表达式计算每一张光流的强度，其中W代表横向像素，H代表纵向像素大小；
S5:对当前光流oi获取当前光流下的平均像素强度 其表达式如下所示：S6:采用作用加权函数对每张光流oi进行加权赋值，其赋值表达是如下所示：S7:重复S3‑S6对每一个视频片段集进行光流处理加权，获取每一个视频集合Vi所对应的光流加权集合ωi；
S8:定义三支阈值(α,β)通过对ωi集合进行分支筛选，其规则定义为：当 时，光流oi划分为NEG(α,β)(O)域集；
当 时，光流oi划分为BND(α,β)(O)域集；
当 时，光流oi划分为POS(α,β)(O)域集；
S9:根据光流分支规则获取视频片段集,其规则定义为:当oi∈POS(α,β)(O)时,视频片段vi+1被定义为vi+1∈POS(α,β)(V)；
当oi∈BND(α,β)(O)时,视频片段vi+1被定义为vi+1∈BND(α,β)(V)；
当oi∈NEGα(O)时,视频片段vi+1被定义为vi+1∈NEG(α,β)(V)；
S10:根据光流集BND(α,β)(V)∪POS(α,β)(V)更新视频片段集,并进行基于时间序列进行视频片段重排序整合,获取新的视频片段序列集合V；
S11：定义收敛系数η，重复S3‑S10步骤次数达到收敛系数或者NEG(α,β)(O)域集数据在自增长阈值状态下保持为0，停止迭代；
S12：获得高质量语义视频片段集,获取高质量视频片段集合V；
S13:对基于光流过滤下的视频V进行基于动态视频下的纹理特征提取,获得在空间平面XY和时空平面XT，YT的三个平面上的视频特征值,其表达式所下所示:S14:采用分类器对S13获取的视频特征进行训练,获取微表情识别模型用于微表情最终识别。
一种基于三支决策和光流过滤机制的微表情压缩方法
技术领域
[0001] 本发明属于计算机视觉领域，具体是一种基于三支决策和光流过滤机制的微表情压缩方法。
背景技术
[0002] 微表情是一种微妙的、无意识的面部表情，通常受到一些复杂的环境、人为等因素的影响，并在无意识的情况下产生。微表情相对于宏表情具有隐秘性，一般难以觉察，实际
上由于人类的身体特性，这种无意识的面部表情会通过一种极其快速且微妙的脸部动作表
现出来。微表情泄露性的表达了人们压抑、试图隐藏的真实情绪，目前的微表情主要由几个
基本的情绪构成，包括开心、愤怒、厌恶、恐惧、惊讶和其他。微表情是一种归属于生理性的
反应行为，因此其表露出的是不可控的真实的心理状态。
[0003] 通过微表情相关数据分析可以发现，视频中包含大量图像具有较低的语义信息，这些图像没有表达且形态语义变化很小。根据微表情视频数据分析可知，微表情发生的区
域主要集中在开始帧到偏移帧，在顶点帧中达到语义的高峰。因此，未做处理的数据中包含
大量的低质量和不平衡数据。
发明内容
[0004] 本发明提供一种基于三支决策和光流过滤机制的微表情压缩方法，利用光流属性进行加权函数的定义，再基于粗糙集概率决策方法提出了一种具有去冗余、压缩视频功能
的微表情研究方法。
[0005] 本发明是通过以下技术方案实现的：
[0006] 一种基于三支决策和光流过滤机制的微表情压缩方法，包括如下步骤：
[0007] S1:选取微表情数据集A＝{V1,V2,V3,…Vt}进行图像的补齐、统一大小、图像灰值化等预处理；
[0008] S2:采用MTCNN多任务级联神经网络对V1,V2,V3,…Vt视频片段图片进行脸部区域的定位裁剪,并统一图片大小；
[0009] S3:对每一段视频Vi＝{v1,v2,…,vt}对于每俩个连续的视频片段vi和vi+1都有oi生成,视频Vi转变为光流集合Oi＝{o1,o2,…,ot‑1}；
[0010] S4:对于Oi＝{o1,o2,…,ot‑1}获取每一张光流的横向位移 和纵向位移通过如下表达式计算每一张光流的强度,其中W代表横向像素，H代表纵向像素大
小；
[0011]
[0012] S5:对当前光流oi获取当前光流下的平均像素强度 其表达式如下所示：
[0013]
[0014] S6:采用作用加权函数对每张光流oi进行加权赋值，其赋值表达是如下所示：
[0015]
[0016] S7:重复S3‑S6对每一个视频片段集进行光流处理加权，可以获取每一个视频集合Vi所对应的光流加权集合ωi；
[0017] S8:定义三支阈值(α,β)通过对ωi集合进行分支筛选，其规则定义为：
[0018] 当 时，光流oi划分为NEG(α,β)(O)域集；
[0019] 当 时，光流oi划分为BND(α,β)(O)域集；
[0020] 当 时，光流oi划分为POS(α,β)(O)域集；
[0021] S9:根据光流分支规则获取视频片段集,其规则定义为:
[0022] 当oi∈POS(α,β)(O)时,视频片段vi+1被定义为vi+1∈POS(α,β)(V)；
[0023] 当oi∈BND(α,β)(O)时,视频片段vi+1被定义为vi+1∈BND(α,β)(V)；
[0024] 当oi∈NEGα(O)时,视频片段vi+1被定义为vi+1∈NEG(α,β)(V)；
[0025] S10:根据光流集BND(α,β)(V)∪POS(α,β)(V)更新视频片段集,并进行基于时间序列进行视频片段重排序整合,获取新的视频片段序列集合V；
[0026] S11：定义收敛系数η，重复S3‑S10步骤次数达到收敛系数或者NEG(α,β)(O)域集数据在自增长阈值状态下保持为0，停止迭代；
[0027] S12：获得高质量语义视频片段集,获取高质量视频片段集合V；
[0028] S13:对基于光流过滤下的视频V进行基于动态视频下的纹理特征提取,获得在空间平面XY和时空平面XT，YT的三个平面上的视频特征值,其表达式所下所示:
[0029]
[0030] S14:采用分类器对S13获取的视频特征进行训练,获取微表情识别模型用于微表情最终识别。
[0031] 本发明相对于现有技术具有以下优点：
[0032] 1.本发明将粗糙集概率决策引入微表情领域，通过粗糙集进行信息决策，拓展了微表情研究新方向。
[0033] 2.本发明依据光流变化权重对图片信息进行去冗余，有效压缩视频片段信息，提升信息间的语义表达。
附图说明
[0034] 图1是本发明的基本流程图。
具体实施方式
[0035] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明技术方案，并
不限于本发明。
[0036] 如图1所示的基于三支决策和光流过滤机制的微表情压缩方法基本流程图，本发明将通过以下实施例作进一步说明。
[0037] 1.以微表情CASMEII数据集作为实验数据，其中包括26个参与者，256个微表情视频文件V＝{V1,V2,V3,…V256}，微表情标签中包含开心、厌恶、恐惧、悲伤和其他5大类表情标
签。并定义初始化迭代阈值η＝5，统计次数S＝0，阈值(α,β)＝(0.35,0.6)。
[0038] 2.针对于视频文件V1＝{v1,v2,…,v290}，其由290张视频帧图片构成，依据光流提取规则可获取光流集合O＝{o1,o2,…,o289}，共289张光流来表示图片间的语义变化关系。
[0039] 3.利用S4‑S6所定义的光流加权函数对O＝{o1,o2,…,o289}进行权重计算获得光流权重集合
[0040] 4.对于 依据阈值(α,β)＝(0.35,0.6)进行光流过滤。
[0041] 5.对ω(O)进行遍历，根据步骤S8，当 时，光流oi划分为NEG(α,β)(O)域集，时划分为光流oi划分为BND(α,β)(O)域集，反之光流oi划分为POS(α,β)(O)。
[0042] 6.根据步骤S9，将视频帧依据光流分类进行类别划分为POS(α,β)(V)，BND(α,β)(V)和NEG(α,β)(V)。
[0043] 7.重复步骤2‑6,每完成一次迭代阈值α增长0.02且S+1,直到统计次数迭代次数S≥η停止。
[0044] 8.合并POS(α,β)(V)和BND(α,β)(V)并重新进行排序完成视频V1压缩为V1′＝{v1′,v2′,…,v′207}，其中v1′,v′2,…,v′207为重新排序的图片编号。
[0045] 9.同理对视频V的其他视频依据步骤2‑8进行过滤操作，得到新的压缩视频文件V′＝{V1′,V2′,V3′,…V′256}。
[0046] 10.提取V′特征Hα,β用于分类识别，获取识别率效果在51％左右。
[0047] 以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在
不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护
范围。因此本发明专利的保护范围应以所附权利要求为准。
