一种计算机人脸情绪识别系统转让专利

申请号 : CN201810139650.2

文献号 : CN108062546B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 王宁陈明明陈亮耿亮曾涛陈育智王星杰

申请人 : 厦门华厦学院

摘要 :

本发明公开了一种计算机人脸情绪识别系统,包括人脸图像采集模块、活体识别模块、图像处理模块、五官位置定位模块、图像特征提取模块、三维人脸重构模块、人脸识别模块。本发明基于kinect深度传感器进行待识别人脸图像以及五官深度图像数据的获取,通过五官的形态和位置上对人脸图像中的情绪数据进行识别,从而实现了人脸图像中情绪的识别。

权利要求 :

1.一种计算机人脸情绪识别系统,其特征在于,包括:

人脸图像采集模块,用于获取待识别人的实时人脸图像;

活体识别模块,用于完成图像源是否活体的判断;若图像源非活体,则关闭人脸识别系统,并启动短信自动编辑模块进行预警短信的发送;若图像源为活体,则启动图像处理模块进行图像处理;所述活体识别模块通过近红外检测模块基于光流法完成图像源是否活体的判断;

图像处理模块,用于将图像按五官分割为眼睛区域、眉毛区域、鼻子区域、嘴巴区域和人脸轮廓区域,然后通过kinect深度传感器分别进行各区域深度图像的获取,并将获取的各区域深度图像发送到三维人脸重构模块;

五官位置定位模块,用于进行待识别人脸图像中眼睛、眼珠、眉毛、鼻子、嘴巴所在位置的坐标定位,并所得的坐标定位数据发送到三维重构模块;

图像特征提取模块,用于将所获得的眼睛区域深度图像、眉毛区域深度图像、鼻子区域深度图像、嘴巴区域深度图像和人脸轮廓区域深度图像进行三角化,然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场,对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包,并利用Marching Tetrahedra算法构造等值面,获得的眼睛区域等值面、眉毛区域等值面、鼻子区域等值面、嘴巴区域等值面以及人脸轮廓区域等值面;

三维人脸重构模块,用于将所获得的眼睛区域等值面、眉毛区域等值面、鼻子区域等值面、嘴巴区域等值面以及人脸轮廓区域等值面按五官位置的坐标进行定位拼接,从而完成三维人脸的重构;

图片权重分配模块,用于采用随机置换的方式对划分后的单个区域等值面进行识别,得到区域对应的识别率,然后将所有区域训练完成后按照各区域识别率比例分配权重;

人脸识别模块,用于获取三维人脸中各区域所在的三维坐标,并将各等值面用其对应的三维坐标进行标记后串联形成增强特征向量,利用卡方距离度量等值面相似度,然后采用最近邻分类器进行人脸识别。

2.根据权利要求1所述的一种计算机人脸情绪识别系统,其特征在于,所述人脸识别模块用于将各区域的等值面用其在三维重构模块中的三维坐标进行标记后,按照从左到右,从上到下的顺序线性串联各区域的等值面。

3.根据权利要求1所述的一种计算机人脸情绪识别系统,其特征在于,所述人脸识别模块用于将完成权重分配的各等值面按顺序串联形成增强特征向量,利用卡方距离度量等值面相似度,然后采用最近邻分类器进行人脸识别。

4.根据权利要求1所述的一种计算机人脸情绪识别系统,其特征在于,还包括一人机操作模块,用于输入各种控制命令和数据调用命令。

5.根据权利要求1所述的一种计算机人脸情绪识别系统,其特征在于,所述人脸图像采集模块包括:图像采集单元,用于进行待识别人脸图像的采集;

人脸检测单元,用于捕捉出现在图像当中的人脸图片,并截取适当大小的人脸图片作为图形处理模块的输入。

说明书 :

一种计算机人脸情绪识别系统

技术领域

[0001] 本发明涉及人脸识别系统,具体涉及一种计算机人脸情绪识别系统。

背景技术

[0002] 人脸的基本表情类别分为8种,即愤怒(anger)、藐视(contempt)、厌恶(disgust)、恐惧(fear)、开心(happy)、中立(neutral)、悲伤(sadness)和惊讶(surprise)。人脸表情识别就是研究如何使计算机从静态图像或者视频序列中获取人脸表情并加以辨别的技术。如果计算机可以准确地理解人脸表情并识别出人脸表情属于哪一个类别,那么,将在很大程度上改变人与计算机之间的关系,从而达到更好的人机交互效果。
[0003] 目前的人脸表情识别方法主要为基于随机森林算法、表情特征降维法、或者基于SVM(Support Vector Machine)的表情分类方法等。由于表情的属性类别较多、规律较复杂,因此,现有的人脸表情识别方法中,每个识别模型都需要记忆较多的内容,从而导致人脸表情的识别过程运算复杂、人脸表情的识别准确率以及识别效率较为低下。

发明内容

[0004] 本发明的目的在于提供了一种计算机人脸情绪识别系统。
[0005] 为实现上述目的,本发明采取的技术方案为:
[0006] 一种计算机人脸情绪识别系统,包括
[0007] 人脸图像采集模块,用于获取待识别人的实时人脸图像;
[0008] 活体识别模块,用于完成图像源是否活体的判断;若图像源非活体,则关闭人脸识别系统,并启动短信自动编辑模块进行预警短信的发送;若图像源为活体,则启动图像处理模块进行图像处理;
[0009] 图像处理模块,用于将图像按五官分割为眼睛区域、眉毛区域、鼻子区域、嘴巴区域和人脸轮廓区域,然后通过kinect深度传感器分别进行各区域深度图像的获取,并将获取的各区域深度图像发送到三维人脸重构模块;
[0010] 五官位置定位模块,用于进行待识别人脸图像中眼睛、眼珠、眉毛、鼻子、嘴巴所在位置的坐标定位,并所得的坐标定位数据发送到三维重构模块;
[0011] 图像特征提取模块,用于将所获得的眼睛区域深度图像、眉毛区域深度图像、鼻子区域深度图像、嘴巴区域深度图像和人脸轮廓区域深度图像进行三角化,然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场,对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包,并利用Marching Tetrahedra算法构造等值面,获得的眼睛区域等值面、眉毛区域等值面、鼻子区域等值面、嘴巴区域等值面以及人脸轮廓区域等值面;
[0012] 三维人脸重构模块,用于将所获得的眼睛区域等值面、眉毛区域等值面、鼻子区域等值面、嘴巴区域等值面以及人脸轮廓区域等值面按五官位置的坐标进行定位拼接,从而完成三维人脸的重构;
[0013] 人脸识别模块,用于获取三维人脸中各区域所在的三维坐标,并将各等值面用其对应的三维坐标进行标记后串联形成增强特征向量,利用卡方距离度量等值面相似度,然后采用最近邻分类器进行人脸识别。
[0014] 优选地,所述活体识别模块通过近红外检测模块基于光流法完成图像源是否活体的判断。
[0015] 优选地,还包括一图片权重分配模块,用于采用随机置换的方式对划分后的单个区域等值面进行识别,得到区域对应的识别率,然后将所有区域训练完成后按照各区域识别率比例分配权重。
[0016] 优选地,所述人脸识别模块用于将各区域的等值面用其在三维重构模块中的三维坐标进行标记后,按照从左到右,从上到下的顺序线性串联各区域的等值面。
[0017] 优选地,所述人脸识别模块用于将完成权重分配的各等值面按顺序串联形成增强特征向量,利用卡方距离度量等值面相似度,然后采用最近邻分类器进行人脸识别[0018] 优选地,还包括一人机操作模块,用于输入各种控制命令和数据调用命令。
[0019] 优选地,所述人脸图像采集模块包括
[0020] 图像采集单元,用于进行待识别人脸图像的采集;
[0021] 人脸检测单元,用于捕捉出现在图像当中的人脸图片,并截取适当大小的人脸图片作为图形处理模块的输入。
[0022] 本发明具有以下有益效果:
[0023] 基于kinect深度传感器进行待识别人脸图像以及五官深度图像数据的获取,通过五官的形态和位置上对人脸图像中的情绪数据进行识别,从而实现了人脸图像中情绪的识别。

附图说明

[0024] 图1为本发明实施例一种计算机人脸情绪识别系统的系统框图。

具体实施方式

[0025] 为了使本发明的目的及优点更加清楚明白,以下结合实施例对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0026] 如图1所示,本发明实施例提供了一种计算机人脸情绪识别系统,包括[0027] 人机操作模块,用于输入各种控制命令和数据调用命令;
[0028] 人脸图像采集模块,用于获取待识别人的实时人脸图像;
[0029] 活体识别模块,用于通过近红外检测模块基于光流法完成图像源是否活体的判断;若图像源非活体,则关闭人脸识别系统,并启动短信自动编辑模块进行预警短信的发送;若图像源为活体,则启动图像处理模块进行图像处理;
[0030] 图像处理模块,用于将图像按五官分割为眼睛区域、眉毛区域、鼻子区域、嘴巴区域和人脸轮廓区域,然后通过kinect深度传感器分别进行各区域深度图像的获取,并将获取的各区域深度图像发送到三维人脸重构模块;
[0031] 五官位置定位模块,用于进行待识别人脸图像中眼睛、眼珠、眉毛、鼻子、嘴巴所在位置的坐标定位,并所得的坐标定位数据发送到三维重构模块;
[0032] 图像特征提取模块,用于将所获得的眼睛区域深度图像、眉毛区域深度图像、鼻子区域深度图像、嘴巴区域深度图像和人脸轮廓区域深度图像进行三角化,然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场,对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包,并利用Marching Tetrahedra算法构造等值面,获得的眼睛区域等值面、眉毛区域等值面、鼻子区域等值面、嘴巴区域等值面以及人脸轮廓区域等值面;
[0033] 图片权重分配模块,用于采用随机置换的方式对划分后的单个区域等值面进行识别,得到区域对应的识别率,然后将所有区域训练完成后按照各区域识别率比例分配权重;
[0034] 三维人脸重构模块,用于将所获得的眼睛区域等值面、眉毛区域等值面、鼻子区域等值面、嘴巴区域等值面以及人脸轮廓区域等值面按五官位置的坐标进行定位拼接,从而完成三维人脸的重构;
[0035] 人脸识别模块,用于获取三维人脸中各区域所在的三维坐标,并将各等值面用其对应的三维坐标进行标记后,按照从左到右,从上到下的顺序线性串联形成增强特征向量,利用卡方距离度量等值面相似度,然后采用最近邻分类器进行人脸识别。
[0036] 所述人脸图像采集模块包括
[0037] 图像采集单元,用于进行待识别人脸图像的采集;
[0038] 人脸检测单元,用于捕捉出现在图像当中的人脸图片,并截取适当大小的人脸图片作为图形处理模块的输入。
[0039] 以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。