心理行为识别方法、装置与存储介质

摘要

本发明提供了一种心理行为识别方法、装置与存储介质，方法，包括：检测预先采集的目标人脸图像的人脸特征，获取目标人脸图像的至少五个人脸特征点；根据目标人脸图像的人脸特征点以及预设的图像分块规则，对目标人脸图像进行切块处理，得到若干个图块；根据若干个图块，通过预先建立的卷积神经网络模型，获得目标人脸图像对应的情绪特征组合；根据获得目标人脸图像对应的情绪特征组合，通过预先建立的心理行为识别模型，获得目标人脸图像对应的心理行为识别结果。上述方法通过卷积神经网络模型提取目标人脸图像中表征的情绪特征组合，并对该情绪特征组合进行情绪组合识别，从识别出目标人脸图像中表征的心理行为，能够提高心理行为识别的准确性。

权利要求

1.一种心理行为识别方法，其特征在于，包括：

检测预先采集的目标人脸图像的人脸特征，获取所述目标人脸图像的至少五个人脸特征点；

根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块；

根据所述若干个图块，通过预先建立的卷积神经网络模型，获得所述目标人脸图像对应的情绪特征组合；

根据获得所述目标人脸图像对应的情绪特征组合，通过预先建立的心理行为识别模型，获得所述目标人脸图像对应的心理行为识别结果；

所述方法还包括：

根据所述若干个图块，通过所述卷积神经网络模型，识别所述人脸特征点中的不变形特征点以及变形特征点；其中，所述不变形特征点为所述人脸特征点中没有被所述卷积神经网络模型中神经元激活的点，所述变形特征点为所述人脸特征点中被所述卷积神经网络模型中的神经元激活的点；

根据所述人脸特征点中的变形特征点，在所述目标人脸图像上建立多条第二图像切分线；

按照所述图像分块规则，从所述多条第二图像切分线中提取M条第二图像切分线，并采用提取所得的M条第二图像切分线对所述目标人脸图像切块处理；其中，M<3；

历遍所述多条第二图像切分线，共获得若干个变形特征点图块；

根据所述若干个变形特征点图块，通过所述卷积神经网络模型，获得所述目标人脸图像对应的优化情绪特征组合，并将当前情绪特征组合更新为所述优化情绪特征组合。

2.如权利要求1所述的心理行为识别方法，其特征在于，所述根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块，具体包括：根据所述人脸特征点在所述目标人脸图像上建立多条第一图像切分线；

按照预设的图像分块规则，从所述多条第一图像切分线中提取N条第一图像切分线，并采用提取所得的N条第一图像切分线对所述目标人脸图像切块处理；其中，N<3；

历遍所述多条第一图像切分线，共获得若干个图块。

3.如权利要求1所述的心理行为识别方法，其特征在于，所述根据所述若干个图块，通过预先建立的卷积神经网络模型，获得所述目标人脸图像对应的情绪特征组合，具体包括：对所述若干个图块进行灰度化处理，得到若干个灰度化图块；

对所述若干个图块进行水平翻转处理，得到若干个水平翻转图块；

将所述若干个图块、所述若干个灰度化图块以及所述若干个水平翻转图块输入到所述卷积神经网络模型进行卷积计算，获得所述目标人脸图像对应的特征向量，并对所述特征向量进行PCA降维处理；

根据降维后的特征向量，通过所述卷积神经网络模型中的多层分类器，获得所述目标人脸图像对应的情绪特征组合。

4.如权利要求1所述的心理行为识别方法，其特征在于，所述根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块之前，所述方法还包括：根据所述人脸特征点，所述对所述目标人脸图像进行对齐处理。

5.如权利要求1或2所述的心理行为识别方法，其特征在于，所述若干个图块包括：包含双眼特征的第一图块、包含双眼特征和鼻子特征的第二图块、包含左眼特征与左鼻翼特征的第三图块、包含右眼特征与右鼻翼特征的第四图块、包含鼻子特征和嘴巴特征的第五图块、包含左鼻翼特征与左嘴角特征的第六图块、包含右鼻翼特征与右嘴角特征的第七图块、包含眉眼特征的第八图块、包含嘴巴特征的第九图块以及包含全脸特征的第十图块。

6.如权利要求1所述的心理行为识别方法，其特征在于，所述心理行为识别模型的构建过程包括如下步骤：根据预先采集的图像训练样本，通过所述卷积神经网络模型，获得所述图像训练样本对应的情绪特征组合；

对所述图像训练样本对应的情绪特征组合进行心理行为信息标注；

利用标注后的图像训练样本对应的情绪特征组合，对预先建立的深度神经网络进行情绪组合训练，得到所述心理行为识别模型。

7.一种心理行为识别装置，其特征在于，包括：

人脸特征检测模块，用于检测预先采集的目标人脸图像的人脸特征，获取所述目标人脸图像的至少五个人脸特征点；

图像切块模块，用于根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块；

情绪特征识别模块，用于根据所述若干个图块，通过预先建立的卷积神经网络模型，获得所述目标人脸图像对应的情绪特征组合；

心理行为识别模块，用于根据获得所述目标人脸图像对应的情绪特征组合，通过预先建立的心理行为识别模型，获得所述目标人脸图像对应的心理行为识别结果；

所述装置还包括：

特征点识别模块，用于根据所述若干个图块，通过所述卷积神经网络模型，识别所述人脸特征点中的不变形特征点以及变形特征点；其中，所述不变形特征点为所述人脸特征点中没有被所述卷积神经网络模型中神经元激活的点，所述变形特征点为所述人脸特征点中被所述卷积神经网络模型中的神经元激活的点；

第二图像切分线建立单元，用于根据所述人脸特征点中的变形特征点，在所述目标人脸图像上建立多条第二图像切分线；

第二切分单元，用于按照所述图像分块规则，从所述多条第二图像切分线中提取M条第二图像切分线，并采用提取所得的M条第二图像切分线对所述目标人脸图像切块处理；其中，M<3；

第二图块获取单元，用于历遍所述多条第二图像切分线，共获得若干个变形特征点图块；

情绪特征优化单元，根据所述若干个变形特征点图块，通过所述卷积神经网络模型，获得所述目标人脸图像对应的优化情绪特征组合，并将当前情绪特征组合更新为所述优化情绪特征组合。

8.一种心理行为识别装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的心理行为识别方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的心理行为识别方法。

说明书

心理行为识别方法、装置与存储介质

技术领域

[0001] 本发明涉及微表情识别技术领域，尤其涉及一种心理行为识别方法、装置与存储介质。

背景技术

[0002] 对于课堂行为监控，是学校评价教学质量的重要环节，充分了解教师的教课水平和学生上课的反应，才能保证高质量教学水平。现有，对于课堂行为的监控采用学生记录或者老师测试模拟、老师观察监督的方式，此种方式不能够充分调动学生的学习兴趣，不能评价老师的教学效果，无法同时实现对学生、教师的课堂行为的采集、分析、记录及评价。

[0003] 而微表情是人类试图压抑或隐藏真实情感时泄露的非常短暂的、不能自主控制的面部表情。它与普通表情的区别在于，微表情持续时间很短，仅为1/25秒至1/5秒。因此，大多数人往往难以觉察到它的存在。这种快速出现不易被察觉的面部表情被认为与自我防御机制有关，表达了被压抑的情绪。因此，如何通过面部微表情识别学生的情绪数据，从而进行学生的课堂心理行为成为本领域重要的研究和开发的课题。

[0004] 但是，一般采用全局计算方法进行微表情识别，具体做法是：将脸上的点分为可变性和不可变形的点，一般以鼻子作为锚点，当一个用户有表情变化时，计算其他点与鼻子锚点的几何模型(点与点的距离)渲染特征，以此来确定当前用户的微表情是微笑还是惊讶等。上述的方式是经典的全局计算方法，因为需要计算不同组合点之间距离的特征才能确定微表情是什么。比如：微笑，是嘴角的点以及脸部肌肉点的联动；在比如惊讶：很可能是嘴巴微微张卡以及眼睛周围的点的微小变化。但是，全局计算方法的计算的速度慢，微表情识别的精度较低，且只能识别出单一的微表情，无法深入研究微表情下的各种情绪组合，因此，现有的采用全局计算方法进行微表情识别的方法并不适用于学生的课堂心理行为识别。

发明内容

[0005] 基于此，本发明提出了一种心理行为识别方法、装置与存储介质，能够准确识别微表情下的情绪组合，从而保证心理行为识别的准确性。

[0006] 为了达到上述的目的，本发明实施例一方面提供了一种心理行为识别方法，包括：

[0007] 检测预先采集的目标人脸图像的人脸特征，获取所述目标人脸图像的至少五个人脸特征点；

[0008] 根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块；

[0009] 根据所述若干个图块，通过预先建立的卷积神经网络模型，获得所述目标人脸图像对应的情绪特征组合；

[0010] 根据获得所述目标人脸图像对应的情绪特征组合，通过预先建立的心理行为识别模型，获得所述目标人脸图像对应的心理行为识别结果；

[0011] 所述方法还包括：

[0012] 根据所述若干个图块，通过所述卷积神经网络模型，识别所述人脸特征点中的不变形特征点以及变形特征点；其中，所述不变形特征点为所述人脸特征点中没有被所述卷积神经网络模型中神经元激活的点，所述变形特征点为所述人脸特征点中被所述卷积神经网络模型中的神经元激活的点；

[0013] 根据所述人脸特征点中的变形特征点，在所述目标人脸图像上建立多条第二图像切分线；

[0014] 按照所述图像分块规则，从所述多条第二图像切分线中提取M条第二图像切分线，并采用提取所得的M条第二图像切分线对所述目标人脸图像切块处理；其中，M<3；

[0015] 历遍所述多条第二图像切分线，共获得若干个变形特征点图块；

[0016] 根据所述若干个变形特征点图块，通过所述卷积神经网络模型，获得所述目标人脸图像对应的优化情绪特征组合，并将当前情绪特征组合更新为所述优化情绪特征组合。

[0017] 优选地，所述根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块，具体包括：

[0018] 根据所述人脸特征点在所述目标人脸图像上建立多条第一图像切分线；

[0019] 按照预设的图像分块规则，从所述多条第一图像切分线中提取N条第一图像切分线，并采用提取所得的N条第一图像切分线对所述目标人脸图像切块处理；其中，N<3；

[0020] 历遍所述多条第一图像切分线，共获得若干个图块。

[0021] 优选地，所述根据所述若干个图块，通过预先建立的卷积神经网络模型，获得所述目标人脸图像对应的情绪特征组合，具体包括：

[0022] 对所述若干个图块进行灰度化处理，得到若干个灰度化图块；

[0023] 对所述若干个图块进行水平翻转处理，得到若干个水平翻转图块；

[0024] 将所述若干个图块、所述若干个灰度化图块以及所述若干个水平翻转图块输入到所述卷积神经网络模型进行卷积计算，获得所述目标人脸图像对应的特征向量，并对所述特征向量进行PCA降维处理；

[0025] 根据降维后的特征向量，通过所述卷积神经网络模型中的多层分类器，获得所述目标人脸图像对应的情绪特征组合。

[0026] 优选地，所述根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块之前，所述方法还包括：

[0027] 根据所述人脸特征点，所述对所述目标人脸图像进行对齐处理。

[0028] 优选地，所述若干个图块包括：包含双眼特征的第一图块、包含双眼特征和鼻子特征的第二图块、包含左眼特征与左鼻翼特征的第三图块、包含右眼特征与右鼻翼特征的第四图块、包含鼻子特征和嘴巴特征的第五图块、包含左鼻翼特征与左嘴角特征的第六图块、包含右鼻翼特征与右嘴角特征的第七图块、包含眉眼特征的第八图块、包含嘴巴特征的第九图块以及包含全脸特征的第十图块。

[0029] 优选地，所述心理行为识别模型的构建过程包括如下步骤：

[0030] 根据预先采集的图像训练样本，通过所述卷积神经网络模型，获得所述图像训练样本对应的情绪特征组合；

[0031] 对所述图像训练样本对应的情绪特征组合进行心理行为信息标注；

[0032] 利用标注后的图像训练样本对应的情绪特征组合，对预先建立的深度神经网络进行情绪组合训练，得到所述心理行为识别模型。

[0033] 本发明实施例一方面提供了一种心理行为识别装置，包括：

[0034] 人脸特征检测模块，用于检测预先采集的目标人脸图像的人脸特征，获取所述目标人脸图像的至少五个人脸特征点；

[0035] 图像切块模块，用于根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块；

[0036] 情绪特征识别模块，用于根据所述若干个图块，通过预先建立的卷积神经网络模型，获得所述目标人脸图像对应的情绪特征组合；

[0037] 心理行为识别模块，用于根据获得所述目标人脸图像对应的情绪特征组合，通过预先建立的心理行为识别模型，获得所述目标人脸图像对应的心理行为识别结果；

[0038] 所述装置还包括：

[0039] 特征点识别模块，用于根据所述若干个图块，通过所述卷积神经网络模型，识别所述人脸特征点中的不变形特征点以及变形特征点；其中，所述不变形特征点为所述人脸特征点中没有被所述卷积神经网络模型中神经元激活的点，所述变形特征点为所述人脸特征点中被所述卷积神经网络模型中的神经元激活的点；

[0040] 第二图像切分线建立单元，用于根据所述人脸特征点中的变形特征点，在所述目标人脸图像上建立多条第二图像切分线；

[0041] 第二切分单元，用于按照所述图像分块规则，从所述多条第二图像切分线中提取M条第二图像切分线，并采用提取所得的M条第二图像切分线对所述目标人脸图像切块处理；其中，M<3；

[0042] 第二图块获取单元，用于历遍所述多条第二图像切分线，共获得若干个变形特征点图块；

[0043] 情绪特征优化单元，根据所述若干个变形特征点图块，通过所述卷积神经网络模型，获得所述目标人脸图像对应的优化情绪特征组合，并将当前情绪特征组合更新为所述优化情绪特征组合。

[0044] 本发明实施例一方面提供了一种心理行为识别装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述的心理行为识别方法。

[0045] 本发明实施例一方面提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的心理行为识别方法。

[0046] 相比于现有技术，本发明实施例的有益效果在于：所述心理行为识别方法，包括：检测预先采集的目标人脸图像的人脸特征，获取所述目标人脸图像的至少五个人脸特征点；根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块；根据所述若干个图块，通过预先建立的卷积神经网络模型，获得所述目标人脸图像对应的情绪特征组合；根据获得所述目标人脸图像对应的情绪特征组合，通过预先建立的心理行为识别模型，获得所述目标人脸图像对应的心理行为识别结果。上述方法通过训练好的卷积神经网络模型提取目标人脸图像中表征的情绪特征组合，能够有效提高情绪特征组合识别的速度、精度；通过训练好的心理行为识别模型，对该情绪特征组合进行情绪组合识别，从识别出目标人脸图像中表征的心理行为，能够提高心理行为识别的准确性。

附图说明

[0047] 图1是本发明实施例一提供的一种心理行为识别方法的流程示意图；

[0048] 图2是目标人脸图像的切块示意图；

[0049] 图3是切块处理后得到的若干个图块的示意图；

[0050] 图4本发明实施例二提供的一种心理行为识别装置的示意框图。

[0051] 图5本发明实施例三提供的一种心理行为识别装置的示意框图。

具体实施方式

[0052] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0053] 实施例一

[0054] 请参阅图1，其是本发明实施例提供的一种心理行为识别方法的流程示意图。所述方法可由心理行为识别装置来执行，具体包括以下步骤：

[0055] S100：检测预先采集的目标人脸图像的人脸特征，获取所述目标人脸图像的至少五个人脸特征点；

[0056] 在本发明实施例中，所述心理行为识别装置可为电脑、手机、平板电脑、门禁设备、笔记本电脑或者服务器等计算设备，所述心理行为识别方法可作为其中一个功能模块集成与所述心理行为识别装置上，由所述心理行为识别装置来执行。

[0057] 在本发明实施例中，所述心理行为识别装置接收目标人脸图像，需要说明的是，本发明对于所述目标人脸图像的获取方式不做任何限制，例如可以通过所述心理行为识别装置自带的摄像机进行获取，或者通过有线方式或者无线方式从网络或者其他设备接收所述目标人脸图像，所述心理行为识别装置在接收所述目标人脸图像之后，对所述目标人脸图像进行人脸检测，以获得所述目标人脸图像的至少五个人脸特征点，即所述目标人脸图像包含多个图像样本，例如从图像视频上抽取的连续帧图像样本，对于各帧图像样本，被获取对应的至少五个人脸特征点，例如提取眼睛(2个眼睛)、鼻子、嘴角(2个嘴角)。进一步地，可通过基于两眼的中心和嘴边界两个点的中心对所述目标人脸图像做对称，以获得更多的人脸特征点。所述心理行为识别装置还可以直接接收图像视频以及对图像视频进行帧图像样本的抽取，对抽取后获得的目标人脸图像，包括：若干帧连续或者间隔相同的图像样本进行如下微表情识别处理。

[0058] S200：根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块；

[0059] 在本发明实施例中，例如依据提取所得的眼睛(2个眼睛)、鼻子、嘴角(2个嘴角)5个人脸特征点，按照设定图像分块规则，对所述目标人脸图像中的眼睛(2个眼睛)、鼻子、嘴角(2个嘴角)进行区域组合，例如双眼区域、左眼+左鼻翼区域、右眼+右鼻翼区域、嘴巴、右鼻翼+右嘴角等，根据各区域组合对所述目标人脸图像进行切块处理，以得到若干个图块。通过对所述目标人脸图像进行切分一方面可以扩充数据样本，另一方面可以通过不同的人脸特征点组合区域，能够减少关键点的选取，提高微表情识别的精度。

[0060] S300：根据所述若干个图块，通过预先建立的卷积神经网络模型，获得所述目标人脸图像对应的情绪特征组合；

[0061] 在本发明实施例中，所述心理行为识别装置将所述若干个图块作为预先建立的卷积神经网络模型的输入值，并计算各个图块的160维的Harr特征向量，最终对每一个图块的特征向量进行组合(也就是向量的拼接)，最终形成160*Q的特征数目。并最终采用所述卷积神经网络模型中的softmax分类器对特征向量进行分类，具体地，softmax分类器根据预先设置的微表情的特征类型(一般是10种以上，例如开心、痛苦、悲伤、吃惊、生气、愤怒、疑惑、厌恶、无奈、困乏、蔑视、缺乏自信等)对输入的特征向量进行判断，由于softmax是多分类器，同一组数据的输入，可能在多个分类器中都有概率，通过获取softmax是多分类器中各个分类器的输出，得到目标人脸图像表征的情绪特征组合，具体包括情绪特征及其概率。本发明通过提取的人脸特征点对目标人脸图像进行切块，能够减少关键点的选取，结合卷积神经网络对切块提取的图块进卷积计算，能够深度挖掘目标人脸图像中微表情表征的情绪特征组合，可以有效提高情绪特征组合识别的速度、精度，从而大幅度提高心理行为识别的工作效率。

[0062] S400：根据获得所述目标人脸图像对应的情绪特征组合，通过预先建立的心理行为识别模型，获得所述目标人脸图像对应的心理行为识别结果。

[0063] 本实施例中，所述心理行为识别模型通过构建过程中的图样样本训练，能够识别出各种情绪特征组合表征的心理行为。本实施例通过深度挖掘目标人脸图像中微表情表征的情绪特征组合，通过训练好的心理行为识别模型，对该情绪特征组合进行情绪组合识别，能够提高心理行为识别的准确性。

[0064] 在本实施例中，所述心理行为识别结果包括专注、困惑或愉悦。

[0065] 在一种可选的实施例中，S200：根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块，具体包括：

[0066] 根据所述人脸特征点在所述目标人脸图像上建立多条第一图像切分线；

[0067] 如图2所示，依据提取所得的眼睛(2个眼睛)、鼻子、嘴角(2个嘴角)5个人脸特征点，建立了多条第一图像切分线，例如：以左眼角内侧点、左鼻翼点相连的第一图像切分线L1；以鼻梁点和鼻尖点相连而成的第一图像切分线L2；以右眼角内侧点、右鼻翼点相连而成的第一图像切分线L3；以眼睛关键点最靠上的关键点相连而成的第一图像切分线L4；以眼睛关键点的最靠下的点相连而成的第一图像切分线L5；以鼻子最下的点，平行于第一图像切分线L4而成的第一图像切分线L6。

[0068] 按照预设的图像分块规则，从所述多条第一图像切分线中提取N条第一图像切分线，并采用提取所得的N条第一图像切分线对所述目标人脸图像切块处理；其中，N<3；

[0069] 在本实施例中，可以任意选取多条第一图像切分线中的1条或2条第一图像切分线对所述目标人脸图像切块处理。

[0070] 历遍所述多条第一图像切分线，共获得若干个图块。

[0071] 在一种可选的实施例中，所述若干个图块包括：包含双眼特征的第一图块、包含双眼特征和鼻子特征的第二图块、包含左眼特征与左鼻翼特征的第三图块、包含右眼特征与右鼻翼特征的第四图块、包含鼻子特征和嘴巴特征的第五图块、包含左鼻翼特征与左嘴角特征的第六图块、包含右鼻翼特征与右嘴角特征的第七图块、包含眉眼特征的第八图块、包含嘴巴特征的第九图块以及包含全脸特征的第十图块。

[0072] 如图3所示，按照预设的图像分块规则可以理解为预先设置的脸部特征组合规则(例如，包含双眼特征、包含双眼特征和鼻子特征、包含左眼特征与左鼻翼特征、包含右眼特征与右鼻翼特征、包含鼻子特征和嘴巴特征、包含左鼻翼特征与左嘴角特征、包含右鼻翼特征与右嘴角特征、包含眉眼特征、包含嘴巴特征以及包含全脸特征)，第一个图块(patch)是以第一图像切分线L5裁剪而成，包含双眼特征；第二个图块是以第一图像切分线L6裁剪而成，包含双眼特征和鼻子特征；第三个图块是以第一图像切分线L3与第一图像切分线L6组合而成，包含左眼特征与左鼻翼特征；第四个图块是以第一图像切分线L1与第一图像切分线L6组合而成，包含右鼻翼特征与右嘴角特征；第五个图块是第一图像切分线L5裁剪而成，包含鼻子特征和嘴巴特征；第六个图块是第一图像切分线L5与第一图像切分线L3组合而成，包含左鼻翼特征与左嘴角特征；第七个图块是第一图像切分线L5与第一图像切分线L6组合而成，包含右鼻翼特征与右嘴角特征；第八个图块是第一图像切分线L4裁剪而成，包含眉眼特征；第九个图块是第一图像切分线L4裁剪而成，包含嘴巴特征；第十个图块是一个全图，包括整个脸部区域。通过将所述目标图像按照上述规则进行切块提取，采用卷积神经网络能够更好地学习对不同微表情的特征，例如研究某种微表情发生时哪些人脸特征点组合对应发生运动，卷积神经网络中神经元没有被激活的人脸特征点可视为不变形特征点(某种微表情发生时关键点并没有运动)，被神经元激活的人脸特征点可视为变形特征点(微表情发生时关键点发生运动)。根据微表情设定的器官特征来裁剪的，比如，嘴巴的位置(还要包括点的数量)、眼角与鼻子的组合，双眼的组合、还有额头与眼睛的组合，然后对不同人脸特征点进行组合计算，这种组合计算方式更能够发现不同微表情在何种程度上影响不同器官的肌肉运动，能够更加准确地识别当前图像样本中各个图块上的特征点与上一帧图像样本中各个图块的特征点是否有运动的迹象，从而实现依据人脸特征点组合进行微表情的判断。

[0073] 在一种可选的实施例中，所述方法还包括：

[0074] 根据所述若干个图块，通过所述卷积神经网络模型，识别所述人脸特征点中的不变形特征点以及变形特征点；其中，所述不变形特征点为所述人脸特征点中没有被所述卷积神经网络模型中神经元激活的点，所述变形特征点为所述人脸特征点中被所述卷积神经网络模型中的神经元激活的点；

[0075] 根据所述人脸特征点中的变形特征点，在所述目标人脸图像上建立多条第二图像切分线；

[0076] 按照所述图像分块规则，从所述多条第二图像切分线中提取M条第二图像切分线，并采用提取所得的M条第二图像切分线对所述目标人脸图像切块处理；其中，M<3；

[0077] 在本实施例中，可以任意选取多条第一图像切分线中的1条或2条第一图像切分线对所述目标人脸图像切块处理。

[0078] 历遍所述多条第二图像切分线，共获得若干个变形特征点图块；

[0079] 根据所述若干个变形特征点图块，通过所述卷积神经网络模型，获得所述目标人脸图像对应的优化情绪特征组合，并将当前情绪特征组合更新为所述优化情绪特征组合。

[0080] 可以理解的是，所述目标图像包括若干帧连续或者间隔相同的图像样本，当前识别到微笑表情中，眉眼特征为不变形特征点，其他特征为变形特征点；则对于下一帧目标人脸图像，可剔除图像分块规则中的眉眼特征，对剩余的变形特征点重复上述图像分块步骤进行分块提取，基于上述的变形特征点和不变形特征点的识别，能够反过来指导图像分块和人脸特征点的选取，能够有效减少无用人脸特征点的选取，从而进一步简化卷积计算过程，极大地提高微表情下情绪特征组合识别的速度与精度，从而提高心理行为识别的数据与精度。

[0081] 在一种可选的实施例中，所述若干个图块包括：包含双眼特征的第一图块、包含双眼特征和鼻子特征的第二图块、包含左眼特征与左鼻翼特征的第三图块、包含右眼特征与右鼻翼特征的第四图块、包含鼻子特征和嘴巴特征的第五图块、包含左鼻翼特征与左嘴角特征的第六图块、包含右鼻翼特征与右嘴角特征的第七图块、包含眉眼特征的第八图块、包含嘴巴特征的第九图块以及包含全脸特征的第十图块。

[0082] 在一种可选的实施例中，所述根据所述若干个图块，通过预先建立的卷积神经网络模型，获得所述目标人脸图像对应的情绪特征组合，具体包括：

[0083] 对所述若干个图块进行灰度化处理，得到若干个灰度化图块；

[0084] 对所述若干个图块进行水平翻转处理，得到若干个水平翻转图块；

[0085] 将所述若干个图块、所述若干个灰度化图块以及所述若干个水平翻转图块输入到所述卷积神经网络模型进行卷积计算，获得所述目标人脸图像对应的特征向量，并对所述特征向量进行PCA降维处理；

[0086] 根据降维后的特征向量，通过所述卷积神经网络模型中的多层分类器，获得所述目标人脸图像对应的情绪特征组合。

[0087] 本发明实施例中，例如采用加权平均算法对所述若干个图块进行灰度处理。由于从目标人脸图像中提取出来的图块是彩色图像，其具体由多个像素点组成，且每个像素点都由RGB三个值表示；对各个图块进行灰度处理，并不会影响表情图像的纹理特征信息，而且每个像素点只需一个灰度值便可表示，大大提高了表情图像处理效率。具体地，通过以下灰度处理加权平均算法公式对各个图块进行灰度处理：

[0088] f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)

[0089] 其中，i、j代表一个像素点在二维空间向量的位置，即：第i行，第j列。

[0090] 根据上述公式，计算各个图块中每个像素点的灰度值，取值范围是0-255，使表情图像呈现黑白灰状态。

[0091] 对所述若干个图块分别进行灰度化以及水平翻转处理，可以进一步扩充数据样本，提高微表情下情绪特征组合识别的精度。

[0092] 在本发明实施例中，以10图块为基础，通过灰度化以及水平翻转处理后，共得到30个图块，所述心理行为识别装置将这30个图块作为预先建立的卷积神经网络模型的输入值，并计算各个图块的160维Harr特征向量，最终对每一个patch的向量进行组合(也就是向量的拼接)，最终形成160*30的特征数目。然后对这4800的特征数目进行PCA降维处理，形成150维的特征向量，并输入到softmax分类器进行分类。

[0093] PCA降维处理包括如下步骤：

[0094] 将所述目标人脸图像的特征向量转换为n*m的矩阵；

[0095] 将所述矩阵中的每一行进行零均值化处理；

[0096] 根据零均值化处理的矩阵，计算协方差矩阵，并计算所述协方差矩阵的特征向量及其对应的特征值；

[0097] 将所述协方差矩阵的特征向量按照特征值大小从上到下按行排列，得到变化矩阵；

[0098] 从所述变化矩阵中提取前k行组成降维矩阵，得到所述目标人脸图像PCA降维后的特征向量；其中，根据所述目标人脸图像的特征向量压缩后的误差确定k的数值。

[0099] 具体地，根据公式(1)，确定k的数值；

[0100]

[0101] 其中，m为前k行中所有特征向量的个数；选取一个k，当error<Φ，Φ为设定的阈值(例如0.01)，则确定从所述变化矩阵中提取的前k行组成的降维矩阵符合降维要求。

[0102] 通过人脸检测对齐处理后得到的所述目标人脸图像对应的特征向量是一个维度较高的矩阵。高维矩阵在计算中容易造成内存不足，也容易出现过拟合问题；因此基于PCA(主要成分分析)处理函数等方式，将人脸特征点对应的高维特征向量，通过降维转化为低维空间的特征数据。例如，基于上述方法选取一个K，使得error<Φ，则我们认为这个m可以接受，否则尝试其他。通过PCA降维变换，所述目标人脸图像对应的特征向量由原来超过4800维变成了150维，将后续的分类问题变成一个在150维空间中的划分问题，在保持主要信息的完整的同时极大地简化了计算过程。

[0103] 在一种可选的实施例中，所述根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块之前，所述方法还包括：

[0104] 根据所述人脸特征点，所述对所述目标人脸图像进行对齐处理。

[0105] 例如，本发明实施例中采用开源组件OpenCV进行对齐处理，将所述目标人脸图像中的各个图像样本的人脸检测出来后，转化为同一尺度下的(例如160*160像素)图像。具体地，采用OpenCV的detectMultiScale算法检测所述目标人脸图像的各个图像样本中的人脸并框选。将人脸的关键点标准化，即寻找人脸在最左侧的点和最上侧的点，作为图像的边缘，其他点以这两个边缘为基准平移；最后除以(最右侧-最左侧)和(最下侧-最上侧)，使人脸的标准点均匀地分布在框选的图形里，可以尽可能地减少了多余像素点对计算带来的负担。最后采用OpenCV的getAffineTransform算法进行仿射变换，并输出图像对齐的目标人脸图像。

[0106] 将所述目标人脸图像作为预先建立的候选区域网络模型的输入值，以从所述候选区域网络模型获取目标人脸区域图像以及至少两个人脸器官区域图像，例如提取眼睛(2个眼睛)、鼻子、嘴角(2个嘴角)的区域图像，在所述候选区域网络模型中，根据设定的比例以及面积的规格，获取所述目标人脸图像满足条件的一系列区域框，在这个区域框的选取过程中，也是用了卷积层来选取特征，并通过非最大值抑制从一系列区域框获取候选框，再通过全连接层进行候选框参数微调，从而获取目标人脸区域图像以及至少两个人脸器官区域图像，通过所述候选区域网络模型，能够利用卷积神经网络直接产生建议的区域，实现了区域生成网络和分类网络的权值共享，大大提高了监测的性能和速度。

[0107] 在一种可选的实施例中，所述心理行为识别模型的构建过程包括如下步骤：

[0108] 根据预先采集的图像训练样本，通过所述卷积神经网络模型，获得所述图像训练样本对应的情绪特征组合；

[0109] 对所述图像训练样本对应的情绪特征组合进行心理行为信息标注；

[0110] 利用标注后的图像训练样本对应的情绪特征组合，对预先建立的深度神经网络进行情绪组合训练，得到所述心理行为识别模型。

[0111] 其中，在将所述图像训练样本输入所述卷积神经网络模型之前，需要对所述图像训练样本进行与上述步骤S100、S200相同的人脸特征检测以及图像切块处理过程，在此不在进行重复描述。

[0112] 例如：把标注为专注、困惑、愉悦三种图像训练样本，每一种有1000张，将这些图像训练样本经过上述步骤S100、S200相同的人脸特征检测以及图像切块处理过程后，输入到预先建立好的deepID卷积神经网络里面，这个网络的中间产物就是各种的情绪识别，会有各种表情的打分或者概率(平静93分或者93％，伤心3分或者3％，惊讶5分或者5％)。将识别出的情绪特征组合训练预先建立好的深度神经网络，可以训练出来各种情绪-心理行为组合，并能预测出一个学生是专注还是困惑还是愉悦。经过标注的图像训练样本在深度神经网络训练，得到一个初始的三种心理行为的组合和阈值，这种情况会随着后期的训练库越丰富，将会变得越精确。例如，利用深度神经网络训练出的情绪-心理行为组合如下：

[0113] 专注：平静(阈值大于85％)+伤心(阈值小于5％)+恐惧(小于15％)

[0114] 困惑：平静(阈值小于5％)+伤心(阈值大于90％)+恐惧(小于5％)

[0115] 愉悦：平静(阈值小于5％)+高兴(阈值大于90％)+惊讶(小于10％)

[0116] 进一步地，所述方法还包括：

[0117] 根据预设的评价规则和所述心理行为识别结果，计算所述目标人脸图像对应的课堂质量评分。

[0118] 本实施例通过步骤S100-S400得到的心理行为识别结果，采用预设的评价规则对心理行为的数据进行分析，计算所述目标人脸图像对应的课堂质量评分；

[0119] 所述评价规则：当所述心理行为识别结果中困惑次数小于a次时，课堂质量评分为A分；当所述心理行为识别结果中愉悦次数大于b次时，课堂质量评分为B分；当设定时间内学生中处于专注状态的比例大于c时，课堂质量评分为C分；那么所述目标人脸图像对应的课堂质量为A分+C分+C分。在本实施例中，a＝5，A＝20；b＝10，B＝10；c＝90％，C＝60。

[0120] 其中，当设定时间内某一学生对应的图样样本的心理行为识别结果为专注的比例大于80％时，判定该学生处于专注状态。

[0121] 例如对班里面的30个学生，采集30个图像样本，得到所述目标人脸图像；通过步骤S100-S400得到识别出发现30名学生在一个小时中出现困惑的表情有5次，愉悦15次，学生处于专注状态的平均人数为27个，那么可以通过以上所述评价规则进行评分，即困惑次数小于5次可以打20分，愉悦次数大于10次可以10分，处于专注状态学生比例大于90％可以打60分，那么这堂课的评分就是90分，可以评优秀。

[0122] 本发明将心理行为识别结果应用到课堂质量评分，能够实现上课质量的监控，有利于迭代改进课堂教学质量，因此，本发明在教育行业具有广泛的应用前景。

[0123] 相比于现有技术，本发明实施例提供的一种心理行为识别方法的有益效果在于：

[0124] (1)本发明依据获取的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，并采用卷积神经网络对切块后的得到的若干个图块进行识别分类，能够有效提高微表情下情绪特征组合识别的速度、精度，从而大幅度提高心理行为识别的工作效率；

[0125] (2)本发明根据微表情设定的器官特征来裁剪的，比如，嘴巴的位置(还要包括点的数量)、眼角与鼻子的组合，双眼的组合、还有额头与眼睛的组合，然后采用卷积神经网络对不同人脸特征点进行组合计算，通过这种组合计算方式发现不同微表情在何种程度上影响不同器官的肌肉运动，能够更加准确地识别当前图像样本中各个图块上的特征点与上一帧图像样本中各个图块的特征点是否有运动的迹象，从而实现依据人脸特征点组合进行微表情下情绪特征组合的判断，微表情下情绪特征组合识别精度高；

[0126] (3)本发明基于卷积神经网络模型识别出的变形特征点和不变形特征点的识别，能够反过来指导图像分块和人脸特征点的选取，能够有效减少无用人脸特征点的选取，进一步提高微表情下情绪特征组合识别的速度与精度；

[0127] (4)本发明基于深度神经网络对各种情绪组合进行训练，并通过训练好的心理行为识别模型，对目标人脸图像表征的情绪特征组合进行情绪组合识别，能够提高心理行为识别的准确性。

[0128] 实施例二

[0129] 请参阅图4，其是本发明实施例提供的一种心理行为识别装置的示意框图，所述装置包括：

[0130] 人脸特征检测模块1，用于检测预先采集的目标人脸图像的人脸特征，获取所述目标人脸图像的至少五个人脸特征点；

[0131] 图像切块模块2，用于根据所述目标人脸图像的人脸特征点以及预设的图像分块规则，对所述目标人脸图像进行切块处理，得到若干个图块；

[0132] 情绪特征识别模块3，用于根据所述若干个图块，通过预先建立的卷积神经网络模型，获得所述目标人脸图像对应的情绪特征组合；

[0133] 心理行为识别模块4，用于根据获得所述目标人脸图像对应的情绪特征组合，通过预先建立的心理行为识别模型，获得所述目标人脸图像对应的心理行为识别结果。

[0134] 在一种可选的实施例中，所述图像切块模块2包括：

[0135] 第一图像切分线建立单元，用于根据所述人脸特征点在所述目标人脸图像上建立多条第一图像切分线；

[0136] 第一切分单元，用于按照预设的图像分块规则，从所述多条第一图像切分线中提取N条第一图像切分线，并采用提取所得的N条第一图像切分线对所述目标人脸图像切块处理；其中，N<3；

[0137] 第一图块获取单元，用于历遍所述多条第一图像切分线，共获得若干个图块。

[0138] 根据所述人脸特征点在所述目标人脸图像上建立多条第一图像切分线；

[0139] 按照预设的图像分块规则，从所述多条第一图像切分线中提取N条第一图像切分线，并采用提取所得的N条第一图像切分线对所述目标人脸图像切块处理；其中，N<3；

[0140] 历遍所述多条第一图像切分线，共获得若干个图块。

[0141] 在一种可选的实施例中，所述若干个图块包括：包含双眼特征的第一图块、包含双眼特征和鼻子特征的第二图块、包含左眼特征与左鼻翼特征的第三图块、包含右眼特征与右鼻翼特征的第四图块、包含鼻子特征和嘴巴特征的第五图块、包含左鼻翼特征与左嘴角特征的第六图块、包含右鼻翼特征与右嘴角特征的第七图块、包含眉眼特征的第八图块、包含嘴巴特征的第九图块以及包含全脸特征的第十图块。

[0142] 在一种可选的实施例中，所述装置还包括：

[0143] 特征点识别模块，用于根据所述若干个图块，通过所述卷积神经网络模型，识别所述人脸特征点中的不变形特征点以及变形特征点；其中，所述不变形特征点为所述人脸特征点中没有被所述卷积神经网络模型中神经元激活的点，所述变形特征点为所述人脸特征点中被所述卷积神经网络模型中的神经元激活的点；

[0144] 第二图像切分线建立单元，用于根据所述人脸特征点中的变形特征点，在所述目标人脸图像上建立多条第二图像切分线；

[0145] 第二切分单元，用于按照所述图像分块规则，从所述多条第二图像切分线中提取M条第二图像切分线，并采用提取所得的M条第二图像切分线对所述目标人脸图像切块处理；其中，M<3；

[0146] 第二图块获取单元，用于历遍所述多条第二图像切分线，共获得若干个变形特征点图块；

[0147] 情绪特征优化单元，根据所述若干个变形特征点图块，通过所述卷积神经网络模型，获得所述目标人脸图像对应的优化情绪特征组合，并将当前情绪特征组合更新为所述优化情绪特征组合。

[0148] 在一种可选的实施例中，所述情绪特征组合识别模块3包括：

[0149] 灰度处理单元，用于对所述若干个图块进行灰度化处理，得到若干个灰度化图块；

[0150] 水平翻转处理单元，用于对所述若干个图块进行水平翻转处理，得到若干个水平翻转图块；

[0151] PCA降维处理单元，用于将所述若干个图块、所述若干个灰度化图块以及所述若干个水平翻转图块输入到所述卷积神经网络模型进行卷积计算，获得所述目标人脸图像对应的特征向量，并对所述特征向量进行PCA降维处理；

[0152] 情绪特征组合获取单元，用于根据降维后的特征向量，通过所述卷积神经网络模型中的多层分类器，获得所述目标人脸图像对应的情绪特征组合。

[0153] 在一种可选的实施例中，所述装置还包括：

[0154] 对齐处理模块，用于根据所述人脸特征点，所述对所述目标人脸图像进行对齐处理。

[0155] 在一种可选的实施例中，所述装置还包括：

[0156] 心理行为识别模型训练模块，用于根据预先采集的图像训练样本，通过所述卷积神经网络模型，获得所述图像训练样本对应的情绪特征组合；

[0157] 信息标注模块，用于对所述图像训练样本对应的情绪特征组合进行心理行为信息标注；

[0158] 心理行为识别模型构建模块，用于利用标注后的图像训练样本对应的情绪特征组合，对预先建立的深度神经网络进行情绪组合训练，得到所述心理行为识别模型。

[0159] 进一步地，所述装置还包括：

[0160] 课堂质量评分模块，用于根据预设的评价规则和所述心理行为识别结果，计算所述目标人脸图像对应的课堂质量评分。

[0161] 实施例三

[0162] 参见图5，是本发明第三实施例提供的心理行为识别装置的示意图。该心理行为识别装置包括：至少一个处理器11，例如CPU，至少一个网络接口14或者其他用户接口13，存储器15，至少一个通信总线12，通信总线12用于实现这些组件之间的连接通信。其中，用户接口13可选的可以包括USB接口以及其他标准接口、有线接口。网络接口14可选的可以包括Wi-Fi接口以及其他无线接口。存储器15可能包含高速RAM存储器，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器15可选的可以包含至少一个位于远离前述处理器11的存储装置。

[0163] 在一些实施方式中，存储器15存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:

[0164] 操作系统151，包含各种系统程序，用于实现各种基础业务以及处理基于硬件的任务；

[0165] 程序152。

[0166] 具体地，处理器11用于调用存储器15中存储的程序152，执行上述实施例所述的人脸匹配方法，例如图1所示的步骤S100。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如人脸特征检测模块。

[0167] 示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述心理行为识别装置中的执行过程。

[0168] 所述心理行为识别装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述心理行为识别装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是心理行为识别装置的示例，并不构成对心理行为识别装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述心理行为识别装置还可以包括输入输出设备、网络接入设备、总线等。

[0169] 所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述心理行为识别装置的控制中心，利用各种接口和线路连接整个心理行为识别装置的各个部分。

[0170] 所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述心理行为识别装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

[0171] 其中，所述心理行为识别装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

[0172] 实施例四

[0173] 本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的心理行为识别方法。

[0174] 需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

[0175] 以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。