面部红外热图的灌注优化及人工智能情绪监测方法

摘要

本申请提供一种面部红外热图的灌注优化及人工智能情绪监测方法，其中，基于监测目标个体面部红外视频，利用CNN‑BiGRU_Attention网络模型对每帧面部红外图像对应的血液灌注伪彩色图进行处理，进而挖掘蕴含在帧内空间特征向量矩阵；此外，利用BiGRU层确定面部红外视频帧间时间特征向量矩阵；最后基于每帧面部红外图像对应的空间特征向量矩阵和相邻帧间时间特征向量矩阵，确定监测目标个体针对每种预设情绪状态的概率特征信息。上述技术方案将CNN与BiGRU结合，BiGRU模块引入Attention机制，充分提取图像的空间特征和帧间时间特征，进而联合识别监测目标个体对于每种预设情绪状态的概率特征信息，可以在非干扰的测试环境中获取更加真实的情绪分布，有效提高了情绪识别的效率及准确度。

权利要求

1.一种面部红外热图的灌注优化及人工智能情绪监测方法，其特征在于，包括：获取目标个体的面部红外视频；所述面部红外视频包括多帧面部红外视频图像；

针对每帧面部红外视频图像，获取该帧面部红外视频图像中额头部位的多个特征点的温度信息，基于所述多个特征点的温度信息，确定该帧面部红外视频图像对应的额头平均温度信息，并基于该帧面部红外视频图像对应的额头平均温度信息，确定该帧面部红外视频图像对应的血液灌注值，基于确定的所述血液灌注值，确定该帧面部红外视频图像对应的血液灌注伪彩色图；

利用CNN‑BiGRU_Attention网络模型对每帧面部红外视频图像对应的血液灌注伪彩色图进行处理，分别得到每帧面部红外视频图像对应的空间特征向量矩阵；

针对每帧面部红外视频图像，将该帧面部红外视频图像对应的血液灌注伪彩色图对应的数据进行数据清洗，并将清洗后的数据转化BiGRU层能够处理的矩阵向量；对转化得到的矩阵向量进行语义编码，并基于语义编码得到的数据，确定该帧面部红外视频图像对应的权重系数，并利用BiGRU层，基于确定权重系数，确定该帧面部红外视频图像对应的时间特征向量矩阵；

将每帧面部红外视频图像对应的时间特征向量矩阵，和每帧面部红外视频图像对应的空间特征向量矩阵，利用全连接层进行拼接，并利用softmax函数对拼接得到的数据进行处理，确定目标个体针对每种预设情绪的概率特征信息；

将所述概率特征信息发送给客户端和显示端进行显示；

所述基于该帧面部红外视频图像对应的额头平均温度信息，确定该帧面部红外视频图像对应的血液灌注值，包括：利用如下公式计算该帧面部红外视频图像对应的血液灌注值：

0.3846T

PI＝0.073*e /856

式中，PI表示该帧面部红外视频图像对应的血液灌注值，T表示该帧面部红外视频图像对应的额头平均温度信息；

2

利用上述公式计算得到的血液灌注值具有r＝0.986的高置信度；

所述对转化得到的矩阵向量进行语义编码，包括：

利用如下公式对化得到的矩阵向量进行语义编码：

hij＝BiGRU(cij)

式中，hij表示语义编码得到的数据，cij表示转化得到的矩阵向量；

所述基于语义编码得到的数据，确定该帧面部红外视频图像对应的权重系数，包括：利用如下公式计算该帧面部红外视频图像对应的权重系数：

表示随机初始化的注意力矩阵，Attention机制矩阵sij由attention机制分配的不同概率权重与各个隐层状态的乘积的累加和，使用softmax函数做归一化操作得到。

2.根据权利要求1所述的方法，其特征在于，所述基于确定的所述血液灌注值，确定该帧面部红外视频图像对应的血液灌注伪彩色图，包括：利用python中的opencv模块对所述血液灌注值进行处理，得到该帧面部红外视频图像对应的血液灌注伪彩色图。

3.根据权利要求1所述的方法，其特征在于，所述CNN‑BiGRU_Attention网络模型包括3个卷积层，2个池化层和1个全连接层。卷积层设置了1个5*5和2个3*3的规格，2个池化层分别设置为Maxpooling和Global Average Pooling。

说明书

面部红外热图的灌注优化及人工智能情绪监测方法

技术领域

[0001] 本申请涉及心理和信息处理领域，具体涉及一种面部红外热图的灌注优化及人工智能情绪监测方法。

背景技术

[0002] 情绪，是对一系列主观认知经验的通称，是多种感觉、思想和行为综合产生的心理和生理状态。最普遍、通俗的情绪有喜、怒、哀、惊、恐、爱等，也有一些细腻微妙的情绪，例如嫉妒、惭愧、羞耻、自豪等。情绪常和心情、性格、脾气、目的等因素互相作用，也受到荷尔蒙和神经递质影响。无论正面还是负面的情绪，都是引发人们行动的动机。尽管一些情绪引发的行为看上去没有经过思考，但实际上意识是产生情绪重要的一环。可见关注个体的情绪特征对于进行情绪引导和人们的安全能够起到非常重要的作用。

[0003] 目前，分析个体的情绪特征的技术方案中，有些是利用个体的音频信息确定的，有些是利用个体的图像信息确定的。但是，现有技术在分析个体的情绪特征时忽略了时间序列中的重要情感信息，准确率和效率均较低，并且只能确个体单一的情绪类型。

发明内容

[0004] (一)解决的技术问题

[0005] 针对现有技术的不足，本申请提供了一种面部红外热图的灌注优化及人工智能情绪监测方法，解决了现有技术中确定的个体的情绪特征准度率低、情绪类型单一以及效率低的缺陷。

[0006] (二)技术方案

[0007] 为实现以上目的，本申请通过以下技术方案予以实现：

[0008] 本申请提供了一种面部红外热图的灌注优化及人工智能情绪监测方法，包括：

[0009] 获取目标个体的面部红外视频；所述面部红外视频包括多帧面部红外视频图像；

[0010] 针对每帧面部红外视频图像，获取该帧面部红外视频图像中额头部位的多个特征点的温度信息，基于所述多个特征点的温度信息，确定该帧面部红外视频图像对应的额头平均温度信息，并基于该帧面部红外视频图像对应的额头平均温度信息，确定该帧面部红外视频图像对应的血液灌注值，基于确定的所述血液灌注值，确定该帧面部红外视频图像对应的血液灌注伪彩色图；

[0011] 利用CNN‑BiGRU_Attention网络模型对每帧面部红外视频图像对应的血液灌注伪彩色图进行处理，分别得到每帧面部红外视频图像对应的空间特征向量矩阵；

[0012] 针对每帧面部红外视频图像，将该帧面部红外视频图像对应的血液灌注伪彩色图对应的数据进行数据清洗，并将清洗后的数据转化BiGRU层能够处理的矩阵向量；对转化得到的矩阵向量进行语义编码，并基于语义编码得到的数据，确定该帧面部红外视频图像对应的权重系数，并利用BiGRU层，基于确定权重系数，确定该帧面部红外视频图像对应的时间特征向量矩阵；

[0013] 将每帧面部红外视频图像对应的时间特征向量矩阵，和每帧面部红外视频图像对应的空间特征向量矩阵，利用全连接层进行拼接，并利用softmax函数对拼接得到的数据进行处理，确定目标个体针对每种预设情绪的概率特征信息；

[0014] 将所述概率特征信息发送给客户端和显示端进行显示。

[0015] 在一种可能的实施方式中，所述基于该帧面部红外视频图像对应的额头平均温度信息，确定该帧面部红外视频图像对应的血液灌注值，包括：

[0016] 利用如下公式计算该帧面部红外视频图像对应的血液灌注值：

[0017] PI＝0.073*e0.3846T/856

[0018] 式中，PI表示该帧面部红外视频图像对应的血液灌注值，T表示该帧面部红外视频图像对应的额头平均温度信息；

[0019] 利用上述公式计算得到的血液灌注值具有r2＝0.986的高置信度。

[0020] 在一种可能的实施方式中，所述基于确定的所述血液灌注值，确定该帧面部红外视频图像对应的血液灌注伪彩色图，包括：

[0021] 利用python中的opencv模块对所述血液灌注值进行处理，得到该帧面部红外视频图像对应的血液灌注伪彩色图。

[0022] 在一种可能的实施方式中，所述CNN‑BiGRU_Attention网络模型包括3个卷积层，2个池化层和1个全连接层。卷积层设置了1个5*5和2个3*3的规格，2个池化层分别设置为Maxpooling和Global Average Pooling。

[0023] 在一种可能的实施方式中，所述对转化得到的矩阵向量进行语义编码，包括：

[0024] 利用如下公式对化得到的矩阵向量进行语义编码：

[0025] hij＝BiGRU(cij)

[0026] 式中，hij表示语义编码得到的数据，cij表示转化得到的矩阵向量。

[0027] 在一种可能的实施方式中，所述基于语义编码得到的数据，确定该帧面部红外视频图像对应的权重系数，包括：

[0028] 利用如下公式计算该帧面部红外视频图像对应的权重系数：

[0029] qij＝tanh(whij+bw)

[0030]

[0031]

[0032] 式中，qij表示权重系数，w表示预设常数，bw表示偏置系数，uw表示随机初始化的注意力矩阵，Attention机制矩阵sij由attention机制分配的不同概率权重与各个隐层状态的乘积的累加和，使用softmax函数做归一化操作得到。

[0033] (三)有益效果

[0034] 本申请提供了一种面部红外热图的灌注优化及人工智能情绪监测方法。具备以下有益效果：

[0035] 本申请首先获取目标个体的面部红外视频，之后，利用CNN‑BiGRU_Attention网络模型对每帧面部红外视频图像对应的血液灌注伪彩色图进行处理，得到每帧面部红外视频图像对应的空间特征向量矩阵；利用BiGRU层确定每帧面部红外视频图像对应的时间特征向量矩阵；最后基于每帧面部红外视频图像对应的空间特征向量矩阵和每帧面部红外视频图像对应的时间特征向量矩阵，确定目标个体针对每种预设情绪的概率特征信息。上述技术方案将CNN与BiGRU结合，BiGRU模块引入Attention机制，提取图像的空间特征和时间特征，联合识别目标个体针对每种预设情绪的概率特征信息，有效提高了识别效率、准确度，克服了识别得到的类型单一的缺陷。

附图说明

[0036] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0037] 图1示意性的示出了本申请一实施例的面部红外热图的灌注优化及人工智能情绪监测方法的流程图。

具体实施方式

[0038] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0039] 本申请提供了一种面部红外热图的灌注优化及人工智能情绪监测方法，该方法将CNN与BiGRU结合，BiGRU模块引入Attention机制，提取图像的空间特征和时间特征，联合识别目标个体针对每种预设情绪的概率特征信息，有效提高了识别效率、准确度，克服了识别得到的类型单一的缺陷。具体地，如图1所述，包括如下步骤：

[0040] S110、获取目标个体的面部红外视频；所述面部红外视频包括多帧面部红外视频图像。

[0041] 这里，可以利用红外热像仪对人体面部进行实时拍摄，将所采集到的面部红外视频保存到与热像仪相连接的计算机中，并实时显示在屏幕上。

[0042] S120、针对每帧面部红外视频图像，获取该帧面部红外视频图像中额头部位的多个特征点的温度信息，基于所述多个特征点的温度信息，确定该帧面部红外视频图像对应的额头平均温度信息，并基于该帧面部红外视频图像对应的额头平均温度信息，确定该帧面部红外视频图像对应的血液灌注值，基于确定的所述血液灌注值，确定该帧面部红外视频图像对应的血液灌注伪彩色图。

[0043] 上述多个特征点可以是预先设定的特征点。

[0044] 本步骤中，基于该帧面部红外视频图像对应的额头平均温度信息，确定该帧面部红外视频图像对应的血液灌注值，包括：

[0045] 利用如下公式计算该帧面部红外视频图像对应的血液灌注值：

[0046] PI＝0.073*e0.3846T/856

[0047] 式中，PI表示该帧面部红外视频图像对应的血液灌注值，T表示该帧面部红外视频图像对应的额头平均温度信息；

[0048] 利用上述公式计算得到的血液灌注值具有r2＝0.986的高置信度。

[0049] 本步骤中，基于确定的所述血液灌注值，确定该帧面部红外视频图像对应的血液灌注伪彩色图，包括：

[0050] 利用python中的opencv模块对所述血液灌注值进行处理，得到该帧面部红外视频图像对应的血液灌注伪彩色图。

[0051] 本步骤中，利用红外分析软件对上述红外视频图像进行提取面部前额区域温度数据。然后，利用传热模型将每一帧红外视频图像所对应的面部前额皮肤温度转换为血液灌注值。本申请的上述公式是对SHT传热模型进行简化得到的，运用最小二乘法拟合出函数近似描述血液灌注值与皮肤温度之间的函数关系。

[0052] S130、利用CNN‑BiGRU_Attention网络模型对每帧面部红外视频图像对应的血液灌注伪彩色图进行处理，分别得到每帧面部红外视频图像对应的空间特征向量矩阵。

[0053] CNN‑BiGRU_Attention网络模型包括3个卷积层，2个池化层和1个全连接层。卷积层设置了1个5*5和2个3*3的规格，2个池化层分别设置为Maxpooling和Global Average Pooling。

[0054] S140、针对每帧面部红外视频图像，将该帧面部红外视频图像对应的血液灌注伪彩色图对应的数据进行数据清洗，并将清洗后的数据转化BiGRU层能够处理的矩阵向量；对转化得到的矩阵向量进行语义编码，并基于语义编码得到的数据，确定该帧面部红外视频图像对应的权重系数，并利用BiGRU层，基于确定权重系数，确定该帧面部红外视频图像对应的时间特征向量矩阵。

[0055] 本步骤中，对转化得到的矩阵向量进行语义编码，包括：

[0056] 利用如下公式对化得到的矩阵向量进行语义编码：

[0057] hij＝BiGRU(cij)

[0058] 式中，hij表示语义编码得到的数据，cij表示转化得到的矩阵向量。

[0059] 本步骤中，基于语义编码得到的数据，确定该帧面部红外视频图像对应的权重系数，包括：

[0060] 利用如下公式计算该帧面部红外视频图像对应的权重系数：

[0061] qij＝tanh(whij+bw)

[0062]

[0063]

[0064] 式中，qij表示权重系数，w表示预设常数，bw表示偏置系数，uw表示随机初始化的注意力矩阵，Attention机制矩阵sij由attention机制分配的不同概率权重与各个隐层状态的乘积的累加和，使用softmax函数做归一化操作得到。

[0065] 本步骤中，在BiGRU的基础上引入了注意力(Attention)机制，形成BiGRU_Attention模型,共分为两部分：输入层、隐含层。其中隐含层有BiGRU层、attention层和全连接层组成。其中，输入层用于完成上述读取血液灌注伪彩色图对应的数据并进行数据清洗，将数据向量化成BiGRU层能够直接接收并能处理的序列向量形式。每一帧血液灌注伪彩色图按时间顺序排列为{s1，s2，s3…}。隐含层的计算主要完成上述步骤中的：根据BiGRU层的神经网络模型，把BiGRU看做由向前GRU和反向GRU两部分组成，在第i时刻输入的第j张血液灌注伪彩色图的矩阵向量为cij,通过BiGRU层特征提取后，可以更加充分地学习前后两帧血液灌注伪彩色图之间的关系，并实现语义编码。计算每个矩阵向量应分配的概率权重。BiGRU的Attention机制层的输入为上一层中经过BiGRU层激活处理的输出向量hij。

[0066] S150、将每帧面部红外视频图像对应的时间特征向量矩阵，和每帧面部红外视频图像对应的空间特征向量矩阵，利用全连接层进行拼接，并利用softmax函数对拼接得到的数据进行处理，确定目标个体针对每种预设情绪的概率特征信息；

[0067] S160、将所述概率特征信息发送给客户端和显示端进行显示。

[0068] 上述实施例中，红外视频图像同其他信号(如面部表情、语音、肢体动作等在内的外在视觉和听觉信号，心率、脑电、脉搏等在内的心理信号)进行心理情绪识别相比，具有非侵犯性、非言语性以及对光照的鲁棒性等特征，基于红外视频图像所反映出的面部温度信息，结合深度学习中的卷积神经网络和时间序列神经网络分析模型，并引入注意力机制，进行心理情绪状态识别更具有可行性和高准确率。

[0069] 上述实施例利用面部红外视频图像进行情绪识别，具有非侵犯性、非言语性以及对光照的鲁棒性等特征。面部红外视频图像转换为血液灌注伪彩色图，可以解决红外热像仪的测温范围相对人脸表面温度的变化过大，不易从原始的面部红外视频图像序列中直接观察到人体面部温度明显变化的区域的问题。上述实施例通过联合分析数据的时间特征和空间特征，更加准确有效地识别出真实的情绪状态。

[0070] 上述面部红外热图的灌注优化及人工智能情绪监测方法，基于监测目标个体面部红外视频，利用CNN‑BiGRU_Attention网络模型对每帧面部红外图像对应的血液灌注伪彩色图进行处理，进而挖掘蕴含在帧内空间特征向量矩阵；此外，利用BiGRU层确定面部红外视频帧间时间特征向量矩阵；最后基于每帧面部红外图像对应的空间特征向量矩阵和相邻帧间时间特征向量矩阵，确定监测目标个体针对每种预设情绪状态的概率特征信息。上述技术方案将CNN与BiGRU结合，BiGRU模块引入Attention机制，充分提取图像的空间特征和帧间时间特征，进而联合识别监测目标个体对于每种预设情绪状态的概率特征信息，可以在非干扰的测试环境中获取更加真实的情绪分布，有效提高了情绪识别的效率及准确度。

[0071] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

[0072] 以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。