基于微表情识别的驾驶员道路紧张情绪调节方法及系统转让专利
申请号 : CN202110446167.0
文献号 : CN113139469B
文献日 : 2022-04-29
发明人 : 刘志恩 , 秦榕沛 , 彭可挥 , 谢丽萍 , 刘恺 , 卢炽华 , 颜伏伍 , 侯献军
申请人 : 武汉理工大学
摘要 :
权利要求 :
1.一种基于微表情识别的驾驶员道路紧张情绪调节方法,其特征在于,包括以下步骤:步骤1:使用网络公开人脸微表情数据集,先对数据集进行预处理,再构建基于人脸微表情识别的驾驶员紧张情绪识别网络;
所述驾驶员紧张情绪识别网络,使用加入注意力机制的图卷积神经网络和长短期记忆网络搭建,首先人脸特征点作为图卷积神经网络的点,光流作为点的特征,构成特征矩阵输入给图卷积神经网络,同时再根据时间流关系输入长短期记忆网络,最后进行全连接层分类;其中图卷积神经网络用在空间维度上建立人脸特征点之间的边关系,长短期记忆网络用在时间维度上建立人脸特征点变化的关系;根据特征点的关系权重得到表情的分类结果;
将采集的驾驶员面部表情信号,数据预处理后,送入构建的驾驶员紧张情绪识别模型中进行训练,获得训好的驾驶员紧张情绪识别网络;
步骤2:驾驶员模拟驾驶,并实时采集驾驶员面部微表情信号,并对采集数据进行预处理,特征提取,得到驾驶员理想微表情数据;
步骤3:在驾驶员实际驾驶过程中,实时采集驾驶员面部微表情信号,将微表情信号输入步骤1中构建的基于微表情识别的驾驶员紧张情绪识别模型中,识别出驾驶员情绪,并通过与驾驶员互动,进一步做出相应的情绪调节决策。
2.根据权利要求1所述的基于微表情识别的驾驶员道路紧张情绪调节方法,其特征在于:步骤2中,针对实时获取驾驶员表情信号,并将视频流转换成照片帧,针对每两帧之间的变化得到人脸特征点的光流变化,其中人脸特征采用CNN卷积网络。
3.根据权利要求1所述的基于微表情识别的驾驶员道路紧张情绪调节方法,其特征在于:步骤3中,针对数据预处理,所述的预处理方法先采用欧拉放大算法将表情动作变大,即包括对视频信号进行空间滤波,对空间信号的基带进行时间滤波,定位微表情变化的峰值帧和放大微表情信号;再用随机数将人脸特征点重新组合,得到优越的并且丰厚的数据集;
预处理后的数据输入驾驶员紧张情绪识别网络中进行分类得出紧张情绪,并标号1和0作为输出,其中,紧张表情标号为1,其他表情标号为0。
4.一种基于微表情识别的驾驶员道路紧张情绪调节系统,其特征在于,包括以下模块:模块一,用于使用网络公开人脸微表情数据集,对数据集进行预处理,构建基于微表情识别的驾驶员紧张情绪识别模型;
所述驾驶员紧张情绪识别网络,使用加入注意力机制的图卷积神经网络和长短期记忆网络搭建,首先人脸特征点作为图卷积神经网络的点,光流作为点的特征,构成特征矩阵输入给图卷积神经网络,同时再根据时间流关系输入长短期记忆网络,最后进行全连接层分类;其中图卷积神经网络用在空间维度上建立人脸特征点之间的边关系,长短期记忆网络用在时间维度上建立人脸特征点变化的关系;根据特征点的关系权重得到表情的分类结果;
将采集的驾驶员面部表情信号,数据预处理后,送入构建的驾驶员紧张情绪识别模型中进行训练,获得训好的驾驶员紧张情绪识别网络;
模块二,用于驾驶员模拟驾驶时实时采集驾驶员面部微表情信号,并对采集数据进行预处理,特征提取,得到驾驶员理想微表情数据;
模块三,用于在驾驶员实际驾驶过程中,实时采集驾驶员面部微表情信号,将微表情信号输入步骤1中构建的基于微表情识别的驾驶员紧张情绪识别模型中,识别出驾驶员情绪,并通过与驾驶员互动,进一步做出相应的情绪调节决策。
说明书 :
基于微表情识别的驾驶员道路紧张情绪调节方法及系统
技术领域
背景技术
张烦躁的情绪,这类消极情绪对交通安全存在着很大的隐患。
情是有益的,但是不同节奏的音乐对驾驶的影响是不同的,快节奏的音乐会抢占人的精神
资源,慢节奏的音乐会缓解驾驶人员的消极情绪。因此可以通过个人的喜欢并且舒缓的音
乐进行紧张情绪缓解。
发明内容
阵输入给图卷积神经网络,同时再根据时间流关系输入长短期记忆网络,最后进行全连接
层分类;其中图卷积神经网络用在空间维度上建立人脸特征点之间的边关系,长短期记忆
网络用在时间维度上建立人脸特征点变化的关系;根据特征点的关系权重得到表情的分类
结果;
并通过与驾驶员互动,进一步做出相应的情绪调节决策。
阵输入给图卷积神经网络,同时再根据时间流关系输入长短期记忆网络,最后进行全连接
层分类;其中图卷积神经网络用在空间维度上建立人脸特征点之间的边关系,长短期记忆
网络用在时间维度上建立人脸特征点变化的关系;根据特征点的关系权重得到表情的分类
结果;
情绪,并通过与驾驶员互动,进一步做出相应的情绪调节决策。
要求驾驶员实时反馈紧张心情;使用欧拉放大算法对原始面部微表情信号进行预处理,采
用特征提取算法和分类模型对预处理后的微表情信号进行特征提取,最后分类出紧张表
情;将视频处理,预处理算法,特征提取算法以及神经网络融合成人脸微表情识别的驾驶员
紧张情绪识别模型;基于人脸微表情识别的驾驶员紧张情绪识别模型得到的紧张预警信
号,触发车内语音助手进行询问,车内控制系统再根据驾驶员的回答做出最后决策,形成调
节闭环系统。本发明利用各种路况下驾驶员在驾驶过程中的微表情信号,实现微表情信号
的实时提取与分类并控制汽车做出反馈,降低交通危险,避免了驾驶员行车时因紧张情绪
导致的交通事故,提高交通道路安全。
附图说明
具体实施方式
用于限定本发明。
特征,构成特征矩阵输入给图卷积神经网络,同时再根据时间流关系输入长短期记忆网络,
最后进行全连接层分类;其中图卷积神经网络用在空间维度上建立人脸特征点之间的边关
系,长短期记忆网络用在时间维度上建立人脸特征点变化的关系;根据特征点的关系权重
得到表情的分类结果;
流变化关系构建图卷积网络的边,再引入注意力机制进行空间维度训练,最后输入长短期
记忆网络中进行时间维度训练。
表情识别的驾驶员紧张情绪识别模型进行训练,获得训练好的基于微表情识别的驾驶员紧
张情绪识别模型;
波,再使用带通滤波器进行时域维度的滤波,可以有效地消除噪声。视频放大使用基于图像
金字塔原理的欧拉放大算法,即使用泰勒级数将每一个像素点展开乘以放大因子,即完成
信号放大。
表情识别模型使用CNN+LSTM,其中CNN作为卷积核不变的神经网络,提取数据集空间域的特
征信号,LSTM是循环神经网络的变形,其在循环模型上引入门信号,即门信号可以决定输入
信号是否可以作为特征输出,LSTM可以学习长期依赖关系因此用于处理时间域的特征,目
的是防止冗余的输入信号导致循环训练模型时无法利用过去有效的信息,基于所述的两类
神经网络对面部表情进行分类,得到紧张表情。本文为得到人脸特征点光流变化关系,使用
GCN图卷积网络训练微表情识别模型。
微表情信号,并对采集数据进行预处理,特征提取,得到驾驶员理想微表情数据;
建模拟驾驶环境,设置场景为,平坦并且宽阔的道路,没有过往的车辆;平坦并且窄的道路,
没有过往的车辆;凹凸不平并且窄的道路,没有过往的车辆;凹凸不平并且窄的道路,有较
多过往的车辆并且道路较为堵塞拥挤。
输入人脸微表情系统进行预处理,特征提取和分类。
基于微表情识别的驾驶员道路紧张情绪调节方法,其特征在于,所述步骤3中,被试者面对
虚拟环境使用虚拟驾驶台驾驶在四种不同的路况中,实验过程中为了增加被试者紧张情绪
的产生,根据路况的等级在模拟道路上会不定时的增加对流车辆。实验进行时使用驾驶台
摄像系统记录被试者的面部表情,并实时将视频帧输入到微表情识别系统,具体流程如下:
输入LSTM网络中得到时间域的特征,最后经过特征融合再通过全连接层得到分类结果,将
紧张表情标号为1,其他表情标号为0。根据分类结果判断是否启动应用于缓解紧张情绪的
车载语音助手。
基带进行时间滤波,定位微表情变化的峰值帧和放大微表情信号;再用随机数将人脸特征
点重新组合,得到优越的并且丰厚的数据集;预处理后的数据输入驾驶员紧张情绪识别网
络中进行分类得出紧张情绪,并标号1和0作为输出,其中,紧张表情标号为1,其他表情标号
为0。
并通过与驾驶员互动,进一步做出相应的情绪调节决策。
驶标记为2,根据驾驶员语音反馈信号控制汽车做出相应任务。
节系统中,基于微表情识别的输出信号启动语音助手,即系统检测到驾驶员消极情绪时自
动启动,并询问“是否要播放您喜爱的音乐或者开启辅助驾驶系统?”,根据驾驶员回答进行
行为分析,得到控制信号。
据以当前车速为基础进行减速并自动驾驶。最后将训练以及验证完成的基于微表情识别的
驾驶员紧张情绪识别模型,反馈系统和语音识别系统集成在车内高级驾驶辅助系统中。
利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发
明的请求保护范围应以所附权利要求为准。