一种基于多模态识别的人力资源面试系统

摘要

本发明公开了一种基于多模态识别的人力资源面试系统，该系统包括：在线登陆单元、智能筛选单元、在线面试单元、能力评估单元及录用单元；其中，在线登陆单元用于求职者通过移动终端登陆企业人力资源面试系统；智能筛选单元用于对求职者的简历进行初步筛选；在线面试单元用于对求职者进行专业能力的考察；能力评估单元用于对求职者表现进行综合评估；录用单元用于基于综合评估决定求职者是否录用。本发明通过电子简历的自动化筛选、智能机器人的在线交流以及虚拟场景的日常操作，从而实现了对求职者的智能化的素质考核，还减轻了人力资源管理部门对求职者招聘的工作量，使得该人力资源面试系统具有较强的实用性。

权利要求

1.一种基于多模态识别的人力资源面试系统，其特征在于，该系统包括：在线登陆单元、智能筛选单元、在线面试单元、能力评估单元及录用单元；

其中，所述在线登陆单元，用于求职者通过移动终端登陆企业人力资源面试系统；

所述智能筛选单元，用于对求职者的简历进行初步筛选；

所述在线面试单元，用于对求职者进行专业能力的考察；

所述能力评估单元，用于对求职者表现进行综合评估；

所述录用单元，用于基于所述综合评估决定求职者是否录用；

所述能力评估单元包括数据采集模块、数据处理模块及能力评估模块；

所述数据采集模块，用于采集求职者在面试过程中面部表情图像和音频数据；

所述数据处理模块，用于对采集的数据进行处理分析，得到求职者在面试过程中的情绪状态；

所述能力评估模块，用于基于求职者的情绪状态对求职者的综合能力进行评估；

所述对采集的数据进行处理分析，得到求职者在面试过程中的情绪状态包括以下步骤：S4021、对采集的面部表情图像进行灰度化处理，降低图像的维度，对采集的音频数据进行噪声去除处理；

S4022、对处理后的面部表情图像及音频数据进行归一化处理；

S4023、采用主成分分析法对面部表情图像及音频数据进行面部表情特征提取及语音特征提取；

S4024、将提取的面部表情特征及语音特征输入至预设的支持向量机SVM分类器和线性回归模型中，并对求职者面部表情的情绪程度进行分析，得到求职者当前的面部表情情绪状态识别结果和音频情绪状态识别结果；

S4025、基于求和规则和求积规则对求职者当前的面部表情情绪状态识别结果和音频情绪状态识别结果进行决策层融合，将得出的融合结果中概率值最高的情绪状态确定为求职者当前的情感状态识别结果；

所述求和规则的计算公式为：

 ；

所述求积规则的计算公式为：

；

其中， 表示融合面部表情情绪状态识别结果和音频情绪状态识别结果后的识别结果；

分别表示面部表情情绪状态识别结果和音频情绪状态识别结果的权重；

表示面部表情情绪状态的识别结果；

表示音频情绪状态识别结果；

表示第j种情绪状态；

所述基于求职者的情绪状态对求职者的综合能力进行评估的计算公式为： ；

其中， 表示当前第i次求职者面试状态的评分；

表示当前第i次求职者互动行为加分的评分；

n表示对求职者面试的评估次数；

表示求职者第i次面试状态评分所占总面试评分的百分比；

X表示求职者面试的综合评分结果；

所述在线面试单元包括智能面试模块及场景面试模块；

其中，智能面试模块，用于通过智能机器人对求职者进行在线交流；

场景面试模块，用于通过虚拟场景技术为求职者提供与求职岗位日常贴近的虚拟场景，并在所述虚拟场景中进行日常工作流程的操作以及解决随机出现的问题以完成设定的任务；

所述通过智能机器人对求职者进行在线交流包括以下步骤：S3011、选取预设的面试交流语音为样本并基于BP神经网络对智能机器人进行训练；

S3012、训练后的智能机器人根据求职者的简历信息对求职者进行提问，并得到详细的求职者信息；

S3013、求职者通过语音的方式对智能机器人进行提问；

S3014、智能机器人对求职者提出的问题进行文本信息处理，去除冗余信息，并对文本信息进行自然语音解析和文字分切，将文本信息分割为词组并为其分配权重；

S3015、基于综合权重均衡算法从预设的知识库中提取最优答案的文本信息；

S3016、智能机器人根据提取的文本信息组织回答语句向求职者提出的问题进行反馈；

所述通过虚拟场景技术为求职者提供与求职岗位日常贴近的虚拟场景，并在所述虚拟场景中进行日常工作流程的操作以及解决随机出现的问题以完成设定的任务包括以下步骤：S3021、根据企业内部的岗位情况，制定与岗位所对应的工作技能及专业知识问题相关的面试情景；

S3022、基于制定的面试情景模拟出与企业内部岗位情况相对应的虚拟场景；

S3023、通过虚拟设备为求职者提供与求职岗位日常贴近的虚拟场景，求职者可以在模拟的虚拟场景中展现自我能力，完成虚拟出来日常工作流程以及随机出现的问题；

所述对求职者的简历进行初步筛选包括以下步骤：S21、以企业发展为基础建立用人岗位人才选用标准，创建与企业发展相对应的岗位人才素质模型；

S22、根据用人岗位人才选用标准创建同一格式的电子简历模板并通过网络进行发布；

S23、求职者通过电子简历模板填写个人信息；

S24、以企业内优秀员工的简历为样本进行BP神经网络训练；

S25、基于BP神经网络对求职者的简历进行最优简历的筛选；

S26、根据筛选的最优简历获取对应的求职者信息，并对求职者发送面试通知;基于对求职者的面部表情及音频数据的多模态情绪进行识别判断，通过对采集的面部表情图像进行灰度化处理，降低图像的维度以及对音频数据进行噪声去除处理，从而能够保证采集数据的准确性，为后续对求职者情绪状态判断的准确性提供保障，同时，通过对面部表情情绪状态识别结果和音频情绪状态识别结果进行决策层融合，进而能够使得融合后的识别率更好，更能反应求职者在面试过程中的状态。

2.根据权利要求1所述的一种基于多模态识别的人力资源面试系统，其特征在于，所述基于所述综合评估决定求职者是否录用包括将求职者面试的综合评分结果提交给人力资源部门和用人岗位所在部门的决策者，由二者共同决定是否录用。

说明书

一种基于多模态识别的人力资源面试系统

技术领域

[0001] 本发明涉及人力资源领域，具体来说，涉及一种基于多模态识别的人力资源面试系统。

背景技术

[0002] 求职面试在大多数企业中起着关键的作用，它能够帮助求职者选择合适的就业机会；为了让企业更好地利用求职者的面试信息，在招聘有前途或者有能力的求职者时做出更合理的决定，必须采用更稳健和更可靠的方法对求职者的潜力进行评级；从求职者的角度出发，能够用一个能够估计他们真正潜力的统一标准来评估他们的潜力，这将使求职者不会错过可能的就业机会。

[0003] 面试是求职者在找工作过程中不可或缺的一个环节，面试给企业和求职者双向交流的机会，是企业和求职者之间相互了解的重要途径，随着人工智能技术的快速发展，大数据分析与处理的方式也在发生相应的变化，企业人才招聘可以充分利用这一科技发展趋势，将传统的人与人、面对面的招聘面试形式逐渐转化为通过人机交互完成人才初选的智能招聘形式。

[0004] 然而，现有技术中的人力资源面试系统通过多模态识别的方式来对求职者在面试过程中的面部表情及语音进行分析，来判断处求职者在面试过程中的情绪状态，但是，现有技术中不能很好的根据求职者在面试过程中的情绪状态进行求职者的能力判断，往往通过人工的方式进行判断分析，该方法存在判断不准确的情况，无法做出精准的判断，存在一定的局限性。

[0005] 针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

[0006] 针对相关技术中的问题，本发明提出一种基于多模态识别的人力资源面试系统，以克服现有相关技术所存在的上述技术问题。

[0007] 为此，本发明采用的具体技术方案如下：

[0008] 一种基于多模态识别的人力资源面试系统，该系统包括：在线登陆单元、智能筛选单元、在线面试单元、能力评估单元及录用单元；

[0009] 其中，所述在线登陆单元，用于求职者通过移动终端登陆企业人力资源面试系统；

[0010] 所述智能筛选单元，用于对求职者的简历进行初步筛选；

[0011] 所述在线面试单元，用于对求职者进行专业能力的考察；

[0012] 所述能力评估单元，用于对求职者表现进行综合评估；

[0013] 所述录用单元，用于基于所述综合评估决定求职者是否录用。

[0014] 进一步的，所述对求职者的简历进行初步筛选包括以下步骤：

[0015] S21、以企业发展为基础建立用人岗位人才选用标准，创建与企业发展相对应的岗位人才素质模型；

[0016] S22、根据用人岗位人才选用标准创建同一格式的电子简历模板并通过网络进行发布；

[0017] S23、求职者通过电子简历模板填写个人信息；

[0018] S24、以企业内优秀员工的简历为样本进行BP神经网络训练；

[0019] S25、基于BP神经网络对求职者的简历进行最优简历的筛选；

[0020] S26、根据筛选的最优简历获取对应的求职者信息，并对求职者发送面试通知。

[0021] 进一步的，所述在线面试单元包括智能面试模块及场景面试模块；

[0022] 其中，智能面试模块，用于通过智能机器人对求职者进行在线交流；

[0023] 场景面试模块，用于通过虚拟场景技术为求职者提供与求职岗位日常贴近的虚拟场景，并在所述虚拟场景中进行日常工作流程的操作以及解决随机出现的问题以完成设定的任务。

[0024] 进一步的，所述通过智能机器人对求职者进行在线交流包括以下步骤：

[0025] S3011、选取预设的面试交流语音为样本并基于BP神经网络对智能机器人进行训练；

[0026] S3012、训练后的智能机器人根据求职者的简历信息对求职者进行提问，并得到详细的求职者信息；

[0027] S3013、求职者通过语音的方式对智能机器人进行提问；

[0028] S3014、智能机器人对求职者提出的问题进行文本信息处理，去除冗余信息，并对文本信息进行自然语音解析和文字分切，将文本信息分割为词组并为其分配权重；

[0029] S3015、基于综合权重均衡算法从预设的知识库中提取处最优答案的文本信息；

[0030] S3016、智能机器人根据提取的文本信息组织回答语句向求职者提出的问题进行反馈。

[0031] 进一步的，所述通过虚拟场景技术为求职者提供与求职岗位日常贴近的虚拟场景，并在所述虚拟场景中进行日常工作流程的操作以及解决随机出现的问题以完成设定的任务包括以下步骤：

[0032] S3021、根据企业内部的岗位情况，制定与岗位所对应的工作技能及专业知识问题相关的面试情景；

[0033] S3022、基于制定的面试情景模拟出与企业内部岗位情况相对应的虚拟场景；

[0034] S3023、通过虚拟设备为求职者提供与求职岗位日常贴近的虚拟场景，求职者可以在模拟处理的虚拟场景中展现自我能力，完成虚拟出来日常工作流程以及随机出现的问题。

[0035] 进一步的，所述能力评估单元包括数据采集模块、数据处理模块及能力评估模块；

[0036] 其中，所述采集模块，用于采集求职者在面试过程中面部表情图像和音频数据；

[0037] 所述数据处理模块，用于对采集的数据进行处理分析，得到求职者在面试过程中的情绪状态；

[0038] 所述能力评估模块，用于基于求职者的情绪状态对求职者的综合能力进行评估。

[0039] 进一步的，所述对采集的数据进行处理分析，得到求职者在面试过程中的情绪状态包括以下步骤：

[0040] S4021、对采集的面部表情图像进行灰度化处理，降低图像的维度，对采集的音频数据进行噪声去除处理；

[0041] S4022、对处理后的面部表情图像及音频数据进行归一化处理；

[0042] S4023、采用主成分分析法对面部表情图像及音频数据进行面部表情特征提取及语音特征提取；

[0043] S4024、将提取的面部表情特征及语音特征输入至预设的支持向量机SVM分类器和线性回归模型中，并对求职者面部表情的情绪程度进行分析，得到求职者当前的面部表情情绪状态识别结果和音频情绪状态识别结果；

[0044] S4025、基于求和规则和求积规则对求职者当前的面部表情情绪状态识别结果和音频情绪状态识别结果进行决策层融合，将得出的融合结果中概率值最高的情绪状态确定为求职者当前的情感状态识别结果。

[0045] 进一步的，所述求和规则的计算公式为：

[0046]  ；

[0047] 所述求和积规则的计算公式为：

[0048]  ；

[0049] 其中， 表示融合面部表情情绪状态识别结果和音频情绪状态识别结果后的识别结果；

[0050] 分别表示面部表情情绪状态识别结果和音频情绪状态识别结果的权重；

[0051] 表示面部表情情绪状态的识别结果；

[0052] 表示音频情绪状态识别结果；

[0053] 表示第j中情绪状态。

[0054] 进一步的，所述基于求职者的情绪状态对求职者的综合能力进行评估的计算公式为：

[0055]  ；

[0056] 其中， 表示当前第i次求职者面试状态的评分；

[0057] 表示当前第i次求职者互动行为加分的评分；

[0058] n表示对求职者面试的评估次数；

[0059] 表示求职者第i次面试状态评分所占总面试评分的百分比；

[0060] X表示求职者面试的综合评分结果。

[0061] 进一步的，所述基于所述综合评估决定求职者是否录用包括将求职者面试的综合评分结果提交给人力资源部门和用人岗位所在部门的决策者，由二者共同决定是否录用。

[0062] 本发明的有益效果为：

[0063] 1、本发明通过将人工智能技术、数据分析技术及虚拟场景技术进行融合，并通过电子简历的自动化筛选、智能机器人的在线交流以及虚拟场景的日常操作，从而实现了对求职者的智能化的素质考核，不仅加快了企业对求职者的招聘流程，还减轻了人力资源管理部门对求职者招聘的工作量，进而提高了企业的发展，使得该人力资源面试系统具有较强的实用性。

[0064] 2、本发明基于对求职者的面部表情及音频数据的多模态情绪进行识别判断，通过对采集的面部表情图像进行灰度化处理，降低图像的维度以及对音频数据进行噪声去除处理，从而能够保证采集数据的准确性，为后续对求职者情绪状态判断的准确性提供保障，同时，通过对面部表情情绪状态识别结果和音频情绪状态识别结果进行决策层融合，进而能够使得融合后的识别率更好，更能反应求职者在面试过程中的状态。

[0065] 3、本发明通过对求职者的情绪状态对求职者的综合能力进行评估，从而能够让企业人力资管理部门的决策者能够更加直观且清晰的了解求职者在面试过程中的综合应对能力，有利于企业招聘到能力较强的且更实时应聘岗位的员工。

附图说明

[0066] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0067] 图1是根据本发明实施例的一种基于多模态识别的人力资源面试系统的原理框图。

[0068] 图中：

[0069] 1、在线登陆单元；2、智能筛选单元；3、在线面试单元；301、智能面试模块；302、场景面试模块；4、能力评估单元；401、数据采集模块；402、数据处理模块；403、能力评估模块；5、录用单元。

具体实施方式

[0070] 为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

[0071] 根据本发明的实施例，提供了一种基于多模态识别的人力资源面试系统。

[0072] 现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的基于多模态识别的人力资源面试系统，该系统包括：在线登陆单元1、智能筛选单元2、在线面试单元3、能力评估单元4及录用单元5；

[0073] 其中，所述在线登陆单元1，用于求职者通过移动终端登陆企业人力资源面试系统；

[0074] 具体的，移动终端包括移动手机、PC平板、笔记本电脑等；

[0075] 所述智能筛选单元2，用于对求职者的简历进行初步筛选；

[0076] 其中，所述对求职者的简历进行初步筛选包括以下步骤：

[0077] S21、以企业发展为基础建立用人岗位人才选用标准，创建与企业发展相对应的岗位人才素质模型；

[0078] 具体的，人力资源管理部门以企业发展的战略规划提出人才素质层次整体需求为基础建立人才选用标准，从而创建与企业发展相对应的岗位胜任性素质模型，素质模型包括基本素质、能力素质、知识技能、品行动机及人格特征等；

[0079] S22、根据用人岗位人才选用标准创建同一格式的电子简历模板并通过网络进行发布；

[0080] 具体的，简历中待求职者填写的项求职者姓名、性别、年龄、联系方式以及教育背景、工作经历等基本信息；

[0081] S23、求职者通过电子简历模板填写个人信息；

[0082] S24、以企业内优秀员工的简历为样本进行BP神经网络训练；

[0083] 具体的，BP神经网络算法的主要原理如下：首先输入训练样本，将样本数据正向传递，计算经过多个神经元处理后的网络的最终输出，然后求出预测值和输出值之间的均方差；判定误差函数的值是否达到设定阈值，若没有达到则将误差反向传递，利用梯度下降法对网络的权值和偏置进行更新，如此循环训练，若输出值和预测值的平方差小于给定阈值时，保存此时训练所得到所有参数，网络训练结束。

[0084] S25、基于BP神经网络对求职者的简历进行最优简历的筛选；

[0085] S26、根据筛选的最优简历获取对应的求职者信息，并对求职者发送面试通知。

[0086] 所述在线面试单元3，用于对求职者进行专业能力的考察；

[0087] 其中，所述在线面试单元3包括智能面试模块301及场景面试模块302；

[0088] 其中，智能面试模块301，用于通过智能机器人对求职者进行在线交流；

[0089] 具体的，所述通过智能机器人对求职者进行在线交流包括以下步骤：

[0090] S3011、选取预设的面试交流语音为样本并基于BP神经网络对智能机器人进行训练；

[0091] S3012、训练后的智能机器人根据求职者的简历信息对求职者进行提问，并得到详细的求职者信息；

[0092] 具体的，智能机器人系统中载有人工招聘过程中经常被提出的问题，智能机器人能够向求职者提出问题并记录其给出的答案，提问的过程是高效的，只就与岗位有关的信息进行提问，对于求职者的专业能力考察，会根据求职者对当前问题的应答情况动态选择下一个问题，进而以最少的提问量获取尽可能多的信息。

[0093] S3013、求职者通过语音的方式对智能机器人进行提问；

[0094] S3014、智能机器人对求职者提出的问题进行文本信息处理，去除冗余信息，并对文本信息进行自然语音解析和文字分切，将文本信息分割为词组并为其分配权重；

[0095] S3015、基于综合权重均衡算法从预设的知识库中提取处最优答案的文本信息；

[0096] S3016、智能机器人根据提取的文本信息组织回答语句向求职者提出的问题进行反馈。

[0097] 场景面试模块302，用于通过虚拟场景技术为求职者提供与求职岗位日常贴近的虚拟场景，并在所述虚拟场景中进行日常工作流程的操作以及解决随机出现的问题以完成设定的任务。

[0098] 具体的，所述通过虚拟场景技术为求职者提供与求职岗位日常贴近的虚拟场景，并在所述虚拟场景中进行日常工作流程的操作以及解决随机出现的问题以完成设定的任务包括以下步骤：

[0099] S3021、根据企业内部的岗位情况，制定与岗位所对应的工作技能及专业知识问题相关的面试情景；

[0100] S3022、基于制定的面试情景模拟出与企业内部岗位情况相对应的虚拟场景；

[0101] S3023、通过虚拟设备为求职者提供与求职岗位日常贴近的虚拟场景，求职者可以在模拟处理的虚拟场景中展现自我能力，完成虚拟出来日常工作流程以及随机出现的问题。

[0102] 具体的，通过虚拟场景技术能够为求职者提供一个与岗位日常工作实际十分贴近的虚拟场景，从而使人力资源管理部门直观地了解求职者的专业技能水平和临时应变能力；通过虚拟设备向求职者显示一个虚拟的任务场景，求职者在该场景中进行虚拟操作、解决随机出现的问题以完成设定的任务，系统对整个过程的影像进行记录并基于大数据分析对求职者的实际操作能力水平进行评定。

[0103] 具体的，通过将人工智能技术、数据分析技术及虚拟场景技术进行融合，并通过电子简历的自动化筛选、智能机器人的在线交流以及虚拟场景的日常操作，从而实现了对求职者的智能化的素质考核，不仅加快了企业对求职者的招聘流程，还减轻了人力资源管理部门对求职者招聘的工作量，进而提高了企业的发展。

[0104] 所述能力评估单元4，用于对求职者表现进行综合评估；

[0105] 具体的，所述能力评估单元4包括数据采集模块401、数据处理模块402及能力评估模块403；

[0106] 其中，所述采集模块401，用于采集求职者在面试过程中面部表情图像和音频数据；

[0107] 具体的，可通过摄像测量技术对求职者在面试过程中的面部表情图像进行收集；可通过录音设备对求职者在面试过程中音频数据进行收集；

[0108] 所述数据处理模块402，用于对采集的数据进行处理分析，得到求职者在面试过程中的情绪状态；

[0109] 具体的，基本面部表情主要分为高兴、悲伤、恐惧、愤怒、厌恶、惊讶和中性7种基本表情。

[0110] 具体的，所述对采集的数据进行处理分析，得到求职者在面试过程中的情绪状态包括以下步骤：

[0111] S4021、对采集的面部表情图像进行灰度化处理，降低图像的维度，对采集的音频数据进行噪声去除处理；

[0112] 具体的，通过对采集的面部表情图像进行灰度化处理，降低图像的维度以及对音频数据进行噪声去除处理，从而能够保证采集数据的准确性，为后续对求职者情绪状态判断的准确性提供保障。

[0113] S4022、对处理后的面部表情图像及音频数据进行归一化处理；

[0114] S4023、采用主成分分析法对面部表情图像及音频数据进行面部表情特征提取及语音特征提取；

[0115] 具体的，主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标（即主成分），其中每个主成分都能够反映原始变量的大部分信息，且所含信息互不重复。这种方法在引进多方面变量的同时将复杂因素归结为几个主成分，使问题简单化，同时得到的结果更加科学有效的数据信息。

[0116] S4024、将提取的面部表情特征及语音特征输入至预设的支持向量机SVM分类器和线性回归模型中，并对求职者面部表情的情绪程度进行分析，得到求职者当前的面部表情情绪状态识别结果和音频情绪状态识别结果；

[0117] S4025、基于求和规则和求积规则对求职者当前的面部表情情绪状态识别结果和音频情绪状态识别结果进行决策层融合，将得出的融合结果中概率值最高的情绪状态确定为求职者当前的情感状态识别结果；

[0118] 具体的，所述求和规则的计算公式为：

[0119]  ；

[0120] 所述求和积规则的计算公式为：

[0121]  ；

[0122] 其中， 表示融合面部表情情绪状态识别结果和音频情绪状态识别结果后的识别结果；

[0123] 分别表示面部表情情绪状态识别结果和音频情绪状态识别结果的权重；

[0124] 表示面部表情情绪状态的识别结果；

[0125] 表示音频情绪状态识别结果；

[0126] 表示第j中情绪状态。

[0127] 所述能力评估模块403，用于基于求职者的情绪状态对求职者的综合能力进行评估。

[0128] 其中，所述基于求职者的情绪状态对求职者的综合能力进行评估的计算公式为：

[0129]  ；

[0130] 其中， 表示当前第i次求职者面试状态的评分；

[0131] 表示当前第i次求职者互动行为加分的评分；

[0132] n表示对求职者面试的评估次数；

[0133] 表示求职者第i次面试状态评分所占总面试评分的百分比；

[0134] X表示求职者面试的综合评分结果。

[0135] 所述录用单元5，用于基于所述综合评估决定求职者是否录用。

[0136] 其中，所述基于所述综合评估决定求职者是否录用包括将求职者面试的综合评分结果提交给人力资源部门和用人岗位所在部门的决策者，由二者共同决定是否录用。

[0137] 综上所述，借助于本发明的上述技术方案，发明的有益效果为：本发明通过将人工智能技术、数据分析技术及虚拟场景技术进行融合，并通过电子简历的自动化筛选、智能机器人的在线交流以及虚拟场景的日常操作，从而实现了对求职者的智能化的素质考核，不仅加快了企业对求职者的招聘流程，还减轻了人力资源管理部门对求职者招聘的工作量，进而提高了企业的发展，使得该人力资源面试系统具有较强的实用性；本发明基于对求职者的面部表情及音频数据的多模态情绪进行识别判断，通过对采集的面部表情图像进行灰度化处理，降低图像的维度以及对音频数据进行噪声去除处理，从而能够保证采集数据的准确性，为后续对求职者情绪状态判断的准确性提供保障，同时，通过对面部表情情绪状态识别结果和音频情绪状态识别结果进行决策层融合，进而能够使得融合后的识别率更好，更能反应求职者在面试过程中的状态；本发明通过对求职者的情绪状态对求职者的综合能力进行评估，从而能够让企业人力资管理部门的决策者能够更加直观且清晰的了解求职者在面试过程中的综合应对能力，有利于企业招聘到能力较强的且更实时应聘岗位的员工。

[0138] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。