情感识别方法、装置、情感识别系统以及分析决策终端

摘要

本申请适用于人机交互技术领域，提供了一种情感识别方法、装置、情感识别系统、分析决策终端以及计算机可读存储介质，该方法包括：获取患者的综合特征信息；将综合特征信息输入至预设的分析决策引擎，得到患者的情感状态；生成患者的情感状态对应的第一音频信号，并发送第一音频信号至治疗师对应的耳机，第一音频信号用于指示耳机播放与第一音频信号对应的声音信号至治疗师。可见，本申请实施例在治疗师对患者进行心理治疗过程中，准确识别患者的情感状态并告知治疗师，提高治疗效果。

权利要求

1.一种情感识别方法，其特征在于，包括：获取患者的综合特征信息；将所述综合特征信息输入至预设的分析决策引擎，得到所述患者的情感状态，所述预设的分析决策引擎包括至少一种分析决策策略；生成所述患者的情感状态对应的第一音频信号，并发送所述第一音频信号至治疗师对应的耳机，所述第一音频信号用于指示所述耳机播放与所述第一音频信号对应的声音信号至治疗师；将所述综合特征信息输入至预设的分析决策引擎，得到所述患者的情感状态，包括：对所述综合特征信息中每个特征信息进行特征提取，得到每个所述特征信息对应的特征属性；识别每个所述特征信息对应的情感等级，统计出所述综合特征信息对应的情感等级种类；基于所述情感等级种类对应的分析决策策略，根据每个所述特征信息对应的特征属性，生成所述患者的情感状态；基于所述情感等级种类对应的分析决策策略，根据所述每个所述特征信息的特征属性，生成所述患者的情感状态，包括：根据综合特征信息对应的综合情感等级种类，调用与所述情感等级种类对应的预先训练的识别模型；将每个所述特征信息对应的特征属性输入至所述预先训练的识别模型，得到所述患者的情感状态；根据综合特征信息对应的情感等级种类，调用与所述情感等级种类对应的预先训练的识别模型之前，还包括：采集综合特征信息样本；根据所述综合特征信息样本对识别模型进行训练，得到所述预先训练的识别模型；根据所述综合特征信息样本的综合情感等级种类，给所述预先训练的识别模型打上对应的序列号标签；基于所述情感等级种类对应的分析决策策略，根据所述每个所述特征信息的特征属性，生成所述患者的情感状态之后，还包括：若所述情感等级种类对应的预先训练的识别模型的序列号大于2，则查找出所述综合特征信息中情感等级最低的特征信息；调用与所述情感等级最低的特征信息匹配的所述预先训练的识别模型，将所述与所述情感等级最低的特征信息输入至预先训练的识别模型，得到所述患者的参考情感状态；根据参考情感状态以及情感状态，生成情感反馈句式，并将与情感反馈句式对应的第二音频信号发送至治疗师的耳机，其中，第二音频信号用于指示所述耳机播放与所述第二音频信号对应的声音信号至治疗师。

2.如权利要求1所述的情感识别方法，其特征在于，识别每个所述特征信息对应的情感等级，统计出所述综合特征信息对应的情感等级种类，包括：根据预先训练的分类器识别每个所述特征信息对应的情感等级；

确定出每个所述特征信息的情感等级对应的种类；

统计出所述综合特征信息对应的综合情感等级种类。

3.一种情感识别装置，其特征在于，包括：获取模块，用于获取患者的综合特征信息；

分析模块，用于将所述综合特征信息输入至预设的分析决策引擎，得到所述患者的情感状态，所述预设的分析决策引擎包括至少一种分析决策策略；

生成模块，用于生成所述患者的情感状态对应的第一音频信号，并发送所述第一音频信号至治疗师对应的耳机，所述第一音频信号用于指示所述耳机播放与所述第一音频信号对应的声音信号至治疗师；

所述分析模块，包括：

提取子模块，用于对所述综合特征信息中每个特征信息进行特征提取，得到每个所述特征信息对应的特征属性；

识别子模块，用于识别每个所述特征信息对应的情感等级，统计出所述综合特征信息对应的情感等级种类；

生成子模块，用于基于所述情感等级种类对应的分析决策策略，根据每个所述特征信息对应的特征属性，生成所述患者的情感状态；

所述生成子模块包括：

调用单元，用于根据综合特征信息对应的综合情感等级种类，调用与所述情感等级种类对应的预先训练的识别模型；

生成单元，用于将每个所述特征信息对应的特征属性输入至所述预先训练的识别模型，得到所述患者的情感状态；

所述装置还包括：

采集模块，用于采集综合特征信息样本；

训练模块，用于根据所述综合特征信息样本对识别模型进行训练，得到所述预先训练的识别模型；

标记模块，用于根据所述综合特征信息样本的综合情感等级种类，给所述预先训练的识别模型打上对应的序列号标签；

所述装置还包括：

查找模块，用于若所述情感等级种类对应的预先训练的识别模型的序列号大于2，则查找出所述综合特征信息中情感等级最低的特征信息；

调用模块，用于调用与所述情感等级最低的特征信息匹配的所述预先训练的识别模型，将所述与所述情感等级最低的特征信息输入至预先训练的识别模型，得到所述患者的参考情感状态；

生成模块，用于根据参考情感状态以及情感状态，生成情感反馈句式，并将与情感反馈句式对应的第二音频信号发送至治疗师的耳机，其中，第二音频信号用于指示所述耳机播放与所述第二音频信号对应的声音信号至治疗师。

4.一种情感识别系统，其特征在于，包括：分析决策终端，用于从采集装置获取患者的综合特征信息；将综合特征信息输入至预设的分析决策引擎，得到患者的情感状态；生成患者的情感状态对应的第一音频信号，并发送第一音频信号至治疗师对应的耳机；

与分析决策终端连接的采集装置，用于采集患者的综合特征信息；

与分析决策终端连接的耳机，用于接收分析决策终端发送的第一音频信号，并播放与第一音频信号对应的声音信号至治疗师；

所述分析决策终端具体用于：对所述综合特征信息中每个特征信息进行特征提取，得到每个所述特征信息对应的特征属性；

识别每个所述特征信息对应的情感等级，统计出所述综合特征信息对应的情感等级种类；

基于所述情感等级种类对应的分析决策策略，根据每个所述特征信息对应的特征属性，生成所述患者的情感状态；

所述分析决策终端具体用于：根据综合特征信息对应的综合情感等级种类，调用与所述情感等级种类对应的预先训练的识别模型；

将每个所述特征信息对应的特征属性输入至所述预先训练的识别模型，得到所述患者的情感状态；

所述分析决策终端具体用于：

采集综合特征信息样本；

根据所述综合特征信息样本对识别模型进行训练，得到所述预先训练的识别模型；

根据所述综合特征信息样本的综合情感等级种类，给所述预先训练的识别模型打上对应的序列号标签；

所述分析决策终端具体用于：

若所述情感等级种类对应的预先训练的识别模型的序列号大于2，则查找出所述综合特征信息中情感等级最低的特征信息；

调用与所述情感等级最低的特征信息匹配的所述预先训练的识别模型，将所述与所述情感等级最低的特征信息输入至预先训练的识别模型，得到所述患者的参考情感状态；

根据参考情感状态以及情感状态，生成情感反馈句式，并将与情感反馈句式对应的第二音频信号发送至治疗师的耳机，其中，第二音频信号用于指示所述耳机播放与所述第二音频信号对应的声音信号至治疗师。

5.一种分析决策终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至2任一项所述的方法。

6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述的方法。

说明书

情感识别方法、装置、情感识别系统以及分析决策终端

技术领域

[0001] 本申请属于人机交互技术领域，尤其涉及情感识别方法、装置、情感识别系统、分析决策终端以及计算机可读存储介质。

背景技术

[0002] 治疗师在对患者进行心理治疗的过程中，治疗师会根据患者在讲述相关事件的情感状态进行诊断评估，从而根据诊断评估的结果制定对应的治疗策略。但是，患者的情感表
达十分复杂，治疗师只能根据经验对患者的情感状态进行简单的识别，识别准确率不高。

发明内容

[0003] 本申请实施例提供了情感识别方法、装置、分析决策终端以及存储介质，可以解决对患者的情感状态识别准确率不高的问题。

[0004] 第一方面，本申请实施例提供了情感识别方法，包括：

[0005] 获取患者的综合特征信息；

[0006] 将所述综合特征信息输入至预设的分析决策引擎，得到所述患者的情感状态；

[0007] 生成所述患者的情感状态对应的第一音频信号，并发送所述第一音频信号至治疗师对应的耳机，所述第一音频信号用于指示所述耳机播放与所述第一音频信号对应的声音
信号至治疗师。

[0008] 在第一方面的一种可能的实现方式中，所述预设的分析决策引擎包括至少一种分析决策策略；

[0009] 将所述综合特征信息输入至预设的分析决策引擎，得到所述患者的情感状态，包括：

[0010] 对所述综合特征信息中每个特征信息进行特征提取，得到每个所述特征信息对应的特征属性；

[0011] 识别每个所述特征信息对应的情感等级，统计出所述综合特征信息对应的情感等级种类；

[0012] 基于所述情感等级种类对应的分析决策策略，根据每个所述特征信息对应的特征属性，生成所述患者的情感状态。

[0013] 在第一方面的一种可能的实现方式中，识别每个所述特征信息对应的情感等级，统计出所述综合特征信息对应的情感等级种类，包括：

[0014] 根据预先训练的分类器识别每个所述特征信息对应的情感等级；

[0015] 确定出每个所述特征信息的情感等级对应的种类；

[0016] 统计出所述综合特征信息对应的综合情感等级种类。

[0017] 在第一方面的一种可能的实现方式中，基于所述情感等级种类对应的分析决策策略，根据所述每个所述特征信息的特征属性，生成所述患者的情感状态，包括：

[0018] 根据综合特征信息对应的综合情感等级种类，调用与所述情感等级种类对应的预先训练的识别模型；

[0019] 将每个所述特征信息对应的特征属性输入至所述预先训练的识别模型，得到所述患者的情感状态。

[0020] 在第一方面的一种可能的实现方式中，根据综合特征信息对应的情感等级种类，调用与所述情感等级种类对应的预先训练的识别模型之前，还包括：

[0021] 采集综合特征信息样本；

[0022] 根据所述综合特征信息样本对识别模型进行训练，得到所述预先训练的识别模型；

[0023] 根据所述综合特征信息样本的综合情感等级种类，给所述预先训练的识别模型打上对应的序列号标签。

[0024] 在第一方面的一种可能的实现方式中，基于所述情感等级种类对应的分析决策策略，根据所述每个所述特征信息的特征属性，生成所述患者的情感状态之后，还包括：

[0025] 若所述情感等级种类对应的预先训练的识别模型的序列号大于2，则查找出所述综合特征信息中情感等级最低的特征信息；

[0026] 调用与所述情感等级最低的特征信息匹配的所述预先训练的识别模型，将所述与所述情感等级最低的特征信息输入至预先训练的识别模型，得到所述患者的参考情感状
态；

[0027] 根据参考情感状态以及情感状态，生成情感反馈句式，并将与情感反馈句式对应的第二音频信号发送至治疗师的耳机，其中，第二音频信号用于指示所述耳机播放与所述
第二音频信号对应的声音信号至治疗师。

[0028] 第二方面，本申请实施例提供了一种情感识别装置，包括：

[0029] 获取模块，用于获取患者的综合特征信息；

[0030] 分析模块，用于将所述综合特征信息输入至预设的分析决策引擎，得到所述患者的情感状态；

[0031] 生成模块，用于生成所述患者的情感状态对应的第一音频信号，并发送所述第一音频信号至治疗师对应的耳机，所述第一音频信号用于指示所述耳机播放与所述第一音频
信号对应的声音信号至治疗师。

[0032] 在一种可能的实现方式中，所述分析模块包括：

[0033] 提取子模块，用于对所述综合特征信息中每个特征信息进行特征提取，得到每个所述特征信息对应的特征属性；

[0034] 识别子模块，用于识别每个所述特征信息对应的情感等级，统计出所述综合特征信息对应的情感等级种类；

[0035] 生成子模块，用于基于所述情感等级种类对应的分析决策策略，根据每个所述特征信息对应的特征属性，生成所述患者的情感状态。

[0036] 在一种可能的实现方式中，所述识别子模块包括：

[0037] 识别单元，用于根据预先训练的分类器识别每个所述特征信息对应的情感等级；

[0038] 确定单元，用于确定出每个所述特征信息的情感等级对应的种类；

[0039] 统计单元，用于统计出所述综合特征信息对应的综合情感等级种类。

[0040] 在一种可能的实现方式中，所述生成子模块包括：

[0041] 调用单元，用于根据综合特征信息对应的综合情感等级种类，调用与所述情感等级种类对应的预先训练的识别模型；

[0042] 生成单元，用于将每个所述特征信息对应的特征属性输入至所述预先训练的识别模型，得到所述患者的情感状态。

[0043] 在一种可能的实现方式中，所述装置还包括：

[0044] 采集模块，用于采集综合特征信息样本；

[0045] 训练模块，用于根据所述综合特征信息样本对识别模型进行训练，得到所述预先训练的识别模型；

[0046] 标记模块，用于根据所述综合特征信息样本的综合情感等级种类，给所述预先训练的识别模型打上对应的序列号标签。

[0047] 在一种可能的实现方式中，所述装置还包括：

[0048] 查找模块，用于若所述情感等级种类对应的预先训练的识别模型的序列号大于2，则查找出所述综合特征信息中情感等级最低的特征信息；

[0049] 调用模块，用于调用与所述情感等级最低的特征信息匹配的所述预先训练的识别模型，将所述与所述情感等级最低的特征信息输入至预先训练的识别模型，得到所述患者
的参考情感状态；

[0050] 生成模块，用于根据参考情感状态以及情感状态，生成情感反馈句式，并将与情感反馈句式对应的第二音频信号发送至治疗师的耳机，其中，第二音频信号用于指示所述耳
机播放与所述第二音频信号对应的声音信号至治疗师。

[0051] 第三方面，本申请实施例提供了一种情感识别系统，包括：

[0052] 获取模块，用于获取患者的综合特征信息；

[0053] 分析模块，用于将所述综合特征信息输入至预设的分析决策引擎，得到所述患者的情感状态；

[0054] 生成模块，用于生成所述患者的情感状态对应的第一音频信号，并发送所述第一音频信号至治疗师对应的耳机，所述第一音频信号用于指示所述耳机播放与所述第一音频
信号对应的声音信号至治疗师。

[0055] 第三方面，本申请实施例提供了一种分析决策终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序
时实现如上述第一方面所述的方法。

[0056] 第四方面，本申请实施例提供了一种存储介质，所述计算机程序被处理器执行时实现如上述第一方面所述的方法。

[0057] 本申请实施例与现有技术相比存在的有益效果是：

[0058] 本申请实施例中，通过分析决策终端根据患者的综合特征，识别出患者的情感状态，生成患者的情感状态对应的第一音频信号，并发送第一音频信号至耳机，以使得耳机播
放与第一音频信号对应的声音信号至治疗师，从而在治疗师对患者进行心理治疗过程中，
准确识别患者的情感状态并告知治疗师，提高治疗效果。

附图说明

[0059] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些
实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附
图获得其他的附图。

[0060] 图1是本申请实施例提供的情感识别系统的结构示意图；

[0061] 图2是本申请实施例提供的情感识别方法的流程示意图；

[0062] 图3是本申请实施例提供的情感识别方法的图2中步骤S202的具体流程示意图；

[0063] 图4是本申请实施例提供的情感识别方法的图2中步骤S203的具体流程示意图；

[0064] 图5是本申请实施例提供的情感识别方法的图4中步骤S401之前的流程示意图；

[0065] 图6本申请实施例提供的情感识别方法的图2中步骤S203之后的流程示意图；

[0066] 图7是本申请实施例提供的情感识别装置的结构示意图；

[0067] 图8是本申请实施例提供的分析决策终端的结构示意图；

[0068] 图9是本申请实施例提供的情感识别方法的预先训练的卷积神经网络模型。

具体实施方式

[0069] 以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体
细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电
路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

[0070] 应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、
步骤、操作、元素、组件和/或其集合的存在或添加。

[0071] 还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

[0072] 如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确
定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响
应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

[0073] 另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

[0074] 在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书
中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、
“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是
所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变
形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

[0075] 为了说明本申请所述的技术方案，下面结合具体实施例对本申请进行介绍。

[0076] 参见图1，为本申请实施例提供的一种情感识别系统1的结构示意图，该情感识别系统可以包括分析决策终端10、与分析决策终端连接的采集装置20以及与分析决策终端连
接的耳机30，其中，分析决策终端可以包括但是不限于中终端设备或者服务器，终端设备可
以是笔记本、台式电脑等计算设备，服务器可以是云服务器或者GPU服务器等计算设备，采
集装置可以是摄像装置、穿戴式采集装置以及音频采集装置等，耳机可以是治疗师携带的
入耳式蓝牙耳机。

[0077] 采集装置用于采集患者的综合特征信息。其中，通过音频采集装置采集患者的语音特征信息，通过穿戴式采集装置采集患者的生理特征信息，例如脉搏、呼吸、汗液、心率、
皮电以及体温等生理特征信息，通过摄像装置采集患者的脸部图片、肢体动作视频等。

[0078] 分析决策终端用于从采集装置获取患者的综合特征信息；将综合特征信息输入至预设的分析决策引擎，得到患者的情感状态；生成患者的情感状态对应的第一音频信号，并
发送第一音频信号至治疗师对应的耳机。

[0079] 耳机用于接收分析决策终端发送的第一音频信号，并播放与第一音频信号对应的声音信号至治疗师。

[0080] 本申请实施例中，分析决策终端根据采集装置采集的患者的综合特征，识别出患者的情感状态，生成患者的情感状态对应的第一音频信号，并发送第一音频信号至耳机，以
使得耳机播放与第一音频信号对应的声音信号至治疗师，从而在治疗师对患者进行心理治
疗过程中，准确识别患者的情感状态并告知治疗师，提高治疗效果。

[0081] 参见图2，为本申请实施例提供的情感识别方法的流程示意图，该方法应用于上述实施例的决策分析终端，该决策分析终端可以是终端设备或者服务器，其中，终端设备可以
是笔记本、电脑或者手机等计算设备，服务器可以是云服务器、GPU服务器等计算设备，该方
法包括以下步骤:

[0082] 步骤S101、获取患者的综合特征信息。

[0083] 其中，综合特征信息包括语音特征信息、表情特征信息、肢体特征信息以及生理特征信息中至少一种特征信息，语音特征信息包括语义、语速、语调、音量等。

[0084] 步骤S102、将综合特征信息输入至预设的分析决策引擎，得到患者的情感状态。

[0085] 其中，预设的分析决策引擎包括至少一种分析决策策略。

[0086] 具体地，参见图2，为本申请实施例提供的情感识别方法的图1中步骤S102的具体流程示意图，将综合特征信息输入至预设的分析决策引擎，得到患者的情感状态，包括：

[0087] 步骤S201、对综合特征信息中每个特征信息进行特征提取，得到特征属性。

[0088] 具体应用中，根据患者的语速与语速阈值进行比较，得到语速的快、中。慢3个特征属性；根据语调对应的波形与预设波形进行匹配，得到语调的升调、降调、升降调、降升调以
及平调5个特征属性；将音量的分贝值与分贝阈值进行比较，得到音量的高、中、低3个特征
属性。将语义进行文本识别，识别出的情感词和语气助词输入至预设字典，得到与生气、悲
伤、高兴、害怕和中性等5类情感状态对应的特征属性。优选的，上述特征属性可以采用one‑
hot编码，形成特征属性对应的向量。

[0089] 表情特征信息包括眼部（眼睛、眉毛）、嘴部等面部表情，通过opencv进行人脸特征检测，对于检测出的面部特征，利用分类器例如SVM分类器进行进一步的分类，得到与生气、
悲伤、高兴、害怕和中性等5类情感状态对应的特征属性，上述特征属性为特征图片。

[0090] 肢体特征信息包括头部、肩部、手、手臂、腿、脚等肢体动作，采用识别算法OpenPose对肢体动作视频进行人体姿态识别，识别出肢体的关键部位，识别出与生气、悲
伤、高兴、害怕和中性等5类情感状态对应的特征属性，上述特征属性为特征向量，其中，特
征向量是根据肢体的关键部位形成的三维特征向量。

[0091] 采集患者的生理特征信息，例如脉搏、呼吸、汗液、心率、皮电以及体温等生理特征信息，分别对上述生理特征信息与阈值特征进行比较，得出高、中、低3个特征属性，上述特
征属性可以采用one‑hot编码，形成特征属性对应的向量。

[0092] 步骤S202、识别每个特征信息对应的情感等级，统计出综合特征信息对应的情感等级种类。

[0093] 可以理解的是，本申请实施例经过大量实验得出，患者的每个特征信息反映患者的情感状态程度存在差异，例如，患者的语音特征信息中的语义一般可以直接反映患者的
情感状态，反映程度较差；患者的语音特征信息中的语速、语调、音量可以隐含反映患者的
情感状态，反映程度一般；患者的表情特征信息、肢体动作信息和生理特征信息可以隐含反
映患者的情感状态，反映程度最高。那么，可以预先设置每个特征信息对应的情感等级表，
分析决策终端可以根据预先设置的情感等级表对特征信息的情感等级进行识别，然后统计
出综合特征信息对应的情感等级种类，并且情感等级越高在实际应用中越难获取。例如，识
别出患者的语音特征信息的语义对应的情感状态等级是一级，患者的语音特征信息的语
速、语调、音量对应的情感状态等级是二级，患者的表情特征信息、肢体动作信息和生理特
征信息对应的情感状态等级是三级，情感等级种类就包括一级、二级以及三级。

[0094] 示例性地，如图3所示，为本申请实施例提供的情感识别方法的图2中步骤S202的具体流程示意图，识别每个特征信息对应的情感等级，统计出综合特征信息对应的情感等
级种类，包括：

[0095] 步骤S301、根据预先训练的分类器识别每个特征信息对应的情感等级。

[0096] 其中，预先训练的分类器包括支持向量机、朴素贝叶斯等分类器。

[0097] 步骤S302、确定出每个特征信息的情感等级对应的种类。

[0098] 步骤S303、统计出综合特征信息对应的综合情感等级种类。

[0099] 步骤S203、基于情感等级种类对应的分析决策策略，根据每个特征信息的特征属性，生成患者的情感状态。

[0100] 示例性地，如图4所示，为本申请实施例提供的情感识别方法的图2中步骤S203的具体流程示意图，基于情感等级种类对应的分析决策策略，根据每个特征信息的特征属性，
生成患者的情感状态，包括：

[0101] 步骤S401、根据综合特征信息对应的综合情感等级种类，调用与情感等级种类对应的预先训练的识别模型。

[0102] 可以理解的是，情感等级种类不同，采用的预先训练的识别模型就不同。例如，获取到的患者的综合特征信息只有语音特征信息中的语义，对应的综合情感等级种类只包括
第一等级，那么预先训练的识别模型就是word2vec语言模型；获取到的患者的综合特征信
息包括语音特征信息中的语义、语速、语调、音量，对应的综合情感等级种类包括第一等级、
第二等级，那么预先训练的识别模型就是n‑gram语音模型；获取到的患者的综合特征信息
包括语音特征信息的语义、语速、语调、音量、表情特征信息、肢体特征信息以及生理特征信
息，对应的综合情感等级种类包括第一等级、第二等级以及第三等级，那么预先训练的识别
模型就是卷积神经网络模型。

[0103] 具体应用中，查找与综合情感等级种类匹配的序列号标签，根据序列号标签调用对应的预先训练的识别模型，例如，综合情感等级种类的数量为1，那么序列号标签为1，对
应的预先训练的识别模型为word2vec语言模型。

[0104] 在一种可选的实施例中，如图5所示，为本申请实施例提供的情感识别方法的图4中步骤S401之前的流程示意图，根据综合特征信息对应的情感等级种类，调用与情感等级
种类对应的预先训练的识别模型之前，包括：

[0105] 步骤S501、采集综合特征信息样本。

[0106] 步骤S502、根据综合特征信息样本对识别模型进行训练，得到预先训练的识别模型。

[0107] 其中，预先训练的识别模型包括预先训练的word2vec语言模型、n‑gram语音模型以及卷积神经网络模型。

[0108] 具体地，将综合特征信息样本的语音特征信息中的语义输入至word2vec语言模型进行训练，得到预先训练的word2vec语言模型；综合特征信息样本的语义、语速、语调、音调
输入至n‑gram语音模型进行训练，得到预先训练的n‑gram语音模型；将综合特征信息样本
的语音特征信息的语义、语速、语调、音量、表情特征信息、肢体特征信息以及生理特征信息
输入至卷积神经网络模型，得到预先训练的卷积神经网络模型。

[0109] 示例性地，图9提供了一种预先训练的卷积神经网络模型，包括：

[0110] Inputs层：输入为32*32的图像；

[0111] C1层：采用kernelsize为5*5的卷积，宽度为32，即32个featuremap；

[0112] S2层：降采样层，kernelsize为2*2的最大池化，宽度为32；

[0113] C3层：kernelsize同样为5*5的卷积层，宽度为48；

[0114] S4层：降采样层，kernelsize为2*2的最大池化，宽度为48；

[0115] C5层：flatten层，把多维的输入一维化，即平铺成768长度的向量；

[0116] F6层：全连接层，其中部分为语音特征信息的语义、语速、语调、音量和生理信息对应的输入；

[0117] Outputs层：输出层。

[0118] 可见，预先训练的卷积神经网络，将表征表情特征信息以及肢体特征信息的图像归一化为32*32的图像输入至卷积神经网络的输入层，将表征语音特征信息的语义、语速、
语调、音量以及生理特征信息的68维的向量，以及输入至卷积神经网络模型，从而在输出层
输出生气、悲伤、高兴、害怕和中性等5种情感状态，进行训练后得到预先训练的卷积神经网
络。可见，既能有效地发挥神经网络的图片分类能力，又能加入其他的信息，最终提升情感
状态判断的准确性。

[0119] 步骤S503、根据综合特征信息样本的综合情感等级种类，给预先训练的识别模型打上对应的序列号标签。

[0120] 例如，综合情感等级种类的数量为1，那么序列号标签为1，对应的预先训练的识别模型为word2vec语言模型。

[0121] 可以理解的是，本申请实施例的会根据综合特征信息样本的综合情感等级种类给预先训练的识别模型打上对应的序列号标签，从而实现后续根据综合特征信息的综合情感
等级的不同，使用不同的预先训练的识别模型识别出患者的情感状态。

[0122] 步骤S402、将每个特征信息对应的特征属性输入至预先训练的识别模型，得到患者的情感状态。

[0123] 可以理解的是，在识别过程中直接可以根据调用的预先训练的识别模型对每个特征信息对应的特征属性进行识别，得到患者的情感状态。

[0124] 在一种可选的实施例中，如图6所示，为本申请实施例提供的情感识别方法的图2中步骤S203之后的流程示意图，基于情感等级种类对应的分析决策策略，根据每个特征信
息的特征属性，生成患者的情感状态之后，还包括：

[0125] 步骤S601、若情感等级种类对应的预先训练的识别模型的序列号大于2，则查找出综合特征信息中情感等级最低的特征信息。

[0126] 具体应用中，综合特征信息中情感等级最低的特征信息可以是语音特征信息中的语义。

[0127] 步骤S602、调用与情感等级最低的特征信息匹配的预先训练的识别模型，将与情感等级最低的特征信息输入至预先训练的识别模型，得到患者的参考情感状态。

[0128] 具体应用中，与情感等级最低的特征信息匹配的预先训练的识别模型可以是word2vec语言模型。

[0129] 步骤S603、根据参考情感状态以及情感状态，生成情感反馈句式，并将与情感反馈句式对应的第二音频信号发送至治疗师的耳机。

[0130] 示例性地，情感等级种类对应的预先训练的识别模型的序列号为3，则表示情感等级种类为3，那么情感等级种类包括第一等级、第二等级以及第三等级，综合特征信息包括
语音特征信息的语义、语速、语调、音量、表情特征信息、肢体特征信息以及生理特征信息，
将语音特征信息的语义、语速、语调、音量、表情特征信息、肢体特征信息以及生理特征信息
输入到预先训练的卷积神经网络得到的患者的情感状态为愤怒；

[0131] 但是，将与情感等级最低的特征信息输入至预先训练的识别模型，得到患者的参考情感状态为高兴。

[0132] 那么，可以根据参考情感状态以及情感状态生成情感反馈句式，例如“你刚刚在说到你对此感到很高兴时拳头紧握。你似乎希望你自己能对这件事感到高兴，但实际上你有
些愤怒。你希望她也能考虑你的感受”，采用这样的方式及时为治疗师提供与患者进行沟通
的话术，有效提高治疗效果。

[0133] 本申请实施例，通过参考情感状态以及情感状态的差异，可以为治疗师提供及时为治疗师提供与患者进行沟通的话术，有效提供治疗效果。

[0134] 203、生成患者的情感状态对应的第一音频信号，并发送第一音频信号至治疗师对应的耳机。

[0135] 其中，第一音频信号用于指示耳机播放与第一音频信号对应的声音信号至治疗师。

[0136] 本申请实施例中，通过分析决策终端根据患者的综合特征，识别出患者的情感状态，生成患者的情感状态对应的第一音频信号，并发送第一音频信号至耳机，以使得耳机播
放与第一音频信号对应的声音信号至治疗师，从而在治疗师对患者进行心理治疗过程中，
准确识别患者的情感状态并告知治疗师，提高治疗效果。

[0137] 应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限
定。

[0138] 对应于上文实施例所述的情感识别方法，图7示出了本申请实施例提供的情感识别装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

[0139] 参照图7，该装置包括：

[0140] 获取模块71，用于获取患者的综合特征信息；

[0141] 分析模块72，用于将所述综合特征信息输入至预设的分析决策引擎，得到所述患者的情感状态；

[0142] 生成模块73，用于生成所述患者的情感状态对应的第一音频信号，并发送所述第一音频信号至治疗师对应的耳机，所述第一音频信号用于指示所述耳机播放与所述第一音
频信号对应的声音信号至治疗师。

[0143] 在一种可能的实现方式中，所述分析模块包括：

[0144] 提取子模块，用于对所述综合特征信息中每个特征信息进行特征提取，得到每个所述特征信息对应的特征属性；

[0145] 识别子模块，用于识别每个所述特征信息对应的情感等级，统计出所述综合特征信息对应的情感等级种类；

[0146] 生成子模块，用于基于所述情感等级种类对应的分析决策策略，根据每个所述特征信息对应的特征属性，生成所述患者的情感状态。

[0147] 在一种可能的实现方式中，所述识别子模块包括：

[0148] 识别单元，用于根据预先训练的分类器识别每个所述特征信息对应的情感等级；

[0149] 确定单元，用于确定出每个所述特征信息的情感等级对应的种类；

[0150] 统计单元，用于统计出所述综合特征信息对应的综合情感等级种类。

[0151] 在一种可能的实现方式中，所述生成子模块包括：

[0152] 调用单元，用于根据综合特征信息对应的综合情感等级种类，调用与所述情感等级种类对应的预先训练的识别模型；

[0153] 生成单元，用于将每个所述特征信息对应的特征属性输入至所述预先训练的识别模型，得到所述患者的情感状态。

[0154] 在一种可能的实现方式中，所述装置还包括：

[0155] 采集模块，用于采集综合特征信息样本；

[0156] 训练模块，用于根据所述综合特征信息样本对识别模型进行训练，得到所述预先训练的识别模型；

[0157] 标记模块，用于根据所述综合特征信息样本的综合情感等级种类，给所述预先训练的识别模型打上对应的序列号标签。

[0158] 在一种可能的实现方式中，所述装置还包括：

[0159] 查找模块，用于若所述情感等级种类对应的预先训练的识别模型的序列号大于2，则查找出所述综合特征信息中情感等级最低的特征信息；

[0160] 调用模块，用于调用与所述情感等级最低的特征信息匹配的所述预先训练的识别模型，将所述与所述情感等级最低的特征信息输入至预先训练的识别模型，得到所述患者
的参考情感状态；

[0161] 生成模块，用于根据参考情感状态以及情感状态，生成情感反馈句式，并将与情感反馈句式对应的第二音频信号发送至治疗师的耳机，其中，第二音频信号用于指示所述耳
机播放与所述第二音频信号对应的声音信号至治疗师。

[0162] 需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此
处不再赘述。

[0163] 图8为本申请一实施例提供的分析决策终端的结构示意图。如图8所示，该实施例的分析决策终端8包括：至少一个处理器80、存储器81以及存储在所述存储器81中并可在所
述至少一个处理器80上运行的计算机程序82，所述处理器80执行所述计算机程序82时实现
上述任意各个方法实施例中的步骤。

[0164] 所述分析决策终端8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该分析决策终端可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理
解，图8仅仅是分析决策终端8的举例，并不构成对分析决策终端8的限定，可以包括比图示
更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、
网络接入设备等。

[0165] 所称处理器80可以是中央处理单元(Central Processing Unit，CPU)，该处理器80还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集
成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 
(Field‑Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管
逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规
的处理器等。

[0166] 所述存储器81在一些实施例中可以是所述分析决策终端8的内部存储单元，例如分析决策终端8的硬盘或内存。所述存储器81在另一些实施例中也可以是所述分析决策终
端8的外部存储设备，例如所述分析决策终端8上配备的插接式硬盘，智能存储卡（Smart 
Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步
地，所述存储器81还可以既包括所述分析决策终端8的内部存储单元也包括外部存储设备。
所述存储器81用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程
序等，例如所述计算机程序的程序代码等。所述存储器81还可以用于暂时地存储已经输出
或者将要输出的数据。

[0167] 所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的
功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上
描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可
以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的
单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单
元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统
中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0168] 本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步
骤。

[0169] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

[0170] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟
以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员
可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出
本申请的范围。

[0171] 在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所
述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如
多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另
一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置
或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

[0172] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个
网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。

[0173] 以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各
实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改
或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应
包含在本申请的保护范围之内。