基于情感分析的产品反馈分析系统及方法转让专利

申请号 : CN202110779241.0

文献号 : CN113220893B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 赵帅程渤吴晨光陈俊亮

申请人 : 北京邮电大学

摘要 :

本发明提供了一种基于情感分析的产品反馈分析系统及方法,其中,该系统包括:表示单元,用于将用户反馈文本数据转化为第一文本语义表示;每个情感特征获取单元,每个用于从第一文本语义表示挖掘出当前层级的初始情感观点的第二文本语义表示;层级的信息传递单元,后一层用于接收前一层的依赖信息,结合至后一层第一及第二文本语义表示,得到当前层的观点语义信息,与当前层分类分析结果构建依赖信息;层级的情感分类单元,每个用于接收第二文本语义表示和传递的观点语义信息,得到第三文本语义表示,识别出局部观点类别及情感极性;全局情感分类单元和分析结果输出单元,用于根据第三文本语义得到最终分析结果。通过上述方案能提高反馈分析深度。

权利要求 :

1.一种基于情感分析的产品反馈分析系统,其特征在于,包括:层级情感分析模块;

层级情感分析模块,包括:

用户反馈文本输入与表示单元,用于获取产品的用户反馈文本数据,并将用户反馈文本数据转化为第一文本语义表示;

相互独立的多个情感特征获取单元,每个情感特征获取单元用于从第一文本语义表示挖掘出当前情感特征获取单元所处层级的各初始情感观点对应的第二文本语义表示;

多个层级的信息传递单元,后一层级的信息传递单元用于接收前一层级的信息传递单元传递的依赖信息,并将接收的依赖信息结合至该后一层级的信息传递单元所处层级的第一文本语义表示及情感特征获取单元输出的第二文本语义表示进行分析处理,得到该后一层级的信息传递单元所处层级的情感观点语义信息,并根据得到的情感观点语义信息和该后一层级的信息传递单元所处层级的情感分类单元输出的分析结果构建依赖信息,以传递至该后一层级的信息传递单元所处层级的下一层级的信息传递单元;其中,第一个层级的信息传递单元是利用其所处层级的第一文本语义表示及情感特征获取单元输出的第二文本语义表示进行分析处理;

多个层级的情感分类单元,每个层级的情感分类单元用于接收根据由当前情感分类单元所处层级的情感特征获取单元输出的第二文本语义表示和当前情感分类单元所处层级的信息传递单元输出的情感观点语义信息构建的输入,计算得到第三文本语义表示,根据第三文本语义表示识别出用户反馈文本中存在的局部情感观点类别及情感极性,作为当前情感分类单元的分析结果;

全局情感分类单元,用于根据所有层级的情感分类单元输出的第三文本语义表示,计算得到第四文本语义表示,并根据第四文本语义表示识别出用户反馈文本的全局情感观点类别及情感极性;

分析结果输出单元,用于根据全局情感观点类别及情感极性和所有层级的情感分类单元输出的局部情感观点类别及情感极性,得到用户反馈文本的最终情感分析结果。

2.如权利要求1所述的基于情感分析的产品反馈分析系统,其特征在于,每一层级的情感特征获取单元,包括:第一注意力层,用于对当前情感特征获取单元所处层级的初始情感观点的类别信息与所述第一文本语义表示进行注意力计算,得到包含初始情感观点的类别信息的文本语义表示,将包含初始情感观点的类别信息的文本语义表示与所述第一文本语义表示进行拼接,得到相应层级的新的语义表示数据;

卷积层,包括第一文本卷积神经网络、第二文本卷积神经网络、及输出模块;其中,所述第一文本卷积神经网络用于对所述第一文本语义表示进行卷积和最大池化处理,得到第一语义表示向量;所述第二文本卷积神经网络用于对所述第一文本语义表示进行卷积,得到卷积输出,并使用当前情感特征获取单元所处层级的每一种情感观点的类别向量与该卷积输出进行元素对位乘积计算,以得到相应层级的相应情感观点类别的门机制结果向量;所述输出模块用于将第一语义表示向量与每一种情感观点类别的门机制结果向量进行元素对位相乘,并经最大池化后得到相应层级的每一种情感观点对应的第二文本语义表示。

3.如权利要求1所述的基于情感分析的产品反馈分析系统,其特征在于,每一层级的信息传递单元,包括:

第二注意力层,用于接收前一层级的信息传递单元传递来的依赖信息的矩阵,将接收的依赖信息的矩阵与所述第一文本语义表示数据进行元素对位相乘,得到文本语义矩阵,将该文本语义矩阵和当前信息传递单元所处层级的情感特征获取单元输出的各初始情感观点对应的第二文本语义表示的向量拼接矩阵进行注意力机制计算,得到注意力权重矩阵,将文本语义矩阵中的文本语义向量按注意力权重矩阵的对应元素加权求和,得到相应层级的整体情感观点语义表示向量;其中,首个层级的信息传递单元中的第二注意力层计算过程中得到的文本语义矩阵为所述第一文本语义表示;

依赖信息传递层,用于将当前信息传递单元所处层级的注意力权重矩阵和当前信息传递单元所处层级的情感分类单元输出的分析结果由向量形式拓展成的与第一文本语义表示形状相同的数据矩阵进行元素对位相乘,得到相应层级的依赖信息的向量,以传递至当前信息传递单元所处层级的下一层级的信息传递单元。

4.如权利要求3所述的基于情感分析的产品反馈分析系统,其特征在于,每一层级的情感分类单元,用于接收通过将根据由当前情感分类单元所处层级的情感特征获取单元输出的第二文本语义表示的向量拼接矩阵和当前情感分类单元所处层级的信息传递单元输出的整体情感观点语义表示向量的扩展矩阵进行拼接构建的输入,将该输入经由使用非线性激活函数的全连接神经网络层计算得到第三文本语义表示的矩阵,根据第三文本语义表示的矩阵再经由使用多分类任务激活函数的全连接神经网络层得到用户反馈文本中存在的局部情感观点类别及情感极性的向量,作为当前情感分类单元的分析结果。

5.如权利要求1所述的基于情感分析的产品反馈分析系统,其特征在于,全局情感分类单元,用于将所有层级的情感分类单元输出的第三文本语义表示的矩阵进行平均化处理,得到第四文本语义表示,并将第四文本语义表示经由使用非线性激活函数的全连接层神经网络层计算得到最终情感文本语义表示矩阵,再将该最终情感文本语义表示矩阵使用多分类任务激活函数的全连接神经网络计算得到用户反馈文本的全局情感观点类别及情感极性的向量。

6.如权利要求1所述的基于情感分析的产品反馈分析系统,其特征在于,分析结果输出单元,用于根据全局情感观点类别及情感极性和每个层级的情感分类单元输出的局部情感观点类别及情感极性得到映射矩阵,利用映射矩阵将相应层级的局部情感观点类别及情感极性由局部向完整层级进行转化和整合,得到用户反馈文本的最终情感分析结果;其中,映射矩阵中的每个元素表示局部情感观点类别的重要性占比。

7.如权利要求1所述的基于情感分析的产品反馈分析系统,其特征在于,用户反馈文本输入与表示单元,用于获取产品的用户反馈文本数据,并利用BERT中文预训练模型将用户反馈文本数据转化为第一文本语义表示。

8.如权利要求1所述的基于情感分析的产品反馈分析系统,其特征在于,层级情感分析模块在训练过程中所使用的损失函数通过乘法加权稀有系数进行损失奖惩,其中,稀有系数为前一层级中的情感观点频次与最后一层级中的情感观点频次的比例。

9.如权利要求1所述的基于情感分析的产品反馈分析系统,其特征在于,还包括:数据输入与预处理模块,用于存储用户反馈文本,并对用户反馈文本进行预处理以输出用户反馈文本输入与表示单元所需的用户反馈文本数据;和/或,分析结果查询与显示模块,通过web应用的形式,提供可视化的查询操作界面,统计并保存层级情感分析模块输出的最终情感分析结果,并该最终情感分析结果转化为情感观点热度图、情感观点趋势图以及情感观点树状图。

10.一种基于情感分析的产品反馈分析方法,其特征在于,适用于如权利要求1至9任一项所述的基于情感分析的产品反馈分析系统,所述方法包括:获取产品的用户反馈文本数据,并将用户反馈文本数据转化为第一文本语义表示;

利用相互独立的多个情感特征获取单元中每个情感特征获取单元从第一文本语义表示挖掘出当前情感特征获取单元所处层级的各初始情感观点对应的第二文本语义表示;

利用多个层级的信息传递单元中后一层级的信息传递单元接收前一层级的信息传递单元传递的依赖信息,并将接收的依赖信息结合至该后一层级的信息传递单元所处层级的第一文本语义表示及情感特征获取单元输出的第二文本语义表示进行分析处理,得到该后一层级的信息传递单元所处层级的情感观点语义信息,并根据得到的情感观点语义信息和该后一层级的信息传递单元所处层级的情感分类单元输出的分析结果构建依赖信息,以传递至该后一层级的信息传递单元所处层级的下一层级的信息传递单元;其中,第一个层级的信息传递单元是利用其所处层级的第一文本语义表示及情感特征获取单元输出的第二文本语义表示进行分析处理;

利用多个层级的情感分类单元中的每个层级的情感分类单元用于接收根据由当前情感分类单元所处层级的情感特征获取单元输出的第二文本语义表示和当前情感分类单元所处层级的信息传递单元输出的情感观点语义信息构建的输入,计算得到第三文本语义表示,根据第三文本语义表示识别出用户反馈文本中存在的局部情感观点类别及情感极性,作为当前情感分类单元的分析结果;

根据所有层级的情感分类单元输出的第三文本语义表示,计算得到第四文本语义表示,并根据第四文本语义表示识别出用户反馈文本的全局情感观点类别及情感极性;

根据全局情感观点类别及情感极性和所有层级的情感分类单元输出的局部情感观点类别及情感极性,得到用户反馈文本的最终情感分析结果。

说明书 :

基于情感分析的产品反馈分析系统及方法

技术领域

[0001] 本发明涉及计算机技术技术领域,尤其涉及一种基于情感分析的产品反馈分析系统及方法。

背景技术

[0002] 随着如web2.0等网络技术的迅速发展,移动网络、网络社交、网上购物等正在逐步地拓展了网络服务的覆盖范围,越来越多的人得以通过丰富的网络平台等渠道发表自己的
观点、评价和情感等内容。如何能够合理且有效地从这些复杂用户反馈数据中挖掘出有价
值的信息,是一个重要具富有挑战性的问题,因此,用户反馈分析相关算法和技术受到了越
来越多研究人员和相关企业的关注。
[0003] 作为产品反馈分析核心的情感分析技术,其作用在于,通过对用户反馈文本数据等内容进行挖掘,分析和预测出人们对于特定情感实体所表达和抒发的评价、观点和态度
等内容下的情感倾向。情感分析技术设计和实现的优劣将直接影响到用户反馈分析工作中
的分析角度多样性及分析结果的精确性,进而决定整个用户反馈分析任务能否挖掘出更细
致且更有价值的信息。
[0004] 目前主流情感分析技术中,分析所用的情感观点角度、粒度的细化程度不同。分析处理主要在文档级别、语句级别和方面级别三个层面进行。
[0005] 文档级别的情感分析方法的分析粒度较为粗糙,存在难以识别出一个完整数据中多种不同情感极性的问题,难以满足产品企业在实际用户反馈挖掘时的分析精度需求。
[0006] 语句级别的情感分析方法相比于文档级别的情感分析具有更细的粒度,但是由于这类方法通常存在语句分析单位的大小限制,难以分析并汇总出不同用户反馈文本内容中
发表者满意与不满意的对象,因此,其在结合上下文的语义处理方面的性能表现也较为一
般。
[0007] 方面级别的情感分析,在数据内容愈发复杂化的情况下,其情感观点类别的平铺化扩展方式限制了分析的深度,存在情感观点类型的覆盖度及深度扩展性不足的问题,同
时,这类方法还忽视了不同情感观点之间的语义关联,容易出现情感类别属性的类别部分
重叠和类别相互包含等情况,具有难以应对不同情感观点之间存在内在关系的局限性。

发明内容

[0008] 本发明提供了一种基于情感分析的产品反馈分析系统及方法,以提高产品反馈分析的深度。
[0009] 为了达到上述目的,本发明采用以下方案实现:
[0010] 根据本发明实施例的一个方面,提供了一种基于情感分析的产品反馈分析系统,包括:层级情感分析模块;
[0011] 层级情感分析模块,包括:
[0012] 用户反馈文本输入与表示单元,用于获取产品的用户反馈文本数据,并将用户反馈文本数据转化为第一文本语义表示;
[0013] 相互独立的多个情感特征获取单元,每个情感特征获取单元用于从第一文本语义表示挖掘出当前情感特征获取单元所处层级的各初始情感观点对应的第二文本语义表示;
[0014] 多个层级的信息传递单元,后一层级的信息传递单元用于接收前一层级的信息传递单元传递的依赖信息,并将接收的依赖信息结合至该后一层级的信息传递单元所处层级
的第一文本语义表示及情感特征获取单元输出的第二文本语义表示进行分析处理,得到该
后一层级的信息传递单元所处层级的情感观点语义信息,并根据得到的情感观点语义信息
和该后一层级的信息传递单元所处层级的情感分类单元输出的分析结果构建依赖信息,以
传递至该后一层级的信息传递单元所处层级的下一层级的信息传递单元;
[0015] 多个层级的情感分类单元,每个层级的情感分类单元用于接收根据由当前情感分类单元所处层级的情感特征获取单元输出的第二文本语义表示和当前情感分类单元所处
层级的信息传递单元输出的情感观点语义信息构建的输入,计算得到第三文本语义表示,
根据第三文本语义表示识别出用户反馈文本中存在的局部情感观点类别及情感极性,作为
当前情感分类单元的分析结果;
[0016] 全局情感分类单元,用于根据所有层级的情感分类单元输出的第三文本语义表示,计算得到第四文本语义表示,并根据第四文本语义表示识别出用户反馈文本的全局情
感观点类别及情感极性;
[0017] 分析结果输出单元,用于根据全局情感观点类别及情感极性和所有层级的情感分类单元输出的局部情感观点类别及情感极性,得到用户反馈文本的最终情感分析结果。
[0018] 根据本发明实施例的另一个方面,提供了一种基于情感分析的产品反馈分析方法,适用于上述实施例所述的基于情感分析的产品反馈分析系统,所述方法包括:
[0019] 获取产品的用户反馈文本数据,并将用户反馈文本数据转化为第一文本语义表示;
[0020] 利用相互独立的多个情感特征获取单元中每个情感特征获取单元从第一文本语义表示挖掘出当前情感特征获取单元所处层级的各初始情感观点对应的第二文本语义表
示;
[0021] 利用多个层级的信息传递单元中后一层级的信息传递单元接收前一层级的信息传递单元传递的依赖信息,并将接收的依赖信息结合至该后一层级的信息传递单元所处层
级的第一文本语义表示及情感特征获取单元输出的第二文本语义表示进行分析处理,得到
该后一层级的信息传递单元所处层级的情感观点语义信息,并根据得到的情感观点语义信
息和该后一层级的信息传递单元所处层级的情感分类单元输出的分析结果构建依赖信息,
以传递至该后一层级的信息传递单元所处层级的下一层级的信息传递单元;
[0022] 利用多个层级的情感分类单元中的每个层级的情感分类单元用于接收根据由当前情感分类单元所处层级的情感特征获取单元输出的第二文本语义表示和当前情感分类
单元所处层级的信息传递单元输出的情感观点语义信息构建的输入,计算得到第三文本语
义表示,根据第三文本语义表示识别出用户反馈文本中存在的局部情感观点类别及情感极
性,作为当前情感分类单元的分析结果;
[0023] 根据所有层级的情感分类单元输出的第三文本语义表示,计算得到第四文本语义表示,并根据第四文本语义表示识别出用户反馈文本的全局情感观点类别及情感极性;
[0024] 根据全局情感观点类别及情感极性和所有层级的情感分类单元输出的局部情感观点类别及情感极性,得到用户反馈文本的最终情感分析结果。
[0025] 本发明实施例的基于情感分析的产品反馈分析系统及方法,能够实现对输入系统的用户反馈数据,进行多个不同层级下的情感观点识别以及情感极性分类。层级类别情感
分析结构能够将前一层级的情感观点分析结果传递至下一层级,从而从相互关联的不同层
级情感观点角度进行了情感分析,以此能够增强产品反馈分析的深度。

附图说明

[0026] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本
发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以
根据这些附图获得其他的附图。在附图中:
[0027] 图1是本发明一实施例的基于情感分析的产品反馈分析系统的结构示意图;
[0028] 图2是本发明一实施例的基于情感分析的产品反馈分析方法的流程示意图;
[0029] 图3是本发明一实施例的基于层级类别情感分析的产品反馈分析系统的模块构成示意图;
[0030] 图4是本发明一实施例中层级类别情感分析的处理结果示例示意图;
[0031] 图5是本发明一实施例中层级类别情感分析算法的模型结构示意图;
[0032] 图6是本发明一实施例的层级类别情感分析算法模型的工作流程示意图;
[0033] 图7是本发明一实施例中的层级类别情感分析中的层级依赖预测方法示意图。

具体实施方式

[0034] 为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并
不作为对本发明的限定。
[0035] 需要预先说明的是,下述实施例或示例的描述或其中所提及的特征可以以相同或类似的方式,与其他实施例或示例中的特征组合,或替换其他实施例或示例中的特征,以形
成可能的实施方式。另外,本文所使用的术语“包括/包含”是指特征、要素、步骤或组件的存
在,但并不排除还存在一个或多个其他特征、要素、步骤或组件。
[0036] 图1是本发明一实施例的基于情感分析的产品反馈分析系统的结构示意图,参见图1,该实施例的基于情感分析的产品反馈分析系统包括:层级情感分析模块100。层级情感
分析模块,包括:用户反馈文本输入与表示单元110、相互独立的多个情感特征获取单元
120、多个层级的信息传递单元130、多个层级的情感分类单元140、全局情感分类单元150及
分析结果输出单元160。
[0037] 在层级情感分析模块100中,用户反馈文本输入与表示单元110、全局情感分类单元150、分析结果输出单元160可以均仅设置一个;多个情感特征获取单元120、多个层级的
信息传递单元130、多个层级的情感分类单元140的数量可以均相同,以此,一个情感特征获
取单元120、一个信息传递单元130及一个情感分类单元140可以用于形成一个层级的情感
分析模块。多个层级的情感分析模块构成层级情感分析模块。
[0038] 用户反馈文本输入与表示单元110,用于获取产品的用户反馈文本数据,并将用户反馈文本数据转化为第一文本语义表示。
[0039] 具体地,可以利用自然语言处理的预训练模型等语义表示模型,将用户反馈文本数据转化为文本语义表示数据,即,将用户反馈文本由文本转换至数字数据,最终可以表示
为以字符向量为单位的文本语义表示。例如,用户反馈文本输入与表示单元,用于获取产品
的用户反馈文本数据,并利用BERT中文预训练模型(Bidirectional  Encoder 
Representation from Transformers预训练的语言表征模型)将用户反馈文本数据转化为
第一文本语义表示。
[0040] 用户反馈文本输入与表示单元110中获取的用户反馈文本数据可以通过对原始的用户反馈文本相关信息进行处理得到。例如,图1所示的系统还可包括:数据输入与预处理
模块。该数据输入与预处理模块,可用于存储用户反馈文本,并对用户反馈文本进行预处理
以输出用户反馈文本输入与表示单元所需的用户反馈文本数据。
[0041] 具体地,可以利用数据输入与预处理模块配置数据库,如MySQL数据库,并可以涉及数据表,例如,可以设置用户反馈观点类型表、用户反馈文本信息表、用户反馈观点信息
表、用户反馈任务信息表以及用户反馈观点时间表等数据表来存储相关数据。
[0042] 其中,用户反馈文本信息表,可用于存储基于情感分析的产品反馈分析系统中包含的所有用户反馈文本数据信息,该用户反馈文本信息表主要可包括:数据编号、数据来
源、数据时间、标题信息、正文信息、评论信息、关键词信息以及摘要信息字段中的一个或多
个。其中,数据编号可为该用户反馈文本信息表的主键,数据时间可用来标识本条用户反馈
文本数据的发布时间。用户反馈文本输入与表示单元可以从该用户反馈文本信息表中获取
算法模型所需的输入信息。用户反馈观点信息表,可用于存储每一条用户反馈文本数据所
包含的多种情感观点类型(如局部情感观点类别、全局情感观点类别)以及其对应情感观点
极性,主要可包括观点编号、数据编号、观点类型编号以及观点极性信息字段中的一个或多
个,其中,观点极性可使用TINYINT类型进行存储,例如,0表示消极,1表示中立,2表示积极。
在算法模型对原始用户反馈文本数据进行分析后,分析所产生的情感观点信息数据将保存
在该用户反馈观点信息表中,便于系统使用。用户反馈观点类型表可用于存储基于情感分
析的产品反馈分析系统中包含的所有层级的情感观点类别信息,主要可包括观点类型编
号、观点类别名称以及不同层级的情感观点名称字段中一个或多个,层级总数可以以数据
中情感观点的最大层级数为准,例如,可以设置为4。该用户反馈观点类型表中的数据信息
可以用于分析前为算法模型提供情感观点的分层结构信息。用户反馈任务信息表可用于存
储用户使用基于情感分析的产品反馈分析系统所发布的分析任务的相关信息,访问该用户
反馈任务信息表可以得知分析任务的状态等信息,它记录了用户使用本用户反馈分析系统
的使用信息。该用户反馈任务信息表主要可包括任务编号、用户预设任务编号、任务发布时
间、合法标记、完成标记、原数据路径以及分析结果路径字段中的一个或多个,其中,合法标
记可用于标记用户发布任务时上传的数据内容格式是否合法,完成标记可用于标识后台对
用户上传数据的层级情感分析处理是否完成。用户反馈观点时间表可用于存储与日期时间
为度量的情感观点类别等信息,其可用于为与时间相关的查询任务服务,其可包括时间编
号、历史时间、观点类型频次序列以及观点极性得分序列数据字段中的一个或多个,该表主
要用于统计用户反馈文本数据的分析结果并在用户查询时提供给用户。
[0043] 另外,数据输入与预处理模块可用于对用户在使用本实施例产品反馈分析系统时所输入的用户反馈文本数据进行数据预处理相关工作。具体地,首先,对输入系统的数据进
行合法性校验,以此可以检查用户上传的用户反馈文本数据的文件内的每项数据是否为设
定格式,例如是否为系统规定的JSON数据格式,并且可以检查用户反馈正文信息字段是否
非空;若不合法可以给与提示;若合法,进而,可以对输入系统数据进行数据清洗,去除停用
词标点;最后,可以输出用户反馈文本的数据至层级情感分析模块。
[0044] 每个情感特征获取单元120用于从第一文本语义表示挖掘出当前情感特征获取单元所处层级的各初始情感观点对应的第二文本语义表示。
[0045] 相互独立可以是指不同情感特征获取单元120之间没有信息传递。每一层级可包括各自的情感特征获取单元及后续所述的信息传递单元和情感分类单元。对于一个层级而
言,可以通过初始化为其设置初始情感观点。不同层级的初始情感观点(或可称为情感类别
信息、情感观点类别向量等)可不同。从前面层级到后面层级(即从浅层级到深层级),初始
情感观点可以具有由粗到细变化的差异。第二文本语义表示可以认为是包含当前层级的初
始化得到的某一初始情感观点的信息的用户反馈文本的语义表示信息。
[0046] 具体地,每一层级的情感特征获取单元120,可包括:第一注意力层和卷积层。通过注意力机制能够更好地捕捉和强调有助于实现任务目标的信息。卷积层主要通过文本卷积
神经网络及门机制来实现从文本语义中挖掘出包含的当前层级的情感类别语义表示的目
的。
[0047] 第一注意力层,用于对当前情感特征获取单元所处层级的初始情感观点的类别信息与所述第一文本语义表示进行注意力计算,得到包含初始情感观点的类别信息的文本语
义表示,将包含初始情感观点的类别信息的文本语义表示与所述第一文本语义表示进行拼
接,得到相应层级的新的语义表示数据。
[0048] 其中,通过第一文本语义在注意力计算中考虑了原始的用户反馈文本信息,通过初试情感观点的类别信息在注意力计算中考虑了本层级例如初始化得到的情感类别信息,
以此可以得到包含本层级情感观点类别信息的文本语义表示,丰富了用户反馈文本语义的
表达,增强模型的性能。其中的注意力计算可以是key‑value注意力计算。进一步通过将注
意力计算得到的文本语义表示与原第一文本语义表示进行拼接,作为新的文本语义表示。
[0049] 卷积层,包括第一文本卷积神经网络、第二文本卷积神经网络、及输出模块;其中,所述第一文本卷积神经网络用于对所述第一文本语义表示进行卷积和最大池化处理,得到
第一语义表示向量;所述第二文本卷积神经网络用于对所述第一文本语义表示进行卷积,
得到卷积输出,并使用当前情感特征获取单元所处层级的每一种情感观点的类别向量与该
卷积输出进行元素对位乘积计算,以得到相应层级的相应情感观点类别的门机制结果向
量;所述输出模块用于将第一语义表示向量与每一种情感观点类别的门机制结果向量进行
元素对位相乘,并经最大池化后得到相应层级的每一种情感观点对应的第二文本语义表
示。
[0050] 其中,通过两个并行的文本卷积神经网络计算,共同获得文本语义对于当前层级的每一种情感观点的语义表示向量。其中,通过第一文本卷积神经网络获得纯净的第一语
义表示向量,通过第二文本卷积神经网络获得门机制结果向量。将两个向量进行整合处理
可得到本层级对应的每一种情感观点的语义表示向量。通过将第二文本卷积输出的向量与
情感类别向量进行元素对位乘积计算后,可以经非线性激活函数得到相应层级的相应情感
观点类别的门机制结果向量。具体实施时,上述非线性激活函数可以选用ReLU、LeakyReLU、
sigmoid等非线性激活函数。
[0051] 多个层级的信息传递单元130由于是层级关系,可以认为是类似于串联的关系。
[0052] 后一层级的信息传递单元130用于接收前一层级的信息传递单元130传递的依赖信息,并将接收的依赖信息结合至该后一层级的信息传递单元所处层级的第一文本语义表
示及情感特征获取单元输出的第二文本语义表示进行分析处理,得到该后一层级的信息传
递单元所处层级的情感观点语义信息,并根据得到的情感观点语义信息和该后一层级的信
息传递单元所处层级的情感分类单元输出的分析结果构建依赖信息,以传递至该后一层级
的信息传递单元所处层级的下一层级的信息传递单元。
[0053] 具体地,每一层级的信息传递单元130,可包括:第二注意力层和依赖信息传递层。
[0054] 第二注意力层,用于接收前一层级的信息传递单元传递来的依赖信息的矩阵,将接收的依赖信息的矩阵与所述第一文本语义表示数据进行元素对位相乘,得到文本语义矩
阵,将该文本语义矩阵和当前信息传递单元所处层级的情感特征获取单元输出的各初始情
感观点对应的第二文本语义表示的向量拼接矩阵进行注意力机制计算,得到注意力权重矩
阵,将文本语义矩阵中的文本语义向量按注意力权重矩阵的对应元素加权求和,得到相应
层级的整体情感观点语义表示向量;其中,首个层级的信息传递单元中的第二注意力层计
算过程中得到的文本语义矩阵为所述第一文本语义表示。
[0055] 其中,注意力层主要负责接收上一层级的信息传递单元所传至本层的信息,并结合本层级的情感语义等信息以及当前层级的情感特征获取单元输出的信息,构建成本层级
内层级情感分类单元的输入内容。所述的前一层级可以是指层级情感分析模块中任何相邻
的两个层级中的前一层级。注意力机制可以是key‑value注意力计算。注意力权重矩阵又可
称为注意力矩阵,是注意力计算过程中得到的矩阵,其中元素可以是从零到一之间的数字。
对于文本语义矩阵而言,例如其中每一列可以看成是一个文本语义向量,可以对这样的向
量进行加权求和。整体情感观点语义表示向量结合了本层级情感观点和上一层级的信息。
对于第一个层级而言,其没有前一层级,所以其信息传递单元没有依赖信息可以接收,所以
不需进行依赖信息相关的计算,所以其注意力计算过程中得到的文本语义矩阵即可为初始
的文本语义表示。
[0056] 依赖信息传递层,用于将当前信息传递单元所处层级的注意力权重矩阵和当前信息传递单元所处层级的情感分类单元输出的分析结果由向量形式拓展成的与第一文本语
义表示形状相同的数据矩阵进行元素对位相乘,得到相应层级的依赖信息的向量,以传递
至当前信息传递单元所处层级的下一层级的信息传递单元。
[0057] 其中,依赖信息传递层的作用是将本层级的情感语义信息和本层级的层级情感分类单元输出的分析结果(向量)进行结合,构建依赖信息,并将其传递至下一层级进行处理。
情感分类单元输出的分析结果可以是向量形式,可以通过向量拓展形成矩阵形式,例如通
过对同一向量进行复制后排列形成所需形状的矩阵。通过上述方式,可以接连不断的在一
个层级得到依赖信息,然后传递至下一个层级。如此一来,本实施例的层级类别情感分析
中,相邻两个层级内的情感观点类别之间存在的包含关系或者说父子类别依赖关系的特
点。
[0058] 多个层级的情感分类单元140中,每个层级的情感分类单元140用于接收根据由当前情感分类单元所处层级的情感特征获取单元输出的第二文本语义表示和当前情感分类
单元所处层级的信息传递单元输出的情感观点语义信息构建的输入,计算得到第三文本语
义表示,根据第三文本语义表示识别出用户反馈文本中存在的局部情感观点类别及情感极
性,作为当前情感分类单元的分析结果。
[0059] 具体地,每一层级的情感分类单元140,用于接收通过将根据由当前情感分类单元所处层级的情感特征获取单元输出的第二文本语义表示的向量拼接矩阵和当前情感分类
单元所处层级的信息传递单元输出的整体情感观点语义表示向量的扩展矩阵进行拼接构
建的输入,将该输入经由使用ReLU非线性激活函数的全连接神经网络层计算得到第三文本
语义表示的矩阵,根据第三文本语义表示的矩阵再经由使用多分类任务激活函数的全连接
神经网络层得到用户反馈文本中存在的局部情感观点类别及情感极性的向量,作为当前情
感分类单元的分析结果。其中,上述非线性激活函数可以为ReLU、LeakyReLU、sigmoid非线
性激活函数。上述多分类任务激活函数可以为sigmoid或ReLU激活函数。
[0060] 该情感分类单元140的输入可以通过对第二文本语义表示的向量拼接矩阵和整体情感观点语义表示向量的扩展矩阵进行拼接得到。其中,本层级的情感特征获取单元输出
的第二文本语义表示一般可以为向量形式,可以将该些第二文本语义表示向量拼接在一起
构成第二文本语义表示矩阵;该第二文本语义表示矩阵的形状可以是,一个维度向量本身
的维度,另一个维度是本层级的初始情感观点的总数。本层级的信息传递单元输出的整体
情感观点语义表示向量是一个向量,可以通过对该向量进行扩展(如复制该向量排列形成
预定形状的矩阵),得到扩展矩阵;该扩展矩阵可以是与前述第二文本语义表示矩阵形状相
同的矩阵。得到的该第三文本语义表示的矩阵可以是局部情感分类前的最终情感文本语义
表示矩阵,该矩阵可以经过一个全连接网络得到局部的情感观点分类结果,进一步可以判
断得到情感极性,另外,该矩阵可以用于传输到全局情感分类单元,以得到全局的情感观点
分类结果以及情感极性。局部情感观点类别主要是本层级的情感分类模块得到的情感观点
类别及情感极性结果。情感极性可包括消极、中立和积极。情感观点可以包括对产品的各种
观点倾向,从浅层级到深层级情感观点对应的产品的功能方面划分可以从粗到细。例如,如
图4所示,对于手机产品,第一层级可以划分为手机拍照摄影方面和手机音乐功能方面的情
感观点,第二层级可包括成像效果、功能体验、便捷性、扬声器音质、扬声器位置等方面的情
感观点,第三层级可包括清晰度、色彩饱和度、变焦滑动、慢动作抓拍、低频、高频等方面的
情感观点。
[0061] 全局情感分类单元150,用于根据所有层级的情感分类单元输出的第三文本语义表示,计算得到第四文本语义表示,并根据第四文本语义表示识别出用户反馈文本的全局
情感观点类别及情感极性。
[0062] 具体地,全局情感分类单元150,用于将所有层级的情感分类单元输出的第三文本语义表示的矩阵进行平均化处理,得到第四文本语义表示,并将第四文本语义表示经由使
用非线性激活函数的全连接层神经网络层计算得到最终情感文本语义表示矩阵,再将该最
终情感文本语义表示矩阵使用多分类任务激活函数的全连接神经网络计算得到用户反馈
文本的全局情感观点类别及情感极性的向量。其中,上述非线性激活函数可以为ReLU、
LeakyReLU、sigmoid非线性激活函数。上述多分类任务激活函数可以为sigmoid或ReLU激活
函数。
[0063] 相对于局部情感观点类别及情感极性而言,全局情感观点类别及情感极性是考虑了各个层级的情感分类模块得到的情感观点类别及情感极性结果。通过全局情感分类单元
可以得到每一种完整的层级情感观点所对应的情感极性分类结果向量。
[0064] 分析结果输出单元160,用于根据全局情感观点类别及情感极性和所有层级的情感分类单元输出的局部情感观点类别及情感极性,得到用户反馈文本的最终情感分析结
果。该分析结果输出单元可以用于综合考虑层级情感分类单元的各层级局部情感分析结果
以及全局情感分类单元的全局情感分析结果,以此输出最终完整的层级类别情感分析结
果。
[0065] 具体地,分析结果输出单元160,可用于根据全局情感观点类别及情感极性和每个层级的情感分类单元输出的局部情感观点类别及情感极性得到映射矩阵,利用映射矩阵将
相应层级的局部情感观点类别及情感极性由局部向完整层级进行转化和整合,得到用户反
馈文本的最终情感分析结果;其中,映射矩阵中的每个元素表示局部情感观点类别的重要
性占比。
[0066] 该分析结果输出单元160的输入可以是局部和全局的情感观点分类结果和局部和全局的情感极性分析结果,可以通过层级依赖预测的方法实现局部和全局的分类结果的向
量整合。其中,该层级依赖预测的方法可以是指,稀有系数为前层级的情感观点频次与最后
一层级中的情感观点频次的比例。之后可以使用前层级的情感观点预测结果乘上稀有系
数,加权在最后一个层级的预测结果上。
[0067] 进一步的一些实施例中,层级情感分析模块在训练过程中所使用的损失函数通过乘法加权稀有系数进行损失奖惩,其中,稀有系数为前一层级中的情感观点频次与最后一
层级中的情感观点频次的比例。其中,上述损失函数可以为交叉熵损失函数。如此一来,通
过乘法加权该稀有系数的方式,即创新的层级依赖预测方法,可以增大模型学习训练过程
中该情感观点的损失大小,使模型的学习训练过程更加关注稀有情感观点。
[0068] 利用浅层级情感观点频次与当前深层级目标情感观点频次的比例,表征当前情感观点的稀有系数,并通过乘法加权该稀有系数的方式增大模型学习训练过程中该情感观点
的损失大小,使模型的学习训练过程更加关注稀有情感观点。
[0069] 进一步的另一些实施例中,图1所示的基于情感分析的产品反馈分析系统,还可包括:分析结果查询与显示模块。
[0070] 分析结果查询与显示模块,通过web应用的形式,提供可视化的查询操作界面,统计并保存层级情感分析模块输出的最终情感分析结果,并该最终情感分析结果转化为情感
观点热度图、情感观点趋势图以及情感观点树状图。
[0071] 情感观点热度图、情感观点趋势图以及情感观点树状图等显示给用户,可以供用户参考使用。进一步地,该分析结果查询与显示模块可以供用户对全局情感观点进行查询
统计,可以在html网页选择自己需要查询的时间范围,可以将不同层级的情感观点进行树
状显示。观点热度可以通过某情感观点在一个时间段内出现的频次来表示。观点满意度得
分可以是情感极性得分与情感观点出现频次的比例来表示。例如,对于每种情感观点,若情
感极性为积极,则加一分,若为中立则加零分,若为消极则加一分,依次得到该观点的情感
极性得分。情感观点树状图可以包括从产品的较粗划分逐步到产品的较细划分,各个划分
对应的情感观点情况,如图4所示。
[0072] 基于与图1所示的基于情感分析的产品反馈分析系统相同的发明构思,本申请实施例还提供了一种基于情感分析的产品反馈分析方法,如下面实施例所述。由于该基于情
感分析的产品反馈分析方法解决问题的原理与基于情感分析的产品反馈分析系统相似,因
此该基于情感分析的产品反馈分析方法的实施可以参见基于情感分析的产品反馈分析系
统的实施,重复之处不再赘述。
[0073] 图2是本发明一实施例的基于情感分析的产品反馈分析方法的流程示意图,参见图2,该实施例的方法适用于上述任一实施例的基于情感分析的产品反馈分析系统,可包括
以下步骤:
[0074] 步骤S210:获取产品的用户反馈文本数据,并将用户反馈文本数据转化为第一文本语义表示;
[0075] 步骤S220:利用相互独立的多个情感特征获取单元中每个情感特征获取单元从第一文本语义表示挖掘出当前情感特征获取单元所处层级的各初始情感观点对应的第二文
本语义表示;
[0076] 步骤S230:利用多个层级的信息传递单元中后一层级的信息传递单元接收前一层级的信息传递单元传递的依赖信息,并将接收的依赖信息结合至该后一层级的信息传递单
元所处层级的第一文本语义表示及情感特征获取单元输出的第二文本语义表示进行分析
处理,得到该后一层级的信息传递单元所处层级的情感观点语义信息,并根据得到的情感
观点语义信息和该后一层级的信息传递单元所处层级的情感分类单元输出的分析结果构
建依赖信息,以传递至该后一层级的信息传递单元所处层级的下一层级的信息传递单元;
[0077] 步骤S240:利用多个层级的情感分类单元中的每个层级的情感分类单元用于接收根据由当前情感分类单元所处层级的情感特征获取单元输出的第二文本语义表示和当前
情感分类单元所处层级的信息传递单元输出的情感观点语义信息构建的输入,计算得到第
三文本语义表示,根据第三文本语义表示识别出用户反馈文本中存在的局部情感观点类别
及情感极性,作为当前情感分类单元的分析结果;
[0078] 步骤S250:根据所有层级的情感分类单元输出的第三文本语义表示,计算得到第四文本语义表示,并根据第四文本语义表示识别出用户反馈文本的全局情感观点类别及情
感极性;
[0079] 步骤S260:根据全局情感观点类别及情感极性和所有层级的情感分类单元输出的局部情感观点类别及情感极性,得到用户反馈文本的最终情感分析结果。
[0080] 下面结合一个具体实施例对上述方法进行说明,然而,值得注意的是,该具体实施例仅是为了更好地说明本申请,并不构成对本申请的不当限定。
[0081] 图3是本发明一实施例的基于层级类别情感分析的产品反馈分析系统的模块构成示意图,参见图3,该系统可包括:数据输入与预处理模块、层级情感分析模块及分析结果查
询与显示模块。
[0082] 数据输入与预处理模块,用于储存输入的产品反馈文本数据,并对其进行用户反馈分析所需要的数据预处理。该模块根据本实施例基于层级类别情感分析的产品反馈分析
系统的业务需要,配置对应的数据库并设计对应数据表,以储存输入系统的用户反馈数据;
另外,该模块还负责适应产品反馈分析的任务需要,对系统中的用户反馈文本数据进行数
据清洗、数据划分等数据预处理工作。
[0083] 层级情感分析模块,以层级类别情感分析算法模型(本文实施例各单元组合起来即可得到该层级类别情感分析算法模型,该模型可以作为系统功能提供给用户使用)为核
心,并使用该分析方法进行分析任务的处理,对具有内在联系的多层级不同情感观点进行
识别以及极性分类。该模块采用的层级类别情感分析算法模型,能够将情感观点划分不同
层级进行细化,相邻层级的父子节点情感观点存在语义关联,多层级的具有内在关联的情
感观点构成树形状数据结构,由浅层级至深层级进行发散分支(是指产品功能层级分支,然
后得到每个分支上的情感观点),细致程度由浅层向深层逐渐增强。在此情感观点的形式之
上,该模块用于对具有内在联系的多层级不同情感观点进行识别以及极性分类。
[0084] 分析结果查询与显示模块,通过以web应用的形式,提供给用户可视化的查询操作界面,统计并保存层级情感分析模块输出的分析结果,将其转化为观点热度图、观点趋势图
以及观点树状图等内容,显示给用户用以参考与使用。
[0085] 具体的,在上述实施例中,数据输入与预处理模块采用了MySQL数据库负责产品反馈文本等数据的数据存储工作,共设置用户反馈观点类型表、用户反馈文本信息表、用户反
馈观点信息表、用户反馈任务信息表以及用户反馈观点时间表这五个数据表存储相关数
据。
[0086] 用户反馈文本信息表的作用主要是存储系统中包含的所有用户反馈文本数据信息,该表主要包括数据编号、数据来源、数据时间、标题信息、正文信息、评论信息、关键词信
息以及摘要信息字段。其中,数据编号为该表的主键,数据时间用来标识本条用户反馈文本
数据的发布时间。观点信息表的作用是存储每一条用户反馈文本数据所包含的多种情感观
点类型以及其对应情感观点极性,主要包括观点编号、数据编号、观点类型编号以及观点极
性信息字段,其中,观点极性使用TINYINT类型进行存储,0表示消极,1表示中立,2表示积
极。观点类型表的作用是存储系统中包含的所有层级情感观点类别信息,主要包括观点类
型编号、观点类别名称以及不同层级的情感观点名称字段,层级总数以数据中情感观点的
最大层级数为准,本实施例中设置为4。任务信息表的作用主要是存储用户使用系统所发布
分析任务的相关信息,访问该表可以得知分析任务的状态等信息。该表主要包括任务编号、
用户预设任务编号、任务发布时间、合法标记、完成标记、原数据路径以及分析结果路径字
段,其中,合法标记用于标记用户发布任务时上传的数据内容格式是否合法,完成标记用于
标识后台对用户上传数据的层级情感分析处理是否完成。观点时间表主要存储的是与日期
时间为度量的情感观点类别等信息,其服务于与时间相关的查询任务,包括时间编号、历史
时间、观点类型频次序列以及观点极性得分序列数据字段。
[0087] 具体的,在上述实施例中,数据输入与预处理模块对用户在使用本实施例产品反馈分析系统时所输入的用户反馈文本数据进行数据预处理相关工作。首先对输入系统数据
的合法性校验,检查用户上传的用户反馈文本数据文件内的每项数据是否为系统规定的
JSON数据格式,并且用户反馈正文信息字段是否非空。然后对输入系统数据进行数据清洗,
去除停用词标点等无用字符。最后,该模块将数据输入至层级情感分析模块。
[0088] 具体的,在上述实施例中,层级情感分析模块为本实施例分析系统的核心模块,其用来实现对产品反馈文本数据的层级类别情感分析处理功能。此模块实现部分以本发明提
出的层级类别情感分析算法模型为核心,对具有内在联系的多层级不同情感观点,进行情
感观点识别以及情感极性分类。
[0089] 图4是本发明一实施例中层级类别情感分析的处理结果示例示意图,参见图4,层级类别情感分析吸收了层级文本分类技术的层级分类思想,为不同情感观点类别划分多个
层级,能够从用户反馈文本中识别出分层级细化的情感类别属性,这些情感类别属性的细
致程度,由浅层向深层逐渐增强,进一步深层细化情感分析的角度和精度。不仅如此,划分
层级后的情感观点类别之间可以构成树状数据结构,这样可以更加方便地利用好不同情感
观点之间的相互依赖等关系,同时发散树结构分支的方式,也大大增强了情感观点类型的
扩展能力,使其更加符合人类大脑对情感观点的认知理解。在从产品反馈文本数据中,识别
出情感观点树中各个分支的层级情感观点之后,再分别对其进行情感极性分类,将情感观
点的极性分类为积极(Positive)、消极(Negative)和中立(Neutral)。
[0090] 图5是本发明一实施例中层级类别情感分析算法的模型结构示意图,参见图5,进一步的,层级类别情感分析算法模型由多种信息处理单元所构成,处理单元包括:用户反馈
文本输入与表示单元、情感特征获取单元、层级信息传递单元、层级情感分类单元、全局情
感分类单元、及分析结果输出单元。
[0091] 用户反馈文本输入与表示单元,位于图5所示模型结构示意图最下侧部分,该单元于层级类别情感分析算法模型中可仅设置一个,其用于接收数据输入与预处理模块传输过
来的用户反馈文本数据,并通过自然语言处理预训练模型等语义表示模型,将其转化为后
续其他分析单元所需要的数学形式的语义表示数据。
[0092] 需要说明的是,本发明的实施例中,用户反馈文本输入与表示单元基于BERT中文预训练模型进行实现,负责对用户反馈文本进行文本至数字数据的转化处理,并将其最终
表示为以字符向量为单位组成的文本语义表示。
[0093] 情感特征获取单元,位于图5所示结构中虚线框①内情感语义理解部分,该单元的每层级独立设置,用于从用户反馈文本输入与表示单元输出的文本语义表示数据中,挖掘
出当前层级下不同的情感观点对于用户反馈文本的语义表示信息,以传递至后续单元继续
进行处理。
[0094] 需要说明的是,本发明实施例中,情感特征获取单元主要划分为注意力层及卷积层进行具体实现。注意力机制能够更好地捕捉和强调有助于实现任务目标的信息,注意力
层通过使用用户反馈文本信息与所处层级情感类别信息之间的注意力计算,来丰富用户反
馈文本语义的表达,以此增强算法模型性能。通过对目标层级的情感观点类别向量与文本
语义表示进行key‑value注意力计算,得到包含情感观点类别信息的文本语义表示,并将其
与原有语义表示进行拼接,作为新的文本语义表示矩阵。卷积层主要通过文本卷积神经网
络及门机制来实现从文本语义中挖掘出包含的当前层级的情感类别语义表示的目的。通过
两个并行的文本卷积神经网络计算,共同获得文本语义对于当前层级的每一种情感观点的
语义表示向量。其中一种卷积计算过程,对文本语义表示矩阵通过卷积和最大池化处理,得
到纯净的语义表示向量;另一卷积计算过程,在通过文本卷积计算后,使用每一种情感观点
类别向量与卷积输出进行元素对位乘积计算,并经过ReLU非线性激活函数,得到门机制结
果向量。最后将纯净的语义表示向量与每一种情感观点类别的门机制结果向量元素对位相
乘,经过最大池化后得到本层级对应每一种情感观点的语义表示向量。
[0095] 层级信息传递单元,位于图5所示结构中虚线框①内情感语义理解部分,该单元的每层级独立设置,用于接收上一个层级传递过来的情感观点语义等信息,并将其结合到本
层级下的分析处理中,并根据本层级下的分类预测结果,构建信息传递至下一层级。
[0096] 需要说明的是,本发明实施例中,层级信息传递单元主要划分为注意力层以及依赖信息传递层进行具体实现。注意力层主要负责接收上一层级的层级信息传递单元所传至
本层的信息,并结合本层级的情感语义等信息以及当前层级的情感特征获取单元输出的信
息,将上述信息一同构建成本层级内层级情感分类单元的输入内容。接受上一层级的层级
信息传递单元传递至本层级的上一层依赖信息矩阵,并用其与文本语义表示进行元素对位
相乘,再对该计算结果通过key‑value注意力机制计算,用文本语义向量按照注意力矩阵的
对应元素加权求和,表示当前情感观点向量,该向量看作集合本层级情感观点与上层级信
息的本层级整体情感观点语义表示向量。依赖信息传递层的作用是将本层级的情感语义信
息和本层级的层级情感分类单元输出的分析结果进行结合,构建依赖信息,并将其传递至
下一层级进行处理。此层通过向量扩展至矩阵的方式,将本层级的层级情感分类单元分析
结果与本单元注意力层key‑value注意力计算中的注意力权重矩阵乘积结果向量,拓展成
与文本语义表示形状相等的数字矩阵,作为传递至下一层级的父子情感观点依赖信息。这
部分的实现思路,契合了本发明提出的层级类别情感分析中,相邻两个层级内的情感观点
类别之间存在的包含关系或者说父子类别依赖关系的特点。
[0097] 层级情感分类单元,位于图5所示模型结构中虚线框②内局部情感判别部分,该单元每层级独立设置,用于通过情感特征获取单元以及层级信息传递单元所传输的语义信
息,计算并识别出用户反馈文本数据中存在的本层级下的情感观点类别,并分别对各个类
别所对应的情感极性进行分类判断。
[0098] 需要说明的是,本发明实施例中,层级情感分类单元的输入由两个语义表示矩阵拼接而成。一部分为当前层级的情感特征获取单元所输出的所有情感观点类别的语义表示
向量拼接矩阵,该拼接矩阵的形状为(本层级情感观点总数,情感观点表示向量维度);而另
一部分为本层级的层级信息传递单元所得到的本层级整体情感观点语义表示向量的扩展
矩阵,该扩展矩阵的形状为(本层级情感观点总数,整体情感观点表示向量维度)。将上述两
部分进行矩阵拼接后,作为单元的输入进行后续处理,后续经过使用ReLU非线性激活函数
的全连接神经网络层,得到局部情感分类前的最终情感文本语义表示矩阵,再将该矩阵使
用sigmoid非线性激活函数的全连接神经网络层得到每一种情感观点所对应的情感极性局
部分类结果向量。
[0099] 全局情感分类单元,位于图5所示模型结构中虚线框③内整体情感判别部分,该单元于层级类别情感分析算法模型中仅设置一个,其用于整合所有层级的情感观点类别及语
义信息,计算获取一个全局角度的情感分析结果。
[0100] 需要说明的是,本发明实施例中,全局情感分类单元的输入为所有层级的层级情感分类单元所输出的局部情感分类前的最终情感文本语义表示矩阵,随后全局情感分类单
元将这些语义表示矩阵进行平均化,后续经过使用ReLU非线性激活函数的全连接神经网络
层,得到全局情感分类前的最终情感文本语义表示矩阵,再将该矩阵使用sigmoid非线性激
活函数的全连接神经网络层得到每一种完整的层级情感观点所对应的情感极性分类结果
向量。
[0101] 分析结果输出单元,位于图5所示模型结构示意图最上侧部分,该单元用于综合考虑层级情感分类单元的各层级局部情感分析结果以及全局情感分类单元的全局情感分析
结果,以此输出最终完整的层级类别情感分析结果。
[0102] 需要说明的是,本发明实施例中,分析结果输出单元的输入为所有层级的层级情感分类单元输出的情感极性局部分类结果向量以及全局情感分类单元输出的情感极性全
局分类结果向量。并使用本发明所提出的层级依赖预测方法来进行局部与全局两个角度的
分类结果向量整合。所述分析结果查询与显示模块具体可用于:提供给用户可视化的查询
操作界面,统计并保存层级情感分析模块输出的分析结果,将其转化为观点热度图、观点趋
势图以及观点树状图等内容,显示给用户用以参考与使用。
[0103] 下面说明层级类别情感分析算法模型在实际分析处理中的各单元协作工作步骤。图6是本发明一实施例的层级类别情感分析算法模型的工作流程示意图,参见图6,其主要
步骤包括:
[0104] S1、用户反馈文本数据输入到层级类别情感分析模型的用户反馈文本输入与表示单元;
[0105] S2、用户反馈文本输入与表示单元对文本数据进行文本至数学形式的字符序号数据的转换,并将其输入如BERT中文预训练模型,获取用户反馈文本的文本语义表示;
[0106] S3、本层级下的层级情感特征获取单元,通过并行方式,获取本层级对应当前所计算情感观点的语义表示向量。本层的层级信息传递单元与其协作,将本层级的层级情感分
类单元分析结果与本单元注意力层key‑value注意力计算中的注意力权重矩阵乘积结果,
拓展成与文本语义表示形状相等的数字矩阵,作为父子情感观点依赖信息,传递至下一层
级;
[0107] S4、本层下的层级情感分类单元,使用当前层级的情感特征获取单元所输出的所有情感观点类别的语义表示向量拼接矩阵,以及本层级的层级信息传递单元所得到的本层
级整体情感观点语义表示向量的扩展矩阵,进行拼接作为输入,经过使用ReLU非线性全连
接层得到局部情感分类前的最终情感文本语义表示矩阵,再将该矩阵使用sigmoid非线性
激活函数的全连接神经网络层得到每一种情感观点所对应的情感极性局部分类结果向量。
若本层已为最深层级,则将全部层级的信息传至全局情感分类单元,若本层并非最深层级,
则进入下一层的相关信息处理;
[0108] S5、重复步骤S3和步骤S4的过程,直至处理层数已到达最大层级数,则将所有层级的层级情感分类单元输出的情感极性局部分类结果向量,以及全局情感分类单元输出的情
感极性全局分类结果向量,一同传至全局情感分类单元,全局情感分类单元处理信息并分
析得出全局的情感分析结果;
[0109] S6、分析结果输出单元汇总每一层局部的情感分析结果以及全局的情感分析结果,最终计算得出算法整体的层级情感分析结果并输出。
[0110] 利用浅层级的父亲情感观点的分析结果,辅助对深层级的孩子情感观点识别以及情感极性分类过程,优化分析系统的性能指标。该方法使用浅层级分析结果的情感极性向
量中的数据内容,通过加权求和相关方式,将信息添加至深层级情感极性的判别向量等数
据中。
[0111] 关于本发明的另一方面,在进行情感分析处理过程中,对于本实施例提出的层级类别情感分析算法模型,使用了层级奖惩损失函数方法进行的学习训练,利用浅层级情感
观点频次与当前深层级目标情感观点频次的比例,表征当前情感观点的稀有系数,并通过
乘法加权该稀有系数的方式增大模型学习训练过程中该情感观点的损失大小,使模型的学
习训练过程更加关注稀有情感观点。
[0112] 具体的,本发明实施例中,层级奖惩损失函数以FocalLoss损失函数为具体实现基础函数,对于层级类别情感分析算法中的每一个层级,分别设置一个损失函数的奖惩系数,
该奖惩系数由最浅层的第一层级情感类别出现频数与当前本层级情感类别的出现频数之
比决定,并可以通过开三次方根来放缩大小,这样设置奖惩系数基于以下假设:假设某一个
深层级的子情感类别出现次数在其浅层级的父情感类别出现次数中所占比例较小,那么认
为该子情感类别较为稀有,低召回率的小样本问题较为明显。在获得每一层级的不同情感
观点的该奖惩系数后,通过乘法加权的方式,分别乘法处理在每一层级的交叉熵FocalLoss
损失函数计算中,以此使本实施例模型的正常学习训练过程中,更加关注深层级稀有情感
观点类别,以提升用户反馈分析系统整体分析处理中的性能指标。
[0113] 关于本发明的另一方面,在进行情感分析处理过程中,使用了层级依赖预测方法进行情感观点的识别以及极性分类预测。层级依赖预测方法的核心思想在于,利用浅层级
的父亲情感观点的分析结果,辅助对深层级的孩子情感观点识别以及情感极性分类过程,
即,利用“稀有系数”作为乘数,来让前层级的分析结果乘后加权到最后一层级,优化分析系
统的性能指标。该方法使用浅层级分析结果的情感极性向量中的数据内容,通过加权求和
相关方式,将信息添加至深层级情感极性的判别向量等数据中。
[0114] 具体的,参见图7,图7示出了层级类别情感分析算法,其中,分析结果输出单元使用层级依赖预测方法进行最终分析结果的整合过程示意图。如图7所示,本发明实施例中,
层级依赖预测方法使用局部‑全局情感观点类别映射矩阵来辅助每一个层级的层级情感分
类单元的局部分析结果向整体完整层级情感观点类别分析结果的转化和整合,该矩阵的形
状为(所有层级的层级情感观点数总和,完整的情感观点总数)。该映射矩阵中的每一个元
素值,表示从局部到整体的转换过程中该局部类别的重要性占比,如图7中第一层级的“手
机拍照摄影”类别重要性占比为0.15,第二层级“扬声器位置”类别的重要性占比为0.7。通
过这种方式,可使浅层的父亲情感类别影响深层的子情感类别预测结果。层级依赖预测方
法,举例来说,“手机拍照摄影—成像效果—色彩饱和度”这一完整层级情感类别的预测分
析结果,由0.15权重的“手机拍照摄影”情感观点类别的预测结果、0.15权重的“成像效果”
情感观点类别预测结果以及0.7权重的“色彩饱和度”情感类别预测结果加权求和而成,其
最深层的“色彩饱和度”情感类别为主要的目标情感类别,其预测结果仍占有最多的权重,
但由于层级较深,预测难度大,而与此同时,较容易预测正确的父情感类别“手机拍照摄
影”、“成像效果”将占有一定贡献,以对最终的完整预测结果做出纠正影响。通过上述方式,
缓解深层级情感观点的低召回率问题。
[0115] 最后,具体的,在本发明实施例中,分析结果查询与显示模块用于供给系统用户可视化地查询分析结果,并参考使用。该模块主要通过web应用的形式,提供给用户可视化的
查询操作界面,统计层级情感分析模块输出的分析结果,将其转化为观点热度图、观点趋势
图以及观点树状图等内容,显示给用户用以参考与使用。
[0116] 需要说明的是,在本发明实施例中,分析结果查询与显示模块主要使用Python编程语言进行web应用后台的开发,系统结构逻辑主体使用Django开发框架进行实验,前端页
面使用CSS、JavaScript和html语言完成。针对产品反馈分析系统的需求,设计实现了分析
任务功能子模块、结果查询功能子模块,并基于上述子模块实现了层级情感分析任务发布、
层级情感分析结果获取及全局观点统计查询、单一观点趋势查询功能,方便用户进行产品
反馈数据的情感分析和结果查询等处理。
[0117] 其中,分析任务功能子模块实现包括分析任务发布功能以及分析结果获取功能。分析任务发布功能通过web操作界面的方式为用户提供一个能够向数据库中添加新用户反
馈文本数据并调用层级类别情感分析算法模型的接口。用户上传包含特定JSON格式用户反
馈文本数据的文件,在html网页对应文本框中填写设置任务编号并选择是否将文件内的数
据新增至数据库,之后系统调用层级情感分析模块中的算法模型,对用户上传文件中的用
户反馈文本数据进行情感分析处理,并保存分析结果至文件及数据库。分析结果获取功能,
为用户提供一个对于之前发布任务时上传的用户反馈数据,在经过层级类别情感分析处理
得到的分析结果获取并下载的接口。在系统用户发布了新的分析任务后,系统会对用户上
传的数据进行分析处理,由于上传的用户反馈文本数据可能量较大,后台的层级情感分析
模块需要相应的分析处理时间,用户可以在html网页对应文本框输入之前设置的任务编
号,查询分析任务是否完成,如果未完成或上传的数据不合法,那么网页返回相应提示;如
果分析任务完成,则可以通过文件链接下载完整的分析结果文件。分析结果文件内包含用
户反馈文本、识别出的层级情感观点以及情感观点对应的情感极性。
[0118] 其中,结果查询功能子模块实现包括全局观点统计查询功能以及单一观点趋势查询功能。全局观点统计查询功能给用户提供一个从丰富多样的所有情感观点类别角度,查
询不同时间段的观点极性信息的接口。用户根据自身需要在html网页的对应文本框输入查
询的时间段范围,系统查询数据库内的该时间范围的用户反馈及情感观点信息,统计后使
用pyecharts开源绘图工具,绘制层级情感观点类别树状图呈现给用户,每一个类别树分支
之后显示观点热度及观点满意度,反馈全局角度的观点信息,供用户进行信息参考。观点热
度主要是通过该情感观点在时间段内的出现频次来表征,而观点满意度得分是观点极性得
分总和与观点出现频次的比例来表示,每一种情感观点,积极记为1分,中立记为0分,消极
记为负1分。单一观点趋势查询功能,给用户提供一个针对指定的某一种情感观点类别查询
其在一个时间段内的变化趋势的接口。用户需要在html网页的对应文本框输入指定某一个
特定的情感观点类别,并根据自身需要输入查询的时间段范围。系统查询数据库内的该时
间范围的特定用户反馈观点信息,并将其按照时间分段,统计计算各段观点得分,使用
pyecharts开源绘图工具,绘制可视化的观点热度趋势图和观点满意度趋势图,反馈给用户
供其进行信息参考。与上述全局观点统计查询功能相同,观点热度主要是通过该情感观点
在时间段内的出现频次来表征,观点满意度得分是观点极性得分总和与观点出现频次的比
例来表示。
[0119] 上述实施例的基于层级类别情感分析的产品反馈分析系统,包括数据输入与预处理模块、层级情感分析模块以及分析结果查询与显示模块。能够对输入系统的用户反馈数
据,进行多个不同层级下的情感观点识别以及情感极性分类,并将分析结果通过观点热度
图、观点趋势图等形式展示给用户,供其参考与使用。系统中核心的层级情感分析模块,提
出并采用了层级类别情感分析模型,其分层级的模型结构,为系统从相互关联的不同层级
情感观点角度展开情感分析创造了可能,增强了产品反馈分析的深度和扩展性,并使用户
反馈分析过程更加符合人类大脑对情感观点的认知理解。进一步地,情感观点分析处理中
应用了层级奖惩损失函数以及层级依赖预测方法两种策略进行模型学习训练和分析结果
预测,加强系统中算法模型对深层级情感观点的学习强度,并利用父情感观点类型的分析
结果辅助子情感类别的分析过程,缓解出现频次较低的深层级情感观点存在的低召回率问
题,优化了分析系统的性能指标。
[0120] 综上所述,本发明实施例的基于情感分析的产品反馈分析系统及方法,能够实现对输入系统的用户反馈数据,进行多个不同层级下的情感观点识别以及情感极性分类。层
级类别情感分析结构能够将前一层级的情感观点分析结果传递至下一层级,从而从相互关
联的不同层级情感观点角度进行了情感分析,以此能够增强产品反馈分析的深度。
[0121] 在本说明书的描述中,参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的
具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,
对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结
构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例
中涉及的步骤顺序用于示意性说明本发明的实施,其中的步骤顺序不作限定,可根据需要
作适当调整。
[0122] 本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实
施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机
可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产
品的形式。
[0123] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0124] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指
令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
[0125] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
[0126] 以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保
护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本
发明的保护范围之内。