基于情感分析的产品反馈分析系统及方法转让专利
申请号 : CN202110779241.0
文献号 : CN113220893B
文献日 : 2021-10-01
发明人 : 赵帅 , 程渤 , 吴晨光 , 陈俊亮
申请人 : 北京邮电大学
摘要 :
权利要求 :
1.一种基于情感分析的产品反馈分析系统,其特征在于,包括:层级情感分析模块;
层级情感分析模块,包括:
用户反馈文本输入与表示单元,用于获取产品的用户反馈文本数据,并将用户反馈文本数据转化为第一文本语义表示;
相互独立的多个情感特征获取单元,每个情感特征获取单元用于从第一文本语义表示挖掘出当前情感特征获取单元所处层级的各初始情感观点对应的第二文本语义表示;
多个层级的信息传递单元,后一层级的信息传递单元用于接收前一层级的信息传递单元传递的依赖信息,并将接收的依赖信息结合至该后一层级的信息传递单元所处层级的第一文本语义表示及情感特征获取单元输出的第二文本语义表示进行分析处理,得到该后一层级的信息传递单元所处层级的情感观点语义信息,并根据得到的情感观点语义信息和该后一层级的信息传递单元所处层级的情感分类单元输出的分析结果构建依赖信息,以传递至该后一层级的信息传递单元所处层级的下一层级的信息传递单元;其中,第一个层级的信息传递单元是利用其所处层级的第一文本语义表示及情感特征获取单元输出的第二文本语义表示进行分析处理;
多个层级的情感分类单元,每个层级的情感分类单元用于接收根据由当前情感分类单元所处层级的情感特征获取单元输出的第二文本语义表示和当前情感分类单元所处层级的信息传递单元输出的情感观点语义信息构建的输入,计算得到第三文本语义表示,根据第三文本语义表示识别出用户反馈文本中存在的局部情感观点类别及情感极性,作为当前情感分类单元的分析结果;
全局情感分类单元,用于根据所有层级的情感分类单元输出的第三文本语义表示,计算得到第四文本语义表示,并根据第四文本语义表示识别出用户反馈文本的全局情感观点类别及情感极性;
分析结果输出单元,用于根据全局情感观点类别及情感极性和所有层级的情感分类单元输出的局部情感观点类别及情感极性,得到用户反馈文本的最终情感分析结果。
2.如权利要求1所述的基于情感分析的产品反馈分析系统,其特征在于,每一层级的情感特征获取单元,包括:第一注意力层,用于对当前情感特征获取单元所处层级的初始情感观点的类别信息与所述第一文本语义表示进行注意力计算,得到包含初始情感观点的类别信息的文本语义表示,将包含初始情感观点的类别信息的文本语义表示与所述第一文本语义表示进行拼接,得到相应层级的新的语义表示数据;
卷积层,包括第一文本卷积神经网络、第二文本卷积神经网络、及输出模块;其中,所述第一文本卷积神经网络用于对所述第一文本语义表示进行卷积和最大池化处理,得到第一语义表示向量;所述第二文本卷积神经网络用于对所述第一文本语义表示进行卷积,得到卷积输出,并使用当前情感特征获取单元所处层级的每一种情感观点的类别向量与该卷积输出进行元素对位乘积计算,以得到相应层级的相应情感观点类别的门机制结果向量;所述输出模块用于将第一语义表示向量与每一种情感观点类别的门机制结果向量进行元素对位相乘,并经最大池化后得到相应层级的每一种情感观点对应的第二文本语义表示。
3.如权利要求1所述的基于情感分析的产品反馈分析系统,其特征在于,每一层级的信息传递单元,包括:
第二注意力层,用于接收前一层级的信息传递单元传递来的依赖信息的矩阵,将接收的依赖信息的矩阵与所述第一文本语义表示数据进行元素对位相乘,得到文本语义矩阵,将该文本语义矩阵和当前信息传递单元所处层级的情感特征获取单元输出的各初始情感观点对应的第二文本语义表示的向量拼接矩阵进行注意力机制计算,得到注意力权重矩阵,将文本语义矩阵中的文本语义向量按注意力权重矩阵的对应元素加权求和,得到相应层级的整体情感观点语义表示向量;其中,首个层级的信息传递单元中的第二注意力层计算过程中得到的文本语义矩阵为所述第一文本语义表示;
依赖信息传递层,用于将当前信息传递单元所处层级的注意力权重矩阵和当前信息传递单元所处层级的情感分类单元输出的分析结果由向量形式拓展成的与第一文本语义表示形状相同的数据矩阵进行元素对位相乘,得到相应层级的依赖信息的向量,以传递至当前信息传递单元所处层级的下一层级的信息传递单元。
4.如权利要求3所述的基于情感分析的产品反馈分析系统,其特征在于,每一层级的情感分类单元,用于接收通过将根据由当前情感分类单元所处层级的情感特征获取单元输出的第二文本语义表示的向量拼接矩阵和当前情感分类单元所处层级的信息传递单元输出的整体情感观点语义表示向量的扩展矩阵进行拼接构建的输入,将该输入经由使用非线性激活函数的全连接神经网络层计算得到第三文本语义表示的矩阵,根据第三文本语义表示的矩阵再经由使用多分类任务激活函数的全连接神经网络层得到用户反馈文本中存在的局部情感观点类别及情感极性的向量,作为当前情感分类单元的分析结果。
5.如权利要求1所述的基于情感分析的产品反馈分析系统,其特征在于,全局情感分类单元,用于将所有层级的情感分类单元输出的第三文本语义表示的矩阵进行平均化处理,得到第四文本语义表示,并将第四文本语义表示经由使用非线性激活函数的全连接层神经网络层计算得到最终情感文本语义表示矩阵,再将该最终情感文本语义表示矩阵使用多分类任务激活函数的全连接神经网络计算得到用户反馈文本的全局情感观点类别及情感极性的向量。
6.如权利要求1所述的基于情感分析的产品反馈分析系统,其特征在于,分析结果输出单元,用于根据全局情感观点类别及情感极性和每个层级的情感分类单元输出的局部情感观点类别及情感极性得到映射矩阵,利用映射矩阵将相应层级的局部情感观点类别及情感极性由局部向完整层级进行转化和整合,得到用户反馈文本的最终情感分析结果;其中,映射矩阵中的每个元素表示局部情感观点类别的重要性占比。
7.如权利要求1所述的基于情感分析的产品反馈分析系统,其特征在于,用户反馈文本输入与表示单元,用于获取产品的用户反馈文本数据,并利用BERT中文预训练模型将用户反馈文本数据转化为第一文本语义表示。
8.如权利要求1所述的基于情感分析的产品反馈分析系统,其特征在于,层级情感分析模块在训练过程中所使用的损失函数通过乘法加权稀有系数进行损失奖惩,其中,稀有系数为前一层级中的情感观点频次与最后一层级中的情感观点频次的比例。
9.如权利要求1所述的基于情感分析的产品反馈分析系统,其特征在于,还包括:数据输入与预处理模块,用于存储用户反馈文本,并对用户反馈文本进行预处理以输出用户反馈文本输入与表示单元所需的用户反馈文本数据;和/或,分析结果查询与显示模块,通过web应用的形式,提供可视化的查询操作界面,统计并保存层级情感分析模块输出的最终情感分析结果,并该最终情感分析结果转化为情感观点热度图、情感观点趋势图以及情感观点树状图。
10.一种基于情感分析的产品反馈分析方法,其特征在于,适用于如权利要求1至9任一项所述的基于情感分析的产品反馈分析系统,所述方法包括:获取产品的用户反馈文本数据,并将用户反馈文本数据转化为第一文本语义表示;
利用相互独立的多个情感特征获取单元中每个情感特征获取单元从第一文本语义表示挖掘出当前情感特征获取单元所处层级的各初始情感观点对应的第二文本语义表示;
利用多个层级的信息传递单元中后一层级的信息传递单元接收前一层级的信息传递单元传递的依赖信息,并将接收的依赖信息结合至该后一层级的信息传递单元所处层级的第一文本语义表示及情感特征获取单元输出的第二文本语义表示进行分析处理,得到该后一层级的信息传递单元所处层级的情感观点语义信息,并根据得到的情感观点语义信息和该后一层级的信息传递单元所处层级的情感分类单元输出的分析结果构建依赖信息,以传递至该后一层级的信息传递单元所处层级的下一层级的信息传递单元;其中,第一个层级的信息传递单元是利用其所处层级的第一文本语义表示及情感特征获取单元输出的第二文本语义表示进行分析处理;
利用多个层级的情感分类单元中的每个层级的情感分类单元用于接收根据由当前情感分类单元所处层级的情感特征获取单元输出的第二文本语义表示和当前情感分类单元所处层级的信息传递单元输出的情感观点语义信息构建的输入,计算得到第三文本语义表示,根据第三文本语义表示识别出用户反馈文本中存在的局部情感观点类别及情感极性,作为当前情感分类单元的分析结果;
根据所有层级的情感分类单元输出的第三文本语义表示,计算得到第四文本语义表示,并根据第四文本语义表示识别出用户反馈文本的全局情感观点类别及情感极性;
根据全局情感观点类别及情感极性和所有层级的情感分类单元输出的局部情感观点类别及情感极性,得到用户反馈文本的最终情感分析结果。
说明书 :
基于情感分析的产品反馈分析系统及方法
技术领域
背景技术
观点、评价和情感等内容。如何能够合理且有效地从这些复杂用户反馈数据中挖掘出有价
值的信息,是一个重要具富有挑战性的问题,因此,用户反馈分析相关算法和技术受到了越
来越多研究人员和相关企业的关注。
等内容下的情感倾向。情感分析技术设计和实现的优劣将直接影响到用户反馈分析工作中
的分析角度多样性及分析结果的精确性,进而决定整个用户反馈分析任务能否挖掘出更细
致且更有价值的信息。
发表者满意与不满意的对象,因此,其在结合上下文的语义处理方面的性能表现也较为一
般。
时,这类方法还忽视了不同情感观点之间的语义关联,容易出现情感类别属性的类别部分
重叠和类别相互包含等情况,具有难以应对不同情感观点之间存在内在关系的局限性。
发明内容
的第一文本语义表示及情感特征获取单元输出的第二文本语义表示进行分析处理,得到该
后一层级的信息传递单元所处层级的情感观点语义信息,并根据得到的情感观点语义信息
和该后一层级的信息传递单元所处层级的情感分类单元输出的分析结果构建依赖信息,以
传递至该后一层级的信息传递单元所处层级的下一层级的信息传递单元;
层级的信息传递单元输出的情感观点语义信息构建的输入,计算得到第三文本语义表示,
根据第三文本语义表示识别出用户反馈文本中存在的局部情感观点类别及情感极性,作为
当前情感分类单元的分析结果;
感观点类别及情感极性;
示;
级的第一文本语义表示及情感特征获取单元输出的第二文本语义表示进行分析处理,得到
该后一层级的信息传递单元所处层级的情感观点语义信息,并根据得到的情感观点语义信
息和该后一层级的信息传递单元所处层级的情感分类单元输出的分析结果构建依赖信息,
以传递至该后一层级的信息传递单元所处层级的下一层级的信息传递单元;
单元所处层级的信息传递单元输出的情感观点语义信息构建的输入,计算得到第三文本语
义表示,根据第三文本语义表示识别出用户反馈文本中存在的局部情感观点类别及情感极
性,作为当前情感分类单元的分析结果;
分析结构能够将前一层级的情感观点分析结果传递至下一层级,从而从相互关联的不同层
级情感观点角度进行了情感分析,以此能够增强产品反馈分析的深度。
附图说明
发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以
根据这些附图获得其他的附图。在附图中:
具体实施方式
不作为对本发明的限定。
成可能的实施方式。另外,本文所使用的术语“包括/包含”是指特征、要素、步骤或组件的存
在,但并不排除还存在一个或多个其他特征、要素、步骤或组件。
分析模块,包括:用户反馈文本输入与表示单元110、相互独立的多个情感特征获取单元
120、多个层级的信息传递单元130、多个层级的情感分类单元140、全局情感分类单元150及
分析结果输出单元160。
信息传递单元130、多个层级的情感分类单元140的数量可以均相同,以此,一个情感特征获
取单元120、一个信息传递单元130及一个情感分类单元140可以用于形成一个层级的情感
分析模块。多个层级的情感分析模块构成层级情感分析模块。
为以字符向量为单位的文本语义表示。例如,用户反馈文本输入与表示单元,用于获取产品
的用户反馈文本数据,并利用BERT中文预训练模型(Bidirectional Encoder
Representation from Transformers预训练的语言表征模型)将用户反馈文本数据转化为
第一文本语义表示。
模块。该数据输入与预处理模块,可用于存储用户反馈文本,并对用户反馈文本进行预处理
以输出用户反馈文本输入与表示单元所需的用户反馈文本数据。
表、用户反馈任务信息表以及用户反馈观点时间表等数据表来存储相关数据。
源、数据时间、标题信息、正文信息、评论信息、关键词信息以及摘要信息字段中的一个或多
个。其中,数据编号可为该用户反馈文本信息表的主键,数据时间可用来标识本条用户反馈
文本数据的发布时间。用户反馈文本输入与表示单元可以从该用户反馈文本信息表中获取
算法模型所需的输入信息。用户反馈观点信息表,可用于存储每一条用户反馈文本数据所
包含的多种情感观点类型(如局部情感观点类别、全局情感观点类别)以及其对应情感观点
极性,主要可包括观点编号、数据编号、观点类型编号以及观点极性信息字段中的一个或多
个,其中,观点极性可使用TINYINT类型进行存储,例如,0表示消极,1表示中立,2表示积极。
在算法模型对原始用户反馈文本数据进行分析后,分析所产生的情感观点信息数据将保存
在该用户反馈观点信息表中,便于系统使用。用户反馈观点类型表可用于存储基于情感分
析的产品反馈分析系统中包含的所有层级的情感观点类别信息,主要可包括观点类型编
号、观点类别名称以及不同层级的情感观点名称字段中一个或多个,层级总数可以以数据
中情感观点的最大层级数为准,例如,可以设置为4。该用户反馈观点类型表中的数据信息
可以用于分析前为算法模型提供情感观点的分层结构信息。用户反馈任务信息表可用于存
储用户使用基于情感分析的产品反馈分析系统所发布的分析任务的相关信息,访问该用户
反馈任务信息表可以得知分析任务的状态等信息,它记录了用户使用本用户反馈分析系统
的使用信息。该用户反馈任务信息表主要可包括任务编号、用户预设任务编号、任务发布时
间、合法标记、完成标记、原数据路径以及分析结果路径字段中的一个或多个,其中,合法标
记可用于标记用户发布任务时上传的数据内容格式是否合法,完成标记可用于标识后台对
用户上传数据的层级情感分析处理是否完成。用户反馈观点时间表可用于存储与日期时间
为度量的情感观点类别等信息,其可用于为与时间相关的查询任务服务,其可包括时间编
号、历史时间、观点类型频次序列以及观点极性得分序列数据字段中的一个或多个,该表主
要用于统计用户反馈文本数据的分析结果并在用户查询时提供给用户。
行合法性校验,以此可以检查用户上传的用户反馈文本数据的文件内的每项数据是否为设
定格式,例如是否为系统规定的JSON数据格式,并且可以检查用户反馈正文信息字段是否
非空;若不合法可以给与提示;若合法,进而,可以对输入系统数据进行数据清洗,去除停用
词标点;最后,可以输出用户反馈文本的数据至层级情感分析模块。
言,可以通过初始化为其设置初始情感观点。不同层级的初始情感观点(或可称为情感类别
信息、情感观点类别向量等)可不同。从前面层级到后面层级(即从浅层级到深层级),初始
情感观点可以具有由粗到细变化的差异。第二文本语义表示可以认为是包含当前层级的初
始化得到的某一初始情感观点的信息的用户反馈文本的语义表示信息。
神经网络及门机制来实现从文本语义中挖掘出包含的当前层级的情感类别语义表示的目
的。
义表示,将包含初始情感观点的类别信息的文本语义表示与所述第一文本语义表示进行拼
接,得到相应层级的新的语义表示数据。
以此可以得到包含本层级情感观点类别信息的文本语义表示,丰富了用户反馈文本语义的
表达,增强模型的性能。其中的注意力计算可以是key‑value注意力计算。进一步通过将注
意力计算得到的文本语义表示与原第一文本语义表示进行拼接,作为新的文本语义表示。
第一语义表示向量;所述第二文本卷积神经网络用于对所述第一文本语义表示进行卷积,
得到卷积输出,并使用当前情感特征获取单元所处层级的每一种情感观点的类别向量与该
卷积输出进行元素对位乘积计算,以得到相应层级的相应情感观点类别的门机制结果向
量;所述输出模块用于将第一语义表示向量与每一种情感观点类别的门机制结果向量进行
元素对位相乘,并经最大池化后得到相应层级的每一种情感观点对应的第二文本语义表
示。
义表示向量,通过第二文本卷积神经网络获得门机制结果向量。将两个向量进行整合处理
可得到本层级对应的每一种情感观点的语义表示向量。通过将第二文本卷积输出的向量与
情感类别向量进行元素对位乘积计算后,可以经非线性激活函数得到相应层级的相应情感
观点类别的门机制结果向量。具体实施时,上述非线性激活函数可以选用ReLU、LeakyReLU、
sigmoid等非线性激活函数。
示及情感特征获取单元输出的第二文本语义表示进行分析处理,得到该后一层级的信息传
递单元所处层级的情感观点语义信息,并根据得到的情感观点语义信息和该后一层级的信
息传递单元所处层级的情感分类单元输出的分析结果构建依赖信息,以传递至该后一层级
的信息传递单元所处层级的下一层级的信息传递单元。
阵,将该文本语义矩阵和当前信息传递单元所处层级的情感特征获取单元输出的各初始情
感观点对应的第二文本语义表示的向量拼接矩阵进行注意力机制计算,得到注意力权重矩
阵,将文本语义矩阵中的文本语义向量按注意力权重矩阵的对应元素加权求和,得到相应
层级的整体情感观点语义表示向量;其中,首个层级的信息传递单元中的第二注意力层计
算过程中得到的文本语义矩阵为所述第一文本语义表示。
内层级情感分类单元的输入内容。所述的前一层级可以是指层级情感分析模块中任何相邻
的两个层级中的前一层级。注意力机制可以是key‑value注意力计算。注意力权重矩阵又可
称为注意力矩阵,是注意力计算过程中得到的矩阵,其中元素可以是从零到一之间的数字。
对于文本语义矩阵而言,例如其中每一列可以看成是一个文本语义向量,可以对这样的向
量进行加权求和。整体情感观点语义表示向量结合了本层级情感观点和上一层级的信息。
对于第一个层级而言,其没有前一层级,所以其信息传递单元没有依赖信息可以接收,所以
不需进行依赖信息相关的计算,所以其注意力计算过程中得到的文本语义矩阵即可为初始
的文本语义表示。
义表示形状相同的数据矩阵进行元素对位相乘,得到相应层级的依赖信息的向量,以传递
至当前信息传递单元所处层级的下一层级的信息传递单元。
情感分类单元输出的分析结果可以是向量形式,可以通过向量拓展形成矩阵形式,例如通
过对同一向量进行复制后排列形成所需形状的矩阵。通过上述方式,可以接连不断的在一
个层级得到依赖信息,然后传递至下一个层级。如此一来,本实施例的层级类别情感分析
中,相邻两个层级内的情感观点类别之间存在的包含关系或者说父子类别依赖关系的特
点。
单元所处层级的信息传递单元输出的情感观点语义信息构建的输入,计算得到第三文本语
义表示,根据第三文本语义表示识别出用户反馈文本中存在的局部情感观点类别及情感极
性,作为当前情感分类单元的分析结果。
单元所处层级的信息传递单元输出的整体情感观点语义表示向量的扩展矩阵进行拼接构
建的输入,将该输入经由使用ReLU非线性激活函数的全连接神经网络层计算得到第三文本
语义表示的矩阵,根据第三文本语义表示的矩阵再经由使用多分类任务激活函数的全连接
神经网络层得到用户反馈文本中存在的局部情感观点类别及情感极性的向量,作为当前情
感分类单元的分析结果。其中,上述非线性激活函数可以为ReLU、LeakyReLU、sigmoid非线
性激活函数。上述多分类任务激活函数可以为sigmoid或ReLU激活函数。
的第二文本语义表示一般可以为向量形式,可以将该些第二文本语义表示向量拼接在一起
构成第二文本语义表示矩阵;该第二文本语义表示矩阵的形状可以是,一个维度向量本身
的维度,另一个维度是本层级的初始情感观点的总数。本层级的信息传递单元输出的整体
情感观点语义表示向量是一个向量,可以通过对该向量进行扩展(如复制该向量排列形成
预定形状的矩阵),得到扩展矩阵;该扩展矩阵可以是与前述第二文本语义表示矩阵形状相
同的矩阵。得到的该第三文本语义表示的矩阵可以是局部情感分类前的最终情感文本语义
表示矩阵,该矩阵可以经过一个全连接网络得到局部的情感观点分类结果,进一步可以判
断得到情感极性,另外,该矩阵可以用于传输到全局情感分类单元,以得到全局的情感观点
分类结果以及情感极性。局部情感观点类别主要是本层级的情感分类模块得到的情感观点
类别及情感极性结果。情感极性可包括消极、中立和积极。情感观点可以包括对产品的各种
观点倾向,从浅层级到深层级情感观点对应的产品的功能方面划分可以从粗到细。例如,如
图4所示,对于手机产品,第一层级可以划分为手机拍照摄影方面和手机音乐功能方面的情
感观点,第二层级可包括成像效果、功能体验、便捷性、扬声器音质、扬声器位置等方面的情
感观点,第三层级可包括清晰度、色彩饱和度、变焦滑动、慢动作抓拍、低频、高频等方面的
情感观点。
情感观点类别及情感极性。
用非线性激活函数的全连接层神经网络层计算得到最终情感文本语义表示矩阵,再将该最
终情感文本语义表示矩阵使用多分类任务激活函数的全连接神经网络计算得到用户反馈
文本的全局情感观点类别及情感极性的向量。其中,上述非线性激活函数可以为ReLU、
LeakyReLU、sigmoid非线性激活函数。上述多分类任务激活函数可以为sigmoid或ReLU激活
函数。
可以得到每一种完整的层级情感观点所对应的情感极性分类结果向量。
果。该分析结果输出单元可以用于综合考虑层级情感分类单元的各层级局部情感分析结果
以及全局情感分类单元的全局情感分析结果,以此输出最终完整的层级类别情感分析结
果。
相应层级的局部情感观点类别及情感极性由局部向完整层级进行转化和整合,得到用户反
馈文本的最终情感分析结果;其中,映射矩阵中的每个元素表示局部情感观点类别的重要
性占比。
量整合。其中,该层级依赖预测的方法可以是指,稀有系数为前层级的情感观点频次与最后
一层级中的情感观点频次的比例。之后可以使用前层级的情感观点预测结果乘上稀有系
数,加权在最后一个层级的预测结果上。
层级中的情感观点频次的比例。其中,上述损失函数可以为交叉熵损失函数。如此一来,通
过乘法加权该稀有系数的方式,即创新的层级依赖预测方法,可以增大模型学习训练过程
中该情感观点的损失大小,使模型的学习训练过程更加关注稀有情感观点。
的损失大小,使模型的学习训练过程更加关注稀有情感观点。
观点热度图、情感观点趋势图以及情感观点树状图。
统计,可以在html网页选择自己需要查询的时间范围,可以将不同层级的情感观点进行树
状显示。观点热度可以通过某情感观点在一个时间段内出现的频次来表示。观点满意度得
分可以是情感极性得分与情感观点出现频次的比例来表示。例如,对于每种情感观点,若情
感极性为积极,则加一分,若为中立则加零分,若为消极则加一分,依次得到该观点的情感
极性得分。情感观点树状图可以包括从产品的较粗划分逐步到产品的较细划分,各个划分
对应的情感观点情况,如图4所示。
感分析的产品反馈分析方法解决问题的原理与基于情感分析的产品反馈分析系统相似,因
此该基于情感分析的产品反馈分析方法的实施可以参见基于情感分析的产品反馈分析系
统的实施,重复之处不再赘述。
以下步骤:
本语义表示;
元所处层级的第一文本语义表示及情感特征获取单元输出的第二文本语义表示进行分析
处理,得到该后一层级的信息传递单元所处层级的情感观点语义信息,并根据得到的情感
观点语义信息和该后一层级的信息传递单元所处层级的情感分类单元输出的分析结果构
建依赖信息,以传递至该后一层级的信息传递单元所处层级的下一层级的信息传递单元;
情感分类单元所处层级的信息传递单元输出的情感观点语义信息构建的输入,计算得到第
三文本语义表示,根据第三文本语义表示识别出用户反馈文本中存在的局部情感观点类别
及情感极性,作为当前情感分类单元的分析结果;
感极性;
询与显示模块。
系统的业务需要,配置对应的数据库并设计对应数据表,以储存输入系统的用户反馈数据;
另外,该模块还负责适应产品反馈分析的任务需要,对系统中的用户反馈文本数据进行数
据清洗、数据划分等数据预处理工作。
心,并使用该分析方法进行分析任务的处理,对具有内在联系的多层级不同情感观点进行
识别以及极性分类。该模块采用的层级类别情感分析算法模型,能够将情感观点划分不同
层级进行细化,相邻层级的父子节点情感观点存在语义关联,多层级的具有内在关联的情
感观点构成树形状数据结构,由浅层级至深层级进行发散分支(是指产品功能层级分支,然
后得到每个分支上的情感观点),细致程度由浅层向深层逐渐增强。在此情感观点的形式之
上,该模块用于对具有内在联系的多层级不同情感观点进行识别以及极性分类。
以及观点树状图等内容,显示给用户用以参考与使用。
馈观点信息表、用户反馈任务信息表以及用户反馈观点时间表这五个数据表存储相关数
据。
息以及摘要信息字段。其中,数据编号为该表的主键,数据时间用来标识本条用户反馈文本
数据的发布时间。观点信息表的作用是存储每一条用户反馈文本数据所包含的多种情感观
点类型以及其对应情感观点极性,主要包括观点编号、数据编号、观点类型编号以及观点极
性信息字段,其中,观点极性使用TINYINT类型进行存储,0表示消极,1表示中立,2表示积
极。观点类型表的作用是存储系统中包含的所有层级情感观点类别信息,主要包括观点类
型编号、观点类别名称以及不同层级的情感观点名称字段,层级总数以数据中情感观点的
最大层级数为准,本实施例中设置为4。任务信息表的作用主要是存储用户使用系统所发布
分析任务的相关信息,访问该表可以得知分析任务的状态等信息。该表主要包括任务编号、
用户预设任务编号、任务发布时间、合法标记、完成标记、原数据路径以及分析结果路径字
段,其中,合法标记用于标记用户发布任务时上传的数据内容格式是否合法,完成标记用于
标识后台对用户上传数据的层级情感分析处理是否完成。观点时间表主要存储的是与日期
时间为度量的情感观点类别等信息,其服务于与时间相关的查询任务,包括时间编号、历史
时间、观点类型频次序列以及观点极性得分序列数据字段。
的合法性校验,检查用户上传的用户反馈文本数据文件内的每项数据是否为系统规定的
JSON数据格式,并且用户反馈正文信息字段是否非空。然后对输入系统数据进行数据清洗,
去除停用词标点等无用字符。最后,该模块将数据输入至层级情感分析模块。
出的层级类别情感分析算法模型为核心,对具有内在联系的多层级不同情感观点,进行情
感观点识别以及情感极性分类。
层级,能够从用户反馈文本中识别出分层级细化的情感类别属性,这些情感类别属性的细
致程度,由浅层向深层逐渐增强,进一步深层细化情感分析的角度和精度。不仅如此,划分
层级后的情感观点类别之间可以构成树状数据结构,这样可以更加方便地利用好不同情感
观点之间的相互依赖等关系,同时发散树结构分支的方式,也大大增强了情感观点类型的
扩展能力,使其更加符合人类大脑对情感观点的认知理解。在从产品反馈文本数据中,识别
出情感观点树中各个分支的层级情感观点之后,再分别对其进行情感极性分类,将情感观
点的极性分类为积极(Positive)、消极(Negative)和中立(Neutral)。
文本输入与表示单元、情感特征获取单元、层级信息传递单元、层级情感分类单元、全局情
感分类单元、及分析结果输出单元。
来的用户反馈文本数据,并通过自然语言处理预训练模型等语义表示模型,将其转化为后
续其他分析单元所需要的数学形式的语义表示数据。
表示为以字符向量为单位组成的文本语义表示。
出当前层级下不同的情感观点对于用户反馈文本的语义表示信息,以传递至后续单元继续
进行处理。
层通过使用用户反馈文本信息与所处层级情感类别信息之间的注意力计算,来丰富用户反
馈文本语义的表达,以此增强算法模型性能。通过对目标层级的情感观点类别向量与文本
语义表示进行key‑value注意力计算,得到包含情感观点类别信息的文本语义表示,并将其
与原有语义表示进行拼接,作为新的文本语义表示矩阵。卷积层主要通过文本卷积神经网
络及门机制来实现从文本语义中挖掘出包含的当前层级的情感类别语义表示的目的。通过
两个并行的文本卷积神经网络计算,共同获得文本语义对于当前层级的每一种情感观点的
语义表示向量。其中一种卷积计算过程,对文本语义表示矩阵通过卷积和最大池化处理,得
到纯净的语义表示向量;另一卷积计算过程,在通过文本卷积计算后,使用每一种情感观点
类别向量与卷积输出进行元素对位乘积计算,并经过ReLU非线性激活函数,得到门机制结
果向量。最后将纯净的语义表示向量与每一种情感观点类别的门机制结果向量元素对位相
乘,经过最大池化后得到本层级对应每一种情感观点的语义表示向量。
层级下的分析处理中,并根据本层级下的分类预测结果,构建信息传递至下一层级。
本层的信息,并结合本层级的情感语义等信息以及当前层级的情感特征获取单元输出的信
息,将上述信息一同构建成本层级内层级情感分类单元的输入内容。接受上一层级的层级
信息传递单元传递至本层级的上一层依赖信息矩阵,并用其与文本语义表示进行元素对位
相乘,再对该计算结果通过key‑value注意力机制计算,用文本语义向量按照注意力矩阵的
对应元素加权求和,表示当前情感观点向量,该向量看作集合本层级情感观点与上层级信
息的本层级整体情感观点语义表示向量。依赖信息传递层的作用是将本层级的情感语义信
息和本层级的层级情感分类单元输出的分析结果进行结合,构建依赖信息,并将其传递至
下一层级进行处理。此层通过向量扩展至矩阵的方式,将本层级的层级情感分类单元分析
结果与本单元注意力层key‑value注意力计算中的注意力权重矩阵乘积结果向量,拓展成
与文本语义表示形状相等的数字矩阵,作为传递至下一层级的父子情感观点依赖信息。这
部分的实现思路,契合了本发明提出的层级类别情感分析中,相邻两个层级内的情感观点
类别之间存在的包含关系或者说父子类别依赖关系的特点。
息,计算并识别出用户反馈文本数据中存在的本层级下的情感观点类别,并分别对各个类
别所对应的情感极性进行分类判断。
向量拼接矩阵,该拼接矩阵的形状为(本层级情感观点总数,情感观点表示向量维度);而另
一部分为本层级的层级信息传递单元所得到的本层级整体情感观点语义表示向量的扩展
矩阵,该扩展矩阵的形状为(本层级情感观点总数,整体情感观点表示向量维度)。将上述两
部分进行矩阵拼接后,作为单元的输入进行后续处理,后续经过使用ReLU非线性激活函数
的全连接神经网络层,得到局部情感分类前的最终情感文本语义表示矩阵,再将该矩阵使
用sigmoid非线性激活函数的全连接神经网络层得到每一种情感观点所对应的情感极性局
部分类结果向量。
义信息,计算获取一个全局角度的情感分析结果。
元将这些语义表示矩阵进行平均化,后续经过使用ReLU非线性激活函数的全连接神经网络
层,得到全局情感分类前的最终情感文本语义表示矩阵,再将该矩阵使用sigmoid非线性激
活函数的全连接神经网络层得到每一种完整的层级情感观点所对应的情感极性分类结果
向量。
结果,以此输出最终完整的层级类别情感分析结果。
局分类结果向量。并使用本发明所提出的层级依赖预测方法来进行局部与全局两个角度的
分类结果向量整合。所述分析结果查询与显示模块具体可用于:提供给用户可视化的查询
操作界面,统计并保存层级情感分析模块输出的分析结果,将其转化为观点热度图、观点趋
势图以及观点树状图等内容,显示给用户用以参考与使用。
步骤包括:
类单元分析结果与本单元注意力层key‑value注意力计算中的注意力权重矩阵乘积结果,
拓展成与文本语义表示形状相等的数字矩阵,作为父子情感观点依赖信息,传递至下一层
级;
级整体情感观点语义表示向量的扩展矩阵,进行拼接作为输入,经过使用ReLU非线性全连
接层得到局部情感分类前的最终情感文本语义表示矩阵,再将该矩阵使用sigmoid非线性
激活函数的全连接神经网络层得到每一种情感观点所对应的情感极性局部分类结果向量。
若本层已为最深层级,则将全部层级的信息传至全局情感分类单元,若本层并非最深层级,
则进入下一层的相关信息处理;
感极性全局分类结果向量,一同传至全局情感分类单元,全局情感分类单元处理信息并分
析得出全局的情感分析结果;
量中的数据内容,通过加权求和相关方式,将信息添加至深层级情感极性的判别向量等数
据中。
观点频次与当前深层级目标情感观点频次的比例,表征当前情感观点的稀有系数,并通过
乘法加权该稀有系数的方式增大模型学习训练过程中该情感观点的损失大小,使模型的学
习训练过程更加关注稀有情感观点。
该奖惩系数由最浅层的第一层级情感类别出现频数与当前本层级情感类别的出现频数之
比决定,并可以通过开三次方根来放缩大小,这样设置奖惩系数基于以下假设:假设某一个
深层级的子情感类别出现次数在其浅层级的父情感类别出现次数中所占比例较小,那么认
为该子情感类别较为稀有,低召回率的小样本问题较为明显。在获得每一层级的不同情感
观点的该奖惩系数后,通过乘法加权的方式,分别乘法处理在每一层级的交叉熵FocalLoss
损失函数计算中,以此使本实施例模型的正常学习训练过程中,更加关注深层级稀有情感
观点类别,以提升用户反馈分析系统整体分析处理中的性能指标。
的父亲情感观点的分析结果,辅助对深层级的孩子情感观点识别以及情感极性分类过程,
即,利用“稀有系数”作为乘数,来让前层级的分析结果乘后加权到最后一层级,优化分析系
统的性能指标。该方法使用浅层级分析结果的情感极性向量中的数据内容,通过加权求和
相关方式,将信息添加至深层级情感极性的判别向量等数据中。
层级依赖预测方法使用局部‑全局情感观点类别映射矩阵来辅助每一个层级的层级情感分
类单元的局部分析结果向整体完整层级情感观点类别分析结果的转化和整合,该矩阵的形
状为(所有层级的层级情感观点数总和,完整的情感观点总数)。该映射矩阵中的每一个元
素值,表示从局部到整体的转换过程中该局部类别的重要性占比,如图7中第一层级的“手
机拍照摄影”类别重要性占比为0.15,第二层级“扬声器位置”类别的重要性占比为0.7。通
过这种方式,可使浅层的父亲情感类别影响深层的子情感类别预测结果。层级依赖预测方
法,举例来说,“手机拍照摄影—成像效果—色彩饱和度”这一完整层级情感类别的预测分
析结果,由0.15权重的“手机拍照摄影”情感观点类别的预测结果、0.15权重的“成像效果”
情感观点类别预测结果以及0.7权重的“色彩饱和度”情感类别预测结果加权求和而成,其
最深层的“色彩饱和度”情感类别为主要的目标情感类别,其预测结果仍占有最多的权重,
但由于层级较深,预测难度大,而与此同时,较容易预测正确的父情感类别“手机拍照摄
影”、“成像效果”将占有一定贡献,以对最终的完整预测结果做出纠正影响。通过上述方式,
缓解深层级情感观点的低召回率问题。
查询操作界面,统计层级情感分析模块输出的分析结果,将其转化为观点热度图、观点趋势
图以及观点树状图等内容,显示给用户用以参考与使用。
面使用CSS、JavaScript和html语言完成。针对产品反馈分析系统的需求,设计实现了分析
任务功能子模块、结果查询功能子模块,并基于上述子模块实现了层级情感分析任务发布、
层级情感分析结果获取及全局观点统计查询、单一观点趋势查询功能,方便用户进行产品
反馈数据的情感分析和结果查询等处理。
馈文本数据并调用层级类别情感分析算法模型的接口。用户上传包含特定JSON格式用户反
馈文本数据的文件,在html网页对应文本框中填写设置任务编号并选择是否将文件内的数
据新增至数据库,之后系统调用层级情感分析模块中的算法模型,对用户上传文件中的用
户反馈文本数据进行情感分析处理,并保存分析结果至文件及数据库。分析结果获取功能,
为用户提供一个对于之前发布任务时上传的用户反馈数据,在经过层级类别情感分析处理
得到的分析结果获取并下载的接口。在系统用户发布了新的分析任务后,系统会对用户上
传的数据进行分析处理,由于上传的用户反馈文本数据可能量较大,后台的层级情感分析
模块需要相应的分析处理时间,用户可以在html网页对应文本框输入之前设置的任务编
号,查询分析任务是否完成,如果未完成或上传的数据不合法,那么网页返回相应提示;如
果分析任务完成,则可以通过文件链接下载完整的分析结果文件。分析结果文件内包含用
户反馈文本、识别出的层级情感观点以及情感观点对应的情感极性。
询不同时间段的观点极性信息的接口。用户根据自身需要在html网页的对应文本框输入查
询的时间段范围,系统查询数据库内的该时间范围的用户反馈及情感观点信息,统计后使
用pyecharts开源绘图工具,绘制层级情感观点类别树状图呈现给用户,每一个类别树分支
之后显示观点热度及观点满意度,反馈全局角度的观点信息,供用户进行信息参考。观点热
度主要是通过该情感观点在时间段内的出现频次来表征,而观点满意度得分是观点极性得
分总和与观点出现频次的比例来表示,每一种情感观点,积极记为1分,中立记为0分,消极
记为负1分。单一观点趋势查询功能,给用户提供一个针对指定的某一种情感观点类别查询
其在一个时间段内的变化趋势的接口。用户需要在html网页的对应文本框输入指定某一个
特定的情感观点类别,并根据自身需要输入查询的时间段范围。系统查询数据库内的该时
间范围的特定用户反馈观点信息,并将其按照时间分段,统计计算各段观点得分,使用
pyecharts开源绘图工具,绘制可视化的观点热度趋势图和观点满意度趋势图,反馈给用户
供其进行信息参考。与上述全局观点统计查询功能相同,观点热度主要是通过该情感观点
在时间段内的出现频次来表征,观点满意度得分是观点极性得分总和与观点出现频次的比
例来表示。
据,进行多个不同层级下的情感观点识别以及情感极性分类,并将分析结果通过观点热度
图、观点趋势图等形式展示给用户,供其参考与使用。系统中核心的层级情感分析模块,提
出并采用了层级类别情感分析模型,其分层级的模型结构,为系统从相互关联的不同层级
情感观点角度展开情感分析创造了可能,增强了产品反馈分析的深度和扩展性,并使用户
反馈分析过程更加符合人类大脑对情感观点的认知理解。进一步地,情感观点分析处理中
应用了层级奖惩损失函数以及层级依赖预测方法两种策略进行模型学习训练和分析结果
预测,加强系统中算法模型对深层级情感观点的学习强度,并利用父情感观点类型的分析
结果辅助子情感类别的分析过程,缓解出现频次较低的深层级情感观点存在的低召回率问
题,优化了分析系统的性能指标。
级类别情感分析结构能够将前一层级的情感观点分析结果传递至下一层级,从而从相互关
联的不同层级情感观点角度进行了情感分析,以此能够增强产品反馈分析的深度。
具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,
对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结
构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例
中涉及的步骤顺序用于示意性说明本发明的实施,其中的步骤顺序不作限定,可根据需要
作适当调整。
施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机
可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产
品的形式。
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本
发明的保护范围之内。