意见挖掘方法、电子设备及计算机可读存储介质

摘要

本发明公开了一种意见挖掘方法、电子设备及计算机可读存储介质。其方法包括：获取评论文本，将评论文本转换为token序列；对token序列进行编码得到上下文表示；根据上下文表示获取评论主体位置的中间层表示，预测评论主体的位置；根据上下文表示获取评论词位置的中间层表示，预测评论词的位置；根据上下文表示获取评论主体位置的新的中间层表示和评论词位置的新的中间层表示；得到词对关系的中间层表示，并选择概率值最大的关系作为词对的关系；通过预测的评论主体的位置得到对应的评论主体，通过预测的评论词的位置得到对应的评论词。本发明可以快速、准确地挖掘出评论文本中的评论主体和对应的评论词，具有复杂度低、效率高的优点。

权利要求

1.意见挖掘方法，其特征在于，包括：

S1、获取评论文本，将评论文本转换为token序列；

S2、对所述token序列进行编码，得到上下文表示；

S3、根据所述上下文表示获取评论主体位置的中间层表示，并通过分类器预测评论主体的位置；根据所述上下文表示获取评论词位置的中间层表示，并通过分类器预测评论词的位置；

S4、根据所述上下文表示获取评论主体位置的新的中间层表示和评论词位置的新的中间层表示；根据评论主体位置的新的中间层表示和评论词位置的新的中间层表示，捕捉评论主体和评论词组成的词对之间的依赖关系，得到词对关系的中间层表示，并选择概率值最大的关系作为词对关系；根据词对关系，通过预测的评论主体的位置得到对应的评论主体，通过预测的评论词的位置得到对应的评论词；

其中，步骤S4包括，

S41、根据所述上下文表示获取评论主体位置的新的中间层表示Ra’和评论词位置的新的中间层表示Ro’，如下：Ra’＝Relu(W1’·H+b1’)

Ro’＝Relu(W3’·H+b3’)

其中，H为上下文表示；Relu为激活函数；W1’和W3’为可学习的参数矩阵；b1’和b3’为偏差；

S42、将评论主体和评论词组成的词对之间的关系定义为“正向”、“负向”、“中性”、“无关系”四种类别，利用双放射函数捕捉评论主体和评论词组成的词对之间的依赖关系，得到词对关系的中间层表示Si,j,k，如下：T

Si,j,k＝[Wk·Ra’+bk] Ro’其中，Wk为可学习的参数矩阵；bk为偏差；

并选择概率值最大的关系作为词对关系r，如下：Si,j,k’＝softmax(Si,j,k)其中，Si,j,k’表示词对(wi,wj)是第k种关系的概率；wi为评论文本中的第i个词；wj为评论文本中的第j个词；

S43、根据词对关系r，当r不属于“无关系”类别，通过预测的评论主体的位置得到对应的评论主体a，通过预测的评论词的位置得到对应的评论词o，得到一个三元组“评论主体a，评论词o，词对关系r”。

2.根据权利要求1所述的意见挖掘方法，其特征在于，在步骤S3中，根据所述上下文表示获取评论主体位置的中间层表示Ra，如下：Ra＝Relu(W1·H+b1)

其中，H为上下文表示；Relu为激活函数；W1为可学习的参数矩阵；b1为偏差；

并通过分类器预测评论主体的位置，如下：

Ra_index＝softmax(W2·Ra+b2)其中，Ra_index为评论主体索引序列，其中标识了评论主体的位置；softmax为分类函数；

W2为可学习的参数矩阵；b2为偏差。

3.根据权利要求2所述的意见挖掘方法，其特征在于，评论主体索引序列Ra_index中包含

0,1,2三种元素；在步骤S4中，所述通过预测的评论主体的位置得到对应的评论主体，包括：Ra_index(i)＝0，表示wi不是评论主体；

Ra_index(i)＝1，表示wi是评论主体的首字；

Ra_index(i)＝2，表示wi是评论主体的一部分，循环执行i’＝i‑1，直到Ra_index(i’)＝1，序列[i’,i]所对应的文本内容即为wi所对应的评论主体a；

其中，wi为评论文本中的第i个词。

4.根据权利要求1所述的意见挖掘方法，其特征在于，在步骤S3中，根据所述上下文表示获取评论词位置的中间层表示Ro，如下：Ro＝Relu(W3·H+b3)

其中，H为上下文表示；Relu为激活函数；W3为可学习的参数矩阵；b3为偏差；

并通过分类器预测评论词的位置，如下：

Ro_index＝softmax(W4·Ro+b4)其中，Ro_index为评论词索引序列，其中标识了评论词的位置；softmax为分类函数；W4为可学习的参数矩阵；b4为偏差。

5.根据权利要求4所述的意见挖掘方法，其特征在于，评论词索引序列Ro_index中包含0,

1,2三种元素；在步骤S4中，所述通过预测的评论词的位置得到对应的评论词，包括：Ro_index(j)＝0，表示wj不是评论词；

Ro_index(j)＝1，表示wj是评论词的首字；

Ro_index(j)＝2，表示wj是评论词的一部分，循环执行j’＝j‑1，直到Ro_index(j’)＝1，序列[j’,j]所对应的文本内容即为wj所对应的评论词o；

其中，wj为评论文本中的第j个词。

6.根据权利要求1所述的意见挖掘方法，其特征在于，还包括以下步骤：根据所述上下文表示，通过分类器预测评论主体的类别。

7.根据权利要求1所述的意见挖掘方法，其特征在于，还包括以下步骤：根据所述上下文表示，通过平均池化得到评论文本的中间层表示，根据评论文本的中间层表示通过分类器预测句子级别的情感极性。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1到7任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1到7任一项所述方法的步骤。

说明书

意见挖掘方法、电子设备及计算机可读存储介质

技术领域

[0001] 本发明涉及文本信息处理技术领域，尤其是指一种意见挖掘方法、电子设备及计算机可读存储介质。

背景技术

[0002] 意见挖掘主要是运用自然语言处理、信息抽取、数据挖掘等技术方法对目标文本信息进行主客观分析，以及进一步对主观性文本进行情感分析, 从而帮助抽取出文本信息中有价值的意见信息或知识。

[0003] 根据挖掘范围和程度的不同，总体上可以分为粗粒度意见挖掘和细粒度意见挖掘。

[0004] 粗粒度意见挖掘主要是对文本进行整体的情感倾向性分类，一般分为褒义、中性和贬义等。但是不能深入挖掘用户对于具体评论对象及其相关属性的情感态度。

[0005] 细粒度意见挖掘在粗粒度意见挖掘的基础上进一步深入，具体到产品的特征层面，运用信息抽取技术抽取出评论文本中的评论主体、评价词以及文本情感倾向等意见要素，为现实应用提供有价值的细节信息。目前的意见挖掘主要涉及评论主体、评价词搭配抽取、情感计算等方面研究内容。

[0006] 在评论主体、评价词的联合抽取研究中，现有方法大多采用管道式模型，首先识别评论主体、评价词，然后采用笛卡尔积的形式进行分组，然后预测每组的评论主体、评价词是否具有关系。这种做法存在明显的缺点，一是存在误差传播，二是时间复杂度高。有的研究采用机器阅读理解的框架，将任务转换为多轮问答的形式。但这种方法训练成本高，训练速度慢。此外，在情感极性的分析中，大多是已有的方法均从单个粒度进行分析，没有进行全面的分析。

发明内容

[0007] 为此，本发明所要解决的技术问题在于提供一种复杂度低、效率高、准确度高的意见挖掘方法。

[0008] 为解决上述技术问题，本发明提供了一种意见挖掘方法，其包括以下步骤：

[0009] S1、获取评论文本，将评论文本转换为token(令牌)序列；

[0010] S2、对所述token序列进行编码，得到上下文表示；

[0011] S3、根据所述上下文表示获取评论主体位置的中间层表示，并通过分类器预测评论主体的位置；根据所述上下文表示获取评论词位置的中间层表示，并通过分类器预测评论词的位置；

[0012] S4、根据所述上下文表示获取评论主体位置的新的中间层表示和评论词位置的新的中间层表示；根据评论主体位置的新的中间层表示和评论词位置的新的中间层表示，捕捉评论主体和评论词组成的词对之间的依赖关系，得到词对关系的中间层表示，并选择概率值最大的关系作为词对关系；根据词对关系，通过预测的评论主体的位置得到对应的评论主体，通过预测的评论词的位置得到对应的评论词。

[0013] 在本发明的一个实施例中，步骤S4包括：

[0014] S41、根据所述上下文表示获取评论主体位置的新的中间层表示Ra’和评论词位置的新的中间层表示Ro’，如下：

[0015] Ra’=Relu(W1’·H+b1’)

[0016] Ro’=Relu(W3’·H+b3’)

[0017] 其中，H为上下文表示；Relu为激活函数；W1’和W3’为可学习的参数矩阵；b1’和 b3’为偏差；

[0018] S42、将评论主体和评论词组成的词对之间的关系定义为“正向”、“负向”、“中性”、“无关系”四种类别，利用双放射函数捕捉评论主体和评论词组成的词对之间的依赖关系，得到词对关系的中间层表示Si,j,k，如下：

[0019] Si,j,k=[Wk·Ra’+bk]TRo’

[0020] 其中，Wk为可学习的参数矩阵；bk为偏差；

[0021] 并选择概率值最大的关系作为词对关系r，如下：

[0022] Si,j,k’=softmax(Si,j,k)

[0023] 其中，Si,j,k’表示词对（wi,wj）是第k种关系的概率；wi为评论文本中的第i个词；wj为评论文本中的第j个词；

[0024] S43、根据词对关系r，当r不属于“无关系”类别，通过预测的评论主体的位置得到对应的评论主体a，通过预测的评论词的位置得到对应的评论词o，得到一个三元组“评论主体a，评论词o，词对关系r”。

[0025] 在本发明的一个实施例中，在步骤S3中，根据所述上下文表示获取评论主体位置的中间层表示Ra，如下：

[0026] Ra =Relu(W1·H+b1)

[0027] 其中，H为上下文表示；Relu为激活函数；W1为可学习的参数矩阵；b1为偏差；

[0028] 并通过分类器预测评论主体的位置，如下：

[0029] Ra_index= softmax(W2·Ra+b2)

[0030] 其中，Ra_index为评论主体索引序列，其中标识了评论主体的位置；softmax为分类函数；W2为可学习的参数矩阵；b2为偏差。

[0031] 在本发明的一个实施例中，评论主体索引序列Ra_index中包含0,1,2三种元素；在步骤S4中，所述通过预测的评论主体的位置得到对应的评论主体，包括：

[0032] Ra_index(i)=0，表示wi不是评论主体；

[0033] Ra_index(i)=1，表示wi是评论主体的首字；

[0034] Ra_index(i)=2，表示wi是评论主体的一部分，循环执行i’=i‑1，直到Ra_index(i’)=1，序列[i’,i]所对应的文本内容即为wi所对应的评论主体a；

[0035] 其中，wi为评论文本中的第i个词。

[0036] 在本发明的一个实施例中，在步骤S3中，根据所述上下文表示获取评论词位置的中间层表示Ro，如下：

[0037] Ro=Relu(W3·H+b3)

[0038] 其中，H为上下文表示；Relu为激活函数；W3为可学习的参数矩阵；b3为偏差；

[0039] 并通过分类器预测评论词的位置，如下：

[0040] Ro_index=softmax(W4·Ro+b4)

[0041] 其中，Ro_index为评论词索引序列，其中标识了评论词的位置；softmax为分类函数；W4为可学习的参数矩阵；b4为偏差。

[0042] 在本发明的一个实施例中，评论词索引序列Ro_index中包含0,1,2三种元素；在步骤S4中，所述通过预测的评论词的位置得到对应的评论词，包括：

[0043] Ro_index(j)=0，表示wj不是评论词；

[0044] Ro_index(j)=1，表示wj是评论词的首字；

[0045] Ro_index(j)=2，表示wj是评论词的一部分，循环执行j’=j‑1，直到Ro_index(j’)=1，序列[j’,j]所对应的文本内容即为wj所对应的评论词o；

[0046] 其中，wj为评论文本中的第j个词。

[0047] 在本发明的一个实施例中，还包括以下步骤：

[0048] 根据所述上下文表示，通过分类器预测评论主体的类别。

[0049] 在本发明的一个实施例中，还包括以下步骤：

[0050] 根据所述上下文表示，通过平均池化得到评论文本的中间层表示，根据评论文本的中间层表示通过分类器预测句子级别的情感极性。

[0051] 本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述方法的步骤。

[0052] 本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。

[0053] 本发明的上述技术方案相比现有技术具有以下优点：

[0054] 本发明的意见挖掘方法可以快速、准确地挖掘出评论文本中的评论主体和对应的评论词，并从句子级、属性级、类别级三个粒度进行用户情感极性的分析，具有复杂度低、效率高的优点。

[0055] 上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

[0056] 为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

[0057] 图1是本发明实施例中意见挖掘方法的流程图。

具体实施方式

[0058] 下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。实施例一

[0059] 参照图1所示，本实施例公开了一种意见挖掘方法，其包括以下步骤：

[0060] 步骤S1、获取评论文本，将评论文本转换为token序列；可选地，步骤S1包括：

[0061] 步骤S1.1、利用BERT（Bidirectional Encoder Representations from Transformers，来自变换器的双向编码器表征量）预训练模型中的词典，将评论文本转换为数字token，无法匹配的字用代替；

[0062] 步骤S1.2、在token序列的前后加上[CLS]和[SEP]标记；

[0063] 步骤S1.3、将token序列按照设定的长度进行截断和填充，填充的token为0。

[0064] 步骤S2、对所述token序列进行编码，得到上下文表示；可选地，步骤S2包括：

[0065] 步骤2.1、将步骤1.3得到的token序列作为输入，通过BERT中的Transformer（变换网络）计算句子的上下文表示。计算公式为：

[0066] Hl = Trans(Hl‑1)

[0067] 步骤2.2、将最后一层Transformer的输出作为评论输入的最终上下文表示H。

[0068] 步骤S3、根据所述上下文表示获取评论主体位置的中间层表示，并通过分类器预测评论主体的位置；根据所述上下文表示获取评论词位置的中间层表示，并通过分类器预测评论词的位置；

[0069] 具体地，根据所述上下文表示获取评论主体位置的中间层表示Ra，如下：

[0070] Ra =Relu(W1·H+b1)

[0071] 其中，H为上下文表示；Relu为激活函数；W1为可学习的参数矩阵；b1为偏差；

[0072] 并通过分类器预测评论主体的位置，如下：

[0073] Ra_index= softmax(W2·Ra+b2)

[0074] 其中，Ra_index为评论主体索引序列，其中标识了评论主体的位置；softmax为分类函数；W2为可学习的参数矩阵；b2为偏差。

[0075] 具体地，根据所述上下文表示获取评论词位置的中间层表示Ro，如下：

[0076] Ro=Relu(W3·H+b3)

[0077] 其中，H为上下文表示；Relu为激活函数；W3为可学习的参数矩阵；b3为偏差；

[0078] 并通过分类器预测评论词的位置，如下：

[0079] Ro_index=softmax(W4·Ro+b4)

[0080] 其中，Ro_index为评论词索引序列，其中标识了评论词的位置；softmax为分类函数；W4为可学习的参数矩阵；b4为偏差。

[0081] 步骤S4、根据所述上下文表示获取评论主体位置的新的中间层表示和评论词位置的新的中间层表示；根据评论主体位置的新的中间层表示和评论词位置的新的中间层表示，捕捉评论主体和评论词组成的词对之间的依赖关系，得到词对关系的中间层表示，并选择概率值最大的关系作为词对关系；根据词对关系，通过预测的评论主体的位置得到对应的评论主体，通过预测的评论词的位置得到对应的评论词。可选地，步骤S4包括：

[0082] S41、根据所述上下文表示获取评论主体位置的新的中间层表示Ra’和评论词位置的新的中间层表示Ro’，如下：

[0083] Ra’=Relu(W1’·H+b1’)

[0084] Ro’=Relu(W3’·H+b3’)

[0085] 其中，H为上下文表示；Relu为激活函数；W1’和W3’为可学习的参数矩阵；b1’和 b3’为偏差；与步骤S3中公式的区别在于，改变了可学习的参数和偏差。

[0086] S42、将评论主体和评论词组成的词对之间的关系定义为“正向”、“负向”、“中性”、“无关系”四种类别，利用双放射函数捕捉评论主体和评论词组成的词对之间的依赖关系，得到词对关系的中间层表示Si,j,（k 值得注意的是，考虑到计算效率的问题，词对关系中只选择每个词的最后一个字来代表整个词，在解码阶段进行还原），如下：

[0087] Si,j,k=[Wk·Ra’+bk]TRo’

[0088] 其中，Wk为可学习的参数矩阵；bk为偏差；

[0089] 并选择概率值最大的关系作为词对关系r，如下：

[0090] Si,j,k’=softmax(Si,j,k)

[0091] 其中，Si,j,k’表示词对（wi,wj）是第k种关系的概率；wi为评论文本中的第i个词；wj为评论文本中的第j个词；

[0092] S43、根据词对关系r，当r不属于“无关系”类别，通过预测的评论主体的位置得到对应的评论主体a，通过预测的评论词的位置得到对应的评论词o，得到一个三元组“评论主体a，评论词o，词对关系r”。

[0093] 在其中一实施例中，评论主体索引序列Ra_index中包含0,1,2三种元素；在步骤S4中，所述通过预测的评论词的位置得到对应的评论词（向前寻找，直到找到评论主体的起始位置），包括：

[0094] Ra_index(i)=0，表示wi不是评论主体；

[0095] Ra_index(i)=1，表示wi是评论主体的首字；

[0096] Ra_index(i)=2，表示wi是评论主体的一部分，循环执行i’=i‑1，直到Ra_index(i’)=1，序列[i’,i]所对应的文本内容即为wi所对应的评论主体a；

[0097] 其中，wi为评论文本中的第i个词。

[0098] 在其中一实施例中，评论词索引序列Ro_index中包含0,1,2三种元素；在步骤S4中，所述通过预测的评论主体的位置得到对应的评论主体，包括：

[0099] Ro_index(j)=0，表示wj不是评论词；

[0100] Ro_index(j)=1，表示wj是评论词的首字；

[0101] Ro_index(j)=2，表示wj是评论词的一部分，循环执行j’=j‑1，直到Ro_index(j’)=1，序列[j’,j]所对应的文本内容即为wj所对应的评论词o；

[0102] 其中，wj为评论文本中的第j个词。

[0103] n个词对关系（wi,wj）重复以上解码流程将得到n个三元组。

[0104] 在其中一实施例中，还包括以下步骤：

[0105] 根据所述上下文表示，通过分类器预测意见解释的位置，如下：

[0106] Rexpress=sotftmax(W5·H+b5)

[0107] 其中，W5是可学习的参数矩阵，b5是偏差。Rexpress是一个索引序列，其中，标识了意见解释的位置，可以据此得到评论文本中的所有意见解释片段。

[0108] 在其中一实施例中，还包括以下步骤：

[0109] 根据所述上下文表示，通过分类器预测评论主体的类别，如下：

[0110] Rtarget=sotftmax(W6·H+b6)

[0111] 其中，softmax为分类函数；W6是可学习的参数矩阵，b6是偏差。Rtarget是一个索引序列，其中标识了评论主体的类别。

[0112] 在其中一实施例中，还包括以下步骤：

[0113] 根据所述上下文表示，通过平均池化得到评论文本的中间层表示Hs，根据评论文本的中间层表示Hs通过分类器预测句子级别的情感极性，如下：

[0114] Hs＝mean(H)

[0115] Rsenyence=sotftmax(W7·Hs+b7)

[0116] 其中，W7是可学习的参数矩阵，b7是偏差。Rsenyence是一个索引序列，其中标识了句子级别的情感极性。

[0117] 为了验证本发明中方法的有效性，在其中一实施例中，给定一条酒店评论文本：

[0118] “晚上睡觉噪音非常大，也没人管，停车位超级紧张;早餐种类单调;房间内无空调，建议不要三伏天去。”

[0119] 以该评论文本作为输入，运用本发明的方法，将得到如下结果：

[0120] 评论主体：噪音、停车位、早餐；

[0121] 评价词：大、超级紧张、种类单调、房间内无空调；

[0122] 评论主体、评价词、情感极性三元组：（噪音，大，负），（停车位，超级紧张，负），（早餐，种类单调，负）；

[0123] 如果评论主体和评价词可以成功匹配，则会搭配情感极性组成三元组。在情感极性中，“负”表示负向，“正”表示正向，“中”表示中性。

[0124] 意见解释：建议不要三伏天去。

[0125] 该结果是对评价词“房间内无空调”的补充说明。

[0126] 句子级情感极性：负；

[0127] 评论主体的类别以及情感极性，以（评论主体，一级类别，二级类别，情感极性）形式输出：

[0128] （噪音，整体舒适度，酒店环境及设施，负），（停车位，整体舒适度，酒店环境及设施，负），（早餐，酒店餐饮，早餐，负）。

[0129] 本发明的意见挖掘方法可以快速、准确地挖掘出评论文本中的评论主体和对应的评论词，并从句子级、属性级、类别级三个粒度进行用户情感极性的分析，具有复杂度低、效率高的优点。实施例二

[0130] 本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中所述方法的步骤。实施例三

[0131] 本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例一中所述方法的步骤。

[0132] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD‑ROM、光学存储器等）上实施的计算机程序产品的形式。

[0133] 本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

[0134] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

[0135] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

[0136] 显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。