本发明涉及一种基于外部知识的视角级文本情感分类方法及系统，包括步骤：对视角级文本进行特征化处理，并捕获文本的双向语义依赖关系；通过动态注意力机制将当前单词与外部知识同义词相结合，并引入哨兵向量避免外部知识对模型的误导；通过位置注意力机制来判断每个单词对视角词的贡献程度；通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示；利用分类函数得到最终的情感分类结果。本发明能够提高视角级文本情感分类的性能和降低资源的消耗。
1.一种基于外部知识的视角级文本情感分类方法，其特征在于，包括以下步骤：对视角级文本进行特征化处理，捕获文本的双向语义依赖关系，得到具有双向语义依赖关系的单词的向量表示；
通过动态注意力机制将具有双向语义依赖关系的当前单词向量表示与外部知识同义词的向量表示相结合，并引入哨兵向量避免外部知识对模型的误导，得到与外部知识结合的单词向量表示；
通过位置注意力机制来判断每个单词对视角词的贡献程度，并将贡献程度和与外部知识结合的单词向量表示相乘生成记忆内容；
通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示；
2.根据权利要求1所述的一种基于外部知识的视角级文本情感分类方法，其特征在于，所述对视角级文本进行特征化处理具体包括以下步骤：步骤S11：对视角级文本进行分词处理；
步骤S12：通过Glove来将文本数据从文本形式转换成向量形式；
步骤S13：采用前向长短时记忆网络Forward-LSTM和反向长短时记忆网络Backward-LSTM捕捉文本的双向的语义依赖，得到具有双向语义依赖关系的单词向量表示。
3.根据权利要求2所述的一种基于外部知识的视角级文本情感分类方法，其特征在于，步骤S13中，t时刻Forward-LSTM或者Backward-LSTM更新过程如下：式中，it、ft、ot、 分别表示t时刻的输入门、遗忘门、输出门和记忆单元的激活向量，表示候选向量， 表示模型第l层隐藏层的输出向量，Wi、Wf、Wo、Wc、Ui、Uf、Uo、Uc分别表示模型的输入门、遗忘门、输出门和记忆单元在l层关于输入向量和隐藏层向量的模型参数；
步骤S13采用两层的BiLSTM堆叠而成，每层BiLSTM均包括Forward-LSTM与Backward-LSTM，将两层的BiLSTM的隐藏层的输出向量作为得到的具有双向语义依赖关系的单词的向量表示：式中， 表示第i个单词vi所对应的向量表示，
4.根据权利要求1所述的一种基于外部知识的视角级文本情感分类方法，其特征在于，所述通过动态注意力机制将具有双向语义依赖关系的当前单词向量表示与外部知识同义词的向量表示相结合，并引入哨兵向量避免外部知识对模型的误导具体包括以下步骤：步骤S21：通过下式计算哨兵向量st：
式中，σ表示logistic sigmoid函数，Wb、Ub分别表示要学习的权重参数矩阵，xt表示当前输入的文本内容， 表示上一隐藏状态的输出；
步骤S22：通过下式计算同义词向量tk与哨兵向量st的注意权重：其中，
式中，tkb、skb、bt、bs表示模型需要学习的权重参数向量，Wt、Ws、Wht、Whs表示模型需要学习的权重参数矩阵；
步骤S23：通过下式计算结合外部知识的单词向量表示
5.根据权利要求1所述的一种基于外部知识的视角级文本情感分类方法，其特征在于，所述通过位置注意力机制来判断每个单词对视角词的贡献程度，并将贡献程度和与外部知识结合的单词向量表示相乘生成记忆内容具体为：步骤S31：将上下文单词与视角词之间的单词数定义为二者的位置距离；将第i个单词对视角词的贡献程度定义为第i个单词的位置权重wi，计算如下式所示，位置权重越大，该单词对视角词的贡献程度越大：式中，t表示视角词的位置，tmax表示输入文本的单词总数；
步骤S32：通过下式计算融合位置注意力权重的记忆内容mi：式中 为与外部知识结合的单词向量表示。
6.根据权利要求1所述的一种基于外部知识的视角级文本情感分类方法，其特征在于，所述通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示具体包括以下步骤：步骤S41：计算每个记忆内容mj的注意力得分：
式中， 表示本轮的注意力得分，et-1表示门限循环单元第t-1层的输出向量，vt表示视角词向量， 表示模型需要学习的权重参数矩阵， 表示模型需要学习的权重参数向量；
步骤S42：利用门限控制单元根据注意力得分更新每一层的输出向量et：其中，
其中Wr、Wz、Wg、Ur、Uz、Wx为模型需要学习的权重参数矩阵；通过将上一轮的计算结果et-1与本轮的注意力得分 非线性地结合，将最后一层的输出向量et作为文本情感特征表示。
7.根据权利要求1所述的一种基于外部知识的视角级文本情感分类方法，其特征在于，所述利用分类函数得到最终的情感分类结果具体为：利用softmax分类函数对得到的文本情感特征表示逐一计算，根据设定的阈值得到对应文本表示的情感类别预测值。
8.一种基于权利要求1-7任一项所述的基于外部知识的视角级文本情感分类方法的系统，其特征在于，包括文本预处理模块、文本语义信息获取模块、知识模块、加权注意力机制模块、循环注意力模块以及情感类别输出模块；
所述文本语义信息获取模块用于捕获文本的双向语义依赖关系；
所述知识模块通过动态注意力机制将当前单词与外部知识同义词相结合，并通过引入一个哨兵向量来避免外部知识对模型的误导；
所述加权注意力机制模块通过位置注意力机制来判断每个单词对视角词的贡献程度；
所述循环注意力模块从加权注意力机制模块中选取记忆内容进行计算注意力结果，利用门限循环单元在每个记忆内容的注意力得分计算后更新每一层的情感特征表示，并将最后一层表示作为最终情感特征表示；
所述情感类别输出模块，利用分类函数得到最终的情感分类结果。
9.根据权利要求8所述的一种基于外部知识的视角级文本情感分类系统，其特征在于，在整个模型的训练阶段，利用训练集文本表示进行情感类别的预测并计算其与实际情感标签的误差，利用随机梯度下降法和后向传播对整个系统的参数进行迭代更新；模型训练完成后，对测试集文本表示进行情感类别的预测，并输出预测值。
一种基于外部知识的视角级文本情感分类方法及系统
技术领域
[0001] 本发明涉及文档情感分析和观点挖掘以及机器学习领域，特别是一种基于外部知识的视角级文本情感分类方法及系统。
背景技术
[0002] 视角级文本情感分析旨在研究评论文本关于给定视角词的情感极性，以便能提供比文档级或句子级的情感分析更全面、深入和细粒度的分析，可以广泛地应用于产品定价、竞争情报、股市预测等领域,为人们提供便捷自动化的工具，提升互联网信息的利用率。然而，用户情感表达在不同的视角情况下有不同的表现。如图1，文本中有两个视角词“size”和“space”，该文本对于视角词“size”而言表现出来的情感极性为积极的，而对于视角词“space”而言表现出来的情感极性为消极的。然而以句子为导向的文本情感分析分析安发发无法捕捉到针对视角词的中细粒度情感。为了解决这个问题，研究人员提出了各种视角级文本情感分析的方法。
[0003] 目前视角级文本情感分析研究主要分为基于词典的方法、基于传统机器学习的方法和基于神经网络的学习方法：
[0004] 基于情感词典的视角级文本情感分析方法需要一个人工构建的情感词典，然后使用句法分析树来判断句子在不同视角词下的情感极性。目前有研究人员将句子分块以便句子中的某个视角与各分块对应，然后通过情感词典来判断各分块的情感极性，从而判断句子在不同的视角下的不同情感极性，虽然该方法能够较好的判断文本在不同视角词下的情感极性，但是随着互联网技术的不断发展，词典的更新速度远远不及网络用语等的发展，因此有研究人员通过视角词与文本中的相关信息，自动提取出情感词及相关主题信息，在一定程度上降低了对情感词典的依赖程度。
[0005] 基于传统机器学习的视角级文本情感分析方法通过有监督学习的方法筛选出文本重要的特征，然后利用机器学习的方法来构建多类情感分类器，从而实现文本的自动化分类。研究人员提出一种基于基尼指数的支持向量机(Support Vector Machine，SVM)特征选择方法，该方法通过计算基于基尼系数的属性相关性并相应的分配权重，从而解决TF-IDF降低分类精度的问题。该类方法虽能在视角级文本情感分析领域取得一定的效果，但是需要耗费大量的人力、物力和资源来设计语义和语法特征，极大程度依赖于这些特征，且模型的泛化能力较差。
[0006] 基于神经网络的视角级文本情感分析方法通过融合原始特征以便利用多个隐藏层来生成新的文本表示。研究人员提出一种自适应递归神经网络(Adaptive Recursive Neural Network,AdaRNN)对情感词向特定视角词的自适应传播建模，该过程完全取决于语法依赖树，但是该方法可能会因为是非标准文本而不起作用。研究人员提出利用注意力机制和记忆网络模型来解决上述问题，通过双向长短时记忆网络并结合位置信息来构造记忆块，然后计算多重注意力的结果，最后利用门限控制单元进行非线性的结合来进行视角级文本情感分类，该类方法虽然能够更好地处理复杂的句子，但是对文本中单词在不同语境下可能有不同含义欠缺考虑。
发明内容
[0007] 有鉴于此，本发明的目的是提出一种基于外部知识的视角级文本情感分类方法及系统，能够提高视角级文本情感分类的性能和降低资源的消耗。
[0008] 本发明采用以下方案实现：一种基于外部知识的视角级文本情感分类方法，具体包括以下步骤：
[0009] 对视角级文本进行特征化处理，捕获文本的双向语义依赖关系，得到具有双向语义依赖关系的单词的向量表示；
[0010] 通过动态注意力机制将具有双向语义依赖关系的当前单词向量表示与外部知识同义词的向量表示相结合，并引入哨兵向量避免外部知识对模型的误导，得到与外部知识结合的单词向量表示；
[0011] 通过位置注意力机制来判断每个单词对视角词的贡献程度，并将贡献程度和与外部知识结合的单词向量表示相乘生成记忆内容；
[0012] 通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示；
[0013] 利用分类函数得到最终的情感分类结果。
[0014] 进一步地，所述对视角级文本进行特征化处理具体包括以下步骤：
[0015] 步骤S11：对视角级文本进行分词处理；
[0016] 步骤S12：通过Glove来将文本数据从文本形式转换成向量形式；
[0017] 步骤S13：采用前向长短时记忆网络Forward-LSTM和反向长短时记忆网络Backward-LSTM捕捉文本的双向的语义依赖，得到具有双向语义依赖关系的单词向量表示。
[0018] 进一步地，步骤S13中，t时刻Forward-LSTM或者Backward-LSTM更新过程如下：
[0019]
[0020]
[0021]
[0022]
[0023]
[0024]
[0025] 式中，it、ft、ot、 分别表示t时刻的输入门、遗忘门、输出门和记忆单元的激活向量， 表示候选向量， 表示模型第l层隐藏层的输出向量，Wi、Wf、Wo、Wc、Ui、Uf、Uo、Uc分别表示模型的输入门、遗忘门、输出门和记忆单元在l层关于输入向量和隐藏层向量的模型参数。
[0026] 步骤S13采用两层的BiLSTM堆叠而成，每层BiLSTM均包括Forward-LSTM与Backward-LSTM，将两层的BiLSTM的隐藏层的输出向量作为得到的具有双向语义依赖关系的单词的向量表示：
[0027]
[0028] 式中， 表示第i个单词vi所对应的向量表示，
[0029] 进一步地，通过动态注意力机制将具有双向语义依赖关系的当前单词向量表示与外部知识同义词的向量表示相结合，并引入哨兵向量避免外部知识对模型的误导具体包括以下步骤：
[0030] 步骤S21：通过下式计算哨兵向量st：
[0031]
[0032] 式中，σ表示logistic sigmoid函数，Wb、Ub分别表示要学习的权重参数矩阵，xt表示当前输入的文本内容， 表示上一隐藏状态的输出；
[0033] 步骤S22：通过下式计算同义词向量tk与哨兵向量st的注意权重：
[0034]
[0035]
[0036] 其中，
[0037]
[0038]
[0039] 式中，tkb、skb、bt、bs表示模型需要学习的权重参数向量，Wt、Ws、Wht、Whs表示模型需要学习的权重参数矩阵；
[0040] 步骤S23：通过下式计算结合外部知识的单词向量表示
[0041]
[0042]
[0043] 进一步地，所述通过位置注意力机制来判断每个单词对视角词的贡献程度，并将贡献程度和与外部知识结合的单词向量表示相乘生成记忆内容具体为：
[0044] 步骤S31：将上下文单词与视角词之间的单词数定义为二者的位置距离；将第i个单词对视角词的贡献程度定义为第i个单词的位置权重wi，计算如下式所示，位置权重越大，该单词对视角词的贡献程度越大：
[0045]
[0046] 式中，t表示视角词的位置，tmax表示输入文本的单词总数；
[0047] 步骤S32：通过下式计算融合位置注意力权重的记忆内容mi：
[0048]
[0049] 式中， 为与外部知识结合的单词向量表示。
[0050] 进一步地，所述通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示具体包括以下步骤：
[0051] 步骤S41：计算每个记忆内容mj的注意力得分：
[0052]
[0053] 其中，
[0054]
[0055]
[0056] 式中， 表示本轮的注意力得分，et-1表示门限循环单元第t-1层的输出向量，vt表示视角词向量， 表示模型需要学习的权重参数矩阵， 表示模型需要学习的权重参数向量；
[0057] 步骤S42：利用门限控制单元根据注意力得分更新每一层的输出向量et：
[0058]
[0059] 其中，
[0060]
[0061]
[0062]
[0063] 其中Wr、Wz、Wg、Ur、Uz、Wx为模型需要学习的权重参数矩阵；通过将上一轮的计算结果et-1与本轮的注意力得分 非线性地结合，将最后一层的输出向量et作为文本情感特征表示；
[0064] 进一步地，所述利用分类函数得到最终的情感分类结果具体为：利用softmax分类函数对得到的文本情感特征表示逐一计算，根据设定的阈值得到对应文本表示的情感类别预测值。
[0065] 本发明还提供了一种基于上文所述的基于外部知识的视角级文本情感分类方法的系统，包括文本预处理模块、文本语义信息获取模块、知识模块、加权注意力机制模块、循环注意力模块以及情感类别输出模块；
[0066] 所述文本预处理模块用于视角级文本进行特征化处理；
[0067] 所述文本语义信息获取模块用于捕获文本的双向语义依赖关系；
[0068] 所述知识模块通过动态注意力机制将当前单词与外部知识同义词相结合，并通过引入一个哨兵向量来避免外部知识对模型的误导；
[0069] 所述加权注意力机制模块通过位置注意力机制来判断每个单词对视角词的贡献程度；
[0070] 所述循环注意力模块从加权注意力机制模块中选取记忆内容进行计算注意力结果，利用多层门限控制单元将注意力结果与视角词进行非线性结合构建文本的情感特征表示；利用门限循环单元在每个记忆内容的注意力得分计算后更新每一层的情感特征表示，并将最后一层表示作为最终情感特征表示；
[0071] 所述情感类别输出模块，利用分类函数得到最终的情感分类结果。
[0072] 进一步地，在整个模型的训练阶段，利用训练集文本表示进行情感类别的预测并计算其与实际情感标签的误差，利用随机梯度下降法和后向传播对整个系统的参数进行迭代更新；模型训练完成后，对测试集文本表示进行情感类别的预测，并输出预测值。
[0073] 与现有技术相比，本发明有以下有益效果：本发明能够自动捕获枢轴和非枢轴特征，并通过BiLSTM捕获文本的双向语义依赖，采用分层注意力转移机制，最终识别出目标领域文本的情感类别。本发明能够提高视角级文本情感分类的性能和降低资源的消耗。
附图说明
[0074] 图1为本发明实施例的文本不同视角词的情感极性样例。
[0075] 图2为本发明实施例的系统框架示意图。
具体实施方式
[0076] 下面结合附图及实施例对本发明做进一步说明。
[0077] 应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
[0078] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0079] 如图2所示，本实施例提供了一种基于外部知识的视角级文本情感分类方法，包括以下步骤：
[0080] 对视角级文本进行特征化处理，捕获文本的双向语义依赖关系，得到具有双向语义依赖关系的单词的向量表示；
[0081] 通过动态注意力机制将具有双向语义依赖关系的当前单词向量表示与外部知识同义词的向量表示相结合，并引入哨兵向量避免外部知识对模型的误导，得到与外部知识结合的单词向量表示；
[0082] 通过位置注意力机制来判断每个单词对视角词的贡献程度，并将贡献程度和与外部知识结合的单词向量表示相乘生成记忆内容；
[0083] 通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示；
[0084] 利用分类函数得到最终的情感分类结果。
[0085] 较佳的，在模型的训练阶段，根据信息的前向传播和误差的后向传播将不断地对他们进行调整，逐步优化目标函数。
[0086] 在本实施例中，由于神经网络的输入数据一般为向量，以便模型的端到端训练，因此需要对文本数据进行向量化表示。为了便于数据的处理和分析，所述对视角级文本进行特征化处理具体包括以下步骤：
[0087] 步骤S11：对视角级文本进行分词处理；
[0088] 步骤S12：通过Glove来将文本数据从文本形式转换成向量形式。
[0089] 步骤S13：采用前向长短时记忆网络Forward-LSTM和反向长短时记忆网络Backward-LSTM捕捉文本的双向的语义依赖，得到具有双向语义依赖关系的单词向量表示。
[0090] 进一步地，步骤S13中，t时刻Forward-LSTM或者Backward-LSTM更新过程如下：
[0091]
[0092]
[0093]
[0094]
[0095]
[0096]
[0097] 式中，it、ft、ot、 分别表示t时刻的输入门、遗忘门、输出门和记忆单元的激活向量， 表示候选向量， 表示模型第l层隐藏层的输出向量，Wi、Wf、Wo、Wc、Ui、Uf、Uo、Uc分别表示模型的输入门、遗忘门、输出门和记忆单元在l层关于输入向量和隐藏层向量的模型参数。
[0098] 步骤S13采用两层的BiLSTM堆叠而成，每层BiLSTM均包括Forward-LSTM与Backward-LSTM，将两层的BiLSTM的隐藏层的输出向量作为得到的具有双向语义依赖关系的单词的向量表示：
[0099]
[0100] 式中， 表示第i个单词vi所对应的向量表示，
[0101] 在本实施例中，由于在不同语境下一个单词可能表现出不同的语义信息，特别是当我们专注于一个特定的任务时，例如情感分类。所述通过动态注意力机制将具有双向语义依赖关系的当前单词向量表示与外部知识同义词的向量表示相结合，并引入哨兵向量避免外部知识对模型的误导具体包括以下步骤：
[0102] 步骤S21：通过下式计算哨兵向量st：
[0103]
[0104] 式中，σ表示logistic sigmoid函数，Wb、Ub分别表示要学习的权重参数矩阵，xt表示当前输入的文本内容， 表示上一隐藏状态的输出；
[0105] 步骤S22：通过下式计算同义词向量tk与哨兵向量st的注意权重：
[0106]
[0107]
[0108] 其中，
[0109]
[0110]
[0111] 式中，tkb、skb、bt、bs表示模型需要学习的权重参数向量，Wt、Ws、Wht、Whs表示模型需要学习的权重参数矩阵；
[0112] 步骤S23：通过下式计算结合外部知识的单词向量表示
[0113]
[0114]
[0115] 在本实施例中，所述通过位置注意力机制来判断每个单词对视角词的贡献程度，并将贡献程度和与外部知识结合的单词向量表示相乘生成记忆内容具体为：每个单词对文本的语义含义没有同等的贡献，因此将位置注意力引入到每个单词进行加权。一个上下文单词若更靠近视角词则比远离视角词的上下文单词更加重要，对视角级情感分类起到的作用更大。
[0116] 步骤S31：将上下文单词与视角词之间的单词数定义为二者的位置距离；第i个单词的位置权重wi计算如下式所示，位置权重越大，该单词对视角词的贡献程度越大：
[0117]
[0118] 式中，t表示视角词的位置，tmax表示输入文本的单词总数；
[0119] 步骤S32：通过下式计算融合位置注意力权重的记忆内容mi：
[0120]
[0121] 式中， 为与外部知识结合的单词向量表示。
[0122] 在本实施例中，所述通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示具体包括以下步骤：
[0123] 步骤S41：计算每个记忆内容mj的注意力得分：
[0124]
[0125] 其中，
[0126]
[0127]
[0128] 式中， 表示本轮的注意力得分，et-1表示门限循环单元第t-1层的输出向量，vt表示视角词向量， 表示模型需要学习的权重参数矩阵， 表示模型需要学习的权重参数向量；
[0129] 步骤S42：利用门限控制单元根据注意力得分更新每一层的输出向量et：
[0130]
[0131] 其中，
[0132]
[0133]
[0134]
[0135] 其中Wr、Wz、Wg、Ur、Uz、Wx为模型需要学习的权重参数矩阵；通过将上一轮的计算结果et-1与本轮的注意力得分 非线性地结合，将最后一层的输出向量et作为文本情感特征表示；
[0136] 在本实施例中，所述利用分类函数得到最终的情感分类结果具体为：利用softmax分类函数对得到的文本情感特征表示逐一计算，根据设定的阈值得到对应文本表示的情感类别预测值。
[0137] 本实施例还提供了一种基于上文所述的基于外部知识的视角级文本情感分类方法的系统，包括文本预处理模块、文本语义信息获取模块、知识模块、加权注意力机制模块、循环注意力模块以及情感类别输出模块；
[0138] 所述文本预处理模块用于视角级文本进行特征化处理；
[0139] 所述文本语义信息获取模块用于捕获文本的双向语义依赖关系；
[0140] 所述知识模块通过动态注意力机制将当前单词与外部知识同义词相结合，并通过引入一个哨兵向量来避免外部知识对模型的误导；
[0141] 所述加权注意力机制模块通过位置注意力机制来判断每个单词对视角词的贡献程度；
[0142] 所述循环注意力模块从加权注意力机制模块中选取记忆内容进行计算注意力结果，利用多层门限控制单元将注意力结果与视角词进行非线性结合构建文本的情感特征表示；利用门限循环单元在每个记忆内容的注意力得分计算后更新每一层的情感特征表示，并将最后一层表示作为最终情感特征表示；
[0143] 所述情感类别输出模块，利用分类函数得到最终的情感分类结果。
[0144] 在本实施例中，在整个模型的训练阶段，利用训练集文本表示进行情感类别的预测并计算其与实际情感标签的误差，利用随机梯度下降法和后向传播对整个系统的参数进行迭代更新；模型训练完成后，对测试集文本表示进行情感类别的预测，并输出预测值。
[0145] 以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
