基于深度学习的问询信息识别方法、装置及存储介质

摘要

本申请涉及一种基于深度学习的问询信息识别方法、装置及存储介质。所述方法包括：获取待识别问询信息；待识别问询信息中包含至少一个提问词；获取提问词的词向量；获取词向量在待识别问询信息中的影响系数；根据影响系数对词向量进行加权整合，得到目标词向量；从待识别问询信息中提取出用于对有效性识别结果进行评价的有效性评价特征；结合目标词向量和有效性评价特征对待识别问询信息进行有效性分类，输出待识别问询信息的有效性识别结果。上述方案，基于深度学习融合词向量以及有效性评价特征，以对待识别问询信息进行有效性分类，能得到准确的有效性识别结果。

权利要求

1.一种基于深度学习的问询信息识别方法，其特征在于，所述方法包括：获取待识别问询信息；所述待识别问询信息中包含至少一个提问词；所述提问词为对待识别问询信息进行分词处理后的字词；

获取所述提问词的词向量；

获取所述词向量在所述待识别问询信息中的影响系数；

根据所述影响系数对所述词向量进行加权整合，得到目标词向量；

从所述待识别问询信息中提取出用于对有效性识别结果进行评价的有效性评价特征；

结合所述目标词向量和所述有效性评价特征对所述待识别问询信息进行有效性分类，输出所述待识别问询信息的有效性识别结果。

2.根据权利要求1所述的方法，其特征在于，所述获取所述提问词的词向量；获取所述词向量在所述待识别问询信息中的影响系数；根据所述影响系数对所述词向量进行加权整合，得到目标词向量，包括：将所述待识别问询信息输入预先训练的词向量处理模型；

所述词向量处理模型获取所述词向量；获取所述影响系数；根据所述影响系数对所述词向量进行加权整合，得到所述目标词向量。

3.根据权利要求2所述的方法，其特征在于，所述从所述待识别问询信息中提取出用于对有效性识别结果进行评价的有效性评价特征，包括：将所述待识别问询信息输入预先训练的评价特征处理模型；

所述评价特征处理模型从所述待识别问询信息中提取出所述有效性评价特征。

4.根据权利要求3所述的方法，其特征在于，所述从所述待识别问询信息中提取出用于对有效性识别结果进行评价的有效性评价特征，还包括：将所述待识别问询信息输入预先训练的评价特征处理模型；

所述评价特征处理模型从所述待识别问询信息中提取出用于对有效性识别结果进行评价的初始评价特征，并通过第一全连接层对所述初始评价特征进行分类，得到所述有效性评价特征。

5.根据权利要求3所述的方法，其特征在于，所述结合所述目标词向量和所述有效性评价特征对所述待识别问询信息进行有效性分类，输出所述待识别问询信息的有效性识别结果，包括：将所述目标词向量和所述有效性评价特征输入预先训练的有效性识别模型；

所述有效性识别模型将所述目标词向量和所述有效性评价特征进行拼接，根据拼接后的所述目标词向量和所述有效性评价特征对所述待识别问询信息进行有效性分类，输出所述待识别问询信息的有效性识别结果。

6.根据权利要求5所述的方法，其特征在于，所述词向量处理模型、所述评价特征处理模型和所述有效性识别模型的训练，包括以下步骤：从预先构建的问询信息样本库中获取预先标记的问询信息正样本和问询信息负样本；

将所述问询信息正样本以及所述问询信息负样本输入到词向量处理模型中得到词向量处理结果；

将所述问询信息正样本以及所述问询信息负样本输入到评价特征处理模型中，得到特征处理结果；

将所述词向量处理结果和所述特征处理结果输入到有效性识别模型中；

按照反向传播算法迭代调整所述词向量处理模型、所述评价特征处理模型和所述有效性识别模型的网络参数；

根据迭代调整后的网络参数分别得到已训练的所述词向量处理模型、已训练的所述评价特征处理模型和已训练的所述有效性识别模型。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述获取所述词向量在所述待识别问询信息中的影响系数；根据所述影响系数对所述词向量进行加权整合，得到目标词向量，包括：通过注意力网络识别所述词向量中的关键特征词向量和非关键特征词向量，根据所述关键特征词向量和所述非关键特征词向量在所述待识别问询信息中的有效性评价权重得到所述影响系数，根据所述影响系数对所述词向量进行加权整合，得到所述目标词向量。

8.根据权利要求7所述的方法，其特征在于，所述通过注意力网络识别所述词向量中的关键特征词向量和非关键特征词向量，包括：根据所述词向量构建第一词向量序列；

将所述第一词向量序列输入至双向长短期记忆网络，以通过所述双向长短期记忆网络分别根据所述提问词之间的正向依赖关系和反向依赖关系对所述第一词向量序列进行整合，得到正向词向量序列和反向词向量序列；

对所述正向词向量序列和所述反向词向量序列进行向量序列拼接，得到第二词向量序列；

通过所述注意力网络识别所述第二词向量序列中的关键特征词向量和非关键特征词向量。

9.根据权利要求8所述的方法，其特征在于，在所述将所述第一词向量序列输入至双向长短期记忆网络之前，还包括：获取参考词向量序列的序列长度；所述参考词向量序列为预先构建的问询信息样本库中的问询信息样本所对应的词向量序列；

将所述序列长度乘以设定的比例系数，得到参考长度；

以所述参考长度为标准对所述第一词向量序列进行长度调整。

10.根据权利要求1至6任一项所述的方法，其特征在于，所述从所述待识别问询信息中提取出用于对有效性识别结果进行评价的有效性评价特征，包括：通过情感识别工具对所述待识别问询信息中的词语和/或句子进行情感识别；

将情感识别得到的问询情感特征确定为所述有效性评价特征。

11.根据权利要求1至6任一项所述的方法，其特征在于，所述从所述待识别问询信息中提取出用于对有效性识别结果进行评价的有效性评价特征，包括：获取所述待识别问询信息的分词处理结果，根据所述分词处理结果确定分词统计特征；所述分词统计特征包括以下至少一项：词性统计特征、主客体统计特征、总词语数、去重词数和标点符号数；

获取所述待识别问询信息的构造数据统计特征；所述构造数据统计特征包括以下至少一项：句子长度、字数、全角符号个数、半角符号个数、错别字个数、繁体字个数、简体字个数和数字个数；

根据所述分词统计特征和所述构造数据统计特征得到所述有效性评价特征。

12.根据权利要求1至6任一项所述的方法，其特征在于，所述结合所述目标词向量和所述有效性评价特征对所述待识别问询信息进行有效性分类，包括：对所述有效性评价特征进行向量化以及归一化处理，得到评价特征向量；

结合所述目标词向量和所述评价特征向量对所述待识别问询信息进行有效性分类。

13.一种基于深度学习的问询信息识别装置，其特征在于，所述装置包括：问询信息获取模块，用于获取待识别问询信息；所述待识别问询信息中包含至少一个提问词；所述提问词为对待识别问询信息进行分词处理后的字词；

词向量获取模块，用于获取所述提问词的词向量；

影响系数确定模块，用于获取所述词向量在所述待识别问询信息中的影响系数；

词向量确定模块，用于根据所述影响系数对所述词向量进行加权整合，得到目标词向量；

评价特征提取模块，用于从所述待识别问询信息中提取出用于对有效性识别结果进行评价的有效性评价特征；

有效性识别模块，用于结合所述目标词向量和所述有效性评价特征对所述待识别问询信息进行有效性分类，输出所述待识别问询信息的有效性识别结果。

14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述方法的步骤。

15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述方法的步骤。

说明书

基于深度学习的问询信息识别方法、装置及存储介质

技术领域

[0001] 本申请涉及网络技术领域，特别是涉及一种基于深度学习的问询信息识别方法、装置、计算机设备和存储介质。

背景技术

[0002] 在社区运营、客户咨询等服务中，QA（常见问题及解答）作为用户之间互动沟通的重要方式，带来了大量有价值的信息，给用户带来了诸多便利。用户提问所受约束较小，随意组织的问询信息会导致其他人无法准确地理解所问询的问题，不仅浪费其他人的时间，而且很难帮助到问询者，甚至会引起不适。因此，识别有效的、高质量的问询信息就显得很有价值。

[0003] 目前，存在一些通过深度学习模型来识别问询信息是否有效的方法，但是这些方法中的模型架构较为简单，导致无法准确地识别有效问询信息。

[0004] 需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

[0005] 基于此，有必要针对上述技术问题，提供一种能够准确地识别有效问询信息的基于深度学习的问询信息识别方法、装置、计算机设备和存储介质。

[0006] 一种基于深度学习的问询信息识别方法，所述方法包括：获取待识别问询信息；所述待识别问询信息中包含至少一个提问词；获取所述提问词的词向量；获取所述词向量在所述待识别问询信息中的影响系数；根据所述影响系数对所述词向量进行加权整合，得到目标词向量；从所述待识别问询信息中提取出用于对有效性识别结果进行评价的有效性评价特征；结合所述目标词向量和所述有效性评价特征对所述待识别问询信息进行有效性分类，输出所述待识别问询信息的有效性识别结果。

[0007] 在一个实施例中，所述结合所述目标词向量和所述评价特征向量对所述待识别问询信息进行有效性分类，包括：对所述目标词向量和所述评价特征向量进行向量拼接，得到目标向量；由预先训练的提问分类模型根据所述目标向量对所述待识别问询信息进行有效性分类；所述提问分类模型使用二分类交叉熵损失函数训练得到。

[0008] 在一个实施例中，所述获取所述提问词的词向量，包括：对所述待识别问询信息进行以下至少一项清洗处理：繁简转换、标点符号转换、空白字符剔除和错别字纠正；对经过清洗处理的所述待识别问询信息进行分词处理，根据分词处理结果得到所述提问词；根据预训练的词向量转换模型对所述提问词进行向量转换，得到所述提问词对应的词向量。

[0009] 一种基于深度学习的问询信息识别装置，所述装置包括：问询信息获取模块，用于获取待识别问询信息；所述待识别问询信息中包含至少一个提问词；词向量获取模块，用于获取所述提问词的词向量；影响系数确定模块，用于获取所述词向量在所述待识别问询信息中的影响系数；词向量确定模块，用于根据所述影响系数对所述词向量进行加权整合，得到目标词向量；评价特征提取模块，用于从所述待识别问询信息中提取出用于对有效性识别结果进行评价的有效性评价特征；有效性识别模块，用于结合所述目标词向量和所述有效性评价特征对所述待识别问询信息进行有效性分类，输出所述待识别问询信息的有效性识别结果。

[0010] 在一个实施例中，所述装置包括：词向量处理模型输入模块，用于将所述待识别问询信息输入预先训练的词向量处理模型；所述词向量处理模型获取所述词向量；获取所述影响系数；根据所述影响系数对所述词向量进行加权整合，得到所述目标词向量。

[0011] 在一个实施例中，所述装置包括：特征处理模型输入模块，用于将所述待识别问询信息输入预先训练的评价特征处理模型；所述评价特征处理模型从所述待识别问询信息中提取出所述有效性评价特征。

[0012] 在一个实施例中，所述特征处理模型输入模块，还用于将所述待识别问询信息输入预先训练的评价特征处理模型；所述评价特征处理模型从所述待识别问询信息中提取出用于对有效性识别结果进行评价的初始评价特征，并通过第一全连接层对所述初始评价特征进行分类，得到所述有效性评价特征。

[0013] 在一个实施例中，所述装置包括：有效性识别模型输入模块，用于将所述目标词向量和所述有效性评价特征输入预先训练的有效性识别模型；所述有效性识别模型将所述目标词向量和所述有效性评价特征进行拼接，根据拼接后的所述目标词向量和所述有效性评价特征对所述待识别问询信息进行有效性分类，输出所述待识别问询信息的有效性识别结果。

[0014] 在一个实施例中，所述词向量处理模型、所述评价特征处理模型和所述有效性识别模型通过以下模块进行训练：样本获取模块，用于从预先构建的问询信息样本库中获取预先标记的问询信息正样本和问询信息负样本；第一样本输入模块，用于将所述问询信息正样本以及所述问询信息负样本输入到词向量处理模型中得到词向量处理结果；第二样本输入模块，用于将所述问询信息正样本以及所述问询信息负样本输入到评价特征处理模型中，得到特征处理结果；处理结果输入模块，用于将所述词向量处理结果和所述特征处理结果输入到有效性识别模型中；参数迭代模块，用于按照反向传播算法迭代调整所述词向量处理模型、所述评价特征处理模型和所述有效性识别模型的网络参数；模型获取模块，用于根据迭代调整后的网络参数分别得到已训练的所述词向量处理模型、已训练的所述评价特征处理模型和已训练的所述有效性识别模型。

[0015] 在一个实施例中，所述装置还包括：词向量处理模块，用于通过注意力网络识别所述词向量中的关键特征词向量和非关键特征词向量，根据所述关键特征词向量和所述非关键特征词向量在所述待识别问询信息中的有效性评价权重得到所述影响系数，根据所述影响系数对所述词向量进行加权整合，得到所述目标词向量。

[0016] 在一个实施例中，词向量处理模块，包括：序列构建子模块，用于根据所述词向量构建第一词向量序列；序列输入子模块，用于将所述第一词向量序列输入至双向长短期记忆网络，以通过所述双向长短期记忆网络分别根据所述提问词之间的正向依赖关系和反向依赖关系对所述第一词向量序列进行整合，得到正向词向量序列和反向词向量序列；序列拼接子模块，用于对所述正向词向量序列和所述反向词向量序列进行向量序列拼接，得到第二词向量序列；特征向量识别子模块，用于通过所述注意力网络识别所述第二词向量序列中的关键特征词向量和非关键特征词向量。

[0017] 在一个实施例中，词向量处理模块，还包括：序列长度确定子模块，用于获取参考词向量序列的序列长度；所述参考词向量序列为预先构建的问询信息样本库中的问询信息样本所对应的词向量序列；参考长度确定子模块， 用于将所述序列长度乘以设定的比例系数，得到参考长度；序列长度处理子模块，用于以所述参考长度为标准对所述第一词向量序列进行长度调整。

[0018] 在一个实施例中，评价特征提取模块，包括：情感识别子模块，用于通过情感识别工具对所述待识别问询信息中的词语和/或句子进行情感识别；第一特征确定子模块，用于将情感识别得到的问询情感特征确定为所述有效性评价特征。

[0019] 在一个实施例中，评价特征提取模块，还包括：分词特征确定子模块，用于获取所述待识别问询信息的分词处理结果，根据所述分词处理结果确定分词统计特征；所述分词统计特征包括以下至少一项：词性统计特征、主客体统计特征、总词语数、去重词数和标点符号数；构造数据特征确定子模块，用于获取所述待识别问询信息的构造数据统计特征；所述构造数据统计特征包括以下至少一项：句子长度、字数、全角符号个数、半角符号个数、错别字个数、繁体字个数、简体字个数和数字个数；第二特征确定子模块，用于根据所述分词统计特征和所述构造数据统计特征得到所述有效性评价特征。

[0020] 在一个实施例中，有效性识别模块，包括：向量归一化子模块， 用于对所述有效性评价特征进行向量化以及归一化处理，得到评价特征向量；有效性分类子模块，用于结合所述目标词向量和所述评价特征向量对所述待识别问询信息进行有效性分类。

[0021] 在一个实施例中，有效性分类子模块，包括：向量拼接单元，用于对所述目标词向量和所述评价特征向量进行向量拼接，得到目标向量；有效性分类单元，用于由预先训练的提问分类模型根据所述目标向量对所述待识别问询信息进行有效性分类；所述提问分类模型使用二分类交叉熵损失函数训练得到。

[0022] 在一个实施例中，词向量获取模块，包括：清洗处理子模块，用于对所述待识别问询信息进行以下至少一项清洗处理：繁简转换、标点符号转换、空白字符剔除和错别字纠正；分词处理子模块，用于对经过清洗处理的所述待识别问询信息进行分词处理，根据分词处理结果得到所述提问词；向量转换子模块，用于根据预训练的词向量转换模型对所述提问词进行向量转换，得到所述提问词对应的词向量。

[0023] 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取待识别问询信息；所述待识别问询信息中包含至少一个提问词；获取所述提问词的词向量；获取所述词向量在所述待识别问询信息中的影响系数；根据所述影响系数对所述词向量进行加权整合，得到目标词向量；从所述待识别问询信息中提取出用于对有效性识别结果进行评价的有效性评价特征；结合所述目标词向量和所述有效性评价特征对所述待识别问询信息进行有效性分类，输出所述待识别问询信息的有效性识别结果。

[0024] 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取待识别问询信息；所述待识别问询信息中包含至少一个提问词；获取所述提问词的词向量；获取所述词向量在所述待识别问询信息中的影响系数；根据所述影响系数对所述词向量进行加权整合，得到目标词向量；从所述待识别问询信息中提取出用于对有效性识别结果进行评价的有效性评价特征；结合所述目标词向量和所述有效性评价特征对所述待识别问询信息进行有效性分类，输出所述待识别问询信息的有效性识别结果。

[0025] 上述基于深度学习的问询信息识别方法、装置、计算机设备和存储介质，一方面，确定提问词对应的词向量，并根据影响系数对词向量进行加权整合，得到目标词向量，另一方面，从待识别问询信息中提取有效性评价特征，之后结合目标词向量和有效性评价特征来对待识别问询信息进行有效性分类，得到待识别问询信息的有效性识别结果。上述技术方案融合词向量以及有效性评价特征来对待识别问询信息进行有效性分类，能得到准确的有效性识别结果。

附图说明

[0026] 图1为一个实施例中基于深度学习的问询信息识别方法的应用环境图；

[0027] 图2为一个实施例中基于深度学习的问询信息识别方法的流程示意图；

[0028] 图3为一个实施例中模型的连接关系图；

[0029] 图4为一个实施例中根据待识别问询信息得到目标词向量的流程示意图；

[0030] 图5为一个实施例中的界面显示示意图；

[0031] 图6为另一个实施例中的界面显示示意图；

[0032] 图7为再一个实施例中的界面显示示意图；

[0033] 图8为一个实施例中提问识别模型的结构框图；

[0034] 图9为另一个实施例中基于深度学习的问询信息识别方法的流程示意图；

[0035] 图10为一个实施例中基于深度学习的问询信息识别装置的结构框图。

具体实施方式

[0036] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

[0037] 本申请提供的基于深度学习的问询信息识别方法，可以基于自然语言处理技术实现。其中，自然语言处理（Nature Language processing，NLP）是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。进一步的，本申请提供的基于深度学习的问询信息识别方法基于自然语言处理技术对待识别问询信息进行分析，进而得到有效性识别结果，可以应用于社区问答、QA工单、产品咨询等需要对问询信息进行识别的业务场景。

[0038] 进一步的，对问询信息进行有效性识别还可以基于机器学习实现。其中，机器学习（Machine Learning，ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。具体的，本申请提供的基于深度学习的问询信息识别方法可以结合神经网络模型等来识别问询信息，进而得到有效性识别结果。

[0039] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种基于深度学习的问询信息识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏。该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等，输入装置可以接收用户输入的问询信息。

[0040] 本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0041] 在一个实施例中，如图2所示，提供了一种基于深度学习的问询信息识别方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

[0042] 本实施例中，该方法包括以下步骤：

[0043] S201，获取待识别问询信息；所述待识别问询信息中包含至少一个提问词。

[0044] 其中，问询信息可以是用户在社区问答、QA工单、产品咨询等业务场景下提出的问题，因此可以将问询信息简称为提问。但是，受限于可编辑长度、用户习惯、用户意愿等原因，提问通常只有一句话，也就是通常所说的短文本，这就给识别有效提问带来了很大挑战。

[0045] 以下是两个提问的示例：

[0046] 1、新闻APP bug

[0047] 2、新闻APP首次进入被隐私协议挡住无法退出，是bug吗

[0048] 上述两个提问示例中，示例1简单，所含的信息量少，看到这个提问的用户无法准确理解其所要表达的含义，因此可以认为示例1是无效提问。如果直接将示例1这样的提问显示在社区问答、QA工单、产品咨询等业务场景中，则会影响这些业务场景中业务的有序进行，因此，为准确地对提问进行答复，往往要求提问有效，有效的提问应该具备理性、准确、有价值等特点，从而能够让其他用户更加准确地、高效地提供解答和帮助。进一步的，有必要对问询信息有效性进行准确识别。

[0049] 本发明实施例对问询信息的有效性进行识别，等待识别的问询信息称之为待识别问询信息。待识别问询信息可以是由字词构成的提问问句，可以是单个字，也可以是由多个词语构成的句子。进一步的，提问词指的是待识别问询信息中所包含的字词，以上述“新闻APP bug”为例，提问词可以为“新闻”、“APP”以及“bug”。更进一步的，可以对待识别问询信息进行分词处理，分词出来的字词就可以作为提问词。

[0050] 另外，用户可以在提问界面的输入框中输入问询信息。此时终端可以通过输入框获取到问询信息，将其作为待识别问询信息。还可以进一步提取待识别问询信息中所包含的提问词。

[0051] S202，获取所述提问词的词向量。

[0052] 其中，词向量可以指词语特征向量（Word Embedding），是一种向量化表示词语的方法，可以根据词语的上下文信息，采用深度神经网络模型，如Word2Vec、Glove、Fast Text等，学习得到词语特征向量。

[0053] S203，获取所述词向量在所述待识别问询信息中的影响系数。

[0054] 待识别问询信息是否有效需要考虑许多因素，而本步骤中考虑到了词向量在待识别问询信息中的影响系数，即，将词向量对待识别问询信息是否有效的影响程度确定为影响系数。进一步的，影响系数可以是词向量对待识别问询信息是否有效的有效性评价权重，举例说明如下：当词向量S1的有效性评价权重大时，词向量S1对待识别问询信息是否有效起到较为关键的作用，而当词向量S2的有效性评价权重小时，词向量S2对待识别问询信息是否有效起到没那么关键的作用。

[0055] 词向量是对提问词进行简单向量转换得到的，其中可能并不包含对句子整体含义的影响。实际上，问询信息是否有效往往取决于能否准确获取出问询信息的含义，因此有必要考虑各个提问词对句子整体含义的影响。在一个句子中，有些词会对句子含义起到关键作用，而有些词则不会起到明显作用，因此，为了对待识别问询信息进行准确识别，本发明实施例考虑各个提问词对句子整体含义（对应有效性识别结果，有效性识别结果指的是待识别问询信息是否有效的最终确定结果，可以是“有效提问”、“无效提问”等）的影响程度，即考虑影响系数。进一步的，起到关键作用的提问词所对应的影响系数可以是一个较大的值，而并未起到关键作用的提问词所对应的影响系数可以是一个较小的值。

[0056] S204，根据所述影响系数对所述词向量进行加权整合，得到目标词向量。

[0057] 本步骤根据影响系数对词向量进行加权整合，得到目标词向量。进一步的，可以是根据影响系数对各个词向量进行加权求和运算。具体的，将各个词向量的各个元素分别乘以对应的影响系数，并将经过上述运算的各个词向量进行叠加，叠加得到的向量即为目标词向量。

[0058] S205，从所述待识别问询信息中提取出用于对有效性识别结果进行评价的有效性评价特征。

[0059] 对有效性识别结果进行评价的特征可以是会影响有效性识别结果的各种特征，例如待识别问询信息在句子结构、情感倾向等方面对应的特征。其中，句子结构可以是句子字数、标点符号、输入格式、提问词词性等；情感倾向可以是情绪、主观意愿等，例如：激动、开心、伤心、生气、紧张等。可以直接将这些信息确定为有效性评价特征，也可以对这些信息进行整合（例如：数量统计、等级评估等）并将整合得到的信息确定为有效性评价特征。以句子结构为例，有效性评价特征可以为长度较长、形容词较多等；以情感倾向为例，有效性评价特征可以为积极、中立、消极等。

[0060] S206，结合所述目标词向量和所述有效性评价特征对所述待识别问询信息进行有效性分类，输出所述待识别问询信息的有效性识别结果。

[0061] 目标词向量和有效性评价特征对最终的有效性识别结果都有影响，因此，本步骤将两者结合起来，进而对待识别问询信息进行有效性分类，根据有效性分类的结果得到待识别问询信息的有效性识别结果。

[0062] 进一步的，若待识别问询信息的有效性分类结果为“无效”，则可以将有效性识别结果确定为“无效提问”；若待识别问询信息的有效性分类结果为“有效”，则可以将有效性识别结果确定为“有效提问”。

[0063] 上述基于深度学习的问询信息识别方法中，一方面，确定提问词对应的词向量，并根据影响系数对词向量进行加权整合，得到目标词向量，另一方面，从待识别问询信息中提取有效性评价特征，之后结合目标词向量和有效性评价特征来对待识别问询信息进行有效性分类，得到待识别问询信息的有效性识别结果。上述技术方案融合词向量以及有效性评价特征来对待识别问询信息进行有效性分类，能得到准确的有效性识别结果。

[0064] 在一个实施例中，所述获取所述提问词的词向量；获取所述词向量在所述待识别问询信息中的影响系数；根据所述影响系数对所述词向量进行加权整合，得到目标词向量，包括：将所述待识别问询信息输入预先训练的词向量处理模型；所述词向量处理模型获取所述词向量；获取所述影响系数；根据所述影响系数对所述词向量进行加权整合，得到所述目标词向量。

[0065] 其中，词向量处理模型可以是深度学习模型。

[0066] 经过训练的词向量处理模型能够对输入的问询信息中的词语进行词向量转化，并根据影响系数对转化得到的词向量进行加权整合，得到目标词向量。这个目标词向量携带了提问词对有效性识别结果的影响程度，可以据此准确地对待识别问询信息的有效性进行识别。

[0067] 在一个实施例中，也可以将预先得到的词向量输入至词向量处理模型中，词向量处理模型根据影响系数整合词向量，进而得到目标词向量。这样的处理方式能减少词向量处理模型的计算压力，提高问询信息识别的效率。

[0068] 在一个实施例中，所述从所述待识别问询信息中提取出用于对有效性识别结果进行评价的有效性评价特征，包括：将所述待识别问询信息输入预先训练的评价特征处理模型；所述评价特征处理模型从所述待识别问询信息中提取出所述有效性评价特征。

[0069] 其中，评价特征处理模型可以是深度学习模型。经过训练的评价特征处理模型能够对输入的问询信息进行特征分析进而从中准确提取出有效性评价特征。

[0070] 上述实施例，评价特征处理模型经过预先训练，能够准确地从待识别问询信息中提取出有效性评价特征，以便后续准确地对待识别问询信息的有效性进行识别。

[0071] 在一个实施例中，所述从所述待识别问询信息中提取出用于对有效性识别结果进行评价的有效性评价特征，还包括：将所述待识别问询信息输入预先训练的评价特征处理模型；所述评价特征处理模型从所述待识别问询信息中提取出用于对有效性识别结果进行评价的初始评价特征，并通过第一全连接层对所述初始评价特征进行分类，得到所述有效性评价特征。

[0072] 其中，初始评价特征可以是待识别问询信息在句子结构、情感倾向等方面的特征。通过第一全连接层对初始评价特征进行分类得到的有效性评价特征同样能够用于对有效性识别结果进行评价，同时有效性评价特征是对初始评价特征进行组合后得到的，能更准确地对有效性识别结果进行评价。

[0073] 进一步的，评价特征处理模型中包含第一全连接层，在获取到初始评价特征后，通过第一全连接层对初始评价特征进行特征整合和分类，进而得到有效性评价特征。经过全连接层对初始评价特征进行各种组合能得到更强的特征表达，使得有效性评价特征能更准确地对待识别问询信息进行评价，进而输出准确的有效性识别结果。

[0074] 在一个实施例中，所述结合所述目标词向量和所述有效性评价特征对所述待识别问询信息进行有效性分类，输出所述待识别问询信息的有效性识别结果，包括：将所述目标词向量和所述有效性评价特征输入预先训练的有效性识别模型；所述有效性识别模型将所述目标词向量和所述有效性评价特征进行拼接，根据拼接后的所述目标词向量和所述有效性评价特征对所述待识别问询信息进行有效性分类，输出所述待识别问询信息的有效性识别结果。

[0075] 其中，有效性识别模型可以是深度学习模型。经过训练的有效性识别模型能够对输入的目标词向量和有效性评价特征进行融合分析和分类，并根据分类结果准确输出待识别问询信息的有效性识别结果。

[0076] 进一步的，有效性识别模型将目标词向量和有效性评价特征进行拼接，即，将两者进行整合，得到目标向量，并通过整合后的目标向量来进行有效性分类，将其确定为有效或者无效。

[0077] 上述实施例，既考虑了词向量序列也考虑了有效性评价特征，所参考的信息全面，使得最终得到的有效性识别结果具有较高的准确性。

[0078] 进一步的，词向量处理模型、评价特征处理模型以及有效性识别模型可以组合为一个大的提问识别模型，用于对输入的待识别问询信息进行分析，进而输出对待识别问询信息的有效性识别结果。图3为一个实施例中模型的连接关系图，图3示出了词向量处理模型、评价特征处理模型以及有效性识别模型的连接关系。待识别问询信息输入到词向量处理模型中得到目标词向量，待识别问询信息输入到评价特征处理模型中得到有效性评价特征，之后，将这两个模型的输出一起输入到有效性识别模型中，进而得到对待识别问询信息的有效性识别结果。多个模型结合在一起实现问询信息的分类，考虑到了多方面的影响因素，使得最终得到的有效性识别结果具有较高的准确性。

[0079] 在一个实施例中，所述词向量处理模型、所述评价特征处理模型和所述有效性识别模型的训练，包括以下步骤：从预先构建的问询信息样本库中获取预先标记的问询信息正样本和问询信息负样本；将所述问询信息正样本以及所述问询信息负样本输入到词向量处理模型中得到词向量处理结果；将所述问询信息正样本以及所述问询信息负样本输入到评价特征处理模型中，得到特征处理结果；将所述词向量处理结果和所述特征处理结果输入到有效性识别模型中；按照反向传播算法迭代调整所述词向量处理模型、所述评价特征处理模型和所述有效性识别模型的网络参数；根据迭代调整后的网络参数分别得到已训练的所述词向量处理模型、已训练的所述评价特征处理模型和已训练的所述有效性识别模型。

[0080] 社区问答、QA工单、产品咨询等业务场景拥有海量的用户咨询数据，用户问询信息（提问的内容）通常只有一句话，运营人员可以根据问询信息，快速地对提问进行标注。将那些理性、准确、有价值的提问标记为问询信息正样本（可以简称为正样本），将那些缺少信息、内容不明确的提问作为问询信息负样本（可以简称为负样本），将问询信息正样本和问询信息负样本整合在一起就可以得到问询信息样本库，以此训练提问识别模型，用于识别一个问询信息是否为有效的问询信息。

[0081] 本实施例通过问询信息正样本和问询信息负样本对词向量处理模型、评价特征处理模型和有效性识别模型进行联合训练。在进行模型训练的过程中，将正负样本分别输入到词向量处理模型和评价特征处理模型后，这两个模型将处理结果输入到有效性识别模型，有效性识别模型得到有效性识别结果。此时可以将模型输出的有效性识别结果与实际的问询信息有效性进行比对，进而根据比对结果对整个提问识别模型进行反向传播学习，同时调整这些模型的网络参数。进一步的，迭代调整的次数可以根据实际情况确定，当相邻两次的网络参数差别足够小时可以认为完成提问识别模型的训练。

[0082] 上述实施例通过预先标记的问询信息正负样本来训练词向量处理模型、评价特征处理模型和有效性识别模型，训练后的这三个模型可以作为一个整体用于对待识别问询信息进行识别，在获取到待识别问询信息时直接将其输入到已训练的词向量处理模型和已训练的评价特征处理模型就可以通过已训练的有效性识别模型输出有效性识别结果，能有效提高问询信息的识别效率。

[0083] 在一个实施例中，所述获取所述词向量在所述待识别问询信息中的影响系数；根据所述影响系数对所述词向量进行加权整合，得到目标词向量，包括：通过注意力网络识别所述词向量中的关键特征词向量和非关键特征词向量，根据所述关键特征词向量和所述非关键特征词向量在所述待识别问询信息中的有效性评价权重得到所述影响系数，根据所述影响系数对所述词向量进行加权整合，得到所述目标词向量。

[0084] 注意力网络是基于注意力机制构建的网络。其中，注意力机制（Attention Mechanism）是一种自适应地提取样本关键特征的方法，随着样本的改变，特征的权重会相应改变。

[0085] 进一步的，本实施例通过注意力网络对词向量进行区分处理，将其中词向量分类为关键特征词向量或者非关键特征词向量，并分别为其确定一个影响系数。

[0086] 其中，可以将关键特征词向量的有效性评价权重确定为一个较高的值，将非关键特征词向量的有效性评价权重确定为一个较低的值。这个有效性评价权重可以归一化为[0，1]范围内的值。进一步的，可以直接将有效性评价权重作为影响系数，也可以是对有效性评价权重进行一定的运算（例如：将有效性评价权重乘以一定的系数）之后将运算结果作为影响系数。

[0087] 通过这种处理方式得到的目标词向量携带有各个词向量对应的影响系数，可以使得后续的有效性识别模型更多地关注关键特征词向量，这样的处理方式，一方面可以提高计算效率，另一方面，可以基于这些关键特征词向量准确地识别出待识别问询信息是否有效。

[0088] 在一个实施例中，在提取关键特征词向量和非关键特征词向量之前，可以通过双向长短期记忆网络（在某些实施例中，也可以直接使用长短期记忆网络）对词向量进行整合，以融合待识别问询信息中的上下文信息。进一步的，所述通过注意力网络识别所述词向量中的关键特征词向量和非关键特征词向量，包括：根据所述词向量构建第一词向量序列；将所述第一词向量序列输入至双向长短期记忆网络，以通过所述双向长短期记忆网络分别根据所述提问词之间的正向依赖关系和反向依赖关系对所述第一词向量序列进行整合，得到正向词向量序列和反向词向量序列；对所述正向词向量序列和所述反向词向量序列进行向量序列拼接，得到第二词向量序列；通过所述注意力网络识别所述第二词向量序列中的关键特征词向量和非关键特征词向量。

[0089] 进一步的，在提问词不止一个时，可以分别得到这些词的词向量，将这些词向量进行序列排布，就可以得到第一词向量序列。当提问词只有一个时，可以直接将该提问词的词向量作为第一词向量序列。

[0090] 双向长短期记忆网络（双向LSTM）：包含2个LSTM（Long Short Term Memory，长短期记忆网络），1个用来学习序列结构数据的正向依赖关系，1个用来学习序列结构数据的反向依赖关系。其中，长短期记忆网络是一种时间循环神经网络（RNN），可以学习序列结构数据之间的依赖关系，较好地反映数据上下文信息。

[0091] 上述实施例在进行关键特征词向量提取之前，通过双向LSTM来对词向量序列进行处理，处理后得到的第二词向量序列充分考虑到了待识别问询信息的上下文信息，以结合这些上下文信息准确得到有效性识别结果。

[0092] 进一步的，上述实施例中，注意力网络从双向LSTM输出的第二词向量序列中提取关键特征词向量和非关键特征词向量，使得所提取的关键特征词向量能充分融合待识别问询信息的上下文信息，使得最终得到的有效性识别结果具有较高的准确性。

[0093] 在一个实施例中，如图4所示，根据待识别问询信息得到目标词向量的过程可以如下：

[0094] 对待识别问询信息进行分词后，得到提问词（如图4中的w1，w2，…，wm），根据预训练的词向量模型获取相应的词向量，进一步得到待识别问询信息对应的第一词向量序列。为了便于说明，该第一词向量序列表示为X=[x1，x2，…， xi，…，xm]，其中的词向量表示为xi=[xi1，xi2，…，xid]。

[0095] 接着经过双向LSTM学习第一词向量序列中词语之间的正向依赖关系和反向依赖关系。对于词向量xi，正向LSTM输出的正向词向量序列中的一个词向量表示为zi=[zi1，zi2，…，zih]（输出的词向量长度h不必跟输入的词向量长度d相同），反向LSTM输出的反向词向量序列中的一个词向量表示为ui=[ui1，ui2，…，uih]。连接zi和ui得到的第二词向量序列中的一个词向量Oi=[Oi1，Oi2，…，Oi2h]。

[0096] 再经过注意力网络自适应地提取样本关键特征，通过语义分析确定关键特征词向量和非关键特征词向量的权重（H1，H2，…，Hm），根据权重对第二词向量序列中的词向量进行整合，得到目标词向量，目标词向量表示为a=[a1，a2，…，a2h]。

[0097] 上述实施例结合双向LSTM和注意力网络来对词向量序列进行处理，能结合输入的待识别问询信息的上下文信息从待识别问询信息中提取出关键特征词向量，以在识别待识别问询信息是否有效时充分考虑到其中的关键特征词向量，进而准确得出有效性识别结果。

[0098] 在一个实施例中，在所述将所述第一词向量序列输入至双向长短期记忆网络之前，还包括：获取参考词向量序列的序列长度；所述参考词向量序列为预先构建的问询信息样本库中的问询信息样本所对应的词向量序列；将所述序列长度乘以设定的比例系数，得到参考长度；以所述参考长度为标准对所述第一词向量序列进行长度调整。

[0099] 其中，比例系数可以根据实际情况确定，例如：比例系数为80%、90%等。

[0100] 进一步的，以参考长度为标准对第一词向量序列进行长度调整，可以是以参考长度为标准对第一词向量序列进行过长长度的截断处理或者过短长度的补齐处理。更进一步的，统计所有提问句子（参考词向量序列）对应的词向量序列的长度，取80%分位长度作为截断阈值（即参考长度），大于截断阈值则对第一词向量序列进行截断（可以只采用左侧的序列也可以指采用右侧的序列），小于截断阈值则左侧补零直到第一词向量序列的长度对齐（即到达80%分位长度）。

[0101] 上述实施例通过对词向量序列长度的处理，能使得所要处理的第一词向量序列的长度不会相差太远，终端可以按照较为固定的方式来处理第一词向量序列，这样的处理方式能有效提高词向量序列的处理效率，进而提高问询信息的识别效率。

[0102] 在一个实施例中，所述从所述待识别问询信息中提取出用于对有效性识别结果进行评价的有效性评价特征，包括：通过情感识别工具对所述待识别问询信息中的词语进行情感识别；将情感识别得到的问询情感特征确定为所述有效性评价特征。

[0103] 在一些实施例中，还可以通过情感识别工具对所述待识别问询信息中的句子进行情感识别；将情感识别得到的问询情感特征确定为所述有效性评价特征。

[0104] 其中，词语或者句子的情感可以指词语或句子包含的主观感觉和情绪。进一步的，问询情感特征可以指各个词语、句子所包含的情感，还可以包括这些情感的等级（例如：一般伤心和特别伤心）。问询情感特征能够在一定程度上反映待识别问询信息的有效性，例如，当问询情感特征为“非常紧张”时，那这个问询信息可能会语无伦次，因此，它很有可能是无效提问。

[0105] 情感识别工具可以是snownlp、TextBlob等。通过这些工具得到待识别问询信息中各个词语、句子对应的情感倾向以及情感等级等。

[0106] 上述实施例，识别待识别问询信息的问询情感特征，将问询情感特征确定为有效性评价特征，能充分考虑用户在提问时的情绪，进而准确确定出问询信息是否有效。

[0107] 在一个实施例中，句子构造能在很大程度上决定一个问询信息是否为有效提问，例如：当一个句子语序混乱时，他人很可能无法知晓其中的主客体关系，也就无法获知提问者所提的问题是什么了，因此，有必要将于句子构造相关的特征确定为有效性评价特征。进一步的，所述从所述待识别问询信息中提取出用于对有效性识别结果进行评价的有效性评价特征，包括：获取所述待识别问询信息的分词处理结果，根据所述分词处理结果确定分词统计特征；所述分词统计特征包括以下至少一项：词性统计特征、主客体统计特征、总词语数、去重词数和标点符号数；获取所述待识别问询信息的构造数据统计特征；所述构造数据统计特征包括以下至少一项：句子长度、字数、全角符号个数、半角符号个数、错别字个数、繁体字个数、简体字个数和数字个数；根据所述分词统计特征和所述构造数据统计特征得到所述有效性评价特征。

[0108] 其中，分词处理结果指的是对待识别问询信息进行分词处理所得到的结果。

[0109] 词性统计特征可以指待识别问询信息中名词、形容词、动词等词性的词语个数，例如：动词2个、名词3个、形容词1个。主客体统计特征可以指待识别问询信息中主体和客体的出现次数、频次等，例如，对于WIFI管家这一应用场景，可以统计“WIFI”这一客体的出现次数。总词语数可以指待识别问询信息中提问词的总个数。去重词数可以指对待识别问询信息进行分词处理时所去除的重复词的个数。标点符号数可以指待识别问询信息中所包含的标点符号的个数。

[0110] 上述实施例，识别待识别问询信息的分词统计特征和构造数据统计特征，将分词统计特征和构造数据统计特征确定为有效性评价特征，能充分考虑句子构造对问询信息有效性的影响程度，进而准确确定出问询信息是否有效。

[0111] 进一步的，在一个实施例中，可以对问询情感特征、分词统计特征和构造数据统计特征进行选择或者组合，将得到的特征作为有效性评价特征。例如：可以将问询情感特征、分词统计特征和构造数据统计特征一起作为有效性评价特征，使得有效性评价特征更为全面，得到更为准确的有效性评价结果。

[0112] 在一个实施例中，所述结合所述目标词向量和所述有效性评价特征对所述待识别问询信息进行有效性分类，包括：对所述有效性评价特征进行向量化以及归一化处理，得到评价特征向量；结合所述目标词向量和所述评价特征向量对所述待识别问询信息进行有效性分类。

[0113] 其中，对有效性评价特征进行向量化处理可以指：进行量化处理并将量化处理得到的结果按照向量的方式进行排布。归一化处理可以指将不同变化幅度的数据限定到特定的范围内，以便于比较，例如，限定在[0，1]、[-1，1]这样的范围内。

[0114] 以字数为例，归一化的处理方式包括但不限于以下两种方式：

[0115] 1、统计问询信息样本库中所有问询信息样本的字数均值和字数方差，按照标准正态分布方式对问询信息的字数进行归一化：（字数–平均字数）/ （字数方差*3），归一化后取值范围为[-1，1]；

[0116] 2、统计全部问询信息样本的字数最大值和字数最小值，通过以下公式进行归一化处理：（字数–字数最小值）/（字数最大值–字数最小值），归一化后取值范围为[0，1]。

[0117] 由于有效性评价特征的数量可能不止一个，因此可以在对这些有效性评价特征进行向量化和归一化处理后进行排布，例如：按照词性统计特征、主客体统计特征、总词语数、去重词数和标点符号数、句子长度、字数、全角符号个数、半角符号个数、错别字个数、繁体字个数、简体字个数、数字个数的顺序分别将归一化后的数据排列成一维向量。排列得到的向量就可以作为评价特征向量。

[0118] 上述实施例对有效性评价特征进行向量化和归一化处理，能得到量化且易于进行数据处理的评价特征向量，使得后续的处理过程更为便捷，有效提高问询信息的识别效率。

[0119] 在一个实施例中，所述结合所述目标词向量和所述评价特征向量对所述待识别问询信息进行有效性分类，包括：对所述目标词向量和所述评价特征向量进行向量拼接，得到目标向量；由预先训练的提问分类模型根据所述目标向量对所述待识别问询信息进行有效性分类。

[0120] 其中，目标词向量和评价特征向量的向量拼接可以指张量连接，即，将向量序列组合在一起，例如，对于一维向量序列，直接按照前后排布的方式构成一个更长的向量序列，对于二维向量序列则可以先将目标词向量和评价特征向量拆分为行和列，进而行向量和列向量上进行排布，进而得到组合后的向量序列。

[0121] 上述实施例对目标词向量和评价特征向量进行组合，使得组合得到的目标向量包含词向量和评价特征两方面的信息，进而可以得到准确的有效性识别结果。

[0122] 进一步的，在一个实施例中，所述提问分类模型使用二分类交叉熵损失函数训练得到。本实施例通过二分类交叉熵损失函数训练提问分类模型，使得训练得到的提问分类模型能够准确地对目标向量进行二分类，以确定待识别问询信息是有效提问还是无效提问。

[0123] 在一个实施例中，所述获取所述提问词的词向量，包括：对所述待识别问询信息进行以下至少一项清洗处理：繁简转换、标点符号转换、空白字符剔除和错别字纠正；对经过清洗处理的所述待识别问询信息进行分词处理，根据分词处理结果得到所述提问词；根据预训练的词向量转换模型对所述提问词进行向量转换，得到所述提问词对应的词向量。

[0124] 其中，错别字纠正可以是通过pycorrector等工具纠正中文错别字。经过清洗处理的待识别问询信息更为工整，能便于后续的分词处理。

[0125] 分词处理可以是通过hanlp等工具对待识别问询信息进行分词，得到所包含的提问词以及提问词的序列、词性等，即得到分词处理结果。进而根据事先定义停用词表，将一些无关紧要的词语或者符号从分词处理结果中剔除，以防止后续的处理过程花费较多时间去处理无关紧要的内容，提高处理效率。

[0126] 进一步的，本实施例对分词处理得到的提问词进行向量转换，得到对应的词向量。由于经过了前面的清洗、分词处理，所得到的词向量与最终的有效性识别结果相关性更高，能在一定程度上保证有效性识别结果的准确性。

[0127] 在一个实施例中，在得到待识别问询信息的有效性识别结果后，可以对待识别问询信息进行进一步处理。具体的，当有效性识别结果为“无效提问”后，结束对待识别问询信息的响应，同时可以在终端界面上显示相关的提示信息；当有效性识别结果为“有效提问”，可以将该问询信息提交至服务器，由服务器对问询信息进行答复，此时终端可以输出该答复，另外，终端也可以根据服务器的控制在界面中显示该问询信息，以接收用户对该问询信息的答复。通过这样的处理方式，在提交问询信息时就可以从源头上拒绝无效的提问。

[0128] 进一步的，可以通过图5所示的终端界面来接收用户输入的待识别问询信息。如图5所示，在界面上通过提示文字“请输入您的问询信息”来提示用户输入问询信息，可以通过输入框501接收用户输入的问询信息，该问询信息作为待识别问询信息，并通过提问识别模型进行识别，进而得到有效性识别结果。

[0129] 以下进行进一步举例说明，如图6所示，假设用户输入的问询信息为“新闻APP bug”，此时终端得到的有效性识别结果为“无效提问”，则在界面输出提示信息：您输入的问询信息无效，请重新输入。如图7所示，假设用户输入的问询信息为“新闻APP首次进入被隐私协议挡住无法退出，是bug吗”，此时终端得到的有效性识别结果为“有效提问”，则在界面输出提示信息：您输入的问询信息有效，正在为您进行下一步处理。上述实施例通过界面与用户进行交互，能够有效准确地对问询信息进行识别同时对用户的提问进行及时响应。

[0130] 在一个实施例中，可以定期对确定为“有效提问”的问询信息进行筛查，如果确定某个或某些问询信息实际上是无效提问，则可以将对应的问询信息进行置底处理，使得有效的、高质量的问询信息展示在头部。更进一步的，还可以根据筛查的结果对提问识别模型进行调整，以提高提问识别模型的准确性。

[0131] 在一个实施例中，基于深度学习的问询信息识别方法可以通过如图8所示的提问识别模型来实现。如图8所示，该提问识别模型包括词向量处理模型（N1）、评价特征处理模型（N2）以及有效性识别模型（N3），N1和N2分别与N3连接。进一步的，N1包括词向量序列获取模型（词向量序列获取模型中还连接有词向量转换模型）、双向LSTM以及注意力网络；N2包括评价特征获取层以及第一全连接层；N3包括特征拼接层、第二全连接层以及输出层。N1/N2/N3模型已经通过预先标记的问询信息正负样本进行了训练。具体的，在实现基于深度学习的问询信息识别方法时提问识别模型的实现逻辑如下：

[0132] 1、将待识别问询信息分别输入至N1和N2中。

[0133] 2、N1通过词向量转换模型对待识别问询信息中的提问词进行向量转换，得到词向量，通过词向量序列获取模型对词向量组合得到第一词向量序列。将第一词向量序列输入至双向LSTM中，由双向LSTM根据提问词之间的正向依赖关系和反向依赖关系对第一词向量序列进行整合得到正向词向量序列和反向词向量序列，并对正向词向量序列和反向词向量序列进行向量序列拼接得到第二词向量序列。将第二词向量序列输入至注意力网络中。由注意力网络识别第二词向量序列中的关键特征词向量和非关键特征词向量，根据关键特征词向量和非关键特征词向量在待识别问询信息中的有效性评价权重，得到影响系数，根据影响系数对第二词向量序列中的词向量进行整合，得到目标词向量。

[0134] 3、N2通过评价特征获取层从待识别问询信息中提取出用于对有效性识别结果进行评价的初始评价特征，通过第一全连接层对初始评价特征进行分类，得到有效性评价特征，对有效性评价特征进行向量化以及归一化处理，得到评价特征向量。

[0135] 4、将目标词向量和评价特征向量输入N3中。

[0136] 5、N3通过特征拼接层将目标词向量和评价特征向量进行拼接，由第二全连接层根据拼接后的目标词向量和评价特征向量对待识别问询信息进行有效性分类，通过输出层输出待识别问询信息的有效性识别结果。

[0137] 上述基于深度学习的问询信息识别方法中，一方面，通过词向量处理模型确定提问词对应的词向量序列，并根据影响系数对词向量序列中的词向量进行整合得到目标词向量，另一方面，通过评价特征处理模型从待识别问询信息中提取有效性评价特征，得到评价特征向量，之后由评价特征处理模型结合目标词向量和评价特征向量来对待识别问询信息进行有效性分类，得到待识别问询信息的有效性识别结果。上述方案通过多个模型的融合，考虑了词向量以及有效性评价特征，进而对待识别问询信息进行有效性分类，能得到准确的有效性识别结果。

[0138] 在一个实施例中，如图9所示，提供了一种基于深度学习的问询信息识别方法，以该方法应用于终端为例进行说明。总体分为四部分：构建提问样本库，构建样本特征，构建和训练提问识别模型，识别待识别问询信息。以下进行具体说明：

[0139] 1、构建提问样本库

[0140] 运营人员对问询信息进行标注。将理性、准确、有价值的问询信息作为正样本，将缺少信息、内容不明确的提问作为负样本，从而得到提问样本库，以此训练提问识别模型，用于识别一个问询信息是否为有效的、高质量的提问。

[0141] 2、构建样本特征

[0142] 总体分为两部分：获取词向量序列以及获取评价特征向量。具体地来说，包括以下步骤：

[0143] A）获取词向量序列

[0144] 1）对问询信息进行清洗。对提问样本库中的问询信息进行清洗，包括：将繁体转换成对应的简体，中文标点符号转换成对应的英文标点符号，全角字符转换成对应的半角字符，剔除空白字符，使用pycorrector等工具纠正中文错别字。

[0145] 2）对问询信息进行分词，并得到提问词的词向量。使用hanlp等工具对问询信息进行分词，得到分词序列和词性。去除其中的停用词，得到分词处理结果，得到提问词。根据预训练的词向量模型获取提问词的词向量。

[0146] 3）根据词向量构建词向量序列。

[0147] B）获取评价特征向量

[0148] 1）使用snownlp、TextBlob等工具识别问询信息的情感倾向，得到问询情感特征。

[0149] 2）根据分词处理结果，获取词性统计特征、主客体统计特征、总词语数、去重词数和标点符号数，得到分词统计特征。

[0150] 3）从A-1）的结果中获取句子长度、字数、全角符号个数、半角符号个数、错别字个数、繁体字个数、简体字个数和数字个数，得到构造数据统计特征。

[0151] 4）有效性评价特征归一化。对有效性评价特征进行向量化以及归一化处理，得到评价特征向量。

[0152] 3、构建和训练提问识别模型

[0153] 1）构建提问识别模型。根据词向量序列构建词向量处理模型N1，根据评价特征向量构建评价特征处理模型N2。词向量处理模型和评价特征处理模型连接有效性识别模型N3。词向量处理模型、评价特征处理模型和有效性识别模型构成提问识别模型。

[0154] 2）训练提问识别模型。使用二分类交叉熵损失函数训练提问识别模型（N1/N2/N3），具体地来说，通过反向传播算法多次迭代学习得到N1网络参数、N2网络参数、N3网络参数，得到提问识别模型M，用于预测对待识别问询信息的类别。

[0155] 4、识别待识别问询信息

[0156] a）对待识别问询信息进行清洗和分词处理。对待识别问询信息进行清洗处理，并对经过清洗处理的待识别问询信息进行分词处理，根据分词处理结果得到提问词。

[0157] b）第一词向量序列构建。根据预训练的词向量转换模型对提问词进行向量转换，得到提问词对应的词向量，根据词向量构建第一词向量序列。

[0158] c）将第一词向量序列输入词向量处理模型进行处理得到目标词向量。

[0159] c1）词向量序列长度处理。获取问询信息样本所对应的参考词向量序列的序列长度；将序列长度乘以设定的比例系数，得到参考长度；根据参考长度对第一词向量序列进行过长长度的截断处理或者过短长度的补齐处理。

[0160] c2）通过双向长短期记忆网络对第一词向量序列进行整合处理。将C1）处理的第一词向量序列输入至双向长短期记忆网络，以通过双向长短期记忆网络分别根据提问词之间的正向依赖关系和反向依赖关系对第一词向量序列进行整合，得到正向词向量序列和反向词向量序列；对正向词向量序列和反向词向量序列进行向量序列拼接，得到第二词向量序列。

[0161] c3）通过注意力网络对第二词向量序列中的词向量进行整合。通过注意力网络识别第二词向量序列中的关键特征词向量和非关键特征词向量，根据关键特征词向量和非关键特征词向量在待识别问询信息中的有效性评价权重，得到影响系数，根据影响系数对第二词向量序列中的词向量进行整合，得到目标词向量。

[0162] d）将待识别问询信息输入评价特征处理模型进行处理得到评价特征向量。

[0163] d1）提取初始评价特征。评价特征处理模型从待识别问询信息中提取出用于对有效性识别结果进行评价的初始评价特征。

[0164] d2）通过全连接层进行特征分类。通过第一全连接层对初始评价特征进行分类，得到有效性评价特征，对有效性评价特征进行向量化以及归一化处理，得到评价特征向量。

[0165] e）将目标词向量和评价特征向量输入有效性识别模型进行处理得到有效性识别结果。

[0166] e1）有效性识别模型将目标词向量和评价特征向量进行拼接。

[0167] e2）通过全连接层根据拼接后的目标词向量和评价特征向量对待识别问询信息进行有效性分类。

[0168] e3）通过输出层输出待识别问询信息的有效性识别结果。

[0169] 上述实施例通过多个模型的结合可以准确确定出待识别问询信息是否为有效问询信息，可以帮助运营人员从大量的产品反馈问题中准确地识别有效的、高质量的提问，从而给提问者提供有效的解答和帮助，提升用户体验。

[0170] 应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

[0171] 基于与上述实施例中的基于深度学习的问询信息识别方法相同的思想，本发明还提供基于深度学习的问询信息识别装置，该装置可用于执行上述基于深度学习的问询信息识别方法。为了便于说明，基于深度学习的问询信息识别装置实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

[0172] 在一个实施例中，如图10所示，提供了一种基于深度学习的问询信息识别装置1000，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：问询信息获取模块1001、词向量获取模块1002、影响系数确定模块1003、词向量确定模块1004、评价特征提取模块1005和有效性识别模块1006，其中：

[0173] 问询信息获取模块1001，用于获取待识别问询信息；所述待识别问询信息中包含至少一个提问词。

[0174] 词向量获取模块1002，用于获取所述提问词的词向量。

[0175] 影响系数确定模块1003，用于获取所述词向量在所述待识别问询信息中的影响系数。

[0176] 词向量确定模块1004，用于根据所述影响系数对所述词向量进行加权整合，得到目标词向量。

[0177] 评价特征提取模块1005，用于从所述待识别问询信息中提取出用于对有效性识别结果进行评价的有效性评价特征。

[0178] 有效性识别模块1006，用于结合所述目标词向量和所述有效性评价特征对所述待识别问询信息进行有效性分类，输出所述待识别问询信息的有效性识别结果。

[0179] 上述基于深度学习的问询信息识别装置中，上述技术方案融合词向量以及有效性评价特征来对待识别问询信息进行有效性分类，能得到准确的有效性识别结果。

[0180] 在一个实施例中，所述装置包括：词向量处理模型输入模块，用于将所述待识别问询信息输入预先训练的词向量处理模型；所述词向量处理模型获取所述词向量；获取所述影响系数；根据所述影响系数对所述词向量进行加权整合，得到所述目标词向量。

[0181] 在一个实施例中，所述装置包括：特征处理模型输入模块，用于将所述待识别问询信息输入预先训练的评价特征处理模型；所述评价特征处理模型从所述待识别问询信息中提取出所述有效性评价特征。

[0182] 在一个实施例中，所述特征处理模型输入模块，还用于将所述待识别问询信息输入预先训练的评价特征处理模型；所述评价特征处理模型从所述待识别问询信息中提取出用于对有效性识别结果进行评价的初始评价特征，并通过第一全连接层对所述初始评价特征进行分类，得到所述有效性评价特征。

[0183] 在一个实施例中，所述装置包括：有效性识别模型输入模块，用于将所述目标词向量和所述有效性评价特征输入预先训练的有效性识别模型；所述有效性识别模型将所述目标词向量和所述有效性评价特征进行拼接，根据拼接后的所述目标词向量和所述有效性评价特征对所述待识别问询信息进行有效性分类，输出所述待识别问询信息的有效性识别结果。

[0184] 在一个实施例中，所述词向量处理模型、所述评价特征处理模型和所述有效性识别模型通过以下模块进行训练：样本获取模块，用于从预先构建的问询信息样本库中获取预先标记的问询信息正样本和问询信息负样本；第一样本输入模块，用于将所述问询信息正样本以及所述问询信息负样本输入到词向量处理模型中得到词向量处理结果；第二样本输入模块，用于将所述问询信息正样本以及所述问询信息负样本输入到评价特征处理模型中，得到特征处理结果；处理结果输入模块，用于将所述词向量处理结果和所述特征处理结果输入到有效性识别模型中；参数迭代模块，用于按照反向传播算法迭代调整所述词向量处理模型、所述评价特征处理模型和所述有效性识别模型的网络参数；模型获取模块，用于根据迭代调整后的网络参数分别得到已训练的所述词向量处理模型、已训练的所述评价特征处理模型和已训练的所述有效性识别模型。

[0185] 在一个实施例中，所述装置还包括：词向量处理模块，用于通过注意力网络识别所述词向量中的关键特征词向量和非关键特征词向量，根据所述关键特征词向量和所述非关键特征词向量在所述待识别问询信息中的有效性评价权重得到所述影响系数，根据所述影响系数对所述词向量进行加权整合，得到所述目标词向量。

[0186] 在一个实施例中，词向量处理模块，包括：序列构建子模块，用于根据所述词向量构建第一词向量序列；序列输入子模块，用于将所述第一词向量序列输入至双向长短期记忆网络，以通过所述双向长短期记忆网络分别根据所述提问词之间的正向依赖关系和反向依赖关系对所述第一词向量序列进行整合，得到正向词向量序列和反向词向量序列；序列拼接子模块，用于对所述正向词向量序列和所述反向词向量序列进行向量序列拼接，得到第二词向量序列；特征向量识别子模块，用于通过所述注意力网络识别所述第二词向量序列中的关键特征词向量和非关键特征词向量。

[0187] 在一个实施例中，词向量处理模块，还包括：序列长度确定子模块，用于获取参考词向量序列的序列长度；所述参考词向量序列为预先构建的问询信息样本库中的问询信息样本所对应的词向量序列；参考长度确定子模块， 用于将所述序列长度乘以设定的比例系数，得到参考长度；序列长度处理子模块，用于以所述参考长度为标准对所述第一词向量序列进行长度调整。

[0188] 在一个实施例中，评价特征提取模块，包括：情感识别子模块，用于通过情感识别工具对所述待识别问询信息中的词语和/或句子进行情感识别；第一特征确定子模块，用于将情感识别得到的问询情感特征确定为所述有效性评价特征。

[0189] 在一个实施例中，评价特征提取模块，还包括：分词特征确定子模块，用于获取所述待识别问询信息的分词处理结果，根据所述分词处理结果确定分词统计特征；所述分词统计特征包括以下至少一项：词性统计特征、主客体统计特征、总词语数、去重词数和标点符号数；构造数据特征确定子模块，用于获取所述待识别问询信息的构造数据统计特征；所述构造数据统计特征包括以下至少一项：句子长度、字数、全角符号个数、半角符号个数、错别字个数、繁体字个数、简体字个数和数字个数；第二特征确定子模块，用于根据所述分词统计特征和所述构造数据统计特征得到所述有效性评价特征。

[0190] 在一个实施例中，有效性识别模块，包括：向量归一化子模块， 用于对所述有效性评价特征进行向量化以及归一化处理，得到评价特征向量；有效性分类子模块，用于结合所述目标词向量和所述评价特征向量对所述待识别问询信息进行有效性分类。

[0191] 在一个实施例中，有效性分类子模块，包括：向量拼接单元，用于对所述目标词向量和所述评价特征向量进行向量拼接，得到目标向量；有效性分类单元，用于由预先训练的提问分类模型根据所述目标向量对所述待识别问询信息进行有效性分类；所述提问分类模型使用二分类交叉熵损失函数训练得到。

[0192] 在一个实施例中，词向量获取模块，包括：清洗处理子模块，用于对所述待识别问询信息进行以下至少一项清洗处理：繁简转换、标点符号转换、空白字符剔除和错别字纠正；分词处理子模块，用于对经过清洗处理的所述待识别问询信息进行分词处理，根据分词处理结果得到所述提问词；向量转换子模块，用于根据预训练的词向量转换模型对所述提问词进行向量转换，得到所述提问词对应的词向量。

[0193] 关于基于深度学习的问询信息识别装置的具体限定可以参见上文中对于基于深度学习的问询信息识别方法的限定，在此不再赘述。上述基于深度学习的问询信息识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

[0194] 在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

[0195] 在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

[0196] 在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

[0197] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。

[0198] 以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

[0199] 以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。