一种向人工客服推荐回复内容的对话机器人的实现方法

摘要

本发明提供一种向人工客服推荐回复内容的对话机器人的实现方法，包括以下步骤：步骤1、通过第一个LSTM神经张量网络模型对问题进行特征抽取，得到客户问题分词的结果，并用第一个LSTM神经张量网络模型将客户问题分词的结果编码为向量c；步骤2、通过第二个LSTM神经张量网络模型对客服答复进行特征抽取，得到客服答复分词的结果并用第二个LSTM神经张量网络模型将客服答复分词的结果编码为向量r；步骤3、获取问题所在商店的个性化特征，并编码为商家的特征向量s；步骤4、通过神经张量网络层将所述向量c、向量r与向量s通过张量进行直接交互计算；步骤5、输出客户问题对应的相似答复的筛选推荐功能选项。本发明能够智能地向人工客服推荐回复内容。

权利要求

1.一种向人工客服推荐回复内容的对话机器人的实现方法，其特征在于，包括以下步骤：步骤1、通过第一个LSTM神经张量网络模型(LNTN)对问题进行特征抽取，得到客户问题分词的结果q1、q2、…、qm，并用第一个LSTM神经张量网络模型将客户问题分词的结果q1、q2、…、qm编码为向量c；

其中，qm表示客户问题的第m个词对应的向量；

步骤2、通过第二个LSTM神经张量网络模型对客服答复进行特征抽取，得到客服答复分词的结果a1、a2、…、an，并用第二个LSTM神经张量网络模型将客服答复分词的结果a1、a2、…、an编码为向量r；

其中，an表示客服答复的第n个词对应的向量；

步骤3、获取问题所在商店的个性化特征，并编码为商家的特征向量s；

步骤4、通过神经张量网络层(NTN)将所述向量c、向量r与向量s通过张量进行直接交互计算，实现特征表示与相似度匹配；

步骤5、输出客户问题对应的相似答复的筛选推荐功能选项；

所述步骤3包括：

将所有商店的数据同时用来训练神经张量网络模型进行答复内容的协同推荐，进而得出训练出的商店个性化特征，并将其编码为向量s；

所述步骤3中的个性化特征包括商家的类别、商家的星级或商家的服务质量；

所述步骤4包括：

1)、将所述qm或an作为LSTM神经张量网络模型的输入，经过LSTM神经张量网络模型的记忆单元运算，输出客户问题或客服答复的句向量，即向量c与向量r；

2)、将步骤1)中输出的向量c与向量r结合训练好的商店个性化特征向量s，通过张量进行直接交互计算问题与答复的相似性；

所述记忆单元包括输入门、遗忘门、输出门与cell单元，所述cell单元用于将当前状态与之后状态产生关联，即将cell单元信息返回至所述输入门、遗忘门与输出门中进行下一步的计算；

所述记忆单元的运算公式为：

输入门：it＝f(Wxixt+Whibt-1+Wcict-1+bi)；

遗忘门：ft＝f(Wxfxt+Whfht-1+Wcfct-1+bf)；

Cell状态：

输出门：ot＝f(Wxoxt+Whoht-1+Wcoct+bo)；

隐层状态输出：ht＝ot⊙g(ct)；

其中，xt，ht-1，ct-1是神经元的输入，即是来自前级神经元的轴突的信息A，Wxf，Whf，Wcf分别是神经元对xt，ht-1，ct-1的权系数，也即突触的传递效率；it，ft，ct，ot是神经元的输出；f()是激发函数，它决定神经元受到输入xt，ht-1，ct-1的共同刺激达到阀值时以何种方式输出；

所述隐层 状态输出为LSTM神经张量网络模型的映射输出，所述LSTM神经张量网络模型的映射输出为问题或答复的句向量表示；

所述步骤1中的第一个LSTM神经张量网络模型和步骤2中的第二个LSTM神经张量网络模型为相同的网络结构。

2.根据权利要求1所述的一种向人工客服推荐回复内容的对话机器人的实现方法，其特征在于，所述LSTM模型能用GRU模型代替。

3.根据权利要求1所述的一种向人工客服推荐回复内容的对话机器人的实现方法，其特征在于，所述步骤1中的第一个LSTM神经张量网络模型为一层300个神经元的网络结构。

4.根据权利要求1所述的一种向人工客服推荐回复内容的对话机器人的实现方法，其特征在于，所述步骤2中的第二个LSTM神经张量网络模型为一层300个神经元的网络结构。

说明书

一种向人工客服推荐回复内容的对话机器人的实现方法

技术领域

[0001] 本发明涉及计算机网络领域，尤其涉及一种向人工客服推荐回复内容的客服对话机器人的实现方法。

背景技术

[0002] 客服对话系统是一种特定领域的对话系统，目前该领域是一项比较前沿的研究内容，主要目标是实现客服自动的内容回复，同时提高解决客户问题的效率。

[0003] 社区问答系统(CQA)是一种用户可以给提问者分享自己专业知识的平台，这种问答数据与客服系统有些类似，通常可以借鉴CQA中的一些解决方法。但是，客服对话系统中的答案往往是视情况而定的回答，而且不同商家销售商品的属性不同，所以客服对话系统还需要解决针对不同商家同种问题的自动回复。

[0004] 另外，现有技术中的卷积神经张量网络(CNTN)模型，该模型是分别将问题和答案使用卷积网络进行特征提取，然后将问答对的特征通过一个张量层计算相似度分数，通过排序分数较高的问答对实现问题和答案的匹配。

[0005] 现有卷积神经张量网络(CNTN)模型采用卷积神经网络提取句子的特征，卷积神经网络通过滤波器提取的主要是空间特征，记忆句子的整体信息，而问题中有一种递进序列关系，前面的文本描述为问题背景，而最后一个问题是核心问题，所以卷积神经网络不适合处理长依赖关系和时间序列的问题。

[0006] 因此，本领域迫切需要开发一种适用性广并且能够针对所有商家的情况提供一种较准确的智能答复服务。

发明内容

[0007] 本发明之目的是提供一种向人工客服推荐回复内容的对话机器人的实现方法，能够解决句子中的长短期依赖关系的记忆和时间序列输入的问题，并且能够智能地向人工客服推荐回复内容。

[0008] 本发明提供一种向人工客服推荐回复内容的对话机器人的实现方法，包括以下步骤：

[0009] 步骤1、通过第一个LSTM神经张量网络模型(LNTN)对问题进行特征抽取，得到客户问题分词的结果q1、q2、…、qm，并用第一个LSTM神经张量网络模型将客户问题分词的结果q1、q2、…、qm编码为向量c；

[0010] 其中，qm表示客户问题的第m个词对应的向量；

[0011] 步骤2、通过第二个LSTM神经张量网络模型对客服答复进行特征抽取，得到客服答复分词的结果a1、a2、…、an，并用第二个LSTM神经张量网络模型将客服答复分词的结果a1、a2、…、an编码为向量r；

[0012] 其中，an表示客服答复的第n个词对应的向量；

[0013] 步骤3、获取问题所在商店的个性化特征，并编码为商家的特征向量s；

[0014] 步骤4、通过神经张量网络层(NTN)将所述向量c、向量r与向量s通过张量进行直接交互计算，实现特征表示与相似度匹配；

[0015] 步骤5、输出客户问题对应的相似答复的筛选推荐功能选项。

[0016] 优选地，所述步骤3包括：

[0017] 将所有商店的数据同时用来训练神经张量网络模型进行答复内容的协同推荐，进而得出训练出的商店个性化特征，并将其编码为向量s。

[0018] 优选地，所述步骤4包括：

[0019] 1)、将所述qm或an作为LSTM神经张量网络模型的输入，经过LSTM神经张量网络模型的记忆单元运算，输出客户问题或客服答复的句向量，即向量c与向量r；

[0020] 2)、将步骤1)中输出的向量c与向量r结合训练好的商店个性化特征向量s，通过张量进行直接交互计算问题与答复的相似性。

[0021] 优选地，所述记忆单元包括输入门、遗忘门、输出门与cell单元，所述cell单元用于将当前状态与之后状态产生关联，即将cell单元信息返回至所述输入门、遗忘门与输出门中进行下一步的计算；

[0022] 所述记忆单元的运算公式为：

[0023] 输入门：it＝f(Wxixt+Whiht-1+Wcict-1+bi)；

[0024] 遗忘门：ft＝f(Wxfxt+Whfht-1+Wcfct-1+bf)；

[0025] Cell状态：

[0026]

[0027] 输出门：ot＝f(Wxoxt+Whoht-1+Wcoct+bo)；

[0028] 隐层状态输出：ht＝ot⊙g(ct)；

[0029] 其中，xt，ht-1，ct-1是神经元的输入，即是来自前级神经元的轴突的信息A，Wxf，Whf，Wcf分别是神经元对xt，ht-1，ct-1的权系数，也即突触的传递效率；it，ft，ct，ot是神经元的输出；f()是激发函数，它决定神经元受到输入xt，ht-1，ct-1的共同刺激达到阀值时以何种方式输出。

[0030] 优选地，所述隐形状态输出为LSTM神经张量网络模型的映射输出，所述LSTM神经张量网络模型的映射输出为问题或答复的句向量表示。

[0031] 优选地，所述步骤3中的个性化特征包括商家的类别、商家的星级或商家的服务质量。

[0032] 优选地，所述LSTM模型能用GRU模型代替。

[0033] 优选地，所述步骤1中的第一个LSTM神经张量网络模型和步骤2中的第二个LSTM神经张量网络模型为相同的网络结构。

[0034] 优选地，所述步骤1中的第一个LSTM神经张量网络模型为一层300个神经元的网络结构。

[0035] 优选地，所述步骤2中的第二个LSTM神经张量网络模型为一层300个神经元的网络结构。

[0036] 本发明的一种向人工客服推荐回复内容的对话机器人的实现方法具有如下有益效果：

[0037] 1、本发明将所有商店的数据同时用来训练神经网络模型进行回复内容的协同推荐，解决了每家商店数据不足的问题。

[0038] 2、本发明采用LSTM神经网络提取问题和回复的特征，解决了句子中的长短期依赖关系的记忆和时间序列输入的问题。

[0039] 3、本发明的方法中没有人工制定规则和先验知识的干预，完全是自动特征提取和相似度匹配，是一个通用模型，因此形成的模型具有适用性广、通用性强的特点。

[0040] 4、本发明中的将特征提取部分的LSTM模型还可以用其他的循环神经网络模型替代，例如GRU模型，也同样可以达到该模型的目标。

附图说明

[0041] 下面将简要说明本申请所使用的附图，显而易见地，这些附图仅用于解释本发明的构思。

[0042] 图1是本发明的一种向人工客服推荐回复内容的对话机器人的实现方法的应用场景图；

[0043] 图2是本发明的一种向人工客服推荐回复内容的对话机器人的实现方法的原理示意图；

[0044] 图3是本发明的一种向人工客服推荐回复内容的对话机器人的实现方法的模型示意图。

具体实施方式

[0045] 在下文中，将参照附图描述本发明的一种向人工客服推荐回复内容的对话机器人的实现方法的实施例。

[0046] 在此记载的实施例为本发明的特定的具体实施方式，用于说明本发明的构思，均是解释性和示例性的，不应解释为对本发明实施方式及本发明范围的限制。除在此记载的实施例外，本领域技术人员还能够基于本申请权利要求书和说明书所公开的内容采用显而易见的其它技术方案，这些技术方案包括对在此记载的实施例做出任何显而易见的替换和修改的技术方案。

[0047] 本说明书的附图为示意图，辅助说明本发明的构思，示意性地表示各部分的相互关系。

[0048] 图1是本发明的一种向人工客服推荐回复内容的对话机器人的实现方法的应用场景图，图2是本发明的一种向人工客服推荐回复内容的对话机器人的实现方法的原理示意图，图3是本发明的一种向人工客服推荐回复内容的对话机器人的实现方法的模型示意图。

[0049] 如图2所示，本发明提供一种向人工客服推荐回复内容的对话机器人的实现方法，其中，包括以下步骤：

[0050] 步骤1、通过第一个LSTM神经张量网络模型(LNTN)对问题进行特征抽取，得到客户问题分词的结果q1、q2、…、qm，并用第一个LSTM神经张量网络模型将客户问题分词的结果q1、q2、…、qm编码为向量c；

[0051] 其中，qm表示客户问题的第m个词对应的向量；

[0052] 步骤2、通过第二个LSTM神经张量网络模型对答案进行特征抽取，得到客服答复分词的结果a1、a2、…、an，并用第二个LSTM神经张量网络模型将客服答复分词的结果a1、a2、…、an编码为向量r；

[0053] 其中，an表示客服答复的第n个词对应的向量；

[0054] 步骤3、获取问题所在商店的个性化特征，并编码为商家的特征向量s；

[0055] 步骤4、通过神经张量网络层(NTN)将所述向量c、向量r与向量s通过张量进行直接交互计算，实现特征表示与相似度匹配；

[0056] 步骤5、输出客户问题对应的相似答复的筛选推荐功能选项。

[0057] 如图1所示，应用本发明的向人工客服推荐回复内容的对话机器人的实现方法可以智能地出现与客户问题相对应的多个答复选项，并且还会智能提示优选答复，便于客户可以直观看到答复内容。这样设置的方法具有适用性广且通用性强的优点。

[0058] 需要说明的是，本发明中主要选择Adam作为优化器进行训练LSTM模型。

[0059] 本发明通过在客户问题与客服答复特征中加入了每家商店的个性化特征信息，在方法上体现在使用张量将问题特征、答案特征和问题所在商店的个性化特征进行直接交互，解决了每家商店的个性化特征表示问题，该方法能够实施运行成功并且对最终的判别结果有明显的提升效果。

[0060] 在本发明的进一步实施例中，如图3所示，上述步骤3包括：将所有商店的数据同时用来训练神经张量网络模型进行答复内容的协同推荐，进而得出训练出的商店个性化特征，并将其编码为向量s。

[0061] 在本发明的进一步实施例中，上述步骤4包括：

[0062] 1)、将qm或an作为LSTM神经张量网络模型的输入，经过LSTM神经张量网络模型的记忆单元运算，输出客户问题或客服答复的句向量，即向量c与向量r；

[0063] 2)、将步骤1)中输出的向量c与向量r结合训练好的商店个性化特征向量s，通过张量进行直接交互计算问题与答复的相似性。

[0064] 在本发明的进一步实施例中，记忆单元包括输入门、遗忘门、输出门与cell单元，cell单元用于将当前状态与之后状态产生关联，即将cell单元信息返回至输入门、遗忘门与输出门中进行下一步的计算；

[0065] 上述记忆单元的运算公式为：

[0066] 输入门：it＝f(Wxixt+Whiht-1+Wcict-1+bi)；

[0067] 遗忘门：ft＝f(Wxfxt+Whfht-1+Wcfct-1+bf)；

[0068] Cell状态：

[0069]

[0070] 输出门：ot＝f(Wxoxt+Whoht-1+Wcoct+bo)；

[0071] 隐层状态输出：ht＝ot⊙g(ct)；

[0072] 其中，xt，ht-1，ct-1是神经元的输入，即是来自前级神经元的轴突的信息A，Wxf，Whf，Wcf分别是神经元对xt，ht-1，ct-1的权系数，也即突触的传递效率；it，ft，ct，ot是神经元的输出；f()是激发函数，它决定神经元受到输入xt，ht-1，ct-1的共同刺激达到阀值时以何种方式输出，g()也是激发函数。

[0073] 在本发明的进一步实施例中，隐形状态的输出为LSTM神经张量网络模型的映射输出，LSTM神经张量网络模型的映射输出为问题或答复的句向量表示。

[0074] 在本发明的进一步实施例中，步骤3中的个性化特征包括商家的类别、商家的星级或商家的服务质量。

[0075] 在本发明的进一步实施例中，LSTM模型能用GRU模型代替。

[0076] 在本发明的进一步实施例中，步骤1中的第一个LSTM神经张量网络模型和步骤2中的第二个LSTM神经张量网络模型为相同的网络结构。优选地，本发明中将步骤1中的第一个LSTM神经张量网络模型为一层300个神经元的网络结构，本发明中将步骤2中的第二个LSTM神经张量网络模型为一层300个神经元的网络结构。也就是说，本发明是使用了不同权重的两套LSTM分别将问题和答复进行映射，最终的隐层输出即为LSTM模型的映射输出，也是问题或答复的句向量表示。

[0077] 本发明中使用两个LSTM模型的隐层输出，进而本发明可以计算并排序问题与回复的相关概率：

[0078] p(s，c，r)＝f(sT(c TMd))

[0079] 其中，s，c，r，M在优化时通过张量分解得到，s是每家商店的个性化特征信息表示，M是经过张量分解后的核心张量。

[0080] 也就是说，本发明的LNTN模型通过两个LSTM神经网络分别对问题和答案进行特征抽取，两个LSTM神经网络的结构是相同的，且均为一层300个神经元的网络结构，然后将问题和答案句的每个词按顺序依次输入LSTM，得到问题和答案的特征向量表示，最后联合训练好的商店个性化特征通过张量进行直接交互计算相似性打分，实现了特征表示和相似度匹配，进而实现了为客户问题进行相似回复的筛选推荐功能。

[0081] 以上对本发明的一种向人工客服推荐回复内容的对话机器人的实现方法的实施方式进行了说明。对于本发明的一种向人工客服推荐回复内容的对话机器人的实现方法的具体特征可以根据上述披露的特征的作用进行具体设计，这些设计均是本领域技术人员能够实现的。而且，上述披露的各技术特征并不限于已披露的与其它特征的组合，本领域技术人员还可根据本发明之目的进行各技术特征之间的其它组合，以实现本发明之目的为准。