本发明涉及基于异构模型的用户满意度分析方法，包括：步骤A．对用户在客服工单中的咨询信息或在系统页面的操作序列数据中的至少其中一项进行采集；步骤B．记录用户当前的产品数据；步骤C．建立第一神经网络模型，包括第一输入层、第一特征嵌入层和第一输出层；步骤D．建立第二神经网络模型，包括第二输入层、第二特征嵌入层和第二输出层；步骤E．根据步骤C和D的输出，以及对应的产品数据，建立梯度提升树模型；步骤F．对一个用户一段时间内的咨询数据和操作序列通过该梯度提升树模型输出对应的满意度。本发明能够更准确的分析和预测用户当前对产品的满意度，对可能出现的不满意方面及时优化，有效提高用户的满意程度和降低投诉率。
1.基于异构模型的用户满意度分析方法，其特征包括：步骤A.对用户在客服工单中的咨询信息和用户在产品的系统页面中的操作序列数据进行采集，其中咨询信息通过录音设备和/或电子信息采集设备进行保存，操作序列数据通过系统处理器先保存在系统的缓存中，待用户操作结束后将缓存中的信息保存到磁盘存储器的第一存储区域中；
步骤B.通过系统处理器记录用户当前所咨询的产品的产品数据，并将所述的产品数据保存在磁盘存储器的第二存储区域中；
步骤C.在磁盘存储器的第三存储区域中建立第一神经网络模型，所述第一神经网络模型包括第一输入层、第一特征嵌入层和第一输出层；
其中第一输入层由至少两个全连接网络层构成，用于将所述第一存储区域中用户的咨询信息数据映射为对应的特征维度，并输出到特征嵌入层；
第一特征嵌入层由GRU网络层构成，用于特征嵌入，将第一输入层输出的各特征维度降维成固定大小的特征向量，便于处理和计算；
第一输出层由至少两个全连接层构成，用于将第一特征嵌入层的输出映射为最终的特征进行输出；
步骤D.在磁盘存储器的第四存储区域中建立第二神经网络模型，所述第二神经网络模型包括第二输入层、第二特征嵌入层和第二输出层；
其中第二输入层由至少两个全连接网络层构成，用于将所述第一存储区域中用户在产品的系统页面中的操作序列数据映射为对应的特征维度，并输出到特征嵌入层；
第二特征嵌入层由至少两个TCN网络层构成，用于特征嵌入，从第二输入层输出的特征维度中提取出用户操作行为中的有效特征；
第二输出层由至少两个全连接层构成，用于将第二特征嵌入层的输出映射为最终的特征进行输出；
步骤E.根据第一神经网络模型和第二神经网络模型的输出，以及所述第二存储区域中保存的对应的产品数据，建立梯度提升树模型，并将梯度提升树模型保存在磁盘存储器的第五存储区域中；
步骤F.收集一个用户一段时间内在客服工单中的咨询信息、在产品的系统页面中的操作序列数据，对收集的所有数据进行编码、标准化和归一化的处理，将处理后的咨询信息输入到第一神经网络模型，输出咨询特征，将处理后的操作序列数据输入到第二神经网络模型，输出操作序列特征，再将所述的咨询特征、操作序列特征和产品数据一并输入到所述第五存储区域的梯度提升树模型中，通过该梯度提升树模型分析并输出该用户这段时间内对对应产品的满意度。
2.如权利要求1所述的基于异构模型的用户满意度分析方法，其特征为：步骤E还包括对第一神经网络模型进行优化，包括：步骤E1.通过步骤E得到用户满意度初始标签；
步骤E2.随机初始化第一神经网络模型的参数，使其满足[‑1,1]之间的均匀分布；
步骤E3.通过步骤E2的输出和用户满意度初始标签计算交叉熵的第一损失函数；
步骤E4.通过梯度下降方法，以最小化第一损失函数来优化第一神经网络模型的参数；
步骤E5.重复步骤E4，直至第一损失函数的值不再变小，即得到了最优的第一神经网络模型。
3.如权利要求2所述的基于异构模型的用户满意度分析方法，其特征为：步骤E还包括对第二神经网络模型进行优化，包括：步骤E6.随机初始化第二神经网络模型的参数，使其满足标准正态分布；
步骤E7.通过步骤E6的输出和所述的用户满意度初始标签计算交叉熵的第二损失函数；
步骤E8.通过梯度下降方法，以最小化第二损失函数来优化第二神经网络模型的参数；
步骤E9.重复步骤E8，直至第二损失函数的值不再变小，即得到了最优的第二神经网络模型。
4.如权利要求3所述的基于异构模型的用户满意度分析方法，其特征为：在优化完第一神经网络和第二神经网络后，步骤E还包括对梯度提升树模型进行优化，包括：
步骤E10.最优的第一神经网络模型根据步骤C输出第一模型特征，最优的第二神经网络模型根据步骤D输出第二模型特征，通过第一模型特征、第二模型特征和第二存储区域中所述的产品数据，生成一棵CART决策树D1(x,θ1)，其中x表示第一模型特征、第二模型特征和产品数据的总集合，θ表示CART决策树D1中待优化的参数总集合；
步骤E11.使用CART决策树的输出值与所述的用户满意度初始标签计算交叉熵的第三损失函数，然后计算第三损失函数的梯度；
步骤E12.根据所述的第一模型特征、第二模型特征和产品数据，生成第i棵CART决策树Di(x,θi)，其中x为产品数据，1≤i≤M，i的初始值为1，M为预设的生成CART决策树的总数量，通过CART决策树Di(x,θi)来预测当前的第三损失函数的梯度；
步骤E13.将所述的第i棵CART决策树Di(x,θi)乘以学习率ε，将结果累加到当前的梯度提升树模型中，构成新的梯度提升树模型，并计算新的梯度提升树模型的损失函数梯度，将该损失函数梯度作为当前的第三损失函数的梯度；
步骤E14.循环执行步骤E12至步骤E13，每次循环生成的CART决策树Di(x,θi)随着当前的第三损失函数的梯度的不同而不同，并且每次循环后i＝i+1，直到i＝M，完成梯度提升树模型的优化。
5.如权利要求1至4之一所述的基于异构模型的用户满意度分析方法，其特征为：所述的客服工单中的咨询信息包括用户咨询的时间、内容和频次。
6.如权利要求1至4之一所述的基于异构模型的用户满意度分析方法，其特征为：所述用户在产品的系统页面中的操作序列数据包括用户操作事件的类型、操作事件发生的时间、浏览路径和设备类型。
7.如权利要求1至4之一所述的基于异构模型的用户满意度分析方法，其特征为：所述的产品数据包括产品的类型、使用时长和其他客户对该产品的评价。
基于异构模型的用户满意度分析方法
技术领域
[0001] 本发明涉及以动态、真实的样本来训练机器学习模型，并进行用户满意度分析方法，具体讲是基于异构模型的用户满意度分析方法。
背景技术
[0002] 随着人们的日常生活越来越多的涉及到银行、金融等领域，对这些领域的运营主体的投诉也逐渐增多。对于人们经常接触的银行来说，银行的各项服务、网银和APP的功能、
页面操作的便利性，都会影响用户对银行的满意度。因此，银行都尽力以用户为中心，关注
用户的需求和用户体验，降低用户投诉率，提升用户满意度作为日常经营的重点工作内容。
[0003] 目前银行大多是通过调查、回访得到用户反馈的满意度，不能预测样本外单个用户的满意度。只有在收到用户不满意的反馈或投诉后，再进行补救处理，无法做到防患于未
然。因此，需要一种方法来准确、主动的预测和分析用户对银行各层面的服务质量，在用户
进行投诉之前及时解决用户的问题，化被动为主动，能够有效的提高用户体验，提高银行的
服务质量和整体形象。
发明内容
[0004] 本发明提供了一种基于异构模型的用户满意度分析方法，以更准确的分析和预测用户当前对产品的满意度，使银行能够对可能出现的不满意方面及时优化，提高用户的满
意程度，降低投诉率。
[0005] 本发明基于异构模型的用户满意度分析方法，包括：
[0006] 步骤A．对用户在客服工单中的咨询信息（包括输入的文本、电话咨询的语音等）或用户在产品的系统页面中的操作序列数据中的至少其中一项进行采集，其中咨询信息通过
录音设备和/或电子信息采集设备进行保存，操作序列数据通过系统处理器先保存在系统
的缓存中，待用户操作结束后将缓存中的信息保存到磁盘存储器的第一存储区域中；
[0007] 步骤B．通过系统处理器记录用户当前所咨询的产品的产品数据，并将所述的产品数据保存在磁盘存储器的第二存储区域中；
[0008] 步骤C．在磁盘存储器的第三存储区域中建立第一神经网络模型，所述第一神经网络模型包括第一输入层、第一特征嵌入层和第一输出层；
[0009] 其中第一输入层由至少两个全连接网络层构成，用于将所述第一存储区域中用户的咨询信息数据映射为对应的特征维度，并输出到特征嵌入层；
[0010] 第一特征嵌入层由GRU网络层（Gated Recurrent Unit Network）构成，用于特征嵌入，将第一输入层输出的各特征维度降维成固定大小的特征向量，便于处理和计算；
[0011] 第一输出层由至少两个全连接层构成，用于将第一特征嵌入层的输出映射为最终的特征进行输出；
[0012] 步骤D．在磁盘存储器的第四存储区域中建立第二神经网络模型，所述第二神经网络模型包括第二输入层、第二特征嵌入层和第二输出层；
[0013] 其中第二输入层由至少两个全连接网络层构成，用于将所述第一存储区域中用户在产品的系统页面中的操作序列数据映射为对应的特征维度，并输出到特征嵌入层；
[0014] 第二特征嵌入层由至少两个TCN（时间卷积）网络层构成，用于特征嵌入，从第二输入层输出的特征维度中提取出用户操作行为中的有效特征；
[0015] 第二输出层由至少两个全连接层构成，用于将第二特征嵌入层的输出映射为最终的特征进行输出；
[0016] 步骤E．根据第一神经网络模型和第二神经网络模型的输出，以及所述第二存储区域中保存的对应的产品数据，建立梯度提升树（GBDT，Gradient Boosting Decision Tree）
模型，并将梯度提升树模型保存在磁盘存储器的第五存储区域中；
[0017] 步骤F．收集一个用户一段时间内在客服工单中的咨询信息、在产品的系统页面中的操作序列数据，对收集的所有数据进行编码、标准化和归一化的处理，将处理后的咨询信
息输入到第一神经网络模型，输出咨询特征，将处理后的操作序列数据输入到第二神经网
络模型，输出操作序列特征，再将所述的咨询特征、操作序列特征和产品数据一并输入到所
述第五存储区域的梯度提升树模型中，通过该梯度提升树模型分析并输出该用户这段时间
内对所述对应产品的满意度。
[0018] 本发明的分析方法采用了用户的工单数据、产品页面操作行为序列和产品数据这些结构化与非结构数据相结合，在磁盘存储器的存储结构中建立异构模型的存储结构来分
析客户对产品的满意度，通过端到端的对各模型进行有监督训练，采用深度学习的方法能
够有效提取和捕捉用户近期对某个产品满意度相关特征，进而从动态的角度和数据维度来
构造用户满意度的分析模型，由此提升了分析的准确性，并且通过的到的满意度结果，还能
够更准确的预测该用户对该产品是否可能会有不满意/投诉的方面和可能性。
[0019] 优选的，步骤E还包括对梯度提升树（GBDT）模型进行优化，包括：
[0020] 步骤E1．通过步骤E得到用户满意度初始标签；
[0021] 步骤E2．随机初始化第一神经网络模型的参数，使其满足[‑1,1]之间的均匀分布；因为一个神经网络模型有许多待优化的参数，在优化之前是不知道各参数的最优值是多少
的，因此先对所有参数随机初始化，再使用后续步骤将参数迭代至最优取值；
[0022] 步骤E3．通过步骤E2的输出和用户满意度初始标签计算交叉熵的第一损失函数；
[0023] 步骤E4．通过梯度下降方法，以最小化第一损失函数来优化第一神经网络模型的参数；
[0024] 步骤E5．重复步骤E4，直至第一损失函数的值不再变小，即得到了最优的第一神经网络模型。
[0025] 进一步的，步骤E还包括对第二神经网络进行优化，包括：
[0026] 步骤E6．随机初始化第二神经网络模型的参数，使其满足标准正态分布；
[0027] 步骤E7．通过步骤E6的输出和所述的用户满意度初始标签计算交叉熵的第二损失函数；
[0028] 步骤E8．通过梯度下降方法，以最小化第二损失函数来优化第二神经网络模型的参数；
[0029] 步骤E9．重复步骤E8，直至第二损失函数的值不再变小，即得到了最优的第二神经网络模型。
[0030] 进一步的，在优化完第一神经网络和第二神经网络后，步骤E还包括对梯度提升树模型进行优化，包括：
[0031] 步骤E10．最优的第一神经网络模型根据步骤C输出第一模型特征，最优的第二神经网络模型根据步骤D输出第二模型特征，通过第一模型特征、第二模型特征和第二存储区
域中所述的产品数据，生成一棵CART决策树（Classification And Regression Trees）D1
(x,θ1) ，其中x表示第一模型特征、第二模型特征和产品数据的总集合， 表示CART决策
树D1中待优化的参数总集合，例如特征分裂的节点、决策树的深度、特征分裂的次数、顺序
等参数；
[0032] 步骤E11．使用CART决策树的输出值与所述的用户满意度初始标签计算交叉熵的第三损失函数，然后计算第三损失函数的梯度；
[0033] 步骤E12．根据所述的第一模型特征、第二模型特征和产品数据，生成第i棵CART决策树 ，其中x为产品数据，1≤i≤M，i的初始值为1，M为预设的生成CART决策树的总
数量，通过CART决策树 来预测当前的第三损失函数的梯度；
[0034] 步骤E13．将所述的第i棵CART决策树 乘以学习率 ，将结果累加到当前的梯度提升树模型中，构成新的梯度提升树模型，并计算新的梯度提升树模型的损失函数梯
度，将该损失函数梯度作为当前的第三损失函数的梯度；
[0035] 步骤E14．循环执行步骤E12至步骤E13，每次循环生成的CART决策树 随着当前的第三损失函数的梯度的不同而不同，并且每次循环后i=i+1，直到i=M，完成梯度提升
树模型的优化。
[0036] 其中梯度下降算法为本领域的现有常规算法，其原理可以参考互联网上已公开的资料。
[0037] 在此基础上，具体的，所述的客服工单中的咨询信息至少包括用户咨询的时间、内容和频次。
[0038] 具体的，所述用户在产品的系统页面中的操作序列数据至少包括用户操作事件的类型、操作事件发生的时间、浏览路径和设备类型。
[0039] 具体的，所述的产品数据包括产品的类型、使用时长和其他客户对该产品的评价。
[0040] 本发明基于异构模型的用户满意度分析方法，通过在磁盘存储器的存储结构中建立相应的异构模型的存储结构，能够更准确的分析和预测用户当前对产品的满意度，使银
行能够对可能出现的不满意方面及时优化，能够有效提高用户的满意程度和降低投诉率。
[0041] 以下结合实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思
想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发
明的范围内。
附图说明
[0042] 图1为本发明基于异构模型的用户满意度分析方法的流程图。
[0043] 图2为通过图1的分析方法来分析和预测用户满意度的基本原理框图。
具体实施方式
[0044] 如图1所示本发明基于异构模型的用户满意度分析方法，包括：
[0045] 步骤A．对用户在客服工单中的咨询信息（包括输入的文本、电话咨询的语音等）和用户在产品的系统页面中的操作序列数据进行采集，其中咨询信息至少包括用户咨询的时
间、内容和频次等数据，并通过录音设备和/或电子信息采集设备进行保存。用户的操作序
列数据至少包括用户操作事件的类型、操作事件发生的时间、浏览路径和设备类型等，操作
序列数据通过系统处理器先保存在系统的缓存中，待用户操作结束后将缓存中的信息保存
到磁盘存储器的第一存储区域中。
[0046] 步骤B．通过系统处理器记录用户当前所咨询的产品的产品数据，包括产品的类型、使用时长和其他客户对该产品的评价等，并将所述的产品数据保存在磁盘存储器的第
二存储区域中。
[0047] 步骤C．在磁盘存储器的第三存储区域中建立第一神经网络模型，所述第一神经网络模型包括第一输入层、第一特征嵌入层和第一输出层。
[0048] 其中第一输入层由至少两个全连接网络层构成，用于将所述第一存储区域中用户的咨询信息数据映射为对应的特征维度，并输出到特征嵌入层。
[0049] 第一特征嵌入层由GRU网络层（Gated Recurrent Unit Network）构成，用于特征嵌入，将第一输入层输出的各特征维度降维成固定大小的特征向量，便于处理和计算（如求
距离等）。特征嵌入的方式可以类比为一个全连接层，通过embedding层的权重矩阵计算，将
数据转化为固定大小的特征来表示。
[0050] 第一输出层由至少两个全连接层构成，用于将第一特征嵌入层的输出映射为最终的特征进行输出。第一输出层和第一输入层的结构类似，只在神经元个数和层数上不同。
[0051] 步骤D．在磁盘存储器的第四存储区域中建立第二神经网络模型，所述第二神经网络模型包括第二输入层、第二特征嵌入层和第二输出层。
[0052] 其中第二输入层由至少两个全连接网络层构成，用于将所述第一存储区域中用户在产品的系统页面中的操作序列数据映射为对应的特征维度，并输出到特征嵌入层。
[0053] 第二特征嵌入层由至少两个TCN（时间卷积）网络层（Temporal Convolution Neural Network）构成，用于特征嵌入，从第二输入层输出的特征维度中提取出用户操作行
为中的有效特征。
[0054] 第二输出层由至少两个全连接层构成，用于将第二特征嵌入层的输出映射为最终的特征进行输出。第二输出层和第二输入层的结构类似，只在神经元个数和层数上不同。
[0055] 步骤E．根据第一神经网络模型和第二神经网络模型的输出，以及所述第二存储区域中保存的对应的产品数据，建立梯度提升树（GBDT）模型，并将梯度提升树模型保存在磁
盘存储器的第五存储区域中。
[0056] 然后对各模型进行优化，具体为：
[0057] 步骤E1．通过步骤E得到用户满意度初始标签y。
[0058] 步骤E2．随机初始化第一神经网络模型的参数，使其满足[‑1,1]之间的均匀分布。因为一个神经网络模型有许多待优化的参数，在优化之前是不知道各参数的最优值是多少
的，因此先对所有参数随机初始化，再使用后续步骤将参数迭代至最优取值。
[0059] 步骤E3．通过步骤E2的输出和用户满意度初始标签y计算交叉熵的第一损失函数。其中计算交叉熵的损失函数的方法和公式为本领域的现有常规方法，本领域技术人员能够
知晓，也能够在已公开的文献和资料中查询获知，在此不做详述。
[0060] 步骤E4．通过梯度下降方法（现有常规方法），以最小化第一损失函数（Min Loss1）来优化第一神经网络模型的参数。
[0061] 步骤E5．重复步骤E4，直至第一损失函数的值Loss1不再变小，即得到了最优的第一神经网络模型。
[0062] 进一步的，步骤E还包括对第二神经网络进行优化，包括：
[0063] 步骤E6．随机初始化第二神经网络模型的参数，使其满足标准正态分布。
[0064] 步骤E7．通过步骤E6的输出和所述的用户满意度初始标签y计算交叉熵的第二损失函数。
[0065] 步骤E8．通过梯度下降方法，以最小化第二损失函数（Min Loss2）来优化第二神经网络模型的参数。
[0066] 步骤E9．重复步骤E8，直至第二损失函数的值Loss2不再变小，即得到了最优的第二神经网络模型。
[0067] 进一步的，在优化完第一神经网络和第二神经网络后，再对梯度提升树（GBDT）模型进行优化，包括：
[0068] 步骤E10．最优的第一神经网络模型根据步骤C输出第一模型特征，最优的第二神经网络模型根据步骤D输出第二模型特征，通过第一模型特征、第二模型特征和第二存储区
域中所述的产品数据，生成一棵CART决策树（Classification And Regression Trees）D1
(x,θ1) ，其中x表示第一模型特征、第二模型特征和产品数据的总集合， 表示CART决策
树D1中待优化的参数总集合，例如特征分裂的节点、决策树的深度、特征分裂的次数、顺序
等参数。
[0069] 步骤E11．使用CART决策树的输出值与所述的用户满意度初始标签y计算交叉熵的第三损失函数。
[0070] 步骤E12．根据所述的第一模型特征、第二模型特征和产品数据，生成第i棵CART决策树 ，其中x为产品数据，1≤i≤M，i的初始值为1，M为预设的生成CART决策树的总
数量，通过CART决策树 来预测当前的第三损失函数的梯度。
[0071] 步骤E13．将所述的第i棵CART决策树 乘以学习率 ，将结果累加到当前的梯度提升树模型中，构成新的梯度提升树模型，并计算新的梯度提升树模型的损失函数
梯度： ，其中 表示求偏导数的数学符号。将该损失函数梯度作为当前的
第三损失函数的梯度。
[0072] 步骤E14．循环执行步骤E12至步骤E13，每循环一次i=i+1，因为每次循环后当前的第三损失函数的梯度都不同，因此每次循环生成的CART决策树 也不同，直到i=M，
完成梯度提升树模型的优化。
[0073] 可以采用现有的损失函数梯度下降的优化方式，该优化方式的总体思路为：
[0074] 假定模型要分析/预测的样本数量为N，在二分的情况下，模型最后需要预测的结果只有两种情况，对于每个类别的预测得到的概率为p和1－p，因此优化的目标函数为：
[0075] ，
[0076] 其中L为损失函数（即目标函数），N为要分析/预测的样本数量，i=(1,2,3…N)，为模型对第i样本的真实标签（在本发明中指的是用户对服务是否满意，满意取0，不满意取
1），pi为模型对第i样本预测后得到的值。
[0077] 计算目标函数对偏置项参数的偏导数：
[0078] ，
[0079] 其中W和b均为机器学习模型中的偏置项参数， 和 分别表示对损失函数求W和b的偏导数。一个机器学习模型通常要包含三个必要的部分，第一部分是用以预测的变
量X，第二部分即模型本身的算法，第三部分即需要预测的目标Z，对于偏置项参数而言，例
如可以是 。
[0080] 然后更新参数W（更新后为W1）和b（更新后为b1）： ，，W0和b0都是随机初始化模型参数后得到的偏置项参数的初始值。
[0081] 其中 为学习率，多次重复这个过程，直至Loss不再变小（收敛），即完成优化过程。上述梯度下降算法为本领域的现有常规算法，其原理和更具体的实现方式可以参考互联网
上已公开的资料。
[0082] 步骤F．收集一个用户一段时间内在客服工单中的咨询信息、在产品的系统页面中的操作序列数据，对收集的所有数据进行编码、标准化和归一化的处理，将处理后的咨询信
息输入到第一神经网络模型，输出咨询特征，将处理后的操作序列数据输入到第二神经网
络模型，输出操作序列特征，再将所述的咨询特征、操作序列特征和产品数据一并输入到所
述第五存储区域的梯度提升树模型中，通过该梯度提升树模型分析并输出该用户这段时间
内对所述对应产品的满意度。
[0083] 通过本发明的分析方法来分析和预测用户满意度的基本原理如图2所示：例如有一个用户，他在近期对于使用的金融产品有一些疑问或者不满，通常他会打开APP查看所用
产品的相关页面，并进行一些操作，同时也可能通过APP在线客服或拨打热线咨询反馈问
题。这些操作所产生的数据均可用来分析和预测该用户对于所用产品的满意度。将在线客
服工单收集到的APP在线咨询的文本类、电话咨询的语音类数据编码后输入第一神经网络，
通过APP收集到的用户在APP页面操作的操作行为序列数据输入第二神经网络，再将两个神
经网络最后的输出特征结合用户使用的产品的产品信息输入训练好的梯度提升树（GBDT）
模型，通过GBDT模型分析后以文本形式输出该用户对于该产品的满意程度。
