一种用户偏好估计方法及装置

摘要

本申请涉及计算机领域，特别涉及人工智能技术领域，公开了一种用户偏好估计方法及装置，用以提高用户偏好预测准确率，该方法包括：获得待预测的多媒体内容的内容信息；将内容信息输入特征提取子模型，得到内容信息归属类别对应的目标内容特征；将目标内容特征输入偏好估计子模型，获得内容信息的目标用户偏好预测结果，偏好估计子模型和特征提取子模型中的至少一个子模型，是基于分类模型对样本内容信息的预测分类结果和实际归属类别之间的损失、以及基于所述用户偏好模型对样本内容信息的用户偏好预测结果和实际预测结果之间的损失进行参数调整获得的。模型在进行用户偏好估计时，引入多媒体内容归属类别对用户偏好的影响，提高了准确率。

权利要求

1.一种用户偏好估计方法，其特征在于，基于用户偏好模型对用户偏好进行估计，所述用户偏好模型包括特征提取子模型和偏好估计子模型，所述方法包括：获得待预测的多媒体内容的内容信息；

将所述内容信息输入所述特征提取子模型，得到所述内容信息归属类别对应的目标内容特征；

将所述目标内容特征输入所述偏好估计子模型，获得所述内容信息的目标用户偏好预测结果，所述偏好估计子模型和所述特征提取子模型之中的至少一个子模型，是基于分类模型对样本内容信息的预测分类结果和实际归属类别之间的损失、以及基于所述用户偏好模型对所述样本内容信息的用户偏好预测结果和实际预测结果之间的损失进行参数调整获得的，所述分类模型包括用于识别所述样本内容信息中影响用户偏好的类别词语和单张类别图像中至少一种的分类模型，以及用于识别所述样本内容信息中影响用户偏好的类别语句和至少一组类别图像序列中至少一种的分类模型。

2.如权利要求1所述的方法，其特征在于，所述偏好估计子模型和所述特征提取子模型之中的至少一个子模型，是基于分类模型对样本内容信息的预测分类结果和实际归属类别之间的损失、以及基于所述用户偏好模型对所述样本内容信息的用户偏好预测结果和实际预测结果之间的损失进行参数调整获得的，具体包括：从训练数据集中获取多媒体内容的训练样本，所述训练样本包括样本内容信息、训练样本的用户偏好实际结果和实际分类结果；

将所述样本内容信息输入所述特征提取子模型得到所述样本内容信息的内容特征，并将所述内容特征输入所述偏好估计子模型获得所述样本内容信息的用户偏好预测结果；

将所述内容特征输入分类模型，确定所述样本内容信息的预测分类结果；

基于所述用户偏好预测结果与所述用户偏好实际结果之间的第一损失，以及所述预测分类结果与所述实际分类结果之间的第二损失，确定总损失；

基于所述总损失对所述特征提取子模型和所述偏好估计子模型中至少一个模型的参数进行调整，直至所述总损失满足收敛条件，得到已训练的用户偏好模型。

3.如权利要求2所述的方法，其特征在于，所述样本内容信息为所述多媒体内容的文本信息，所述特征提取子模型包括第一特征提取网络和第二特征提取网络，其中：所述将所述样本内容信息输入所述特征提取子模型得到所述样本内容信息的内容特征，具体包括：基于所述第一特征提取网络对所述文本信息进行分词处理，得到对应的词列表，并对所述词列表进行向量化处理，确定每一个词对应的词向量，得到词向量矩阵；

基于所述第二特征提取网络对所述词向量矩阵进行语义挖掘处理，得到所述内容特征。

4.如权利要求3所述的方法，其特征在于，所述分类模型包括第一分类模型和第二分类模型，所述预测分类结果具体包括：将所述词向量矩阵输入所述第一分类模型获得第一预测分类结果，并将所述内容特征输入所述第二分类模型获得第二预测分类结果；

所述预测分类结果与所述实际分类结果之间的第二损失，具体包括：所述第一预测分类结果与所述实际分类结果之间的损失，和所述第二预测分类结果与所述实际分类结果之间的损失。

5.如权利要求2所述的方法，其特征在于，所述样本内容信息为所述多媒体内容的图像序列时，特征提取网络包括残差学习子模型和第三特征提取网络，所述将所述样本内容信息输入所述特征提取子模型得到所述样本内容信息的内容特征，具体包括：利用残差学习子模型对所述图像序列中的各个图像进行特征提取，确定每一张图像对应的图像向量，得到图像向量矩阵；

基于所述第三特征提取网络对所述图像向量矩阵进行图像内容分析处理，得到所述内容特征。

6.如权利要求5所述的方法，其特征在于，所述分类模型包括第三分类模型和第四分类模型，所述预测分类结果具体包括：将所述图像向量矩阵输入所述第三分类模型获得第三预测分类结果，并将所述内容特征输入所述第四分类模型获得第四预测分类结果；

所述预测分类结果与所述实际分类结果之间的第二损失，具体包括：所述第三预测分类结果与所述实际分类结果之间的损失，和所述第四预测分类结果与所述实际分类结果之间的损失。

7.如权利要求2所述的方法，其特征在于，基于所述总损失对所述特征提取子模型和所述偏好估计子模型中至少一个模型的参数进行调整，包括：利用所述总损失，确定所述特征提取子模型中权重矩阵的第一梯度，并按照所述第一梯度的方向对所述特征提取子模型的参数进行调整；或者利用所述总损失，确定所述偏好估计子模型的第二梯度，并按照所述第二梯度的方向对所述偏好估计子模型的参数进行调整；或者利用所述总损失，确定特征提取子模型中权重矩阵的第一梯度和所述用户偏好模型的第二梯度，按照所述第一梯度的方向对所述特征提取子模型的参数进行调整，并按照所述第二梯度的方向所述偏好估计子模型的参数进行调整。

8.一种用户偏好估计装置，其特征在于，基于用户偏好模型对用户偏好进行估计，装置包括：获取单元，用于获得待预测的多媒体内容的内容信息；

特征提取单元，用于采用特征提取子模型，根据所述内容信息得到所述内容信息归属类别对应的目标内容特征；

偏好估计单元，用于采用偏好估计子模型，根据所述目标内容特征获得所述内容信息的目标用户偏好预测结果，所述偏好估计子模型和所述特征提取子模型之中的至少一个子模型，是基于分类模型对样本内容信息的预测分类结果和实际归属类别之间的损失、以及基于所述用户偏好模型对所述样本内容信息的用户偏好预测结果和实际预测结果之间的损失进行参数调整获得的，所述分类模型包括用于识别所述样本内容信息中影响用户偏好的类别词语和单张类别图像中至少一种的分类模型，以及用于识别所述样本内容信息中影响用户偏好的类别语句和至少一组类别图像序列中至少一种的分类模型。

9.如权利要求8所述的装置，其特征在于，所述装置还包括训练单元，所述训练单元用于根据对所述特征提取子模型和所述偏好估计子模型进行训练，训练方法包括：从训练数据集中获取多媒体内容的训练样本，所述训练样本包括样本内容信息、训练样本的用户偏好实际结果和实际分类结果；

将所述样本内容信息输入所述特征提取子模型得到所述样本内容信息的内容特征，并将所述内容特征输入所述偏好估计子模型获得所述样本内容信息的用户偏好预测结果；

将所述内容特征输入分类模型，确定所述样本内容信息的预测分类结果；

基于所述用户偏好预测结果与所述用户偏好实际结果之间的第一损失，以及所述预测分类结果与所述实际分类结果之间的第二损失，确定总损失；

基于所述总损失对所述特征提取子模型和所述偏好估计子模型中至少一个模型的参数进行调整，直至所述总损失满足收敛条件，得到已训练的用户偏好模型。

10.如权利要求9所述的装置，其特征在于，所述样本内容信息为所述多媒体内容的文本信息，所述特征提取子模型包括第一特征提取网络和第二特征提取网络，其中：所述训练单元具体用于：

基于所述第一特征提取网络对所述文本信息进行分词处理，得到对应的词列表，并对所述词列表进行向量化处理，确定每一个词对应的词向量，得到词向量矩阵；

基于所述第二特征提取网络对所述词向量矩阵进行语义挖掘处理，得到所述内容特征。

11.如权利要求10所述的装置，其特征在于，所述分类模型包括第一分类模型和第二分类模型，所述训练单元具体用于：将所述词向量矩阵输入所述第一分类模型获得第一预测分类结果，并将所述内容特征输入所述第二分类模型获得第二预测分类结果；

所述预测分类结果与所述实际分类结果之间的第二损失，具体包括：所述第一预测分类结果与所述实际分类结果之间的损失，和所述第二预测分类结果与所述实际分类结果之间的损失。

12.如权利要求9所述的装置，其特征在于，所述样本内容信息为所述多媒体内容的图像序列时，特征提取网络包括残差学习子模型和第三特征提取网络，所述训练单元具体用于：利用残差学习子模型对所述图像序列中的各个图像进行特征提取，确定每一张图像对应的图像向量，得到图像向量矩阵；

基于所述第三特征提取网络对所述图像向量矩阵进行图像内容分析处理，得到所述内容特征。

13.如权利要求12所述的装置，其特征在于，所述分类模型包括第三分类模型和第四分类模型，所述训练单元具体用于：将所述图像向量矩阵输入所述第三分类模型获得第三预测分类结果，并将所述内容特征输入所述第四分类模型获得第四预测分类结果；

所述预测分类结果与所述实际分类结果之间的第二损失，具体包括：所述第三预测分类结果与所述实际分类结果之间的损失，和所述第四预测分类结果与所述实际分类结果之间的损失。

14.一种电子设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行权利要求1 7中任一所述~方法的步骤。

15.一种计算机可读存储介质，其特征在于，其包括程序代码，当所述程序代码在电子设备上运行时，所述程序代码用于使所述电子设备执行权利要求1 7中任一所述方法的步~骤。

说明书

一种用户偏好估计方法及装置

技术领域

[0001] 本申请涉及计算机领域，特别涉及人工智能技术领域，公开了一种用户偏好估计方法及装置。

背景技术

[0002] 随着大数据时代的到来，互联网上存在着海量的多媒体内容（如视频、音乐、图像等），使用用户偏好模型对海量的多媒体内容进行用户偏好预测，将预测结果为用户感兴趣的多媒体内容推送给用户。但传统的用户偏好模型只能从多媒体内容的文本信息（如标题、字幕等）或视觉信息（如视频帧等）中提取用户偏好特征，再基于用户偏好特征进行预测用户对多媒体内容是否感兴趣。

[0003] 可是同一用户对不同类型的多媒体内容的偏好是不同的，不同用户对同一类型的多媒体内容的偏好也是不同的，仅采用上述识别方法，是不能很好地预测出用户对某一类多媒体内容的偏好。

发明内容

[0004] 本申请实施例提供一种用户偏好估计方法及装置，用以提高用户偏好预测准确率。

[0005] 本申请实施例提供的一种用户偏好估计方法，基于用户偏好模型对用户偏好进行估计，所述用户偏好模型包括特征提取子模型和偏好估计子模型，所述方法包括：

[0006] 获得待预测的多媒体内容的内容信息；

[0007] 将所述内容信息输入所述特征提取子模型，得到所述内容信息归属类别对应的目标内容特征；

[0008] 将所述目标内容特征输入所述偏好估计子模型，获得所述内容信息的目标用户偏好预测结果，所述偏好估计子模型和所述特征提取子模型之中的至少一个子模型，是基于分类模型对样本内容信息的预测分类结果和实际归属类别之间的损失、以及基于所述用户偏好模型对所述样本内容信息的用户偏好预测结果和实际预测结果之间的损失进行参数调整获得的。

[0009] 本申请实施例提供的一种用户偏好估计装置，基于用户偏好模型对用户偏好进行估计，装置包括：

[0010] 获取单元，用于获得待预测的多媒体内容的内容信息；

[0011] 特征提取单元，用于采用特征提取子模块，根据所述内容信息得到所述内容信息归属类别对应的目标内容特征；

[0012] 偏好估计单元，用于采用偏好估计子模型，根据所述目标内容特征获得所述内容信息的目标用户偏好预测结果，所述偏好估计子模型和所述特征提取子模型之中的至少一个子模型，是基于分类模型对样本内容信息的预测分类结果和实际归属类别之间的损失、以及基于所述用户偏好模型对所述样本内容信息的用户偏好预测结果和实际预测结果之间的损失进行参数调整获得的。

[0013] 可选的，所述训练单元用于：

[0014] 利用所述总损失，确定所述特征提取子模型中权重矩阵的第一梯度，并按照所述第一梯度的方向对所述特征提取子模型的参数进行调整；或者

[0015] 利用所述总损失，确定所述偏好估计子模型的第二梯度，并按照所述第二梯度的方向对所述偏好估计子模型的参数进行调整；或者

[0016] 利用所述总损失，确定所述特征提取子模型中权重矩阵的第一梯度和所述用户偏好模型的第二梯度，按照所述第一梯度的方向对所述特征提取子模型的参数进行调整，并按照所述第二梯度的方向所述偏好估计子模型的参数进行调整。

[0017] 本申请实施例提供的一种电子设备，包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行上述任意一种用户偏好估计方法的步骤。

[0018] 本申请实施例提供一种计算机可读存储介质，其包括程序代码，当所述程序代码在电子设备上运行时，所述程序代码用于使所述电子设备执行上述任意一种用户偏好估计方法的步骤。

[0019] 本申请有益效果如下：

[0020] 本申请实施例提供了一种用户偏好估计方法及装置，基于用户偏好模型对用户偏好进行估计，用户偏好模型包括特征提取子模型和偏好估计子模型，该方法包括：获得待预测的多媒体内容的内容信息；将内容信息输入特征提取子模型，得到内容信息归属类别对应的目标内容特征；将目标内容特征输入偏好估计子模型，获得内容信息的目标用户偏好预测结果，偏好估计子模型和特征提取子模型中的至少一个子模型，是基于分类模型对样本内容信息的预测分类结果和实际归属类别之间的损失、以及基于所述用户偏好模型对样本内容信息的用户偏好预测结果和实际预测结果之间的损失进行参数调整获得的。在训练过程中，引入多媒体内容归属类别这一属性，以使用户偏好模型同时学习到类别和用户偏好两种属性；这样，在使用过程中，用户偏好模型才可以从待预测的多媒体内容的内容信息中提取出归属类别对应的特征，更好地预测出用户对不同类别多媒体内容的偏好程度，提高用户偏好预测准确率。

[0021] 本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

[0022] 此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

[0023] 图1为本申请实施例中应用场景的一个可选的示意图；

[0024] 图2为本申请实施例中训练用户偏好模型的流程示意图；

[0025] 图3为本申请实施例中的一种视频对应的图像序列的示意图；

[0026] 图4a为本申请实施例中的Bi_LSTM的架构示意图；

[0027] 图4b为本申请实施例中的传统RNN隐藏层的架构示意图；

[0028] 图4c为本申请实施例中的Bi_LSTM隐藏层的架构示意图；

[0029] 图5为本申请实施例中的一种空洞卷积方法的示意图；

[0030] 图6a为具体实施例一的用户偏好模型的架构示意图；

[0031] 图6b为具体实施例一的训练用户偏好模型的流程示意图；

[0032] 图7a为具体实施例二的用户偏好模型的架构示意图；

[0033] 图7b为具体实施例二的训练用户偏好模型的流程示意图；

[0034] 图8为本申请实施例中的用户偏好估计的流程示意图；

[0035] 图9为本申请实施例中的一种用户偏好估计装置的架构示意图；

[0036] 图10为本申请实施例中的一种电子设备的一个硬件组成结构示意图；

[0037] 图11为本申请实施例中的一个计算装置的结构示意图。

具体实施方式

[0038] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。

[0039] 本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

[0040] 本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

[0041] 以下对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

[0042] 1、人工智能(Artificial Intelligence, AI)：

[0043] 人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

[0044] 人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术；人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。随着人工智能技术研究和进步，人工智能在多个领域展开研究和应用，例如常见的智能家居、智能客服、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、机器人、智能医疗等，相信随着技术的发展，人工智能将在更多的领域得到应用，并发挥越来越重要的价值。

[0045] 2、自然语言处理(Nature Language processing, NLP)：

[0046] 自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

[0047] 3、机器学习(Machine Learning, ML)：

[0048] 机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

[0049] 4、多任务学习：

[0050] 多任务学习是利用在相似任务上训练的模型作为模型初始点在原本任务上进行再训练的方法，通过共享模型学到的知识，迁移学习可以加快模型的学习效率并提高模型的泛化性。

[0051] 5、双向长短期记忆网络（Bidirection Long Short‑Term Memory，Bi_LSTM）：

[0052] Bi_LSTM是一种时间递归神经网络，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题而设计的网络。

[0053] 6、快速梯度下降法（Fast Gradient Method，FGM）：

[0054] 快速梯度下降法通过向梯度上升的方向调整用户偏好模型的参数，不断优化用户偏好模型，以使该模型输出的用户偏好预测结果不断逼近用户偏好实际结果。

[0055] 下面对本申请实施例的设计思想进行简要介绍。

[0056] 随着大数据时代的到来，互联网上存在着海量的视频、音乐、图像、新闻资讯等多媒体内容，通常是使用推荐系统对海量多媒体内容进行过滤、筛选，将用户可能感兴趣的多媒体内容推荐给使用者，而在整个推送过程中，最重要的是对用户偏好的预测。

[0057] 通常是使用多媒体内容的文本信息（如标题、字幕等）、或者视觉信息（如视频封面、视频帧等）训练用户偏好模型的，这样在使用已训练的用户偏好模型时，该模型只能从文本信息或视觉信息中提取用户偏好特征，再基于用户偏好特征进行预测，获得多媒体内容的用户偏好预测结果。但是同一用户对不同类型的多媒体内容的偏好是不同的，不同用户对同一类型的多媒体内容的偏好也是不同的，但采用上述识别方法，不能很好地预测出用户对某一类多媒体内容的偏好，降低了用户偏好模型的预测准确率。

[0058] 有鉴于此，本申请实施例提供了一种新的用户偏好估计方法。基于用户偏好模型对用户偏好进行估计，用户偏好模型包括特征提取子模型和偏好估计子模型，该方法包括：获得待预测的多媒体内容的内容信息；将内容信息输入特征提取子模型，得到内容信息归属类别对应的目标内容特征；将目标内容特征输入偏好估计子模型，获得内容信息的目标用户偏好预测结果，偏好估计子模型和特征提取子模型中的至少一个子模型，是基于分类模型对样本内容信息的预测分类结果和实际归属类别之间的损失、以及基于所述用户偏好模型对样本内容信息的用户偏好预测结果和实际预测结果之间的损失进行参数调整获得的。在训练过程中，引入多媒体内容归属类别这一属性，以使用户偏好模型同时学习到类别和用户偏好两种属性；这样，在使用过程中，用户偏好模型才可以从待预测的多媒体内容的内容信息中提取出归属类别对应的特征，更好地预测出用户对不同类别多媒体内容的偏好程度，提高用户偏好预测准确率。

[0059] 以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

[0060] 如图1所示，其为本申请实施例的应用场景示意图。该应用场景图中包括两个终端设备110和一个服务器130，可通过终端设备110登录应用操作界面120。终端设备110与服务器130之间可以通过通信网络进行通信。

[0061] 在一种可选的实施方式中，通信网络是有线网络或无线网络。终端设备110以及服务器130可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

[0062] 在本申请实施例中，终端设备110为用户使用的电子设备，该电子设备可以是个人计算机、手机、平板电脑、笔记本、电子书阅读器、智能家居等具有一定计算能力并且运行有即时通讯类软件及网站或者社交类软件及网站的计算机设备。各终端设备110通过无线网络与服务器130，服务器130可以是独立的物理服务器130，也可以是多个物理服务器130构成的服务器130集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content Delivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器130。

[0063] 其中，本申请实施例中的用户偏好模型可以部署在终端设备上，也可以部署在服务器上。由于用户偏好模型只能由后端的服务器完成训练操作，因此，当用户偏好模型部署在终端设备上时，终端设备接收服务器发送的已训练的用户偏好模型，卸载本地上原先安装的用户偏好模型，把已训练的用户偏好模型安装在本地上，这样当终端设备获取到待预测的多媒体内容的内容信息时，可以将内容信息输入用户偏好模型，获得内容信息的用户偏好预测结果。当用户偏好模型部署在服务器上时，服务器从训练数据集中获取多媒体内容的训练样本，该训练样本包括样本内容信息、训练样本的用户偏好实际结果和实际分类结果；将样本内容信息输入特征提取子模型得到样本内容信息的内容特征，并将内容特征输入偏好估计子模型获得样本内容信息的用户偏好预测结果；将内容特征输入分类模型，确定样本内容信息的预测分类结果；再基于用户偏好预测结果与用户偏好实际结果之间的第一损失，以及预测分类结果与实际分类结果之间的第二损失，确定总损失；基于总损失对特征提取子模型和偏好估计子模型中至少一个模型的参数进行调整，直至总损失满足收敛条件，得到已训练的用户偏好模型。在完成对用户偏好模型的训练后，服务器终端设备可以接收终端设备获取的待预测的多媒体内容的内容信息，将内容信息输入用户偏好模型，获得内容信息的用户偏好预测结果，之后服务器再将用户偏好预测结果返回给终端设备。

[0064] 为了便于理解，本申请实施例先介绍用户偏好模型的训练过程。参阅图2所示，是本申请实施例提供的训练用户偏好模型的实施流程图，该方法的具体实施流程如下：

[0065] S201：从训练数据集中获取多媒体内容的训练样本，该训练样本包括样本内容信息、训练样本的用户偏好实际结果和实际分类结果。

[0066] 其中，多媒体内容指所有数字传输的资源，包括图片、文字、声音、视频、动画，还有衍生的一些表现方式，比如flash（固态存储器与动画编辑器）、vrml（Virtual Reality Modeling Language，虚拟现实建模语言）、交互媒体、游戏、网页等都属于多媒体内容。而在本申请实施例中，多媒体内容可以是指文字类多媒体内容，例如新闻资讯、公众号文章等；多媒体内容也可以是指包含图像内容的多媒体内容，例如视频、动画、动态图片或是照片等。

[0067] 其中，动态图片是指当一组特定的静态图像以指定的频率切换而产生某种动态效果的图片。网络上常见的表现形式是Gif（Graphics Interchange Format，图像互换格式）动画，它是通过对多图层的图片，按时间进行不同的切换，从而达到动画的效果。在下文中也可简称为动图。

[0068] 在本申请实施例中，若多媒体内容为文字类多媒体内容时，对应的样本内容信息为多媒体内容的文本信息和图像序列之一的任意组合。例如，当多媒体内容为新闻资讯时，该条新闻资讯的标题、文章内容构成了文本信息，而该条新闻资讯中插入的图片、动图、视频构成了图片序列。

[0069] 考虑到视频一般都具有一定的时长，会包含连续多帧图像，因而图像序列可以是一组，也可以是多组，具体可根据视频段的时间长短来确定。每一组图像序列是从视频的不同视频段中获得，其中，图像序列中图像的数量是一定的，具体可依据实际情况进行限定。此外若一个动画或者是动态图片等也包含不少于N帧图像时，也可看作是视频。具体的，对于单张图片而言，其所包含的图像数量N=1。对于动态图片而言，一般情况下包含的图像的数量小于一组图像序列中应该包含的图像的数量，例如在一组图像序列包含30张图像，而动态图片中包含的静态图像有5张，此时则可通过复制、插帧等方式，构建一组包含30张图像的图像序列。

[0070] 此外，需要说明的是，若在复制过程中出现了图像信息损耗等情况时，还可进一步对出现图像信息损耗的复制图像进行图像恢复，或者是舍弃出现问题的复制图像，重新复制等，以尽量保证图像信息的完整性，减小误差带来的影响。

[0071] 本申请实施例中是以一组图像序列包含30张图像为例进行举例说明的。例如，一个时长20秒，帧率为30帧每秒的视频，可将该视频拆分成20组图像序列，每组图像序列包括一秒钟视频对应的30帧图像，即30张序列图片。

[0072] 此外，除了上述所列举的以秒为时间周期划分图像序列时，将一秒钟视频包含的30帧图像划分为一组图像序列的方式之外，也可采用抽帧等方式，即每隔几帧图像进行一次抽帧，例如一秒钟30帧图像中，每5帧中抽取一帧，则一秒钟视频段可抽取出6帧图像。5秒的视频段一共可抽取30帧图像，组成一组图像序列，则20秒的视频对应的图像序列一共有4组。

[0073] 参阅图3所示，其为本申请实施例中的一种视频对应的图像序列的示意图。该图中示出的是一个时长为5秒的视频，以1秒为时间间隔，可将该视频划分为5个视频段，一个视频段时长为1秒，这样该视频一共对应有5组图像序列，如图3所示的图像序列1、图像序列2、图像序列3、图像序列4和图像序列5。其中，每组图像序列包含30张图像，即每一秒钟视频段中的30帧连续的图像。

[0074] 需要说明的是，上述实施例中所列举的对于视频而言构建图像序列的方式只是举例说明，实际上任何一种从多媒体内容的至少一个视频段中获得图像序列的方式都适用于本申请实施例，在此不做具体限定。

[0075] 在本申请实施例中，若多媒体内容为包含图像内容的多媒体内容时，对应的样本内容信息可以为多媒体内容的文本信息和图像序列之一的任意组合。例如，多媒体内容为视频时，视频的标题、字幕构成了文本信息，而视频封面、视频帧构成了图像序列。

[0076] 训练样本的用户偏好实际结果表示用户对多媒体内容的真实偏好，例如，用户喜欢看纪实类电影，不喜欢看搞笑综艺。训练样本的实际分类结果表示多媒体内容归属的类别，是一种多媒体内容自身的属性，例如，这个视频属于电视剧片段节选。在本申请实施例中，用户偏好实际结果和实际分类结果都是作为训练数据，对应的概率通常为1，即在训练过程中将用户偏好实际结果和实际分类结果都看做是正样本。

[0077] S202：将样本内容信息输入特征提取子模型得到样本内容信息的内容特征，并将内容特征输入偏好估计子模型获得样本内容信息的用户偏好预测结果。

[0078] 在步骤201中提及了样本内容信息可为文本信息和图像序列之一的任意组合，因此，针对不同的样本内容信息其提取方式也会有所不同。

[0079] （1）当样本内容信息为多媒体内容的文本信息，特征提取子模型包括第一特征提取网络和第二特征提取网络。

[0080] 首先，基于第一特征提取网络对文本信息进行分词处理，得到对应的词列表，并对词列表进行向量化处理，确定每一个词对应的词向量，得到词向量矩阵。

[0081] 具体地，可对文本进行清洗，利用分词工具对文本分词，再利用词袋法、TF‑IDF等方法将文本表示成向量形式再将其输入分类器如SVM、决策树等以得到最终结果。

[0082] 其次，基于第二特征提取网络对词向量矩阵进行语义挖掘处理，得到内容特征。

[0083] RNN是一种循环神经网络，广泛应用于计算机视觉技术、自然语言处理技术等方向，这种网络的本质特征是在处理单元之间既有内部的反馈连接、又有前馈连接，相比于前馈神经网络来说，RNN在计算过程中具有更强的动态行为和计算能力。正是由于RNN的这一特性，导致RNN很容易出现长期依赖（Long‑Term Dependencies）问题——即当前的系统状态不仅受到前一时刻的系统状态影响，还可能受到很长时间之前的系统状态影响。例如，让RNN从“这块冰糖味道真 ”这句话里预测下一个词，是很容易得出“甜”这个词的；如果让RNN从“他吃了一口菜，被辣得流出了眼泪，满脸通红。旁边的人赶紧给他倒了一杯凉水，他咕咚咕咚地喝了两口，才逐渐恢复正常。他气愤地说道：‘这个菜味道真 ’”这段话里预测下一个词，RNN是很难输出“辣”这个词的。

[0084] 为了克服上述提及的长期依赖问题，本申请实施例的第二特征网络采用Bi_LSTM对词向量矩阵进行语义挖掘处理。参阅图4a所示，Bi_LSTM也是一种特殊的循环神经网络，是由两个传统RNN组成的，一个正向RNN是利用过去的信息，另一个逆向RNN是利用未来的信息，这样在时刻t既可以使用t‑1时刻的信息，还可以利用t+1时刻的信息，相对于单向LSTM来说，Bi_LSTM同时利用过去时刻和未来时刻的信息，输出的预测结果会更加准确。如图4a所示的传统RNN的每个神经元中只有一个tanh层；如图4b所示的Bi_LSTM的每个神经元包括遗忘门、输入门、输出门以及tanh层，利用门结构消除或者增加信息到神经元的能力，使得整个Bi_LSTM能够记住长期的信息。

[0085] 参阅图4b所示的结构示意图，对Bi_LSTM的正向RNN上任意一个神经元的使用进行介绍。

[0086] 首先，将上一个神经元输出的语义向量  和当前神经元输入的词向量 作为输入，通过遗忘门得到上一个神经元的记忆细胞状态 被遗忘的概率 ， 的计算方式如公式（1）所示。其中，1表示完全保留，而0表示完全舍弃。

[0087]            公式（1）；

[0088] 其次，将上一个神经元输出的语义向量 和当前神经元输入的词向量 作为输入，通过输入门得到当前神经元的记忆细胞状态 被保留的概率 ，并使用 计算当前神经元被保留下来的记忆细胞状态 。具体地，的计算方式如公式（2）所示， 的计算公式如公式（3）所示。

[0089] 利用 和 对当前神经元的记忆细胞状态进行更新，更新后的记忆细胞状态为 ， 的计算公式如公式（4）所示。

[0090]            公式（2）；

[0091]          公式（3）；

[0092]                公式（4）；

[0093] 最后，将上一个神经元输出的语义向量 和当前神经元输入的词向量 作为输入，通过输出门得到 被保留下来的记忆细胞状态的概率 ， 的计算公式如公式（5）所示

[0094] 以及，将 通过激活函数tanh处理后与 相乘，得到当前神经元输出的语义向量， 的计算方式如公式（6）所示。

[0095]            公式（5）；

[0096]                公式（6）；

[0097] 本申请实施例的偏好估计子模型是由全连接层和Softmax层连接组成，其中，全连接层在整个卷积神经网络中起到“分类器”的作用，如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用；Softmax层的作用是将全连接层输出的内容特征归属于不同用户偏好的概率映射到（0,1）的区间内。

[0098] （2）当样本内容信息为多媒体内容的图像序列，特征提取子模型包括残差学习子模型和第三特征提取网络。

[0099] 首先，利用残差学习子模型对图像序列中的各个图像进行特征提取，确定每一张图像对应的图像向量，得到图像向量矩阵。

[0100] 参阅图5所示，残差学习子模型是一种结合ResNet（Deep residual network，深度残差网络）和DC（Dilated Convolution，空洞卷积）的网络结构，既能减少模型的训练量级，又能保证图像通过残差学习被充分理解。

[0101] 其次，基于第三特征提取网络对图像向量矩阵进行图像内容分析处理，得到内容特征。

[0102] 同样地，为了解决RNN的长期依赖问题，第三特征提取网络采用了另一个Bi_LSTM对图像向量矩阵进行图像内容分析处理，而Bi_LSTM的处理过程可以参照上述对词向量矩阵的处理描述，在此不再赘述了。

[0103] （3）当样本内容信息既包括多媒体内容的文本信息，又包括多媒体内容的图像序列时，将文本信息输入到第一特征提取网络中，转换得到对应的词向量矩阵，并将词向量矩阵输入到第二特征提取网络中进行语义挖掘处理，得到内容特征；同时将图像序列输入到残差学习子模块中，获得对应的图像向量矩阵，并将图像向量矩阵输入到第三特征提取网络中进行图像内容分析处理，得到内容矩阵；将文本信息的内容特征和图像序列的内容特征拼接在一起，生成新的内容矩阵。

[0104] S203：将内容特征输入分类模型，确定样本内容信息的预测分类结果。

[0105] 在步骤201中提及了样本内容信息可为文本信息和图像序列之一的任意组合，因此，针对不同的样本内容信息会使用不同的分类模型进行预测。

[0106] （1）当样本内容信息为多媒体内容的文本信息时，本申请实施例中的分类模型包括第一分类模型和第二分类模型。将词向量矩阵输入第一分类模型获得第一预测分类结果，并将内容特征输入第二分类模型获得第二预测分类结果。

[0107] 第一分类模型是用来识别文本信息中可能影响用户偏好的类别词语，第二分类模型是用来识别文本信息中可能影响用户偏好的类别语句。第一分类模型和第二分类模型的网络架构是一样的，均由全连接层和Softmax层连接组成，其中，全连接层在整个卷积神经网络中起到“分类器”的作用，如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用；Softmax层的作用是将全连接层输出的多媒体内容归属于各个类别的概率映射到（0,1）的区间内。

[0108] （2）当样本内容信息为多媒体内容的图像序列时，本申请实施例中的分类模型包括第三分类模型和第四分类模型。将图像向量矩阵输入第一分类模型获得第三预测分类结果，并将内容特征输入第四分类模型获得第四预测分类结果。

[0109] 同样地，第一分类模型是用来识别文本信息中可能影响用户偏好的单张类别图像，第二分类模型是用来识别文本信息中可能影响用户偏好的至少一组类别图像序列。第三分类模型和第四分类模型的网络架构也是由全连接层和Softmax层连接组成，其中，全连接层在整个卷积神经网络中起到“分类器”的作用，如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用；Softmax层的作用是将全连接层输出的多媒体内容归属于各个类别的概率映射到（0,1）的区间内。

[0110] （3）当样本内容信息既包括多媒体内容的文本信息，又包括多媒体内容的图像序列时，使用第一分类模型和第二分类模型对文本信息进行分类，以及使用第三分类模型和第四分类模型对图像序列进行分类。

[0111] S204：基于用户偏好预测结果与用户偏好实际结果之间的第一损失，以及预测分类结果与实际分类结果之间的第二损失，确定总损失。

[0112] （1）当样本内容信息为多媒体内容的文本信息时。

[0113] 使用用户偏好模型的损失函数，确定用户偏好预测结果与用户偏好实际结果之间的第一损失；使用第一分类模型的损失函数确定第一预测分类结果与所述实际分类结果之间的损失，以及，使用第二分类模型的损失函数确定第二预测分类结果与所述实际分类结果之间的损失，将上述两个分类模型的损失总和确定为预测分类结果与实际分类结果之间的第二损失。

[0114] （2）当样本内容信息为多媒体内容的图像序列时。

[0115] 使用用户偏好模型的损失函数，确定用户偏好预测结果与用户偏好实际结果之间的第一损失；使用第三分类模型的损失函数确定第三预测分类结果与所述实际分类结果之间的损失，以及使用第四分类模型的损失函数确定第四预测分类结果与所述实际分类结果之间的损失，将上述两个分类模型的损失总和确定为预测分类结果与实际分类结果之间的第二损失。

[0116] （3）当样本内容信息既包括多媒体内容的文本信息，又包括多媒体内容的图像序列时，将两个用户偏好模型的损失总和确定为用户偏好预测结果与用户偏好实际结果之间的第一损失，将上述四个分类模型的损失总和确定为预测分类结果与实际分类结果之间的第二损失。

[0117] S205：基于总损失对特征提取子模型和偏好估计子模型中至少一个模型的参数进行调整，直至总损失满足收敛条件，得到已训练的用户偏好模型。

[0118] 具体地，利用总损失，确定特征提取子模型中权重矩阵的第一梯度，并按照第一梯度的方向对特征提取子模型的参数进行调整；或者

[0119] 利用总损失，确定偏好估计子模型的第二梯度，并按照第二梯度的方向对偏好估计子模型的参数进行调整；或者

[0120] 利用总损失，确定特征提取子模型中权重矩阵的第一梯度和用户偏好模型的第二梯度，按照第一梯度的方向对特征提取子模型的参数进行调整，并按照第二梯度的方向偏好估计子模型的参数进行调整，直至总损失收敛至预设的期望值时，判定用户偏好模型训练完毕。

[0121] 其中，特征提取子模型中只需要对采用Bi_LSTM网络架构的第二特征提取网络和第四特征提取网络的参数进行调整，而偏好估计子模型是需要对全连接层和Softmax层的参数都进行调整的。

[0122] 为了便于理解，还提供了两个具体实施例描述训练用户偏好模型的方法。

[0123] 具体实施例一：以视频标题、视频类别为训练样本，对用户偏好模型进行训练。参阅图6a所示，为具体实施例一的用户偏好模型的架构示意图，参阅图6b所示，为具体实施例一的模型训练的流程示意图。

[0124] S601：从训练数据集中获取视频的训练样本，该训练样本包括视频标题、视频的用户偏好实际结果和视频的实际分类结果；

[0125] S602：利用分词工具对视频标题进行分词处理，得到对应的词列表，并对词列表进行向量化处理，确定每一个词对应的词向量，得到词向量矩阵；

[0126] S603：将词向量矩阵输入Bi_LSTM获得视频标题的内容特征；

[0127] S604：将内容特征输入偏好估计子模型获得视频的用户偏好预测结果；

[0128] S605：将词向量矩阵输入第一分类模型获得第一预测分类结果，将内容特征输入第二分类模型获得第二预测分类结果；

[0129] S606：基于用户偏好预测结果与用户偏好实际结果之间的第一损失，以及预测分类结果与实际分类结果之间的第二损失，确定总损失，其中第二损失包括第一预测分类结果与实际分类结果之间的损失，和第二预测分类结果与实际分类结果之间的损失；

[0130] S607：基于总损失对Bi_LSTM和偏好估计子模型中至少一个模型的参数进行调整，直至总损失满足收敛条件，得到已训练的用户偏好模型。

[0131] 具体实施例二：以视频的图像序列、视频类别为训练样本，对用户偏好模型进行训练。参阅图7a所示，为具体实施例二的用户偏好模型的架构示意图，参阅图7b所示，为具体实施例二的模型训练的流程示意图。

[0132] S701：从训练数据集中获取视频的训练样本，该训练样本包括视频的图像序列、视频的用户偏好实际结果和视频的实际分类结果；

[0133] S702：利用残差学习子模型对图像序列中的各个图像进行特征提取，确定每一张图像对应的图像向量，得到图像向量矩阵；

[0134] S703：将图像向量矩阵输入Bi_LSTM获得图像序列的内容特征；

[0135] S704：将内容特征输入偏好估计子模型获得视频的用户偏好预测结果；

[0136] S705：将图像向量矩阵输入第三分类模型获得第三预测分类结果，将内容特征输入第四分类模型获得第四预测分类结果；

[0137] S706：基于用户偏好预测结果与用户偏好实际结果之间的第一损失，以及预测分类结果与实际分类结果之间的第二损失，确定总损失，其中第二损失包括第三预测分类结果与实际分类结果之间的损失，和第四预测分类结果与实际分类结果之间的损失；

[0138] S707：基于总损失对Bi_LSTM和偏好估计子模型中至少一个模型的参数进行调整，直至总损失满足收敛条件，得到已训练的用户偏好模型。

[0139] 经过上述步骤201 205完成了用户偏好模型的训练，再使用已训练的用户偏好模~型对用户偏好进行估计。参阅图8所示，为本申请实施例提供的用户偏好估计的流程示意图。

[0140] S801：获得待预测的多媒体内容的内容信息；

[0141] S802：将内容信息输入特征提取子模型，得到内容信息归属类别对应的目标内容特征；

[0142] S803：将目标内容特征输入偏好估计子模型，获得内容信息的目标用户偏好预测结果，偏好估计子模型和特征提取子模型之中的至少一个子模型，是基于分类模型对样本内容信息的预测分类结果和实际归属类别之间的损失、以及基于用户偏好模型对样本内容信息的用户偏好预测结果和实际预测结果之间的损失进行参数调整获得的。

[0143] 与上述方法实施例基于同一发明构思，本申请实施例还提供了一种用户偏好估计装置的架构示意图，基于用户偏好模型对用户偏好进行估计，参阅图9所示，该装置900包括：

[0144] 获取单元901，用于获得待预测的多媒体内容的内容信息；

[0145] 特征提取单元902，用于采用特征提取子模型，根据所述内容信息得到所述内容信息归属类别对应的目标内容特征；

[0146] 偏好估计单元903，用于采用偏好估计子模型，根据所述目标内容特征获得所述内容信息的目标用户偏好预测结果，所述偏好估计子模型和所述特征提取子模型之中的至少一个子模型，是基于分类模型对样本内容信息的预测分类结果和实际归属类别之间的损失、以及基于所述用户偏好模型对所述样本内容信息的用户偏好预测结果和实际预测结果之间的损失进行参数调整获得的。

[0147] 可选的，所述装置还包括训练单元904，所述训练单元904用于根据对所述特征提取子模型和所述偏好估计子模型进行训练，训练方法包括：

[0148] 从训练数据集中获取多媒体内容的训练样本，所述训练样本包括样本内容信息、训练样本的用户偏好实际结果和实际分类结果；

[0149] 将所述样本内容信息输入所述特征提取子模型得到所述样本内容信息的内容特征，并将所述内容特征输入所述偏好估计子模型获得所述样本内容信息的用户偏好预测结果；

[0150] 将所述内容特征输入分类模型，确定所述样本内容信息的预测分类结果；

[0151] 基于所述用户偏好预测结果与所述用户偏好实际结果之间的第一损失，以及所述预测分类结果与所述实际分类结果之间的第二损失，确定总损失；

[0152] 基于所述总损失对所述特征提取子模型和所述偏好估计子模型中至少一个模型的参数进行调整，直至所述总损失满足收敛条件，得到已训练的用户偏好模型。

[0153] 可选的，所述样本内容信息为所述多媒体内容的文本信息，所述特征提取子模型包括第一特征提取网络和第二特征提取网络，其中：

[0154] 所述训练单元904具体用于：

[0155] 基于所述第一特征提取网络对所述文本信息进行分词处理，得到对应的词列表，并对所述词列表进行向量化处理，确定每一个词对应的词向量，得到词向量矩阵；

[0156] 基于所述第二特征提取网络对所述词向量矩阵进行语义挖掘处理，得到所述内容特征。

[0157] 可选的，所述分类模型包括第一分类模型和第二分类模型，所述训练单元904具体用于：

[0158] 将所述词向量矩阵输入所述第一分类模型获得第一预测分类结果，并将所述内容特征输入所述第二分类模型获得第二预测分类结果；

[0159] 所述预测分类结果与所述实际分类结果之间的第二损失，具体包括：所述第一预测分类结果与所述实际分类结果之间的损失，和所述第二预测分类结果与所述实际分类结果之间的损失。

[0160] 可选的，所述样本内容信息为所述多媒体内容的图像序列时，所述特征提取网络包括残差学习子模型和第三特征提取网络，所述训练单元903具体用于：

[0161] 利用残差学习子模型对所述图像序列中的各个图像进行特征提取，确定每一张图像对应的图像向量，得到图像向量矩阵；

[0162] 基于所述第三特征提取网络对所述图像向量矩阵进行图像内容分析处理，得到所述内容特征。

[0163] 可选的，所述分类模型包括第三分类模型和第四分类模型，所述训练单元904具体用于：

[0164] 将所述图像向量矩阵输入所述第三分类模型获得第三预测分类结果，并将所述内容特征输入所述第四分类模型获得第四预测分类结果；

[0165] 所述预测分类结果与所述实际分类结果之间的第二损失，具体包括：所述第三预测分类结果与所述实际分类结果之间的损失，和所述第四预测分类结果与所述实际分类结果之间的损失。

[0166] 可选的，所述训练单元904用于：

[0167] 利用所述总损失，确定所述特征提取子模型中权重矩阵的第一梯度，并按照所述第一梯度的方向对所述特征提取子模型的参数进行调整；或者

[0168] 利用所述总损失，确定所述偏好估计子模型的第二梯度，并按照所述第二梯度的方向对所述偏好估计子模型的参数进行调整；或者

[0169] 利用所述总损失，确定所述特征提取子模型中权重矩阵的第一梯度和所述用户偏好模型的第二梯度，按照所述第一梯度的方向对所述特征提取子模型的参数进行调整，并按照所述第二梯度的方向所述偏好估计子模型的参数进行调整。

[0170] 在介绍了本申请示例性实施方式的用户偏好估计方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。

[0171] 所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

[0172] 与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备，参阅图10所示，电子设备1000可以至少包括处理器1001、以及存储器1002。其中，所述存储器1002存储有程序代码，当所述程序代码被所述处理器1001执行时，使得所述处理器1001执行上述任意一种用户偏好估计方法的步骤。

[0173] 在一些可能的实施方式中，根据本申请的计算装置可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的用户偏好估计方法中的步骤。例如，处理器可以执行如图8所示的步骤。

[0174] 下面参照图11来描述根据本申请的这种实施方式的计算装置110。图11的计算装置110仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

[0175] 如图11，计算装置110以通用计算装置的形式表现。计算装置110的组件可以包括但不限于：上述至少一个处理单元111、上述至少一个存储单元112、连接不同系统组件（包括存储单元112和处理单元111）的总线113。

[0176] 总线113表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

[0177] 存储单元112可以包括易失性存储器形式的可读介质，例如随机存取存储器（RAM）1121和/或高速缓存存储单元1122，还可以进一步包括只读存储器（ROM）1123。

[0178] 存储单元112还可以包括具有一组（至少一个）程序模块1124的程序/实用工具1125，这样的程序模块1124包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

[0179] 计算装置110也可以与一个或多个外部设备114（例如键盘、指向设备等）通信，还可与一个或者多个使得用户能与计算装置110交互的设备通信，和/或与使得该计算装置110能与一个或多个其它计算装置进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口115进行。并且，计算装置110还可以通过网络适配器116与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器116通过总线113与用于计算装置110的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置110使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

[0180] 与上述方法实施例基于同一发明构思，本申请提供的训练用户偏好模型的方法或者用户偏好估计的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的训练用户偏好模型的方法中的步骤或用户偏好估计的方法中的步骤，例如，电子设备可以执行如图2或图8中所示的步骤。

[0181] 程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD‑ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

[0182] 尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

[0183] 显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。