训练模型的方法、装置、电子设备及可读存储介质

摘要

本公开的实施例提供了一种训练模型的方法、装置、电子设备及可读存储介质，所述方法包括：构建初始的预估模型，预估模型包含与展示列表中展示位置数量相等的网络结构；将展示列表中当前展示位置对应的特征数据输入当前展示位置对应的网络结构，得到当前展示位置的预估指标；将当前展示位置的下一个展示位置对应的特征数据、当前展示位置的预估指标输入下一个展示位置对应的网络结构，得到下一个展示位置的预估指标；根据展示列表中每个展示位置的预估指标和每个展示位置对应的标注指标，对预估模型的网络结构参数进行迭代优化，得到训练完成的预估模型。本公开可以提高预估模型的准确性，提高展示列表中各展示位置对应的展示数据的准确性。

权利要求

1.一种训练模型的方法，其特征在于，所述方法包括：构建初始的预估模型，所述预估模型包含与展示列表中展示位置数量相等的网络结构，所述网络结构与所述展示位置一一对应；

将所述展示列表中当前展示位置对应的特征数据输入所述当前展示位置对应的网络结构，以得到所述当前展示位置的预估指标；

将所述当前展示位置的下一个展示位置对应的特征数据、以及将所述当前展示位置的预估指标输入所述下一个展示位置对应的网络结构，以得到所述下一个展示位置的预估指标，直到得到所述展示列表中所有展示位置的预估指标；

根据所述展示列表中每个展示位置的预估指标，以及所述每个展示位置对应的标注指标，对所述预估模型的网络结构参数进行迭代优化，得到训练完成的预估模型。

2.根据权利要求1所述的方法，其特征在于，所述当前展示位置对应的特征数据包括：所有展示位置对应的公共特征数据和当前展示位置对应的位置特征数据。

3.根据权利要求2所述的方法，其特征在于，所述将所述展示列表中当前展示位置对应的特征数据输入所述当前展示位置对应的网络结构，包括：将所述所有展示位置对应的公共特征数据和所述当前展示位置对应的位置特征数据进行拼接，得到拼接后的特征数据；

将所述拼接后的特征数据输入所述当前展示位置对应的网络结构。

4.根据权利要求2所述的方法，其特征在于，所述公共特征数据包括：用户信息特征、上下文特征、商家信息特征、预处理及嵌入式特征中的至少一项；所述位置特征数据包括：当前展示位置的编号、当前展示位置的点击率、当前展示位置的下单率中的至少一项。

5.根据权利要求1所述的方法，其特征在于，所述将所述当前展示位置的预估指标输入所述下一个展示位置对应的网络结构，包括：将所述当前展示位置的预估指标与所述下一个展示位置对应的网络结构的全连接层执行预设操作，所述预设操作包括加法操作或者乘法操作；或者，将所述当前展示位置的预估指标作为输入特征输入所述下一个展示位置对应的网络结构；或者，

将所述当前展示位置对应的网络结构的全连接层与所述下一个展示位置对应的网络结构的全连接层进行合并。

6.根据权利要求1所述的方法，其特征在于，所述预估指标包括预估点击率、预估转化率、以及预估成交金额；

所述将所述当前展示位置的下一个展示位置对应的特征数据、以及将所述当前展示位置的预估指标输入所述下一个展示位置对应的网络结构，以得到所述下一个展示位置的预估指标，包括：

将所述当前展示位置的下一个展示位置对应的特征数据、以及将所述当前展示位置的预估点击率和预估转化率输入所述下一个展示位置对应的网络结构，以得到所述下一个展示位置的预估点击率、预估转化率、以及预估成交金额。

7.根据权利要求1所述的方法，其特征在于，所述下一个展示位置对应的网络结构中全链接层的隐藏节点数小于所述当前展示位置对应的网络结构中全链接层的隐藏节点数。

8.根据权利要求1所述的方法，其特征在于，所述得到训练完成的预估模型之后，所述方法还包括：

接收用户请求，所述用户请求中包括搜索词；

根据所述用户请求中的搜索词确定候选展示数据；

根据所述训练完成的预估模型预估所述候选展示数据在展示列表中每个展示位置对应的相关指标；

根据预估的每个展示位置对应的候选展示数据的相关指标，对每个展示位置对应的候选展示数据进行排序展示。

9.一种训练模型的装置，其特征在于，所述装置包括：模型构建模块，用于构建初始的预估模型，所述预估模型包含与展示列表中展示位置数量相等的网络结构，所述网络结构与所述展示位置一一对应；

指标预估模块，用于将所述展示列表中当前展示位置对应的特征数据输入所述当前展示位置对应的网络结构，以得到所述当前展示位置的预估指标；

所述指标预估模块，还用于将所述当前展示位置的下一个展示位置对应的特征数据、以及将所述当前展示位置的预估指标输入所述下一个展示位置对应的网络结构，以得到所述下一个展示位置的预估指标，直到得到所述展示列表中所有展示位置的预估指标；

参数调整模块，用于根据所述展示列表中每个展示位置的预估指标，以及所述每个展示位置对应的标注指标，对所述预估模型的网络结构参数进行迭代优化，得到训练完成的预估模型。

10.根据权利要求9所述的装置，其特征在于，所述当前展示位置对应的特征数据包括：所有展示位置对应的公共特征数据和当前展示位置对应的位置特征数据。

11.根据权利要求10所述的装置，其特征在于，所述指标预估模块，包括：特征拼接子模块，用于将所述所有展示位置对应的公共特征数据和所述当前展示位置对应的位置特征数据进行拼接，得到拼接后的特征数据；

特征输入子模块，用于将所述拼接后的特征数据输入所述当前展示位置对应的网络结构。

12.根据权利要求10所述的装置，其特征在于，所述公共特征数据包括：用户信息特征、上下文特征、商家信息特征、预处理及嵌入式特征中的至少一项；所述位置特征数据包括：当前展示位置的编号、当前展示位置的点击率、当前展示位置的下单率中的至少一项。

13.根据权利要求9所述的装置，其特征在于，所述指标预估模块，包括：第一合并子模块，用于将所述当前展示位置的预估指标与所述下一个展示位置对应的网络结构的全连接层执行预设操作，所述预设操作包括加法操作或者乘法操作；或者，第二合并子模块，用于将所述当前展示位置的预估指标作为输入特征输入所述下一个展示位置对应的网络结构；或者，

第三合并子模块，用于将所述当前展示位置对应的网络结构的全连接层与所述下一个展示位置对应的网络结构的全连接层进行合并。

14.根据权利要求9所述的装置，其特征在于，所述预估指标包括预估点击率、预估转化率、以及预估成交金额；

所述指标预估模块，具体用于将所述当前展示位置的下一个展示位置对应的特征数据、以及将所述当前展示位置的预估点击率和预估转化率输入所述下一个展示位置对应的网络结构，以得到所述下一个展示位置的预估点击率、预估转化率、以及预估成交金额。

15.根据权利要求9所述的装置，其特征在于，所述下一个展示位置对应的网络结构中全链接层的隐藏节点数小于所述当前展示位置对应的网络结构中全链接层的隐藏节点数。

16.根据权利要求9所述的装置，其特征在于，所述装置还包括：请求接收模块，用于接收用户请求，所述用户请求中包括搜索词；

候选确定模块，用于根据所述用户请求中的搜索词确定候选展示数据；

候选预估模块，用于根据所述训练完成的预估模型预估所述候选展示数据在展示列表中每个展示位置对应的相关指标；

数据排序模块，用于根据预估的每个展示位置对应的候选展示数据的相关指标，对每个展示位置对应的候选展示数据进行排序展示。

17.一种电子设备，其特征在于，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1‑8中任一所述的训练模型的方法。

18.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1‑8中任一所述的训练模型的方法。

说明书

训练模型的方法、装置、电子设备及可读存储介质

技术领域

[0001] 本公开的实施例涉及互联网技术领域，尤其涉及一种训练模型的方法、装置、电子设备及可读存储介质。

背景技术

[0002] 随着信息技术的迅速发展，如何从大量的信息中精准获取用户所需的信息是搜索领域中需要解决的主要问题。

[0003] 用户在通过搜索引擎搜索时，通常会在搜索引擎所展示的界面中输入搜索词，然后搜索引擎爬取与搜索词相关的搜索结果项，并且利用点击率预估模型预估每个搜索结果
项的点击率，最后按照一定的排序策略将搜索结果的展示列表展示给用户。

[0004] 通常，搜索结果项的排序顺序与搜索结果项的预估点击率正相关，预估点击率高的搜索结果项将排在展示列表中靠前的位置。然而，在实际应用中，由于排序位置靠前的搜
索结果项天然有着更高的点击率，而不完全是因为其内容相关性更高或质量更优，从而会
造成搜索结果项存在位置偏置，也即搜索结果项的实际排序位置与理想排序位置存在偏
差，进而导致搜索结果的精准度降低。

发明内容

[0005] 本公开的实施例提供一种训练模型的方法、装置、电子设备及可读存储介质，用以提高点击率预估模型预估点击率的准确性，进而提高搜索结果的精准度。

[0006] 根据本公开的实施例的第一方面，提供了一种训练模型的方法，所述方法包括：

[0007] 构建初始的预估模型，所述预估模型包含与展示列表中展示位置数量相等的网络结构，所述网络结构与所述展示位置一一对应；

[0008] 将所述展示列表中当前展示位置对应的特征数据输入所述当前展示位置对应的网络结构，以得到所述当前展示位置的预估指标；

[0009] 将所述当前展示位置的下一个展示位置对应的特征数据、以及将所述当前展示位置的预估指标输入所述下一个展示位置对应的网络结构，以得到所述下一个展示位置的预
估指标，直到得到所述展示列表中所有展示位置的预估指标；

[0010] 根据所述展示列表中每个展示位置的预估指标，以及所述每个展示位置对应的标注指标，对所述预估模型的网络结构参数进行迭代优化，得到训练完成的预估模型。

[0011] 根据本公开的实施例的第二方面，提供了一种训练模型的装置，所述装置包括：

[0012] 模型构建模块，用于构建初始的预估模型，所述预估模型包含与展示列表中展示位置数量相等的网络结构，所述网络结构与所述展示位置一一对应；

[0013] 指标预估模块，用于将所述展示列表中当前展示位置对应的特征数据输入所述当前展示位置对应的网络结构，以得到所述当前展示位置的预估指标；

[0014] 所述指标预估模块，还用于将所述当前展示位置的下一个展示位置对应的特征数据、以及将所述当前展示位置的预估指标输入所述下一个展示位置对应的网络结构，以得
到所述下一个展示位置的预估指标，直到得到所述展示列表中所有展示位置的预估指标；

[0015] 参数调整模块，用于根据所述展示列表中每个展示位置的预估指标，以及所述每个展示位置对应的标注指标，对所述预估模型的网络结构参数进行迭代优化，得到训练完
成的预估模型。

[0016] 根据本公开的实施例的第三方面，提供了一种电子设备，包括：

[0017] 处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述的训练模型的方法。

[0018] 本公开的实施例提供了一种训练模型的方法、装置、电子设备及可读存储介质，所述方法包括：

[0019] 本公开实施例根据用户的浏览行为习惯构建层级结构的预估模型，所述预估模型包含与展示列表中展示位置数量相等的网络结构，所述网络结构与所述展示位置一一对
应。层级结构是指预估网络模型的当前展示位置对应网络结构输出的预估指标会影响下一
个展示位置对应网络结构输出的预估指标。在实际应用中，用户浏览展示列表时通常是按
照自上而下的顺序进行浏览，并且用户对上一个展示位置的广告进行的操作通常可能会影
响用户对下一个展示位置的广告进行的操作。因此，本公开实施例根据用户的浏览行为习
惯构建层级结构的预估模型，能够有效解决展示列表中展示数据的展示位置存在偏差的问
题，以提高预估模型的准确性，进而提高展示列表中各展示位置对应的展示数据的准确性，
提高搜索结果的准确性或者提高广告推荐的准确性。

附图说明

[0020] 为了更清楚地说明本公开的实施例的技术方案，下面将对本公开的实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施
例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以
根据这些附图获得其他的附图。

[0021] 图1示出了本公开的一个实施例中的训练模型的方法的步骤流程图；

[0022] 图2示出了本公开的一种预估模型的模型结构以及根据该预估模型输出预估指标的过程示意图；

[0023] 图3示出了本公开的一个实施例中的训练模型的装置的结构图；

[0024] 图4示出了本公开的一个实施例提供的电子设备的结构图。

具体实施方式

[0025] 下面将结合本公开的实施例中的附图，对本公开的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的实施例一部分实施例，而不是全部的实
施例。基于本公开的实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提
下所获得的所有其他实施例，都属于本公开的实施例保护的范围。

[0026] 实施例一

[0027] 参照图1，其示出了本公开一个实施例中的训练模型的方法的步骤流程图，所述方法包括：

[0028] 步骤101、构建初始的预估模型，所述预估模型包含与展示列表中展示位置数量相等的网络结构，所述网络结构与所述展示位置一一对应；

[0029] 步骤102、将所述展示列表中当前展示位置对应的特征数据输入所述当前展示位置对应的网络结构，以得到所述当前展示位置的预估指标；

[0030] 步骤103、将所述当前展示位置的下一个展示位置对应的特征数据、以及将所述当前展示位置的预估指标输入所述下一个展示位置对应的网络结构，以得到所述下一个展示
位置的预估指标，直到得到所述展示列表中所有展示位置的预估指标；

[0031] 步骤104、根据所述展示列表中每个展示位置的预估指标，以及所述每个展示位置对应的标注指标，对所述预估模型的网络结构参数进行迭代优化，得到训练完成的预估模
型。

[0032] 本公开提供的训练模型方法可应用于电子设备，所述电子设备包括但不限于：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准音频层面3，Moving Picture 
Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准音频层面4，Moving 
Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计
算机、机顶盒、智能电视机、可穿戴设备等等。

[0033] 需要说明的是，本公开实施例提供的训练模型的方法，可用于训练预估模型，该预估模型可用于对展示列表中各展示位置对应的展示数据进行相关指标的预估。所述相关指
标包括但不限于点击率、转换率、成交金额等。所述预估模型的应用场景可以包括搜索场
景、推荐场景等。对于搜索场景，例如，用户可以在搜索引擎、购物网站搜索栏、社交平台搜
索栏等输入搜索词触发搜索请求进行搜索等。在接收到用户触发的搜索请求之后，可以利
用预估模型对该搜索请求对应的搜索结果列表中的各搜索结果项进行相关指标预估，并根
据每个搜索结果项的预估指标进行排序，得到排序后的展示列表，展示给用户。对于推荐场
景，例如，用户在浏览网页或者搜索的过程中，可以主动向用户推荐广告等信息。例如，可以
利用预估模型对展示列表中每个广告位对应的候选广告进行相关指标预估，并根据每个候
选广告的预估指标对每个广告位对应的候选广告进行排序，得到排序后的展示列表，展示
给用户。其中，在广告推荐场景下，展示列表可以为任意类型的展示列表，如搜索结果的展
示列表、购物网站中的商品展示列表、社交平台中的展示列表等，在展示列表中可以预置有
预设数量的广告位。展示列表中可以显示自然结果和广告，并且对显示的位次进行区分，如
展示列表中的第一位显示自然结果、第二位显示广告、第三位显示自然结果、第四位显示广
告等等。可以理解，本公开实施例的训练模型的方法可用于任意的搜索或推荐场景。

[0034] 在实际应用中，对于搜索场景，由于排序位置靠前的搜索结果项天然有着更高的点击率，而不完全是因为其内容相关性更高或质量更优，从而会造成搜索结果项实际的展
示位置与理想的展示位置存在偏差，进而影响搜索结果的准确性。对于广告推荐场景，由于
出价较高的广告即使质量不高(点击率可能较低)，仍然可以排在较前的位置，从而造成广
告实际的展示位置与理想的展示位置存在偏差，进而影响广告推荐的准确性。

[0035] 本公开实施例提出了一种训练预估模型的方法，该预估模型采用层级结构，能够有效解决展示列表中展示数据的展示位置存在偏差的问题，以提高预估模型的准确性，进
而提高展示列表中各展示位置对应的展示数据的准确性，提高搜索结果的准确性或者提高
广告推荐的准确性。

[0036] 具体地，首先构建初始的预估模型，该预估模型包含与展示列表中展示位置数量相等的网络结构，所述网络结构与所述展示位置一一对应。该预估模型采用层级结构，层级
结构是指预估网络模型的当前展示位置对应网络结构输出的预估指标会影响下一个展示
位置对应网络结构输出的预估指标。

[0037] 以广告推荐场景为例，本公开实施例的预估模型可适用于包含有限个数广告位的展示列表。可以理解，本公开实施例对展示列表中包含的广告位的个数不做限制。在实际应
用中，用户浏览展示列表时通常是按照自上而下的顺序进行浏览，并且用户对上一个展示
位置的广告进行的操作通常可能会影响用户对下一个展示位置的广告进行的操作。因此，
本公开实施例根据用户的浏览行为习惯构建层级结构的预估模型。

[0038] 在本公开实施例中，预估模型包含与展示列表中展示位置数量相等的网络结构。对于搜索场景，展示位置可以为搜索结果项对应的展示位置，展示位置数量可以为搜索结
果展示列表中搜索结果项的数量。对于广告推荐场景，展示位置可以为展示列表中广告位
对应的展示位置，展示位置数量可以为展示列表中广告位的数量。以广告推荐场景为例，假
设展示列表中包括3个广告位，则预估模型可以包括三个网络结构，每个广告位对应一个网
络结构。

[0039] 需要说明的是，每个展示位置对应的网络结构可以相同也可以不同。每个展示位置对应的网络结构可以对该展示位置对应的展示数据进行相关指标的预估，得到该展示位
置对应的预估指标。

[0040] 在训练预估模型之前，可以收集样本数据，所述样本数据可以是历史展示列表中各展示位置对应历史展示数据的特征数据，该特征数据可以包括公共特征数据和位置特征
数据。其中，公共特征数据指展示列表中每个展示位置对应展示数据所具有的共有的特征
数据，位置特征数据指展示列表中每个展示位置独有的与位置相关的特征数据。

[0041] 进一步地，所述公共特征数据包括但不限于：用户信息特征、上下文特征、商家信息特征、预处理及嵌入式特征中的至少一项；所述位置特征数据包括但不限于：当前展示位
置的编号、当前展示位置的点击率、当前展示位置的下单率中的至少一项。

[0042] 在本公开的一种应用示例中，所述用户信息特征包括但不限于用户基础信息、用户历史购买信息、下单数，点击数等。其中，所述用户基础信息如用户的年龄、性别、职业等。
所述用户历史购买信息如过去预设时间(如7天、15天、一个月等)的点击序列。所述上下文
特征包括但不限于当前时间、是否假期、展示页面信息、前序位置商家信息、后序位置商家
信息等。所述商家信息特征包括但不限于历史成单率、历史点击率、好评率、差评率、主营业
务标签、平均配送时长、活跃时间段等。预处理及嵌入式特征包括但不限于商家图片特征、
菜品图片特征、评价关键词、商家编号矩阵特征等。所述位置特征数据包括但不限于：当前
展示位置的位置编号、点击率、下单率、下单次数、平均下单率、平均点击率等中的至少一
项。

[0043] 进一步地，不同展示位置对应的位置特征数据可以共用同一个嵌入式矩阵。由于位置特征本身为离散特征，例如，位置特征“位置＝2”代表第二个展示位置，位置特征“位置
＝1”代表第一个展示位置，若对位置特征数据按照连续特征进行处理，可以得出如下结论：
“位置＝2”是“位置＝1”的两倍关系，但事实并非如此。因此，为了更准确的表示位置特征数
据，本公开实施例采用嵌入式矩阵的形式。嵌入式矩阵的具体形式可以为“索引：特定值”。
其中，索引可以为展示位置的位置编号，例如位置1、位置2、位置3等。特定值可以为长度为N
的向量(N不固定，可自行设置)，该N维向量表示对应位置索引的位置特征数据。按此方法，
对于第一个展示位置(记为位置1)，假设第一个展示位置对应的索引为“位置1”，且该索引
对应的特定值为N维向量，该N维向量表示第一个展示位置对应的位置特征数据。由此，根据
索引“位置1”即可获取第一个展示位置对应的位置特征数据的N维向量，以此类推，根据索
引“位置2”即可获取第二个展示位置对应的位置特征数据的N维向量等等。各展示位置对应
的索引都可以在此嵌入式矩阵中查询到相对应的位置特征数据的N维向量。也即，各展示位
置对应的位置特征数据共用同一个嵌入式矩阵。同理，商家编号矩阵特征也可以采用嵌入
式矩阵。

[0044] 在本公开实施例中，样本数据可以是以搜索维度聚合得到的，用户触发的每一次搜索会得到多个搜索结果项，每一次搜索输入的查询词(query)与该查询词下展示的搜索
结果项作为一个样本数据。需要说明的是，对于一次搜索，在该次搜索的搜索结果项中存在
被点击的搜索结果项时，本公开实施例将该次搜索的查询词和该查询词返回的所有搜索结
果项作为一个样本数据。

[0045] 在获取样本数据之后，可以统计各展示位置的历史展示数据对应的相关指标，作为样本数据的标注指标。

[0046] 在获取样本数据以及样本数据对应的标注指标之后，首先构建并初始化预估模型，设置初始模型的模型参数，包括初始化每个展示位置对应的网络结构的网络参数。然
后，将样本数据输入所述初始模型，具体的，将所述展示列表中当前展示位置对应的特征数
据输入所述当前展示位置对应的网络结构，以得到所述当前展示位置的预估指标。然后将
所述当前展示位置的下一个展示位置对应的特征数据、以及所述当前展示位置的预估指标
输入所述下一个展示位置对应的网络结构，以得到所述下一个展示位置的预估指标，直到
所述展示列表中所有的展示位置预估完成，得到每个展示位置的预估指标。最后根据初始
模型的输出结果与样本数据中的标注信息之间的差异，以及梯度下降算法对该初始模型进
行迭代优化，调整每个展示位置对应的网络结构的网络参数，直到优化的模型达到预设收
敛条件时，停止迭代优化，将最后一次优化得到的模型作为训练完成的预估模型。其中，输
出结果可以为预估模型输出的每个展示位置在展示某个样本数据时对应的预估指标，标注
信息可以为人工标注的该样本数据在该展示位置时对应的标注指标。

[0047] 以展示列表中包括3个广告位为例，第一个广告位对应展示位置1，第二个广告位对应展示位置2，第三个广告位对应展示位置3。在训练预估模型的过程中，首先将展示位置
1对应的特征数据输入所述展示位置1对应的网络结构，以得到展示位置1的预估指标。然后
将展示位置2对应的特征数据、以及展示位置1的预估指标输入展示位置2对应的网络结构，
以得到展示位置2的预估指标。接下来，将展示位置3对应的特征数据、以及展示位置2的预
估指标输入展示位置3对应的网络结构，以得到展示位置3的预估指标。根据初始模型输出
的展示位置1的预估指标与展示位置1的标注指标之间的差异，调整展示位置1对应的网络
结构的网络参数。根据初始模型输出的展示位置2的预估指标与展示位置2的标注指标之间
的差异，调整展示位置2对应的网络结构的网络参数。根据初始模型输出的展示位置3的预
估指标与展示位置3的标注指标之间的差异，调整展示位置3对应的网络结构的网络参数。
接下来输入下一轮的特征数据以进行下一轮的迭代优化，直到优化的模型达到预设收敛条
件时，停止迭代优化，将最后一次优化得到的模型作为训练完成的预估模型。

[0048] 所述预估模型可以为根据大量的样本数据和机器学习方法，对现有的神经网络进行有监督训练而得到的。需要说明的是，本公开实施例对所述预估模型每个展示位置对应
的网络结构不加以限制。对于每个展示位置对应的网络结构，可采用相关的多任务预估结
构或其他广泛使用的网络结构，可以融合多种神经网络。所述神经网络包括但不限于以下
的至少一种或者至少两种的组合、叠加、嵌套：CNN(Convolutional Neural Network，卷积
神经网络)、LSTM(Long Short‑Term Memory，长短时记忆)网络、RNN(Simple Recurrent 
Neural Network，循环神经网络)、注意力神经网络等。

[0049] 此外，本公开实施例对当前展示位置的预估指标参与下一个展示位置的网络结构的具体方式不做限制。

[0050] 在本公开的一种可选实施例中，所述将所述当前展示位置的预估指标输入所述下一个展示位置对应的网络结构，包括：

[0051] 将所述当前展示位置的预估指标与所述下一个展示位置对应的网络结构的全连接层执行预设操作，所述预设操作包括加法操作或者乘法操作；或者，

[0052] 将所述当前展示位置的预估指标作为输入特征输入所述下一个展示位置对应的网络结构；或者，

[0053] 将所述当前展示位置对应的网络结构的全连接层与所述下一个展示位置对应的网络结构的全连接层进行合并。

[0054] 在本公开实施例中，可以将当前展示位置对应的网络结构输出的当前展示位置的预估指标输入下一个展示位置对应的网络结构的全连接层，也即，将当前展示位置的预估
指标合并在下一个展示位置对应的网络结构的全链接层最后。或者，可以将当前展示位置
对应的网络结构的全连接层与下一个展示位置对应的网络结构的全连接层直接进行合并，
假设当前展示位置对应的网络结构的全连接层长度为N，下一个展示位置对应的网络结构
的全连接层长度为M，合并后的长度为N+M。或者，将当前展示位置对应的网络结构的全连接
层与下一个展示位置对应的网络结构的全连接层执行加法或乘法等预设操作。

[0055] 在本公开的一种可选实施例中，所述当前展示位置对应的特征数据可以包括：所有展示位置对应的公共特征数据和当前展示位置对应的位置特征数据。所述将所述展示列
表中当前展示位置对应的特征数据输入所述当前展示位置对应的网络结构，可以包括：

[0056] 步骤S11、将所述所有展示位置对应的公共特征数据和所述当前展示位置对应的位置特征数据进行拼接，得到拼接后的特征数据；

[0057] 步骤S12、将所述拼接后的特征数据输入所述当前展示位置对应的网络结构。

[0058] 一个示例中，假设所有展示位置对应的公共特征数据的长度为P，当前展示位置对应的位置特征数据的长度为Q，则当前展示位置对应的特征数据可以为长度为P的公共特征
数据与长度为Q的位置特征数据拼接后的特征数据，拼接后的特征数据的长度为P+Q。然后
将长度为P+Q的拼接后的特征数据输入所述当前展示位置对应的网络结构，以得到当前展
示位置的预估指标。

[0059] 在将所述公共特征数据和所述当前展示位置对应的位置特征数据进行拼接之前，可以依据所有展示位置共用的嵌入式矩阵查询当前展示位置对应的位置特征数据的N维向
量。可以理解的是，所述公共特征数据也可以采用嵌入式矩阵的矩阵特征形式。

[0060] 在本公开的一种可选实施例中，所述预估指标包括预估点击率、预估转化率、以及预估成交金额。

[0061] 其中，点击率(Click Through Rate，CTR)可以表示为：

[0062] p(ctr|x)＝p(clickn|optn‑1，optn‑2…opt1，x)   (1)

[0063] 转化率(Conversion Rate，CVR)可以表示为：

[0064] p(cvr|x)＝p(ordern，clickn|optn‑1，optn‑2…opt1，x)   (2)

[0065] 成交金额(Gross Merchandise Volume，GMV)可以表示为：

[0066] p(gmv|x)＝p(price_n，ordern，clickn|optn‑1，optn‑2…opt1，x)    (3)

[0067] 其中，n表示广告位，opt表示用户在该广告位上的操作，如点击，下单等操作。

[0068] 可选地，所述将所述当前展示位置的下一个展示位置对应的特征数据、以及将所述当前展示位置的预估指标输入所述下一个展示位置对应的网络结构，以得到所述下一个
展示位置的预估指标，包括：

[0069] 将所述当前展示位置的下一个展示位置对应的特征数据、以及将所述当前展示位置的预估点击率和预估转化率输入所述下一个展示位置对应的网络结构，以得到所述下一
个展示位置的预估点击率、预估转化率、以及预估成交金额。

[0070] 在本公开实施例中，每个展示位置对应的网络结构可用于预估该展示位置对应展示数据的预估点击率、预估转化率、以及预估成交金额，其中，预估点击率、预估转化率可以
输入下一个展示位置对应的网络结构，以参与下一个展示位置的预估过程。

[0071] 由于点击率和转化率能够较好的表示用户的行为特征，此外，GMV作为一个实际数值，代表下单金额，数值范围较大，模型学习的难度较高。而点击率和转化率均为[0,1]范围
内的概率值，范围固定，学习难度更低。因此，为了降低模型学习难度，以及提高模型训练的
效率和准确率，本公开实施例优选地利用当前展示位置的预估指标中的点击率和转化率参
与下一个展示位置的预估过程。

[0072] 在本公开的一种可选实施例中，所述下一个展示位置对应的网络结构中全链接层的隐藏节点数小于所述当前展示位置对应的网络结构中全链接层的隐藏节点数。

[0073] 本公开实施例提供了一种训练预估模型的方法，该预估模型包含与展示列表中展示位置数量相等的网络结构，所述网络结构与所述展示位置一一对应。该预估模型采用层
级结构，层级结构是指预估网络模型的当前展示位置对应网络结构输出的预估指标会影响
下一个展示位置对应网络结构输出的预估指标。

[0074] 本公开实施例对每个展示位置对应的网络结构的具体结构不做限制。每个展示位置可以采用相同的网络结构。

[0075] 在模型训练的过程中，由于当前展示位置对应的网络结构已经进行了特征学习，对于相同特征的学习，在下一个展示位置对应的网络结构中不需要花费同等的代价再进行
学习。也即，后一个展示位置对应的网络结构可以复用其前一个展示位置对应的网络结构
的学习特征。因此，为了提高预估模型的性能，本发明实施例的预估模型的模型结构可以基
于复杂度递减的原则。也即，后一个展示位置对应的网络结构比其前一个展示位置对应的
网络结构更加简洁。

[0076] 一个示例中，复杂度递减可以体现在全联接层，例如，第一个展示位置对应的网络结构包含三层全联接层，隐藏节点数量为128、64、32，第二个展示位置对应的网络结构可递
减为2层全联接层，隐藏节点数为64、16，以此类推，第三个展示位置对应的网络结构可递减
为1层全联接层，隐藏节点数为32。

[0077] 在本公开的一种可选实施例中，所述得到训练完成的预估模型之后，所述方法还可以包括：

[0078] 步骤S21、接收用户请求，所述用户请求中包括搜索词；

[0079] 步骤S22、根据所述用户请求中的搜索词确定候选展示数据；

[0080] 步骤S23、根据所述训练完成的预估模型预估所述候选展示数据在展示列表中每个展示位置对应的相关指标；

[0081] 步骤S24、根据预估的每个展示位置对应的候选展示数据的相关指标，对每个展示位置对应的候选展示数据进行排序展示。

[0082] 在预估模型训练完成之后，可以使用训练完成的预估模型对在线获取的展示列表中各展示位置对应的展示数据预估相关指标，由于本公开实施例的预估模型可以消除展示
列表中展示位置存在的位置偏差，从而可以提高预估相关指标的准确性，进而可以提高对
搜索结果项排序的准确性以及提高广告推荐的准确性，提升用户体验。

[0083] 需要说明的是，本公开中的用户请求可以是用户触发的一次搜索请求，例如，可以是用户在搜索引擎、购物网站搜索栏、社交平台搜索栏等输入搜索词，并通过预设操作触发
的搜索请求，或者，可以是用户对消费场景如附近、指定区域如家或公司等发起的搜索请
求。

[0084] 通常，在接收用户的用户请求时，若用户请求是搜索请求，则根据搜索请求中的搜索词可以确定多条自然结果，同时也可以根据搜索请求中的搜索词确定广告召回列表。广
告召回列表可以包括根据用户搜索请求中搜索词关联的广告，根据搜索词确定的候选广告
组成的列表。所述候选展示数据可以为候选广告。

[0085] 以在搜索引擎中搜索场景为例，用户在搜索栏中输入搜索词“耳机”，并点击搜索按钮发起搜索请求，根据搜索词“耳机”可以确定多条自然结果，如耳机的百科词条、耳机相
关论坛、耳机相关贴吧、耳机相关问答等等，根据搜索词“耳机”可以确定广告召回列表，其
中包括购物天猫耳机购物广告、京东耳机购物广告、苏宁易购耳机购物广告等。

[0086] 其中，在显示自然结果和广告时，通常会对显示的位次进行区分，从而混合显示自然结果和广告，如第一位显示自然结果，第二位显示广告、第三位显示自然结果、第四位显
示广告等等。此时，第二位和第四位则被确认为广告位。

[0087] 本公开实施例可以根据训练完成的预估模型预估所述广告召回列表中各广告在展示列表中每个展示位置对应的相关指标。

[0088] 参照图2，示出了本公开的一种预估模型的模型结构以及根据该预估模型输出预估指标的过程示意图。如图2所示的示例中，展示列表中包含3个广告位，也即包含3个展示
位置。在该示例中，3个展示位置对应的位置特征数据共用一个嵌入式矩阵，第一个展示位
置的位置特征数据的索引为“位置特征_1”，第二个展示位置的位置特征数据的索引为“位
置特征_2”，第三个展示位置的位置特征数据的索引为“位置特征_3”，通过查询嵌入式矩阵
可以获取第一个展示位置的位置特征数据的N维向量，记为embedding_1。通过查询嵌入式
矩阵可以获取第二个展示位置的位置特征数据的N维向量，记为embedding_2。通过查询嵌
入式矩阵可以获取第三个展示位置的位置特征数据的N维向量，记为embedding_3。

[0089] 如图2所示，所有展示位置对应的公共特征数据向量化表示为feture embedding。首先，将公共特征数据feture embedding与第一个展示位置的位置特征数据embedding_1
进行拼接，输入第一个展示位置对应的网络结构MLP。通过第一个展示位置对应的网络结构
MLP输出第一个展示位置的预估指标，包括CTR_1、CVR_1、GMV_1。然后将公共特征数据
feture embedding与第二个展示位置的位置特征数据embedding_2进行拼接输入第二个展
示位置对应的网络结构MLP，并且将第一个展示位置预估的CTR_1和CVR_1输入第二个展示
位置对应的网络结构MLP，共同参与第二个展示位置的相关指标预估，通过第二个展示位置
对应的网络结构MLP输出第二个展示位置的预估指标，包括CTR_2、CVR_2、GMV_2。接下来将
公共特征数据feture embedding与第三个展示位置的位置特征数据embedding_3进行拼接
输入第三个展示位置对应的网络结构MLP，并且将第二个展示位置预估的CTR_2和CVR_2输
入第三个展示位置对应的网络结构MLP，共同参与第三个展示位置的相关指标预估，通过第
三个展示位置对应的网络结构MLP输出第三个展示位置的预估指标，包括CTR_3、CVR_3、
GMV_3。

[0090] 在根据训练完成的预估模型预估所述广告召回列表中各广告在展示列表中每个展示位置对应的相关指标之后，可以将预估的各广告在展示列表中每个展示位置对应的相
关指标与对应的广告位的门槛值进行比较，将预估的相关指标低于门槛值的广告过滤，将
预估的相关指标高于门槛值的广告作为对应广告位的候选广告，此时，不同的广告位可能
有不同的候选广告，对于不同的候选广告可以按照预估的相关指标进行排序展示。

[0091] 综上，本公开实施例根据用户的浏览行为习惯构建层级结构的预估模型，所述预估模型包含与展示列表中展示位置数量相等的网络结构，所述网络结构与所述展示位置一
一对应。层级结构是指预估网络模型的当前展示位置对应网络结构输出的预估指标会影响
下一个展示位置对应网络结构输出的预估指标。在实际应用中，用户浏览展示列表时通常
是按照自上而下的顺序进行浏览，并且用户对上一个展示位置的广告进行的操作通常可能
会影响用户对下一个展示位置的广告进行的操作。因此，本公开实施例根据用户的浏览行
为习惯构建层级结构的预估模型，能够有效解决展示列表中展示数据的展示位置存在偏差
的问题，以提高预估模型的准确性，进而提高展示列表中各展示位置对应的展示数据的准
确性，提高搜索结果的准确性或者提高广告推荐的准确性。

[0092] 需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开实施例并不受所描述的动作顺序的限制，因为依
据本公开实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该
知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本公开实施
例所必须的。

[0093] 实施例二

[0094] 参照图3，其示出了本公开一个实施例中的训练模型的装置的结构图，具体如下。

[0095] 模型构建模块301，用于构建初始的预估模型，所述预估模型包含与展示列表中展示位置数量相等的网络结构，所述网络结构与所述展示位置一一对应；

[0096] 指标预估模块302，用于将所述展示列表中当前展示位置对应的特征数据输入所述当前展示位置对应的网络结构，以得到所述当前展示位置的预估指标；

[0097] 所述指标预估模块302，还用于将所述当前展示位置的下一个展示位置对应的特征数据、以及将所述当前展示位置的预估指标输入所述下一个展示位置对应的网络结构，
以得到所述下一个展示位置的预估指标，直到得到所述展示列表中所有展示位置的预估指
标；

[0098] 参数调整模块303，用于根据所述展示列表中每个展示位置的预估指标，以及所述每个展示位置对应的标注指标，对所述预估模型的网络结构参数进行迭代优化，得到训练
完成的预估模型。

[0099] 可选地，所述当前展示位置对应的特征数据包括：所有展示位置对应的公共特征数据和当前展示位置对应的位置特征数据。

[0100] 可选地，所述指标预估模块，包括：

[0101] 特征拼接子模块，用于将所述所有展示位置对应的公共特征数据和所述当前展示位置对应的位置特征数据进行拼接，得到拼接后的特征数据；

[0102] 特征输入子模块，用于将所述拼接后的特征数据输入所述当前展示位置对应的网络结构。

[0103] 可选地，所述公共特征数据包括：用户信息特征、上下文特征、商家信息特征、预处理及嵌入式特征中的至少一项；所述位置特征数据包括：当前展示位置的编号、当前展示位
置的点击率、当前展示位置的下单率中的至少一项。

[0104] 可选地，所述指标预估模块，包括：

[0105] 第一合并子模块，用于将所述当前展示位置的预估指标与所述下一个展示位置对应的网络结构的全连接层执行预设操作，所述预设操作包括加法操作或者乘法操作；或者，

[0106] 第二合并子模块，用于将所述当前展示位置的预估指标作为输入特征输入所述下一个展示位置对应的网络结构；或者，

[0107] 第三合并子模块，用于将所述当前展示位置对应的网络结构的全连接层与所述下一个展示位置对应的网络结构的全连接层进行合并。

[0108] 可选地，所述预估指标包括预估点击率、预估转化率、以及预估成交金额；

[0109] 所述指标预估模块，具体用于将所述当前展示位置的下一个展示位置对应的特征数据、以及将所述当前展示位置的预估点击率和预估转化率输入所述下一个展示位置对应
的网络结构，以得到所述下一个展示位置的预估点击率、预估转化率、以及预估成交金额。

[0110] 可选地，所述下一个展示位置对应的网络结构中全链接层的隐藏节点数小于所述当前展示位置对应的网络结构中全链接层的隐藏节点数。

[0111] 可选地，所述装置还包括：

[0112] 请求接收模块，用于接收用户请求，所述用户请求中包括搜索词；

[0113] 候选确定模块，用于根据所述用户请求中的搜索词确定候选展示数据；

[0114] 候选预估模块，用于根据所述训练完成的预估模型预估所述候选展示数据在展示列表中每个展示位置对应的相关指标；

[0115] 数据排序模块，用于根据预估的每个展示位置对应的候选展示数据的相关指标，对每个展示位置对应的候选展示数据进行排序展示。

[0116] 本公开实施例根据用户的浏览行为习惯构建层级结构的预估模型，所述预估模型包含与展示列表中展示位置数量相等的网络结构，所述网络结构与所述展示位置一一对
应。层级结构是指预估网络模型的当前展示位置对应网络结构输出的预估指标会影响下一
个展示位置对应网络结构输出的预估指标。在实际应用中，用户浏览展示列表时通常是按
照自上而下的顺序进行浏览，并且用户对上一个展示位置的广告进行的操作通常可能会影
响用户对下一个展示位置的广告进行的操作。因此，本公开实施例根据用户的浏览行为习
惯构建层级结构的预估模型，能够有效解决展示列表中展示数据的展示位置存在偏差的问
题，以提高预估模型的准确性，进而提高展示列表中各展示位置对应的展示数据的准确性，
提高搜索结果的准确性或者提高广告推荐的准确性。

[0117] 对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

[0118] 本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

[0119] 关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

[0120] 本公开的实施例还提供了一种电子设备，参见图4，包括：处理器401、存储器402以及存储在所述存储器上并可在所述处理器上运行的计算机程序4021，所述处理器执行所述
程序时实现前述实施例的训练模型的方法。

[0121] 本公开的实施例还提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述实施例的训练模型的方法。

[0122] 对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

[0123] 在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求
的结构是显而易见的。此外，本公开的实施例也不针对任何特定编程语言。应当明白，可以
利用各种编程语言实现在此描述的本公开的实施例的内容，并且上面对特定语言所做的描
述是为了披露本公开的实施例的最佳实施方式。

[0124] 在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的
方法、结构和技术，以便不模糊对本说明书的理解。

[0125] 类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本公开的实施例的示例性实施例的描述中，本公开的实施例的各个特征有时被一起
分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下
意图：即所要求保护的本公开的实施例要求比在每个权利要求中所明确记载的特征更多的
特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个
实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方
式，其中每个权利要求本身都作为本公开的实施例的单独实施例。

[0126] 本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单
元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或
子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何
组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任
何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权
利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代
替。

[0127] 本公开的实施例的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实
践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开的实施例的排序设备中的
一些或者全部部件的一些或者全部功能。本公开的实施例还可以实现为用于执行这里所描
述的方法的一部分或者全部的设备或者装置程序。这样的实现本公开的实施例的程序可以
存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因
特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

[0128] 应该注意的是上述实施例对本公开的实施例进行说明而不是对本公开的实施例进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施
例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词
“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不
排除存在多个这样的元件。本公开的实施例可以借助于包括有若干不同元件的硬件以及借
助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干
个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺
序。可将这些单词解释为名称。

[0129] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0130] 以上所述仅为本公开的实施例的较佳实施例而已，并不用以限制本公开的实施例，凡在本公开的实施例的精神和原则之内所作的任何修改、等同替换和改进等，均应包含
在本公开的实施例的保护范围之内。

[0131] 以上所述，仅为本公开的实施例的具体实施方式，但本公开的实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开的实施例揭露的技术范围内，可
轻易想到变化或替换，都应涵盖在本公开的实施例的保护范围之内。因此，本公开的实施例
的保护范围应以权利要求的保护范围为准。