信息投放控制方法及装置

摘要

本发明提供信息投放控制方法及相关装置。该方法包括：接收信息获取请求；将目标用户分配至实验组或对照组；目标用户被分配至实验组中的概率等于目标用户被分配至对照组中的概率；若目标用户分配至实验组，将目标用户的实际兴趣标签组作为目标兴趣标签组；若目标用户分配至对照组，将随机兴趣标签组作为目标兴趣标签组；检索并返回与目标兴趣标签组相匹配的推荐信息。在本发明提供的监控方案中，实验组和对照组中的用户全部都是发送广告拉取请求的用户。并且，用户分配至对照组和实验组的概率相等，这样可实现在同一时间段内，甚至在同一时刻上，实验组中的用户数量和对照组中的用户数量相一致。从而保证了两组间的可比性。

权利要求

1.一种信息投放控制方法，其特征在于，包括：接收信息获取请求；

使用目标用户的实际兴趣标签组更新随机兴趣标签集；所述目标用户为与所述信息获取请求相关联的目标用户；所述实际兴趣标签组用于标记所述目标用户的兴趣属性；

将所述目标用户分配至实验组或对照组；所述目标用户被分配至实验组中的概率等于其被分配至对照组中的概率；

若所述目标用户分配至实验组，将所述实际兴趣标签组作为目标兴趣标签组；

若所述目标用户分配至对照组，将随机兴趣标签组作为目标兴趣标签组；所述随机兴趣标签组是从所述随机兴趣标签集中随机获取的；所述随机兴趣标签集包括多个用户的实际兴趣标签组；

检索并返回与所述目标兴趣标签组相匹配的推荐信息；

获取所述实验组的第一反馈统计数据和所述对照组的第二反馈统计数据；所述第一反馈统计数据是根据所述实验组中各用户针对其推荐信息的行为数据计算得到的；所述第二反馈统计数据是根据所述对照组中各用户针对其推荐信息的行为数据计算得到的；

根据所述第一反馈统计数据和第二反馈统计数据进行定向效果监控。

2.如权利要求1所述的方法，其特征在于，在所述使用目标用户的实际兴趣标签组更新随机兴趣标签集之前，还包括：判断是否使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集；

如果是，执行所述使用目标用户的实际兴趣标签组更新随机兴趣标签集。

3.如权利要求2所述的方法，其特征在于，

所述判断是否使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集包括：计算所述目标用户的更新随机数；

若所述更新随机数满足更新条件，则判定使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集，否则，判定不使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集。

4.如权利要求1所述的方法，其特征在于，在所述使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集之前，还包括：从用户画像标签引擎处读取所述目标用户的实际兴趣标签组。

5.如权利要求1所述的方法，其特征在于，所述将所述目标用户分配至实验组或对照组包括：根据所述目标用户的分组随机数将所述目标用户分配至实验组或对照组。

6.如权利要求1所述的方法，其特征在于，所述根据所述第一反馈统计数据和第二反馈统计数据进行定向效果监控包括：计算所述第一反馈统计数据相对于第二反馈统计数据的增长率；

若所述增长率低于最小增长率，得到兴趣标签组定向异常的监控结果；

否则得到兴趣标签组定向正常的监控结果。

7.一种信息投放控制装置，其特征在于，包括：接收模块，用于接收信息获取请求；

更新模块，用于使用目标用户的实际兴趣标签组更新随机兴趣标签集；所述目标用户为与所述信息获取请求相关联的目标用户；所述实际兴趣标签组用于标记所述目标用户的兴趣属性；

推荐模块，用于：

将所述目标用户分配至实验组或对照组；所述目标用户被分配至实验组中的概率等于所述目标用户被分配至对照组中的概率；

若所述目标用户分配至实验组，将所述实际兴趣标签组作为目标兴趣标签组；

若所述目标用户分配至对照组，将随机兴趣标签组作为目标兴趣标签组；所述随机兴趣标签组是从所述随机兴趣标签集中随机获取的；所述随机兴趣标签集包括多个用户的实际兴趣标签组；

检索并返回与所述目标兴趣标签组相匹配的推荐信息；

监控模块，用于获取所述实验组的第一反馈统计数据和所述对照组的第二反馈统计数据，根据所述第一反馈统计数据和第二反馈统计数据进行定向效果监控；

所述第一反馈统计数据是根据所述实验组中各用户针对其推荐信息的行为数据计算得到的；所述第二反馈统计数据是根据所述对照组中各用户针对其推荐信息的行为数据计算得到的。

8.如权利要求7所述的装置，其特征在于，所述更新模块还用于：在所述使用目标用户的实际兴趣标签组更新随机兴趣标签集之前，判断是否使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集；

如果是，执行所述使用目标用户的实际兴趣标签组更新随机兴趣标签集。

9.如权利要求8所述的装置，其特征在于，在所述判断是否使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集方面，所述更新模块具体用于：计算所述目标用户的更新随机数；

若所述更新随机数满足更新条件，则判定使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集，否则，判定不使用所述目标用户的实际兴趣标签组更新所述随机兴趣标签集。

10.如权利要求7所述的装置，其特征在于，在所述将所述目标用户分配至实验组或对照组方面，所述推荐模块具体用于：根据所述目标用户的分组随机数将所述目标用户分配至实验组或对照组。

11.一种信息投放控制装置，其特征在于，包括存储器和处理器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器中存储的计算机程序；

所述计算机程序用于执行如权利要求1-6任一项所述的信息投放控制方法。

12.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序用于执行权利要求1-6任一项所述的信息投放控制方法。

说明书

信息投放控制方法及装置

技术领域

[0001] 本发明涉及计算机技术领域，特别是涉及信息投放控制方法及相关装置。

背景技术

[0002] 很多场景下均会根据用户的兴趣主动向用户推送信息，以实现定向推送。例如，微信的朋友圈广告是以用户兴趣定向的广告，其具体做法是广告系统根据用户的兴趣标签向用户推送广告信息。

[0003] 兴趣标签是用于标记用户兴趣属性的相关短语。一般情况下，一个用户会对应一个兴趣标签组，兴趣标签组中包括多个兴趣标签。兴趣标签是否实现了对用户兴趣属性的准确定向，需要进行有效的定向效果监控。

[0004] 现有的定向效果监控方式包括：

[0005] 设置实验组和对照组，为实验组和对照组分配相同数量的用户。对照组作为实验组的参照物，广告系统会为对照组中的用户离线随机分配兴趣标签组；

[0006] 当实验组中的用户向广告系统发送广告拉取请求后，广告系统从用户画像标签引擎处获取该用户的兴趣标签组，根据该用户的兴趣标签组检索相应的广告；而当对照组中的用户向广告系统发送广告拉取请求后，广告系统根据离线时为该用户随机分配的兴趣标签组检索相应的广告；

[0007] 检索到的广告会返回到客户端，进而曝光给用户，用户可根据自己的喜好决定是否点击。广告系统可获取用户对广告的曝光和点击行为，并根据上述行为得到整个实验组的定向效果(可用点击率、转化率等表征定向效果)以及整个对照组的定向效果，通过对比实验组和对照组的定向效果来监控兴趣标签定向是否正常。

[0008] 然而，上述定向效果监控方式有如下缺点：

[0009] 用户在登陆客户端时会发送上述广告拉取请求，继而会触发广告检索及投放操作。后续广告系统才可获取到用户的曝光和点击行为，进而得到两组的定向效果。

[0010] 但用户何时登陆是不可控的。因此，虽然为实验组和对照组分配了相同数量的用户，但在某一时间段内，实验组和对照组中发送广告拉取请求的用户的数量却是不相等的。举个极端的例子，在某一时间段内，实验组中可能仅一位用户发送了广告拉取请求，而对照中却有十位用户发送了广告拉取请求。这降低了两组间的可比性，从而降低了监控的准确度。

发明内容

[0011] 本发明的目的在于提供信息投放控制方法及相关装置，以解决上述问题。

[0012] 为实现上述目的，本发明提供了如下方案：

[0013] 一方面，本申请的实施例提供一种信息投放控制方法，包括：

[0014] 接收信息获取请求；

[0015] 使用目标用户的实际兴趣标签组更新随机兴趣标签集；所述目标用户为与所述信息获取请求相关联的目标用户；所述实际兴趣标签组用于标记所述目标用户的兴趣；

[0016] 将所述目标用户分配至实验组或对照组；所述目标用户被分配至实验组中的概率等于其被分配至对照组中的概率；

[0017] 若所述目标用户分配至实验组，将所述实际兴趣标签组作为目标兴趣标签组；

[0018] 若所述目标用户分配至对照组，将随机兴趣标签组作为目标兴趣标签组；所述随机兴趣标签组是从所述随机兴趣标签集中随机获取的；所述随机兴趣标签集包括多个用户的实际兴趣标签组；

[0019] 检索并返回与所述目标兴趣标签组相匹配的推荐信息。

[0020] 另一方面，本发明实施例提供了一种一种信息投放控制装置，包括：

[0021] 接收模块，用于接收信息获取请求；

[0022] 更新模块，用于使用目标用户的实际兴趣标签组更新所述随机兴趣标签集；所述目标用户为与所述信息获取请求相关联的目标用户；所述实际兴趣标签组用于标记所述目标用户的兴趣；

[0023] 推荐模块，用于：

[0024] 将所述目标用户分配至实验组或对照组；所述目标用户被分配至实验组中的概率等于所述目标用户被分配至对照组中的概率；

[0025] 若所述目标用户分配至实验组，将所述实际兴趣标签组作为目标兴趣标签组；

[0026] 若所述目标用户分配至对照组，将随机兴趣标签组作为目标兴趣标签组；所述随机兴趣标签组是从所述随机兴趣标签集中随机获取的；

[0027] 检索并返回与所述目标兴趣标签组相匹配的推荐信息。

[0028] 在本发明提供的监控方案中，是将发送广告拉取请求的用户分配至实验组或对照组，这样，实验组和对照组中的用户全部都是发送广告拉取请求的用户。并且，用户分配至对照组和实验组的概率相等，这样可实现在同一时间段内，甚至在同一时刻上，实验组中的用户数量和对照组中的用户数量相一致。从而保证了两组间的可比性，进而令后续基于两组的定向效果监控更为准确。

[0029] 同时，在本技术方案中，是使用用户实际的兴趣标签组来更新随机兴趣标签集。这样可令对照组和实验组的兴趣标签分布总体一致，从而进一步提高了两组间的可比性，从而可进一步提高监控的准确度。

附图说明

[0030] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

[0031] 图1为本发明实施例提供的应用场景示意图；

[0032] 图2、6为本发明实施例提供的信息投放控制装置或广告系统的示例性结构图；

[0033] 图3、5为本发明实施例提供的信息投放控制方法示例性流程图；

[0034] 图4a为本发明实施例提供的随机兴趣标签组示意图；

[0035] 图4b为本发明实施例提供的使用随机兴趣标签组中的兴趣标签随机分配给对照组中的用户的示意图。

具体实施方式

[0036] 本发明实施例提供了信息投放控制方法及信息投放控制装置，以监控兴趣标签定向是否正确。

[0037] 图1示出了上述信息投放控制装置的一种示例性应用场景，在该场景下包括用户画像标签引擎101、广告系统102(包含信息投放控制装置)和终端设备C1-C3。

[0038] 其中，用户画像标签引擎101主要用于构建用户画像。用户画像是真实用户的虚拟模型。通过挖掘用户的人口属性、行为属性、社交网络、心理特征、兴趣爱好等数据，经过不断叠加、更新，抽象出完整的信息标签，组合并搭建出一个立体的用户虚拟模型，即用户画像。给用户“打标签”是用户画像最核心的部分。

[0039] 上述信息标签包括兴趣标签。

[0040] 前已述及，兴趣标签是用于标记用户兴趣属性的相关短语。而在广告投放应用场景下，兴趣标签可指广告系统特有的、广告主购买的商业兴趣标签。用户和广告通过商业兴趣标签关联。

[0041] 终端设备C1-C3等可以是各种具有通信功能的手持设备、车载设备、可穿戴设备、计算设备、定位设备或连接到无线调制解调器的其它处理设备，以及各种形式的用户设备(User Equipment,简称UE)、移动台(Mobile station,简称MS)、手机、平板电脑、台式电脑、PDA(Personal Digital Assistant，个人数字助理)等等。需要说明的是，图1示例性的显示了3个终端设备，在应用场景中，终端设备数目并不仅局限于3个，其可以更少或更多。

[0042] 上述各终端设备上可部署客户端，例如微信客户端、腾讯新闻客户端等等。

[0043] 用户在登陆客户端时会向广告系统102发送信息获取请求(广告拉取请求)，在本发明中，广告系统可采用用户的商业兴趣标签组或随机为用户分配的兴趣标签组，向其推送推荐信息(广告)。

[0044] 更具体的，对于微信朋友圈而言，一般具有一个广告位，则广告系统会向客户端的广告位投放一个广告。对于其他应用场景，例如，腾讯新闻客户端，其有多个广告位，则广告系统可向客户端的每一广告位投放广告。

[0045] 广告系统102或信息投放控制装置可以是一台广告服务器，或多台广告服务器组成的服务器集群/云平台。

[0046] 同理，用户画像标签引擎101可以是一台服务器，或多台服务器组成的服务器集群/云平台。

[0047] 在图1所示的广告系统中，上述信息投放控制装置可以软件或硬件的方式应用于广告系统或服务器中。

[0048] 图2是上述信息投放控制装置的一种结构示例图，如图2所示，可包括总线、处理器1、存储器2、通信接口3、输入设备4和输出设备5。处理器1、存储器2、通信接口3、输入设备4和输出设备5通过总线相互连接。其中：

[0049] 总线可包括一通路，在计算机系统各个部件之间传送信息。

[0050] 处理器1可以是通用处理器，例如通用中央处理器(CPU)、网络处理器(Network Processor，简称NP)、微处理器等，也可以是特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

[0051] 存储器2中保存有执行本发明技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器2可以包括只读存储器(read-only memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory，RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。

[0052] 通信接口3可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。

[0053] 输入设备4可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。

[0054] 输出设备5可包括允许输出信息给用户的装置，例如显示屏、扬声器等。

[0055] 信息投放控制装置的处理器1执行存储器2中所存放的程序，以及调用其他设备，可用于实现本发明所提供的信息投放控制方法。

[0056] 下面将以图1所示的应用场景为基础，基于上面所述的本发明涉及的共性方面，进行进一步详细说明。

[0057] 图3为本发明实施例提供的信息投放控制方法的一种示例性交互示意图，由前述的用户画像标签引擎101、广告系统102(包含信息投放控制装置)和终端设备交互实现。

[0058] 请参见图3，上述交互流程包括：

[0059] 在300部分：目标用户(例如用户A)通过终端设备向广告系统102发送广告拉取请求。

[0060] 以微信为例，用户登陆微信客户端时，微信客户端会向广告系统102发送广告拉取请求。

[0061] 用户A可为任一用户。

[0062] 在301部分：信息投放控制装置的处理器1从用户画像标签引擎101处读取用户A的实际商业兴趣标签组。

[0063] 在一个示例中，处理器1可通过通信接口3向用户画像标签引擎101发送兴趣标签请求消息，该消息中携带用户的唯一身份标识(ID)。对于微信用户，其唯一身份标识可为uin。当然，在其他应用场景下，用户ID可为手机号码、用户账号等。

[0064] 用户画像标签引擎101则可根据用户ID查找相应的商业兴趣标签组并返回。

[0065] 在302部分：信息投放控制装置的处理器1使用用户A的实际商业兴趣标签组更新随机兴趣标签集。

[0066] 在301部分已经获取了用户A的实际商业兴趣标签组，在本部分，可使用获取到的商业兴趣标签组来更新随机兴趣标签集。

[0067] 上述随机兴趣标签集包括多个用户的实际兴趣标签组。例如，可包括一万个用户的实际兴趣标签组。

[0068] 请参见图4a，随机兴趣标签集包括用户100、用户143、用户231等的实际兴趣标签组。以用户143的实际兴趣标签组为例，其包括标签B、K，标签B、K均是从用户画像标签引擎101处得到的。

[0069] 在本实施例中，可在获取用户A的实际商业兴趣标签组后，即对随机兴趣标签集进行更新。

[0070] 而在本发明其他实施例中，为了避免频繁更新随机兴趣标签集而带来的系统负担，在执行302部分之前，还可判断是否使用用户A的商业兴趣标签组更新随机兴趣标签集；若判定使用用户A的兴趣标签组更新随机兴趣标签集，才执行302部分。具体的判断方式，本文后续将进行介绍。

[0071] 在后续步骤中，会将随机兴趣标签集中的标签组随机分配给对照组中的用户。

[0072] 在303部分：信息投放控制装置的处理器1确定上述用户A的组别。

[0073] 其中，组别可包括实验组和对照组。用户A被分配至实验组中的概率等于用户A被分配至对照组中的概率。

[0074] 也即，用户A有50％的概率被分配至对照组，有50％的概率被分配至实验组。这样可实现在同一时间段内，甚至在同一时刻上，实验组中的用户数量和对照组中的用户数量相一致。从而保证了两组间的可比性。

[0075] 具体的分配方式，本文后续将进行介绍。

[0076] 在304部分：若用户A分配至实验组，信息投放控制装置的处理器1将用户A的实际商业兴趣标签组作为目标兴趣标签组；而若用户A分配至对照组，信息投放控制装置的处理器1从随机兴趣标签集中随机获取一个商业兴趣标签组作为目标兴趣标签组。

[0077] 例如，请参见图4b，用户555实际的商业兴趣标签组包括标签H、M。若用户555被分配至对照组，则从随机兴趣标签集中随机获取一个商业兴趣标签组(包括标签B、K)替换用户555原来的商业兴趣标签组。

[0078] 本部分可实现，实验组中的用户采用实际的商业兴趣标签组进行定向，而对照组中的用户采用随机的商业兴趣标签组进行定向。

[0079] 在305部分：信息投放控制装置的处理器1检索与目标兴趣标签组相匹配的推荐信息(即广告)，并通过通信接口3向用户A的客户端返回上述推荐信息。

[0080] 仍以图4b中的用户555为例，处理器1会检索与标签B、K相匹配的广告，投放至用户555的客户端。

[0081] 在306部分：客户端会在广告位上展示广告。

[0082] 后续，用户A可根据自己的喜好决定是否点击。信息投放控制装置可实时获取用户A对所投放广告的曝光和点击行为(307部分)。

[0083] 在308部分：信息投放控制装置的处理器1获取实验组的第一反馈统计数据和对照组的第二反馈统计数据。

[0084] 处理器1可周期性(例如每15分钟)获取第一反馈统计数据和第二反馈统计数据，也可在到达某一预定时刻时获取。

[0085] 其中，第一反馈统计数据可根据实验组中各用户针对投放的广告的行为数据(例如曝光量和点击量)计算得到的；

[0086] 第二反馈统计数据是根据对照组中各用户针对投放的广告的行为数据(例如曝光量和点击量)计算得到的。

[0087] 第一反馈统计数据和第二反馈统计数据例如可为整组的点击率(CTR)、整组的转化率(CVR)等。

[0088] 以CTR为例，CTR＝点击量/曝光量。以微信朋友圈为例，如果在一段时间内(15分钟)，实验组的所有用户进入微信朋友圈的总次数为1000次，而朋友圈广告位上的广告总共被点击了10次，那么，1000为曝光量，10为点击量，CTR为：10/1000＝1％。

[0089] 同理，对照组的CTR也可如此计算。

[0090] 在309部分：信息投放控制装置的处理器1根据第一反馈统计数据和第二反馈统计数据进行定向效果监控。

[0091] 在一个示例中，根据第一反馈统计数据和第二反馈统计数据进行定向效果监控可进一步包括：

[0092] A：计算第一反馈统计数据相对于第二反馈统计数据的增长率；

[0093] 以CTR为例，假定实验组的CTR是0.13，对照组的CTR是0.1，则0.13对应于0.1的增长率是30％。

[0094] B：若增长率低于最小增长率，得到兴趣标签组定向异常的监控结果，否则得到兴趣标签组定向正常的监控结果。

[0095] 假定最小增长率为20％，沿用前例，若实验组的CTR相对于对照组的CTR的增长率为30％，大于20％，则可得到兴趣标签组定向正常的监控结果，反之，得到兴趣标签组定向异常的监控结果。

[0096] 需要说明的是，这里的兴趣标签组定向正常或异常，指的是所有用户的兴趣标签组定向正常或异常。

[0097] 以微信应用场景为例，可能会从所有微信用户中抽取100个用户分配至实验组，抽取100个用户分配至对照组。但得到的监控结果却表征的是整个微信用户群体。

[0098] 此外，还需要说明的是，在本实施例中，并不是任一个用户发送了广告拉取请求后，均会触发执行302-306部分(进入监控流程)。可按一定抽取方式抽取该用户进入监控流程。

[0099] 例如，如欲抽取10％的用户进入监控流程，则可在接收到用户的广告拉取请求后，针对该用户计算出一个随机数(可称之为抽取随机数)，为方便起见，计算出的随机数可为大于0小于1的小数。若该抽取随机数小于0.1，则执行后续的302-306部分，否则，直接采用用户的商业兴趣标签检索向其客户端推送广告即可。

[0100] 可见，在本发明提供的监控方案中，是将发送广告拉取请求的用户分配至实验组或对照组，这样，实验组和对照组中的用户全部都是发送广告拉取请求的用户。并且，用户分配至对照组和实验组的概率相等，这样可实现在同一时间段内，甚至在同一时刻上，实验组中的用户数量和对照组中的用户数量相一致。从而保证了两组间的可比性，进而令后续基于两组的定向效果监控更为准确。

[0101] 此外，真实用户的商业兴趣标签是随时间不断更新的，也可能增加新的商业兴趣标签。而现有方式中对照组用户的商业兴趣标签是离线更新，这很难保证实验组和对照组的标签分布一致性。极端情况下，实验组的用户的商业兴趣标签完全是新增的商业兴趣标签，而对照组用户全部是旧商业兴趣标签。不同商业兴趣标签拉取的广告是不相同的，不同广告的效果又是不一样的，这样降低了两组间的可比性。

[0102] 而在本技术方案中，是使用用户实际的兴趣标签组来在线更新随机兴趣标签集。这样就不会出现实验组的用户的商业兴趣标签完全是新增的商业兴趣标签，而对照组用户全部是旧商业兴趣标签的极端情况，可令对照组和实验组的兴趣标签分布总体一致，从而进一步提高了两组间的可比性，进而可进一步提高监控的准确度。

[0103] 此外。以离线的方式更新随机兴趣标签的话，需要预先为对照组中的每一用户打上随机标签。由于用户实际的商业兴趣标签每天都会更新，则对照组中每一用户也需要人工每天更新随机标签并导入库，这样导致离线更新随机兴趣标签的成本增大，代价较高。

[0104] 而在本实施例中，是由广告系统的信息投放控制装置在线更新随机兴趣标签集的。其不受用户实际的商业兴趣标签每天更新的影响，监控成本相对较低。

[0105] 下面，将介绍如何更新随机兴趣标签集。请参见图5，图5为本发明实施例提供的信息投放控制方法的另一种示例性交互示意图，由前述的用户画像标签引擎101、广告系统102(包含信息投放控制装置)和终端设备交互实现。

[0106] 在本实施例中，随机兴趣标签集缓存在缓存队列中。

[0107] 上述交互流程包括：

[0108] 500-501部分与300-301部分相同，在此不作赘述。

[0109] 在502部分：信息投放控制装置的处理器1计算用户A的更新随机数p；

[0110] 可根据随机算法计算更新随机数p，在此不作赘述。

[0111] 在503部分：信息投放控制装置的处理器1判断上述更新随机数p是否小于a，若是，进入504部分，否则进入505部分；

[0112] 上述a为设定的参数。a越大，则更新操作越频繁。本领域技术人员可根据实际情况去设计a的取值，在此不作赘述。

[0113] 当然，在其他实施例中，也可在更新随机数p大于a时，进入504部分。在此不作赘述。

[0114] 在504部分：信息投放控制装置的处理器1将上述缓存队列头部的商业兴趣标签组删除，将用户A的商业兴趣标签组插入缓存队列的队尾。

[0115] 在本实施例中，可实现若更新随机数满足更新条件(例如大于a或小于a)，则使用用户的兴趣标签组更新随机兴趣标签集，否则，不使用用户的兴趣标签组更新随机兴趣标签集。

[0116] 使用随机数来判断是否更新随机兴趣标签集，可使对照组和实验组的标签分布总体一致，并保证随机性。

[0117] 在505部分：信息投放控制装置的处理器1计算用户A的分组随机数q；

[0118] 可根据随机算法计算分组随机数q，在此不作赘述。

[0119] 在506部分：信息投放控制装置的处理器1判断分组随机数q是否小于分组阈值b，若是，进入507部分，否则进入508部分；

[0120] 上述b为设定的参数。本领域技术人员可根据实际情况去设计b的取值，为保证用户A等概率分配，可令b位于q的取值范围的中间位置。例如，在q的取值范围为[0，1]时，可令b＝0.5，在q的取值范围为[0，100]时，可令b＝50等等，在此不作赘述。

[0121] 当然，在其他实施例中，也可在分组随机数q大于b时，进入507部分，否则进入508部分，在此不作赘述。

[0122] 在507部分：信息投放控制装置的处理器1将用户A分配至实验组，并将目标用户A的商业兴趣标签组作为目标兴趣标签组。

[0123] 在508部分：信息投放控制装置的处理器1将用户A分配至对照组，并从随机兴趣标签集中随机获取一个商业兴趣标签组作为目标兴趣标签组。

[0124] 507和508部分的细节描述可参见前述的304部分，以此不作赘述。

[0125] 509-511部分至与前述的305-307部分相同，在此不作赘述。

[0126] 在512部分：信息投放控制装置的处理器1定期获取实验组的第一CTR和对照组的第二CTR。

[0127] 相关细节请参见前述的308部分，在此不作赘述。

[0128] 在513部分：信息投放控制装置的处理器1计算第一CTR相对于第二CTR的增长率T。

[0129] 相关细节请参见前述的309部分，在此不作赘述。

[0130] 在514部分：判断增长率T是否大于最小增长率t，若是，进入515部分，否则进入516部分。

[0131] 最小增长率可根据不同的应用场景进行灵活设定，在此不作赘述。

[0132] 在515部分：得到兴趣标签组定向正常的监控结果。

[0133] 相关细节请参见前述的309部分，在此不作赘述。

[0134] 在516部分：得到兴趣标签组定向异常的监控结果。

[0135] 相关细节请参见前述的309部分，在此不作赘述。

[0136] 在得到兴趣标签组定向异常的监控结果后，后续可对用户画像标签引擎101的标签生成方式进行调整。

[0137] 本实施例提出基于随机兴趣标签集的广告商业兴趣定向效果的长期信息投放控制方法，其主要是基于线上用户画像服务(引擎)，构建缓存队列，实时为对照组的用户打上随机商业兴趣标签，通过对比带有随机商业兴趣标签的用户的定向效果来衡量实际的商业兴趣标签定向是否异常，从而达到监控的目的。

[0138] 需要说明的是，现有技术中还存在其他的定向效果监控方式，例如，可监控定向效果(例如点击率)随时间的变化趋势，如果点击率表现平稳乃至上升则认为定向效果不变，如果点击率下跌则认为定向效果变差，兴趣标签组异常(即定向不准确)。

[0139] 但是，点击率下跌也可能是由时间周期性变化或者外界变化导致的，并不一定是由兴趣标签组定向不准确(异常)引起的。

[0140] 而本发明实施例中，设置对照组作为实验组的参照物，对实验组中的用户采用的兴趣标签组进行定向推广，对对照组中的用户采用随机的兴趣标签组进行定向推广。再根据两个组的反馈统计数据(第一反馈统计数据和第二反馈统计数据)来对定向效果监控。上述两个组别的反馈统计数据均受时间周期性变化或者外界变化的影响，因此对二者进行比较，可抵消时间周期性变化或者外界变化的影响。相较于现有技术，其监控的准确性更强。

[0141] 综上，本实施例有三个主要的有益效果：

[0142] 定向效果监控不受时间因素等的波动影响；

[0143] 实验组和对照组的标签分布一致，因此对比更加公平；

[0144] 随机标签是线上更新，不受商业标签不断变化的影响，监控成本降低。

[0145] 图6示出了上述实施例中所涉及的广告系统或信息投放控制装置的另一种可能的结构示意图，包括：

[0146] 接收模块601，用于接收的信息获取请求；

[0147] 更新模块602，用于使用目标用户的实际兴趣标签组更新随机兴趣标签集；目标用户为与所述信息获取请求相关联的目标用户。

[0148] 推荐模块603，用于：

[0149] 将目标用户分配至实验组或对照组；

[0150] 若目标用户分配至实验组，将上述实际兴趣标签组作为目标兴趣标签组；

[0151] 若目标用户分配至对照组，将随机兴趣标签组作为目标兴趣标签组；所述随机兴趣标签组是从所述随机兴趣标签集中随机获取的；

[0152] 检索并返回与目标兴趣标签组相匹配的推荐信息。

[0153] 其中，目标用户被分配至实验组中的概率等于目标用户被分配至对照组中的概率。

[0154] 在将目标用户分配至实验组或对照组方面，推荐模块603可具体用于：根据所述目标用户的分组随机数将所述目标用户分配至实验组或对照组。

[0155] 具体细节请参见本文前述记载，在此不作赘述。

[0156] 在本发明其他实施例中，仍请参见图6，上述信息投放控制装置或广告系统还可包括：

[0157] 监控模块604，用于获取实验组的第一反馈统计数据和对照组的第二反馈统计数据，根据第一反馈统计数据和第二反馈统计数据进行定向效果监控；

[0158] 第一反馈统计数据是根据实验组中所有成员针对其推荐信息的行为数据计算得到的；第二反馈统计数据是根据对照组中所有成员针对其推荐信息的行为数据计算得到的。

[0159] 在本发明其他实施例中，上述更新模块602还可用于：

[0160] 在使用目标用户的实际兴趣标签组更新随机兴趣标签集之前，判断是否使用目标用户的实际兴趣标签组更新随机兴趣标签集；

[0161] 使用目标用户的实际兴趣标签组更新随机兴趣标签集的操作，是在判定使用目标用户的实际兴趣标签组更新随机兴趣标签集后执行的。

[0162] 具体细节请参见本文前述记载，在此不作赘述。

[0163] 进一步的，在判断是否使用目标用户的实际兴趣标签组更新随机兴趣标签集方面，更新模块602可具体用于：

[0164] 计算目标用户的更新随机数；

[0165] 若更新随机数满足更新条件，则判定使用目标用户的实际兴趣标签组更新随机兴趣标签集，否则，判定不使用目标用户的实际兴趣标签组更新随机兴趣标签集。

[0166] 其中，接收模块601可用于执行图3所示实施例的300部分；此外，还可执行图5所示实施例的500部分。

[0167] 更新模块602可用于执行图3所示实施例的301-302部分；此外，还可执行图5所示实施例的501-504部分。

[0168] 推荐模块603可用于执行图3所示实施例的303-305部分；此外，还可执行图5所示实施例的505-509部分。

[0169] 监控模块604可用于执行图3所示实施例的307-309部分；此外，还可执行图5所示实施例的511-516部分。

[0170] 结合本发明公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于目标用户设备中。当然，处理器和存储介质也可以作为分立组件存在于目标用户设备中。

[0171] 本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

[0172] 以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。