审核监控方法、装置、电子设备及存储介质

摘要

本申请公开了一种审核监控方法、装置、电子设备及存储介质，该方法包括：获取审核样本的数量；获取测试样本的投放数量；基于审核样本的数量设置测试样本投放数值区间，测试样本投放数值区间的数量等于测试样本的投放数量；确定每个测试样本投放数值区间中的投放阈值；当已审核样本的数量大于投放阈值时，投放测试样本。本申请通过向审核人员审核的审核样本中随机投放测试样本，实现对审核人员的审核结果的实时测试，从而实时监控审核人员的审核质量，提高监控效率的同时有利于提高审核质量。

权利要求

1.一种审核监控方法，其特征在于，所述方法包括：获取审核样本的数量；

获取测试样本的投放数量；

获取监控间隔；

根据所述测试样本的投放数量与所述监控间隔，计算所述测试样本投放数值区间的区间中心；

根据所述区间中心、预设区间大小以及所述审核样本的数量，设置所述测试样本投放数值区间，所述测试样本投放数值区间的数量等于所述测试样本的投放数量；

确定每个所述测试样本投放数值区间中的投放阈值；

当已审核样本的数量大于所述投放阈值时，投放测试样本。

2.根据权利要求1所述的审核监控方法，其特征在于，在所述当已审核样本的数量大于所述投放阈值时，投放测试样本之前，所述方法还包括：获取测试样本的标识；

所述当已审核样本的数量大于所述投放阈值时，投放测试样本，包括：当审核样本的数量大于所述投放阈值时，投放与所述测试样本的标识对应的测试样本。

3.根据权利要求2所述的审核监控方法，其特征在于，所述获取测试样本的标识，包括:根据标识预设规则设置测试样本的多个标识；

基于所述测试样本的多个标识设置对应所述多个标识的投放权重；

基于所述多个标识的投放权重构建多个标识权重数值区间，一个所述标识与一个所述标识权重数值区间对应；

生成标识选择数值，查找所述标识选择数值所属的标识权重数值区间，并获取所述标识选择数值所属的所述标识权重数值区间对应的标识作为测试样本的标识。

4.根据权利要求3所述的审核监控方法，其特征在于，每个所述标识的属性包括测试样本的标识的违规等级、违规频率、重要性评价、漏检率中的至少一种。

5.根据权利要求1所述的审核监控方法，其特征在于，所述获取测试样本的投放数量之前，所述方法还包括：

根据数量预设规则设置测试样本的多个投放数量；

基于所述多个投放数量设置对应所述多个投放数量的投放权重；

基于所述多个投放数量的投放权重构建多个数量权重数值区间，一个所述投放数量与一个所述数量权重数值区间对应；

生成数量选择数值，查找所述数量选择数值所属的数量权重数值区间，并获取所述数量选择数值所属的所述数量权重数值区间对应的投放数量作为测试样本的投放数量。

6.根据权利要求1所述的方法，其特征在于，所述根据所述测试样本的投放数量与所述监控间隔，计算所述测试样本投放数值区间的区间中心，采用公式：其中，Am为一个所述监控间隔P内的第m个所述区间中心，m＝1,…,2n‑1，n为所述测试样本的投放数量，n∈N*。

7.根据权利要求1所述的方法，其特征在于，所述当已审核样本的数量大于所述投放阈值时，投放测试样本之前，所述方法还包括：获取当所述已审核样本的数量达到所述投放阈值时对应的第一图片以及在所述第一图片之后相邻的第二图片；

根据所述第一图片以及所述第二图片的图片属性，编辑所述测试样本，所述图片属性包括亮度、对比度、图片标识、业务标签中的至少一种。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：统计测试结果，所述测试结果包括漏检率、测试样本的标识中的至少一种。

9.一种审核监控装置，其特征在于，包括：第一获取模块，用于获取审核样本的数量；

第二获取模块，用于获取测试样本的投放数量；

第三获取模块，用于获取监控间隔；

区间计算模块，用于根据所述测试样本的投放数量与所述监控间隔，计算所述测试样本投放数值区间的区间中心；

区间设置模块，用于根据所述区间中心、预设区间大小以及所述审核样本的数量，设置所述测试样本投放数值区间，所述测试样本投放数值区间的数量等于所述测试样本的投放数量；

阈值确定模块，用于确定每个所述测试样本投放数值区间中的投放阈值；

投放模块，用于当审核样本的数量大于所述投放随机数阈值对应的审核样本的数量时，投放测试样本。

10.一种电子设备，其特征在于，包括：存储器；

一个或多个处理器，与所述存储器耦接；

一个或多个程序，其中，所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1‑8任一项所述的方法。

11.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1‑8任一项所述的方法。

说明书

审核监控方法、装置、电子设备及存储介质

技术领域

[0001] 本申请涉及信息技术领域，更具体地，涉及一种审核监控方法、装置、电子设备及存储介质。

背景技术

[0002] 随着信息技术的不断发展，多媒体直播以其形式新颖、内容丰富受到人们的广泛关注，例如一场直播就可以带来百万流量，使得信息的传播速度高到难以估量。但是目前不
少多媒体直播掺杂着违规内容，例如色情、暴力等内容，这些违规内容扰乱了人们的正常生
活。为了减少违规内容的传播，就需要及时发现并消除违规内容。

[0003] 多媒体直播的来源广泛、数量庞大等特殊性也给监管带来较大难度。为了对日渐增多的多媒体直播实现有效的监管，各平台需要更多的审核人员完成审核工作，但是不同
审核人员之间的审核标准往往存在差异，而这种差异性容易引起用户对审核结果的争议，
所以各平台需要对审核人员的审核质量进行监控，但是目前尚且没有有效的方法可以控制
审核质量。

发明内容

[0004] 鉴于上述问题，本申请提出了一种审核监控方法、装置、电子设备及存储介质，可以实时控制审核质量。

[0005] 第一方面，本申请实施例提供了一种审核监控方法，该方法包括：获取审核样本的数量；获取测试样本的投放数量；基于审核样本的数量设置测试样本投放数值区间，测试样
本投放数值区间的数量等于测试样本的投放数量；确定每个测试样本投放数值区间中的投
放阈值；当已审核样本的数量大于投放阈值时，投放测试样本。

[0006] 第二方面，本申请实施例提供了一种审核监控装置，所述装置包括：第一获取模块，用于获取审核样本的数量；第二获取模块，用于获取测试样本的投放数量；区间设置模
块，用于基于审核样本的数量设置测试样本投放数值区间，测试样本投放数值区间的数量
等于测试样本的投放数量；阈值确定模块，用于确定每个测试样本投放数值区间中的投放
阈值；投放模块，当审核样本的数量大于投放随机数阈值对应的审核样本的数量时，投放测
试样本。

[0007] 第三方面，本申请实施例提供了一种电子设备，其包括：存储器；一个或多个处理器，与存储器耦接；一个或多个程序，其中，一个或多个应用程序被存储在存储器中并被配
置为由一个或多个处理器执行，一个或多个程序配置用于执行如上述第一方面所述的方
法。

[0008] 第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如上述第一方面所述的方
法。

[0009] 本申请实施例提供的审核监控方法、装置、电子设备及存储介质，通过获取审核样本的数量以及测试样本的投放数量，然后基于审核样本的数量设置测试样本投放数值区
间，其中，测试样本投放数值区间的数量等于测试样本的投放数量，最后确定每个测试样本
投放数值区间中的投放阈值，并当已审核样本的数量大于投放阈值时，投放测试样本。本申
请通过向审核人员审核的审核样本中随机投放测试样本，实现对审核人员的审核结果的实
时测试，从而实时监控审核人员的审核质量，提高监控效率的同时有利于提高审核质量。

[0010] 本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

[0011] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于
本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附
图。

[0012] 图1示出了一种适用于本申请实施例的应用环境示意图；

[0013] 图2示出了一种适用于本申请实施例的审核逻辑的流程示意图；

[0014] 图3示出了本申请一个实施例提供的审核监控方法的流程示意图；

[0015] 图4示出了本申请另一个实施例提供的审核监控方法的流程示意图；

[0016] 图5示出了本申请另一个实施例提供的采用TreeMap算法构造树的示意图；

[0017] 图6示出了本申请另一个实施例提供的测试样本投放数值区间的示意图；

[0018] 图7示出了本申请另一个实施例提供的步骤S710至步骤S740的具体流程示意图；

[0019] 图8示出了本申请另一个实施例提供的步骤S810至步骤S820的具体流程示意图；

[0020] 图9示出了本申请一个实施例提供的审核监控装置的模块框图；

[0021] 图10示出了本申请实施例用于执行根据本申请实施例的审核监控方法的电子设备的结构框图；

[0022] 图11示出了本申请实施例的用于保存或者携带实现根据本申请实施例的审核监控方法的程序代码的存储单元。

具体实施方式

[0023] 为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。应当理解，此处描述的具体实
施例仅用于解释本申请，并不用于限定本申请。

[0024] 目前多媒体直播愈发多元化，且直播门槛逐渐降低，越来越多的用户可以成为主播，通过多媒体直播向外输出并实现自我表达。随着直播内容的不断丰富，直播用户的不断
增加，对多媒体直播的审核监管工作带来了越来越大的挑战。为了对大量的多媒体直播实
现有效的监管，直播平台引入了机器审核以提高审核效率，但是目前的机器审核只能进行
简单的甄别和筛选，而如果要对违规内容实现更加准确的审核和判别，仍需要足够多的、训
练有素的审核人员来进行二次审核。

[0025] 现在的人工审核虽然可以比机器审核能判别更复杂的内容，但是人工审核需要耗费大量的人力成本，并且不同审核人员之间的审核标准往往存在差异，而这种差异性将对
审核质量造成较大影响，所以人工审核需要监督，也就是对于审核人员的审核结果需要进
行监控，才能更好地在利用人工审核提高审核准确度的同时，保证人工审核的审核质量。

[0026] 目前管理人员在监控审核人员的审核质量时，往往需要在第二天才可以根据前一日的数据得知审核人员前一日的审核质量，而无法对审核人员的审核质量进行实时监控，
并且对于审核人员审核过程中出现的差异性，无法做出及时地调整和管控，导致审核质量
低下且易导致审核结果不够公正与标准。

[0027] 基于上述问题，发明人在对现有的审核方法进行了一系列研究后发现，目前现有的审核方法无法及时监督审核人员，无法在审核人员审核效率低下或质量不高的时候，及
时做出调整以保证审核人员可以及时阻断违规内容的传播。所以如何可以有效地在监控审
核质量的同时提高审核效率显得愈发重要。

[0028] 在研究的过程中，发明人研究了目前直播内容审核的困难点，更是综合考虑实际审核的需求，提出了本申请实施例的审核监控方法、装置、电子设备及存储介质。

[0029] 为了更好理解本申请实施例提供的一种审核监控方法、装置、电子设备及存储介质，下面先对适用于本申请实施例的直播网络构架和审核逻辑进行描述。

[0030] 请参阅图1，图1为适用于本申请实施例的应用场景图。如图1所示，客户端安装于终端200中，多个终端200和服务器100位于无线网络或有线网络中，多个终端200和服务器
100可以进行数据交互。进一步地，多个终端200之间可以相互通过互联网进行通信连接，也
可以将服务器100作为传输中介，并通过互联网来进行相互间的通信连接。

[0031] 其中，终端200可以包括但不限于笔记本电脑、台式电脑、平板电脑、智能手机、可穿戴电子设备等电子设备。

[0032] 在一些实施例中，客户端安装于终端200内，例如，可以是安装在终端 200的应用程序。用户在客户端通过帐号登录，则该帐号对应的所有信息可以存储在服务器100的存储
空间内。其中，服务器100可以是单独的服务器，也可以是服务器集群，可以是本地服务器，
也可以是云端服务器，在此不作限定。在一些实施方式中，服务器100中可以安装多媒体直
播审核系统，可以用于分发直播数据。

[0033] 在一些实施方式中，客户端可以是多媒体直播审核系统，审核人员在客户端登录审核帐号，不同的审核人员对应不同的审核帐号。审核人员通过客户端对直播数据进行审
核，并根据审核得到的审核结果提交处罚结果，处罚结果存储于服务器100。另外，管理人员
可以在客户端登录管理员帐号，不同的管理员可以的对应不同的管理员帐号，也可以对应
相同的管理员帐号，通过管理员帐号，可以监控审核人员对直播数据的审核。

[0034] 进一步地，请参阅图2，图2为适用于本申请实施例的一种审核逻辑的流程示意图。多媒体直播审核系统中可采用如图2所示的审核逻辑，如图2 所示，在一些实施例中，直播
数据可以先通过机器审核，在机器审核阶段利用图像识别以及数据分析，对直播数据进行
初步判断，判断直播数据是否安全。经过判断，可以将安全的直播数据存储归档，并将不安
全的直播数据作为审核样本存储于审核数据分发队列中，在一些实施方式中，审核数据分
发队列存储于服务器100，服务器100上可以安装多媒体直播审核系统，可以用于分发审核
数据分发队列中的审核样本。

[0035] 其中，审核数据分发队列中包括至少一个审核样本，审核样本可以是图片、视频、音频等，作为一种方式，审核样本至少包括图片和视频截图中的一种。审核数据分发队列中
的审核样本将进入人工审核阶段，具体的，人工审核由多个审核人员通过客户端对审核样
本进行审核。

[0036] 在一些实施方式中，服务器100根据审核数据分发队列将审核样本分别分发至多个审核人员对应的审核帐号下，审核人员可以通过在多媒体直播审核系统中登录审核帐
号，获取该审核帐号对应的审核样本进行审核。

[0037] 其中，人工审核至少包括第一次人工审核(人工一审)、第二次人工审核(人工二审)中的一种。其中，审核样本至少包括不确定、疑似违规以及疑似违规程度高三种审核样
本的一种。具体的，作为一种方式，可以将不确定的审核样本分发入人工一审，将疑似违规
的审核样本分发入人工二审，进一步地，经人工一审判断仍为疑似违规的审核样本可以分
发入人工二审，进行第二次人工审核，以提升违规内容判断的准确性。

[0038] 需要说明的是，在人工一审阶段，可以根据审核规则从海量截图中发现违规或者疑似违规，提交给二审；在人工二审阶段，可以根据审核规则核实直播内容，并快速作出判
断，选择合理的处理方式。其中，审核规则是审核人员对审核样本进行违规判断的依据，作
为一种方式，审核人员可以根据审核规则，确定审核样本的违规类型，例如色情、暴力等。

[0039] 进一步地，将经人工审核判断为违规的违规直播所对应主播帐号进行处罚，处罚可以包括但不限于封号、罚款等，处罚结果存储于服务器100。

[0040] 需要说明的是，本申请实施例提供的审核逻辑及审核逻辑的流程示意图仅为方便理解，而本申请实施例可以适用多种审核逻辑，故上述审核逻辑及审核逻辑的流程示意图
不对本方案构成限定。

[0041] 下面将通过具体实施例对本申请实施例提供的审核监控方法、装置、电子设备及存储介质进行详细说明。

[0042] 请参阅图3，本申请实施例提供了一种审核监控方法，可应用于上述多媒体直播审核系统。下面将针对图3所示的流程进行详细的阐述，上述审核监控方法具体地可以包括以
下步骤：

[0043] 步骤S310：获取审核样本的数量。

[0044] 其中，审核样本是审核人员需审核的数据，可以是图片、视频、音视频等形式的数据。具体的，在多媒体直播审核中，审核人员针对审核样本进行审核，判断审核样本是否违
规及其违规类型等。

[0045] 在一些实施方式中，可以从审核数据分发队列中请求审核样本，审核数据分发队列存储于服务器，直播数据在分发给审核人员进行审核前，可以先作为审核样本进入审核
数据分发队列，通过审核数据分发队列分发给审核人员进行审核。

[0046] 需要说明的是，审核样本是审核人员需审核的数据，审核样本的数量是审核人员需审核的数据的数量。审核样本的数量可以是系统预设的，也可以是用户自定义的，例如审
核人员审核完已获取的审核样本之后，还可以继续请求新的审核样本进行审核，此时审核
样本的数量可以继续累计。进一步地，经审核人员审核后的审核样本作为已审核样本，随着
审核人员审核过程的推进，该审核人员的已审核样本也在不断累计。

[0047] 作为一种方式，审核样本的数量可以是系统预设的，例如每个审核人员每天需要审核的审核样本的数量是1000个，从当天审核的第1个样本开始计算，直到完成对第1000个
审核样本的审核为止。通过系统预设审核样本的数量，使得审核样本的数量固定，从而无需
对审核样本的数量进行累计，减少计算量。

[0048] 作为另一种方式，审核样本的数量可以是用户自定义的，具体的，例如管理人员可以根据不同审核人员的不同情况，针对性地分配审核任务，也就是分配审核人员当天需审
核的审核样本的数量；再如审核样本的数量取决于审核人员请求的数量，也就是审核样本
的数量非固定，而是根据审核人员请求的数量不断累计，如审核人员在审核完1000个审核
样本之后，此时又请求了100个审核样本，那么此时获取审核样本的数量为1100个。通过自
定义审核样本的数量，可以使得审核效率高的审核人员获取更多的审核样本进行审核，审
核效率低的审核人员获取较少的审核样本进行审核，从而可以合理地分配审核样本，提高
整体审核效率和审核质量。

[0049] 步骤S320：获取测试样本的投放数量。

[0050] 其中，测试样本可以从样本库中获取，可以是图片、视频、音视频等形式的数据。不同于审核样本的是，测试样本是已经确定违规类型的数据，也就是通过将测试样本投放给
审核人员进行审核，可以直接判断审核人员的审核结果是否正确，从而判断是否漏检。具体
的例如，测试样本是已经确定违规类型为“色情”的数据，而审核人员对该测试样本的审核
结果为“暴力”或未提交审核结果，那么此时可以判断审核人员对该测试样本的判断不正
确，可以视为漏检。

[0051] 进一步地，测试样本的违规类型已确定，所以利用测试样本对审核人员进行测试，相对于现有技术中管理人员直接针对审核人员对审核样本的审核结果，判断该审核人员的
漏检率来说，可以不必在管理人员判断过程中再次引发争议，而是基于明确的答案进行判
断，并且可以根据测试样本的违规类型对审核人员的漏检率进行自动判断，从而可以大大
提高判断效率。

[0052] 样本库包含多个测试样本，并将多个测试样本按照违规类型进行分类，在一些实施方式中，样本库包含三级分类，其中一级分类包括“严重违规”、“一般违规”、“轻微违规”，
每个一级分类对应多个二级分类，每个二级分类又对应多个三个分类。其中，一级分类“严
重违规”对应多个二级分类，具体可以包括“情色内容”、“色情广告”、“严重涉政”、“违反法
律”等，进一步地，二级分类“违反法律”对应多个三级分类，具体可以包括“赌博”、“吸毒”
等。通过对样本库中的测试样本按照违规类型进行分类，可以方便管理样本库，并且可以针
对性地选取不同违规类型的测试样本对审核人员进行测试，例如可以对审核“赌博”类数据
的漏检率较高的审核人员，重点投放“赌博”类的测试样本，提高测试效率，也有利于提高审
核人员对自身审核能力较为薄弱的违规类型的审核准确率。

[0053] 步骤S330：基于审核样本的数量设置测试样本投放数值区间。

[0054] 其中，测试样本投放数值区间用于投放测试样本，通过设置测试样本投放数值区间投放测试样本，可以实现有间隔的投放测试样本，从而可以间隔一段时间对审核人员的
审核质量进行测试，从而实现有间隔的监控，提高监控的有效性和效率。在一些实施方式
中，测试样本投放数值区间的长度相同，在另一些实施方式中，测试样本投放数值区间的长
度也可以不相同。

[0055] 在一些实施方式中，将审核样本的数量与测试样本投放数值区间上的数值对应，例如审核样本的数量1对应测试样本投放数值区间上的数值1，进一步地，测试样本投放数
值区间[50,100]对应审核样本的数量为50至100，也就是对应第50个审核样本至第100个审
核样本。在另一些实施方式中，审核样本的数量与测试样本投放数值区间上的数值可以不
完全相同，例如审核样本的数量1对应测试样本投放数值区间上的数值1000，进一步地，测
试样本投放数值区间[1050,1100]对应审核样本的数量为50至100，也就是对应第50个审核
样本至第100个审核样本。可以理解的是，审核样本的数量与测试样本投放数值区间上的数
值可以不完全相同，只需审核样本的数量与测试样本投放数值区间上的数值存在一一对应
的关系。

[0056] 其中，测试样本投放数值区间的数量等于测试样本的投放数量，例如，测试样本的投放数量为1个，那么测试样本投放数值区间的数量也为1个。作为一种方式，可以增加测试
样本的投放数量，从而增加测试样本投放数值区间的数量，提高测试样本的投放密度。例如
对应审核样本的数量第1个至第100个，原测试样本的投放数量为2个，现测试样本的投放数
量增加为4 个，那么在审核人员审核100个审核样本的过程中从原来只需要接受2次测试提
高到需要接收4次测试，提高了测试的频率和密度，有利于及时对审核人员的审核质量实现
更细致的监控，可以及时发现问题。

[0057] 作为另一种方式，也可以减少测试样本的投放数量，从而减少测试样本投放数值区间的数量，降低测试样本的投放密度，使得审核人员在相同时间内可以审核更多的审核
样本而不是测试样本，保证审核人员的审核效率。其中，具体方法与上述增加投放数量的方
法大致相同，只是从增加改为减少，效果可见前述内容，故在此不再赘述。可以理解的是，通
过调整测试样本的投放数量，可以调整测试样本的投放密度，并且通过适宜的投放密度，可
以实现审核人员审核效率和管理人员监控效率之间的平衡，利于实现在保证审核人员审核
效率的同时，保证管理人员的监控效率和监控效果。

[0058] 步骤S340：确定每个测试样本投放数值区间中的投放阈值。

[0059] 其中，每个测试样本投放数值区间中的投放阈值是包含在每个测试样本投放数值区间中的数值，也就是通过投放阈值，可以在测试样本投放数值区间中确定对应的位置，有
利于准确地投放测试样本。

[0060] 需要说明的是，可以随机确定每个测试样本投放数值区间中的投放阈值，也可以非随机地确定每个测试样本投放数值区间中的投放阈值。

[0061] 具体的，作为一种方式，可以从每个测试样本投放数值区间中生成随机数，根据随机数确定每个测试样本投放数值区间中的投放阈值。通过随机数确定每个测试样本投放数
值区间中的投放阈值，从而可以在间隔投放的基础上，增加测试样本的投放随机性，分散测
试位置，有利于对审核人员长期大量的审核实现有效监控，提高监控效率和监控效果。而不
会因为过于密集的投放，导致对一个时间段内进行了多次测试，而忽略了其他时间段可能
产生的审核差异性，影响监控效果。

[0062] 作为另一种方式，可以在每个测试样本投放数值区间中选定第1个数值或中间数值作为每个测试样本投放数值区间中的投放阈值，也就是投放阈值可以是非随机产生的。
具体的例如，在每个测试样本投放数值区间中选定第 1个数值作为投放阈值，测试样本投
放数值区间分别有[50,150]、[200,300] 以及[350,450]，每个测试样本投放数值区间中的
投放阈值分别为50、200以及350，相当于间隔150个样本投放测试样本进行测试。从而通过
将每个测试样本投放数值区间的数值确定为投放阈值，可以间隔相同间隔投放测试样本，
周期性地测试审核人员的审核质量，提高监控效果。

[0063] 进一步地，在每个测试样本投放数值区间中确定的投放阈值可以是一个，也可以是多个。具体的，在一些实施方式中，在每个测试样本投放数值区间中确定多个投放阈值，
从而可以在间隔投放的基础上，提高测试频率或测试密度。

[0064] 步骤S350：当已审核样本的数量大于投放阈值时，投放测试样本。

[0065] 在审核人员请求审核样本进行审核时，累计审核样本的数量，当已审核样本的数量大于投放阈值时，投放测试样本。

[0066] 具体的例如，测试样本的投放数量为3个，测试样本投放数值区间分别有[50,150]、[200,300]以及[350,450]，并且每个测试样本投放数值区间中的投放阈值为100、233
以及420，那么当审核人员已审核样本的数量大于投放阈值100时，投放第一个测试样本，也
就是将第一个测试样本投放在第100 个以及第101个审核样本之间；审核人员已审核样本
的数量大于投放阈值233 时，投放第二个测试样本，也就是将第二个测试样本投放在第233
个以及第 234个审核样本之间；审核人员已审核样本的数量大于投放阈值233时，投放第三
个测试样本，也就是将第三个测试样本投放在第420个以及第421个审核样本之间。从而通
过投放阈值，可以确定测试样本的投放位置，并投放测试样本。

[0067] 在一些实施例中，也可以在审核样本的数量等于投放阈值时，投放测试样本。可以理解的是，通过投放阈值确定测试样本投放的位置，而该位置可以是等于投放阈值的位置，
也可以是等于投放阈值的位置的附近，在此可以不作限定。

[0068] 本申请实施例提供的审核监控方法，通过获取审核样本的数量以及测试样本的投放数量，然后基于审核样本的数量设置测试样本投放数值区间，可以实现间隔投放测试样
本，使得测试分散，有利于实现有效监控；通过确定每个测试样本投放数值区间中的投放阈
值，并当已审核样本的数量大于投放阈值时，投放测试样本，可以向审核人员审核的审核样
本中有间隔地随机投放测试样本，实现对审核人员的审核结果的实时测试，从而可以实时
监控审核人员的审核质量，提高监控效率的同时有利于提高审核质量。

[0069] 请参阅图4，本申请另一实施例提供了一种审核监控方法，可应用于上述多媒体直播审核系统。下面将针对图4所示的流程进行详细的阐述，上述的审核监控方法具体地可以
包括以下步骤：

[0070] 步骤S401：获取审核样本的数量。

[0071] 其中，步骤S401的具体描述可以参考上述实施例中步骤S310，故在此不再赘述。

[0072] 步骤S402：根据数量预设规则设置测试样本的多个投放数量。

[0073] 其中，根据数量预设规则设置测试样本的多个投放数量可以是根据固定间隔设置多个投放数量，也可以是根据审核人员的审核能力进行设置。

[0074] 进一步地，根据审核人员的审核能力对测试样本的多个投放数量进行设置，可以是根据一个审核人员的审核能力进行设置，也可以是综合根据多个审核人员的审核能力进
行设置。在一些实施方式中，审核人员的审核能力可以是由漏检率来考量，漏检率高的审核
人员的审核能力强，漏检率低的审核人员的审核能力弱。具体的，作为一种方式，根据一个
审核人员的审核能力进行设置，例如该审核人员的审核能力较弱，可以设置较高的投放数
量如7、 8、9等，而若该审核人员的审核能力较强，可以设置较低的投放数量如1、 2、3等。从
而根据审核人员的审核能力设置测试样本投放数量，可以对审核能力弱的审核人员多测
试，提高监控效果，对审核能力强的审核人员少测试，在相同时间内可以审核更多的审核样
本而非测试样本，提高审核效率。

[0075] 步骤S403：基于多个投放数量设置对应多个投放数量的投放权重。

[0076] 其中，投放权重的设置可以是系统预设的，例如根据投放数量的由小至大或由大至小，逐一增加投放权重，也可以是用户自定义的，例如可以根据审核人员的审核能力设置
投放权重。

[0077] 具体的，在一些实施方式中，根据审核人员的审核能力设置对应多个投放数量的投放权重，例如设置测试样本的多个投放数量分别为“1”、“2”、“3”，针对审核能力弱的审核
人员，将投放数量“3”设置较大的投放权重如3，投放数量“2”的投放权重为2，投放数量“1”
的投放权重为1，使得较大的投放数量可以占更高的权重，从而对审核能力弱的审核人员可
以有更大概率投放较多的测试样本进行测试，提高对审核能力弱的审核人员的监控，有助
于提高审核质量。

[0078] 而针对审核能力强的审核人员，将投放数量“1”设置较大的投放权重如 3，投放数量“2”的投放权重为2，投放数量“3”的投放权重为1，使得较小的投放数量可以对应更高的
权重，从而对审核能力强的审核人员可以有更大概率投放较少的测试样本进行测试，提高
审核能力强的审核人员的审核效率。

[0079] 步骤S404：基于多个投放数量的投放权重构建多个数量权重数值区间。

[0080] 其中，一个投放数量与一个数量权重数值区间对应。构建的多个数量权重数值区间可以是连续的，例如基于4个投放数量“1”、“2”、“3”、“4”的投放权重可以构建4个连续的
数量权重数值区间分别为[0,1)，[1,3)，[3,6)， [6,10)。

[0081] 投放数量的投放权重越大，该投放数量对应的数量权重数值区间的长度越长，也就是构建的投放数量对应的数量权重数值区间的长度的大小反映了该投放数量的权重的
大小。例如，投放数量“1”对应的投放权重为3、投放数量“2”对应的投放权重为1，那么投放
数量“1”对应的数量权重数值区间可以是[0,3)，投放数量“2”对应的数量权重数值区间是
[3,4)。

[0082] 步骤S405：生成数量选择数值，查找数量选择数值所属的数量权重数值区间，并获取数量选择数值所属的数量权重数值区间对应的投放数量作为测试样本的投放数量。

[0083] 其中，数量选择数值可以是随机生成的随机数，并在一定的数值区间中生成随机数，在一些实施方式中，可以在所有数量权重数值区间的并集区间中生成随机数作为数量
选择数值。由于数量选择数值是随机生成的，因此数量选择数值为上述并集区间中的每一
个数值的概率相等，而投放数量的数量权重数值区间的长度越长，即投放数量的数量权重
数值区间包含的数值越多，则数量选择数值属于该投放数量的数量权重数值区间的概率就
越大。

[0084] 具体的例如，基于4个投放数量“1”、“2”、“3”、“4”的投放权重可以构建4个连续的数量权重数值区间分别为[0,1)，[1,3)，[3,6)，[6,10)。在区间[0,10)中生成数量选择数值
如3，查找数量选择数值3所属的数量权重数值区间为[3,6)，获取该区间对应的投放数量
“3”作为测试样本的投放数量，即测试样本的投放数量为3。

[0085] 在一些实施方式中，可以采用TreeMap算法查找数量选择数值所属的数量权重数值区间，并获取数量选择数值所属的数量权重数值区间对应的投放数量作为测试样本的投
放数量。具体的，采用TreeMap算法构造树，如图5 所示，节点B为树的根节点，节点A以及节
点C为叶节点，节点D为父节点。以根节点为例，若查找的元素大于根节点，则在树的右边进
行搜索；若查找的元素小于根节点，则在树的左边进行搜索；若查找的元素等于根节点，则
直接返回根节点。

[0086] 例如，基于4个投放数量“1”、“2”、“3”、“4”的投放权重构建 4个连续的数量权重数值区间分别为[0,1)，[1,3)，[3,6)，[6,10)。针对4个数量权重数值区间可以构建根节点B对
应数值3，叶节点A以及叶节点C分别对应数值1和数值6，父节点D对应数值10，从而构建如图
5所示的树，那么在区间[0,10)中生成数量选择数值如7时，可以通过如图5所示的树，首先
判断数量选择数值7大于根节点B，那么在树的右边继续查找，与父节点D进行比较，判断小
于父节点D，那么在树的左边继续查找，与叶节点C 进行比较，判断大于叶节点C，此时可以
数量选择数值所属的数量权重数值区间为[6,10)，获取与数量权重数值区间对应的投放数
量“4”作为测试样本的投放数量。

[0087] 步骤S406：获取监控间隔。

[0088] 其中，监控间隔是监控审核人员对审核样本进行审核的周期，例如获取的监控间隔为1000，则审核人员每审核1000个审核样本，会在该审核人员对该1000个审核样本进行
审核的过程中投放测试样本进行测试。可以理解的是，当测试样本的投放数量一定时，监控
间隔越小，监控频率就越高，对审核人员的审核质量的监控也更细致，越有利于管理人员及
时地发现问题，并作相应处理以确保审核质量，避免大量返工。而当测试样本的投放数量一
定时，监控间隔越大，监控频率就越低，对审核人员的审核质量的监控也更宽松，可以减小
计算量，节约系统资源。

[0089] 需要说明的是，监控间隔可以是系统预设的，例如预设为1000，也可以是用户自定义的，例如可以根据审核人员的审核能力设置监控间隔。

[0090] 在一些实施方式中，根据审核人员的能力设置监控间隔，例如该审核人员的审核能力较弱，可以设置较小的监控间隔如500，则当投放数量一定时，较小的监控间隔使得审
核能力较弱的审核人员在较短的间隔内就可以实现有效的测试。而针对审核能力较强的审
核人员，可以设置较大的监控间隔如2000，则当投放数量一定时，较大的监控间隔使得审核
能力较强的审核人员可以在相同时间内审核更多的审核样本，提高审核效率，同时减小管
理人员对审核能力较强的审核人员的监控频率，节约测试成本并有利于更严格地督促审核
能力较弱的审核人员，提高监控的灵活性和监控效率。

[0091] 步骤S407：根据测试样本的投放数量与监控间隔，计算测试样本投放数值区间的区间中心。

[0092] 其中，测试样本投放数值区间的区间中心对应测试投放数值区间的中心数值，例如测试样本投放数值区间[0,1000]的区间中心为500，再如测试样本投放数值区间[0,
2000]的区间中心为1000。可以理解的是，通过计算测试样本投放数值区间的区间中心，可
以确定测试样本投放数值区间的中心位置。

[0093] 本实施例中，根据测试样本的投放数量与监控间隔，计算测试样本投放数值区间的区间中心可以采用如下公式：

[0094]

[0095] 其中Am为一个所述监控间隔P内的第m个所述区间中心，m＝1,3,…,2n‑1， n为所*
述测试样本的投放数量，n∈N。

[0096] 具体的，请参阅图6，例如，当测试样本的投放数量n为1个，监控间隔 P为1000时，测试样本投放数值区间的数量等于测试样本的投放数量为1，那么在一个监控间隔P内只有
1个区间中心 即测试样本投放数值区间的区间中
心为500。

[0097] 再如，当测试样本的投放数量n为2个，监控间隔P为1000时，测试样本投放数值区间的数量等于测试样本的投放数量为2，那么在一个监控间隔 P内有2个区间中心，分别为
以及 即测试样本投放数值区间的
区间中心为250以及750。

[0098] 步骤S408：根据区间中心、预设区间大小以及审核样本的数量，设置测试样本投放数值区间。

[0099] 其中，预设区间大小是以区间中心为中心包含的区间大小，可以是具体的数值如±500、±800等，也可以是比例如±50％、±80％等。例如预设区间大小为±500，区间中心
为600，那么当区间中心为600，预设区间大小为±500，此时对应的测试样本投放数值区间
的下限数值为600‑500＝100，上限数值为600+500＝1100，即对应的测试样本投放数值区间
为[100,1100]。可以理解的是，根据预设区间大小可以确定测试样本投放数值区间的区间
大小，具体的，可以根据一个预设区间大小确定每个测试样本投放数值区间的区间大小，也
可以根据多个预设区间大小确定多个测试样本投放数值区间的区间大小。

[0100] 作为一种方式，根据一个预设区间大小确定每个测试样本投放数值区间的区间大小，例如请参阅图6，预设区间大小为±80％，并且测试样本的投放数量n为1个，监控间隔P
为1000时，测试样本投放数值区间的数量等于测试样本的投放数量为1，那么在一个监控间
隔P内只有1个区间中心A1＝500，那么当区间中心为500、预设区间大小为±80％，此时对应
的测试样本投放数值区间的下限数值为500‑500*80％＝100，上限数值为500+500*80％＝
900，即对应的测试样本投放数值区间为[100,900]，即构建测试样本投放数值区间如图6中
的阴影区域。

[0101] 再如请继续参阅图6，预设区间大小为±80％，测试样本的投放数量n为 2个，监控间隔P为1000时，测试样本投放数值区间的数量等于测试样本的投放数量为2，那么在一个
监控间隔P内有2个区间中心 以及
此时对应的2个测试样本投放数值区间的下限数
值分别为250‑250*80％＝50以及750‑ 750*80％＝550，上限数值分别为250+250*80％＝
450以及750+750*80％＝950，即对应的3个测试样本投放数值区间分别为[50,450]以及
[550,950]，分别对应图6中的2个阴影区域。

[0102] 又如请继续参阅图6，预设区间大小为±80％，测试样本的投放数量n为 3个，监控间隔P为1000时，测试样本投放数值区间的数量等于测试样本的投放数量为3，那么在一个
监控间隔P内有3个区间中心
以及
此时对应的3个测试样本投放数值区间的下限数
值分别为166‑ 166*80％≈33、500‑500*80％≈366以及833‑833*80％≈799，上限数值分别
为 166+166*80％≈298、500+500*80％≈633以及833+833*80％≈965，即对应的 3个测试
样本投放数值区间分别为[33,298]、[366,633]以及[799,965]，分别对应图6中的3个阴影
区域。

[0103] 进一步地，根据区间中心以及预设区间大小确定测试样本投放数值区间之后，可以对应审核样本的数量，设置测试样本投放数值区间，具体的，将测试样本投放数值区间的
数值对应审核样本的数量，例如测试样本投放数值区间[100,900]，对应第100个审核样本
至第900个审核样本，并且测试样本投放数值区间中的数值与审核样本一一对应，也就是测
试样本投放数值区间中的数值100对应第100个审核样本，数值111对应第111个审核样本，
区间中心500对应第500个审核样本。如此，通过区间中心和预设区间大小可以确定测试样
本投放数值区间，并基于审核样本的数量可以设置测试样本投放数值区间，从而可以根据
测试样本投放数值区间确定审核样本的范围，在测试样本投放数值区间中选定一个数值A
可以对应第A个审核样本，有利于确定审核样本的具体位置，进而对具体位置进行具体操
作，在一些实施方式中，确定审核样本的具体位置后，可以对应该具体位置投放测试样本，
实现测试样本的精准投放。

[0104] 步骤S409：确定每个测试样本投放数值区间中的投放阈值。

[0105] 在一些实施方式中，可以从每个测试样本投放数值区间中生成随机数，根据随机数确定每个测试样本投放数值区间中的投放阈值。具体的例如，在测试样本投放数值区间
[100,900]中生成随机数566，即投放阈值为566，对应第566个审核样本。从而通过投放阈值
可以随机地确定对应每个测试样本投放数值区间的审核样本的位置，并且通过在随机的位
置投放测试样本，可以增加测试样本的投放随机性，提高测试有效性。

[0106] 步骤S410：获取测试样本的标识。

[0107] 其中，测试样本的标识对应测试样本的违规类型，不同的违规类型对应不同的标识，例如，违规类型可以包括赌博、吸毒，可以分别对应标识“赌博”、“吸毒”。

[0108] 具体的，请参阅图7，步骤S410可以包括步骤S710至步骤S740，下面将针对图7所示的流程进行详细的阐述，上述审核监控方法具体地可以包括以下步骤：

[0109] 步骤S710：根据标识预设规则设置测试样本的多个标识。

[0110] 需要说明的是，测试样本可以从样本库中获取，样本库包括多个测试样本，并将多个测试样本按照不同违规类型进行分类，在一些实施方式中，将样本库中的测试样本按三
级分类进行管理，具体的如表1所示，表1对样本库中测试样本的部分违规类型进行示意。其
中，一级分类可以包括“严重违规”、“一般违规”、“轻微违规”，一级分类“严重违规”对应的
二级分类可以包括“情色内容”、“色情广告”、“严重涉政”、“违反法律”等，进一步地，二级分
类“违反法律”对应的多个三级分类可以包括“赌博”、“吸毒”等。

[0111] 表1

[0112]

[0113]

[0114] 其中，测试样本的标识对应测试样本的违规类型，不同的违规类型对应不同的标识，具体的，作为一种方式，可以仅根据最下级的分类设置测试样本的标识，例如根据表1，
可以对应三级分类设置测试样本的标识如“色情网页”、“赌博”以及“吸毒”等。通过获取测
试样本的标识，可以获取与测试样本的标识对应的测试样本的违规类型，从而可以针对性
地选取不同违规类型的测试样本对审核人员进行测试，例如可以对审核“赌博”类数据的漏
检率较高的审核人员，重点投放“赌博”类的测试样本，提高测试效率，也有利于提高审核人
员对自身审核能力较为薄弱的违规类型的审核准确率。

[0115] 作为另一种方式，还可以针对所有的分类设置测试样本的标识，例如对根据表1，可以对应一级分类设置测试样本的标识如“严重违规”，对应二级分类设置测试样本的标识
如“情色内容”，对应三级分类设置测试样本的标识如“色情网页”。那么可以针对不同级的
分类，对标识进行分级获取，也就是可以先获取一级分类的标识，然后在该一级分类的标识
下的二级分类中获取二级分类的标识，最后在该二级分类的标识下的三级分类中获取三级
分类的标识。从而可以分级获取，有利于对不同违规类型的测试样本进行灵活选择。

[0116] 步骤S720：基于测试样本的多个标识设置对应多个标识的投放权重。

[0117] 其中，作为一种方式，投放权重的设置可以是系统预设的，例如在对情色内容的审核要求较高的时期，可以增加标识“情色内容”的投放权重，使得可以增加每个审核人员对
属于情色内容的测试样本的测试概率，从而可以灵活调整监控重点，在重点时期进行对敏
感违规类型进行重点监控，也有利于后期就重点违规类型的审核对审核人员进行培训。

[0118] 在一些实施方式中，可以根据违规类型的严重程度进行投放权重的设置，例如根据表1，针对三个一级分类的标识“严重违规”、“一般违规”以及“轻微违规”，可以根据严重
程度，按照投放权重由高至低依次设置标识“严重违规”、“一般违规”以及“轻微违规”的投
放权重为9、2、1，从而使得严重程度较高的违规类型可以对应更高的权重，增加投放属于该
违规类型的测试样本的投放概率，提高对严重程度高的测试样本的监控强度，从而有利于
提高审核人员对严重程度高的违规类型的审核能力，使得在真实审核过程中，可以减小对
严重违规的直播数据的漏检率，增加平台对严重违规的直播数据的管控，减小违规内容对
社会和用户造成的不良影响。

[0119] 作为另一种方式，投放权重的设置也可以是用户自定义的，例如可以根据审核人员的审核能力设置投放权重。

[0120] 具体的，在一些实施方式中，根据审核人员的审核能力设置对应多个标识的投放权重，例如审核人员对于标识“赌博”的漏检率较高时，可以对标识“赌博”设置较大的投放
权重，对于标识“吸毒”的漏检率较低时，可以对标识“吸毒”设置较小的投放权重。从而可以
对审核人员漏检率较高也就是审核能力较弱的违规类型设置更大的权重，增加投放该违规
类型的测试样本的概率，实现针对性地测试，提高测试效果，从而有利于管理人员及时监控
审核人员对该违规类型的审核质量，对审核人员的审核能力实现有效监控，便于后期培训。

[0121] 步骤S730：基于多个标识的投放权重构建多个标识权重数值区间。

[0122] 其中，一个标识与一个标识权重数值区间对应。构建的多个标识权重数值区间可以是连续的，例如基于4个标识“赌博”、“吸毒”、“穿着违规服装”、“色情网页”的投放权重可
以构建4个连续的数量权重数值区间分别为[0,1)，[1,3)，[3,6)，[6,10)。

[0123] 投放数量的投放权重越大，该投放数量对应的数量权重数值区间的长度越长，例如，标识“赌博”对应的投放权重为1、标识“吸毒”对应的投放权重为2，标识“穿着违规服装”
对应的投放权重为3，标识“色情网页”对应的投放权重为4。那么标识“赌博”对应的标识权
重数值区间可以是[0,1)，标识“吸毒”对应的标识权重数值区间是[1,3)，标识“穿着违规服
装”对应的标识权重数值区间可以是[3,6)，标识“色情网页”对应的标识权重数值区间可以
是[6,10)。

[0124] 在一些实施方式中，可以先对一级分类的标识设置投放权重并构建标识权重数值区间，再对二级分类、三级分类的标识设置投放权重并构建标识权重区间。具体实现方法与
上述方法大致相同，只是本实施方式根据不同级分类对标识权重数值区间进行了多次构
建，故在此不再赘述。可以理解的是，通过多次构建可以实现分级选择，从而在灵活选择不
同违规类型的测试样本的同时，还可以保证测试的随机性。

[0125] 步骤S740：生成标识选择数值，查找标识选择数值所属的标识权重数值区间，并获取标识选择数值所属的标识权重数值区间对应的标识作为测试样本的标识。

[0126] 具体的例如，基于4个标识“赌博”、“吸毒”、“穿着违规服装”、“色情网页”的投放权重可以构建4个连续的数量权重数值区间分别为[0,1)， [1,3)，[3,6)，[6,10)。在区间[0,
10)中生成数量选择数值如3，查找数量选择数值3所属的数量权重数值区间为[3,6)，获取
该区间对应的标识“穿着违规服装”作为测试样本的标识，即测试样本的标识为“穿着违规
服装”。从而根据标识的投放权重设置标识权重数值区间，可以灵活设置对应不同标识的不
同违规类型的测试样本的投放权重，调整投放概率，实现有侧重点地投放，再通过生成随机
数来随机选择测试样本的标识进行投放，实现在限定投放概率的同时随机投放测试样本，
在实现有侧重点地投放的基础上增加了测试随机性，提高测试有效性进而提高管理人员的
监控效率。

[0127] 其中，步骤S740的具体描述可参考步骤S405，方法原理大致相同，仅步骤S740中的标识、标识选择数值以及标识权重数值区间可以分别与步骤 S405中的投放数量、数量选择
数值、数量权重数值区间对应，故在此不再赘述。

[0128] 步骤S411：当已审核样本的数量大于投放阈值时，投放与测试样本的标识对应的测试样本。

[0129] 在审核人员请求审核样本进行审核时，累计审核样本的数量，当已审核样本的数量大于投放阈值时，也就是当审核人员审核完投放阈值个审核样本之后，投放与测试样本
的标识对应的测试样本。在不同的测试样本投放数值区间可以投放对应同一个测试样本的
标识的测试样本，也就是投放属于同一违规类型的测试样本，也可以投放对应不同测试样
本的标识的测试样本，也就是投放属于不同违规类型的测试样本，在此不做限定。

[0130] 具体的例如，测试样本的投放数量为2个，测试样本投放数值区间分别为[50,450]以及[550,950]，并且每个测试样本投放数值区间中的投放阈值为 100以及555，依次获取2
个测试样本的标识分别为“赌博”和“吸毒”。那么当审核人员审核完第100个审核样本时，投
放与第一个测试样本的标识对应的测试样本，也就是将与标识“赌博”对应的测试样本投放
在第100个以及第101个审核样本之间；当审核人员审核完第555个审核样本时，投放与标识
“吸毒”对应的测试样本，也就是将与第二个测试样本的标识对应的测试样本投放在第555
个以及第556个审核样本之间。需要说明的是，2个测试样本的标识可以相同，也可以不同。
如此，通过投放阈值，可以确定测试样本的投放位置，并投放与测试样本标识对应的测试样
本，从而可以精准投放属于相同或不同违规类型的测试样本。

[0131] 步骤S412：统计测试结果。

[0132] 其中，测试结果包括漏检率、测试样本的标识中的至少一种。需要说明的是，测试样本是已经确定违规类型的数据，当审核人员审核测试样本时，只要没有对该测试样本的
违规类型做出正确审核，则可以判断审核人员对该测试样本漏检。具体的例如，测试样本是
已经确定违规类型为“色情”的数据，而审核人员对该测试样本的审核结果为“暴力”或未提
交审核结果，那么此时可以判断审核人员对该测试样本的判断不正确，可以视为漏检，而若
审核人员提交对该测试样本的审核结果为“色情”，也就是提交了正确的审核结果，在一些
实施方式中，当审核人员对测试样本提交了正确的审核结果时，可以计入一个提交量。

[0133] 可以根据一个审核人员已审核的测试样本的总个数以及在该总个数中漏检的测试样本的漏检个数，可以得到该审核人员的漏检率为该漏检个数占该总个数的比例。漏检
率越高，审核准确度就越高，对应的审核能力越强。

[0134] 在一些实施方式中，当审核人员对测试样本提交了正确的审核结果时，可以计入一个提交量。根据测试样本的投放数量以及提交量，可以计算漏检率，具体的，漏检率等于
投放数量与提交量的差值占投放数量的比例，并且可以根据对应每个测试样本的标识的投
放数量以及提交量，计算对应每个测试样本的标识的漏检率。具体的例如，对审核人员进行
测试后，可以得到如表2所示的结果。从而可以监控审核人员对每个违规类型的审核质量，
方便管理人员通过分析后找出审核人员的业务薄弱点，进行后续的岗中专项培训，提高培
训效率，以及审核人员后续的审核能力。

[0135] 表2

[0136]

[0137] 进一步地，可以设置质量预警阈值，用于判断当前审核质量是否需要对审核人员和管理人员中的至少一个进行预警。需要说明的是，触发对审核人员和对管理人员进行预
警的质量预警阈值可以是相同的数值，也可以是不同的数值。

[0138] 作为一种方式，当审核人员的漏检率达到或超过质量预警阈值时，可以生成提示信息，可以向审核人员发出提示，提示审核人员当前漏检率，并提醒审核人员注意当前审核
质量。从而可以及时提醒审核人员注意审核质量并作出改善，有利于自动调控审核人员的
审核质量。

[0139] 作为另一种方式，当审核人员的漏检率达到或超过质量预警阈值时，还可以向管理人员生成提示信息，提示管理人员需该审核人员的漏检率偏高，从而方便管理人员及时
提醒审核人员注意审核质量，或及时中断该审核人员的审核避免因该审核人员偏低的审核
质量造成大量返工。并且可以将审核人员当前加载的审核样本退回审核数据分发队列，使
得其他审核人员可以获取该审核人员当前加载的审核样本完成审核。从而方便管理人员及
时作出调整，实现对审核人员的审核质量的及时有效的监控，确保审核质量。

[0140] 作为又一种方式，当审核人员的漏检率达到或超过第一质量预警阈值时，可以生成第一提示信息，向审核人员发出提示，提示审核人员当前漏检率，并提醒注意当前审核质
量。当审核人员的漏检率达到或超过第二质量预警阈值时，可以生成第二提示信息，向管理
人员发出提示，提示管理人员该审核人员的漏检率偏高，方便管理人员及时提醒审核人员，
或对该审核人员的审核任务进行调整如中断审核或退回重审等。其中，第一质量预警阈值
与第二质量预警阈值可以相等，也可以不相等。在一些实施方式中，第二质量预警阈值高于
第一质量预警阈值，也就是，根据审核人员的漏检率，可以先提醒审核人员注意调整，如若
提醒后仍无法控制漏检率，并继续增长至达到或超过第二质量预警阈值时，再提醒管理人
员需作出提醒或审核工作的调整。从而可以及时提醒审核人员注意审核质量，提供改善空
间，当无法改善时再提醒管理人员，可以在降低管理人员的工作量的同时方便管理人员及
时作出调整，实现对审核人员的审核质量的及时有效的监控，确保审核质量。

[0141] 本实施例中，请参阅图8，在步骤S411之前，可以执行步骤S810至步骤S820对测试样本进行编辑，下面将针对图8所示的流程进行详细的阐述。

[0142] 步骤S810：获取当审核样本的数量达到投放阈值时对应的第一图片以及在第一图片之后相邻的第二图片。

[0143] 其中，在一些实施方式中，审核样本和测试样本是图片形式的数据。当审核样本的数量达到投放阈值时对应的第一图片以及在第一图片之后相邻的第二图片，即需投放测试
样本的位置的前后两张图片。具体的例如，测试样本的投放数量为1个，测试样本投放数值
区间为[50,450]，并且每个测试样本投放数值区间中的投放阈值为100，获取1个测试样本
的标识为“赌博”。那么当已审核样本的数量大于投放阈值，即当审核人员审核完第100个审
核样本时，投放该测试样本，也就是将与标识“赌博”对应的测试样本投放在第 100个以及
第101个审核样本之间，此时获取当审核样本的数量达到投放阈值时对应的第一图片以及
在第一图片之后相邻的第二图片，也就是获取第 100个审核样本以及第101个审核样本。

[0144] 步骤S820：根据第一图片以及第二图片的图片属性，编辑测试样本。

[0145] 图片属性包括亮度、对比度、图片标识、业务标签中的至少一种。其中，每个图片都有对应的图片标识，根据图片标识可以获知每个图片所属的图片类型，图片标识可以是一
系列符号的组合，例如图片标识“game‑201812190011”可以对应一张游戏图片，图片标识可
以在人工审核阶段之前的机器审核阶段由机器识别得到，具体的，通过机器识别图片Z为一
张游戏截图，可以为图片Z添加图片标识“game‑201812190011”，从而可以通过对比2张图片
之间的图片标识，判断2张图片是否属于一个图片类型，从而可以使得相同类型的图片放置
在一起，可以避免引起视觉不适，提高审核体验的同时，使审核人员不易察觉哪个是测试样
本，实现对真实审核环境的模拟，从而提高测试审核人员的审核质量的有效性。

[0146] 具体的，在一些实施方式中，可以获取第一图片和第二图片的图片标识，可以获知前后两张图片的图片类型，根据图片类型，在对应所获取的测试样本的标识的多个测试样
本中，选择与第一图片或第二图片的图片类型相同的测试样本进行投放。其中当第一图片
和第二图片的图片类型不同时，可以选择与两张图片中的其中一张图片的图片类型相同的
测试样本进行投放。进一步地，作为一种方式，根据前述步骤中获取的测试样本的标识，可
以从对应测试样本的标识的测试样本中选择与第一图片或第二图片具有相同图片标识的
测试样本进行投放。使得在第一图片和第二图片之间投放测试样本时，审核人员不易发现
哪个是测试样本，从而实现对真实审核环境的模拟，提高测试审核人员的审核质量的有效
性。

[0147] 在另一些实施方式中，可以根据前后两张图片的业务标签，使得在第一图片和第二图片之间投放的测试样本的业务标签与前后的两张图片的业务标签相同。其中业务标签
表征不同的业务类型，例如在直播领域中，业务类型可以包括娱乐视频、交友视频、电商直
播等，不同业务类型对应不同的业务来源，例如通过电商直播的应用程序产生的图片对应
的业务标签为电商直播，通过游戏直播的应用程序产生的图片对应的业务标签为游戏直
播。不同的业务类型对应的业务标签不同，可以根据前后两张图片即第一图片和第二图片
的业务标签，在对应所获取的测试样本的标识的多个测试样本中，选择与第一图片或第二
图片的业务标签相同的测试样本进行投放。其中当第一图片和第二图片的业务标签不同
时，可以选择与两张图片中的其中一张图片的业务标签相同的测试样本进行投放。进一步
地，作为一种方式，根据前述步骤中获取的测试样本的标识，可以从对应测试样本的标识的
测试样本中选择与第一图片或第二图片具有相同业务标签的测试样本进行投放。使得在第
一图片和第二图片之间投放测试样本时，审核人员不易发现哪个是测试样本，实现对真实
审核环境的模拟，从而提高测试审核人员的审核质量的有效性。

[0148] 具体的例如，获取第一图片和第二图片的业务标签，例如第一图片和第二图片的业务标签为电商直播，其中，不同的图片在进入审核数据分发队列中供审核人员进行审核
之前，根据不同的业务来源会包含相应的业务标签，例如通过电商直播的应用程序产生的
图片对应的业务标签为电商直播，从而根据第一图片和第二图片的业务标签，可以选择与
第一图片或第二图片的业务标签相同的、同为电商直播的测试样本进行投放，使得相同业
务标签的图片放置在一起供审核人员进行审核，由于相同业务标签的图片之间比不同业务
标签的图片之间存在较小的差异，例如同为电商直播的图片中物品占比大于人像占比，而
同为交友直播的图片中人像占比大于物品占比，从而通过投放相同业务标签的测试样本，
可以有效减少审核人员在审核过程中的突兀感，实现对真实审核环境的模拟，使审核人员
不易察觉哪个是测试样本，从而提高测试审核人员的审核质量的有效性。

[0149] 在又一些实施方式中，可以根据前后两张图片的亮度和对比度，调整要投放的测试样本的亮度和对比度，使得测试样本的亮度和对比度与其前后两张图片的亮度和对比度
相同或相似，可以理解的是，通过调整要投放的测试样本的亮度和对比度，可以使得测试样
本投放入第一图片和第二图片之间时，亮度与对比度之间不会出现较大的变化，避免视觉
上的突兀感，提高审核体验的同时，使审核人员不易察觉哪个是测试样本，实现对真实审核
环境的模拟，从而提高测试审核人员的审核质量的有效性。

[0150] 进一步地，可以根据前后两张图片即第一图片和第二图片的图片标识、业务类型、亮度以及对比度，选择与第一图片或第二图片相同的图片标识、业务类型的测试样本，并且
根据第一图片和第二图片的亮度和对比度，调整该测试样本的亮度和对比度，使得测试样
本的亮度和对比度与其前后两张图片的亮度和对比度相同或相似，避免视觉上的突兀感，
提高审核体验的同时，使审核人员不易察觉哪个是测试样本，实现对真实审核环境的模拟，
从而提高测试审核人员的审核质量的有效性。

[0151] 需要说明的是，本实施例中未详细描述的部分，可参考前述实施例，在此不再赘述。

[0152] 本实施例提供的审核监控方法，通过监控间隔和测试样本的投放数量，对应审核样本的数量设置测试样本的测试样本投放数值区间，实现有间隔的精准投放测试样本，通
过设置数值区间获取测试样本的标识，在审核人员的审核过程中投放不同测试样本的标识
的测试样本进行测试，从而可以针对性地选取不同违规类型的测试样本对审核人员进行测
试，有利于提高审核人员对自身审核能力较为薄弱的违规类型的审核准确率，方便管理人
员实时监控审核质量，通过统计测试结果，可以自动评估审核人员的审核能力，实时反馈测
试结果，同时测试结果还可用于对审核人员进行后期培训提供数据参考，有利于提高培训
效率。通过编辑测试样本还可以模拟真实审核环境进行投放，提高测试审核人员的审核质
量的有效性。相较于现有技术，本方法可以实现模拟真实审核环境的投放，提高测试有效
性，并对审核人员的审核质量可以实现自动测试和实时反馈测试结果，从而方便管理人员
实时监控审核质量，大幅度节约审核质量监控过程的人力成本消耗，并且方便管理人员管
理以及对审核人员进行后期培训，进一步提高审核质量。

[0153] 应该理解的是，虽然图3和图4的流程示意图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这
些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3和图4中
的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在
同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必
然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或
者交替地执行。

[0154] 请参阅图9，图9示出了本申请实施例提供的一种审核监控装置的模块框图。下面将针对图9所示的模块框图进行阐述，所述审核监控装置900包括：第一获取模块910、第二
获取模块920、区间设置模块930、阈值确定模块940以及投放模块950，其中：

[0155] 第一获取模块910，用于获取审核样本的数量。

[0156] 第二获取模块920，用于获取测试样本的投放数量。

[0157] 区间设置模块930，用于基于审核样本的数量设置测试样本投放数值区间。

[0158] 阈值确定模块940，用于确定每个测试样本投放数值区间中的投放阈值。

[0159] 投放模块950，用于当已审核样本的数量大于投放阈值时，投放测试样本。

[0160] 进一步地，所述区间设置模块930包括间隔获取单元、中心计算单元以及区间设置单元，其中：

[0161] 间隔获取单元，用于获取监控间隔。

[0162] 中心计算单元，用于根据测试样本的投放数量与监控间隔，计算测试样本投放数值区间的区间中心。

[0163] 区间设置单元，用于根据区间中心、预设区间大小以及审核样本的数量，设置测试样本投放数值区间。

[0164] 进一步地，所述审核监控装置900还包括：样本标识获取模块、测试样本投放模块、投放数量设置模块、数量权重设置模块、数量权重区间模块、投放数量获取模块、相邻图片
获取模块、测试样本编辑模块以及测试结果统计模块，其中：

[0165] 样本标识获取模块，用于获取测试样本的标识。

[0166] 测试样本投放模块，用于当已审核样本的数量大于投放阈值时，投放与测试样本的标识对应的测试样本。

[0167] 投放数量设置模块，用于根据数量预设规则设置测试样本的多个投放数量。

[0168] 数量权重设置模块，用于基于多个投放数量设置对应多个投放数量的投放权重。

[0169] 数量权重区间模块，用于基于多个投放数量的投放权重构建多个数量权重数值区间。

[0170] 投放数量获取模块，用于生成数量选择数值，查找数量选择数值所属的数量权重数值区间，并获取数量选择数值所属的数量权重数值区间对应的投放数量作为测试样本的
投放数量。

[0171] 相邻图片获取模块，用于获取当审核样本的数量达到投放阈值时对应的第一图片以及在第一图片之后相邻的第二图片。

[0172] 测试样本编辑模块，用于根据第一图片以及第二图片的图片属性，编辑测试样本。

[0173] 测试结果统计模块，用于统计测试结果。

[0174] 进一步地，所述样本标识获取模块包括标识设置单元、标识权重设置单元、标识权重区间单元以及标识获取单元，其中：

[0175] 标识设置单元，用于根据标识预设规则设置测试样本的多个标识。

[0176] 标识权重设置单元，用于基于测试样本的多个标识设置对应多个标识的投放权重。

[0177] 标识权重区间单元，用于基于多个标识的投放权重构建多个标识权重数值区间。

[0178] 标识获取单元，用于生成标识选择数值，查找标识选择数值所属的标识权重数值区间，并获取标识选择数值所属的标识权重数值区间对应的标识作为测试样本的标识。

[0179] 本申请实施例提供的审核监控装置用于实现前述方法实施例中相应的审核监控方法，并具有相应的方法实施例的有益效果，在此不再赘述。

[0180] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参阅前述方法实施例中的对应过程，在此不再赘述。

[0181] 在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械
或其它的形式。

[0182] 另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模
块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

[0183] 请参阅图10，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备1000可以是智能手机、平板电脑、笔记本电脑、台式电脑等能够运行应用程序的电子设
备。本申请中的电子设备1000可以包括一个或多个如下部件：处理器1010、存储器1020以及
一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器1020中并被配置为由
一个或多个处理器1010执行，一个或多个程序配置用于执行如前述方法实施例所描述的方
法。

[0184] 处理器1010可以包括一个或者多个处理核。处理器1010利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1020内的指令、程序、代码
集或指令集，以及调用存储在存储器1020内的数据，执行电子设备1000的各种功能和处理
数据。可选地，处理器1010 可以采用数字信号处理(Digital Signal Processing，DSP)、现
场可编程门阵列(Field－Programmable Gate  Array，FPGA)、可编程逻辑阵列
(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1010可集成中央
处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)
和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程
序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，
上述调制解调器也可以不集成到处理器1010中，单独通过一块通信芯片进行实现。

[0185] 存储器1020可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read‑Only Memory)。存储器1020可用于存储指令、程序、代码、代码集或指令集。存
储器1020可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的
指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用
于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备1000在使用中所创
建的数据(比如电话本、音视频数据、聊天记录数据)等。

[0186] 本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可
以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0187] 请参阅图11，其示出了本申请实施例提供的一种计算机可读取存储介质的结构框图。该计算机可读取存储介质1100中存储有程序代码，所述程序代码可被处理器调用执行
上述方法实施例中所描述的方法。

[0188] 计算机可读取存储介质1100可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读取存储介质1100包括非瞬
时性计算机可读介质(non‑transitory computer‑ readable storage medium)。计算机可
读取存储介质1100具有执行上述方法中的任何方法步骤的程序代码1110的存储空间。这些
程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机
程序产品中。程序代码1110可以例如以适当形式进行压缩。

[0189] 综上所述，本申请实施例提供的审核监控方法、装置、电子设备及存储介质，通过获取审核样本的数量以及测试样本的投放数量，然后基于审核样本的数量设置测试样本投
放数值区间，其中，测试样本投放数值区间的数量等于测试样本的投放数量，最后确定每个
测试样本投放数值区间中的投放阈值，并当已审核样本的数量大于投放阈值时，投放测试
样本。本申请通过向审核人员审核的审核样本中随机投放测试样本，实现对审核人员的审
核结果的实时测试，从而实时监控审核人员的审核质量，提高监控效率的同时有利于提高
审核质量。

[0190] 最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以
对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而
这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和
范围。