违规处理时长的检测方法及系统

摘要

本申请公开了一种违规处理时长的检测方法及系统，涉及信息处理技术领域。该方法包括：服务器从样本列表中选取目标视频内容，发送至测试终端，该测试终端对目标视频内容进行播放并获取第一时间，该第一时间为播放到目标视频内容中的第一帧违规视频帧的时间，测试终端在目标内容持续播放的过程中，监听该目标视频内容断播的时间，将该断播的时间作为第二时间，基于第一时间和第二时间，确定违规处理时长，服务器接收测试终端发送的违规处理时长并记录。本申请实施例提供的违规处理时长的检测方法及系统通过对审核人员对于违规信息的审核处理时长进行训练并记录，以提升审核人员的审核效率，及时处理违规信息。

权利要求

1.一种违规处理时长的检测方法，其特征在于，应用于违规处理时长的检测系统，所述违规处理时长的检测系统包括服务器和测试终端，所述服务器和所述测试终端连接，所述服务器包括样本列表，所述样本列表包括多个视频内容，所述方法包括：所述服务器从所述样本列表中选取目标视频内容，发送至所述测试终端；

所述测试终端对所述目标视频内容进行播放并获取第一时间，所述第一时间为播放到所述目标视频内容中的第一帧违规视频帧的时间，其中，所述第一帧违规视频帧为所述目标视频内容中第一个被标注为违规信息的视频帧；

所述测试终端在所述目标视频内容持续播放的过程中，监听所述目标视频内容断播的时间，将所述断播的时间作为第二时间，其中，所述目标视频内容断播的时间为审核人员对所述目标视频内容审核完毕并进行处理结束的时间；

所述测试终端计算所述第二时间和所述第一时间的差值，并将所述差值确定违规处理时长；

所述服务器接收所述测试终端发送的所述违规处理时长并记录。

2.根据权利要求1所述的方法，其特征在于，所述服务器从所述样本列表中选取目标视频内容，发送至所述测试终端之前，还包括：所述服务器在获取到针对所述第一帧违规视频帧对应的直播视频的处罚结果时，记录当前时刻；

所述服务器截取所述直播视频在所述当前时刻之前的指定时间段内的音视频数据，将所述音视频数据作为所述视频内容添加至所述样本列表。

3.根据权利要求2所述的方法，其特征在于，所述服务器截取所述直播视频在所述当前时刻之前的指定时间段内的音视频数据，将所述音视频数据作为所述视频内容添加至所述样本列表，包括：

所述服务器截取所述直播视频在所述当前时刻之前的指定时间段内的音视频数据，获取所述音视频数据的基本信息；

所述服务器判断所述基本信息是否满足指定条件；

当所述基本信息满足所述指定条件时，所述服务器将所述音视频数据作为所述视频内容添加至所述样本列表。

4.根据权利要求1所述的方法，其特征在于，所述测试终端在所述目标视频内容持续播放的过程中，监听所述目标视频内容断播的时间，将所述断播的时间作为第二时间，包括：所述测试终端在所述目标视频内容播放的过程中，接收所述目标视频内容的处罚指令，基于所述处罚指令控制所述目标视频内容断播；

所述测试终端获取接收到所述处罚指令的时间，将接收到所述处罚指令的时间作为所述第二时间。

5.根据权利要求4所述的方法，其特征在于，所述测试终端在所述目标视频内容播放的过程中，接收所述目标视频内容的处罚指令，基于所述处罚指令控制所述目标视频内容断播，包括：

所述测试终端在所述目标视频内容播放的过程中，判断是否接收到所述处罚指令；

当接收到所述处罚指令时，基于所述处罚指令控制所述目标视频内容断播。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：当没有接收到所述处罚指令时，获取所述目标视频内容的播放结束时间，将所述播放结束时间作为所述第二时间。

7.根据权利要求1所述的方法，其特征在于，所述多个视频内容中的每个视频内容均标记有违规原因，所述服务器从所述样本列表中选取目标视频内容，发送至所述测试终端，包括：

所述服务器基于所述每个视频内容的违规原因，从所述样本列表中选取目标视频内容，发送至所述测试终端。

8.根据权利要求1‑7任一项所述的方法，其特征在于，所述测试终端对所述目标视频内容进行播放并获取第一时间，包括：所述测试终端对所述目标视频内容进行播放，并获取播放到所述第一帧违规视频帧时的第一当前时间，将所述第一当前时间作为所述第一时间；

所述测试终端在所述目标视频内容持续播放的过程中，监听所述目标视频内容断播的时间，将所述断播的时间作为第二时间，包括：所述测试终端在所述目标视频内容持续播放的过程中，监听所述目标视频内容断播的第二当前时间，将所述第二当前时间作为所述第二时间。

9.根据权利要求1‑7任一项所述的方法，其特征在于，所述测试终端对目标视频内容进行播放并获取第一时间，包括：

所述测试终端对所述目标视频内容进行播放，并获取播放到所述第一帧违规视频帧时的第一播放时间，将所述第一播放时间作为所述第一时间；

所述测试终端在所述目标视频内容持续播放的过程中，监听所述目标视频内容断播的时间，将所述断播的时间作为第二时间，包括：所述测试终端在所述目标视频内容持续播放的过程中，监听所述目标视频内容断播的第二播放时间，将所述第二播放时间作为所述第二时间。

10.一种违规处理时长的检测系统，其特征在于，包括服务器和测试终端，所述服务器和所述测试终端连接，所述服务器包括样本列表，所述样本列表包括多个视频内容，其中：所述服务器，用于从所述样本列表中选取目标视频内容，发送至所述测试终端；

所述测试终端，用于对目标视频内容进行播放并获取第一时间，所述第一时间为播放到所述目标视频内容中的第一帧违规视频帧的时间，其中，所述第一帧违规视频帧为所述目标视频内容中第一个被标注为违规信息的视频帧；

所述测试终端，用于在所述目标视频内容持续播放的过程中，监听所述目标视频内容断播的时间，将所述断播的时间作为第二时间，其中，所述目标视频内容断播的时间为审核人员对所述目标视频内容审核完毕并进行处理结束的时间；

所述测试终端，用于计算所述第二时间和所述第一时间的差值，并将所述差值确定违规处理时长；

所述服务器，用于接收所述测试终端发送的所述违规处理时长并记录。

说明书

违规处理时长的检测方法及系统

技术领域

[0001] 本申请涉及信息处理技术领域，更具体地，涉及一种违规处理时长的检测方法及系统。

背景技术

[0002] 随着直播行业的快速发展，越来越多的人开始作为主播进入直播行业，在不断丰富观众多样化观看需求的同时，也造成直播行业内主播生产的直播内容良莠不齐，有些甚
至在社会上造成极为恶劣的影响，因此，直播平台都会引入大量的审核人员，对直播平台上
的直播内容进行监控。但是，目前审核人员的审核效率较低，造成在直播内容的审核方面的
巨大压力。

发明内容

[0003] 鉴于上述问题，本申请提出了一种违规处理时长的检测方法及系统，以解决上述问题。

[0004] 第一方面，本申请实施例提供了一种违规处理时长的检测方法，应用于违规处理时长的检测系统，所述违规处理时长的检测系统包括服务器和测试终端，所述服务器和所
述测试终端连接，所述服务器包括样本列表，所述样本列表包括多个视频内容，所述方法包
括：所述服务器从所述样本列表中选取目标视频内容，发送至所述测试终端；所述测试终端
对目标视频内容进行播放并获取第一时间，所述第一时间为播放到所述目标视频内容中的
第一帧违规视频帧的时间，其中，所述第一帧违规视频帧为所述目标视频内容中第一个被
标注为违规信息的视频帧；所述测试终端在所述目标视频内容持续播放的过程中，监听所
述目标视频内容断播的时间，将所述断播的时间作为第二时间；所述测试终端基于所述第
一时间和所述第二时间，确定违规处理时长；所述服务器接收所述测试终端发送的所述违
规处理时长并记录。

[0005] 第二方面，本申请实施例提供了一种违规处理时长的检测系统，包括服务器和测试终端，所述服务器和所述测试终端连接，所述服务器包括样本列表，所述样本列表包括多
个视频内容，其中：所述服务器，用于从所述样本列表中选取目标视频内容，发送至所述测
试终端；所述测试终端，用于对目标视频内容进行播放并获取第一时间，所述第一时间为播
放到所述目标视频内容中的第一帧违规视频帧的时间，其中，所述第一帧违规视频帧为所
述目标视频内容中第一个被标注为违规信息的视频帧；所述测试终端，用于在所述目标视
频内容持续播放的过程中，监听所述目标视频内容断播的时间，将所述断播的时间作为第
二时间；所述测试终端，用于基于所述第一时间和所述第二时间，确定违规处理时长；所述
服务器，用于接收所述测试终端发送的所述违规处理时长并记录。

[0006] 本申请实施例提供的违规处理时长的检测方法及系统，服务器从样本列表中选取目标视频内容，发送至测试终端，该测试终端对目标视频内容进行播放并获取第一时间，该
第一时间为播放到目标视频内容中的第一帧违规视频帧的时间，测试终端在目标内容持续
播放的过程中，监听该目标视频内容断播的时间，将该断播的时间作为第二时间，基于第一
时间和第二时间，确定违规处理时长，服务器接收测试终端发送的违规处理时长并记录，从
而通过对审核人员对于违规信息的审核处理时长进行训练并记录，以提升审核人员的审核
效率，及时处理违规信息。

附图说明

[0007] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于
本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附
图。

[0008] 图1示出了本申请实施例提供的违规处理时长的检测方法的应用场景图；

[0009] 图2示出了本申请一个实施例提供的违规处理时长的检测方法的时序图；

[0010] 图3示出了本申请又一个实施例提供的违规处理时长的检测方法的时序图；

[0011] 图4示出了本申请的图3所示的违规处理时长的检测方法的步骤S220 的流程示意图；

[0012] 图5示出了本申请的图3所示的违规处理时长的检测方法的步骤S250 的流程示意图；

[0013] 图6示出了本申请实施例用于执行根据本申请实施例的违规处理时长的检测方法的电子设备的框图；

[0014] 图7示出了本申请实施例的用于保存或者携带实现根据本申请实施例的违规处理时长的检测方法的程序代码的存储单元。

具体实施方式

[0015] 为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

[0016] 请参阅图1，图1示出了本申请实施例提供的违规处理时长的检测方法的应用场景图。如图1所示，该应用场景包括一个或多个测试终端100 和服务器200，该测试终端100可
以安装有客户端。多个测试终端100分别与服务器200连接，具体地，该测试终端100和服务
器200位于无线网络或有线网络中，测试终端100与服务器200进行数据交互。

[0017] 其中，测试终端100可以为移动电话或智能电话(例如，基于iPhone TM，基于Android TM的电话)，便携式游戏设备(例如Nintendo DS TM， PlayStation Portable TM，
Gameboy Advance TM，iPhone TM)、膝上型电脑、PDA、便携式互联网设备、音乐播放器以及
数据存储设备等。

[0018] 在一些实施例中，客户端安装在测试终端100内，例如，可以是安装在测试终端100的应用程序。用户在客户端通过帐号登录，则该帐号对应的所有信息可以存储在服务器200
的存储空间内。其中，该服务器200可以是单独的服务器，也可以是服务器集群，可以是本地
服务器，也可以是云端服务器。

[0019] 具体地，测试终端100可以存储并更新能够在客户端上显示文本信息、图片信息和/或视频信息。用户可以通过客户端观看该文本信息、图片信息和/或视频信息。其中，测
试终端100将该文本信息、图片信息和/或视频信息发送至客户端，客户端在显示界面上展
示该文本信息、图片信息和/或视频信息。

[0020] 其中，随着直播行业的快速发展，越来越多的人开始作为主播进入直播行业。但是，发明人经过长期的研究发现，直播在不断丰富观众多样化观看需求的同时，也造成直播
行业内主播生产的直播内容良莠不齐，因此，直播平台都会引入大量的审核人员，对直播平
台上的直播内容进行监控，例如，于本申请中，审核人员可以通过测试终端对直播内容进行
监控审核，然而，目前审核人员的审核效率较低，造成在直播内容的审核方面的巨大压力。

[0021] 针对上述问题，发明人提出来本申请实施例提供的违规处理时长的检测方法即系统，通过对审核人员对于违规信息的审核处理时长进行训练并记录，以提升审核人员的审
核效率，及时处理违规信息。其中，具体的违规处理时长的检测方法在后续的实施例中进行
详细的说明。

[0022] 实施例

[0023] 请参阅图2，图2示出了本申请一个实施例提供的违规处理时长的检测方法的时序图。该方法应用于违规处理时长的检测系统，该违规处理时长的检测系统包括服务器和测
试终端，该服务器和测试终端连接。下面将针对图2所示的流程进行详细的阐述，所述违规
处理时长的检测方法具体可以包括以下步骤：

[0024] 步骤S110：所述服务器从所述样本列表中选取目标视频内容，发送至所述测试终端。

[0025] 在本实施例中，服务器包括样本列表，该样本列表包括多个视频内容。具体地，服务器可以与多个监控终端连接，其中，该多个监控终端用于供多个用户对直播视频进行监
控，并在监控到直播视频中存储违规信息时对直播视频进行处罚并生成处罚结果上传到服
务器。因此，作为一种方式，该服务器可以预先创建样本列表，该样本列表用于记录多个被
处罚的直播视频的视频内容，以供审核人员训练使用，可以理解的，该样本列表可以实时更
新，例如，可以实时添加视频内容、实时删减视频内容或者实时修改视频内容等，在此不做
限定。

[0026] 作为一种方式，该视频内容可以包括一个完整的视频，也可以包括从完整的视频中截取的部分视频。例如，一个完整的视频为500M，且该完整的视频的播放时长为40分钟，
那么，当该视频内容包括一个完整的视频时，该视频内容的大小可以为500M且该视频内容
的播放时长可以为40分钟，当该视频内容包括从完整的视频中截取的部分视频时，该视频
内容的大小可以小于500M且该视频内容的播放时长可以小于40分钟，例如，可以从完整的
500M视频中截取300M的视频，且该300M的视频的播放时长为 25分钟。其中，作为一种方式，
当该视频内容包括从完整的视频中截取的部分视频时，该部分视频可以是沿完整的视频的
播放进度截取的连续时间段内的部分视频，例如，截取5分钟到30分钟的时间段内的视频；
该部分视频还可以是沿完整的视频的播放进度，按指定时间间隔截取的部分视频，例如，可
以按完整的视频的播放进度，每间隔3S截取一次视频内容，并将截取的所有视频内容合成
所述视频内容。

[0027] 在本实施例中，该视频内容可以是截取的直播房间中的直播视频的部分视频。其中，当主播在直播房间进行直播时，服务器会分配对应的监控终端对该直播房间的直播行
为进行监控，以判断该直播房间的直播视频中是否存在违规信息，若监测到该直播视频存
在违规信息，则截取该直播视频中的部分视频内容作为违规判罚的参考依据。具体地，审核
人员可以对主播的语音数据或视频数据进行监测，若监测到包括商品广告、涉嫌赌博、以及
低俗谩骂等数据时，可以确定该直播房间存在违规行为，且可以确定该直播视频中存在违
规信息，则监控终端作为响应对直播视频进行处罚并上传处罚结果至服务器。

[0028] 其中，该视频内容中包括至少一个违规信息。可以理解的，审核人员从监测到直播视频中存在违规信息到针对该违规信息对直播视频进行处罚的过程中，该直播视频还在持
续进行，因此，可能会按直播视频的播放进度持续产生相同或不同的至少一个违规信息。例
如，假设审核人员或审核装置(以下以审核人员为例进行说明)在早上9:00第一次监测到直
播视频中的违规信息，且审核人员在9:05对该直播视频进行处罚，截取的视频内容可能包
括从8:30‑9:05的时间段内的视频，因此，在9:00‑9:05的时间段内可能包括至少一个违规
信息。作为一种方式，审核人员可以在视频内容中对监测到的违规信息进行标注，其中，一
个标注可以对应一个违规视频帧。

[0029] 进一步地，服务器还可以与多个测试终端连接，用于将用于训练的视频内容发送至所述测试终端对审核人员进行测试。具体地，服务器可以从创建的样本列表中记录的多
个视频内容中选取目标视频内容，并将该目标视频内容发送至测试终端，其中，该目标视频
内容的数量可以为一个、可以为两个、也可以为多个等，可选的，在本实施例中，所述目标视
频内容的数量为一个，也就是说，服务器每次可以发送一个目标视频内容至测试终端。作为
一种方式，该目标视频内容的选取可以是随机选取、可以是按照排序位置依序选取、可以按
照违规原因选取、可以按照视频内容大小选取等，在此不做限定。

[0030] 步骤S120：所述测试终端对目标视频内容进行播放并获取第一时间，所述第一时间为播放到所述目标视频内容中的第一帧违规视频帧的时间，其中，所述第一帧违规视频
帧为所述目标视频内容中第一个被标注为违规信息的视频帧。

[0031] 在本实施例中，服务器可以将该目标视频内容作为样本工单给到测试终端进行测试，以指示所述测试终端对应的审核人员审核该目标视频内容，并对该目标视频内容中存
在的违规信息进行处罚，以获取该审核人员对违规信息进行处理所需的时长。具体地，测试
终端对目标视频内容进行播放并获取播放到该目标视频内容中的第一帧违规视频帧的时
间，将该时间作为第一时间，其中，该第一帧违规视频帧为该目标视频内容中第一个被标注
为违规信息的视频帧，例如，该目标视频内容中包括三个违规信息，且目标视频内容按播放
进程依次被标注有第一帧违规视频帧、第二帧违规视频帧，以及第三帧违规视频帧，由于该
第一帧违规视频帧为该目标视频内容中第一个被标注的违规信息的视频帧，因此，可以获
取该目标视频内容播放到该第一帧违规视频帧的时间。其中，可以理解的，该第一帧违规视
频帧对应的时间可以认为是目标视频内容中违规开始的时间。

[0032] 步骤S130：所述测试终端在所述目标视频内容持续播放的过程中，监听所述目标视频内容断播的时间，将所述断播的时间作为第二时间。

[0033] 进一步地，在该目标视频内容的播放过程中，可以对该目标视频内容的运行状态进行监测，其中，该目标视频内容的运行状态可以包括播放状态和断播状态，其中，可以通
过监测该测试终端的状态值的方式来监测该目标视频内容的运行状态，例如，当该测试终
端中的目标视频内容处于播放状态时，可以输出状态值1，当该测试终端中的目标视频内容
处于断播状态时，可以输出状态值0。作为一种方式，当所述目标视频内容处于播放状态时，
可以认为审核人员还在对该目标视频内容进行审核，而当所述目标视频内容处于断播状态
时，可以认为审核人员已经对目标视频内容审核完毕并进行处理，因此，在本实施例中，可
以获取该目标视频内容断播的时间，即第二时间，将该第二时间作为审核结束的时间。

[0034] 作为一种方式，当检测到所述目标视频内容断播时，可以继续监测该目标视频内容的运行状态且持续预定时长，其中，该预定时长可以是1分钟、可以是3分钟等，在此不做
限定。可以理解的，目标视频内容断播可能包括暂停、播放结束、中断播放等，其中，播放结
束和中断播放均可以视作审核人员审核结束的标志，而暂停则可能是审核人员将视频作暂
停处理，使目标视频内容停留在某一个画面以更清楚地识别目标视频内容中的违规信息，
并在确认完毕后可能继续播放该目标视频内容，因此，为了提高检测的准确性，可以在检测
到该目标视频内容断播且断播持续一定时长后，再确定审核结束并获取第二时间，以避免
在目标视频内容暂停时就判定该目标视频内容断播。

[0035] 步骤S140：所述测试终端基于所述第一时间和所述第二时间，确定违规处理时长。

[0036] 进一步地，由于第一时间为表征该目标视频内容中的第一帧违规视频帧出现的时间，也就是说，第一时间为在目标视频内容中第一次出现违规信息的时间，第二时间为目标
视频内容断播的时间，也就是说，第二时间为审核结束的时间，因此，在本实施例中，在获取
第一时间和第二时间后，可以基于该第一时间和第二时间确定违规处理时长，从而可以获
取审核人员的审核效率，并根据检测结果提升审核人员的审核效率。

[0037] 作为一种方式，当获取第一时间和第二时间之后，可以计算该第二时间和第一时间的差值，并将该差值确定为违规处理时长。具体地，审核员在对目标视频内容进行审核的
过程中，从检测到第一帧违规视频帧的第一时间到对第一帧违规视频帧进行处罚的第二时
间，可以认为是该审核人员对违规内容所需的处理时长，因此，可以通过第二时间和第一时
间之间的差值计算得到该审核人员的违规处理时长。

[0038] 步骤S150：所述服务器接收所述测试终端发送的所述违规处理时长并记录。

[0039] 进一步地，测试终端在获取违规处理时长后，可以显示该违规处理时长，以供审核人员了解自己对违规信息的处理效率，以及时作出相应的改进。另外，测试终端在获取违规
处理时长后，还可以将该违规处理时长发送至服务器，服务器可以记录该违规处理时长，以
便对该审核人员的违规处理时长进行分析，以得出针对该审核人员的审核效率的改进方
案，提升该审核人员的审核效率。

[0040] 本申请实施例提供的违规处理时长的检测方法，服务器从样本列表中选取目标视频内容，发送至测试终端，该测试终端对目标视频内容进行播放并获取第一时间，该第一时
间为播放到目标视频内容中的第一帧违规视频帧的时间，测试终端在目标内容持续播放的
过程中，监听该目标视频内容断播的时间，将该断播的时间作为第二时间，基于第一时间和
第二时间，确定违规处理时长，服务器接收测试终端发送的违规处理时长并记录，从而通过
对审核人员对于违规信息的审核处理时长进行训练并记录，以提升审核人员的审核效率，
及时处理违规信息。

[0041] 请参阅图3，图3示出了本申请又一个实施例提供的违规处理时长的检测方法的时序图。该方法应用于违规处理时长的检测系统，该违规处理时长的检测系统包括服务器和
测试终端，该服务器和测试终端连接。下面将针对图3所示的流程进行详细的阐述，所述违
规处理时长的检测方法具体可以包括以下步骤：

[0042] 步骤S210：所述服务器在获取到针对所述第一帧违规视频帧对应的直播视频的处罚结果时，记录当前时刻。

[0043] 在本实施例中，服务器在接收到监测终端发送的针对直播视频的处罚结果时，服务器作为响应记录当前时刻。例如，当所述服务器在早上9点 10分30秒获取到该处罚结果
时，那么，该服务器记录9点10分30秒，并将9点10分30秒作为获取该目标视频内容的时间依
据。其中，该处罚结果可以包括罚款、关闭直播房间、禁号等，且该处罚结果可以由审核人员
在监控终端输入或选择，在此不做限定。

[0044] 步骤S220：所述服务器截取所述直播视频在所述当前时刻之前的指定时间段内的音视频数据，将所述音视频数据作为所述视频内容添加至所述样本列表。

[0045] 通常，审核人员对直播房间的第一帧违规视频帧进行审核并得到处罚结果的过程会持续一定的时长，也就是说，当所述服务器获取到处罚结果时，该直播房间当前的直播内
容与第一帧违规视频帧的内容不一致。因此，为了得到第一帧违规视频帧以还原违规过程，
该服务器可以截取该直播房间在当前时刻之前的指定时间段内的音视频数据，将该音视频
数据作为视频内容太添加至样本列表。其中，该直播房间的音视频数据可以但不限于包括
直播语音、房间背景音乐、主播行为、公屏文本、公屏图片、弹幕文本等，在此不做限定，另
外，该指定时间段对应的时长可以由服务器自动设置，也可以由用户手动设置，例如，该指
定时间段可以为10分钟、20 分钟、30分钟等，在此不做限定。

[0046] 例如，假设该服务器在获取到处罚结果时记录的当前时刻为9点10分 30秒，且该指定时间段为30分钟，那么，该服务器可以截取所述直播房间从8点40分30秒到9点10分30
秒的时间段内的音视频数据作为该视频内容，以添加至样本工单对审核人员进行训练。

[0047] 请参阅图4，图4示出了本申请实施例提供的违规处理时长的检测方法的步骤S220的流程示意图。下面将针对图4所示的流程进行详细的阐述，所述方法具体可以包括以下步
骤：

[0048] 步骤S221：所述服务器截取所述直播视频在所述当前时刻之前的指定时间段内的音视频数据，获取所述音视频数据的基本信息。

[0049] 进一步地，在获取音视频数据后，可以对该音视频数据进行筛选，以选取可用的音视频数据作为目标视频内容形成样本工单对审核人员进行训练。作为一种方式，可以获取
该音视频数据的基本信息，基于该基本信息对音视频数据进行筛选，其中，该基本信息可以
包括音视频数据的画质、音视频数据的显示情况、多个音视频数据之间的相似度等，在此不
做限定。

[0050] 步骤S222：所述服务器判断所述基本信息是否满足指定条件。

[0051] 作为一种方式，服务器预先设置有指定条件，该指定条件用于作为该基本信息的判断依据。其中，该指定条件可以预先设置完成后存储在服务器，也可以在判断时在进行设
置，另外，该指定条件可以由服务器自动设置，也可以由用户手动设置，在此不做限定。因
此，在本实施例中，当获取音视频数据的基本信息后，可以将该基本信息与指定条件进行比
较，以判断该基本信息是否满足指定条件。

[0052] 例如，若所述指定条件为指定画质条件，那么，在获取音视频数据后，可以获取该音视频数据的画质，其中，该画质可以包括音视频数据的清晰度、锐度、镜头畸变、色彩、解
析度、色域范围、纯度等，其不同的组合方式可以有不同的画质。因此，作为一种方式，将音
视频数据的画质与指定画质条件进行比较，以判断该音视频数据的画质是否高于指定画质
条件，可以理解的，当该音视频数据的画质高于该指定画质条件时，可以认为该音视频数据
的基本信息满足指定条件，因此，可以将该音视频数据作为视频内容，以保证样本工单的画
质清晰；相反的，当该音视频数据的画质不高于该指定画质条件时，可以认为该音视频数据
的基本信息不满足指定条件，因此，可以过滤掉该音视频数据，以避免将低质的音视频数据
作为样本工单，影响检测的准确性。

[0053] 又例如，若所述指定条件为指定显示情况，那么，在获取音视频数据后，可以获取该音视频数据的显示情况，其中，该显示情况可以包括画面亮度。因此，作为一种方式，将音
视频数据的显示情况与指定显示情况进行比较，以判断该音视频数据的显示情况是否满足
指定显示情况，例如，判断该音视频数据的画面亮度是否满足指定画面亮度，可以理解的，
当该音视频数据的画面亮度满足指定画面亮度时，可以认为该音视频数据的基本信息满足
指定条件，因此，可以将该音视频数据作为视频内容，以保证样本工单的画面亮度可见；相
反的，当该音视频数据的画面亮度不满足指定画面亮度时，可以认为该音视频数据的基本
信息不满足指定条件，因此，可以过滤掉该音视频数据，以避免将画面亮度不适中的音视频
数据作为样本工单，影响检测的准确性。

[0054] 再例如，若所述指定条件为指定相似度，那么，在获取多个音视频数据后，可以获取多个音视频数据之间的相似度，其中，相似度可以包括内容相似度、违规类型相似度、违
规时间相似度等，在此不做限定。因此，在本实施例中，可以将多个音视频数据进行比较，当
多个音视频数据之间的相似度低于指定相似度时，可以认为该多个音视频数据的基本信息
满足指定条件，因此，可以将多个音视频数据作为视频内容，以保证样本工单的多样性；相
反的，当该多个音视频数据的相似度不低于指定相似度时，可以认为该多个音视频数据的
相似度过高，可能存在重复的样本数据，因此，可以认为该多个音视频数据的基本信息不满
足指定条件，即可以过滤掉部分音视频数据，例如，在相似的多个音视频数据中留下一个或
几个音视频数据作为样本工单，以避免在审核员在相似的样本工单上重复检测。

[0055] 步骤S223：当所述基本信息满足所述指定条件时，所述服务器将所述音视频数据作为所述视频内容添加至所述样本列表。

[0056] 步骤S230：所述服务器基于所述每个视频内容的违规原因，从所述样本列表中选取目标视频内容，发送至所述测试终端。

[0057] 另外，在本实施例中，多个视频内容中的每个视频内容均可以标记有违规原因，相应的，该服务器可以基于每个视频内容的违规原因，从样本列表中选取对应违规原因的目
标视频内容发送至测试终端。例如，当所述测试终端对应的审核用户对违规原因为涉黄的
审核效率较低时，那么，该服务器基于从多个视频内容中选取违规原因为涉黄的目标视频
内容，发送至测试终端，以针对该审核用户较为薄弱的违规原因进行训练，提升该审核人员
的综合能力。

[0058] 步骤S240：所述测试终端对目标视频内容进行播放并获取第一时间，所述第一时间为播放到所述目标视频内容中的第一帧违规视频帧的时间，其中，所述第一帧违规视频
帧为所述目标视频内容中第一个被标注为违规信息的视频帧。

[0059] 作为第一种方式，在所述目标视频内容的播放过程中，实时获取当前时间，并获取播放到该目标视频内容的第一帧违规视频帧时的第一当前时间，将该第一当前时间作为该
第一时间。例如，当该目标视频内容从8点10分12秒开始播放，则所述测试终端开始实时获
取该目标视频内容播放的当前时间，其中，当该目标视频内容中的第一帧违规视频帧在8点
15分13秒开始播放时，则记录8点15分13秒并标记为第一当前时间，将该第一当前时间作为
第一时间，即目标视频内容播放到第一次标注为违规信息的视频帧的时间。

[0060] 相应的，所述测试终端在记录第一当前时间后，由于该目标视频内容还在继续播放，因此，测试终端可以继续获取当前时间，并获取目标视频内容断播时的第二当前时间，
将该第二当前时间作为该第二时间。例如，当该目标视频内容在8点25分16秒断播，则记录8
点25分16秒并标记为第二当前时间，将该第二当前时间作为第二时间，即审核结束的时间。
其中，当第二当前时间可以是测试终端接收到处罚指令时的当前时间，也可以是目标视频
内容播放结束的当前时间，在此不做限定。

[0061] 因此，在本实施例中，当所述第一当前时间为8点15分13秒，且所述第二当前时间为8点25分16秒，那么，可以确定该审核人员的违规处理时长为 8点25分16秒‑8点15分13秒
＝10分钟3秒。

[0062] 作为第二种方式，在所述目标视频内容的播放过程中，实时获取播放时间，并获取播放到该目标视频内容的第一帧违规视频帧时的第一播放时间，将该第一播放时间作为该
第一时间。例如，当该视频内容从0秒开始播放，则所述测试终端开始实时获取该目标视频
内容播放的播放时间，其中，当该目标视频内容中的第一帧违规视频帧在15分13秒开始播
放时，则记录15分13秒并标记为第一播放时间，将该第一播放时间作为第一时间，即视频内
容播放到第一次标注为违规信息的视频帧的时间。

[0063] 进一步地，所述测试终端在记录第一播放时间后，由于该目标视频内容还在继续播放，因此，测试终端可以继续获取播放时间，并获取目标视频内容断播时的第二播放时
间，将该第二播放时间作为该第二时间。例如，当该目标视频内容在25分16秒断播，则记录
25分16秒并标记为第二播放时间，将该第二播放时间作为第二时间，即审核结束的时间。其
中，当第二播放时间可以是测试终端接收到处罚指令时的播放时间，也可以是目标视频内
容播放结束的时间，在此不做限定。

[0064] 因此，在本实施例中，当所述第一播放时间为15分13秒，且所述第二播放时间为25分16秒，那么，可以确定该审核人员的违规处理时长为25分16 秒‑15分13秒＝10分钟3秒。

[0065] 步骤S250：所述测试终端在所述目标视频内容播放的过程中，接收所述目标视频内容的处罚指令，基于所述处罚指令控制所述目标视频内容断播。

[0066] 作为一种方式，在目标视频内容的播放过程中，审核人员可以对目标视频内容中包括第一帧违规视频帧的违规信息进行处罚，例如，审核人员可以在测试终端输入处罚结
果，或者从测试终端显示的多个处罚结果中选择至少一个处罚处罚结果，相应的，该测试终
端接收基于该处罚结果生成的处罚指令，响应该处罚指令将视频内容断播。

[0067] 另外，在本实施例中，作为第一种方式，在所述目标视频内容中标注违规信息时，可以同时标注该违规信息对应的违规原因并在目标视频内容的播放过程中显示，以检测审
核人员对已知违规原因的违规信息的违规处理时长。作为第二种方式，在所述目标视频内
容中标注违规信息时，可以同时标注该违规信息对应的违规原因并在目标视频内容的播放
过程中隐藏，并在审核人员对基于视频审核输入或选择处罚结果时，判断该处罚结果中的
违规原因是否和标注的违规原因一致，以检测审核人员的审核准确率。

[0068] 请参阅图5，图5示出了本申请的图3所示的违规处理时长的检测方法的步骤S250的流程示意图。下面将针对图5所示的流程进行详细的阐述，所述方法具体可以包括以下步
骤：

[0069] 步骤S251：所述测试终端在所述目标视频内容播放的过程中，判断是否接收到所述处罚指令。

[0070] 具体地，在所述目标视频内容的播放过程中，判断是否接收到针对该目标视频内容的处罚指令。例如，假设该目标视频内容的播放时长为30分钟，那么，从目标视频内容开
始播放的30分钟的时间内，测试终端可以监测是否接收到针对该目标视频内容的处罚指
令。

[0071] 步骤S252：当接收到所述处罚指令时，基于所述处罚指令控制所述目标视频内容断播。

[0072] 其中，若在目标视频内容的播放过程中接收到处罚指令，表征审核人员在目标视频内容播放结束之前确定了处罚结果，即该审核人员针对该目标视频内容的审核结束，因
此，可以将该目标视频内容断播，将该测试终端接收到处罚指令的时间作为第二时间。

[0073] 步骤S253：当没有接收到所述处罚指令时，获取所述目标视频内容的播放结束时间，将所述播放结束时间作为所述第二时间。

[0074] 另外，若在目标视频内容的播放过程中没有接收到该处罚指令，表征审核人员在目标视频内容播放结束前没有确定处罚结果，因此，可以将该目标视频内容的播放结束时
间作为第二时间。

[0075] 步骤S260：所述测试终端获取接收到所述处罚指令的时间，将接收到所述处罚指令的时间作为所述第二时间。

[0076] 其中，该测试终端基于该处罚指令控制该目标视频内容断播，即可以认为该测试终端接收到处罚指令的时间为审核人员审核结束的时间，因此，测试终端可以获取接收到
该处罚指令的时间，将该时间作为第二时间。

[0077] 步骤S270：所述测试终端基于所述第一时间和所述第二时间，确定违规处理时长。

[0078] 步骤S280：所述服务器接收所述测试终端发送的所述违规处理时长并记录。

[0079] 其中，步骤S270‑步骤S208的具体描述请参阅步骤S140‑步骤S150，在此不再赘述。

[0080] 本申请又一个实施例提供的违规处理时长的检测方法，服务器在获取到第一帧违规视频帧对应的直播视频的处罚结果时，记录当前时刻，截取直播视频在该当前时刻之前
的指定时间段内的音视频数据，将该音视频数据作为视频内容添加至样本列表，基于每个
视频内容的违规原因，从样本列表中选取目标视频内容，发送至测试终端。该测试终端对目
标视频内容进行播放并获取第一时间，该第一时间为播放到视频内容中的第一帧违规视频
帧的时间，在目标视频内容播放的过程中，接收目标视频内容的处罚指令，基于该处罚指令
控制目标视频内容断播，获取接收到处罚指令的时间，将接收到处罚指令的时间作为第二
时间，基于该第一时间和第二时间确定违规处理时长，服务器接收测试终端发送的违规处
理时长并记录。相较于图2所示的违规处理时长的检测方法，本实施例还通过服务器截取第
一帧违规视频帧发生的当前时刻之前的指定时间段内的音视频数据作为视频内容，以提供
违规信息进行再审核的依据。另外，通过获取处罚指令的方式确定目标视频内容断播的时
间，可以获取审核人员的处罚时间，以更准确地确定审核人员的违规处理时长。

[0081] 本申请实施例还提供一种违规处理时长的检测系统，包括服务器和测试终端，所述服务器和所述测试终端连接，所述服务器包括样本列表，所述样本列表包括多个视频内
容，其中：所述服务器，用于从所述样本列表中选取目标视频内容，发送至所述测试终端；所
述测试终端，用于对目标视频内容进行播放并获取第一时间，所述第一时间为播放到所述
目标视频内容中的第一帧违规视频帧的时间，其中，所述第一帧违规视频帧为所述目标视
频内容中第一个被标注为违规信息的视频帧；所述测试终端，用于在所述目标视频内容持
续播放的过程中，监听所述目标视频内容断播的时间，将所述断播的时间作为第二时间；所
述测试终端，用于基于所述第一时间和所述第二时间，确定违规处理时长；所述服务器，用
于接收所述测试终端发送的所述违规处理时长并记录。

[0082] 请参考图6，其示出了本申请实施例提供的一种电子设备300的结构框图，其中，该电子设备300可以为服务器200，也可以为测试终端100，在此不做限定。本申请中的电子设
备300可以包括一个或多个如下部件：处理器310、存储器320以及一个或多个应用程序，其
中一个或多个应用程序可以被存储在存储器320中并被配置为由一个或多个处理器310执
行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

[0083] 处理器310可以包括一个或者多个处理核。处理器310利用各种接口和线路连接整个电子设备300内的各个部分，通过运行或执行存储在存储器320 内的指令、程序、代码集
或指令集，以及调用存储在存储器320内的数据，执行电子设备300的各种功能和处理数据。
可选地，处理器310可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编
程门阵列(Field－ Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable 
Logic Array，PLA)中的至少一种硬件形式来实现。处理器310可集成中央处理器 (Central 
Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU) 和调制解调器等
中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负
责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器
也可以不集成到处理器310 中，单独通过一块通信芯片进行实现。

[0084] 存储器320可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read‑Only Memory)。存储器320可用于存储指令、程序、代码、代码集或指令集。存
储器320可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指
令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于
实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备300在使用中所创建
的数据(比如电话本、音视频数据、聊天记录数据)等。

[0085] 请参考图7，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质400中存储有程序代码，所述程序代码可被处理器调用执行上述方
法实施例中所描述的方法。

[0086] 计算机可读存储介质400可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质400包括非易失性计
算机可读介质(non‑transitory computer‑readable storage medium)。计算机可读存储
介质400具有执行上述方法中的任何方法步骤的程序代码410的存储空间。这些程序代码可
以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。
程序代码410可以例如以适当形式进行压缩。

[0087] 综上所述，本申请实施例提供的违规处理时长的检测方法及系统，服务器从样本列表中选取目标视频内容，发送至测试终端，该测试终端对目标视频内容进行播放并获取
第一时间，该第一时间为播放到目标视频内容中的第一帧违规视频帧的时间，测试终端在
目标内容持续播放的过程中，监听该目标视频内容断播的时间，将该断播的时间作为第二
时间，基于第一时间和第二时间，确定违规处理时长，服务器接收测试终端发送的违规处理
时长并记录，从而通过对审核人员对于违规信息的审核处理时长进行训练并记录，以提升
审核人员的审核效率，及时处理违规信息。

[0088] 最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以
对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而
这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和
范围。