视频质检方法、装置、计算机设备和存储介质转让专利
申请号 : CN202110001121.8
文献号 : CN112351337B
文献日 : 2022-02-01
发明人 : 严石伟 , 丁凯 , 蒋楠
申请人 : 腾讯科技(深圳)有限公司
摘要 :
权利要求 :
1.一种视频质检方法,其特征在于,所述方法包括:获取待进行质检的至少一个目标视频,并确定每个所述目标视频各自对应的质检任务;所述目标视频为基于保险业务场景所进行录制的双录视频;
将所述质检任务添加至任务队列;其中,所述任务队列的队列长度是根据资源空闲程度来确定,当空闲资源小于预设资源大小时,减短所述任务队列的队列长度,当所述空闲资源大于预设资源大小时,增加所述任务队列的队列长度,当所述任务队列已满时,后续待添加至所述任务队列中的质检任务处于等待响应状态;
确定所述任务队列中的当前质检任务以及与所述当前质检任务对应的当前的目标视频;
接收终端发送的目标任务配置项;所述目标任务配置项是基于对终端所展示的任务配置页面中的多个候选任务配置项进行选中操作所得到;
将接收到的所述目标任务配置项,作为与所述目标视频相对应的任务配置信息;根据所述任务配置信息,确定与所述当前的目标视频对应的至少一个质检子任务,并从任务配置池中筛选出所述至少一个质检子任务的目标任务标识,并将筛选出来的目标任务标识存储至任务调度池,以便于所述质检子任务的调度与执行;所述质检子任务包括签字识别子任务、单证识别子任务、身份证识别子任务、人脸检测子任务、动作识别子任务以及人体检测子任务中的至少一种;所述候选任务配置项与所述质检子任务一一对应;
对所述目标视频进行视频清洗处理,得到所述目标视频的音频文件;
根据预存储的质检子任务与目标关键词之间的对应关系,确定与各质检子任务分别对应的目标关键词;
对所述目标视频中的音频文件进行关键词监听,以确定所述目标关键词在所述音频文件中的出现时刻;
基于所述出现时刻对所述目标视频进行分段处理,得到与每个所述质检子任务分别相匹配的目标视频区间;
确定所述目标视频区间的原始帧率,并将所述目标视频区间的原始帧率调整为目标帧率,以减少参与质检的视频帧的总数量;
根据各所述质检子任务分别对应的跳帧信息,对相应的实现帧率调整后的目标视频区间进行跳帧处理,得到每个所述质检子任务分别对应的目标质检片段;所述跳帧信息是综合质检子任务的质检结果准确性、计算机资源消耗情况以及各质检子任务的处理效率确定得到的;确定所述当前质检任务中的每个质检子任务在执行时各自所需的相互独立的执行资源;所述跳帧信息包括跳帧因子;所述跳帧因子为目标视频区间中参与质检的视频帧的比例;所述根据各所述质检子任务分别对应的跳帧信息,对相应的实现帧率调整后的目标视频区间进行跳帧处理,得到每个所述质检子任务分别对应的目标质检片段包括:根据质检子任务与跳帧因子之间的对应关系,确定与各所述质检子任务分别对应的跳帧因子;根据各所述质检子任务分别对应的跳帧因子,从各个质检子任务各自对应的实现帧率调整后的目标视频区间中筛选出目标视频帧;对于每个质检子任务,均组合相对应的所述目标视频帧,得到与相应质检子任务对应的目标质检片段;
基于所述相互独立的执行资源,并行调度所述当前质检任务中的各质检子任务并执行,直至得到与所述当前的目标视频对应的质检结果,其中,在执行每个质检子任务的过程中,均通过多个请求线程,并行提取相应质检子任务所对应的目标质检片段中的待质检视频帧,并生成对提取的待质检视频帧进行质检的质检请求,将质检请求写入缓存队列,当所述缓存队列符合执行条件时,通过批处理线程批量响应所述缓存队列中的质检请求;
其中,在对所述当前质检任务所包括的各质检子任务进行并行调度执行的过程中,按照各质检子任务的请求执行时间,依次对所述当前质检任务所包括的各质检子任务进行调度执行;
其中,在按照各质检子任务的请求执行时间,依次对所述当前质检任务所包括的各质检子任务进行调度执行的过程中,监控所述当前质检任务中每个质检子任务各自对应的执行资源的使用情况,当存在未被使用的执行资源时,基于未被使用的所述执行资源执行所述任务队列中在所述当前质检任务的下一顺序的质检任务中的质检子任务。
2.根据权利要求1所述的方法,其特征在于,所述对所述目标视频中的音频文件进行关键词监听,以确定所述目标关键词在所述音频文件中的出现时刻,包括:对所述音频文件进行语音识别,得到所述音频文件的初始识别结果;
对所述初始识别结果进行语义分析,得到所述音频文件的结构化识别结果;
对所述结构化识别结果进行关键词监听,得到所述目标关键词在所述音频文件中的出现时刻。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:当获取得到与所述目标视频对应的质检结果时,将所述质检结果返回至终端,并触发所述终端展示所述质检结果;其中,所展示的质检结果用于辅助用户对目标视频进行人工审核,且所述质检结果包括执行所述签字识别子任务得到的签字内容、执行所述单证识别子任务得到的单证类型、执行所述身份证识别子任务得到的身份证内容、执行所述人脸检测子任务得到的人物角色标识、执行所述动作识别子任务得到的动作内容及执行所述人体检测子任务得到的人体检测结果中的至少一项。
4.一种视频质检装置,其特征在于,所述装置包括:子任务确定模块,用于获取待进行质检的至少一个目标视频,并确定每个所述目标视频各自对应的质检任务;所述目标视频为基于保险业务场景所进行录制的双录视频;将所述质检任务添加至任务队列;其中,所述任务队列的队列长度是根据资源空闲程度来确定,当空闲资源小于预设资源大小时,减短所述任务队列的队列长度,当所述空闲资源大于预设资源大小时,增加所述任务队列的队列长度,当所述任务队列已满时,后续待添加至所述任务队列中的质检任务处于等待响应状态;确定所述任务队列中的当前质检任务以及与所述当前质检任务对应的当前的目标视频;接收终端发送的目标任务配置项;所述目标任务配置项是基于对终端所展示的任务配置页面中的多个候选任务配置项进行选中操作所得到;将接收到的所述目标任务配置项,作为与所述目标视频相对应的任务配置信息;根据所述任务配置信息,确定与所述当前的目标视频对应的至少一个质检子任务,并从任务配置池中筛选出所述至少一个质检子任务的目标任务标识,并将筛选出来的目标任务标识存储至任务调度池,以便于所述质检子任务的调度与执行;所述质检子任务包括签字识别子任务、单证识别子任务、身份证识别子任务、人脸检测子任务、动作识别子任务以及人体检测子任务中的至少一种;所述候选任务配置项与所述质检子任务一一对应;
质检片段确定模块,用于对所述目标视频进行视频清洗处理,得到所述目标视频的音频文件;根据预存储的质检子任务与目标关键词之间的对应关系,确定与各质检子任务分别对应的目标关键词;对所述目标视频中的音频文件进行关键词监听,以确定所述目标关键词在所述音频文件中的出现时刻;基于所述出现时刻对所述目标视频进行分段处理,得到与每个所述质检子任务分别相匹配的目标视频区间;确定所述目标视频区间的原始帧率,并将所述目标视频区间的原始帧率调整为目标帧率,以减少参与质检的视频帧的总数量;根据各所述质检子任务分别对应的跳帧信息,对相应的实现帧率调整后的目标视频区间进行跳帧处理,得到每个所述质检子任务分别对应的目标质检片段;所述跳帧信息是综合质检子任务的质检结果准确性、计算机资源消耗情况以及各质检子任务的处理效率确定得到的;所述跳帧信息包括跳帧因子;所述跳帧因子为目标视频区间中参与质检的视频帧的比例;所述根据各所述质检子任务分别对应的跳帧信息,对相应的实现帧率调整后的目标视频区间进行跳帧处理,得到每个所述质检子任务分别对应的目标质检片段包括:根据质检子任务与跳帧因子之间的对应关系,确定与各所述质检子任务分别对应的跳帧因子;
根据各所述质检子任务分别对应的跳帧因子,从各个质检子任务各自对应的实现帧率调整后的目标视频区间中筛选出目标视频帧;对于每个质检子任务,均组合相对应的所述目标视频帧,得到与相应质检子任务对应的目标质检片段;
执行模块,用于确定所述当前质检任务中的每个质检子任务在执行时各自所需的相互独立的执行资源;基于所述相互独立的执行资源,并行调度所述当前质检任务中的各质检子任务并执行,直至得到与所述当前的目标视频对应的质检结果,其中,在执行每个质检子任务的过程中,均通过多个请求线程,并行提取相应质检子任务所对应的目标质检片段中的待质检视频帧,并生成对提取的待质检视频帧进行质检的质检请求,将质检请求写入缓存队列,当所述缓存队列符合执行条件时,通过批处理线程批量响应所述缓存队列中的质检请求;其中,在对所述当前质检任务所包括的各质检子任务进行并行调度执行的过程中,按照各质检子任务的请求执行时间,依次对所述当前质检任务所包括的各质检子任务进行调度执行;其中,在按照各质检子任务的请求执行时间,依次对所述当前质检任务所包括的各质检子任务进行调度执行的过程中,监控所述当前质检任务中每个质检子任务各自对应的执行资源的使用情况,当存在未被使用的执行资源时,基于未被使用的所述执行资源执行所述任务队列中在所述当前质检任务的下一顺序的质检任务中的质检子任务。
5.根据权利要求4所述的装置,其特征在于,所述质检片段确定模块包括区间确定模块,所述区间确定模块用于对所述音频文件进行语音识别,得到所述音频文件的初始识别结果;对所述初始识别结果进行语义分析,得到所述音频文件的结构化识别结果;对所述结构化识别结果进行关键词监听,得到所述目标关键词在所述音频文件中的出现时刻。
6.根据权利要求4所述的装置,其特征在于,所述视频质检装置还包括展示模块,用于当获取得到与所述目标视频对应的质检结果时,将所述质检结果返回至终端,并触发所述终端展示所述质检结果;其中,所展示的质检结果用于辅助用户对目标视频进行人工审核,且所述质检结果包括执行所述签字识别子任务得到的签字内容、执行所述单证识别子任务得到的单证类型、执行所述身份证识别子任务得到的身份证内容、执行所述人脸检测子任务得到的人物角色标识、执行所述动作识别子任务得到的动作内容及执行所述人体检测子任务得到的人体检测结果中的至少一项。
7.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述的方法的步骤。
8.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。
说明书 :
视频质检方法、装置、计算机设备和存储介质
技术领域
背景技术
节等关键环节进行质检,以确定签字环节中的签字内容、证件展示环节中展示的证件内容
是否符合要求。
达十几分钟,从而导致通过人工对视频进行质检的效率较低。
发明内容
个视频帧共同作为执行对象。
帧处理,得到每个所述质检子任务分别对应的目标质检片段;
检片段中的多个视频帧共同作为执行对象。
页面中的多个候选任务配置项进行选中操作所得到;将接收到的所述目标任务配置项,作
为与所述目标视频相对应的任务配置信息。
关键词;对所述目标视频中的音频文件进行关键词监听,以确定所述目标关键词在所述音
频文件中的出现时刻;基于所述出现时刻对所述目标视频进行分段处理,得到与每个所述
质检子任务分别相匹配的目标视频区间。
化识别结果;对所述结构化识别结果进行关键词监听,得到所述目标关键词在所述音频文
件中的出现时刻。
务各自对应的目标视频区间中筛选出目标视频帧;对于每个质检子任务,均组合相对应的
所述目标视频帧,得到与相应质检子任务对应的目标质检片段。
别对应的跳帧因子,从相应质检子任务所对应的、且实现帧率调整后的目标视频区间中筛
选出目标视频帧。
述请求线程,将生成的所述质检请求写入缓存队列;当所述缓存队列符合执行条件时,批量
响应所述缓存队列中的质检请求。
多于一个的质检任务进行并行调度执行,且在执行每个质检任务时均执行从所述获取待进
行质检的目标视频、以及与所述目标视频对应的任务配置信息的步骤,至所述并行调度各
所述质检子任务并执行,直至得到与所述目标视频对应的质检结果的步骤。
质检子任务各自对应的执行资源的使用情况;当存在未被使用的执行资源时,基于未被使
用的所述执行资源执行所述任务队列中在所述当前质检任务的下一顺序的质检任务。
务、单证识别子任务、身份证识别子任务、人脸检测子任务、动作识别子任务以及人体检测
子任务中的至少一种。
中,所展示的质检结果用于辅助用户对目标视频进行人工审核,且所述质检结果包括执行
所述签字识别子任务得到的签字内容、执行所述单证识别子任务得到的单证类型、执行所
述身份证识别子任务得到的身份证内容、执行所述人脸检测子任务得到的人物角色标识、
执行所述动作识别子任务得到的动作内容及执行所述人体检测子任务得到的人体检测结
果中的至少一项。
个视频帧共同作为执行对象。
个视频帧共同作为执行对象。
待执行的质检子任务,从而后续可仅执行待执行的质检子任务,而无需执行全部的质检子
任务,如此,大大提升了视频质检的质检效率。当确定与目标视频对应的质检子任务时,可
从目标视频中确定与各质检子任务分别匹配的目标视频区间,并根据跳帧信息对相应的目
标视频区间进行跳帧处理,得到每个质检子任务分别对应的目标质检片段,从而后续可仅
对目标质检片段中的视频帧进行质检处理,而无需对整个目标视频中的视频帧均进行质检
处理,如此,进一步提升了视频质检的质检效率。当获取得到每个质检子任务对应的目标质
检片段时,可并行调度各质检子任务并执行,以及将质检子任务所对应的目标质检片段中
的多个视频帧共同作为执行对象,从而更进一步地提升了视频质检的质检效率。由于可自
动对目标视频进行质检,相比于传统的采取人工审核的方式对视频进行质检,本申请可大
大提升视频质检的质检效率。
附图说明
具体实施方式
用于限定本申请。
通过网络连接。终端102具体可以是台式终端或移动终端,移动终端具体可以手机、平板电
脑、笔记本电脑等中的至少一种。终端102和服务器104均可单独用于执行本申请实施例中
提供的视频质检方法。终端102和服务器104也可协同用于执行本申请实施例中提供的视频
质检方法。当终端102和服务器104协同用于执行本申请实施例中提供的视频质检方法时,
可通过终端102中的图形界面102‑11展示待质检视频,并通过检测控件102‑12将待质检视
频发送至服务器104,由服务器104对待质检视频进行检测,得到质检结果,并将质检结果返
回至终端102,以使终端102通过图形界面102‑21将质检结果对应展示。
络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础
云计算服务的云服务器。
管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、
应用技术等的总称,可以组成资源池,按需所用,灵活便利。技术网络系统的后台服务需要
大量的计算、存储资源,示意性的,视频的质检过程中,需要对视频进行存储、对视频中的不
同关键视频片段进行人工智能计算。伴随着互联网行业的高度发展和应用,将来每个物品
都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数
据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软
件、互联网相关,也可是其他服务。云计算是网格计算(G r i d C o m p u t i n g ) 、分
布式计算(Dis tri buted Com puting) 、并行计算(Pa ra llel Com puting) 、效用计算
(Utili tyComputing)、网络存储(Network Storage Technologies)、虚拟化
(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。
能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话
说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能
以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原
理与实现方法,使机器具有感知、推理与决策的功能。
可以为对目标视频中出现的人脸、人体、签字过程、身份证展示过程以及单证展示过程进行
识别,得到相应的识别结果,并判断识别结果是否符合预设的质检要求的检测过程。
到提升质检效率的目的。其中,质检子任务指的是质检任务中的子任务,为了便于对目标视
频进行质检,可将针对目标视频的质检任务按照质检功能划分为多个质检子任务,比如,可
将一个完整的质检任务划分为签字识别子任务、单证识别子任务、身份证识别子任务、人脸
检测子任务、签字动作识别子任务、展示动作识别子任务以及人体检测子任务等。
需求自由选择任务配置项,以确定需要执行的质检子任务。
任务配置后得到的任务配置信息发送至计算机设备,以使计算机设备根据任务配置信息对
目标视频进行质检,确定目标视频中的关键阶段是否合规。
基于对终端所展示的任务配置页面中的多个候选任务配置项进行选中操作所得到;将接收
到的目标任务配置项,作为与目标视频相对应的任务配置信息。
发目标应用中的任务配置控件时,用户终端可对应展示包括有至少一个候选任务配置项的
任务配置页面,以使用户根据质检需求,从候选任务配置项中选择目标任务配置项。举例说
明,任务配置页面中可包括有签字识别配置项、单证识别配置项、身份证识别配置项、人脸
检测配置项、签字动作识别配置项、展示动作识别配置项以及人体检测配置项等候选任务
配置项,当仅需对目标视频进行单证检测以及人脸检测时,用户可从中选择单证识别配置
项以及人脸检测配置项作为目标任务配置项。
与目标视频相对应的任务配置信息。
项。签字识别子任务指的是通过光学字符,对目标视频中的签字进行内容识别,得到签字结
果的质检子任务;单证识别子任务指的是通过光学字符,对目标视频中的单证进行内容识
别,得到单证类型以及单证内容的质检子任务;身份证识别子任务指的是通过光学字符,对
目标视频中的身份证进行内容识别,得到识别结果的质检子任务;人脸检测任务指的是对
目标视频中出现的人脸进行人脸识别,以确定人物角色的质检子任务;签字动作识别子任
务以及展示动作识别子任务指的是对目标视频中签字动作、展示动作进行识别,以确定签
字动作、展示动作是否合规的质检子任务;人体检测子任务指的是对目标视频中人体进行
检测,用以避免代签、误签的质检子任务。
一个目标任务配置项,并根据任务配置项与质检子任务之间的关联关系,确定与目标任务
配置项相对应的质检子任务,也即根据任务配置项与质检子任务之间的关联关系,确定与
目标视频相对应的质检子任务。
视频相对应的任务配置信息时,计算机设备可基于任务配置信息,对任务配置池中的任务
标识进行筛选处理,从任务配置池中筛选出待执行的质检子任务的目标任务标识,并将筛
选出的目标任务标识存储至任务调度池,从而后续计算机设备可调度与目标任务标识相对
应的质检子任务并执行,直至得到与目标视频对应的质检结果。图3示出了一个实施例中质
检子任务配置的示意图。
计算机设备可基于签字动作识别子任务确定对应的任务属性为签字属性,从而计算机设备
可提取目标视频中包含有签字过程的视频区间,并将此视频区间作为与签字动作识别子任
务相匹配的目标视频区间;又比如,当质检子任务为身份证识别子任务时,计算机设备可提
取目标视频中包含有展示身份证的视频区间,并将此视频区间作为与身份证识别子任务相
匹配的目标视频区间。
设备可根据销售人员记录的采集时间,对目标视频进行分段处理,得到各质检子任务分别
对应的目标视频区间。
分别对应的目标关键词;对目标视频中的音频文件进行关键词监听,以确定目标关键词在
音频文件中的出现时刻;基于出现时刻对目标视频进行分段处理,得到与每个质检子任务
分别相匹配的目标视频区间。
物发出的声音、语音播报声音等音频内容。为了描述方便,下述将与目标视频对应的质检子
任务称作目标质检子任务。进一步地,计算机设备中预存储有质检子任务与目标关键词之
间的对应关系,当获取得到与目标视频相对应的目标质检子任务时,计算机设备可根据质
检子任务与目标关键词之间的对应关系,确定每个目标质检子任务分别对应的目标关键
词,并对音频文件进行关键词监听,以确定目标关键词在音频文件中出现的时刻。
与签字动作识别子任务相对应的目标关键词可以为“请签字”,从而当监听到音频文件中的
“请签字”时,计算机设备对应记录“请签字”的出现时刻。
而计算机设备可对应记录与当前目标质检子任务相对应的每个目标关键词在音频文件中
出现的时刻,并根据每个目标关键词在音频文件中出现的时刻,对目标视频进行分段,得到
与当前目标质检子任务相对应的目标视频区间。比如,当“身份证展示”在音频文件中出现
的时刻为32分23秒、“身份证展示完毕”在音频文件中出现的时刻为36分2秒时,可将32分23
秒至36分2秒的视频片段作为与身份证识别子任务相匹配的目标视频区间。
止时刻,划分出与当前质检子任务相对应的目标视频区间,比如,在当前质检子任务为身份
证识别子任务、与身份证识别子任务相对应的目标关键词为“身份证展示”、下一顺序的质
检子任务为单证识别子任务、与单证识别子任务相对应的目标关键词为“单证展示”时,计
算机设备可以“身份证展示”的出现时间32分23秒为起始时刻,以“单证展示”的出现时间36
分2秒为终止时刻,对目标视频进行划分。
展示”的出现时间36分2秒时,计算机设备以36分2秒为起始时刻,以37分2秒为终止时刻,对
目标视频进行划分。
分划分至目标视频区间中。比如,目标关键词“身份证展示”的出现时刻为音频文件的第3分
20秒,计算机设备从3分20秒开始对视频内容进行动作识别,将识别得到展示动作的视频片
段划分为与“身份证展示”对应的目标视频区间,目标视频区间的终止时刻为展示动作的结
束时刻。
进行录音的音频文件、以及对保险销售过程进行录像的不包含有声音信息的视频文件。当
确定目标关键词在音频文件中的出现时刻,计算机设备可以此出现时刻为基准,对视频文
件进行分段处理,得到与每个质检子任务分别相匹配的目标视频区间。
行质检,相比于传统的对整个目标均进行质检,本实施例大大提升了视频质检的质检效率。
间的对应关系,确定每个目标质检子任务分别对应的跳帧信息。其中,跳帧信息指的是用于
对目标视频区间进行跳帧处理的信息,基于跳帧信息可以确定相应目标视频区间中参与质
检的视频帧的比例。进一步地,计算机设备根据每个目标质检子任务各自对应的跳帧信息,
对相应的目标视频区间进行跳帧处理,得到每个质检子任务分别对应的目标质检片段。
对应的目标质检片段的过程:当获取得到当前质检子任务、与当前质检子任务相对应的当
前跳帧信息以及与当前质检子任务相对应的当前目标视频区间时,计算机设备可根据当前
跳帧信息确定当前目标视频区间中参与质检的视频帧的比例,并根据所确定的比例信息,
对当前目标视频区间中的参与质检的目标视频帧进行筛选,得到与当前质检子任务相对应
的目标质检片段。比如,在当前跳帧信息为“参与质检的视频帧的比例为0.5”、以及当前目
标视频区间中具有420帧视频帧时,计算机设备可从当前目标视频区间中的全部视频帧中
抽取出0.8倍的目标视频帧,即从420帧视频帧中抽取出210帧目标视频帧,并组合抽取出的
各目标视频帧,得到与当前质检子任务相对应的目标质检片段。
以表示“0.5”的图形比例。
的跳帧信息,将质检结果准确性、计算机资源消耗情况以及处理效率三者之间达到动态平
衡时的跳帧信息,作为质检子任务最终的跳帧信息。
频帧共同作为执行对象。
的是质检子任务运行时所需的CPU(Central Processing Unit,中央处理器)资源、GPU
(Graphics Processing Unit,图形处理器)资源、内存资源、硬盘资源和网络资源等。进一
步地,在执行每个质检子任务时,计算机设备可将质检子任务所对应的目标质检片段中的
多个视频帧共同作为执行对象,并对各执行对象执行计算机视觉计算(computer version,
CV)。比如,当质检子任务为身份证识别子任务时,计算机设备可基于GPU资源,对相应视频
帧中的身份证图像进行识别,得到身份证号码;又比如,当质检子任务为人脸检测子任务
时,计算机设备可基于CPU资源,对相应视频帧中的人脸进行检测,并将检测结果与预设人
脸库中的人脸进行对比,从而得到人物角色标识。
务进行并行调度处理。其中,在执行每个质检子任务的过程中,计算机设备确定与质检子任
务对应的目标质检片段所包含的视频帧,并通过多线程,基于GPU资源对视频帧进行批量处
理,直至得到与此质检子任务相对应的质检结果。容易理解地,在执行每个质检子任务的过
程中,计算机设备也可依次对目标质检片段所包含的视频帧进行处理,直至得到与此质检
子任务相对应的质检结果。本实施例在此不作限定。通过并行执行各目标质检子任务,可提
升视频质检的质检效率,通过对各视频帧进行批量处理,可以进一步提升视频质检的质检
效率。
计的资源大小,为各目标质检子任务分配相应大小的执行资源。
目标质检子任务运行时,目标质子检任务可向计算机设备再次申请额外执行资源。
以使各目标质检子任务基于执行资源并行处理;当空间资源不足以支撑各目标质检子任务
执行时,计算机设备可根据各目标质检子任务的优先级分配执行资源,以使优先级较高的
目标质检子任务可以基于优先分配的执行资源优先执行。
接收到用户终端上传的待质检的目标视频、以及对目标视频进行任务配置的任务配置信息
时,计算机设备可对目标视频进行拆分处理,得到音频文件以及视频文件。步骤S406:对音
频文件进行关键词监听。当对待质检视频进行音视频分离后,计算机设备可对音频文件进
行关键词监听。步骤S408:对视频文件进行划分。当对音频文件进行关键词监听后,计算机
设备可基于关键词监听结果对视频文件进行划分处理,得到每个目标质检子任务各自对应
的目标视频区间。步骤S410:确定目标质检任务。计算机设备可根据任务配置信息确定对应
的目标质检子任务。步骤S412:判断目标质检子任务是否为空。计算机设备可判断是否存在
与目标视频对应的目标质检子任务,若不存在目标质检子任务,也即用户未选择目标配置
项时,计算机设备结束与目标视频相对应的质检任务。步骤S414:对目标视频区间进行帧率
调整。若存在目标质检子任务,计算机设备确定与目标质检子任务对应的目标视频区间,并
对目标视频区间进行帧率调整。步骤S416:对目标视频区间进行跳帧处理。计算机设备根据
各目标质检子任务分别对应的跳帧信息,对相应的目标视频区间进行跳帧处理,得到每个
目标质检子任务分别对应的目标质检片段。步骤S418:对目标质检片段中的视频帧进行批
量处理。计算机设备对目标质检片段中的视频帧进行CV计算,直至得到质检结果。图4示出
了一个实施例中视频质检方法的流程示意图。
续可仅执行待执行的质检子任务,而无需执行全部的质检子任务,如此,大大提升了视频质
检的质检效率。当确定与目标视频对应的质检子任务时,可从目标视频中确定与各质检子
任务分别匹配的目标视频区间,并根据跳帧信息对相应的目标视频区间进行跳帧处理,得
到每个质检子任务分别对应的目标质检片段,从而后续可仅对目标质检片段中的视频帧进
行质检处理,而无需对整个目标视频中的视频帧均进行质检处理,如此,进一步提升了视频
质检的质检效率。当获取得到每个质检子任务对应的目标质检片段时,可并行调度各质检
子任务并执行,以及将质检子任务所对应的目标质检片段中的多个视频帧共同作为执行对
象,从而更进一步地提升了视频质检的质检效率。由于可自动对目标视频进行质检,相比于
传统的采取人工审核的方式对视频进行质检,本申请可大大提升视频质检的质检效率。
对初始识别结果进行语义分析,得到音频文件的结构化识别结果;对结构化识别结果进行
关键词监听,得到目标关键词在音频文件中的出现时刻。
将音频文件转换为原始文字,得到初始识别结果。进一步地,计算机设备可通过神经语言程
序学NLP (Natural Language Processing,自然语言处理)对初始识别结果进行语义理解,
将原始文件转换为完整的结构化识别结果,并对结构化识别结果进行关键词监听,确定目
标关键词在音频文件中的出现时刻。其中,结构化识别结果指的是包含有对话双方话语的
对话文本。
意”,当确定结构化识别结果中出现“不同意”时,计算机设备反馈质检不通过的质检结果。
机设备对语音进行音色识别,得到与销售人员相对应的音色信息。当确定结构化识别结果
中出现异常词时,计算机设备确定此异常词在音频文件中的出现时刻,并根据出现时刻调
取与此异常词相对应的音频片段。进一步地,计算机设备分析此音频片段的音色信息,并与
销售人员的音色信息进行比对,以判断此异常词为销售人员述说的词汇,还是被保人员述
说的词汇。当确定异常词为被保人员述说的词汇时,可判定此异常词表达了被保人员的否
认意愿,此时计算机设备反馈质检不通过的质检结果。当确定异常词是销售人员所述的词
汇时,可判定此异常词未表达被保人员的否认意愿,此时计算机设备忽略此异常词。
别结果进行关键词监听的监听结果更为准确。
包括:确定与各质检子任务分别对应的跳帧因子;根据各质检子任务分别对应的跳帧因子,
从各个质检子任务各自对应的目标视频区间中筛选出目标视频帧;对于每个质检子任务,
均组合相对应的目标视频帧,得到与相应质检子任务对应的目标质检片段。
目标视频的目标质检子任务时,计算机设备可根据质检子任务与跳帧因子之间的对应关
系,确定与目标质检子任务相对应的跳帧因子。进一步地,计算机设备可根据各质检子任务
分别对应的跳帧因子,从各个质检子任务各自对应的目标视频区间中筛选出目标视频帧,
并组合从与当前质检子任务相对应的当前目标视频区间中筛选出的目标视频帧,得到与当
前质检子任务对应的目标质检片段。
目标视频区间中筛选出一半的目标视频帧,还可每隔一帧,从目标视频区间中筛选出目标
视频帧,亦可将目标视频区间中前一半的视频帧作为目标视频帧。本实施例在此不作限定。
法还包括:确定目标视频区间的原始帧率;将目标视频区间的原始帧率调整为目标帧率;根
据各质检子任务分别对应的跳帧因子,从各个质检子任务各自对应的目标视频区间中筛选
出目标视频帧,包括:对于每个质检子任务,均根据相应质检子任务分别对应的跳帧因子,
从相应质检子任务所对应的、且实现帧率调整后的目标视频区间中筛选出目标视频帧。
区间的部分视频帧,将目标视频区间的原始帧率调整为目标帧率,比如,将每秒60帧调整为
每秒30帧。当原始帧率小于目标帧率时,计算机设备复制目标视频区间中的部分视频帧,并
将复制的视频帧插入目标视频区间中,以将目标视频区间的原始帧率调整为目标帧率,比
如,将每秒15帧调整为每秒30帧。其中,目标帧率可以根据需求自由设定。进一步地,对于每
个质检子任务,计算机设备均根据相应质检子任务分别对应的跳帧因子,从相应质检子任
务所对应的、且实现帧率调整后的目标视频区间中筛选出目标视频帧。
标视频时,计算机设备可对目标视频进行拆分处理,得到音频文件和视频文件,并对音频文
件进行语音识别以及语义分析,得到各质检子任务各自对应的视频划分时间范围。与此同
时,计算机设备对视频文件进行取流解码,得到视频文件的原始帧率,并将视频文件从原始
帧率调整为目标帧率,得到帧率调整后的视频文件。进一步的,计算机设备按照各质检子任
务各自对应的视频划分时间范围,对帧率调整后的视频文件进行分段处理,得到各质检子
任务各自对应的目标视频区间。图5示出了一个实施例中视频清洗的流程示意图。
得到各目标视频区间,再对各目标视频进行帧率调整。本实施例在此不作限定。
3.6万视频帧的目标视频时,计算机设备可按照上述方式对目标视频进行划分,得到各质检
子任务各自对应的目标视频区间,并将各目标视频区间从原始帧率调整为目标帧率,得到
包含有1.2万视频帧的目标视频、包含有420视频帧的与身份证阶段相关的目标视频区间、
以及包含有6720视频帧的与单证阶段相关的目标视频区间。进一步地,计算机设备可获取
各目标质检子任务各自对应的跳帧因子,基于跳帧因子对相应的帧率调整后的目标视频区
间进行视频帧清洗处理,得到目标质检片段。例如,计算机设备可对目标视频中出现的人脸
以及人体进行全程检测,因此,在全程检测阶段,计算机设备可根据与人脸识别子任务或人
体检测子任务相对应的跳帧因子0.8,从帧率调整后的目标视频中筛选出0.8倍(9600帧)的
目标视频帧。又比如,计算机设备可根据与身份证识别子任务相对应的跳帧因子0.5,从帧
率调整后的对应目标视频区间中筛选出0.5倍(210帧)的目标视频帧,以及可根据与身份证
展示子任务相对应的跳帧因子1.0,将对应目标视频区间作为目标质检片段。图6示出了一
个实施例中视频帧清洗的流程示意图。
度质检子任务并执行。
任务,以使各目标质检子任务可基于相互独立的执行资源并行运行。其中,执行资源包括
CPU资源、GPU资源、内存资源、硬盘资源和网络资源中的至少一项。
个请求线程,并行生成相应目标质检片段中的待质检视频帧的质检请求;通过请求线程,将
生成的质检请求写入缓存队列;当缓存队列符合执行条件时,批量响应缓存队列中的质检
请求。
片段中的待质检视频帧,生成对提取的待质检视频帧进行质检的质检请求,将质检请求写
入预先创建的缓存队列。例如,当请求线程为a1、a2以及a3,待质检视频帧为A1、A2、A3以及
A4时,计算机设备可通过a1创建对A1进行质检的质检请求B1,通过a2创建对A2进行质检的
质检请求B2,以及通过a3创建对A3进行质检的质检请求B3,并将B1、B2以及B3写入缓存队
列。
检请求从缓存队列中对应删除。
批量响应缓存队列中的质检请求。
求时,判定缓存队列符合执行条件,此时,批处理线程批量响应缓存队列中的质检请求。
每个目标质检子任务的执行,计算机设备均对目标质检子任务所对应的目标质检片段中的
多个视频帧进行批量处理,基于CV集群中的GPU资源对批量处理的多个视频帧进行质检处
理,也即基于GPU资源对各视频帧进行图像识别。图7为一个实施例中多个质检子任务并行
调度执行的流程示意图。
的质检任务进行并行调度执行,且在执行每个质检任务时均执行从获取待进行质检的目标
视频、以及与目标视频对应的任务配置信息的步骤,至并行调度各质检子任务并执行,直至
得到与目标视频对应的质检结果的步骤。
相对应的质检任务,并将质检任务添加至预先生成的任务队列中。进一步地,计算机设备可
对任务队列中的多于一个质检任务进行并行调度执行,并按照上述步骤执行每个质检任务
中的质检子任务。
于预设资源大小时,增加任务队列的队列长度,从而当任务队列满时,后续待添加至任务队
列中的质检任务处于等待响应状态;当任务队列未满时,对任务队列中的各质检任务进行
并行调度执行。
所包括的各质检子任务进行调度执行;监控当前质检任务中每个质检子任务各自对应的执
行资源的使用情况;当存在未被使用的执行资源时,基于未被使用的执行资源执行任务队
列中在当前质检任务的下一顺序的质检任务。
监控当前质检任务中每个质检子任务各自对应的执行资源的使用情况,当存在未被使用的
执行资源时,计算机设备基于未被使用的执行资源执行任务队列中在当前质检任务的下一
顺序的质检任务,如此,便能实现对多个质检任务进行并行调度执行。
视频1中的身份证展示动作进行识别的动作识别子任务“动作1”的执行请求、以及在t5时刻
接收到对目标视频1中的人脸进行识别的人脸检测子任务“人脸1”的执行请求时,计算机设
备可监控“OCR1”、“动作1”以及“人脸1”各自对应的执行资源的使用情况,并在确定t4时刻
的“动作1”未使用所分配执行资源时,将此执行资源分配至同为t4时刻接收到的“OCR2”,如
此便可基于执行资源对目标视频2中的身份证进行识别。容易理解地,当确定“OCR2”依旧未
使用分配的执行资源时,计算机设备还可将此执行资源再次分配至t4时刻接收到的“动作
3”,如此,便可根据接收到各质检任务的时间差以及各质检子任务的执行请求之间的时间
差,对多个质检任务按流水线调度,从而实现多任务并行调度处理,进而提升质检效率。图8
为一个实施例中,多个质检任务并行调度执行的流程示意图。
测子任务、动作识别子任务以及人体检测子任务中的至少一种。
应的质检任务可包括签字识别子任务、单证识别子任务、身份证识别子任务、人脸检测子任
务、动作识别子任务以及人体检测子任务中的至少一个质检子任务。其中,动作识别子任务
可包括身份证展示子任务、身份证签字动作子任务、单证展示子任务以及单证签字子任务。
其中,签字识别子任务、单证识别子任务以及身份证识别子任务又可归纳为OCR识别任务。
字结果是否符合预设签字要求;当质检子任务为单证识别子任务时,计算机设备可通过OCR
单证识别算法对单证展示过程进行识别,得到单证类型;当质检子任务为身份证识别子任
务时,计算机设备可通过OCR身份证识别算法对身份证展示过程进行识别,得到身份证号
码,并判断身份证号码是否符合预设证件要求;当质检子任务为人脸检测子任务时,计算机
设备可通过人脸检测算法对视频图像帧中的人脸进行识别,得到人脸运动轨迹;当质检子
任务为动作识别子任务时,计算机设备可对目标视频中的身份证展示动作、单证展示动作、
身份证签字动作或者单证签字动作进行识别,并判断目标视频中的动作是否符合预设的动
作标准;当质检子任务为人体检测子任务时,计算机设备可对目标视频中的人体进行识别。
标视频中的人脸,可基于人体检测算法识别目标视频中的人体,以及可基于动作识别算法
对目标视频中的签字动作进行识别。当基于人脸识别结果、人体识别结果以及动作识别结
果,确定在签字的过程中出现人脸以及人体时,计算机设备可将签字的过程中的人脸以及
人体进行绑定处理,判断同一视频帧中的进行签字的人脸和人体是属于同一人物,从而减
少在保险销售的过程中误签字、代签字出现的概率,以提升保险销售的规范性。
辅助用户对目标视频进行人工审核,且质检结果包括执行签字识别子任务得到的签字内
容、执行单证识别子任务得到的单证类型、执行身份证识别子任务得到的身份证内容、执行
人脸检测子任务得到的人物角色标识、执行动作识别子任务得到的动作内容及执行人体检
测子任务得到的人体检测结果中的至少一项。
任务时,计算机设备可将执行人脸检测子任务得到的人物角色标识返回至用户终端,从而
用户终端可通过人脸框将框选相应视频帧中的人脸,以及展示被框选的人物的人物标识,
从而用户可对目标视频中出现的人物进行区分,比如可对销售人员、被保人员以业务经理
进行区分。又比如,当目标质检任务为身份证展示子任务时,计算机设备可将展示身份证的
时间段以及身份证展示的动作识别结果返回至用户终端,以使用户可基于时间段准确定位
至待人工审核的目标视频区间,并基于动作识别结果对目标视频区间中的展示动作进行人
工复核。再者,当目标质检任务为单证识别子任务时,计算机设备可将识别得到的单证类型
返回至用户终端,从而用户可通过返回的质检结果确定目标视频中单证类型是否为预设目
标类型。
合预设规则,以及快速定位至关键行为出现的时段,进而快速确定整个目标视频是否合法
合规。
前端)902、处理层(也可称作web后台)904、接入层集群906、微服务908、管理中心910以及
kubernetes集群912。其中,kubernetes集群912用于管理云平台中多个主机上的容器化的
应用,也即用于对应用层902、处理层904、接入层集群906、微服务908、管理中心910进行管
理。应用层902用以接收用户上传的目标视频、以及用于对目标视频进行任务配置。处理层
904用以根据任务配置信息确定与目标视频对应的目标质检子任务、对目标视频进行拆分
处理、以及对目标视频进行视频清洗处理和视频帧清洗处理。接入层集群906用以接入各清
洗后的目标质检片段,并确定各目标质检片段各自对应的目标质检子任务,从而微服务
908、可通过均衡负载执行各目标质检子任务。管理中心910可对整个系统进行监控管理,并
对整个系统进行持续集成以及发布新系统。
测子任务、动作识别子任务及人体检测子任务中的至少一个种。
对初始识别结果进行语义分析,得到音频文件的结构化识别结果;对结构化识别结果进行
关键词监听,得到目标关键词在音频文件中出现时刻。
标帧率。
目标视频区间中筛选出目标视频帧;对于每个质检子任务,均组合相对应的目标视频帧,得
到与相应质检子任务对应的目标质检片段。
情况;当存在未被使用的执行资源时,基于未被使用的执行资源执行任务队列中在当前质
检任务的下一顺序的质检任务。
缓存队列符合执行条件时,批量响应缓存队列中的质检请求。
应的质检结果的步骤。
可仅执行待执行的质检子任务,而无需执行全部的质检子任务,如此,大大提升了视频质检
的质检效率。当确定与目标视频对应的质检子任务时,可从目标视频中确定与各质检子任
务分别匹配的目标视频区间,并根据跳帧信息对相应的目标视频区间进行跳帧处理,得到
每个质检子任务分别对应的目标质检片段,从而后续可仅对目标质检片段中的视频帧进行
质检处理,而无需对整个目标视频中的视频帧均进行质检处理,如此,进一步提升了视频质
检的质检效率。当获取得到每个质检子任务对应的目标质检片段时,可并行调度各质检子
任务并执行,以及将质检子任务所对应的目标质检片段中的多个视频帧共同作为执行对
象,从而更进一步地提升了视频质检的质检效率。由于可自动对目标视频进行质检,相比于
传统的采取人工审核的方式对视频进行质检,本申请可大大提升视频质检的质检效率。
骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、10中的至少
一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执
行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,
而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
视频的任务配置信息。计算机设备可采用上述方式,确定待执行的质检子任务、对目标视频
进行分段处理和跳帧处理、以及对质检任务和质检子任务进行并行调度处理,直至得到质
检结果后,将质检结果返回至用户终端,从而教师可基于人脸识别子任务的质检结果,确定
教室中的考生身份信息;基于签字识别子任务的质检结果,确定考试过程中的签字内容;基
于动作识别子任务的质检结果,确定考试过程中是否有考生随意张望、离开座位;基于人体
识别子任务的质检结果,确定考试过程中是否存在代考现象等。
至计算机设备,并对目标视频进行任务配置。计算机可采用上述方式得到质检结果,并将质
检结果返回至用户终端,以使管理人员可基于人脸识别子任务的质检结果,区分业务办理
视频中的银行业务员以及客户;基于签字识别子任务的质检结果中的,确定银行业务的过
程中的签字内容;基于展示动作识别子任务的质检结果中的,确定银行业务的过程中的展
示动作,并判断展示动作是否符合预设要求;基于身份证识别子任务的质检结果,确定所展
示的身份证号码,并判断此身份证号码是否符合预设要求等。
确定模块1102、质检片段确定模块1104和执行模块1106,其中:
理,得到每个质检子任务分别对应的目标质检片段。
的多个视频帧共同作为执行对象。
面中的多个候选任务配置项进行选中操作所得到;将接收到的目标任务配置项,作为与目
标视频相对应的任务配置信息。
关键词;对目标视频中的音频文件进行关键词监听,以确定目标关键词在音频文件中的出
现时刻;基于出现时刻对目标视频进行分段处理,得到与每个质检子任务分别相匹配的目
标视频区间。
结构化识别结果进行关键词监听,得到目标关键词在音频文件中的出现时刻。
务各自对应的目标视频区间中筛选出目标视频帧;对于每个质检子任务,均组合相对应的
目标视频帧,得到与相应质检子任务对应的目标质检片段。
应的跳帧因子,从相应质检子任务所对应的、且实现帧率调整后的目标视频区间中筛选出
目标视频帧。
求;通过请求线程,将生成的质检请求写入缓存队列;当缓存队列符合执行条件时,批量响
应缓存队列中的质检请求。
的质检任务进行并行调度执行,且在执行每个质检任务时均执行从获取待进行质检的目标
视频、以及与目标视频对应的任务配置信息的步骤,至并行调度各质检子任务并执行,直至
得到与目标视频对应的质检结果的步骤。
务各自对应的执行资源的使用情况;当存在未被使用的执行资源时,基于未被使用的执行
资源执行任务队列中在当前质检任务的下一顺序的质检任务。
证识别子任务、身份证识别子任务、人脸检测子任务、动作识别子任务以及人体检测子任务
中的至少一种。
示的质检结果用于辅助用户对目标视频进行人工审核,且质检结果包括执行签字识别子任
务得到的签字内容、执行单证识别子任务得到的单证类型、执行身份证识别子任务得到的
身份证内容、执行人脸检测子任务得到的人物角色标识、执行动作识别子任务得到的动作
内容及执行人体检测子任务得到的人体检测结果中的至少一项。
述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储
于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易
失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该
内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备
的数据库用于存储视频质检数据。该计算机设备的网络接口用于与外部的终端通过网络连
接通信。该计算机程序被处理器执行时以实现一种视频质检方法。
备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计
算机设备执行上述各方法实施例中的步骤。
可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,
本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可
包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read‑
Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器
(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种
形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存
储器(Dynamic Random Access Memory,DRAM)等。
盾,都应当认为是本说明书记载的范围。
说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护
范围。因此,本申请专利的保护范围应以所附权利要求为准。