视频数据处理方法、装置、计算机设备及可读存储介质转让专利

申请号 : CN202110078355.2

文献号 : CN113573044B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 刘强李松南

申请人 : 腾讯科技(深圳)有限公司

摘要 :

本申请实施例公开了一种视频数据处理方法、装置、计算机设备及可读存储介质,涉及人工智能中视频处理技术,其中,方法包括:获取视频帧图像及待测视频属性,基于待测视频属性对视频帧图像进行属性检测,得到属性检测结果;若属性检测结果为视频帧图像与待测视频属性相匹配,则将第一质量评估值确定为视频帧图像的目标质量评估值;若属性检测结果为视频帧图像与待测视频属性不匹配,则对视频帧图像中的评估对象进行检测,得到视频帧图像的第二质量评估值,识别视频帧图像所属图像场景,基于图像场景对第二质量评估值进行调整,得到视频帧图像的目标质量评估值。采用本申请实施例,可以提高对视频数据进行质量评估的准确性。

权利要求 :

1.一种视频数据处理方法,其特征在于,包括:

获取视频帧图像及待测视频属性,基于所述待测视频属性对所述视频帧图像进行属性检测,得到属性检测结果;所述待测视频属性用于指示影响所述视频帧图像的质量的属性;

若所述属性检测结果为所述视频帧图像与所述待测视频属性相匹配的结果,则将第一质量评估值确定为所述视频帧图像的目标质量评估值;

若所述属性检测结果为所述视频帧图像与所述待测视频属性不匹配的结果,则对所述视频帧图像中的评估对象进行检测,得到所述视频帧图像中的评估对象的第二质量评估值;所述评估对象的数量为至少两个;

识别所述视频帧图像所属的图像场景,获取所述视频帧图像所属的图像场景对应的权重信息;所述权重信息包括至少两个评估对象分别对应的权重参数;

基于所述至少两个评估对象分别对应的权重参数,对所述至少两个评估对象分别对应的第二质量评估值进行加权求和,得到所述视频帧图像的目标质量评估值。

2.根据权利要求1所述的方法,其特征在于,所述基于所述待测视频属性对所述视频帧图像进行属性检测,得到属性检测结果,包括:基于所述待测视频属性获取组成所述视频帧图像的像素点的像素值所对应的像素均值及像素方差,基于所述像素均值及所述像素方差确定所述视频帧图像的统计数据;

若所述视频帧图像的统计数据小于统计异常阈值,则将所述视频帧图像与所述待测视频属性相匹配的结果确定为所述视频帧图像的属性检测结果。

3.根据权利要求1所述的方法,其特征在于,所述基于所述待测视频属性对所述视频帧图像进行属性检测,得到属性检测结果,包括:基于所述待测视频属性对所述视频帧图像进行图标检测,若检测到所述视频帧图像中存在视频图标,则获取标记图标,对所述视频图标的特征及所述标记图标的特征进行特征匹配;

若所述视频图标的特征与所述标记图标的特征不匹配,则将所述视频帧图像与所述待测视频属性相匹配的结果确定为所述视频帧图像的属性检测结果。

4.根据权利要求1所述的方法,其特征在于,所述基于所述待测视频属性对所述视频帧图像进行属性检测,得到属性检测结果,包括:基于所述待测视频属性获取参考坐标系,识别所述视频帧图像中的关键特征点;

基于所述关键特征点在所述参考坐标系的特征位置,确定所述关键特征点的相对位置信息;

若所述相对位置信息不属于标准相对位置范围,则将所述视频帧图像与所述待测视频属性相匹配的结果确定为所述视频帧图像的属性检测结果。

5.根据权利要求1‑4中任一项所述的方法,其特征在于,至少两个评估对象包括颜值对象、美学对象及视频质量对象中的至少两个;所述颜值对象用于指示所述视频帧图像中的颜值特征,用于表示五官信息及角度;所述美学对象用于表示所述视频帧图像的图像组成结构、色值组合以及视频内容;所述视频质量对象用于表示所述视频帧图像的色阶分布以及噪声;

所述对所述视频帧图像中的评估对象进行检测,得到所述视频帧图像中的评估对象的第二质量评估值,包括:基于颜值检测模型对所述视频帧图像中的颜值对象进行检测,确定所述视频帧图像中的颜值对象的第二质量评估值;

基于美学检测模型对所述视频帧图像中的美学对象进行检测,确定所述视频帧图像的图像组成结构,识别所述视频帧图像的色值组合信息,根据所述图像组成结构及所述色值组合信息确定所述视频帧图像中的美学对象的第二质量评估值;

基于质量检测模型对所述视频帧图像中的视频质量对象进行检测,确定所述视频帧图像的色阶分布信息,识别所述视频帧图像中的噪声信息,根据所述色阶分布信息及所述噪声信息确定所述视频帧图像中的视频质量对象的第二质量评估值。

6.根据权利要求1所述的方法,其特征在于,所述对所述视频帧图像中的评估对象进行检测,得到所述视频帧图像中的评估对象的第二质量评估值,包括:检测所述视频帧图像的图像组成结构;

若所述视频帧图像的图像组成结构为帧合成结构,则对所述视频帧图像进行帧拆分处理,得到至少两个分离图像数据;

对所述至少两个分离图像数据中每个分离图像数据中的评估对象进行检测,得到所述每个分离图像数据中的评估对象的第二质量评估值;

将所述每个分离图像数据中的评估对象的第二质量评估值组成所述视频帧图像中的评估对象的第二质量评估值;

所述方法还包括:

若所述视频帧图像的数量为至少两个,则基于每个视频帧图像的目标质量评估值,确定至少两个视频帧图像所属的视频数据的目标质量评估值。

7.一种视频数据处理装置,其特征在于,包括:

类别检测模块,用于获取视频帧图像及待测视频属性,基于所述待测视频属性对所述视频帧图像进行属性检测,得到属性检测结果;所述待测视频属性用于指示影响所述视频帧图像的质量的属性;

类别匹配模块,用于若所述属性检测结果为所述视频帧图像与所述待测视频属性相匹配的结果,则将第一质量评估值确定为所述视频帧图像的目标质量评估值;

对象检测模块,用于若所述属性检测结果为所述视频帧图像与所述待测视频属性不匹配的结果,则对所述视频帧图像中的评估对象进行检测,得到所述视频帧图像中的评估对象的第二质量评估值;所述评估对象的数量为至少两个;

所述对象检测模块,还用于识别所述视频帧图像所属的图像场景,获取所述视频帧图像所属的图像场景对应的权重信息;所述权重信息包括至少两个评估对象分别对应的权重参数;

所述对象检测模块,还用于基于所述至少两个评估对象分别对应的权重参数,对所述至少两个评估对象分别对应的第二质量评估值进行加权求和,得到所述视频帧图像的目标质量评估值。

8.一种计算机设备,其特征在于,包括:处理器、存储器以及网络接口;

所述处理器与所述存储器、所述网络接口相连,其中,所述网络接口用于提供数据通信功能,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行权利要求

1‑6任一项所述的方法。

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,该计算机程序适于由处理器加载并执行权利要求1‑6任一项所述的方法。

说明书 :

视频数据处理方法、装置、计算机设备及可读存储介质

技术领域

[0001] 本申请涉及视频处理领域,尤其涉及一种视频数据处理方法、装置、计算机设备及可读存储介质。

背景技术

[0002] 随着计算机网络的迅速发展,计算机已经广泛应用于各个领域,例如教育、娱乐、医疗等各个领域。例如,在娱乐领域中,用户可以使用计算机设备录制视频,将录制得到的视频数据等上传至社交平台,以使更多用户查看到自己拍摄的人物、体型、风景等数据。此外,社交平台也可以根据用户上传的视频数据进行推广,以增加社交平台的用户使用率。
[0003] 现有技术中,由于用户录制的视频数据的质量参差不齐,会导致用户上传的视频数据质量较低,从而对于增加社交平台的用户使用率的效果较差。因此,如何准确对用户上传的视频数据进行质量评估,是亟待解决的问题。目前,一般会根据视频数据中的内容以及视频的清晰程度确定视频数据的质量,若视频数据中的内容不包含敏感信息,且视频数据中的内容较清晰,则确定视频数据的质量较高,然而,通过该种方式确定视频数据的质量,只能对视频数据的质量进行简单解析,使得对视频数据的质量确定的准确性较低。

发明内容

[0004] 本申请实施例提供一种视频数据处理方法、装置、计算机设备及可读存储介质,可以提高对视频数据进行质量评估的准确性。
[0005] 本申请实施例一方面提供一种视频数据处理方法,包括:
[0006] 获取视频帧图像及待测视频属性,基于该待测视频属性对该视频帧图像进行属性检测,得到属性检测结果;该待测视频属性用于指示影响该视频帧图像的质量的属性;
[0007] 若该属性检测结果为该视频帧图像与该待测视频属性相匹配的结果,则将第一质量评估值确定为该视频帧图像的目标质量评估值;
[0008] 若该属性检测结果为该视频帧图像与该待测视频属性不匹配的结果,则对该视频帧图像中的评估对象进行检测,得到该视频帧图像中的评估对象的第二质量评估值,识别该视频帧图像所属的图像场景,基于该图像场景对该第二质量评估值进行调整,得到该视频帧图像的目标质量评估值。
[0009] 本申请实施例一方面提供一种视频数据处理装置,包括:
[0010] 类别检测模块,用于获取视频帧图像及待测视频属性,基于该待测视频属性对该视频帧图像进行属性检测,得到属性检测结果;该待测视频属性用于指示影响该视频帧图像的质量的属性;
[0011] 类别匹配模块,用于若该属性检测结果为该视频帧图像与该待测视频属性相匹配的结果,则将第一质量评估值确定为该视频帧图像的目标质量评估值;
[0012] 对象检测模块,用于若该属性检测结果为该视频帧图像与该待测视频属性不匹配的结果,则对该视频帧图像中的评估对象进行检测,得到该视频帧图像中的评估对象的第二质量评估值,识别该视频帧图像所属的图像场景,基于该图像场景对该第二质量评估值进行调整,得到该视频帧图像的目标质量评估值。
[0013] 可选的,该类别检测模块,包括:
[0014] 数据获取单元,用于基于该待测视频属性获取组成该视频帧图像的像素点的像素值所对应的像素均值及像素方差,基于该像素均值及该像素方差确定该视频帧图像的统计数据;
[0015] 阈值匹配单元,用于若该视频帧图像的统计数据小于统计异常阈值,则将该视频帧图像与该待测视频属性相匹配的结果确定为该视频帧图像的属性检测结果。
[0016] 可选的,该类别检测模块,包括:
[0017] 图标检测单元,用于基于该待测视频属性对该视频帧图像进行图标检测,若检测到该视频帧图像中存在视频图标,则获取标记图标,对该视频图标的特征及该标记图标的特征进行特征匹配;
[0018] 图标匹配单元,用于若该视频图标的特征与该标记图标的特征不匹配,则将该视频帧图像与该待测视频属性相匹配的结果确定为该视频帧图像的属性检测结果。
[0019] 可选的,该类别检测模块,包括:
[0020] 特征识别单元,用于基于该待测视频属性获取参考坐标系,识别该视频帧图像中的关键特征点;
[0021] 位置确定单元,用于基于该关键特征点在该参考坐标系的特征位置,确定该关键特征点的相对位置信息;
[0022] 位置匹配单元,用于若该相对位置信息不属于标准相对位置范围,则将该视频帧图像与该待测视频属性相匹配的结果确定为该视频帧图像的属性检测结果。
[0023] 可选的,该视频帧图像中的评估对象的数量为至少两个,至少两个评估对象包括颜值对象、美学对象及视频质量对象;该对象检测模块,包括:
[0024] 颜值确定单元,用于基于颜值检测模型对该视频帧图像中的颜值对象进行检测,确定该视频帧图像中的颜值对象的第二质量评估值;
[0025] 美学确定单元,用于基于美学检测模型对该视频帧图像中的美学对象进行检测,确定该视频帧图像的图像组成结构,识别该视频帧图像的色值组合信息,根据该图像组成结构及该色值组合信息确定该视频帧图像中的美学对象的第二质量评估值;
[0026] 质量确定单元,用于基于质量检测模型对该视频帧图像中的视频质量对象进行检测,确定该视频帧图像的色阶分布信息,识别该视频帧图像中的噪声信息,根据该色阶分布信息及该噪声信息确定该视频帧图像中的视频质量对象的第二质量评估值。
[0027] 可选的,该评估对象的数量为至少两个;该对象检测模块,包括:
[0028] 权重获取单元,用于获取该视频帧图像所属的图像场景对应的权重信息;该权重信息包括至少两个评估对象分别对应的权重参数;
[0029] 权重计算单元,用于基于该至少两个评估对象分别对应的权重参数,对该至少两个评估对象分别对应的第二质量评估值进行加权求和,得到该视频帧图像的目标质量评估值。
[0030] 可选的,该对象检测模块,包括:
[0031] 结构确定单元,用于检测该视频帧图像的图像组成结构;
[0032] 图像拆分单元,用于若该视频帧图像的图像组成结构为帧合成结构,则对该视频帧图像进行帧拆分处理,得到至少两个分离图像数据;
[0033] 图像检测单元,用于对该至少两个分离图像数据中每个分离图像数据中的评估对象进行检测,得到该每个分离图像数据中的评估对象的第二质量评估值;
[0034] 数据组成单元,用于将该每个分离图像数据中的评估对象的第二质量评估值组成该视频帧图像中的评估对象的第二质量评估值。
[0035] 本申请一方面提供了一种计算机设备,包括:处理器、存储器、网络接口;
[0036] 上述处理器与存储器、网络接口相连,其中,网络接口用于提供数据通信功能,上述存储器用于存储计算机程序,上述处理器用于调用上述计算机程序,以执行本申请实施例中上述一方面中的方法。
[0037] 本申请实施例一方面提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序适于由处理器加载并执行上述第一方面中的方法。
[0038] 本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例一方面中的各种可选方式中提供的方法。
[0039] 本申请实施例中,通过对视频帧图像进行属性检测,可以确定该视频帧图像是否存在影响该视频帧图像的质量的属性,如纯屏、水印、以及旋转等属性,若检测出视频帧图像存在这几种属性,则确定该视频帧图像对应的目标质量评估值为第一质量评估值。若检测出视频帧图像不存在这几种属性,则对视频帧图像中的评估对象进行检测,得到视频帧图像中的评估对象的第二质量评估值,识别视频帧图像所属的图像场景,基于图像场景对第二质量评估值进行调整,得到视频帧图像的目标质量评估值。也就是说,本申请可以通过对视频帧图像进行初次检测,确定视频帧图像是否存在影响该视频帧图像的质量的属性,即低质视频帧图像属性。在不存在影响该视频帧图像的质量的属性的情况下,通过对该视频帧图像进行二次检测,并且结合视频帧图像所属的图像场景,确定视频帧图像的目标质量评估值。通过对视频帧图像的初次检测,可以快速确定视频帧图像是否存在低质视频帧图像属性,若存在则不再进行后续检测,可以减少后续计算量;若不存在低质视频帧图像属性,则通过结合视频帧图像所属的场景对视频帧图像进行二次检测,可以提高视频帧图像质量评估的准确性。此外,由于从多个维度(包括纯屏、水印、旋转、颜值、美学以及视频质量等多个维度对视频帧图像进行评估),可以提高视频数据的质量评估准确性。

附图说明

[0040] 为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0041] 图1是本申请实施例提供的一种视频数据处理系统的架构示意图;
[0042] 图2是本申请实施例提供的一种视频数据处理方法的应用场景示意图;
[0043] 图3是本申请实施例提供的一种视频数据处理方法的流程示意图;
[0044] 图4是本申请实施例提供的一种确定关键特征点的相对位置信息的场景示意图;
[0045] 图5是本申请实施例提供的另一种视频数据处理方法的流程示意图;
[0046] 图6是本申请实施例提供的一种对视频帧图像拆分的场景示意图;
[0047] 图7是本申请实施例提供的又一种视频数据处理方法的流程示意图;
[0048] 图8是本申请实施例提供的一种视频数据处理装置的组成结构示意图;
[0049] 图9是本申请实施例提供的一种计算机设备的组成结构示意图。

具体实施方式

[0050] 下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0051] 人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0052] 其中,计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。本申请涉及人工智能中的视频处理技术以及云计算,利用视频处理技术以及云计算可以对视频帧图像进行检测,确定视频帧图像的属性,以及对视频帧图像中的评估对象进行检测,得到视频帧图像中的评估对象的质量评估值,从而确定视频帧图像的质量评估值,进而提高对视频数据进行质量评估的准确性。
[0053] 请参见图1,图1是本申请实施例提供的一种视频数据处理系统的网络架构图,如图1所示,计算机设备101可以与用户终端进行数据交互,用户终端的数量可以为一个或者多个,例如,当用户终端的数量为多个时,用户终端可以包括图1中的用户终端102a、用户终端102b及用户终端102c等。其中,以用户终端102a为例,计算机设备101可以响应用户终端102a的数据上传请求,基于该数据上传请求获取视频帧图像及待测视频属性,基于待测视频属性对视频帧图像进行属性检测,得到属性检测结果,其中,待测视频属性用于指示影响视频帧图像的质量的属性。进一步地,计算机设备101可以判断该属性检测结果是否为视频帧图像与待测视频属性相匹配的结果,若该属性检测结果为视频帧图像与待测视频属性相匹配的结果,则将第一质量评估值确定为视频帧图像的目标质量评估值;若该属性检测结果不为视频帧图像与待测视频属性相匹配的结果,即属性检测结果为视频帧图像与待测视频属性不匹配的结果,则对视频帧图像中的评估对象进行检测,得到视频帧图像中的评估对象的第二质量评估值。计算机设备101通过识别视频帧图像所属的图像场景,基于图像场景对第二质量评估值进行调整,得到视频帧图像的目标质量评估值。
[0054] 通过对视频帧图像进行初次检测,确定视频帧图像是否存在影响该视频帧图像的质量的属性,即存在低质视频帧图像属性。在不存在该属性的情况下,对该视频帧图像进行二次检测,并结合视频帧图像所属的图像场景,确定视频帧图像的目标质量评估值。通过对视频帧图像的初次检测,可以快速确定视频帧图像是否存在低质视频帧图像属性,若存在则不再进行后续检测,可以减少后续计算量;若视频帧图像中不存在影响该视频帧图像的质量的属性,则通过结合视频帧图像所属的场景对视频帧图像进行二次检测,可以提高视频帧图像质量评估的准确性。
[0055] 可以理解的是,本申请实施例中所提及的计算机设备包括但不限于终端设备或服务器。换句话说,计算机设备或用户设备可以是服务器或终端设备,也可以是服务器和终端设备组成的系统。其中,以上所提及的终端设备可以是一种电子设备,包括但不限于手机、平板电脑、台式电脑、笔记本电脑、掌上电脑、增强现实/虚拟现实(Augmented Reality/Virtual Reality,AR/VR)设备、头盔显示器、可穿戴设备、智能音箱、数码相机、摄像头及其他具备网络接入能力的移动互联网设备(mobile internet device,MID)等,其中,客户端具备显示功能。其中,以上所提及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
[0056] 可选的,本申请实施例中所涉及的数据如视频帧图像及质量评估值可以存储在服务器中,也可以存储在计算机设备的内存中,或者可以基于云存储技术对该数据进行存储,在此不做限制。
[0057] 进一步地,请参见图2,图2是本申请实施例提供的一种视频数据处理方法的应用场景示意图。如图2所示,用户终端20发送数据上传请求至计算机设备22,数据上传请求中携带视频数据,计算机设备22可以获取视频数据中的视频帧图像21及指示影响视频帧图像的质量的待测视频属性,基于待测视频属性对视频帧图像21进行属性检测,得到属性检测结果;若属性检测结果为视频帧图像21与待测视频属性相匹配的结果,则将第一质量评估值确定为视频帧图像的目标质量评估值。可选的,计算机设备22还可以输出视频帧图像与待测视频属性中相匹配的属性。例如,视频帧图像21与待测属性中的水印属性相匹配,则输出标记后的视频帧图像23中包括水印。若属性检测结果为视频帧图像21与待测视频属性不匹配的结果,则计算机设备22对视频帧图像21中的评估对象进行检测,得到视频帧图像21中的评估对象的第二质量评估值,识别视频帧图像21所属的图像场景,基于图像场景对第二质量评估值进行调整,得到视频帧图像21的目标质量评估值,从而实现对视频帧图像21的质量评估。
[0058] 进一步地,请参见图3,图3是本申请实施例提供的一种视频数据处理方法的流程示意图;如图3所示,该方法包括:
[0059] S101,获取视频帧图像及待测视频属性,基于待测视频属性对视频帧图像进行属性检测,得到属性检测结果。
[0060] 本申请实施例中,计算机设备可以从本地数据库中获取视频数据;或者,也可以从其他存储介质中获取视频数据;或者,计算机设备还可以从用户终端中获取视频数据,计算机设备通过对获取到的视频数据进行抽帧处理,可以得到至少两个视频帧图像。以计算机设备从用户终端中获取视频数据为例,当用户通过用户终端发送数据上传请求时,计算机设备基于该数据上传请求获取视频数据,若视频数据为单帧图像,则将该视频数据确定为视频帧图像。若视频数据是由多帧图像组成的数据,则计算机设备可以对视频数据进行拆分,得到组成该视频数据的至少两个视频帧,其中,计算机设备可以将至少两个视频帧确定为本申请实施例中所要处理的至少两个视频帧图像,也可以对至少两个视频帧进行抽帧处理,得到本申请实施例中所要处理的至少两个视频帧图像。其中,在本申请实施例中,以一个视频帧图像为例进行说明,计算机设备获取视频帧图像及待测视频属性,基于待测视频属性对视频帧图像进行属性检测,得到属性检测结果。若视频数据是由多帧图像组成的数据,则针对该视频数据中的每帧图像,均会进行步骤S101~步骤S103的处理。待测视频属性用于指示影响视频帧图像的质量的属性。例如,待测视频属性可以包括纯屏属性、水印属性或旋转属性等。
[0061] 可选的,该待测视频属性包括纯屏属性,计算机设备可以对视频帧图像的像素点的像素值进行检测,得到视频帧图像的属性检测结果,该属性检测结果可以指示视频帧图像的属性是否存在纯屏属性。具体的,计算机设备可以基于待测视频属性获取组成视频帧图像的像素点的像素值所对应的像素均值及像素方差,基于该像素均值及该像素方差确定该视频帧图像的统计数据;若视频帧图像的统计数据小于统计异常阈值,则将视频帧图像与待测视频属性相匹配的结果确定为视频帧图像的属性检测结果。其中,若视频帧图像的统计数据小于统计异常阈值,计算机设备可以确定视频帧图像为纯屏属性,即当视频帧图像的统计数据小于统计异常阈值时,可认为视频帧图像的像素点的像素点差异较小,则可认为该视频帧图像为纯屏图像。其中,该统计异常阈值可以为默认异常阈值,如5、10、或者15等数值,也可以是根据对视频帧图像的质量确定过程进行调整的一个变量,本申请实施例中不做限定。
[0062] 具体实现中,若统计异常阈值包括方差异常阈值,则计算机设备可以首先获取视频帧图像中的各个像素点的像素值,根据该视频帧图像中的各个像素点的像素值确定视频帧图像所对应的像素均值。进而基于该像素均值和视频帧图像中的各个像素点的像素值计算视频帧图像所对应的像素方差,确定视频帧图像的属性。若计算机设备检测到该像素方差小于方差异常阈值,表示该视频帧图像存在纯屏属性,则将视频帧图像与待测视频属性相匹配的结果确定为视频帧图像的属性检测结果。若计算机设备检测到该像素方差大于或者等于方差异常阈值,表示该视频帧图像不存在纯屏属性。
[0063] 进一步,该统计异常阈值还可以包括均值异常阈值,则计算机设备可以首先获取视频帧图像中的各个像素点的像素值,根据该视频帧图像中的各个像素点的像素值确定视频帧图像所对应的像素均值,进而基于该像素均值和视频帧图像中的各个像素点的像素值计算视频帧图像所对应的像素方差。若计算机设备检测到该像素方差小于方差异常阈值,表示该视频帧图像存在纯屏属性,将视频帧图像与待测视频属性相匹配的结果确定为视频帧图像的属性检测结果。进一步地,计算机设备可以获取像素均值所属色相范围,色相范围可以包括白色范围、黑色范围以及绿色范围等,基于该像素均值所属色相范围确定纯屏属性类别,纯屏属性类别可以包括纯黑屏属性类别、纯白屏属性类别或者纯绿屏属性类别等。
[0064] 可选的,该待测视频属性包括水印属性,计算机设备可以对视频帧图像进行图标检测,得到视频帧图像的属性检测结果,该属性检测结果可以指示视频帧图像的属性是否存在水印属性。具体的,计算机设备可以基于待测视频属性对视频帧图像进行图标检测,若检测到视频帧图像中存在视频图标,则获取标记图标,对视频图标的特征及标记图标的特征进行特征匹配;若视频图标的特征与标记图标的特征不匹配,则将视频帧图像与待测视频属性相匹配的结果确定为视频帧图像的属性检测结果。
[0065] 其中,标记图标的数量可以包括一个或者多个,标记图标可以是指与视频帧图像所在的社交平台具有合作关系的企业图标,例如标记图标可以包括合作企业的台标(即用于指示播放该电视节目的电视台的标志)或合作企业的企业标识(logo)等。若计算机设备检测到视频帧图像中的视频图标的特征与标记图标的特征不匹配,则确定该视频帧图像存在水印属性,将视频帧图像与待测视频属性相匹配的结果确定为视频帧图像的属性检测结果。若计算机设备检测到视频帧图像中的视频图标的特征与标记图标的特征相匹配,则确定该视频帧图像不存在水印属性。也就是说,若视频帧图像中的视频图标属于与该社交平台具有合作关系的企业图标,则计算机设备认为该视频帧图像不存在水印属性;若视频帧图像中的视频图标不属于与该社交平台具有合作关系的企业图标,则计算机设备认为该视频帧图像存在水印属性。
[0066] 具体实现中,计算机设备可以使用卷积神经网络(Convolutional Neural Networks,CNN)、超分辨率测试序列(Visual Geometry Group,VGG)或残差网络(ResNet)等深度学习网络对视频帧图像进行检测,确定视频帧图像中是否存在视频图标。可选的,计算机设备还可以对视频帧图像进行文本识别,得到视频帧图像中的文本特征,若计算机设备检测到视频帧图像中的文本特征与标记图标中的文本特征匹配,且视频帧图像中的文本特征对应的图标与标记图标匹配,则确定该视频帧图像属于水印属性,并将视频帧图像与待测视频属性相匹配的结果确定为视频帧图像的属性检测结果。若计算机设备检测到视频帧图像中的文本特征与标记图标中的文本特征不匹配,以及视频帧图像中的文本特征对应的图标与标记图标不匹配,则确定该视频帧图像存在水印属性。
[0067] 可选的,该待测视频属性包括旋转属性,计算机设备可以对视频帧图像中的关键特征点进行检测,得到视频帧图像的属性检测结果,该属性检测结果可以指示视频帧图像是否存在旋转属性。具体的,计算机设备可以基于待测视频属性获取参考坐标系,识别视频帧图像中的关键特征点;基于关键特征点在参考坐标系的特征位置,确定关键特征点的相对位置信息;若相对位置信息不属于标准相对位置范围,则将视频帧图像与待测视频属性相匹配的结果确定为视频帧图像的属性检测结果。
[0068] 其中,参考坐标系可以是预先设定的坐标系,例如可以为以视频帧图像的左上角位置、左下角位置、右上角位置、右下角位置或者中点位置中的任意一个位置为坐标原点建立的坐标系。可以理解的是,当该参考坐标系建立后,描述视频帧图像的位置信息时,均以该参考坐标系为准,以统一视频帧图像的坐标系。视频帧图像中的关键特征点可以是指用于描述视频帧图像中包含的对象的特征点。例如,若视频帧图像包含的对象为人物,则关键特征点可以是指人物的五官特征点或四肢特征点等。若视频帧图像包含的对象为风景,则关键特征点可以是指用于描述风景的特征点,例如风景为树时,关键特征点可以是指树根、树梢或茎等;或者风景为山峰时,关键特征点可以是指山底、山腰或山顶等。计算机设备通过识别视频帧图像中的关键特征点,可以基于关键特征点在参考坐标系的特征位置,确定关键特征点的相对位置信息。若计算机设备检测到相对位置信息不属于标准相对位置范围,则确定该视频帧图像存在旋转属性,将视频帧图像与待测视频属性相匹配的结果确定为视频帧图像的属性检测结果。若计算机设备检测到相对位置信息属于标准相对位置范围,则确定该视频帧图像不存在旋转属性。标准相对位置范围可以根据历史视频帧图像对应的关键特征点的相对位置信息确定得到。
[0069] 如图4所示,图4是本申请实施例提供的一种确定关键特征点的相对位置信息的场景示意图,其中,视频帧图像40包含的对象为人物,计算机设备通过识别视频帧图像40确定人物的关键特征图像41,关键特征图像41中包含关键特征点1~关键特征点5(分别对应眉、眼、耳、鼻、口),基于关键特征点在参考坐标系的特征位置,确定关键特征点的相对位置信息为42,即关键特征点的相对位置信息分别为:关键特征点1位于关键特征点2的上方、关键特征点2位于关键特征点3的左侧或者右侧、关键特征点2位于关键特征点4的斜上方,以及关键特征点4位于关键特征点5的上方,则确定相对位置信息属于标准相对位置范围。若确定出关键特征点的相对位置信息为43,即关键特征点的相对位置信息分别为:关键特征点1位于关键特征点2的下方、关键特征点2位于关键特征点3的左侧或者右侧、关键特征点2位于关键特征点4的斜下方,以及关键特征点4位于关键特征点5的下方,则确定相对位置信息不属于标准相对位置范围,则认为该视频帧图像存在旋转属性,将视频帧图像与待测视频属性相匹配的结果确定为视频帧图像的属性检测结果。
[0070] 由于视频帧图像存在纯屏属性、水印属性或旋转属性等中的一种或多种属性时,视频帧图像存在清晰度较低、不便于查看等问题,因此可以认为该类视频帧图像属于低质视频图像,则可以不对该类视频帧图像进行后续检测等处理,从而提高视频数据处理的效率。
[0071] 其中,该待检测视频属性可以包括m个属性,m为正整数,基于m个属性对视频帧图像进行属性检测,得到视频帧图像的属性,若视频帧图像的属性与m个属性中的一个或者多个属性相匹配,则将视频帧图像与待测视频属性相匹配的结果确定为视频帧图像的属性检测结果。若视频帧图像的属性与m个属性均不匹配,则将视频帧图像与待测视频属性不匹配的结果确定为视频帧图像的属性检测结果。例如,m个属性中存在纯屏属性、水印属性、旋转属性或者翻拍属性(即对用户已录制完成的视频数据进行录制)等,待检测视频属性可以是纯屏属性、水印属性、旋转属性或者翻拍属性中的任意一个或至少两个的组合。例如,m为1,待检测视频属性为纯屏属性,若计算机设备检测出视频帧图像的属性与纯屏属性不匹配,则确定属性检测结果为视频帧图像与待测视频属性不匹配的结果。或者,m为2,待检测视频属性为纯屏属性及水印属性,若计算机设备检测出视频帧图像的属性与纯屏属性及水印属性均不匹配,则确定属性检测结果为视频帧图像与待测视频属性不匹配的结果。或者,m为3,待检测视频属性为纯屏属性、水印属性及旋转属性,若计算机设备检测出视频帧图像的属性与纯屏属性、水印属性及旋转属性均不匹配,则确定属性检测结果为视频帧图像与待测视频属性不匹配的结果。
[0072] S102,若属性检测结果为视频帧图像与待测视频属性相匹配的结果,则将第一质量评估值确定为视频帧图像的目标质量评估值。
[0073] 本申请实施例中,由于视频帧图像属于纯屏属性、水印属性或者旋转属性等中的一种或多种时,视频帧图像存在清晰度较低、不便于查看等问题,因此可以认为该类视频帧图像属于低质视频图像,则计算机设备将第一质量评估值确定为视频帧图像的目标质量评估值,从而实现对视频帧图像的质量评估。其中,第一质量评估值可以为0或者其他数值,在视频帧图像为低质视频数据时,可以将默认质量评估值(如0、0.1、0.15或者其他数值)作为该视频帧图像的目标质量评估值,以实现对视频帧图像的质量评估。可选的,计算机设备还可以在该视频帧图像中显示该视频帧图像所属的属性,如纯屏属性、水印属性以及旋转属性等,以便于用户确定视频帧图像的目标质量评估值低的原因,从而实现快速更改。
[0074] S103,若属性检测结果为视频帧图像与待测视频属性不匹配的结果,则对视频帧图像中的评估对象进行检测,得到视频帧图像中的评估对象的第二质量评估值,识别视频帧图像所属的图像场景,基于图像场景对第二质量评估值进行调整,得到视频帧图像的目标质量评估值。
[0075] 本申请实施例中,若属性检测结果为视频帧图像与待测视频属性不匹配的结果,则计算机设备对视频帧图像中的评估对象进行检测,得到视频帧图像中的评估对象的第二质量评估值;计算机设备通过识别视频帧图像所属的图像场景,基于图像场景对第二质量评估值进行调整,得到视频帧图像的目标质量评估值。
[0076] 其中,视频帧图像中的评估对象的数量可以为一个,如颜值对象、美学对象或视频质量对象等。当视频帧图像中的评估对象的数量为一个时,例如为美学对象,计算机设备通过对视频帧图像中的美学对象进行检测,得到视频帧图像中的美学对象的第二质量评估值,将视频帧图像中的美学对象的第二质量评估值确定为视频帧图像的目标质量评估值。或者,视频帧图像中的评估对象的数量为至少两个,至少两个评估对象包括但不限于颜值对象、美学对象或视频质量对象等,即视频帧图像中的评估对象的数量为两个或者两个以上,具体可以为颜值对象及美学对象,或者颜值对象及视频质量对象,或者美学对象及视频质量对象,或者颜值对象、美学对象及视频质量对象。其中,颜值对象用于指示视频帧图像中评估对象的颜值特征,美学对象用于指示视频帧图像中评估对象的美学特征,视频质量对象用于指示视频帧图像中评估对象的视频质量特征。
[0077] 具体的,计算机设备基于颜值检测模型对视频帧图像中的颜值对象进行检测,确定视频帧图像中的颜值对象的第二质量评估值;基于美学检测模型对视频帧图像中的美学对象进行检测,确定视频帧图像的图像组成结构,识别视频帧图像的色值组合信息,根据图像组成结构及色值组合信息确定视频帧图像中的美学对象的第二质量评估值;基于质量检测模型对视频帧图像中的视频质量对象进行检测,确定视频帧图像的色阶分布信息,识别视频帧图像中的噪声信息,根据色阶分布信息及噪声信息确定视频帧图像中的视频质量对象的第二质量评估值。
[0078] 具体实现中,计算机设备基于颜值检测模型对视频帧图像中的颜值对象进行检测,可以确定视频帧图像的颜值对象的五官信息,以及视频帧图像中颜值对象的角度,例如视频帧图像中颜值对象为正面、侧面等,根据视频帧图像的颜值对象的五官信息及视频帧图像中颜值对象的角度确定视频帧图像中的颜值对象的第二质量评估值。计算机设备基于美学检测模型对视频帧图像中的美学对象进行检测,确定视频帧图像的图像组成结构,例如确定图像组成结构是否为三分结构,识别视频帧图像的色值组合信息,色值组合信息即视频帧图像中的色彩搭配信息,根据图像组成结构及色值组合信息确定视频帧图像中的美学对象的第二质量评估值。可选的,计算机设备还可以基于美学检测模型对视频帧图像中的美学对象进行检测,确定视频帧图像中的视频内容,例如确定视频内容是否属于低俗信息、敏感信息等,从而结合图像组成结构、色值组合信息以及视频内容确定视频帧图像中的美学对象的第二质量评估值。计算机设备基于质量检测模型对视频帧图像中的视频质量对象进行检测,确定视频帧图像的色阶分布信息,色阶分布信息可以是指视频帧图像的曝光程度,如视频帧图像是否过曝光或者过暗,识别视频帧图像中的噪声信息,噪声信息可以包括视频帧图像中的噪点抖动等,根据色阶分布信息及噪声信息确定视频帧图像中的视频质量对象的第二质量评估值。可选的,上述在分别使用颜值检测模型、美学检测模型及质量检测模型对视频帧图像进行检测之前,可以分别训练颜值检测模型、美学检测模型及质量检测模型,具体模型训练方法可参考下面对场景识别模型进行的训练方法,此处不做过多描述。
[0079] 可选的,视频帧图像中的评估对象的数量为至少两个,计算机设备可以获取获取视频帧图像所属的图像场景,基于图像场景对第二质量评估值进行调整,得到该视频帧图像的目标质量评估值。具体的,计算机设备获取视频帧图像所属的图像场景对应的权重信息;其中,权重信息包括至少两个评估对象分别对应的权重参数;基于至少两个评估对象分别对应的权重参数,对至少两个评估对象分别对应的第二质量评估值进行加权求和,得到视频帧图像的目标质量评估值。
[0080] 具体实现中,计算机设备可以获取视频帧图像中的场景特征,基于场景识别模型对获取到的场景特征进行识别,从而确定视频帧图像所属的图像场景,具体的场景特征可以根据视频帧图像中的对象类型,以及视频帧图像的内容确定。图像场景可以包括直播场景、风景场景、会议场景、街拍场景或者其他场景等。可选的,在使用场景识别模型对视频帧图像进行识别之前,还可以先对场景识别模型进行训练,训练场景识别模型时,首先对训练样本场景图像进行标注,包括对场景类型、场景中的对象以及对象在场景图像中的位置等信息进行标注。然后利用标注好的样本场景图像对初始样本场景图像进行训练,待模型收敛并达到一定精度(指模型中的损失函数值小于损失阈值且精度大于精度阈值)时保存模型,该保存下来的模型就是场景识别模型。计算机设备通过使用场景识别模型对视频帧图像进行识别,可以确定视频帧图像所属的图像场景,从而获取该图像场景对应的至少两个评估对象分别对应的权重参数,基于至少两个评估对象分别对应的权重参数,对至少两个评估对象分别对应的第二质量评估值进行加权求和,得到视频帧图像的目标质量评估值。
[0081] 可选的,若视频帧图像为e帧视频帧图像组成的视频数据中的图像时,计算机设备可以对每帧视频帧图像中的场景特征进行识别,从而确定视频帧图像所属的图像场景;或者,计算机设备可以通过获取e帧视频帧图像中前f帧视频帧图像中出现较多的场景,作为该e帧视频帧图像的场景,其中,e,f均为正整数,e大于f。
[0082] 具体实现中,以至少两个评估对象包括颜值对象、美学对象以及视频质量对象为例,该图像场景与评估对象的权重参数之间的对应关系可以如表1所示:
[0083] 表1图像场景与评估对象的权重参数的对应关系表
[0084]
[0085] 其中,图像场景包括直播场景、风景场景及街拍场景,视频帧图像中的评估对象包括颜值对象、美学对象及视频质量对象,a1>a3>a2,b2>b3>b1,c3>c2>c1,a1+a2+a3=1,b1+b2+b3=1,c1+c2+c3=1。
[0086] 举例来说,若视频帧图像中的评估对象的数量为3个,分别为颜值对象、美学对象及视频质量对象,若视频帧图像中的颜值对象的第二质量评估值为s1,视频帧图像中的美学对象的第二质量评估值为s2,视频帧图像中的视频质量对象的第二质量评估值为s3,且计算机设备检测出视频帧图像所属的图像场景为直播场景,即图像场景对应的颜值对象对应的权重参数为a1,美学对象对应的权重参数为a2,视频质量对象对应的权重参数为a3,则视频帧图像的目标质量评估值的计算公式如公式(1‑1)所示:
[0087] S=a1*s1+a2*s2+a3*s3  (1‑1)
[0088] 其中,S为视频帧图像的目标质量评估值。若视频帧图像中的评估对象的数量为颜值对象、美学对象及视频质量对象中的任意2个,则获取图像场景中该两个评估对象分别对应的权重参数a1及a2,且a1+a2=1。若视频帧图像中的评估对象的数量为颜值对象、美学对象及视频质量对象中的任意1个,则获取图像场景中该评估对象的权重参数为1。由于视频帧图像属于不同图像场景时,视频帧图像中评估对象的类型存在差异,例如直播场景中颜值对象对视频帧图像的质量评估影响大于风景场景,又例如风景场景中美学对象对视频帧图像的质量评估影响大于直播场景,因此通过获取视频帧图像所属的图像场景,从而根据不同的图像场景确定每个评估对象的权重参数,可以提高对视频帧图像质量评估的准确性。
[0089] 本申请实施例中,通过对视频帧图像进行属性检测,可以确定该视频帧图像是否存在影响该视频帧图像的质量的属性,如纯屏、水印、以及旋转等属性,若检测出视频帧图像存在这几种属性,则确定该视频帧图像对应的目标质量评估值为第一质量评估值。若检测出视频帧图像不存在这几种属性,则对视频帧图像中的评估对象进行检测,得到视频帧图像中的评估对象的第二质量评估值,识别视频帧图像所属的图像场景,基于图像场景对第二质量评估值进行调整,得到视频帧图像的目标质量评估值。也就是说,本申请可以通过对视频帧图像进行初次检测,确定视频帧图像是否存在影响该视频帧图像的质量的属性,即低质视频帧图像属性。在不存在影响该视频帧图像的质量的属性的情况下,通过对该视频帧图像进行二次检测,并且结合视频帧图像所属的图像场景,确定视频帧图像的目标质量评估值。通过对视频帧图像的初次检测,可以快速确定视频帧图像是否存在低质视频帧图像属性,若存在则不再进行后续检测,可以减少后续计算量;通过结合视频帧图像所属的场景对视频帧图像进行二次检测,可以提高视频帧图像质量评估的准确性。此外,由于从多个维度(包括纯屏、水印、旋转、颜值、美学以及视频质量等多个维度对视频帧图像进行评估),可以提高视频数据的质量评估准确性。
[0090] 可选的,计算机设备在对视频帧图像中的评估对象进行检测,得到视频帧图像中的评估对象的第二质量评估值时,还可以根据视频帧图像的图像组成结构对视频帧图像进行处理,从而提高视频帧图像质量评估的准确性。进一步的,计算机设备还可以在视频帧图像所在的社交平台中对该视频帧图像进行展示以及推广,从而增加社交平台的用户使用率。请参见图5,图5是本申请实施例提供的另一种视频数据处理方法的流程示意图,如图5所示,该方法包括:
[0091] S201,获取视频帧图像及待测视频属性,基于待测视频属性对视频帧图像进行属性检测,得到属性检测结果。
[0092] S202,若属性检测结果为视频帧图像与待测视频属性相匹配的结果,则将第一质量评估值确定为视频帧图像的目标质量评估值。
[0093] 这里,步骤S201~S202的具体实现方式可参考图3对应的实施例中步骤S101~S102的描述,此处不再赘述。
[0094] S203,若属性检测结果为视频帧图像与待测视频属性不匹配的结果,则检测视频帧图像的图像组成结构。
[0095] 本申请实施例中,若属性检测结果为视频帧图像与待测视频属性不匹配的结果,则计算机设备检测视频帧图像的图像组成结构。其中,图像组成结构可以包括单帧图像组成的视频帧图像,或者多帧图像组成的视频帧图像。若图像组成结构为多帧图像组成的视频帧图像,则确定该视频帧图像为帧合成结构。具体实现中,计算机设备可以获取该视频帧图像对应的录制终端的终端设备信息,若该视频帧图像对应一个终端设备信息,则认为该视频帧图像为单帧图像;若该视频帧图像对应多个终端设备信息,则认为该视频帧图像为多帧图像组成的视频帧图像,且该视频帧图像的图像组成结构为帧合成结构。可选的,也可以使用分屏检测模型对视频帧图像进行检测,确定视频帧图像的图像组成结构。
[0096] S204,若视频帧图像的图像组成结构为帧合成结构,则对视频帧图像进行帧拆分处理,得到至少两个分离图像数据。
[0097] 本申请实施例中,若视频帧图像的图像组成结构为帧合成结构,则计算机设备对视频帧图像进行帧拆分处理,得到至少两个分离图像数据。其中,分离图像数据是指对视频帧图像拆分后得到的至少两个视频帧图像。
[0098] S205,对至少两个分离图像数据中每个分离图像数据中的评估对象进行检测,得到每个分离图像数据中的评估对象的第二质量评估值。
[0099] 这里,计算机设备对至少两个分离图像数据中每个分离图像数据中的评估对象进行检测的方法可参考步骤S103中对视频帧图像中的评估对象进行检测的方法,此处不再赘述。例如,至少两个分离图像数据的数量为2个,且分别为分离图像数据1和分离图像数据2,则计算机设备通过对分离图像数据1中的评估对象进行检测,得到分离图像数据1中的评估对象的第二质量评估值j1,通过对分离图像数据2中的评估对象进行检测,得到分离图像数据2中的评估对象的第二质量评估值j2。由此可计算得到至少两个分离图像数据中每个分离图像数据中的评估对象的第二质量评估值。
[0100] S206,将每个分离图像数据中的评估对象的第二质量评估值组成视频帧图像中的评估对象的第二质量评估值。
[0101] 这里,由于计算机设备对视频帧图像进行拆分处理后得到至少两个分离图像数据,将至少两个分离图像数据中每个分离图像数据中的评估对象的第二质量评估值组成视频帧图像中的评估对象的第二质量评估值。例如,视频帧图像拆分后得到分离图像数据1和分离图像数据2,分离图像数据1中的评估对象的数量为3个,分离图像数据1中的3个评估对象的第二质量评估值分别为j1、j2、j3,分离图像数据2中的评估对象的数量为3个,分离图像数据2中的3个评估对象的第二质量评估值分别为k1、k2、k3,则视频帧图像中的评估对象的第二质量评估值包括j1、j2、j3、k1、k2及k3。
[0102] S207,识别视频帧图像所属的图像场景,基于图像场景对第二质量评估值进行调整,得到视频帧图像的目标质量评估值,基于视频帧图像的目标质量评估值确定视频帧图像对应的视频数据的目标质量评估值。
[0103] 本申请实施例中具体识别视频帧图像所属的图像场景的方法可参考步骤S103的描述,此处不再赘述。当计算机设备对视频帧图像进行帧拆分处理,得到两个分离图像数据时,可以分别识别两个分离图像数据所属的图像场景,基于两个分离图像数据所属的图像场景分别对两个分离图像数据的第二质量评估值进行调整。例如,识别出视频帧图像对应的分离图像数据所属的图像场景均为直播场景,且直播场景对应的颜值对象、美学对象及视频质量对象对应的权重参数分别为a1、a2及a3,则计算机设备基于图像场景对分离图像数据1对应的第二质量评估值进行调整的方法可参考公式(1‑2):
[0104] J=a1*j1+a2*j2+a3*j3  (1‑2)
[0105] 其中,j1为分离图像数据1中的颜值对象的第二质量评估值,j2为分离图像数据1中美学对象的第二质量评估值,j3为分离图像数据1中视频质量对象的第二质量评估值,a1为直播场景对应的颜值对象的权重参数,a2为直播场景对应的美学对象的权重参数,a3为直播场景对应的视频质量对象的权重参数,J为分离图像数据1的目标质量评估值。
[0106] 基于图像场景对分离图像数据2对应的第二质量评估值进行调整的方法可参考公式(1‑3):
[0107] K=a1*k1+a2*k2+a3*k3  (1‑3)
[0108] 其中,k1为分离图像数据2中的颜值对象的第二质量评估值,k2为分离图像数据2中美学对象的第二质量评估值,k3为分离图像数据2中视频质量对象的第二质量评估值,a1为直播场景对应的颜值对象的权重参数,a2为直播场景对应的美学对象的权重参数,a3为直播场景对应的视频质量对象的权重参数,K为分离图像数据2的目标质量评估值。
[0109] 可选的,计算机设备对一个由多帧视频帧图像组成的视频数据进行处理时,可以对该视频数据进行拆分,得到组成该视频数据的至少两个视频帧,其中,计算机设备可以将至少两个视频帧确定为本申请实施例中所要处理的至少两个视频帧图像,也可以对至少两个视频帧进行抽帧处理,得到本申请实施例中所要处理的至少两个视频帧图像。例如,计算机设备对视频数据进行拆分,得到组成视频数据的g个视频帧,其中,计算机设备可以将g个视频帧确定为本申请实施例中所要处理的至少两个视频帧图像,也可以对g个视频帧进行抽帧处理,抽取其中的h个视频帧,作为本申请实施例中所要处理的至少两个视频帧图像。其中,g、h为均正整数,g大于h,h可以为5、9、12或者其他数值,此处不做限定。
[0110] 以计算机设备从g个视频帧中抽取h个视频帧为例,则本申请实施例中要对该视频数据中的h个视频帧图像进行质量评估。计算机设备可以基于上述步骤S204~S207的方法对h个视频帧图像中每个视频帧图像进行帧拆分处理,并计算拆分后得到的至少两个分离图像数据中的评估对象的第二质量评估值,将至少两个分离图像数据中的评估对象的第二质量评估值,组成视频帧图像中的评估对象的第二质量评估值;基于视频帧图像所属的图像场景对视频帧图像中的评估对象的第二质量评估值进行调整得到视频帧图像的目标质量评估值,基于每个视频帧图像的目标质量评估值,得到该视频数据的目标质量评估值。具体的,计算机设备可以计算h个视频帧图像中每个视频帧图像的目标质量评估值的均值,作为视频数据的目标质量评估值;或者,对h个视频帧图像中每个视频帧图像的目标质量评估值进行加权求和,作为视频数据的目标质量评估值;或者,获取h个视频帧图像中每个视频帧图像的目标质量评估值中的最小值,作为视频数据的目标质量评估值。
[0111] 上述步骤S203~S207的过程可以参考图6,图6是本申请实施例提供的一种对视频帧图像拆分的场景示意图,计算机设备获取到视频帧图像61,基于分屏检测模型62对视频帧图像61进行检测,确定视频帧图像61的图像组成结构为帧合成结构,则计算机设备对视频帧图像61进行帧拆分处理,得到至少两个分离图像数据63a和63b。计算机设备通过分别对分离图像数据63a和63b中的评估对象(包括颜值对象、美学对象以及视频质量对象)进行检测,得到分离图像数据63a中的评估对象的第二质量评估值j1、j2、j3,以及分离图像数据63b中的评估对象的第二质量评估值k1、k2、k3。进一步的,计算机设备识别视频帧图像61所属的图像场景得到图像场景对应的多个对象的权重参数a1、a2及a3,基于图像场景得到图像场景对应的多个对象的权重参数a1、a2及a3对分离图像数据63a的第二质量评估值进行调整,得到分离图像数据63a的目标质量评估值。计算机设备基于权重参数a1、a2及a3对分离图像数据63b的第二质量评估值进行调整,得到分离图像数据63b的目标质量评估值。计算机设备根据分离图像数据的目标质量评估值63a及分离图像数据的目标质量评估值63b确定视频帧图像的目标质量评估值。
[0112] 可选的,若分离图像数据63a与分离图像数据63b所属的图像场景不同时,可以分别获取分离图像数据63a所属的图像场景与分离图像数据63b所属的图像场景,基于分离图像数据63a所属的图像场景对应的多个对象的权重参数对分离图像数据63a的第二质量评估值进行调整,以及基于分离图像数据63b所属的图像场景对应的多个对象的权重参数对分离图像数据63b的第二质量评估值进行调整。
[0113] S208,将视频数据的目标质量评估值发送至用户终端。
[0114] 这里,计算机设备可以将视频数据的目标质量评估值发送至用户终端,上传视频数据的用户可以通过用户终端查看到视频数据的目标质量评估值。可选的,计算机设备可以将影响该视频数据的目标质量评估值的参数(例如噪点、过曝、过暗、非正脸、视频内容为敏感内容以及色彩搭配较差等等)发送至用户终端,便于用户终端快速确定视频数据质量评估值较低的原因,从而进行修改。
[0115] S209,获取用户终端针对视频数据的上传确定请求,将视频数据上传至视频数据所在的社交平台,若视频数据的目标质量评估值大于分数阈值,则在社交平台的首页中展示视频数据。
[0116] 这里,用户终端发送针对视频数据的上传确定请求,若计算机设备接收到用户终端针对视频数据的上传确定请求,或者目标质量评估值大于分数阈值,则计算机设备将视频数据上传至视频数据所在的社交平台,且在视频数据的目标质量评估值大于分数阈值时,在社交平台的首页中展示视频数据。其中,视频数据所在的社交平台可以是指用户终端需要将该视频数据发送至需要展示的平台,计算机设备也可以对视频数据进行推广,以使更多用户可以查看到该视频数据,分数阈值可以根据该社交平台的视频数据的数量以及用户终端正在上传的视频数据的数量确定,分数阈值可以为0.6、0.7、0.8或者其他数值。
[0117] 可选的,计算机设备还可以获取该视频数据中的语音数据对应的质量评估值,结合语音数据对应的质量评估值与视频数据的目标质量评估值对该视频数据进行推广,例如当该视频数据中的语音数据对应的质量评估值大于声音阈值,且视频数据的目标质量评估值大于分数阈值时,对该视频数据进行推广。其中,在一种实现场景中,该视频数据为关于唱歌的社交平台中的视频数据,视频数据中的语音数据对应的质量评估值可以是通过该计算机设备或者该社交平台对应的其他评分设备对该视频数据中的语音数据进行打分得到的质量评估值,计算机设备通过获取该语音数据对应的质量评估值,从而可以结合语音数据对应的质量评估值与视频数据的目标质量评估值对该视频数据进行推广。可选的,计算机设备将视频数据的目标质量评估值发送至用户终端后,还可以获取用户终端更新后的视频帧图像,并对更新后的视频帧图像执行步骤S101~S103的处理,从而得到更新后的视频帧图像的目标质量评估值。
[0118] 本申请实施例中,通过对视频帧图像中的评估对象进行检测,得到视频帧图像中的评估对象的第二质量评估值时,由于获取视频帧图像的图像组成结构,根据视频帧图像的图像组成结构对视频帧图像进行拆分,并对拆分后得到的分离图像数据进行处理,可以提高视频帧图像质量评估的准确性。此外,通过在视频帧图像所在的社交平台中对该视频帧图像进行展示以及推广,可以增加社交平台的用户使用率。
[0119] 可选的,本申请实施例中主要包括串联模组和并联模组两个部分对对视频帧图像进行处理,其中,串联模组具体是用于基于待测视频属性对视频帧图像进行属性检测,得到属性检测结果。串联模组可以检测出视频帧图像是否为低质视频图像,例如是否为纯屏图像、水印图像以及旋转图像等。通过先使用串联模组对视频帧图像进行检测,在视频帧图像为低质视频图像时,将第一质量评估值确定为视频帧图像对应的目标质量评估值,则不对该视频帧图像进行后续检测,可以节省计算量,增加视频帧图像质量评估的准确性。并联模组具体是用于在串联模组检测得到属性检测结果,且该属性检测结果为视频帧图像与待测视频属性不匹配的结果的情况下,对视频帧图像中的评估对象进行检测,得到视频帧图像中的评估对象的第二质量评估值,识别视频帧图像所属的图像场景,基于图像场景对第二质量评估值进行调整,得到视频帧图像的目标质量评估值。通过使用并联模组可以实现对视频帧图像的二次检测,并且结合视频帧图像所属的图像场景对视频帧图像的质量评估值进行调整,可以进一步提高视频帧图像质量评估的准确性。
[0120] 可选的,参考图7,图7是本申请实施例提供的又一种视频数据处理方法的流程示意图,如图7所示,该方法包括:
[0121] S301,获取视频数据。
[0122] S302,对视频数据进行抽帧处理,得到视频帧图像。
[0123] S303,检测视频帧图像是否存在纯屏属性。
[0124] 其中,计算机设备通过获取待测视频属性,基于待测视频属性对视频帧图像进行属性检测,得到属性检测结果。若视频帧图像存在纯屏属性,则执行步骤S306;若否,则执行步骤S304。
[0125] S304,检测视频帧图像是否存在水印属性。
[0126] 其中,若视频帧图像存在水印属性,则执行步骤S306;若否,则执行步骤S305。
[0127] S305,检测视频帧图像是否存在旋转属性。
[0128] 其中,若视频帧图像存在旋转属性,则执行步骤S306;若否,则执行步骤S307。
[0129] S306,检测结果为视频帧图像与待测视频属性相匹配,确定视频帧图像的目标质量评估值。
[0130] 其中,计算机设备将视频帧图像与待测视频属性相匹配的结果确定为视频帧图像的属性检测结果,将第一质量评估值确定为视频帧图像的目标质量评估值。计算机设备将第一质量评估值确定为视频帧图像的目标质量评估值后,执行步骤S310,基于视频帧图像的目标质量评估值确定视频帧图像对应的视频数据的目标质量评估值。
[0131] S307,检测视频帧图像的组成结构是否为帧合成结构。
[0132] 其中,若视频帧图像的组成结构为帧合成结构,则执行步骤S308;若否,则执行步骤S309。
[0133] S308,对视频帧图像进行帧拆分处理,对帧拆分处理后的视频帧图像中的评估对象进行检测,得到视频帧图像中的评估对象的第二质量评估值。
[0134] 其中,评估对象包括颜值对象、美学对象以及视频质量对象。
[0135] S309,识别视频帧图像所属的图像场景对应的权重参数,基于权重参数对第二质量评估值进行调整,得到视频帧图像的目标质量评估值。
[0136] S310,基于视频帧图像的目标质量评估值确定视频帧图像对应的视频数据的目标质量评估值。
[0137] 上面介绍了本申请实施例的方法,下面介绍本申请实施例的装置。
[0138] 参见图8,图8是本申请实施例提供的一种视频数据处理装置的组成结构示意图,上述一种视频数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该一种视频数据处理装置为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。该装置80包括:
[0139] 类别检测模块81,用于获取视频帧图像及待测视频属性,基于该待测视频属性对该视频帧图像进行属性检测,得到属性检测结果;该待测视频属性用于指示影响该视频帧图像的质量的属性;
[0140] 类别匹配模块82,用于若该属性检测结果为该视频帧图像与该待测视频属性相匹配的结果,则将第一质量评估值确定为该视频帧图像的目标质量评估值;
[0141] 对象检测模块83,用于若该属性检测结果为该视频帧图像与该待测视频属性不匹配的结果,则对该视频帧图像中的评估对象进行检测,得到该视频帧图像中的评估对象的第二质量评估值,识别该视频帧图像所属的图像场景,基于该图像场景对该第二质量评估值进行调整,得到该视频帧图像的目标质量评估值。
[0142] 可选的,该类别检测模块81,包括:
[0143] 数据获取单元811,用于基于该待测视频属性获取组成该视频帧图像的像素点的像素值所对应的像素均值及像素方差,基于该像素均值及该像素方差确定该视频帧图像的统计数据;
[0144] 阈值匹配单元812,用于若该视频帧图像的统计数据小于统计异常阈值,则将该视频帧图像与该待测视频属性相匹配的结果确定为该视频帧图像的属性检测结果。
[0145] 可选的,该类别检测模块81,包括:
[0146] 图标检测单元813,用于基于该待测视频属性对该视频帧图像进行图标检测,若检测到该视频帧图像中存在视频图标,则获取标记图标,对该视频图标的特征及该标记图标的特征进行特征匹配;
[0147] 图标匹配单元814,用于若该视频图标的特征与该标记图标的特征不匹配,则将该视频帧图像与该待测视频属性相匹配的结果确定为该视频帧图像的属性检测结果。
[0148] 可选的,该类别检测模块81,包括:
[0149] 特征识别单元815,用于基于该待测视频属性获取参考坐标系,识别该视频帧图像中的关键特征点;
[0150] 位置确定单元816,用于基于该关键特征点在该参考坐标系的特征位置,确定该关键特征点的相对位置信息;
[0151] 位置匹配单元817,用于若该相对位置信息不属于标准相对位置范围,则将该视频帧图像与该待测视频属性相匹配的结果确定为该视频帧图像的属性检测结果。
[0152] 可选的,该视频帧图像中的评估对象的数量为至少两个,至少两个评估对象包括颜值对象、美学对象及视频质量对象;该对象检测模块83,包括:
[0153] 颜值确定单元831,用于基于颜值检测模型对该视频帧图像中的颜值对象进行检测,确定该视频帧图像中的颜值对象的第二质量评估值;
[0154] 美学确定单元832,用于基于美学检测模型对该视频帧图像中的美学对象进行检测,确定该视频帧图像的图像组成结构,识别该视频帧图像的色值组合信息,根据该图像组成结构及该色值组合信息确定该视频帧图像中的美学对象的第二质量评估值;
[0155] 质量确定单元833,用于基于质量检测模型对该视频帧图像中的视频质量对象进行检测,确定该视频帧图像的色阶分布信息,识别该视频帧图像中的噪声信息,根据该色阶分布信息及该噪声信息确定该视频帧图像中的视频质量对象的第二质量评估值。
[0156] 可选的,该评估对象的数量为至少两个;该对象检测模块83,包括:
[0157] 权重获取单元834,用于获取该视频帧图像所属的图像场景对应的权重信息;该权重信息包括至少两个评估对象分别对应的权重参数;
[0158] 权重计算单元835,用于基于该至少两个评估对象分别对应的权重参数,对该至少两个评估对象分别对应的第二质量评估值进行加权求和,得到该视频帧图像的目标质量评估值。
[0159] 可选的,该对象检测模块83,包括:
[0160] 结构确定单元836,用于检测该视频帧图像的图像组成结构;
[0161] 图像拆分单元837,用于若该视频帧图像的图像组成结构为帧合成结构,则对该视频帧图像进行帧拆分处理,得到至少两个分离图像数据;
[0162] 图像检测单元838,用于对该至少两个分离图像数据中每个分离图像数据中的评估对象进行检测,得到该每个分离图像数据中的评估对象的第二质量评估值;
[0163] 数据组成单元839,用于将该每个分离图像数据中的评估对象的第二质量评估值组成该视频帧图像中的评估对象的第二质量评估值。
[0164] 需要说明的是,图8对应的实施例中未提及的内容可参见方法实施例的描述,这里不再赘述。
[0165] 本申请实施例中,通过对视频帧图像进行属性检测,可以确定该视频帧图像是否存在影响该视频帧图像的质量的属性,如纯屏、水印、以及旋转等属性,若检测出视频帧图像存在这几种属性,则确定该视频帧图像对应的目标质量评估值为第一质量评估值。若检测出视频帧图像不存在这几种属性,则对视频帧图像中的评估对象进行检测,得到视频帧图像中的评估对象的第二质量评估值,识别视频帧图像所属的图像场景,基于图像场景对第二质量评估值进行调整,得到视频帧图像的目标质量评估值。也就是说,本申请可以通过对视频帧图像进行初次检测,确定视频帧图像是否存在影响该视频帧图像的质量的属性,即低质视频帧图像属性。在不存在影响该视频帧图像的质量的属性的情况下,通过对该视频帧图像进行二次检测,并且结合视频帧图像所属的图像场景,确定视频帧图像的目标质量评估值。通过对视频帧图像的初次检测,可以快速确定视频帧图像是否存在低质视频帧图像属性,若存在则不再进行后续检测,可以减少后续计算量;通过结合视频帧图像所属的场景对视频帧图像进行二次检测,可以提高视频帧图像质量评估的准确性。此外,由于从多个维度(包括纯屏、水印、旋转、颜值、美学以及视频质量等多个维度对视频帧图像进行评估),可以提高视频数据的质量评估准确性。
[0166] 参见图9,图9是本申请实施例提供的一种计算机设备的组成结构示意图。如图9所示,上述计算机设备90可以包括:处理器901,网络接口904和存储器905,此外,上述计算机设备90还可以包括:用户接口903,和至少一个通信总线902。其中,通信总线902用于实现这些组件之间的连接通信。其中,用户接口903可以包括显示屏(Display)、键盘(Keyboard),可选用户接口903还可以包括标准的有线接口、无线接口。网络接口904可选的可以包括标准的有线接口、无线接口(如WI‑FI接口)。存储器905可以是高速RAM存储器,也可以是非易失性的存储器(non‑volatile memory),例如至少一个磁盘存储器。存储器905可选的还可以是至少一个位于远离前述处理器901的存储装置。如图9所示,作为一种计算机可读存储介质的存储器905中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
[0167] 在图9所示的计算机设备90中,网络接口904可提供网络通讯功能;而用户接口903主要用于为用户提供输入的接口;而处理器901可以用于调用存储器905中存储的设备控制应用程序,以实现:
[0168] 获取视频帧图像及待测视频属性,基于该待测视频属性对该视频帧图像进行属性检测,得到属性检测结果;该待测视频属性用于指示影响该视频帧图像的质量的属性;
[0169] 若该属性检测结果为该视频帧图像与该待测视频属性相匹配的结果,则将第一质量评估值确定为该视频帧图像的目标质量评估值;
[0170] 若该属性检测结果为该视频帧图像与该待测视频属性不匹配的结果,则对该视频帧图像中的评估对象进行检测,得到该视频帧图像中的评估对象的第二质量评估值,识别该视频帧图像所属的图像场景,基于该图像场景对该第二质量评估值进行调整,得到该视频帧图像的目标质量评估值。
[0171] 应当理解,本申请实施例中所描述的计算机设备90可执行前文图3、图5以及图7所对应实施例中对上述视频数据处理方法的描述,也可执行前文图8所对应实施例中对上述视频数据处理装置的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
[0172] 本申请实施例中,通过对视频帧图像进行属性检测,可以确定该视频帧图像是否存在影响该视频帧图像的质量的属性,如纯屏、水印、以及旋转等属性,若检测出视频帧图像存在这几种属性,则确定该视频帧图像对应的目标质量评估值为第一质量评估值。若检测出视频帧图像不存在这几种属性,则对视频帧图像中的评估对象进行检测,得到视频帧图像中的评估对象的第二质量评估值,识别视频帧图像所属的图像场景,基于图像场景对第二质量评估值进行调整,得到视频帧图像的目标质量评估值。也就是说,本申请可以通过对视频帧图像进行初次检测,确定视频帧图像是否存在影响该视频帧图像的质量的属性,即低质视频帧图像属性。在不存在影响该视频帧图像的质量的属性的情况下,通过对该视频帧图像进行二次检测,并且结合视频帧图像所属的图像场景,确定视频帧图像的目标质量评估值。通过对视频帧图像的初次检测,可以快速确定视频帧图像是否存在低质视频帧图像属性,若存在则不再进行后续检测,可以减少后续计算量;通过结合视频帧图像所属的场景对视频帧图像进行二次检测,可以提高视频帧图像质量评估的准确性。此外,由于从多个维度(包括纯屏、水印、旋转、颜值、美学以及视频质量等多个维度对视频帧图像进行评估),可以提高视频数据的质量评估准确性。
[0173] 本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令当被计算机执行时使该计算机执行如前述实施例该的方法,该计算机可以为上述提到的计算机设备的一部分。例如为上述的处理器901。作为示例,程序指令可被部署在一个计算机设备上执行,或者被部署位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行,分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链网络。
[0174] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,该的存储介质可为磁碟、光盘、只读存储记忆体(Read‑Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
[0175] 以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。