[0097] 进一步地,在一些实施例中,若在步骤d中被判断为时间关联信息早于所取的待测视频信号的图像的时间关联信的参考信号的图像,未在步骤c的所述时间对准组成功配对过,则记录发生了一次所述参考信号的帧删除操作,即if tagtime(ai)>tagtime(bj)then output(bj,ф),bj<-bj+1,j<-j+1,goto b。在另一些实施例中,若在步骤d中被判断为时间关联信息早于所取的待测视频信号的图像的时间关联信的参考信号的图像,步骤c的所述时间对准组未成功配对过,则使用占位图像或者空白图像作为待测视频信号的图像与所取的参考信号的图像配对成一个缺位的时间对准组,即if tagtime(ai)
[0098] 以上算法中凡输出的时间对准组(bj,ai),只要bj≠ф并且ai≠ф,那么就进行了一次时间对准操作,即步骤c的操作。所有步骤c操作输出的时间对准组中的ai组成的新的帧序列(a’k)就是待测视频信号的有效输出帧序列,即(a’k)_{a’∈(bj,ai),ai∈A,bi∈B,bj≠ф,ai≠ф,tagtime(ai)=tagtime(bj)}是待测视频信号(bn)的有效输出帧序列。
[0099] 通过以上的方式生成多个时间对准组以完成待测视频信号向参考信号的时间对准。对准后可生成视频图像对准序列,如图2所示,视频图像对准序列200包括多个图像对准组(时间对准组)201。每个图像对准组201包括一个参考信号的参考对准图像202及至少一个待测系统输出的待测视频信号的对准图像203(及对准图像204)。每个对准图像(以参考对准图像202为例)包括位图图像205、时间关联信息206及时间标记几何信息(几何标记信息)207。
[0100] 接下来,执行依据所述有效输出帧序列进行所述待测视频信号向所述参考信号的空间对准操作的步骤。首先,获取所述待测视频信号的几何标记和所述参考信号的几何标记之间的几何形状的空间仿射矩阵,获取所述空间仿射矩阵的缩放因子、平移量、裁剪或补缀区域。然后,将所述待测视频信号中识读出的时间标记的几何标记信息,向所述参考信号的时间标记的几何标记信息在空间对准。
[0101] 具体而言,上述空间对准操作的步骤可通过如下方式实现:
[0102] a’.从所述参考信号的图像的时间标记的几何标记信息中导出k个特征标记点,k为大于等于3的整数,所述参考信号的图像的宽为W,高为H,W和H为大于0的常数,所述k个特征标记点中第n+1个特征点的坐标为(xn,yn),n为大于等于0且小于k的整数。该步骤中,导出的特征标记点越多、越分散,越好。优选的,可导出四个矩形角点。
[0103] b’.从所述待测视频信号的图像的时间标记的几何信息中导出步骤a’中的所述k个特征标记点的对应标记点,所述待测视频信号的图像的宽为M,高为N,M和N为大于0的常数,所述k个对应标记点中第n+1个特征点的坐标为(in,jn),n为大于等于0且小于k的整数。
[0104] 为方便表述可参考如下表格:
[0105]
[0106]
[0107] c’.根据所述参考信号的k个特征标记点获得参考空间标记点矩阵A,根据所述待测视频信号k个对应标记点获得待测空间标记点矩阵B,
[0108]
[0109] d’.通过求解矩阵方程AX=B的最优拟合解来求得从所述参考信号变换到所述待测视频信号的空间仿射矩阵F:
[0110]
[0111] 在一个具体实施例中,可使用奇异值分解法来求所述矩阵方程的最小二乘解,对所述参考空间标记点矩阵A进行奇异值分解SVD,得到所述参考空间标记点矩阵A的左奇异特征矩阵U、右奇异特征矩阵V及奇异对角阵D:
[0112] (U,D,V)=SVD(A)
[0113] 依下式求得从所述参考信号变换到所述待测视频信号的空间仿射矩阵F:
[0114]
[0115] 在另一个具体实施例中,可使用QR分解法来求所述矩阵方程的最小二乘解:
[0116]
[0117] 所述QR分解法包括:把矩阵A分解成一个正交矩阵和一个上三角矩阵的积的形式,矩阵A表达为一个正交阵Q1和一个3行×3列的上三角阵S的乘积形式:
[0118] A=Q1S
[0119] 所述矩阵方程的最小二乘解根据如下公式求解:
[0120]
[0121] 上述两种实施方法中第二种算法比第一种算法计算更快,而第一种算法比第二种算法收敛性更好。
[0122] e’.依据所述参考信号变换到所述待测视频信号的空间仿射矩阵F求得从所述待测视频信号变换到所述参考信号的空间逆仿射矩阵G:
[0123] G=F-1
[0124] f’.验证所述空间仿射矩阵F中f01,f10,f20,f21约等于0,f22约等于1。
[0125] 若该步骤验证失败,则表示待测视频信号不是经过参考信号的空间简单的平移、缩放而得到的,需要报告可能发生了设备异常,也有可能是特殊的视频应用导致的这种异常的仿射矩阵。
[0126] g’.根据所述空间仿射矩阵F获取所述平移量及缩放因子,所述平移量为(f02,f12),所述缩放因子为(f00,f11);
[0127] h’.按如下公式计算一矩阵R,并从所述矩阵R中获取所述空间仿射矩阵F的裁剪或补缀区域:
[0128]
[0129] i’.验证所述矩阵R中r02,,r12,r22,r32约等于0,依据所述矩阵R获取四个坐标点位(r00,r01),(r10,r11),(r20,r21),(r30,r31)描述了裁剪或补缀发生在从左上角开始按顺时钟旋转的图像四个角点处的矩形区域。
[0130] 具体而言,r01、r11如果为负数则说明是在参考图像的顶边做了相应数量对应高度的裁剪,如果为正数则说明是在参考图像的顶边做了相应数量对应高度的补缀。例如如果(r00,r01)=(0,-10),(r10,r11)=(0,-10),表示在生成待测图像过程中首先对参考图像的顶边附近区域{(0,0),(W,0),(W,10),(0,10)}进行了裁剪。如果(r00,r01)=(0,10),(r10,r11)=(0,10),表示生成待测图像过程中首先对参考图像的顶边附近区域补充了一块不属于原来参考图像的新图像区域{(0,0),(W,0),(W,10),(0,10)}。
[0131] r10、r20如果为正数则说明是在参考图像的右边做了相应数量对应宽度的裁剪,如果为负数则说明是在参考图像的右边做了相应数量对应宽度的补缀。
[0132] r21、r31如果为正数则说明是在参考图像的底边做了相应数量对应高度的裁剪,如果为负数则说明是在参考图像的底边做了相应数量对应高度的补缀。
[0133] r00、r30如果为负数则说明是在参考图像的左边做了相应数量对应宽度的裁剪,如果为正数则说明是在参考图像的左边做了相应数量对应宽度的补缀。
[0134] j’.根据所述空间逆仿射矩阵G把所述待测视频信号中的每幅图像向所述参考信号做平移和缩放,并对所述待测视频信号中的每幅图像进行逆向裁剪或补缀,以使所述待测视频信号和参考信号同宽高。换言之,若参考信号在待测系统中经过了裁剪形成了待测视频信号则以时间对准后的参考信号中的被裁区域补齐,若参考信号在待测系统中经过了补缀形成了待测视频信号则把多余的补缀裁剪掉,最终得到和参考信号同宽高的视频信号。
[0135] 通过如上步骤使得待测视频信号与参考信号进行空间对准操作。具体而言,空间对准的目的是从几何的角度把待测图像还原成与参考图像一致的图像。如果在待测系统把参考图像变换成待测图像的过程中发生了裁剪,仅从待测图像上是无法获得被裁剪掉的部分的,所以只好从参考图像上补出来。如果待测系统把参考图像变换成待测图像的过程中发生了补缀,则只需要把多余的补缀直接了当地裁掉就行了。待测系统在把参考图像变换成待测图像的过程中,常常会伴随着图像的裁剪、补缀、拉伸、缩小、错切等几何变换,同时还会损失图像的画质、引入噪声等。空间对准只能从几何变换的角度来完成图像的还原,而不用对图像的画质、噪声等进行还原。对图像的画质的损失的量化和引入噪声的量化正好就是图像质量评价需要给出的答案。
[0136] 当待测视频信号与参考信号经由时间对准操作和空间对准操作后,还依据参考信号同步输出待测视频信号。具体而言,在输出参考信号的帧序列的同时,对于参考信号中的每一帧图像的时间标记的时间关联信息:若待测视频信号的有效输出帧序列中存在相同的时间关联信息,则同步输出经由时间对准操作和空间对准操作的所述待测视频信号的帧图像;若待测视频信号的有效输出帧序列中不存在相同的时间关联信息,则输出图像占位符或者空白图像。
[0137] 进一步地,本发明还支持多个待测系统的视频质量评价。换言之,当所述参考信号在步骤S102中由多个待测系统转换为多个所述待测视频信号时,于步骤S104中分别依据该多个所述待测视频信号中识读出的所述时间关联信息与所述参考信号的所述时间关联信息分别计算该多个所述待测视频信号的有效输出帧序列;分别依据该多个所述待测视频信号的所述有效输出帧序列进行该多个所述待测视频信号向所述参考信号的时间对准操作、空间对准操作;按同一所述参考信号进行同步输出。
[0138] 步骤S105.依据对准后的待测视频信号计算所述待测视频信号的视频质量。
[0139] 具体而言,步骤105中可展示如下内容中的一项或多项:参考信号的帧率、参考信号的图像尺寸、参考信号的视频图像、一个或多个待测视频信号的评分信息、一个或多个待测视频信号插入帧或者删除帧的帧间编辑操作数据、一个或多个待测视频信号的输出帧率、一个或多个待测视频信号的有效输出帧率、一个或多个对准后待测视频信号的视频图像。
[0140] 下面参考图3和图4,图3示出了根据本发明实施例的视频质量评价系统的结构示意图;图4示出了根据本发明实施例的视频质量评价系统的具体结构示意。
[0141] 本发明提供的待测系统的视频质量评价系统300包括视频信号对准装置301及视频质量评价装置302。视频信号对准装置301包括时间标记器410、时间标记识读器408及视频信号对准器411。时间标记器410用以依据源视频信号生成具有时间标记的时间标记视频信号,并将所述时间标记视频信号作为参考信号,所述时间标记为由时间关联信息编码而成的几何标记,并将所述参考信号发送至待测系统403。时间标记识读器408用以接收所述待测系统403发送的经由所述参考信号变化的待测视频信号,从所述待测视频信号中识读时间标记,获得所述时间关联信息和几何标记信息。视频信号对准器411用以按所述时间关联信息和所述几何标记信息把所述待测视频信号向所述参考信号对准。视频质量评价装置302用以依据对准后的待测视频信号计算所述待测系统的视频质量并展示。视频质量评价装置302包括质量指标评价器412及评价数据展示器413。质量指标评价器412,用以依据对准后的待测视频信号计算所述待测系统的视频质量。评价数据展示器413用以展示参考信号、待测视频信号的图像的同时,同步展示同一时间关联信息对应的时刻的视频质量指标评分、历史的评分曲线,同步展示同一时间关联信息对应的时刻的待测视频信号中发生的帧间编辑操作数据。
[0142] 第一实施例
[0143] 下面结合图3至图6描述本发明的第一实施例。
[0144] 在第一实施例的待测系统的视频质量评价系统中,可采用自动方式工作。如图3所示的系统结构,视频质量评价系统300由视频信号对准装置301和视频质量评价装置302构成。视频信号对准装置301实现图1所示的步骤S101、步骤S102、步骤S103、步骤S104的功能。视频质量评价装置302实现图1所示的步骤S105的功能。
[0145] 参考图4及图5,在第一实施例的待测系统的视频质量评价系统中,视频信号对准装置301的输入适配器409负责把视频采集系统401的输入信号501适配转换成YUV420P图像序列的输入信号509。
[0146] 在第一实施例的待测系统的视频质量评价系统工作开始时,预先配置好视频采集系统401的采集图像宽、高、帧率,尽量与将要评价的各路接入系统的待测系统403的工作图像的宽、高、帧率相当。以一次具体的评价为例,需要实时对比评价两个待测系统403的1080px30fps(分辨率为1080P,帧率为每秒30帧)的工作状态下的视频质量,这时尽量将视频采集系统401的工作状态也配置为1080px30fps的工作状态,即宽为1920、高为1080、输出帧率为30fps。如果无法满足,则配置输入适配器409将视频采集系统实际采集到的输入信号501适配到输出信号509为1080px30fps的工作状态。
[0147] 在第一实施例的待测系统的视频质量评价系统中,时间标记器410用以给输入信号509(源视频信号)中的每幅YUV420P图像指定一个自然数(帧编号)作为时间关联信息206,选用矩形二维码时间标记方式把时间关联信息做成时间标记叠加到输入信号的YUV420P图像的Y分量(YUV颜色编码方法中的Y分量)中,做成经过矩形二维码时间标记过的视频信号505、510、511。本实施例中生成的时间标记视频信号为YUV420P图像序列,宽为
1920、高为1080、帧率为30fps。
[0148] 在第一实施例的待测系统的视频质量评价系统中,时间标记器410输出的参考信号505、510、511是经过矩形二维码时间标记过的视频信号,其时间标记的几何形状如图6所示,标号604为YUV420P图像的Y分量,标号601为图像的坐标原点,标号602为时间标记的偏移角点,标号603为1个点的边框宽度,标号605为21点的QR-1Level-Q二维码,控制参数s用来控制1个点表示的像素个数。
[0149] 在第一实施例的待测系统的视频质量评价系统中,时间标记器410按图6所示将QR二维码图像编码增加1个点的边框后使用预设的控制参数(默认为3)进行放大,按固定角点偏移量P(20,20)平移后,做成二值化的时间标记,然后直接叠加到图像的Y分量中,保持图像的UV分量数据不变,做成时间标记视频信号505、510、511。同时,时间标记器410仍然把QR二维码的四个角点作为时间标记几何信息告知视频信号对准器411。
[0150] 在第一实施例的待测系统的视频质量评价系统中,时间标记器410产生的时间标记视频信号中,每个YUV图像中的Y分量上都在固定位置叠加了一个边长为s×(21+2)的正方形区域,其中含有一个编码了以帧编号充当时间关联信息的QR-1二维码。
[0151] 在第一实施例的待测系统的视频质量评价系统中,输出适配器402、405是为了把参考信号成功送给待测系统403、406等而设的,负责把参考信号转换成可以被待测系统接收的视频信号502、506,必要的情况下需要对图像宽高、帧率、格式进行适配。
[0152] 在第一实施例的待测系统的视频质量评价系统中,输入适配器404、407是为了把待测系统输出的视频转换成和参考信号511同格式的YUV420P图像序列视频信号503、508而设的,必要的情况下需要对图像宽高、帧率、格式进行适配。
[0153] 在第一实施例的待测系统的视频质量评价系统中,时间标记识读器408提取出待测视频信号中的时间标记的几何信息,本实施例即Y分量中的QR二维码的四个角点的坐标位置,同时识读出时间关联信息,本实施例即从QR二维码中识读出充当时间关联信息的帧编号。本实施例的时间标记识读器拥有四个通道,每个通道可以接收一路待测视频信号,并同步输出一路待测视频信号及时间标记几何信息、时间关联信息,输出的这些信息被送入视频信号对准器411。
[0154] 一般情况下,在一个待测视频信号中时间标记的几何信息变化很小,不用每次都在整帧图像的范围内搜索时间标记的位置。在本发明的第一实施例的视频质量评价系统中,时间标记识读器408在提取时间标记的几何信息时,会参考上一次时间标记的几何信息以加快提取速度。
[0155] 在本发明的第一实施例的视频质量评价系统中,时间标记识读器408在识读时间标记连续失败累计达5次以上时,将向时间标记器410发出增加时间标记几何形状面积的参数控制信号516。时间标记器在特定时段接收到控制信号516时,把控制时间标记几何形状面积的控制参数s加1,直接导致生成的时间标记信号中的矩形二维码图像区域面积变大,其中的二维码抵抗图像模糊和噪音的能力更强。当矩形二维码图像区域面积超过视频图像面积的5%时,增加s不再能调节使二维码图像变得更大。
[0156] 在本发明的第一实施例的视频质量评价系统中,视频信号对准器411实接收参考信号511以及已经识读了时间标记的多路待测视频信号512、513,按步上述图1中的步骤S104把参考信号、待测视频信号进行时间对准、空间对准,并组成视频图像对准组序列,输出对准信号514,送给视频质量评价装置。对准信号包括:视频图像对准组序列、视频帧间编辑操作信息。对准信号的频率和参考信号相同,每个对准图像203、204的宽、高和参考对准图像202相同。在对准情况下,对准信号中的每个对准图像的时间关联信息(帧编号)都和参考对准图像的相同。
[0157] 在本发明的第一实施例的视频质量评价系统中,视频质量评价装置302由质量指标评价器412和评价数据展示器413构成。质量指标评价器412接收视频图像对准组序列信号514,把每份图像对准组的设备对准图像的Y分量都计算一次质量指标,质量指标可以包括:PSNR(Peak Signal to Noise Ratio,即峰值信噪比)、EPSNR(边缘检测模型)、SSIM(structural similarity index,结构相似性)、MS-SSIM质量指标中的一项或多项,并随同对准组一起作为实时质量数据送给评价数据展示器413进行实时展示。
[0158] 具体而言,Peak signal to noise ratio(PSNR,峰值信噪比)指标,描述一种信号经传输或者处理,信号峰值强度相比于引入噪声强度的分贝值。在本发明的实施例中用来作为衡量待测视频的客观质量指标之一。在对待测信号经过相对于参考信号的时间对准、空间对准之后,可以逐点比较待测信号和参考信号中结成图像对准组的帧图像。对于每一个图像对准组中的待测图像,可以对比参考图像计算出一个PSNR评分,其数值越大则表示与参考图像越接近,被认为是质量越好。现以计算某一个图像对准组的待测图像的亮度分量的PSNR值为例来说明计算方法,设图像对准组中图像的宽都是W像素、高都是H像素,参考图像上像素坐标(i,j)点的亮度值为IB(i,j),待测图像上像素坐标(i,j)点的亮度值为IA(i,j),亮度值的最大值(峰值)为Imax,则可以通过下式来计算这个对准组中的待测图像的亮度分量的PSNR:
[0159]
[0160] 当图像的亮度位深度为8位时,Imax为255。当待测图像和参考图像完全相同时,PSNR为无穷大。
[0161] Edge peak signal to noise ratio(EPSNR,边缘峰值信噪比)指标,是在对视频进行客观质量评价时,基于PSNR指标的一种改进,考虑到人眼对物体的光影边缘比较敏感的视觉特性,只在物体的光影边缘对图像求PSNR得到的指标就更符合人眼的视觉感受。可以按下方方法来求一个图像对准组的待测图像的EPSNR:
[0162] (a)使用一种边缘过滤器对参考图像的亮度分量进行过滤以获得参考图像的边缘图像EA。
[0163] (b)使用同一种边缘过滤器对待测图像的亮度分量进行过滤以获得待测图像的边缘图像EB。
[0164] (c)把两幅边缘图像叠加,并做成二值化的边缘取点图像模板:E=binary(EA+EB)。设边缘图像模板E上像素p点处的亮度值为IE(p),因为是二值化图像,所以它的亮度值只有
1和0。例如对于8位深度的亮度分量图像,以128为阈值对EA+EB进行逐点检测,当p点的亮度和IA(p)+IB(p)大于128时设置E模板在p点处的亮度1,即IE(p)=1,否则设置为0。所有像素点都检测了一遍之后就可以得到边缘图像模板E了:
[0165]
[0166] (d)按边缘图像模板E对待测图像的亮度分量来计算PSNR,就得到了EPSNR:
[0167]
[0168] Structural Similarity(SSIM,结构相似度)指标,着重从图像的相似程度上来描述信号经传输或者处理的质量。在本发明的有些实施例中计算一个视频图像的对准组中的待测信号的SSIM指标时,通过把参考图像和待测图像都按N×N的网格来划分成(W/N)×(H/N)个方格区域,然后依次对比待测图像和参考图像的对应方格区域的图像并计算这对方格的SSIM值,取所有方格的SSIM值的平均值作为一帧待测图像的SSIM指标。方格的宽度N不宜取得过大,可以取N=8比较合适。设参考图像的方格K的图像为x,其上的像素坐标为(i,j)的点的亮度值为xij;对应的待测图像的方格K的图像为y,其上的像素坐标为(i,j)的点的亮度值为yij;亮度值的最大值(峰值)为Imax,则可以按下式来计算这对方格的SSIM值:
[0169]
[0170] 式中C1、C2为常数,缺省情况下可以设为:
[0171]
[0172] 式中用μ表示方格图像的平均亮度,如x图像的平均亮度计算如下:
[0173]
[0174] 式中用σxy表示两个方格图像的亮度协方差的平方根,计算如下:
[0175]
[0176] 式中用σx表示x图像的亮度标准差,用σy表示y图像的亮度标准差,如σx计算如下:
[0177]
[0178] 对网格划分出来的所有方格求SSIM(x,y),最后求它们的平均值,就得到了一个图像对准组中的待测图像的SSIM。
[0179] 更加精致地,上面的SSIM(x,y)是通过下面的算式简化出来的:
[0180] SSIM(x,y)=l(x,y)α·c(x,y)β·s(s,y)γ
[0181] 其中的三个因子分别为:
[0182]
[0183]
[0184]
[0185] l(x,y)是由经C1调节过的两个方格图像的亮度的调和平均值,用来描述两个图像的亮度相似程度。c(x,y)是由经C2调节过的两个图像的对比度的调和平均值,用来描述两个图像的对比度相似程度。s(x,y)是由经C3调节过的两个图像的线性相关系数,用来描述两个图像的形状相似程度。一般情况下,取α=β=γ=1,取C3=C2/2,代入式子经化简后得到前面的分式形式的SSIM(x,y)。
[0186] 在另一些实施例中,也可以使用N×N的窗口从图像的第一个像素滑到最后一个像素来裁取方格图像的方法,这种方法的计算量是上述方法的N×N倍,计算结果也更精细。
[0187] Multi-scale structural similarity(MS-SSIM,多尺度结构相似度)指标,是在对视频进行客观质量评价时,基于SSIM指标的一种改进,考虑到人眼对视场中的结构特征具有高度的自适应能力,综合考虑多个不同尺度下的结构相似度相比于单尺度的SSIM指标被认为更能反映人眼的视觉感受。一般情形,多尺度结构相似度是把参考图像和待测图像都逐级缩小出多个不同的缩小尺度图像,例如从原图像以1为尺度索引开始,宽和高均缩小到原来的一半得到以2为尺度索引的图像,相继操作并得到m个不同尺度的图像,然后再按N×N窗口在不同尺度的图像中分别裁出参考图像和待测图像的方形子图像,计算出从1到m的不同尺度下的SSIM的三个相似度因子lj(x,y)、cj(x,y)、sj(x,y),MS-SSIM是这一系列因子的函数。
[0188] 可以使用多种方法来构造多尺度结构相似度的方法。例如在有些实施例中可以把m设为4,即只评价4个不同尺度,仍然把N设为8,即以8×8像素的方形窗口来从不同尺度图像中取子图像,仍然取C1=(0.01×Imax)2、C2=(0.03×Imax)2、C3=C2/2,对每个尺度求SSIM的三个相似度因子的平均值得到相应尺度下的lj(x,y)、cj(x,y)、sj(x,y)。比较简单的一种是在不同的尺度下求得各自的SSIM,然后再平均。在公式中为了区别于SSIM(x,y),使用SSIMj(x,y)表示第j尺度下的结构结构相似度指标,使用SSIMm(x,y)来表示多尺度的结构相似度指标。即:
[0189]
[0190] 另一种构造多尺度结构相似度的方法使用的是多尺度下的一种加权几何平均值,构造如下式:
[0191]
[0192] 使用这种方法构造MS-SSIM指标时应附加约束条件:αj=βj=γj且即只取最后一个亮度相似因子lj(x,y),与其它各尺度的对比度相似
因子cj(x,y)和形状相似因子sj(x,y)之积的一个加权几何平均值相乘,作为综合指标。当取m=5时,可以取加权几何平均的指数权重β1=γ1=0.0448、β2=γ2=0.2856、β3=γ3=
0.3001、β4=γ4=0.2363、α5=β5=γ5=0.1333时能得到较有代表性的MS-SSIM指标。在本发明的第一实施例的视频质量评价系统中,评价数据展示器413展示的内容可以包括:参考信号的宽、高、帧率,每个待测视频信号的5秒平均指标(Y分量的如下指标中的一项或多项:
PSNR、EPSNR、SSIM、MS-SSIM)及历史曲线,每个待测视频信号的输出帧率、有效输出帧率,每个待测视频信号的帧间编辑历史曲线。
[0193] 第二实施例
[0194] 下面结合图3至图5、图7及图8描述本发明的第二实施例。在本发明的第二实施例的视频质量评价系统中,也可采用自动方式工作,整体工作结构和方式与第一实施例相同,不同之处在于:第二实施例中时间标记器410采用了不同的时间标记几何形状及内部编码图像的构成方式,相应的,时间标记识读器408的时间标记识读方式也不相同。
[0195] 在本发明的第二实施例的视频质量评价系统中,时间标记器410采用的时间标记的几何形状和结构如图7所示的,分布在图像四周的带状边框区域内,分别被四个定位块704、708、710、706、四个编码图像区域702、709、707、705覆盖,而内部矩形区域703则是透明部分。
[0196] 在本发明的第二实施例的视频质量评价系统中,时间标记中的条码编码图像701示意了放置在四个编码图像区域中的图像内容,是按条码code-128对时间关联信息进行编码得到的二值图像,经对称变换后分别放置到四边的四个编码图像区域。
[0197] 在本发明的第二实施例的视频质量评价系统中,时间标记中的四个定位块是实心黑正方形,其边长由时间标记的几何形状控制参数s来调节控制。s越大,时间标记的四周覆盖原图像区域面积越大,抵抗图像模糊和噪音的能力越强。
[0198] 在本发明的第二实施例的视频质量评价系统中,时间标记的几何形状信息由整体矩形的四个角点组成包括:定位块704的左上角、定位块708的右上角、定位块710的右下角、定位块706的左下角,在生成的参考信号中这四个角点正好就是整张图像的四角。
[0199] 在本发明的第二实施例的视频质量评价系统中,时间标记的几何形状被叠加在YUV420P图像的Y分量上,中央区域703透过参考图像中的Y分量上的内容。参考信号中的帧图像的Y分量时间标记效果如图8所示意。
[0200] 在本发明的第二实施例的视频质量评价系统中,时间标记识读器408通过搜索定位块来快速定位时间标记的几何形状,并裁出四个编码图像区域,识读出其中的任何一个code-128条码,如果一个失败可识读另一个。如果四个都失败算作时间标记识读失败。时间标记识读失败逻辑与本发明第一实施例的处理相同。
[0201] 第三实施例
[0202] 在本发明的第三实施例的视频质量评价系统中,可采用手动执行各个步骤的方式工作。在本实施例的工作方式下,对本发明的步骤按三组操作进行了分配,包括:
[0203] “标记”操作,包括:如图1所示的步骤S101。
[0204] “对准”操作,包括:如图1所示的步骤S102、步骤S103、步骤S104。
[0205] “评价”操作,包括:如图1所示的步骤S105。
[0206] 当需要评价一个待测系统时,操作的步骤为:“标记”,“对准”,“评价”。
[0207] 当需要评价两个待测系统时,可以组合操作的步骤为:“标记”,“对准”待测系统A,“对准”待测系统B,“评价”待测系统A和B;也可以换一种操作的组合:“标记”,“对准”待测系统A,“评价”A,“对准”待测系统B,“评价”B。
[0208] 无法使用本实施例实现与视频采集相同步的评价,只能先制作出一段有限时长的参考视频文件,然后再重复使用这个参考视频文件来进行评价。
[0209] 在本发明的第三实施例的视频质量评价系统中,“标记”操作,需要使用视频信号对准装置301,使之工作在“标记”模式下,并保存成参考视频文件。可以选择保存参考视频文件的视频格式。如图5、图6所示,在这种工作模式中,视频信号对准装置中的数据流动路径为:视频采集系统或者加载视频文件(以箭头501表示),输入适配器409(以箭头509表示),时间标记器410(以箭头510表示),输出适配器402,保存成视频文件(以箭头502表示)。
[0210] 在本发明的第三实施例的视频质量评价系统中,“标记”操作,视频信号对准装置默认会保存出无损YUV位像的y4m格式视频文件。使用这种格式的优点是可以使评价更加准确,缺点是这种格式的视频文件将占用超大的存储空间。可以选择保存成有损的mp4视频文件,缺点是有视频编码器介入视频处理当中,会对随后的质量评价带来负面影响,操作者可以尝试在保存mp4时通过选择固定质量、高质量的附加参数来尽量降低这种负面影响。
[0211] 在本发明的第三实施例的视频质量评价系统中,“标记”操作,视频信号对准装置中无法动态调节时间标记的形状参数控制信号(如箭头516表示),而应该根据经验值来预先设置,形状参数控制量s的默认配置为3。
[0212] 在本发明的第三实施例的视频质量评价系统中,“对准”操作,需要使用视频信号对准装置301,使之工作在“对准”模式下,使用先前保存的参考视频文件,一次连接一个待测系统,保存一个对准视频文件以及一个帧编辑日志文件。当需要评价多个待测系统时,可以多次重复本图1所示的步骤S102,每个待测系统的每次“对准”均得到一个对准视频文件和一个帧编辑日志文件,在对准视频文件中只包含了时间对准和空间对准后的待测视频信号的中视频图像或者空白占位图像,尺寸和“标记”操作保存的参考视频文件的宽高和帧率都相同。默认保存的对准视频文件的格式为无损的y4m,但可以选择保存为有损的mp4。
[0213] 在本发明的第三实施例的视频质量评价系统中,“对准”操作,如图5、图6所示,在“对准”工作模式中,视频信号对准装置中的数据流动路径有两条,一条为参考流,另一条为待测流。参考流为:从输出适配置402加载参考视频文件(如箭头502所示),不处理占位403(403表示使用一个“不对信号做加工处理”的“占位”系统来代替“待测系统”)(如箭头504所示),输入适配器404(如箭头503所示),时间标记识读器408(如箭头512所示)到达视频信号对准器411。待测流为:从输出适配置405(可复用输出适配置402的输出,如箭头506所示),待测系统406(如箭头507所示),输入适配器407(如箭头508所示),时间标记识读器408(如箭头513所示)到达视频信号对准器411。在这种模式下也需要对参考视频充当的参考信号进行一次时间标记的识读。
[0214] 在本发明的第三实施例的视频质量评价系统中,“评价”操作,需要使用视频质量评价装置302加载参考视频文件、一个或多个待测对准视频文件,以“播放”的方式同时播放参考视频文件及待测对准视频文件,并计算视频质量指标(PSNR、EPSNR、SSIM、MS-SSIM)评价。可以“暂停”播放,停下来仔细了解各视频信号在指定时刻的详细信息如图像内容、视频质量指标评分等。
[0215] 在本发明的第三实施例的视频质量评价系统中,“评价”操作,可选的,可以在评价待测对准视频文件时一并加载相应的对准日志文件,可以展示待测系统的帧编辑操作以及有效输出帧率信息。
[0216] 目前在视频质量评价的视频对准过程中应用的各类视频配准算法着重关注两个视频在内容上的差异的最小化计算,这些算法大多数都有如下特征:计算量大、耗时长,只适应空间、时间发生了小范围变化的对准,只适合运动内容较多、图像高频信息较多等内容变化大的视频场景。不适合静态内容的场景和变化缓慢的场景,不适合输出视频的帧率与参考视频不一致或帧率在动态调节的应用场合,较难做到直接使用实时采集视频进行实时评价,难以实现多系统的实时对比评价等。目前的大多数视频质量评价系统无法给出视频处理系统的有效输出帧率数据以及相关的帧间编辑数据。
[0217] 本发明打破了客观全参考视频质量评价方法中使用最小化特征量的时间、空间图像配准算法进行时间对准和空间对准的传统思维,创新地采用时间标记视频信号作为参考信号来进行客观全参考视频质量评价,可以直接而准确地从待测视频信号中识读出时间标记的几何形状信息和时间关联信息。通过识读出的时间关联信息的比较快速地实现了准确的时间对准,并且能够准确监测待测视频信号中发生的帧间编辑操作。通过识读出的时间标记的几何形状信息快速实现了准确的空间对准。本发明可以实时、准确地对多个待测系统的输出信号的视频质量进行对比,并且还能给出待测系统的帧间编辑操作信息和待测系统的有效输出帧率等传统视频质量评价中所难以给出的信息。本发明中采用的时间标记视频信号具有抗干扰能力,并且具有识读错误反馈调节时间标记几何形状更进一步提高抗干扰能力,使得本发明能够适应客观全参考视频质量评价的各种大量的应用场景。
[0218] 以上具体地示出和描述了本发明的示例性实施方式。应该理解,本发明不限于所公开的实施方式,相反,本发明意图涵盖包含在所附权利要求范围内的各种修改和等效置换。