基于背景消除的小波域视频质量评价方法

摘要

本发明公开了一种基于背景消除的小波域视频质量评价方法，第一步：视频序列全局质量第二步：采用背景消除法计算视频的局部质量第三步：计算视频的总体质量，即根据所得到的视频序列的局部质量和全局质量，视频质量评价模型本发明旨在提高视频客观质量评价与人眼的主观质量评价的一致性；对于不同的失真类型、不同的场景均能够有较好的视频评价性能，并且该算法具有较低的复杂度，能够实现实时质量评价。

权利要求

1.一种基于背景消除的小波域视频质量评价方法，其特征在于，该方法包括以下步骤：第一步：计算全局质量，采用4级haar离散小波变换分别对参考视频RN和失真视频DN的每一帧进行分解，其分解系数分别表示如下：CR(λ,θ,t,i)＝DWT(Rt)  (1)

CD(λ,θ,t,i)＝DWT(Dt)  (2)

其中，CR(λ,θ,t,i),CD(λ,θ,t,i)分别表示参考视频和失真视频中t帧的小波分解系数，t∈[1,N]、Rt,Dt分别表示参考、失真视频序列中第t帧；{λ,θ}分别表示用于索引图像不同尺度和不同方向的系数子带，θ＝2,3,4分别表示水平，斜对角线和垂直的子带，θ＝1表示近似子带；i表示第t帧、λ尺度、方向为θ的小波系数的位置；

通过视频每一帧的小波域不同尺度和不同方向的细节子带系数，分别获得参考视频和失真视频不同尺度下的边缘系数ER(λ,t,i),ED(λ,t,i)：利用上式分别计算第t帧尺度为λ的边缘系数相似性：

式中，T为正常数，ESIM(λ,t,i)表示参考、失真视频中第t帧、λ尺度、位置i处的局部相似性，当ER,ED完全一样时，取值为1；

通过计算局部相似性的标准差，获取视频序列单帧图像的不同尺度的质量ESIMD(λ,t)：其中，Nc为视频中第t帧、λ尺度的系数矩阵中的系数总数；

视频序列的单帧质量为：

其中，l表示haar小波变换级数，在本文中取值为4；

则，视频序列全局质量Qglobal表示为：

第二步：采用背景消除法计算视频的局部质量，即首先将参考视频和失真视频以视频序列连续的3帧为一组，构建为每组互相不重叠的视频块；其次，结合均值背景法，将参考视频帧组均值作为该帧组的背景，取代帧差法中以前一帧作为背景，以帧组的中间一帧作为空域失真位置的体现，其余两帧减去背景得到前景帧来体现时空域的特征，从而将中间帧和两个前景帧共同构成时空域视频块；

参考视频RN和失真视频DN对应的时空域视频块中的第t帧FtR,FtD计算公式如下：其中，Bg表示第g组视频帧组的背景图像，g∈{1,2,...,floor(N/3)}，N表示视频序列的总帧数，m表示帧组的中间帧相对整个视频序列的位置，m＝3g-1，t表示当前帧相对整个视频序列的位置；

根据式(8)计算视频序列单帧质量的方法，对视频时空域视频块中的每一帧质量进行衡量，从而获取视频帧组的质量Qg：对所获取的视频序列多组时空域视频块质量进行排序，并提取质量较差部分的H％作为视频序列的最终局部质量Qlocal：其中，H表示视频序列帧组的质量集合{Q1,Q2,...,Qg,...,Qfloor(N/3)}中经过排序后最差部分的H％的集合，NH表示集合中的元素总数；

第三步：计算视频的总体质量，即根据所得到的视频序列的局部质量和全局质量，视频质量评价模型BSWQ如下：

说明书

基于背景消除的小波域视频质量评价方法

技术领域

[0001] 本发明涉及视频质量评价领域，特别是涉及一种小波域视频质量评价模型。

背景技术

[0002] 视频质量评价算法能够衡量不同程度的失真，近年已成为视频领域的热门研究方向。视频质量评价方法可分为主观评价和客观评价，主观质量评价主要是通过人眼视觉效果来评价视频质量，被认为是最可靠的质量评价方法。因此通常采用主观评价结果与客观评价结果的一致性作为客观评价算法的性能评价指标。

[0003] 失真视频的感知质量是全局质量和局部质量共同作用的结果。全局质量是观测者对于视频质量的粗略印象，由视频序列全部帧的质量求均值后获取；局部质量主要由人眼视觉关注、序列间质量变化等特性确定。通过分别计算视频序列的全局、局部质量，得到视频的总体质量。

[0004] 目前国际上存在多种客观视频质量评价方法，其中平均标准差(MSE)、峰值信噪比(PSNR)、结构相似性(SSIM)和多尺度结构相似性(MS-SSIM)由于模型简单，在图像和视频质量评价中广泛运用，但这些方法与人眼视觉感知的一致性差。Kalpana等人对此进行改进，利用Gabor滤波器对图像进行多通道分解，对各通道进行运动估计，提出了基于运动的时空域视频质量评价算法(MOVIE)。Phong等人结合图像质量评价模型MAD、时空域相关性以及基于人眼视觉系统的模型分别对视频序列的空间失真、时空域失真进行衡量，从而提出了基于空域和时空域切片梯度相似度的视频质量评价算法(VIS3)。根据人类视觉系统在理解视频时主要依靠图像内在的各种边缘结构信息的特点，PengYan等人提出基于时空切片梯度相似度的视频质量评价方法。这些方法能够获得较高的准确性，但是复杂度高，限制了模型的实用性。

[0005] 与图像质量评价不同，视频质量评价不仅与空域失真相关，还与时域的变化相关。时域的变化包含运动信息以及时域的失真信息，而观测者在观察视频的时候，注意力会被突然出现的物体、运动剧烈的物体和时域失真信息如重影等所影响，也就是说，前景信息是人眼的关注重点之一。帧差法是一种简单的运动物体提取方法，具有背景更新快，自适应能力强等特点。帧差法由于其简单快速的特性在视频质量评价中广泛运用于提取视频序列的运动信息。Loh等人将参考视频、失真视频的当前帧分别与参考视频的前向两帧相减，提出一种基于SSIM的时域视频质量评价方法，该方法速度快，但是与人眼视觉感知一致性、通用性都较差，这是因为帧差法对于较大的、颜色一致的运动目标，有可能在目标内部产生空洞，从而无法完整的提取运动目标。但是在视频质量评价中直接应用会影响模型的准确性，因为在连续多帧存在相同失真信息的情况下，帧差法会将这些失真信息滤除，而相同失真类型的累加对视频质量的影响更大。

[0006] 由于人眼视觉系统的复杂性，当前存在的视频质量评价算法在时效性和准确性上并没有达到很好的均衡。

发明内容

[0007] 考虑人眼视觉系统对于边缘结构信息、运动物体和失真信息的高关注度，本发明提出了一种基于背景消除的小波域视频质量评价方法，考虑人眼视觉系统对于边缘结构信息、运动物体和失真信息的高关注度，以改进的帧差法提取视频序列的运动信息，构建包含了运动信息和失真信息的时空域视频块，结合Haar小波变换在提取边缘信息上的优势，实现了小波域视频质量评价方法(BSWQ)。

[0008] 本发明的一种基于背景消除的小波域视频质量评价方法，该方法包括以下步骤：

[0009] 第一步：计算全局质量，采用4级haar离散小波变换(DWT)分别对参考视频RN和失真视频DN的每一帧进行分解，其分解系数分别表示如下：

[0010] CR(λ,θ,t,i)＝DWT(Rt)  (1)

[0011] CD(λ,θ,t,i)＝DWT(Dt)  (2)

[0012] 其中，CR(λ,θ,t,i),CD(λ,θ,t,i)分别表示参考视频和失真视频中t帧的小波分解系数，t∈[1,N]、Rt,Dt分别表示参考、失真视频序列中第t帧；{λ,θ}分别表示用于索引图像不同尺度和不同方向的系数子带，θ＝2,3,4分别表示水平，斜对角线和垂直的子带，θ＝1表示近似子带；i表示第t帧、λ尺度、方向为θ的小波系数的位置；

[0013] 通过视频每一帧的小波域不同尺度和不同方向的细节子带系数，分别获得参考视频和失真视频不同尺度下的边缘系数ER(λ,t,i),ED(λ,t,i)：

[0014]

[0015]

[0016] 利用上式分别计算第t帧尺度为λ的边缘系数相似性：

[0017]

[0018] 式中，T为正常数，ESIM(λ,t,i)表示参考、失真视频中第t帧、λ尺度、位置i处的局部相似性，当ER,ED完全一样时，取值为1；

[0019] 通过计算局部相似性的标准差，获取视频序列单帧图像的不同尺度的质量ESIMD(λ,t)：

[0020]

[0021]

[0022] 其中，Nc为视频中第t帧、λ尺度的系数矩阵中的系数总数。

[0023] 视频序列的单帧质量为：

[0024]

[0025] 其中，l表示haar小波变换级数，在本文中取值为4。

[0026] 则，视频序列全局质量Qglobal表示为：

[0027]

[0028] 第二步：采用背景消除法计算视频的局部质量，即首先将参考视频和失真视频以视频序列连续的3帧为一组，构建为每组互相不重叠的视频块；其次，结合均值背景法，将参考视频帧组均值作为该帧组的背景，取代帧差法中以前一帧作为背景，以帧组的中间一帧作为空域失真位置的体现，其余两帧减去背景得到前景帧来体现时空域的特征，从而将中间帧和两个前景帧共同构成时空域视频块；

[0029] 参考视频RN和失真视频DN对应的时空域视频块中的第t帧 计算公式如下：

[0030]

[0031]

[0032]

[0033] 其中，Bg表示第g组视频帧组的背景图像，g∈{1,2,...,floor(N/3)}，N表示视频序列的总帧数，m表示帧组的中间帧相对整个视频序列的位置，m＝3g-1，t表示当前帧相对整个视频序列的位置；

[0034] 根据式(8)计算视频序列单帧质量的方法，对视频时空域视频块中的每一帧质量进行衡量，从而获取视频帧组的质量Qg：

[0035]

[0036] 对所获取的视频序列多组时空域视频块质量进行排序，并提取质量较差部分的H％作为视频序列的最终局部质量Qlocal：

[0037]

[0038] 其中，H表示视频序列帧组的质量集合{Q1,Q2,...,Qg,...,Qfloor(N/3)}中经过排序后最差部分的H％的集合，NH表示集合中的元素总数；

[0039] 第三步：计算视频的总体质量，即根据所得到的视频序列的局部质量和全局质量，视频质量评价模型BSWQ如下：

[0040]

[0041] 本发明提出的基于背景消除的小波域的视频质量评价算法旨在提高视频客观质量评价与人眼的主观质量评价的一致性；该算法对于不同的失真类型、不同的场景均能够有较好的视频评价性能，并且该算法具有较低的复杂度，能够实现实时质量评价。

附图说明

[0042] 图1为小波子带系数索引图；

[0043] 图2为本发明的基于背景消除的小波域视频质量评价方法整体流程图；

[0044] 图3为BSWQ客观评分与DMOS的拟合曲线图。

具体实施方式

[0045] 下面将结合附图对本发明的实施方式作进一步的详细描述。

[0046] 具体的实现步骤如下：

[0047] 第一步：计算全局质量：由人类视觉特性曲线可知，人眼最为敏感的是中频带，也就是图像的主要轮廓。合适的图像轮廓提取方法对于视频、图像质量评价模型具有重要的作用。小波变换是一种对频率信息进行提取的方法，可以将图像分解为不同尺度下的子带图像，从而将图像的边缘信息表达为不同尺度下的小波系数。Haar小波变换以其复杂度低和效果好的优点在图像、视频质量评价以及压缩中被广泛使用，基于此，本发明采用4级haar离散小波变换(DWT)分别对参考视频RN和失真视频DN的每一帧进行分解，其分解系数分别表示如下：

[0048] CR(λ,θ,t,i)＝DWT(Rt)  (1)

[0049] CD(λ,θ,t,i)＝DWT(Dt)  (2)

[0050] 其中，CR(λ,θ,t,i),CD(λ,θ,t,i)分别表示参考视频和失真视频中t帧的小波分解系数，t∈[1,N]、Rt,Dt分别表示参考、失真视频序列中第t帧；{λ,θ}分别表示用于索引图像不同尺度和不同方向的系数子带，θ＝2,3,4分别表示水平，斜对角线和垂直的子带，θ＝1表示近似子带；以2级离散小波分解为例，其索引如图1所示。i表示第t帧、λ尺度、方向为θ的小波系数的位置。

[0051] 通过视频每一帧的小波域不同尺度和不同方向的细节子带系数，分别获得参考视频和失真视频不同尺度下的边缘系数ER(λ,t,i),ED(λ,t,i)：

[0052]

[0053]

[0054] 利用上式分别计算第t帧尺度为λ的边缘系数相似性：

[0055]

[0056] 式中，T为正常数，主要用于保证ESIM的稳定性，ESIM(λ,t,i)表示参考、失真视频中第t帧、λ尺度、位置i处的局部相似性，当ER,ED完全一样时，取值为1。

[0057] 通过计算局部相似性的标准差，获取视频序列单帧图像的不同尺度的质量ESIMD(λ,t)：

[0058]

[0059]

[0060] 其中，Nc为视频中第t帧、λ尺度的系数矩阵中的系数总数。

[0061] 视频序列的单帧质量为：

[0062]

[0063] 其中，l表示haar小波变换级数，在本文中取值为4。

[0064] 则，视频序列全局质量Qglobal表示为：

[0065]

[0066] 第二步：计算视频的局部质量：所采用的是背景消除法，具体作法是：首先将参考视频和失真视频以视频序列连续的3帧为一组，构建为每组互相不重叠的视频块(由于视频编解码标准(如H.264、HEVC)通常采用2帧以上的图像作为参考帧进行运动估计和运动补偿，即当前帧与前后一帧的相关性最强)；其次，结合均值背景法，将参考视频帧组均值作为该帧组的背景，取代帧差法中以前一帧作为背景的方法，从而在避免将连续帧的失真信息滤除的同时，有效提取视频序列的前景信息。由掩模效应可知，背景下的信号，在不同的空间位置，信号的可见度具有明显的差异性。当失真信息位于复杂度较高的背景上时，对视频质量退化的影响并不大，因而失真信息的空间位置对于视频质量评价具有重要影响。根据视频质量评价是时空域信息相互作用的结果，为同时考虑背景复杂度、运动信息和失真信息对于视频质量的影响，以帧组的中间一帧作为空域失真位置的体现，其余两帧减去背景得到前景帧来体现时空域的特征，从而将中间帧和两个前景帧共同构成时空域视频块。参考视频RN和失真视频DN对应的时空域视频块中的第t帧 计算方式如下：

[0067]

[0068]

[0069]

[0070] 其中，Bg表示第g组视频帧组的背景图像，g∈{1,2,...,floor(N/3)}，N表示视频序列的总帧数，m表示帧组的中间帧相对整个视频序列的位置，m＝3g-1，t表示当前帧相对整个视频序列的位置。

[0071] 根据式(8)计算视频序列单帧质量的方法，对视频时空域视频块中的每一帧质量进行衡量，从而获取视频帧组的质量Qg：

[0072]

[0073] 质量的值越大，该视频帧组的质量越差。

[0074] 由于失真视频的时域感知质量通常由视频序列中质量较差的部分帧所确定，因此本文采用最差质量汇聚法，首先对所获取的视频序列多组时空域视频块质量进行排序，并提取质量较差部分的H％作为视频序列的最终局部质量Qlocal：

[0075]

[0076] 其中，H表示视频序列帧组的质量集合{Q1,Q2,...,Qg,...,Qfloor(N/3)}中经过排序后最差部分的H％的集合，NH表示集合中的元素总数；

[0077] 第三步：计算视频的总体质量：根据所得到的视频序列的局部质量和全局质量，视频质量评价模型BSWQ如下：

[0078]

[0079] 。模型的预测值越大，视频质量越高。

[0080] 具体实施例举例说明如下：

[0081] 1)拟选取T＝1700，H＝15；

[0082] 2)然后按照公式(1)-(9)计算视频序列的全局质量；

[0083] 3)将视频序列分为3帧一组，利用公式(10)(11)(12)对分别对帧组进行处理，构建时空域视频块，进而以公式(13)计算分别计算得每个帧组的质量；

[0084] 4)在获取每个帧组质量后，利用公式(14)计算得视频序列的局部质量；

[0085] 5)结合视频序列的全局质量和局部质量，利用公式(15)计算得视频序列的总体质量。

[0086] 6)性能测试：

[0087] 所提出的质量评价方法选用LIVE视频数据库进行测试，其中包含有10种不同场景的参考视频以及150个失真视频序列。每种视频源包括4种不同水平的失真类型(Wireless失真、IP失真、H.264压缩和MPEG-2压缩)，IP失真有3种不同水平，而其余三种失真类型均各自有4中不同程度的失真，即每种场景下的参考视频都含有15个失真视频。本算法使用视频质量专家组(VQEG)提出的4种评价指标中常用的两种作为评价指标：斯皮尔曼等级次序相关系数(SROCC)、皮尔森线性相关系数(PLCC)。较大的SROCC值和PLCC值表示视频质量评价算法具有较好的准确性和一致性。

[0088] 表1为本发明方法对不同失真类型视频的评价性能，可以看出，采用背景消除算法对在对各种失真类型视频都具有很好的性能，具有较好的鲁棒性。

[0089] 表2为本发明方法对于150个失真视频的评价性能，可以看出，采用背景消除算法具有很好的通用性。

[0090] 表3为本发明方法对于一个250帧视频pa2_25fps.yuv的运行时间，表明了该算法可用于视频的实时评价。

[0091] 表1

[0092]

[0093] 表2

[0094]评价指标 SROCC PLCC
BSWQ 0.8265 0.8437

[0095] 表3

[0096]质量评价方法 时间(s)
所提出的算法 28.58

[0097] 图3为所提出质量评价模型BSWQ的预测值与LIVE视频库中差异平均主观分数(DMOS)的散点图。图中实线是Logistic函数对视频序列的客观评价结果与主观数据的非线性拟合曲线，包括了Wireless失真、IP失真、H.264失真、MPEG失真。若离散点均匀分布于拟合曲线周围，则表示模型的预测值与主观数据的相关性越强。