本发明公开了一种面向压缩失真的立体视频质量客观评价方法，其将立体视频质量分为左右视点质量和深度感知质量两部分，在左右视点质量评价部分，考虑到视频图像受到压缩失真会产生块效应和模糊的特点，提取梯度信息作为图像特征，同时考虑到人眼的时空域视觉特性，从而得到左视点质量和右视点质量；在深度感知质量评价部分，通过三维小波变换提取三维视差空间图中的低频成分，并将其质量作为立体视频的深度感知质量；最后，将左视点质量、右视点质量和深度感知质量相结合，得到最终的失真立体视频质量；优点是从左右视点平面视频质量的角度和立体视频深度感的角度完成对立体视频的客观质量评价，有效地提高了客观评价结果与主观感知之间的相关性。
1.一种面向压缩失真的立体视频质量客观评价方法，其特征在于包括以下步骤：
①令Vorg表示原始的无失真的立体视频，令Vdis表示待评价的失真的立体视频，将Vorg中的第f帧立体图像记为 将 的左视点图像和右视点图像对应记为 和 将Vdis中的第f帧立体图像记为 将 的左视点图像和右视点图像对应记为 和 其中，1≤f≤Nf，Nf表示Vorg和Vdis各自所包含的立体图像的数量；
②利用水平Sobel算子，计算Vorg中的每帧立体图像的左视点图像的水平梯度图，将的水平梯度图记为 同样，利用水平Sobel算子，计算Vdis中的每帧立体图像的左视点图像的水平梯度图，将 的水平梯度图记为并，利用垂直Sobel算子，计算Vorg中的每帧立体图像的左视点图像的垂直梯度图，将的垂直梯度图记为 同样，利用垂直Sobel算子，计算Vdis中的每帧立体图像的左视点图像的垂直梯度图，将 的垂直梯度图记为③计算Vorg中的每帧立体图像的左视点图像中的每个像素点的梯度场，将 中坐标位置为(u,v)的像素点的梯度场记为同样，计算Vdis中的每帧立体图像的左视点图像中的每个像素点的梯度场，将 中坐标位置为(u,v)的像素点的梯度场记为其中，u表示像素点的水平坐标位置，v表示像素点的垂直坐标位置，1≤u≤U，1≤v≤V，U表示Vorg和Vdis中的立体图像水平方向上的像素点的数量，V表示Vorg和Vdis中的立体图像垂直方向上的像素点的数量， 表示 中坐标位置为(u,v)的像素点的像素值，表示 中坐标位置为(u,v)的像素点的像素值， 表示 中坐标位置为(u,v)的像素点的像素值， 表示 中坐标位置为(u,v)的像素点的像素值；
④根据Vorg中的每帧立体图像的左视点图像中的每个像素点的梯度场和Vdis中对应的一帧立体图像的左视点图像中对应坐标位置的像素点的梯度场，确定Vorg中的每帧立体图像的左视点图像中的每个像素点为显著点还是为非显著点，同时确定Vdis中的每帧立体图像的左视点图像中的每个像素点为显著点还是为非显著点，然后获取Vorg中的每帧立体图像的左视点图像的显著点图和Vdis中的每帧立体图像的左视点图像的显著点图，将 的显著点图记为 将 的显著点图记为⑤计算Vorg中的每帧立体图像的左视点图像的显著点图与Vdis中对应的一帧立体图像的左视点图像的显著点图之间的差值图，将 与 之间的差值图记为然后利用恰可觉察失真模型，根据Vorg中的每帧立体图像的左视点图
像的显著点图与Vdis中对应的一帧立体图像的左视点图像的显著点图之间的差值图，确定Vorg中的每帧立体图像的左视点图像中的每个像素点为可见失真点还是为不可见失真点，同时确定Vdis中的每帧立体图像的左视点图像中的每个像素点为可见失真点还是为不可见失真点；其中，符号“||”为取绝对值符号；
⑥将Vorg中的每帧立体图像的左视点图像中的所有可见失真点构成该帧立体图像的左视点图像的感兴趣区域，将Vorg中的每帧立体图像的左视点图像中的所有不可见失真点构成该帧立体图像的左视点图像的不感兴趣区域，将 的感兴趣区域记为 由中的所有可见失真点构成，将 的不感兴趣区域记为 由 中的所有不可见失真点构成；
同样，将Vdis中的每帧立体图像的左视点图像中的所有可见失真点构成该帧立体图像的左视点图像的感兴趣区域，将Vdis中的每帧立体图像的左视点图像中的所有不可见失真点构成该帧立体图像的左视点图像的不感兴趣区域，将 的感兴趣区域记为 由中的所有可见失真点构成，将 的不感兴趣区域记为 由 中的所有不可见失真点构成；
⑦根据Vorg中的每帧立体图像的左视点图像的感兴趣区域与Vdis中对应的一帧立体图像的左视点图像的感兴趣区域，计算Vdis中的每帧立体图像的左视点图像的感兴趣区域质量，将 的感兴趣区域质量记为 其中，SSIM()为结构相似度计算函数；
同样，根据Vorg中的每帧立体图像的左视点图像的不感兴趣区域与Vdis中对应的一帧立体图像的左视点图像的不感兴趣区域，计算Vdis中的每帧立体图像的左视点图像的不感兴趣区域质量，将 的不感兴趣区域质量记为⑧计算Vdis中的每帧立体图像的左视点图像相对于Vorg中对应的一帧立体图像的左视点图像的初级质量，将 相对于 的初级质量记为 然后计算Vdis中的每帧立体图像的左视点图像相对于Vorg中对应的一帧立体图像的左视点图像的最终质量，将 相对于 的最终质量记为 再计算Vdis的左视点质量，记为QL， 其中，λ为感知加权因子， 表示Vdis中的第f-
1帧立体图像的左视点图像相对于Vorg中的第f-1帧立体图像的左视点图像的初级质量，a-表示 相对于 下降时的下降质量调节因子，a+表示 相对于 上升时的上升质量调节因子， 表示 与 之间的差异， 在 中2≤f≤Nf；
所述的步骤⑧中感知加权因子λ的取值为 其中，ωI为感兴趣区域的加权系数， ωNI为不感兴趣区域的加权系数，SI为感兴趣区域的面积，其大小为可见失真点的个数，SNI为不感兴趣区域的面积，其大小为不可见失真点的个数；
⑨按照步骤②至步骤⑧的操作，以相同的操作方式对Vorg中的每帧立体图像的右视点图像和Vdis中的每帧立体图像的右视点图像进行处理，获取Vdis的右视点质量，记为QR；
⑩根据QL和QR，计算Vdis相对于Vorg的左右视点质量，记为QLR，QLR＝ws×QL+(1-ws)×QR，其中，ws表示QL在QLR中所占的权重；
获取Vorg中的每帧立体图像的三维视差空间图，将 的三维视差空间图记为其中， 表示 中坐标位置为(u,v)的像素点在视差偏移量为d时的视差空间值，d取[1,dmax]中的所有整数，dmax为最大视差搜索范围，符号“||||”为欧氏距离计算符号， 表示 中坐标位置为(u,v)的像素点的像素值， 表示 中坐标位置为(u-d,v)的像素点的像素值， 为U×V×dmax的三维矩阵；
同样，获取Vdis中的每帧立体图像的三维视差空间图，将 的三维视差空间图记为其中， 表示 中坐标位置为(u,v)的像素点在视差偏移量为d时的视差空间值，d取[1,dmax]中的所有整数，dmax为最大视差搜索范围，符号“||||”为欧氏距离计算符号， 表示 中坐标位置为(u,v)的像素点的像素值， 表示 中坐标位置为(u-d,v)的像素点的像素值， 为U×V×dmax的三维矩阵；
对Vorg中的每帧立体图像的三维视差空间图进行一级三维小波变换，得到Vorg中的每帧立体图像对应的八组子带矩阵，然后将Vorg中的每帧立体图像对应的最低频的一组子带矩阵作为该帧立体图像的低频视差空间图，将 的低频视差空间图记为 其中，为 的三维矩阵；
同样，对Vdis中的每帧立体图像的三维视差空间图进行一级三维小波变换，得到Vdis中的每帧立体图像对应的八组子带矩阵，然后将Vdis中的每帧立体图像对应的最低频的一组子带矩阵作为该帧立体图像的低频视差空间图，将 的低频视差空间图记为 其中， 为 的三维矩阵；
根据Vorg中的每帧立体图像的低频视差空间图和Vdis中对应的一帧立体图像的低频视差空间图，计算Vdis中的每帧立体图像相对于Vorg中对应的一帧立体图像的深度感知质量，将 相对于 的深度感知质量记为 其中，SSIM()为结构相似度计算函数；
根据Vdis中的每帧立体图像相对于Vorg中对应的一帧立体图像的深度感知质量，计算Vdis相对于Vorg的深度感知质量，记为Qd，根据QLR和Qd，计算Vdis相对于Vorg的失真立体视频质量，记为Q，Q＝wLR×QLR+(1-wLR)×Qd，其中，wLR为QLR在Q中所占的权重。
2.根据权利要求1所述的一种面向压缩失真的立体视频质量客观评价方法，其特征在于所述的步骤④中 和 的获取过程为：④-1、确定 中的每个像素点和 中的每个像素点为显著点还是为非显著点，对于中坐标位置为(u,v)的像素点和 中坐标位置为(u,v)的像素点，比较 及分别与显著性阈值T的大小，如果 大于T且 小于或等于T，或
小于或等于T且 大于T，或 大于T且 大于T，则判定
中坐标位置为(u,v)的像素点和 中坐标位置为(u,v)的像素点均为显著点；如果小于或等于T且 小于或等于T，则判定 中坐标位置为(u,v)的像素点和 中坐标位置为(u,v)的像素点均为非显著点；
④-2、获取 的显著点图，记为 将 中坐标位置为(u,v)的像素点的像素值记为 如果 中坐标位置为(u,v)的像素点为显著点，则将 中坐标位置为(u,v)的像素点的像素值赋值给 如果 中坐标位置为(u,v)的像素点为非显著点，则将 置为0；
同样，获取 的显著点图，记为 将 中坐标位置为(u,v)的像素点的像素值记为 如果 中坐标位置为(u,v)的像素点为显著点，则将 中坐标位置为(u,v)的像素点的像素值赋值给 如果 中坐标位置为(u,v)的像素点为非显著点，则将 置为0。
3.根据权利要求2所述的一种面向压缩失真的立体视频质量客观评价方法，其特征在于所述的步骤④-1中显著性阈值T的取值为T＝0.12×max(Po)，其中，max()为取最大值函数，Po为 中的所有像素点的梯度场构成的集合。
4.根据权利要求1至3中任一项所述的一种面向压缩失真的立体视频质量客观评价方法，其特征在于所述的步骤⑤中对于 和 中的每个像素点为可见失真点还是为不可见失真点的判定过程为：⑤-1、计算 和 中坐标位置相同的像素点的恰可觉察失真模型，将 和 中坐标位置为(u,v)的像素点的恰可觉察失真模型记为JNDs(u,v)，JNDs(u,v)＝JNDl(u,v)+JNDt(u,v)-0.2×min(JNDl(u,v),JNDt(u,v))，其中，JNDl(u,v)表示 和 中坐标位置为(u,v)的像素点的亮度恰可觉察失真模型，JNDt(u,v)表示 和 中坐标位置为(u,v)的像素点的纹理恰可觉察失真模型，min()为取最小值函数；
⑤-2、根据 和 中坐标位置相同的像素点的恰可觉察失真模型及 中的每个像素点的像素值，确定 和 中的每个像素点为可见失真点还是为不可见失真点，对于中坐标位置为(u,v)的像素点和 中坐标位置为(u,v)的像素点，如果 中坐标位置为(u,v)的像素点的像素值大于JNDs(u,v)，则判定 中坐标位置为(u,v)的像素点和中坐标位置为(u,v)的像素点均为可见失真点；如果 中坐标位置为(u,v)的像素点的像素值小于或等于JNDs(u,v)，则判定 中坐标位置为(u,v)的像素点和 中坐标位置为(u,v)的像素点均为不可见失真点。
5.根据权利要求1所述的一种面向压缩失真的立体视频质量客观评价方法，其特征在于所述的步骤⑧中取a-＝0.04，a+＝0.5。
6.根据权利要求5所述的一种面向压缩失真的立体视频质量客观评价方法，其特征在于所述的步骤⑩中取ws＝0.7。
7.根据权利要求6所述的一种面向压缩失真的立体视频质量客观评价方法，其特征在于所述的步骤 中取wLR＝0.3。
一种面向压缩失真的立体视频质量客观评价方法
技术领域
[0001] 本发明涉及一种视频质量评价方法，尤其是涉及一种面向压缩失真的立体视频质量客观评价方法。
背景技术
[0002] 随着视频编码技术和显示技术的迅速发展，各类视频系统得到了越来越广泛的应用和关注，并逐渐成为了信息处理领域的研究重点。而立体视频由于其突出的观看感受，更是越来越多的得到了人们的青睐，其相关技术的应用已经大量的融入到了当前的社会生活中，例如立体电视、立体电影、裸眼3D等。然而，在立体视频的采集、压缩、编码、传输、显示等过程中会因为一系列不可控制的因素而不可避免地引入不同程度和类型的失真。因此，如何准确有效地度量视频质量对于各类视频系统的发展起到了重要的推动作用。
[0003] 立体视频质量评价可分为主观评价和客观评价两大类，而当前立体视频质量评价领域的关键在于如何建立一种准确有效的客观评价模型来评价立体视频客观质量。目前，大多数立体视频质量客观评价方法只是简单的将平面视频的质量评价方法分别用于左视点视频和右视点视频质量的评价，这类方法没有很好地处理视点间的关系，也没有考虑到立体视频中深度感知对于立体视频质量的影响，因此客观评价结果准确性较差。也有部分方法虽然考虑到了双目之间的关系，但左视点与右视点之间的加权处理不合理，难以准确地描述人眼对于立体视频的感知特性，且目前大部分对立体视频质量评价的时域加权处理只是简单的平均加权，而事实上，人眼对立体视频的时域感知并非只是简单的平均加权。综上，现有的立体视频质量客观评价方法并不能准确地反映人眼感知特性，客观评价结果不够准确。
发明内容
[0004] 本发明所要解决的技术问题是提供一种面向压缩失真的立体视频质量客观评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。
[0005] 本发明解决上述技术问题所采用的技术方案为：一种面向压缩失真的立体视频质量客观评价方法，其特征在于包括以下步骤：
[0006] ①令Vorg表示原始的无失真的立体视频，令Vdis表示待评价的失真的立体视频，将Vorg中的第f帧立体图像记为 将 的左视点图像和右视点图像对应记为 和 将Vdis中的第f帧立体图像记为 将 的左视点图像和右视点图像对应记为 和 其中，1≤f≤Nf，Nf表示Vorg和Vdis各自所包含的立体图像的数量；
[0007] ②利用水平Sobel算子，计算Vorg中的每帧立体图像的左视点图像的水平梯度图，将 的水平梯度图记为 同样，利用水平Sobel算子，计算Vdis中的每帧立体图像的左视点图像的水平梯度图，将 的水平梯度图记为
[0008] 并，利用垂直Sobel算子，计算Vorg中的每帧立体图像的左视点图像的垂直梯度图，将 的垂直梯度图记为 同样，利用垂直Sobel算子，计算Vdis中的每帧立体图像的左视点图像的垂直梯度图，将 的垂直梯度图记为
[0009] ③计算Vorg中的每帧立体图像的左视点图像中的每个像素点的梯度场，将 中坐标位置为(u,v)的像素点的梯度场记为
[0010] 同样，计算Vdis中的每帧立体图像的左视点图像中的每个像素点的梯度场，将中坐标位置为(u,v)的像素点的梯度场记为
[0011] 其中，u表示像素点的水平坐标位置，v表示像素点的垂直坐标位置，1≤u≤U，1≤v≤V，U表示Vorg和Vdis中的立体图像水平方向上的像素点的数量，V表示Vorg和Vdis中的立体图像垂直方向上的像素点的数量， 表示 中坐标位置为(u,v)的像素点的像素值， 表示 中坐标位置为(u,v)的像素点的像素值， 表示
中坐标位置为(u,v)的像素点的像素值， 表示 中坐标位置为(u,v)的像素
点的像素值；
[0012] ④根据Vorg中的每帧立体图像的左视点图像中的每个像素点的梯度场和Vdis中对应的一帧立体图像的左视点图像中对应坐标位置的像素点的梯度场，确定Vorg中的每帧立体图像的左视点图像中的每个像素点为显著点还是为非显著点，同时确定Vdis中的每帧立体图像的左视点图像中的每个像素点为显著点还是为非显著点，然后获取Vorg中的每帧立体图像的左视点图像的显著点图和Vdis中的每帧立体图像的左视点图像的显著点图，将的显著点图记为 将 的显著点图记为
[0013] ⑤计算Vorg中的每帧立体图像的左视点图像的显著点图与Vdis中对应的一帧立体图像的左视点图像的显著点图之间的差值图，将 与 之间的差值图记为然后利用恰可觉察失真模型，根据Vorg中的每帧立体图像的左视点图
像的显著点图与Vdis中对应的一帧立体图像的左视点图像的显著点图之间的差值图，确定Vorg中的每帧立体图像的左视点图像中的每个像素点为可见失真点还是为不可见失真点，同时确定Vdis中的每帧立体图像的左视点图像中的每个像素点为可见失真点还是为不可见失真点；其中，符号“||”为取绝对值符号；
[0014] ⑥将Vorg中的每帧立体图像的左视点图像中的所有可见失真点构成该帧立体图像的左视点图像的感兴趣区域，将Vorg中的每帧立体图像的左视点图像中的所有不可见失真点构成该帧立体图像的左视点图像的不感兴趣区域，将 的感兴趣区域记为 由中的所有可见失真点构成，将 的不感兴趣区域记为 由 中的所有不可见失真点构成；
[0015] 同样，将Vdis中的每帧立体图像的左视点图像中的所有可见失真点构成该帧立体图像的左视点图像的感兴趣区域，将Vdis中的每帧立体图像的左视点图像中的所有不可见 失真点构成该帧立体图像的左视点图像的不感兴趣区域，将 的感兴趣区域记为由 中的所有可见失真点构成，将 的不感兴趣区域记为 由 中的所有不可见失真点构成；
[0016] ⑦根据Vorg中的每帧立体图像的左视点图像的感兴趣区域与Vdis中对应的一帧立体图像的左视点图像的感兴趣区域，计算Vdis中的每帧立体图像的左视点图像的感兴趣区域质量，将 的感兴趣区域质量记为 其中，SSIM()为结构相似度计算函数；
[0017] 同样，根据Vorg中的每帧立体图像的左视点图像的不感兴趣区域与Vdis中对应的一帧立体图像的左视点图像的不感兴趣区域，计算Vdis中的每帧立体图像的左视点图像的不感兴趣区域质量，将 的不感兴趣区域质量记为
[0018] ⑧计算Vdis中的每帧立体图像的左视点图像相对于Vorg中对应的一帧立体图像的左视点图像的初级质量，将 相对于 的初级质量记为 然后计算Vdis中的每帧立体图像的左视点图像相对于Vorg中对应的一帧立体图像的左视点图像的最终质量，将 相对于 的最终质量记为
再计算Vdis的左视点质量，记为QL， 其中，λ为感知加权因子， 表示Vdis中的第f-1帧立体图像的左视点图像相对于Vorg中的第f-1帧立体图像的左视点图像的初级质量，a-表示 相对于 下降时的下降质量调节因子，a+表示 相对于 上升时的上升质量调节因子， 表示 与 之间的差异， 在 中2≤
f≤Nf；
[0019] ⑨按照步骤②至步骤⑧的操作，以相同的操作方式对Vorg中的每帧立体图像的右视 点图像和Vdis中的每帧立体图像的右视点图像进行处理，获取Vdis的右视点质量，记为QR；
[0020] ⑩根据QL和QR，计算Vdis相对于Vorg的左右视点质量，记为QLR，QLR＝ws×QL+(1-ws)×QR，其中，ws表示QL在QLR中所占的权重；
[0021] 获取Vorg中的每帧立体图像的三维视差空间图，将 的三维视差空间图记为 其中， 表示 中坐标位置为(u,v)的像素点在视差偏移量为d时的视差空间值，d取[1,dmax]中的所有整数，dmax为最大视差搜索范围，符号“|| ||”为欧氏距离计算符号， 表示 中坐标位置为(u,v)的像素点的像素值， 表示 中坐标位置为(u-d,v)的像素点的像素值， 为U
×V×dmax的三维矩阵；
[0022] 同样，获取Vdis中的每帧立体图像的三维视差空间图，将 的三维视差空间图记为 其中， 表示 中坐标位置为(u,v)的像素点在视差偏移量为d时的视差空间值，d取[1,dmax]中的所有整数，dmax为最大视差搜索范围，符号“|| ||”为欧氏距离计算符号， 表示 中坐标位置为(u,v)的像素点的像素值， 表示 中坐标位置为(u-d,v)的像素点的像素值， 为U
×V×dmax的三维矩阵；
[0023] 对Vorg中的每帧立体图像的三维视差空间图进行一级三维小波变换，得到Vorg中的每帧立体图像对应的八组子带矩阵，然后将Vorg中的每帧立体图像对应的最低频的一组子带矩阵作为该帧立体图像的低频视差空间图，将 的低频视差空间图记为 其中， 为 的三维矩阵；
[0024] 同样，对Vdis中的每帧立体图像的三维视差空间图进行一级三维小波变换，得到Vdis中的每帧立体图像对应的八组子带矩阵，然后将Vdis中的每帧立体图像对应的最低频的 一组子带矩阵作为该帧立体图像的低频视差空间图，将 的低频视差空间图记为 其中， 为 的三维矩阵；
[0025] 根据Vorg中的每帧立体图像的低频视差空间图和Vdis中对应的一帧立体图像的低频视差空间图，计算Vdis中的每帧立体图像相对于Vorg中对应的一帧立体图像的深度感知质量，将 相对于 的深度感知质量记为 其中，SSIM()为结构相似度计算函数；
[0026] 根据Vdis中的每帧立体图像相对于Vorg中对应的一帧立体图像的深度感知质量，计算Vdis相对于Vorg的深度感知质量，记为Qd，
[0027] 根据QLR和Qd，计算Vdis相对于Vorg的失真立体视频质量，记为Q，Q＝wLR×QLR+(1-wLR)×Qd，其中，wLR为QLR在Q中所占的权重。
[0028] 所述的步骤④中 和 的获取过程为：
[0029] ④-1、确定 中的每个像素点和 中的每个像素点为显著点还是为非显著点，对于 中坐标位置为(u,v)的像素点和 中坐标位置为(u,v)的像素点，比较及 分别与显著性阈值T的大小，如果 大于T且 小于或等于T，或
小于或等于T且 大于T，或 大于T且 大于T，则判定
中坐标位置为(u,v)的像素点和 中坐标位置为(u,v)的像素点均为显著点；如果小于或等于T且 小于或等于T，则判定 中坐标位置为(u,v)的像素点
和 中坐标位置为(u,v)的像素点均为非显著点；
[0030] ④-2、获取 的显著点图，记为 将 中坐标位置为(u,v)的像素点的像素值记为 如果 中坐标位置为(u,v)的像素点为显著点，则将 中坐标位 置为(u,v)的像素点的像素值赋值给 如果 中坐标位置为(u,v)的像素点为非显
著点，则将 置为0；
[0031] 同样，获取 的显著点图，记为 将 中坐标位置为(u,v)的像素点的像素值记为 如果 中坐标位置为(u,v)的像素点为显著点，则将 中坐标位置为(u,v)的像素点的像素值赋值给 如果 中坐标位置为(u,v)的像素点为非显著
点，则将 置为0。
[0032] 所述的步骤④-1中显著性阈值T的取值为T＝0.12×max(Po)，其中，max()为取最大值函数，Po为 中的所有像素点的梯度场构成的集合。
[0033] 所述的步骤⑤中对于 和 中的每个像素点为可见失真点还是为不可见失真点的判定过程为：
[0034] ⑤-1、计算 和 中坐标位置相同的像素点的恰可觉察失真模型，将 和中坐标位置为(u,v)的像素点的恰可觉察失真模型记为JNDs(u,v)，JNDs(u,v)＝JNDl(u,v)+JNDt(u,v)-0.2×min(JNDl(u,v),JNDt(u,v))，其中，JNDl(u,v)表示 和 中坐标位置为(u,v)的像素点的亮度恰可觉察失真模型，JNDt(u,v)表示 和 中坐标位置为(u,v)的像素点的纹理恰可觉察失真模型，min()为取最小值函数；
[0035] ⑤-2、根据 和 中坐标位置相同的像素点的恰可觉察失真模型及 中的每个像素点的像素值，确定 和 中的每个像素点为可见失真点还是为不可见失真点，对于 中坐标位置为(u,v)的像素点和 中坐标位置为(u,v)的像素点，如果 中坐标位置为(u,v)的像素点的像素值大于JNDs(u,v)，则判定 中坐标位置为(u,v)的像素点和 中坐标位置为(u,v)的像素点均为可见失真点；如果 中坐标位置为(u,v)的像素点的像素值小于或等于JNDs(u,v)，则判定 中坐标位置为(u,v)的像素点和 中坐标位置为(u,v)的像素点均为不可见失真点。
[0036] 所述的步骤⑧中感知加权因子λ的取值为 其中，ωI为感兴趣区域的加权系数， ωNI为不感兴趣区域的加权系数， SI为感兴趣区域的面积，其大小为可见失真点的个数，SNI为不感兴趣区域的面积，其大小为不可见失真点的个数。
[0037] 所述的步骤⑧中取a-＝0.04，a+＝0.5。
[0038] 所述的步骤⑩中取ws＝0.7。
[0039] 所述的步骤 中取wLR＝0.3。
[0040] 与现有技术相比，本发明的优点在于：
[0041] 1)本发明方法将立体视频质量分为左右视点质量和深度感知质量两部分，分别从左右视点平面视频质量的角度和立体视频深度感的角度完成对立体视频的客观质量评价，因此有效地提高了客观评价结果与主观感知之间的相关性。
[0042] 2)本发明方法根据视频压缩失真的特点，提取梯度信息作为图像特征，可以有效地度量视频图像在压缩时产生的块效应以及模糊等失真现象对于视频图像的改变程度，因而能够更准确评价视频图像质量。
[0043] 3)本发明方法通过构建立体图像的三维视差空间图来体现立体视频的深度感知，从而避免了视差求取不准确的问题，同时利用三维小波变换(3D-DWT)提取三维视差空间图的主要特征频率成分，因此可以更准确地评价立体视频的深度感知质量。
[0044] 4)本发明方法在评价立体视频质量的过程中，由于充分考虑到了人眼对立体视频的感知特性，分别通过显著点图的提取、时域不对称加权以及左右视点加权等方法模拟了视觉关注度、时域掩蔽效应、立体掩蔽效应等感知特性，因此使得该立体视频质量评价方法更加符合人眼的主观感知。
附图说明
[0045] 图1为本发明方法的总体实现框图。
具体实施方式
[0046] 以下结合附图实施例对本发明作进一步详细描述。
[0047] 本发明提出的一种面向压缩失真的立体视频质量客观评价方法，其将立体视频质量评价分为左右视点质量评价和深度感知质量评价两部分；在左右视点质量评价部分，本发明方法考虑压缩失真的特点，利用梯度信息作为视频图像特征，同时考虑到视觉关注度、时域感知等视觉特征，从而完成对左右视点视频质量的评价；在深度感知质量评价部分，本发明方法通过构建立体图像的三维视差空间图，利用三维小波变换提取三维视差空间图中的低频成分，通过评价低频成分获得深度感知质量，最后将左右视点质量和深度感知质量线性组合得到最终的立体视频质量。本发明的面向压缩失真的立体视频质量客观评价方法的总体实现框图如图1所示，其包括以下步骤：
[0048] ①令Vorg表示原始的无失真的立体视频，令Vdis表示待评价的失真的立体视频，将Vorg中的第f帧立体图像记为 将 的左视点图像和右视点图像对应记为 和 将Vdis中的第f帧立体图像记为 将 的左视点图像和右视点图像对应记为 和 其中，1≤f≤Nf，Nf表示Vorg和Vdis各自所包含的立体图像的数量。
[0049] ②利用水平Sobel算子，计算Vorg中的每帧立体图像的左视点图像的水平梯度图，将 的水平梯度图记为 同样，利用水平Sobel算子，计算Vdis中的每帧立体图像的左视点图像的水平梯度图，将 的水平梯度图记为
[0050] 并，利用垂直Sobel算子，计算Vorg中的每帧立体图像的左视点图像的垂直梯度图，将 的垂直梯度图记为 同样，利用垂直Sobel算子，计算Vdis中的每帧立体图像的左视点图像的垂直梯度图，将 的垂直梯度图记为
[0051] ③计算Vorg中的每帧立体图像的左视点图像中的每个像素点的梯度场，将 中坐标位置为(u,v)的像素点的梯度场记为
[0052] 同样，计算Vdis中的每帧立体图像的左视点图像中的每个像素点的梯度场，将中坐标位置为(u,v)的像素点的梯度场记为
[0053] 其中，u表示像素点的水平坐标位置，v表示像素点的垂直坐标位置，1≤u≤U，1≤v≤V，U表示Vorg和Vdis中的立体图像水平方向上的像素点的数量，V表示Vorg和Vdis中的立体图像垂直方向上的像素点的数量， 表示 中坐标位置为(u,v)的像素点的像素值， 表示 中坐标位置为(u,v)的像素点的像素值， 表示
中坐标位置为(u,v)的像素点的像素值， 表示 中坐标位置为(u,v)的像素
点的像素值。
[0054] ④根据Vorg中的每帧立体图像的左视点图像中的每个像素点的梯度场和Vdis中对应的一帧立体图像的左视点图像中对应坐标位置的像素点的梯度场，确定Vorg中的每帧立体图像的左视点图像中的每个像素点为显著点还是为非显著点，同时确定Vdis中的每帧立体图像的左视点图像中的每个像素点为显著点还是为非显著点，然后获取Vorg中的每帧立体图像的左视点图像的显著点图和Vdis中的每帧立体图像的左视点图像的显著点图，将的显著点图记为 将 的显著点图记为
[0055] 在此具体实施例中，步骤④中 和 的获取过程为：
[0056] ④-1、确定 中的每个像素点和 中的每个像素点为显著点还是为非显著点，对于 中坐标位置为(u,v)的像素点和 中坐标位置为(u,v)的像素点，比较及 分别与显著性阈值T的大小，如果 大于T且 小于或等于T，或
小于或等于T且 大于T，或 大于T且 大于T，则判定
中坐标位置为(u,v)的像素点和 中坐标位置为(u,v)的像素点均为显著点；如果小于或等于T且 小于或等于T，则判定 中坐标位置为(u,v)的像素点
和 中坐标位置为(u,v)的像素点均为非显著点。
[0057] 在此，显著性阈值T的取值为T＝0.12×max(Po)，其中，max()为取最大值函数， Po为 中的所有像素点的梯度场构成的集合。
[0058] ④-2、获取 的显著点图，记为 将 中坐标位置为(u,v)的像素点的像素值记为 如果 中坐标位置为(u,v)的像素点为显著点，则将 中坐标位置为(u,v)的像素点的像素值赋值给 如果 中坐标位置为(u,v)的像素点为非显
著点，则将 置为0。
[0059] 同样，获取 的显著点图，记为 将 中坐标位置为(u,v)的像素点的像素值记为 如果 中坐标位置为(u,v)的像素点为显著点，则将 中坐标位置为(u,v)的像素点的像素值赋值给 如果 中坐标位置为(u,v)的像素点为非显著
点，则将 置为0。
[0060] ⑤计算Vorg中的每帧立体图像的左视点图像的显著点图与Vdis中对应的一帧立体图像的左视点图像的显著点图之间的差值图，将 与 之间的差值图记为然后利用恰可觉察失真模型，根据Vorg中的每帧立体图像的左视点图
像的显著点图与Vdis中对应的一帧立体图像的左视点图像的显著点图之间的差值图，确定Vorg中的每帧立体图像的左视点图像中的每个像素点为可见失真点还是为不可见失真点，同时确定Vdis中的每帧立体图像的左视点图像中的每个像素点为可见失真点还是为不可见失真点；其中，符号“||”为取绝对值符号。
[0061] 在此具体实施例中，步骤⑤中对于 和 中的每个像素点为可见失真点还是为不可见失真点的判定过程为：
[0062] ⑤-1、计算 和 中坐标位置相同的像素点的恰可觉察失真模型，将 和中坐标位置为(u,v)的像素点的恰可觉察失真模型记为JNDs(u,v)，JNDs(u,v)＝JNDl(u,v)+JNDt(u,v)-0.2×min(JNDl(u,v),JNDt(u,v))，其中，JNDl(u,v)表示 和 中坐标位置为(u,v)的像素点的亮度恰可觉察失真模型，JNDt(u,v)表示 和 中坐标位置为(u,v)的像素点的纹理恰可觉察失真模型，min()为取最小值函数。
[0063] ⑤-2、根据 和 中坐标位置相同的像素点的恰可觉察失真模型及 中的每个像素点的像素值，确定 和 中的每个像素点为可见失真点还是为不可见失真点，对于 中坐标位置为(u,v)的像素点和 中坐标位置为(u,v)的像素点，如果 中坐标位置为(u,v)的像素点的像素值大于JNDs(u,v)，则判定 中坐标位置为(u,v)的像素点和 中坐标位置为(u,v)的像素点均为可见失真点；如果 中坐标位置为(u,v)的像素点的像素值小于或等于JNDs(u,v)，则判定 中坐标位置为(u,v)的像素点和 中坐标位置为(u,v)的像素点均为不可见失真点。
[0064] ⑥将Vorg中的每帧立体图像的左视点图像中的所有可见失真点构成该帧立体图像的左视点图像的感兴趣区域，将Vorg中的每帧立体图像的左视点图像中的所有不可见失真点构成该帧立体图像的左视点图像的不感兴趣区域，将 的感兴趣区域记为由 中的所有可见失真点构成，将 的不感兴趣区域记为 由 中的所有
不可见失真点构成。
[0065] 同样，将Vdis中的每帧立体图像的左视点图像中的所有可见失真点构成该帧立体图像的左视点图像的感兴趣区域，将Vdis中的每帧立体图像的左视点图像中的所有不可见失真点构成该帧立体图像的左视点图像的不感兴趣区域，将 的感兴趣区域记为由 中的所有可见失真点构成，将 的不感兴趣区域记为 由 中的所有不可见失真点构成。
[0066] ⑦根据Vorg中的每帧立体图像的左视点图像的感兴趣区域与Vdis中对应的一帧立体图像的左视点图像的感兴趣区域，计算Vdis中的每帧立体图像的左视点图像的感兴趣区域质量，将 的感兴趣区域质量记为 其中，SSIM()为结构相似度(Structural SIMilarity,SSIM)计算函数。
[0067] 计算 与 之间的结构相似度其中， 表示 中的所有可见失真点的像素值的均值， 表示 中的所有可见失真点的像素值的均值， 表示 中的所有可见失真点的像素值的方差， 表示 中
的所有可见失真点的像素值的方差， 表示 与 之间的协方差，c1,c2为两个常数。
[0068] 同样，根据Vorg中的每帧立体图像的左视点图像的不感兴趣区域与Vdis中对应的一帧立体图像的左视点图像的不感兴趣区域，计算Vdis中的每帧立体图像的左视点图像的不感兴趣区域质量，将 的不感兴趣区域质量记为
[0069] ⑧计算Vdis中的每帧立体图像的左视点图像相对于Vorg中对应的一帧立体图像的左视点图像的初级质量，将 相对于 的初级质量记为 然后计算Vdis中的每帧立体图像的左视点图像相对于Vorg中对应的一帧立体图像的左视点图像的最终质量，将 相对于 的最终质量记为
再计算Vdis的左视点质量，记为QL， 其中，λ为感知加权因子， 表示Vdis中的第f-1帧立体图像的左视点图像相对于Vorg中的第f-1帧立体图像的左视点图像的初级质量，a-表示 相对于 下降时的下降质量调节因子，a+表示 相对于 上升时的上升质量调节因子， 表示 与 之间的差异， 在 中2≤f
≤Nf。
[0070] 在本实施例中，取a-＝0.04，a+＝0.5，感知加权因子λ的取值为 其中，ωI为感兴趣区域的加权系数， ωNI为不感兴趣区域的加权系数， SI为感兴趣区域的面积，其大小为可见失真点的个数，
SNI为不感兴趣区域的面积，其大小为不可见失真点的个数。
[0071] ⑨按照步骤②至步骤⑧的操作，以相同的操作方式对Vorg中的每帧立体图像的右视点图像和Vdis中的每帧立体图像的右视点图像进行处理，获取Vdis的右视点质量，记为QR。即QR的获取过程为：
[0072] ⑨-1、利用水平Sobel算子，计算Vorg中的每帧立体图像的右视点图像的水平梯度图，将 的水平梯度图记为 同样，利用水平Sobel算子，计算Vdis中的每帧立体图像的右视点图像的水平梯度图，将 的水平梯度图记为
[0073] 并，利用垂直Sobel算子，计算Vorg中的每帧立体图像的右视点图像的垂直梯度图，将 的垂直梯度图记为 同样，利用垂直Sobel算子，计算Vdis中的每帧立体图像的右视点图像的垂直梯度图，将 的垂直梯度图记为
[0074] ⑨-2、计算Vorg中的每帧立体图像的右视点图像中的每个像素点的梯度场，将中坐标位置为(u,v)的像素点的梯度场记为
[0075] 同样，计算Vdis中的每帧立体图像的右视点图像中的每个像素点的梯度场，将中坐标位置为(u,v)的像素点的梯度场记为
[0076] 其中， 表示 中坐标位置为(u,v)的像素点的像素值，表示 中坐标位置为(u,v)的像素点的像素值， 表示 中坐标位置为
(u,v)的像素点的像素值， 表示 中坐标位置为(u,v)的像素点的像素值。
[0077] ⑨-3、根据Vorg中的每帧立体图像的右视点图像中的每个像素点的梯度场和Vdis中对应的一帧立体图像的右视点图像中对应坐标位置的像素点的梯度场，确定Vorg中的每帧立体图像的右视点图像中的每个像素点为显著点还是为非显著点，同时确定Vdis中的每帧立体图像的右视点图像中的每个像素点为显著点还是为非显著点，然后获取Vorg中的每帧立体图像的右视点图像的显著点图和Vdis中的每帧立体图像的右视点图像的显著点图，将的显著点图记为 将 的显著点图记为
[0078] ⑨-4、计算Vorg中的每帧立体图像的右视点图像的显著点图与Vdis中对应的一帧立体图像的右视点图像的显著点图之间的差值图，将 与 之间的差值图记为然后利用恰可觉察失真模型，根据Vorg中的每帧立体图像的右视点图
像的显著点图与Vdis中对应的一帧立体图像的右视点图像的显著点图之间的差值图，确定Vorg中的每帧立体图像的右视点图像中的每个像素点为可见失真点还是为不可见失真点，同时确定Vdis中的每帧立体图像的右视点图像中的每个像素点为可见失真点还是为不可见失真点。
[0079] ⑨-5、将Vorg中的每帧立体图像的右视点图像中的所有可见失真点构成该帧立体图像的右视点图像的感兴趣区域，将Vorg中的每帧立体图像的右视点图像中的所有不可见失真点构成该帧立体图像的右视点图像的不感兴趣区域，将 的感兴趣区域记为 由 中的所有可见失真点构成，将 的不感兴趣区域记为 由中的所有不可见失真点构成。
[0080] 同样，将Vdis中的每帧立体图像的右视点图像中的所有可见失真点构成该帧立体图像的右视点图像的感兴趣区域，将Vdis中的每帧立体图像的右视点图像中的所有不可见失真点构成该帧立体图像的右视点图像的不感兴趣区域，将 的感兴趣区域记为由 中的所有可见失真点构成，将 的不感兴趣区域记为 由 中的所有不可见失真点构成。
[0081] ⑨-6、根据Vorg中的每帧立体图像的右视点图像的感兴趣区域与Vdis中对应的一帧立体图像的右视点图像的感兴趣区域，计算Vdis中的每帧立体图像的右视点图像的感兴趣区域质量，将 的感兴趣区域质量记为
[0082] 同样，根据Vorg中的每帧立体图像的右视点图像的不感兴趣区域与Vdis中对应的一帧立体图像的右视点图像的不感兴趣区域，计算Vdis中的每帧立体图像的右视点图像的不感兴趣区域质量，将 的不感兴趣区域质量记为
[0083] ⑨-7、计算Vdis中的每帧立体图像的右视点图像相对于Vorg中对应的一帧立体图像的右视点图像的初级质量，将 相对于 的初级质量记为 然后计算Vdis中的每帧立体图像的右视点图像相对于Vorg中对应的一帧立体图像的右视点图像的最终质量，将 相对于 的最终质量记为
再计算Vdis的右视点质量，记为QR， 其中，λ为感知加权因子， 表示Vdis中的第f-1帧立体图像的右视点图像相对于Vorg中的第f-1帧立体图像的右视点图像的初级质量，a-表示 相对于 下降时的下降质量调节因子，a+表示 相对于 上升时的上升质量调节因子， 表示 与 之间的差异， 在 中2≤f
≤Nf。
[0084] ⑩根据QL和QR，计算Vdis相对于Vorg的左右视点质量，记为QLR，QLR＝ws×QL+(1-ws)×QR，其中，ws表示QL在QLR中所占的权重，在本实施例中取 ws＝0.7。
[0085] 获取Vorg中的每帧立体图像的三维视差空间图，将 的三维视差空间图记为 其中， 表示 中坐标位置为(u,v)的像素点在视差偏移量为d时的视差空间值，d取[1,dmax]中的所有整数，dmax为最大视差搜索范围，本实施例中dmax的值为32，符号“|| ||”为欧氏距离计算符号， 表示中坐标位置为(u,v)的像素点的像素值， 表示 中坐标位置为(u-d,v)的
像素点的像素值， 为U×V×dmax的三维矩阵。
[0086] 同样，获取Vdis中的每帧立体图像的三维视差空间图，将 的三维视差空间图记为 其中， 表示 中坐标位置为(u,v)的像素点在视差偏移量为d时的视差空间值，d取[1,dmax]中的所有整数，dmax为最大视差搜索范围，本实施例中dmax的值为32，符号“|| ||”为欧氏距离计算符号， 表示中坐标位置为(u,v)的像素点的像素值， 表示 中坐标位置为(u-d,v)的
像素点的像素值， 为U×V×dmax的三维矩阵。
[0087] 对Vorg中的每帧立体图像的三维视差空间图进行一级三维小波变换，得到Vorg中的每帧立体图像对应的八组子带矩阵，然后将Vorg中的每帧立体图像对应的最低频的一组子带矩阵作为该帧立体图像的低频视差空间图，将Vorg的低频视差空间图记为 其中， 为 的三维矩阵。
[0088] 同样，对Vdis中的每帧立体图像的三维视差空间图进行一级三维小波变换，得到Vdis中的每帧立体图像对应的八组子带矩阵，然后将Vdis中的每帧立体图像对应的最低频的一组子带矩阵作为该帧立体图像的低频视差空间图，将Vdis的低频视差空间图记为 其中， 为 的三维矩阵。
[0089] 根据Vorg中的每帧立体图像的低频视差空间图和Vdis中对应的一帧立体图像的低频视差空间图，计算Vdis中的每帧立体图像相对于Vorg中对应的一帧立体图像的深度感知质量，将 相对于 的深度感知质量记为 其中，SSIM()为结构相似度(Structural SIMilarity,SSIM)计算函数。
[0090] 根据Vdis中的每帧立体图像相对于Vorg中对应的一帧立体图像的深度感知质量，计算Vdis相对于Vorg的深度感知质量，记为Qd，
[0091] 根据QLR和Qd，计算Vdis相对于Vorg的失真立体视频质量，记为Q，Q＝wLR×QLR+(1-wLR)×Qd，其中，wLR为QLR在Q中所占的权重，在本实施例中取wLR＝0.3。
[0092] 在本实施例中，选取法国IRCCyN研究机构提供的NAMA3DS1-CoSpaD1立体视频库(简称“NAMA视频数据库”)中的H.264编码压缩失真和JPEG2000编码压缩失真进行测试。NAMA视频数据库包含10对不同场景的原始高清立体视频，其H.264编码压缩失真包含3种不同的失真程度，共30对失真立体视频；JPEG2000编码压缩失真包含4种不同的失真程度，共
40对失真立体视频。对上述70对失真立体视频按本发明方法的步骤①至步骤 的过程，采用相同的方式计算得到每对失真立体视频相对于对应的无失真立体视频的失真立体视频质量Q，然后获取每对失真立体视频的平均主观评分差值DMOS，再将Q与平均主观评分差值DMOS进行四参数Logistic函数非线性拟合，最后得到客观评价结果与主观感知之间的性能指标值。这里，利用评估视频质量评价方法的3个常用客观参量作为评价指标，即线性相关系数(Correlation coefficient，CC)、Spearman等级相关系数(Spearman Rank Order Correlation coefficient，SROCC)和均方根误差(Rooted Mean Squared Error，RMSE)。CC和SROCC的取值范围是[0,1]，其值越接近1，表明客观评价方法准确性越高；反之，则越差。
RMSE值越小，表示客观评价方法的预测越准确，性能越好；反之，则越差。表示本发明方法的评价性能的CC、SROCC和RMSE指标如表1所列。由表1中所列的数据可见，按本发明方法计算得到的失真的立体视频相对于对应的无失真的立体视频的失真立体视频质量Q与平均主观评分差值DMOS之间有很好的相关性。对于H.264编码压缩失真立体视频，CC值达到了
0.8539， SROCC值达到了0.8229，而RMSE值低至0.6023；对于JPEG2000编码压缩失真立体视频，CC值达到了0.9084，SROCC值达到了0.8809，而RMSE值低至0.5209；对于包含以上两种失真立体视频的总体失真立体视频，CC值达到了0.8812，SROCC值达到了0.8439，而RMSE值低至0.5723，这表明了本发明方法的客观评价结果与人眼主观感知的结果较为一致，充分说明了本发明方法的有效性。
[0093] 表1 按本发明方法计算得到的失真的立体视频相对于对应的无失真的立体视频的失真立体视频质量与平均主观评分差值之间的相关性
[0094] CC SROCC RMSE
30对H.264编码压缩失真立体视频 0.8539 0.8229 0.6023
40对JPEG2000编码压缩失真立体视频 0.9084 0.8809 0.5209
共计70对失真立体视频 0.8812 0.8439 0.5723
