本发明公开了一种基于双目最小可辨失真模型的立体视频质量评价方法，该方法首先建立双目立体亮度关系模型，研究左右视点视频各自的像素亮度与融合为立体视频时的亮度关系；根据背景亮度和纹理掩盖建立立体图像JND模型，根据视频帧间掩盖的可视阈值建立立体视频的JND模型；由基于空间-时间对比灵敏度函数和显示设备的相关参数获得基于空间-时间对比灵敏度函数的可视阈值；然后由立体视频的JND模型和基于于空间-时间对比灵敏度函数的可视阈值组合得到双眼的JND模型；最后建立基于立体视频质量的双目感知峰值信噪比对立体视频质量评价。该方法基于双目的JND模型，使立体视频质量的评价与人眼的视觉主观感知的视频质量相一致，正确反映人眼视觉的主观立体视频感知质量。
1.一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于，分别建立双目立体亮度关系模型、立体图像的JND模型，立体视频的JND模型，提取纹理掩盖、背景亮度、帧间掩盖的可视阈值，设置基于空间-时间对比灵敏度函数的可视阈值T，对立体视频进行质量评价，建立双目的JND模型，计算用于立体视频质量评价的双目感知峰值信噪比；
双目感知峰值信噪比越高，立体视频质量越好，其具体步骤是：(1)、分别计算左、右视点视频的像素亮度，对左、右视点视频的像素亮度融合，建立双目立体亮度关系模型；
(2)、分别设置纹理掩盖的可视阈值和背景亮度引起的可视阈值，建立立体图像的JND模型；
(3)、根据视频帧间掩盖的可视阈值建立立体视频的JND模型；
(4)、建立基于空间-时间对比灵敏度函数的可视阈值T；
(6)、依据上述步骤的双目JND模型和感知峰值信噪比得到立体视频质量的双目感知峰值信噪比对立体视频质量评价。
2.根据权利要求1所述的一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于，上述步骤(1)所述的分别计算左、右视点视频的像素亮度，对左、右视点视频的像素亮度融合，建立双目立体亮度关系模型，其具体步骤如下： （1-1）计算左视点视频的像素亮度 ；
（1-3）对JND模型的融合图像的像素亮度进行修正，建立双目立体亮度关系模型：= (1)
其中， 表示像素， 是表示双目立体亮度关系模型， ， 为常数， 为与显示器有关的亮度校正系数， 。
3.根据权利要求2所述的一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于，上述步骤(2)所述的分别设置纹理掩盖的可视阈值和背景亮度引起的可视阈值，建立立体图像的JND模型，其具体步骤如下：（2-1）设置纹理掩盖效应的可视阈值，其计算式如下： (2) 其中， 表示纹理掩盖的可视阈值， 代表在像素 周围的亮度梯度的加权平均， 是线性函数 的斜率
(3) 其中， 是在四个方向上计算加权的平均亮度变化的算子，( i , j )表示像素(x , y)的邻近像素，i = 1, 2, 3, 4, 5，j = 1, 2, 3, 4, 5；
（2-2）设置背景亮度引起的可视阈值，通过实验得到如下公式： (4)
其中， 表示背景亮度引起的可视阈值，bg( x ,y )是平均背景亮度， 和分别代表当背景灰度值为0时的可视阈值和在高背景亮度时的模型曲线的线性斜率，平均背景亮度 计算式如下： (5) 其中， 为平均背景亮度算子，i=1,2,3,4,5，j=1,2,3,4,5；
（2-3）建立立体图像JND模型，其具体如下： (6) 沿着每个水平方向的差分为
(7) 其中， ， ， 表示图像的水平和垂直方向的最大像素个数，为由式（1）测得的像素 的亮度；
与像素 沿水平水平方向左右相邻像素差分的特征符号的乘积为：;
那么，对于 ，判断水平方向边缘像素的因子为 (10) 同样方法得到判断垂直方向边缘像素的因子为， (11) 那么，上述背景亮度的可视阈值构成立体图像JND模型计算式（6）为： (12)。
那么，上述背景亮度的可视阈值构成立体图像JND模型计算式（6）为： (12) 。
4.根据权利要求3所述的一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于，上述步骤（3）所述的根据视频帧间掩盖的可视阈值建立立体视频的JND模型，其具体步骤如下：（3-1）建立帧间掩盖的可视阈值，建立帧间亮度差函数，该函数采用第n 帧和n-1帧之间的平均亮度差函数 表示，其表达式 和 分别由式（13）和（14）表示为：
其中， 表示为第n帧和n-1帧之间的平均亮度差函数， 表示帧间掩盖的可视阈值；
（3-2）建立立体视频的JND模型，将上述步骤（2-3）中所述的立体图像JND模型与步骤(3-1)中所述的帧间掩盖的可视阈值相乘，所得的乘积为立体视频的JND模型，其表达式为： （15）。
5.根据权利要求4所述的一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于，上述步骤（4）所述的建立基于空间-时间对比灵敏度函数的可视阈值T，其具体步骤如下：（4-1）计算立体视频的空间-时间对比灵敏度函数，其计算表达式为： (16)
其中， 、 、 、 为常数， 是视网膜成像速度， 表示空间频率；
（4-2）计算显示设备参数，其计算表达式为： （17）其中， 为显示设备参数， 分别代表与最大和最小灰度值相对应的显示器的亮度值，M是图像的灰度级别数， 为与显示器有关的亮度校正系数， ；
（4-3）获得基于空间-时间对比灵敏度的可视阈值 ，其计算表达式为： （18）其中， 是基于空间-时间对比灵敏度函数的可视阈值， 是空间-时间对比灵敏度函数， 为显示设备参数。
6.根据权利要求5所述的一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于，上述步骤(4-1)对于空间-时间对比灵敏度函数获得过程的进一步说明，其具体步骤如下：（4-1-1）立体图像的空间频率，其计算表达式为： （19）式中， 表示行频率，其计算表达式为：
（20）式中， 表示列频率，其计算表达式为： （21）M，N为图像的宽度和高度，(x,y)为像素位置， 为(x,y)位置的像素亮度，于是，在第 帧上的点 的空间-时间对比灵敏度函数为： （22）
其中， 表示行频率， 表示列频率， 表示视网膜中图像的速度；
（4-1-2）计算视网膜中图像的速度，其计算表达式为： （23）其中， 表示视网膜中图像的速度， 表示在第n帧中如果没有眼睛运动的视网膜中图像平面物体的速度，表示在第n帧中眼睛运动的速度，其计算表达式为： （24）其中， 表示跟踪物体的效率， 和 分别指眼睛运动的最小和最大速度，上述计算式（22）中的 为： （25） 其中， 表示立体视频的帧率， 和 分别表示为在第n帧中图像分别沿x、y方向的运动向量， 和 分别表示为一个像素在可视角度水平和垂直尺寸的大小，计算公式如下：, （26）其中，l表示观看距离， 表示像素在显示器上的显示宽度，（4-1-3）空间-时间对比灵敏度函数，将（4-1-1）的立体图像的空间频率及（4-1-2）的视网膜中图像的速度计算值代入式（22）中得到空间-时间对比灵敏度函数。
7.根据权利要求5或6所述的一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于，上述步骤(5)所述的建立双目的JND模型，其具体步骤为：将立体视频的JND模型与基于空间-时间对比灵敏度函数的可视阈值 相乘，其乘积为双目的JND模型，其计算表达式为： （27）其中， 双目的JND模型， 表示立体视频的JND模型， 表示基于空间-时间对比灵敏度函数的可视阈值。
8.根据权利要求7所述的一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于，上述步骤(6)所述的依据上述步骤的双目JND模型和感知峰值信噪比得到立体视频质量的双目感知峰值信噪比对立体视频质量评价，评价立体视频质量，其质量评价表达式为：（28）
其中，BPSPNR 表示立体视频质量的双目感知峰值信噪比， 为原始视频第n 帧左右视点重构后的亮度， 代表失真视频第n 帧左右视点重构后的亮度，为双目的JND模型。
一种基于双目最小可辨失真模型的立体视频质量评价方法
技术领域
[0001] 本发明涉及一种立体视频质量评价方法，特别是一种基于双目最小可辨失真（Just Noticeable Distortion）模型的立体视频质量评价方法。
背景技术
[0002] 目前，为了满足人们对场景真实和自然再现的需求，一种能显示立体视频的三维电视（3DTV），采用双摄像机拍摄的双路视频与基于双路视频用以作为显示终端的3DTV系统，当人们在观看立体视频时，立体视频的左右两路视频质量的变化，对合成的立体视频质量是有影响的。对于两路视频或其中一路视频失真到什么程度，立体视频质量的变化才为人们所感知，视频失真程度是立体视频质量评价的指标。对于单路视频质量评价的指标，最普遍、最广泛的评价指标是基于视频独立像素差值的峰值信噪比（Peak Signal to Noise Ratio, PSNR），该峰值信噪比计算表达式为：
[0003]
[0004] 但是，由于峰值信噪比是基于独立的像素差值的，忽略了图像内容和观测条件对失真可见度的影响，因此上述感知峰值信噪比往往和人眼主观感知的视频质量不相一致。有时甚至会出现峰值信噪比PSNR较高的视频质量反而比峰值信噪比较低的视频质量差。
导致上述感知峰值信噪比与频质量评价不一致原因是人眼的视觉对于误差的敏感度常常会受到多种因素的影响会发生变化，例如：人眼对空间频率较低的区域图像，其对比差异敏感度较高，人眼对亮度对比差异的敏感度比色度的敏感度要高，人眼对一个区域的感知结果还会受到其周围邻近区域的影响。为了使视频质量的评价与人眼的视觉的主观感知的视频质量相一致，在上述峰值信噪比与频质量评价上增加基于背景亮度、纹理掩盖等感知的JND (Just Noticeable Distortion)模型，由此得到感知峰值信噪比（Peak Signal to Perceptible Noise Ratio, PSPNR），该感知峰值信噪比计算表达式为：
[0005]
[0006] 然而，上述基于视频独立像素差值的峰值信噪比和基于背景亮度及纹理掩盖的感知峰值信噪比PSPNR仅适用于单路视频评价，由于立体视频不同于单路视频，立体视频采用的双路视频的融合不是简单的叠加，因此单路视频的JND模型并不适用于双路视频的立体视频质量评价。
[0007] 目前，立体视频质量评价分为立体视频质量主观和立体视频质量客观评价方法，立体视频质量主观评价方法需要测试者对测试立体视频进行打分，再统计，费时，不能马上给出评价结果。立体视频质量客观评价方法主要分为两种，一种是对每路视频用单路视频评价方法进行评价，最后通过平均每路视频质量评价得到立体视频质量评价，由于立体视频是双路视频的融合而不是简单的叠加，不能反映人眼的视觉感知。另一种是通过量化左右两视点的边缘区域和平滑区域的失真，然后利用logistic函数拟合来预测立体图像的质量，该客观评价方法是基于统计特征的，其评价易受视频内容的影响，加之没有考虑真实场景的深度感知对立体视频质量产生的影响，其评价结果不能完全反映人眼视觉的主观感知。迄今，对立体视频的质量评价方法研究较少，还没有普遍使用的方法。
[0008] 发明内容
[0009] 本发明的目的是提供一种基于双目最小可辨失真模型的立体视频质量评价方法，该方法基于双目的JND模型，使立体视频质量的评价与人眼的视觉的主观感知的视频质量相一致，正确反映人眼视觉的主观立体视频感知质量。
[0010] 为达到上述目的，本发明的构思是：
[0011] 一种基于双目最小可辨失真模型的立体视频质量评价方法，首先建立双目立体亮度关系模型，研究左右视点视频各自的像素亮度与融合为立体视频时的亮度关系，以改善后续JND模型中的像素亮度；根据背景亮度和纹理掩盖建立立体图像JND模型，根据视频的帧间掩盖可视阈值建立立体视频的JND模型；并由基于空间-时间对比灵敏度函数和显示设备的相关参数获得基于空间-时间对比灵敏度函数的可视阈值；然后由立体视频的JND模型和基于于空间-时间对比灵敏度函数的可视阈值组合得到双目的JND模型；最后建立基于双眼的JND的双目感知峰值信噪比立体视频质量评价方法。
[0012] 为达到上述构思，本发明的技术方案是：
[0013] 一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于分别建立双目立体亮度关系模型、立体图像的JND模型、立体视频的JND模型，提取纹理掩盖、背景亮度、帧间掩盖的可视阈值，设置基于空间-时间对比灵敏度函数的可视阈值T，对立体视频进行质量评价，建立双目的JND模型，计算用于立体视频质量评价的双目感知峰值信噪比。双目感知峰值信噪比越高，立体视频质量越好，其具体步骤是：
[0014] (1)、分别计算左、右视点视频的像素亮度，对左、右视点视频的像素亮度融合，建立双目立体亮度关系模型；
[0015] (2)、分别设置纹理掩盖的可视阈值和背景亮度引起的可视阈值，建立立体图像的JND模型；
[0016] (3)、根据视频帧间掩盖的可视阈值建立立体视频的JND模型；
[0017] (4)、建立基于空间-时间对比灵敏度函数的可视阈值T；
[0018] (5)、建立双目的JND模型；
[0019] (6)、依据上述步骤的双目JND模型和感知峰值信噪比得到立体视频质量的双目感知峰值信噪比对立体视频质量评价。
[0020] 上述步骤(1)所述的分别计算左、右视点视频的像素亮度，对左、右视点视频的像素亮度融合，建立双目立体亮度关系模型，其具体步骤如下：
[0021] （1-1）计算左视点视频的像素亮度 ；
[0022] （1-2）计算右视点视频的像素亮度 ；
[0023] （1-3）对JND模型的融合图像的像素亮度进行修正，建立双目立体亮度关系模型：
[0024] = （1）
[0025] 其中， 表示像素， 是表示双目立体亮度关系模型， ， 为常数，为与显示器有关的亮度校正系数， 。
[0026] 上述步骤(2)所述的分别设置纹理掩盖的可视阈值和背景亮度引起的可视阈值，建立立体图像的JND模型，其具体步骤如下：
[0027] （2-1）设置纹理掩盖效应的可视阈值，其计算式如下：
[0028] （2）
[0029] 其中， 表示纹理掩盖的可视阈值， 代表在像素 周围的亮度梯度的加权平均，是线性函数 的斜率，
[0030]
[0031] （3）
[0032] 其中， 是在四个方向上计算加权的平均亮度变化的算子，(i , j )表示像素(x , y)的邻近像素，i =1, 2, 3 ,4 ,5 ，j = 1 ,2 ,3 ,4 ,5；
[0033] （2-2）设置背景亮度引起的可视阈值，通过实验得到如下公式：
[0034] （4）
[0035] 其中， 表示背景亮度引起的可视阈值，bg( x ,y ) 是平均背景亮度， 和 分别代表当背景灰度值为0时的可视阈值和在高背景亮度时的模型曲线的线性斜率，平均背景亮度 计算式如下：
[0036] （5）
[0037] 其中， 为平均背景亮度算子，i = 1, 2 ,3, 4, 5， j = 1, 2, 3, 4, 5 ；
[0038] （2-3）建立立体图像JND模型，其具体如下：
[0039] （6）
[0040] 其中， 代表由式（1）测得的像素亮度，沿着每个水平方向的差分为[0041] （7）
[0042] 其中， ， ， 表示图像的水平和垂直方向的最大像素个数，
[0043] 对于水平零跨区：
[0044] （8）
[0045] 其中， 为水平方向的差分的特征符号，
[0046] 与像素 沿水平水平方向左右相邻像素差分的特征符号的乘积为
[0047] （9）
[0048] 那么，对于 ，判断水平方向边缘像素的因子为
[0049] （10）
[0050] 同样方法得到判断垂直方向边缘像素的因子为
[0051] ， （11）
[0052] 那么，上述背景亮度的可视阈值构成立体图像JND模型计算式（6）为：
[0053] （12）
[0054] 上述步骤(3)所述的根据视频的帧间掩盖可视阈值建立立体视频的JND模型，其具体步骤如下：
[0055] （3-1）建立帧间掩盖的可视阈值，建立帧间亮度差函数，该函数采用第n帧和n-1帧之间的平均亮度差函数 表示，其表达式 和 分别由式（13）和（14）表示为：
[0056] （13）
[0057] （14）
[0058] 其中， 表示为第n帧和n-1帧之间的平均亮度差函数， 表示帧间掩盖的可视阈值；
[0059] （3-2）建立立体视频的JND模型，将上述步骤（2-3）中所述的立体图像JND模型与步骤(3-1)中所述的帧间掩盖的可视阈值相乘，所得的乘积为立体视频的JND模型，其表达式为：
[0060] （15）
[0061] 其中， 表示立体视频的JND模型， 表示立体图像JND模型，表示帧间掩盖的可视阈值。
[0062] 上述步骤(4)所述的建立基于空间-时间对比灵敏度函数的可视阈值T，其具体步骤如下：
[0063] （4-1）计算立体视频的空间-时间对比灵敏度函数，其计算表达式为：
[0064] (16)
[0065] 其中， 、 、 、 为常数， 是视网膜成像速度， 表示空间频率；
[0066] （4-2）选择显示设备参数，其参数计算式为：
[0067] （17）
[0068] 其中， 为显示设备参数， 分别代表与最大和最小灰度值相对应的显示器的亮度值，M是图像的灰度级别数， 为与显示器有关的亮度校正系数， ；
[0069] （4-3）获得的基于空间-时间对比灵敏度函数的可视阈值，其表达式如下：
[0070] （18）
[0071] 其中， 是基于空间-时间对比灵敏度函数的可视阈值， 是空间-时间对比灵敏度函数， 为显示设备参数。
[0072] 上述步骤(5)所述的建立双目的JND模型，其具体步骤为：
[0073] 将上述步骤(3)所述的立体视频的JND模型与步骤(4)所述的基于空间-时间对比灵敏度函数的可视阈值 相乘所得的乘积，其乘积为双目的JND模型，其计算表达式为：
[0074] （27）
[0075] 其中， 为双目的JND模型， 为立体视频的JND模型，为基于空间-时间对比灵敏度函数的可视阈值。
[0076] 上述步骤(6)所述的依据上述步骤的双目JND模型和感知峰值信噪比得到立体视频质量的双目感知峰值信噪比对立体视频质量评价方法，其质量评价表达式为：
[0077]（28）
[0078] 其中， （29）
[0079] 其中，BPSPNR表示立体视频质量的双目感知峰值信噪比， 为原始视频第n 帧左右视点重构后的亮度， 代表失真视频第n 帧左右视点重构后的亮度，是双目的JND模型。
[0080] 本发明的一种基于双目最小可辨失真模型的立体视频质量评价方法与已有技术相比较，具有如下显而易见的实质性突出特点和显著优点：该方法通过建立双目立体亮度关系模型、立体图像的JND模型、立体视频的JND模型、双目的JND模型进而得到立体视频质量的双目感知峰值信噪比对立体视频质量评价，经由主观实验证明，本发明所得结果与传统的结果相比较，相关系数更高，更加符合人类视觉特性，能反映主观判断结果。
附图说明
[0081] 图1是本发明的一种基于双目最小可辨失真模型的立体视频质量评价方法的总体流程框图。
[0082] 图2是图1中步骤(1)所述的建立双目立体亮度关系模型流程框图。
[0083] 图3是图1中步骤(2)所述的建立立体图像JND模型（ ）的流程框图。
[0084] 图4是图1中步骤(3)所述的建立立体视频JND模型（ ）的流程框图。
[0085] 图5是图1中步骤(4)所述的建立基于空间-时间对比灵敏度函数的可视阈值T流程框图。
[0086] 图6是图5中步骤(4-1)所述的计算立体视频的空间-时间对比灵敏度函数的流程框图。
[0087] 图7是本发明的步骤（2-2）中设置可视阈值和背景亮度之间的关系图。
[0088] 图8是本发明的步骤（3-1）中时间掩盖效应函数 的平均亮度差与帧间亮度差的关系图。
[0089] 图9是对“Book_Arrival”视频测试序列的平均主观测试结果（MOS）、峰值信噪比（PSNP）、感知峰值信噪比（PSPNR）、双目感知峰值信噪比（BPSPNR）实验结果示意图，图中，横坐标表示量化参数（QP），纵坐标表示MOS、PSNP、PSPNR、BPSPNR的量。
[0090] 图10是对“Champagne_tower”视频测试序列的平均主观测试结果（MOS）、峰值信噪比（PSNP）、感知峰值信噪比（PSPNR）、双目感知峰值信噪比（BPSPNR）实验结果示意图图中，横坐标表示量化参数（QP），纵坐标表示MOS、PSNP、PSPNR、BPSPNR的量。
[0091] 图11是对“Lovebird1”视频测试序列的平均主观测试结果（MOS）、峰值信噪比（PSNP）、感知峰值信噪比（PSPNR）、双目感知峰值信噪比（BPSPNR）实验结果示意图图中，横坐标表示量化参数（QP），纵坐标表示MOS、PSNP、PSPNR、BPSPNR的量。
[0092] 图12是对“Ballet”视频测试序列的平均主观测试结果（MOS）、峰值信噪比（PSNP）、感知峰值信噪比（PSPNR）、双目感知峰值信噪比（BPSPNR）实验结果示意图图中，横坐标表示量化参数（QP），纵坐标表示MOS、PSNP、PSPNR、BPSPNR的量。
具体实施方式
[0093] 以下结合附图对本发明的实施例作进一步的详细说明。
[0094] 本实施例以本发明的技术方案为前提进行实施，给出了详细的实施方式，但本发明的保护范围不限于下述的实施例子。
[0095] 本发明的实验数据为：MEPG提供的立体视频测试序列“Book_arrival”、“Champagne_tower”、“Lovebird1”和微软研究所的“Ballet”，每个序列的其中相邻的两路视频，以4个不同的量化参数（22、28、34和40）对立体视频图像进行数字量化后的立体视频。
[0096] 参见图1，本发明的一种基于双目最小可辨失真模型的立体视频质量评价方法，其特征在于分别建立双目立体亮度关系模型、立体图像的JND模型，立体视频的JND模型，在提取、纹理掩盖、背景亮度、帧间的掩盖参数，设置可视阈值T，再分别计算时间空间对比灵敏度函数和显示设备相关参数，对立体视频进行质量评价，建立双目的JND模型，计算用于立体视频质量评价的双目感知峰值信噪比，双目感知峰值信噪比越高，立体视频质量越好，其具体步骤是：
[0097] (1)、分别计算左、右视点视频的像素亮度，对左、右视点视频的像素亮度融合，建立双目立体亮度关系模型，如图2所示，其具体步骤如下：
[0098] （1-1）计算左视点视频的像素亮度 ；
[0099] （1-2）计算右视点视频的像素亮度 ；
[0100] （1-3）对JND模型的融合图像的像素亮度进行修正，建立双目立体亮度关系模型：
[0101] = （1）
[0102] 其中， 表示像素， 是表示双目立体亮度关系模型， ， 为常数，为与显示器有关的亮度校正系数， ；
[0103] (2)、分别设置纹理掩盖的可视阈值和背景亮度引起的可视阈值，建立立体图像的JND模型，如图3所示，其具体步骤如下：
[0104] （2-1）设置纹理掩盖效应的可视阈值，其计算式如下：
[0105] （2）
[0106] 其中， 表示纹理掩盖的可视阈值， 代表在像素 周围的亮度梯度的加权平均， 是线性函数 的斜率，
[0107] ，
[0108] （3）
[0109] 其中， 是在四个方向上计算加权的平均亮度变化的算子，( i , j)表示像素( x , y)的邻近像素，i = 1, 2, 3, 4, 5 ，j = 1, 2, 3, 4, 5 ；
[0110] （2-2）设置背景亮度引起的可视阈值，通过实验得到如下公式：
[0111] （4）
[0112] 其中， 表示背景亮度引起的可视阈值，bg(x,y)是平均背景亮度，可视阈值T和平均背景亮度之间的关系，见图7，横坐标表示平均背景亮度，纵坐标表示可视阈值，横纵坐标范围均为0-255亮度级， 和 分别代表当背景灰度值为0时的可视阈值和在高背景亮度时的模型曲线的线性斜率，平均背景亮度 计算式如下：
[0113] （5）
[0114] 其中， 为平均背景亮度算子，i=1,2,3,4,5，j=1,2,3,4,5；
[0115] （2-3）建立立体图像JND模型，其具体如下：
[0116] （6）
[0117] 其中， 代表由式（1）测得的像素亮度，沿着每个水平方向的差分为[0118] （7）
[0119] 其中， ， ， 表示图像的水平和垂直方向的最大像素个数，
[0120] 对于水平零跨区：
[0121] （8）
[0122] 其中， 为水平方向的差分的特征符号，
[0123] 将像素 沿水平水平方向的左右相邻像素差分特征符号相乘，其乘积为：
[0124] （9）
[0125] 那么，对于 ，判断沿水平方向边缘像素的因子为：
[0126] （10）
[0127] 同样方法得到判断垂直方向边缘像素的因子为
[0128] ， （11）
[0129] 那么，上述背景亮度的可视阈值构成立体图像JND模型计算式（6）为：
[0130] （12）
[0131] (3)、根据视频帧间掩盖的可视阈值建立立体视频的JND模型；参见图4，其具体步骤如下：
[0132] （3-1）建立帧间掩盖的可视阈值建立帧间亮度差异函数，该函数采用第n 帧和n-1帧之间的平均亮度差函数 表示，如图8所示，横坐标表示帧间亮度差，纵坐标表示平均亮度差，其表达式 和 分别由式（13）和（14）表示为：
[0133] （13）
[0134] （14）
[0135] 其中， 表示为第n帧和n-1帧之间的平均亮度差函数， 表示帧间掩盖的可视阈值；
[0136] （3-2）建立立体视频的JND模型，将上述步骤（2-3）中所述的立体图像JND模型与步骤(3-1)中所述的帧间掩盖的可视阈值相乘，所得的乘积为立体视频的JND模型，其表达式为：
[0137] （15）
[0138] 其中， 表示立体视频的JND模型， 表示立体图像JND模型，表示帧间掩盖的可视阈值；
[0139] (4)、建立基于空间-时间对比灵敏度函数的可视阈值T，如图5所示，其具体步骤如下：
[0140] （4-1）计算立体视频的空间-时间对比灵敏度函数，其计算表达式为：
[0141] (16)
[0142] 其中， 、 、 、 为常数，这里取 、 、 、 =1，是视网膜成像速度， 表示空间频率；
[0143] （4-2）计算显示设备参数，其计算表达式为：
[0144] （17）
[0145] 其中， 为显示设备参数， 分别代表与最大和最小灰度值相对应的显示器的亮度值，M是图像的灰度级别数，通常灰度级别数取为256， 为与显示器有关的亮度校正系数， ；
[0146] （4-3）获得基于空间-时间对比灵敏度的可视阈值 ，其计算表达式为：
[0147] （18）
[0148] 其中， 是基于空间-时间对比灵敏度函数的可视阈值， 是空间-时间对比灵敏度函数， 为显示设备参数。
[0149] 上述步骤（4-1）计所述的算立体视频的空间-时间对比灵敏度函数，如图6所示，其具体步骤如下：
[0150] （4-1-1）定义立体图像的空间频率，其计算表达式为：
[0151] （19）
[0152] 式中， 表示行频率，其计算表达式为：
[0153] （20）
[0154] 式中， 表示列频率，其计算表达式为：
[0155] （21）
[0156] M，N为图像的宽度和高度，(x,y)为像素位置， 为(x,y)位置的像素亮度，[0157] 于是，在第 帧上的点 的空间-时间对比灵敏度函数为：
[0158] （22）
[0159] 其中， 表示行频率， 表示列频率， 表示视网膜中图像的速度；
[0160] （4-1-2）计算视网膜中图像的速度，其计算表达式为：
[0161] （23）
[0162] 其中， 表示视网膜中图像的速度， 表示在第n帧中如果没有眼睛运动的视网膜中图像平面物体的速度，
[0163] 表示在第n帧中眼睛运动的速度，其计算表达式为：
[0164] （24）
[0165] 其中， 表示跟踪物体的效率， 和 分别指眼睛运动的最小和最大速度，上述计算式（22）中的 为：
[0166] （25）
[0167] 其中， 表示立体视频的帧率， 和 分别表示为在第n帧中图像分别沿x、y方向的运动向量， 和 分别表示为一个像素在可视角度水平和垂直尺寸的大小，计算公式如下：
[0168] , （26）
[0169] 其中，l表示观看距离， 表示像素在显示器上的显示宽度；
[0170] （4-1-3）空间-时间对比灵敏度函数，将（4-1-1）的立体图像的空间频率及（4-1-2）的视网膜中图像的速度计算值代入式（22）中得到空间-时间对比灵敏度函数；
[0171] (5)、建立双目的JND模型：
[0172] 将上述步骤(3)所述的立体视频的JND模型与步骤(4)所述的基于空间-时间对比灵敏度函数可视阈值相乘所得的乘积，其乘积为双目的JND模型，其计算表达式为：
[0173] （27）
[0174] 其中， 双目的JND模型， 表示立体视频的JND模型，表示基于空间-时间对比灵敏度的可视阈值；
[0175] (6)、依据上述步骤的双目JND模型和感知峰值信噪比得到立体视频质量的双目感知峰值信噪比对立体视频质量评价，其质量评价表达式为：
[0176] （28）
[0177] 其中，（29）
[0178] 式中，BPSPNR表示立体视频质量的双目感知峰值信噪比， 为原始视频第n 帧左右视点重构后的亮度， 代表失真视频第n 帧左右视点重构后的亮度，为双目的JND模型。
[0179] 下面将本发明的一种基于双目最小可辨失真模型的立体视频质量评价方法应用到立体视频质量评价中，结合主观实验与其它方法进行比较与验证。
[0180] 实验序列 为：立 体视频测 试序列“Book_arrival”、“Champagne_tower”、“Lovebird1”和微软研究所给出的“Ballet”。
[0181] 视频序列进行如下处理：用国际标准化组织中联合视频专家组（Joint Video Team , JVT）提供的JMVC 8.2压缩软件进行量化处理，量化参数分别为：22、28、34、40。
[0182] 主观实验参照国际标准ITU-R BT.500-11，为便于比较，用百分制来代替5分制。 [0183] 以峰值信噪比、加入JND模型的感知峰值信噪比方法和本发明提出的双目感知峰值信噪比方法对客观实验结果进行了比较。其中，峰值信噪比方法由左右眼的平均值得到，感知峰值信噪比 由左右眼的感知峰值信噪比平均值得到，双目感知峰值信噪比是本文提出的方法。图9、图10、图11、图12分别是“Book_Arrival”、“Champagne_tower”、“Lovebird1”、“Ballet”序列的实验结果，横坐标表示量化参数（QP），纵坐标表示MOS、PSNP、PSPNR、BPSPNR的量。本发明还采用视频质量专家组(Video Quality Expert Group, VQEG)提出的视频质量评价算法的测试指标Pearson相关系数(Pearson Correlation Coefficient, PCC)进一步分析客观评价与主观评价的一致性。表1列出各方法由PCC测试的结果，可以看到，本文所提出的方法与人类的视觉感知一致性最好。
[0184] 表1 对不同序列用峰值信噪比、感知峰值信噪比、双目感知峰值信噪比方法进行PCC比较（1为完全一致）
[0185]比
噪
信
值
峰
知感目双 ] 459699.0 ] 876889.0 ]2 523899.0 ]6 477699.0 ]0
4000 8000 1000 1000 2000
[ [ [ [ [
比
噪
信值 004
峰知 599. 8521 0393 4829
感 0 69.0 99.0 89.0
] ] ]1 ]5 ]9
3000 7000 1000 1000 1000
[ [ [ [ [
比噪 005
信值 879. 2300 1586 1898
峰 0 69.0 89.0 89.0
] ] ]0 ]4 ]8
2000 6000 1000 1000 1000
[ [ [ [ [
re
lav wot_
irra enga 1
列 -koo pmah drib te
序 B C evoL llaB
]10 ]50 ]90 ]310 ]710
00[ 00[ 00[ 00[ 00[
