基于视觉阈值与通道融合的立体图像客观质量评价方法转让专利

申请号 : CN201210585736.0

文献号 : CN103108209B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 郁梅孔真真蒋刚毅彭宗举邵枫

申请人 : 宁波大学

摘要 :

本发明公开了一种基于视觉阈值与通道融合的立体图像客观质量评价方法,其通过对无失真的立体图像和失真的立体图像的左视点图像和右视点图像分通道进行视觉阈值分析和奇异值分解;然后通过对无失真的立体图像和失真的立体图像的左右视点图像的绝对视差图像的差值图像分通道进行视觉阈值分析和奇异值分解,采用线性组合方式得到立体感知评价度量;最后将客观评价尺度度量和立体感知评价度量两者进行线性加权结合,得到立体图像的总体质量评价客观值,不仅有效利用了恰可察觉失真的视觉阈值、视觉掩盖效应以及立体感知等人眼视觉特性,而且在评价左右视点图像质量的基础上,同时评价了立体感知,因此提高了客观质量评价结果与主观感知之间的相关性。

权利要求 :

1.一种基于视觉阈值与通道融合的立体图像客观质量评价方法,其特征在于具体包括以下步骤:①令Sorg为原始的无失真的立体图像,令Sdis为失真的立体图像,将原始的无失真的立体图像Sorg的左视点图像记为Lorg,将原始的无失真的立体图像Sorg的右视点图像记为Rorg,将失真的立体图像Sdis的左视点图像记为Ldis,将失真的立体图像Sdis的右视点图像记为Rdis;

②计算Lorg与Ldis的差值图,记为Dl,Dl=|Lorg-Ldis|,并计算Rorg与Rdis的差值图,记为Dr,Dr=|Rorg-Rdis|,然后计算Lorg与Rorg的差值图,记为Dorg,Dorg=|Lorg-Rorg|,并计算Ldis与Rdis的差值图,记为Ddis,Ddis=|Ldis-Rdis|,再计算Dorg与Ddis的差值图,记为DD,DD=|Dorg-Ddis|,其中,“||”为取绝对值符号;

③ 获 取 Lorg 的 视 觉 阈 值 图,记 为 将 Lorg 的 视 觉 阈 值 图中 坐 标 位 置 为(i,j) 的 像 素 点 的 视 觉 阈 值 记 为其 中,1≤i ≤W,1≤ j≤ H,W

l

表示立体图像的宽度,H表示立体图像的高度,T(i,j)表示Lorg中坐标位置为(i,j)的像 素点 对应的 亮度 阈值,

表 示 Lorg 中 坐 标 位 置 为 (i,j) 的 像 素 点 的 亮 度 值 的 均 值,I(i,j)表示Lorg中坐标位置为(i,j)的像素点的亮度值,I(i-3+m,j-3+n)表示Lorg中坐标位置为(i-3+m,j-3+n)的像素点的亮度值,B(m,n)表示5×5的低通滤波器中坐标t

位置为(m,n)处的值,T(i,j)表示Lorg中坐标位置为(i,j)的像素点对应的纹理阈 值,Tt(i,j) = α(i,j)×G(i,j)+β(i,j),G(i,j)表示Lorg中坐标位置为(i,j)的像素点分别通过水平方向、垂直方向、45°方向和135°方向的高通滤波器滤波后得到的四个值中的最大值,C为加权系数,min()为取最小值函数;

获 取Rorg的 视 觉 阈 值 图,记 为 将 Rorg 的 视 觉 阈 值 图中 坐 标 位 置 为 (i,j) 的 像 素 点 的 视 觉 阈 值 记 为其中,1≤i≤W,1≤j≤H,W

r

表示立体图像的宽度,H表示立体图像的高度,T(i,j)表示Rorg中坐标位置为(i,j)的 像 素 点 对 应 的 亮 度 阈 值,

表 示 Rorg 中 坐 标 位 置 为 (i,j) 的 像 素 点 的 亮 度 值 的 均 值,I'(i,j)表示Rorg中坐标位置为(i,j)的像素点的亮度值,I'(i-3+m,j-3+n)表示Rorg中坐标位置为(i-3+m,j-3+n)的像素点的亮度值,B(m,n)表示5×5的低通滤波器中坐标位t置为(m,n)处的值,T'(i,j)表示Rorg中坐标位置为(i,j)的像素点对应的纹理阈t值,T'(i,j) = α'(i,j)×G'(i,j)+β'(i,j),G'(i,j)表示Rorg中坐标位置为(i,j)的像素点分别通过水平方向、垂直方向、45°方向和135°方向的高通滤波器滤波后得到的四个值中的最大值,C为加权系数,min()为取最小值函数;

④将Lorg与Ldis的差值图Dl分成RGB三个通道的图像,并将Lorg与Ldis的差值图Dl的第u个通道的图像记为Dl_u;将Rorg与Rdis的差值图Dr分成RGB三个通道的图像,并将Rorg与Rdis的差值图Dr的第u个通道的图像记为Dr_u;将Lorg的视觉阈值图 分成RGB三个通道的图像,并将Lorg的视觉阈值图 的第u个通道的图像记为 将Rorg的视觉阈值图 分成RGB三个通道的图像,并将Rorg的视觉阈值图 的第u个通道的图像记为 其中,u=1,2,3,u=1表示R通道,u=2表示G通道,u=3表示B通道;

⑤将Dl的RGB三个通道的图像、Dr的RGB三个通道的图像、 的RGB三个通道的图像、 的RGB三个通道的图像分别分割成 个互不重叠的尺寸大小为8×8的图像块,然后对Dl的RGB三个通道的图像、Dr的RGB三个通道的图像、 的RGB三个通道的图像、 的RGB三个通道的图像中的每个图像块进行奇异值分解,得到每个图像块各自对应的奇异值矩阵,将Dl的第u个通道的图像Dl_u中的第k个图像块的奇异值矩阵记为Sl_u_k,将Dr的第u个通道的图像Dr_u中的第k个图像块的奇异值矩阵记为Sr_u_k,将的第u个通道的图像 中的第k个图像块的奇异值矩阵记为 将 的第u个通道的图像 中的第k个图像块的奇异值矩阵记为 其中, 为向下取整符号,

⑥计算Dl的每个通道的图像中的每个图像块与 的对应通道的图像中的对应图像块之间的奇异值距离,将Dl的第u个通道的图像Dl_u中的第k个图像块与的第u个通道的图像 中的第k个图像块之间的奇异值距离记为然后计算Ldis的每个通道的全局失真程度

值,将Ldis的第u个通道的全局失真程度值记为Ql,u, 其中,w表示失真判断值, w=1时表示Dl的第u个通道的

图像Dl_u中的第k个图像块中坐标位置为(x,y)的像素点失真,w=0时表示Dl的第u个通道的图像Dl_u中的第k个图像块中坐标位置为(x,y)的像素点不失真,Sl_u_k(x,y)表示Sl_u_k中坐标位置为(x,y)处的奇异值, 表示 中坐标位置为(x,y)处的奇异值, “||”为取绝对值符号,Dmedian_l,u表示Dl的第u个通道的图像中的所有图像块与 的第u个通道的图像中的所有图像块对应图像块之间的奇异值距离的中值;

⑦计算Dr的每个通道的图像中的每个图像块与 的对应通道的图像中的对应图像块之间的奇异值距离,将Dr的第u个通道的图像Dr_u中的第k个图像块与的第u个通道的图像 中的第k个图像块之间的奇异值距离记为然后计算Rdis的每个通道的全局失真程度

值,将Rdis的第u个通道的全局失真程度值记为Qr,u, 其中,w表示失真判断值, w=1时表示Dr的第u个通道的

图像Dr_u中的第k个图像块中坐标位置为(x,y)的像素点失真,w=0时表示Dr的第u个通道的图像Dr_u中的第k个图像块中坐标位置为(x,y)的像素点不失真,Sr_u_k(x,y)表示Sr_u_k中坐标位置为(x,y)处的奇异值, 表示 中坐标位置为(x,y)处的奇异值, “||”为取绝对值符号,Dmedian_r,u表示Dr的第u个通道的图像中的所有图像块与 的第u个通道的图像中的所有图像块对应图像块之间的奇异值距离的中值;

⑧根据Ldis的每个通道的全局失真程度值和Rdis的每个通道的全局失真程度值,计算Sdis相对于Sorg的客观评价尺度度量,记为Qs, 其中,bu表示第u个通道的权重值,wl表示在一种失真类型下左视点图像质量在立体图像质量中所占的权重,wr表示在同一种失真类型下右视点图像质量在立体图像质量中所占的权重,wl+wr=

1;

⑨获取Rorg的背景亮度图像和边缘强度图像,分别记为bgorg和ehorg;然后根据Rorg的背景亮度图像bgorg和边缘强度图像ehorg,以Rorg为参考图像,获取Lorg的全局双目恰可觉察失真阈值图,记为 将Lorg的全局双目恰可觉察失真阈值图中坐标位置为(i,j)的像素点的全局双目恰可觉察失真阈值记为

其中,j'=j+d(i,j),d(i,j)表示Lorg中

坐标位置为(i,j)的像素点相对于Rorg中坐标位置为(i,j)的像素点的水平视差值,Lorg中坐标位置为(i,j')的像素点为通过坐标位置为(i,j)的像素点在水平方向上向右移动d(i,j)个像素点获得,TC,lim(i,j')表示Lorg中坐标位置为(i,j')的像素点的对比度掩蔽效应的最大失真阈值,TC,lim(i,j')=TC(bgorg(i,j'))+K(bgorg(i,j'))×ehorg(i,j'),TC(bgorg(i,j'))表示右视点图像在给定bgorg(i,j')的情况下引发感知差异的最小噪声幅值,K(bgorg(i,j'))表示依据主观实验结果建立的增大因子拟合函数,K(bgorg(i,j'))=-(-6) 2

10 ×(0.7×bgorg(i,j')+32×bgorg(i,j'))+0.07,bgorg(i,j')表示bgorg中坐标位置为(i,j')的像素点的像素值,ehorg(i,j')表示ehorg中坐标位置为(i,j')的像素点的像素值,nr(i,j')表示Rorg中坐标位置为(i,j')的像素点上的噪声幅值,λ为控制主观亮度掩蔽对实验结果影响的参数;

⑩将DD分成RGB三个通道的图像,并将DD的第u个通道的图像记为DDu;将分成RGB三个通道的图像,并将 的第u个通道的图像记为 其中,u=

1,2,3,u=1表示R通道,u=2表示G通道,u=3表示B通道;

将DD的RGB三个通道的图像、 的RGB三个通道的图像分别分割成个互不重叠的尺寸大小为8×8的图像块,然后对DD的RGB三个通道的图像、 的RGB三个通道的图像中的每个图像块进行奇异值分解,得到每个图像块各自对应的奇异值矩阵,将DD的第u个通道的图像DDu中的第k个图像块的奇异值矩阵记为SDD_u_k,将的第u个通道的图像 中的第k个图像块的奇异值矩阵记为 其中,为向下取整符号,

计算DD的每个通道的图像中的每个图像块与 的对应通道的图像中的

对应图像块之间的奇异值距离,将DD的第u个通道的图像DDu中的第k个图像块与的第u个通道的图像 中的第k个图像块之间的奇异值距离记为然后计算Sdis相对于Sorg的立体感知

评价度量,记为Qd, 其中,w'表示失真判断值,

w'=1时表示DD的第u个通道的图像DDu中

的第k个图像块中坐标位置为(x,y)的像素点失真,w'=0时表示DD的第u个通道的图像DDu中的第k个图像块中坐标位置为(x,y)的像素点不失真,SDD_u_k(x,y)表示SDD_u_k中坐标位置为(x,y)处的奇异值, 表示 中坐标位置为(x,y)处的奇异值,“||”为取绝对值符号,bu表示第u个通道的权重值,Dmedian_DD,u表示DD的第u个通道的图像DDu中的所有图像块与 的第u个通道的图像 中的所有图像块对应图像块之间的奇异值距离的中值;

根据Sdis相对于Sorg的客观评价尺度度量Qs和Sdis相对于Sorg的立体感知评价度量Qd,计算Sdis的总体质量评价客观值,记为Q,Q=Wtype×Qs+(1-Wtype)×Qd,其中,Wtype表示在同一种失真类型下Qs的权重值。

2.根据权利要求1所述的基于视觉阈值与通道融合的立体图像客观质量评价方法,其特征在于所述的步骤③中C取值为0.3。

3.根据权利要求1或2所述的基于视觉阈值与通道融合的立体图像客观质量评价方法,其特征在于所述的步骤⑧中当失真类型为高斯模糊失真时,取wl=0.10,wr=0.90;当失真类型为JPEG压缩时,取wl=0.50,wr=0.50;当失真类型为JPEG 2000压缩时,取wl=0.15,wr=0.85;当失真类型为白噪声失真时,取wl=0.20,wr=0.80;当失真类型为H.264编码失真时,取wl=0.10,wr=0.90。

4.根据权利要求3所述的基于视觉阈值与通道融合的立体图像客观质量评价方法,其特征在于所述的步骤⑧和所述的步骤 中bu的获取过程为:A、采用多幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像;

B、采用主观质量评价方法,获取该失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];

C、根据步骤①至步骤⑦的操作过程,采用线性加权的拟合方法拟合该失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像的左视点图像的第u个通道的全局失真程度值Ql,u和右视点图像的第u个通道的全局失真程度值Qr,u,得到每幅失真的立体图像相对于对应的无失真的立体图像的客观评价尺度度量最佳时第u个通道的权重值bu。

5.根据权利要求4所述的基于视觉阈值与通道融合的立体图像客观质量评价方法,其特征在于所述的步骤⑧和所述的步骤 中取

6.根据权利要求5所述的基于视觉阈值与通道融合的立体图像客观质量评价方法,其特征在于所述的步骤⑨中取λ=1.25。

7.根据权利要求6所述的基于视觉阈值与通道融合的立体图像客观质量评价方法,其特征在于所述的步骤 中Wtype的获取过程为:采用多幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像;

采用主观质量评价方法,获取该失真立体图像集中的每幅失真的立体图

像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];

根据步骤①至步骤 的操作过程,采用线性加权的拟合方法拟合该失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像相对于对应的无失真的立体图像的客观评价尺度度量Qs和每幅失真的立体图像相对于对应的无失真的立体图像的立体感知评价度量Qd,得到该种失真类型下Qs的权重值Wtype。

8.根据权利要求7所述的基于视觉阈值与通道融合的立体图像客观质量评价方法,其特征在于所述的步骤 中当失真类型为高斯模糊失真时,取Wtype=0.82;当失真类型为JPEG压缩时,取Wtype=0.52;当失真类型为JPEG 2000压缩时,取Wtype=0.78;当失真类型为白噪声失真时,取Wtype=0.70;当失真类型为H.264编码失真时,取Wtype=0.80。

说明书 :

基于视觉阈值与通道融合的立体图像客观质量评价方法

技术领域

[0001] 本发明涉及一种立体图像质量评价方法,尤其是涉及一种基于视觉阈值与通道融合的立体图像客观质量评价方法。

背景技术

[0002] 立体图像作为一种能够提供立体感的新型图像,已成为三维立体研究的重要方向,并已受到广泛的关注与应用。与传统的多媒体相比,立体视频能够为大众创造更加直观、真实的场景感受,但其需要处理的数据至少多一倍。因此,立体图像在提高编码压缩效率的同时,还需要保证立体图像的主观感知。由于立体图像质量的主观评价方法不仅容易受到客观条件、主观情绪和观察者自身条件等各种因素的影响,而且复杂费时,评测结果因人而异,评价结果极不稳定。因此,建立与主观感知相一致的立体图像客观质量评价模型显得十分重要。目前,很多研究者将平面图像质量评价方法直接用于立体图像的评价,如基于奇异值分解的质量评价和基于结构相似度的评价等,这些方法评价平面图像质量效果比较好,但是评价立体图像的效果却不很理想,这是因为它们没有考虑人眼视觉特性因素以及立体图像特有的深度感知特性,从而导致最终的客观评价与人眼主观评价不是很吻合。

发明内容

[0003] 本发明所要解决的技术问题是提供一种能够有效提高立体图像客观评价结果与主观感知之间的相关性的基于视觉阈值与通道融合的立体图像客观质量评价方法。
[0004] 本发明解决上述技术问题所采用的技术方案为:一种基于视觉阈值与通道融合的立体图像客观质量评价方法,其特征在于具体包括以下步骤:
[0005] ①令Sorg为原始的无失真的立体图像,令Sdis为失真的立体图像,将原始的无失真的立体图像Sorg的左视点图像记为Lorg,将原始的无失真的立体图像Sorg的右视点图像记为Rorg,将失真的立体图像Sdis的左视点图像记为Ldis,将失真的立体图像Sdis的右视点图像记为Rdis;
[0006] ②计算Lorg与Ldis的差值图,记为Dl,Dl=|Lorg-Ldis|,并计算Rorg与Rdis的差值图,记为Dr,Dr=|Rorg-Rdis|,然后计算Lorg与Rorg的差值图,记为Dorg,Dorg=|Lorg-Rorg|,并计算Ldis与Rdis的差值图,记为Ddis,Ddis=|Ldis-Rdis|,再计算Dorg与Ddis的差值图,记为DD,DD=|Dorg-Ddis|,其中,“||”为取绝对值符号;
[0007] ③ 获 取 Lorg 的 视 觉 阈 值 图,记 为 将Lorg的 视 觉 阈 值 图中 坐 标 位 置 为 (i,j) 的 像 素 点 的 视 觉 阈 值 记 为
其 中,1 ≤ i ≤ W,1≤ j ≤ H,W
表示立体图像的宽度,H表示立体图像的高度,Tl(i,j)表示Lorg中坐标位置
为(i,j)的 像 素 点 对 应的 亮 度 阈 值,
表 示Lorg 中 坐 标 位 置 为(i,j) 的 像 素 点 的 亮 度 值 的 均 值,
I(i,j)
表示Lorg中坐标位置为(i,j)的像素点的亮度值,I(i-3+m,j-3+n)表示Lorg中坐
标位置为(i-3+m,j-3+n)的像素点的亮度值,B(m,n)表示5×5的低通滤波器中坐
t
标位置为(m,n)处的值,T(i,j)表示Lorg中坐标位置为(i,j)的像素点对应的纹
t
理 阈 值,T(i,j)=α(i,j)×G(i,j)+β(i,j),
G(i,j)表示Lorg中坐标位置为(i,j)的像素点分别通过水平方
向、垂直方向、45°方向和135°方向的高通滤波器滤波后得到的四个值中的最大值,C为加权系数,min()为取最小值函数;
[0008] 获 取 Rorg 的 视 觉 阈 值 图,记 为 将 Rorg 的 视 觉 阈 值 图中 坐 标 位 置 为(i,j) 的 像 素 点 的 视 觉 阈 值 记 为
其 中,1≤ i≤W,1 ≤j≤ H,W
r
表示立体图像的宽度,H表示立体图像的高度,T(i,j)表示Rorg中坐标位置
为(i,j)的像 素点对 应的 亮度阈 值,
表 示 Rorg 中 坐 标 位 置 为 (i,j) 的 像 素 点 的 亮 度 值 的 均 值,
I'(i,j)
表示Rorg中坐标位置为(i,j)的像素点的亮度值,I'(i-3+m,j-3+n)表示Rorg中坐标位置为(i-3+m,j-3+n)的像素点的亮度值,B(m,n)表示5×5的低通滤波器中坐标位置为(m,n)处t t
的值,T′(i,j)表示Rorg中坐标位置为(i,j)的像素点对应的纹理阈值,T'(i,j)=α'(i,j)×G'(i,j)+β'(i,j),
G'(i,j)表示Rorg中坐标位置为(i,j)的像素点分别通过水平方向、垂直方向、45°方向和
135°方向的高通滤波器滤波后得到的四个值中的最大值,C为加权系数,min()为取最小值函数;
[0009] ④将Lorg与Ldis的差值图Dl分成RGB三个通道的图像,并将Lorg与Ldis的差值图Dl的第u个通道的图像记为Dl_u;将Rorg与Rdis的差值图Dr分成RGB三个通道的图像,并将Rorg与Rdis的差值图Dr的第u个通道的图像记为Dr_u;将Lorg的视觉阈值图 分成RGB三个通道的图像,并将Lorg的视觉阈值图 的第u个通道的图像记为 将Rorg的视觉阈值图 分成RGB三个通道的图像,并将Rorg的视觉阈值图 的第u个通道的
图像记为 其中,u=1,2,3,u=1表示R通道,u=2表示G通道,u=3表示B通道;
[0010] ⑤将Dl的RGB三个通道的图像、Dr的RGB三个通道的图像、 的RGB三个通道的图像、 的RGB三个通道的图像分别分割成 个互不重叠的尺寸大小为8×8的图像块,然后对Dl的RGB三个通道的图像、Dr的RGB三个通道的图像、 的RGB三个通道的图像、 的RGB三个通道的图像中的每个图像块进行奇异值分解,得到每个图像块各自对应的奇异值矩阵,将Dl的第u个通道的图像Dl_u中的第k个图像块的奇异值矩阵记为Sl_u_k,将Dr的第u个通道的图像Dr_u中的第k个图像块的奇异值矩阵记为Sr_u_k,将的第u个通道的图像 中的第k个图像块的奇异值矩阵记为 将 的
第u个通道的图像 中的第k个图像块的奇异值矩阵记为 其中, 为向下取
整符号,
[0011] ⑥计算Dl的每个通道的图像中的每个图像块与 的对应通道的图像中的对应图像块之间的奇异值距离,将Dl的第u个通道的图像Dl_u中的第k个图像块
与 的第u个通道的图像 中的第k个图像块之间的奇异值距离记为
然后计算Ldis的每个通道的全局失真程度
值,将Ldis的第u个通道的全局失真程度值记为Ql,u, 其中,w
表示失真判断值, w=1时表示Dl的第u个通道的图
像Dl_u中的第k个图像块中坐标位置为(x,y)的像素点失真,w=0时表示Dl的第u个通道的图像Dl_u中的第k个图像块中坐标位置为(x,y)的像素点不失真,Sl_u_k(x,y)表示Sl_u_k中坐标位置为(x,y)处的奇异值, 表示 中坐标位置为(x,y)处的奇异值,
“||”为取绝对值符号,Dmedian_l,u表示Dl的第u个通道的图像中的所有图像块与 的第u个通道的图像中的所有图像块对应图像块之间的奇异值距离的中值;
[0012] ⑦计算Dr的每个通道的图像中的每个图像块与 的对应通道的图像中的对应图像块之间的奇异值距离,将Dr的第u个通道的图像Dr_u中的第k个图像块
与 的第u个通道的图像 中的第k个图像块之间的奇异值距离记为
然后计算Rdis的每个通道的全局失真程度
值,将Rdis的第u个通道的全局失真程度值记为Qr,u, 其中,w
表示失真判断值, w=1时表示Dr的第u个通道的图
像Dr_u中的第k个图像块中坐标位置为(x,y)的像素点失真,w=0时表示Dr的第u个通道的图像Dr_u中的第k个图像块中坐标位置为(x,y)的像素点不失真,Sr_u_k(x,y)表示Sr_u_k中坐标位置为(x,y)处的奇异值, 表示 中坐标位置为(x,y)处的奇异值,
“||”为取绝对值符号,Dmedian_r,u表示Dr的第u个通道的图像中的所有图像块与 的第u个通道的图像中的所有图像块对应图像块之间的奇异值距离的中值;
[0013] ⑧根据Ldis的每个通道的全局失真程度值和Rdis的每个通道的全局失真程度值,计算Sdis相对于Sorg的客观评价尺度度量,记为Qs, 其中,bu表示第u个通道的权重值,wl表示在一种失真类型下左视点图像质量在立体图像质量中所占的权重,wr表示在同一种失真类型下右视点图像质量在立体图像质量中所占的权重,wl+wr=1;
[0014] ⑨获取Rorg的背景亮度图像和边缘强度图像,分别记为bgorg和ehorg;然后根据Rorg的背景亮度图像bgorg和边缘强度图像ehorg,以Rorg为参考图像,获取Lorg的全局双目恰可觉察失真阈值图,记为 将Lorg的全局双目恰可觉察失真阈值图中坐标位置为(i,j)的像素点的全局双目恰可觉察失真阈值记为
其中,j′=j+d(i,j),d(i,j)表示Lorg中坐
标位置为(i,j)的像素点相对于Rorg中坐标位置为(i,j)的像素点的水平视差值,Lorg中坐标位置为(i,j')的像素点为通过坐标位置为(i,j)的像素点在水平方向上向右移动d(i,j)个像素点获得,TC,lim(i,j')表示Lorg中坐标位置为(i,j′)的像素点的对比度掩蔽效应的最大失真阈值,TC,lim(i,j′)=TC(bgorg(i,j′))+K(bgorg(i,j′))×ehorg(i,j′),TC(bgorg(i,j'))表示右视点图像在给定bgorg(i,j′)的情况下引发感知差异的最小噪声幅值,K(bgorg(i,j'))表示依据主观实验结果建立的增大因子拟合函数,K(bgorg(i,j'))=-1
0(-6)×(0.7×bgorg(i,j')2+32×bgorg(i,j′))+0.07,bgorg(i,j′)表示bgorg中坐标位置为(i,j')的像素点的像素值,ehorg(i,j')表示ehorg中坐标位置为(i,j′)的像素点的像素值,nr(i,j')表示Rorg中坐标位置为(i,j′)的像素点上的噪声幅值,λ为控制主观亮度掩蔽对实验结果影响的参数;
[0015] ⑩将DD分成RGB三个通道的图像,并将DD的第u个通道的图像记为DDu;将分成RGB三个通道的图像,并将 的第u个通道的图像记为 其中,u=1,2,3,u=1表示R通道,u=2表示G通道,u=3表示B通道;
[0016] 将DD的RGB三个通道的图像、 的RGB三个通道的图像分别分割成个互不重叠的尺寸大小为8×8的图像块,然后对DD的RGB三个通道的图像、
的RGB三个通道的图像中的每个图像块进行奇异值分解,得到每个图像块各自对应的奇异值矩阵,将DD的第u个通道的图像DDu中的第k个图像块的奇异值矩阵记为SDD_u_k,将 的第u个通道的图像 中的第k个图像块的奇异值矩阵记为 其中,
为向下取整符号,
[0017] 计算DD的每个通道的图像中的每个图像块与 的对应通道的图像中的对应图像块之间的奇异值距离,将DD的第u个通道的图像DDu中的第k个图像块与的第u个通道的图像 中的第k个图像块之间的奇异值距离记为
然后计算Sdis相对于Sorg的立体感知
评价度量,记为Qd, 其中,w'表示失真判断值,
w'=1时表示DD的第u个通道的图像DDu中的第k
个图像块中坐标位置为(x,y)的像素点失真,w'=0时表示DD的第u个通道的图像DDu中的第k个图像块中坐标位置为(x,y)的像素点不失真,SDD_u_k(x,y)表示SDD_u_k中坐标位置为(x,y)处的奇异值, 表示 中坐标位置为(x,y)处的奇异值,
“||”为取绝对值符号,bu表示第u个通道的权重值,Dmedian_DD,u表示DD的第u个通道的图像DDu中的所有图像块与 的第u个通道的图像 中的所有图像块对应图像块之
间的奇异值距离的中值;
[0018] 根据Sdis相对于Sorg的客观评价尺度度量Qs和Sdis相对于Sorg的立体感知评价度量Qd,计算Sdis的总体质量评价客观值,记为Q,Q=Wtype×Qs+(1-Wtype)×Qd,其中,Wtype表示在同一种失真类型下Qs的权重值。
[0019] 所述的步骤③中C取值为0.3。
[0020] 所述的步骤⑧中当失真类型为高斯模糊失真时,取wl=0.10,wr=0.90;当失真类型为JPEG压缩时,取wl=0.50,wr=0.50;当失真类型为JPEG2000压缩时,取wl=0.15,wr=0.85;当失真类型为白噪声失真时,取wl=0.20,wr=0.80;当失真类型为H.264编码失真时,取wl=0.10,wr=0.90。
[0021] 所述的步骤⑧和所述的步骤 中bu的获取过程为:
[0022] A、采用多幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像;
[0023] B、采用主观质量评价方法,获取该失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];
[0024] C、根据步骤①至步骤⑦的操作过程,采用线性加权的拟合方法拟合该失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像的左视点图像的第u个通道的全局失真程度值Ql,u和右视点图像的第u个通道的全局失真程度值Qr,u,得到每幅失真的立体图像相对于对应的无失真的立体图像的客观评价尺度度量最佳时第u个通道的权重值bu。
[0025] 所述的步骤⑧和所述的步骤 中取
[0026] 所述的步骤⑨中取λ=1.25。
[0027] 所述的步骤 中Wtype的获取过程为:
[0028] 采用多幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像;
[0029] 采用主观质量评价方法,获取该失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];
[0030] 根据步骤①至步骤 的操作过程,采用线性加权的拟合方法拟合该失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像相对于对应的无失真的立体图像的客观评价尺度度量Qs和每幅失真的立体图像相对于对应的无失真的立体图像的立体感知评价度量Qd,得到该种失真类型下Qs的权重值Wtype。
[0031] 所述的步骤 中当失真类型为高斯模糊失真时,取Wtype=0.82;当失真类型为JPEG压缩时,取Wtype=0.52;当失真类型为JPEG2000压缩时,取Wtype=0.78;当失真类型为白噪声失真时,取Wtype=0.70;当失真类型为H.264编码失真时,取Wtype=0.80。
[0032] 与现有技术相比,本发明的优点在于:通过分别对无失真的立体图像和失真的立体图像的左视点图像和右视点图像分通道进行视觉阈值分析和奇异值分解,各通道的权重系数由大量的统计实验得到;然后,通过对无失真的立体图像和失真的立体图像的左右视点图像的绝对视差图像的差值图像分通道进行视觉阈值分析和奇异值分解,采用线性组合的方式得到立体感知评价度量;最后将客观评价尺度度量和立体感知评价度量两者进行线性加权结合,得到总体质量评价客观值,不仅有效利用了恰可察觉失真的视觉阈值、视觉掩盖效应以及立体感知等人眼视觉特性,而且在评价左视点图像和右视点图像质量的基础上,同时评价立体感知,因此提高了立体图像客观质量评价结果与主观感知之间的相关性。

附图说明

[0033] 图1a为Akko & Kayo(640×480)立体图像;
[0034] 图1b为Alt Moabit(1024×768)立体图像;
[0035] 图1c为Balloons(1024×768)立体图像;
[0036] 图1d为Door Flowers(1024×768)立体图像;
[0037] 图1e为Kendo(1024×768)立体图像;
[0038] 图1f为Leaving Laptop(1024×768)立体图像;
[0039] 图1g为Lovebird1(1024×768)立体图像;
[0040] 图1h为Newspaper(1024×768)立体图像;
[0041] 图1i为Xmas(640×480)立体图像;
[0042] 图1j为Puppy(720×480)立体图像;
[0043] 图1k为Soccer2(720×480)立体图像;
[0044] 图1l为Horse(480×270)立体图像;
[0045] 图2a为低通滤波器的算子模板的示意图;
[0046] 图2b为高通滤波器的水平方向的算子模板的示意图;
[0047] 图2c为高通滤波器的垂直方向的算子模板的示意图;
[0048] 图2d为高通滤波器的45°方向的算子模板的示意图;
[0049] 图2e为高通滤波器的135°方向的算子模板的示意图;
[0050] 图3a为边缘垂直算子模板的示意图;
[0051] 图3b为边缘水平算子模板的示意图;
[0052] 图4a为高斯模糊失真图像与评价指标CC的拟合曲线;
[0053] 图4b为jpeg压缩失真图像与评价指标CC的拟合曲线;
[0054] 图4c为jpeg2000压缩失真图像与评价指标CC的拟合曲线;
[0055] 图4d为高斯白噪声失真图像与评价指标CC的拟合曲线;
[0056] 图4e为H.264编码失真图像与评价指标CC的拟合曲线。

具体实施方式

[0057] 以下结合附图实施例对本发明作进一步详细描述。
[0058] 本发明提出的一种基于视觉阈值与通道融合的立体图像客观质量评价方法,其分别评价了左右视点图像质量以及立体图像的立体感知效果,并将这两部分评价的结果进行线性结合,得到对立体图像质量的最终评价结果。本发明方法具体包括以下步骤:
[0059] ①令Sorg为原始的无失真的立体图像,令Sdis为失真的立体图像,将原始的无失真的立体图像Sorg的左视点图像记为Lorg,将原始的无失真的立体图像Sorg的右视点图像记为Rorg,将失真的立体图像Sdis的左视点图像记为Ldis,将失真的立体图像Sdis的右视点图像记为Rdis。
[0060] ②计算Lorg与Ldis的差值图,记为Dl,Dl=|Lorg-Ldis|,并计算Rorg与Rdis的差值图,记为Dr,Dr=|Rorg-Rdis|,然后计算Lorg与Rorg的差值图,记为Dorg,Dorg=Lorg-Rorg|,并计算Ldis与Rdis的差值图,记为Ddis,Ddis=|Ldis-Rdis|,再计算Dorg与Ddis的差值图,记为DD,DD=|Dorg-Ddis|,其中,“||”为取绝对值符号。
[0061] ③获 取Lorg 的视 觉阈 值 图,记 为 将Lorg的视 觉 阈值 图中坐标位置为(i,j)的像素点的视觉阈值(即人眼能够容忍的失真临界
值,该值 越大,则人 眼能够 容忍 的失 真程度 就越 大)记 为
其 中,1 ≤ i ≤ W,1≤ j ≤ H,W
表示立体图像的宽度,H表示立体图像的高度,Tl(i,j)表示Lorg中坐标位置
为(i,j)的 像 素 点对 应 的 亮 度 阈值,
表 示 Lorg 中 坐 标 位 置 为 (i,j) 的 像 素 点 的 亮 度 值 的 均 值,
I(i,j)
表示Lorg中坐标位置为(i,j)的像素点的亮度值,I(i-3+m,j-3+n)表示Lorg中坐标位置为(i-3+m,j-3+n)的像素点的亮度值,B(m,n)表示5×5的低通滤波器(如图2a所
示)中坐标位置为(m,n)处的值,Tt(i,j)表示Lorg中坐标位置为(i,j)的像素点对应的 纹 理 阈 值,Tt(i,j)=α(i,j)×G(i,j)+β(i,j),
G(i,j)表示Lorg中坐标位置为(i,j)的像素点分别通过水平方
向、垂直方向、45°方向和135°方向的高通滤波器(分别如图2b、图2c、图2d和图2e所示)滤波后得到的四个值中的最大值,即利用水平方向、垂直方向、45°方向和135°方向4个不同方向的高通滤波器对Lorg中坐标位置为(i,j)的像素点进行滤波处理,再从滤波后得到的四个值中取其中的最大值赋值给G(i,j),C为加权系数,min()为取最小值函数。
[0062] 获 取 Rorg 的 视 觉 阈 值 图,记 为 将 Rorg的 视 觉 阈 值 图中坐标位置为(i,j)的像素点的视觉阈值(即人眼能够容忍的失真临界
值,该值越大,则人 眼能够容忍的失 真程度就越大)记为
其 中,1≤ i≤W,1 ≤j≤ H,W
表示立体图像的宽度,H表示立体图像的高度,Tr(i,j)表示Rorg中坐标位置
为(i,j)的像 素点对 应的 亮度阈 值,
表 示 Rorg 中 坐 标 位 置 为 (i,j) 的 像 素 点 的 亮 度 值 的 均 值,
I'(i,j)
表示Rorg中坐标位置为(i,j)的像素点的亮度值,I'(i-3+m,j-3+n)表示Rorg中坐标位置为(i-3+m,j-3+n)的像素点的亮度值,B(m,n)表示5×5的低通滤波器中坐标位置为(m,n)处t t
的值,T′(i,j)表示Rorg中坐标位置为(i,j)的像素点对应的纹理阈值,T′(i,j)=α'(i,j)×G'(i,j)+β'(i,j),
G'(i,j)表示Rorg中坐标位置为(i,j)的像素点分别通过水平方向、垂直方向、45°方向和
135°方向的高通滤波器滤波后得到的四个值中的最大值,C为加权系数,min()为取最小值函数。
[0063] 在此,由于考虑到亮度掩蔽效应和纹理掩蔽效应的重叠,因此C取值为0.3。
[0064] ④将Lorg与Ldis的差值图Dl分成RGB三个通道的图像,并将Lorg与Ldis的差值图Dl的第u个通道的图像记为Dl_u;将Rorg与Rdis的差值图Dr分成RGB三个通道的图像,并将Rorg与Rdis的差值图Dr的第u个通道的图像记为Dr_u;将Lorg的视觉阈值图 分成RGB三个通道的图像,并将Lorg的视觉阈值图 的第u个通道的图像记为 将Rorg的视觉阈值图 分成RGB三个通道的图像,并将Rorg的视觉阈值图 的第u个通道的
图像记为 其中,u=1,2,3,u=1表示R通道,u=2表示G通道,u=3表示B通道。
[0065] ⑤将Dl的RGB三个通道的图像、Dr的RGB三个通道的图像、 的RGB三个通道的图像、 的RGB三个通道的图像分别分割成 个互不重叠的尺寸大小为8×8的图像块,然后对Dl的RGB三个通道的图像、Dr的RGB三个通道的图像、 的RGB三个通道的图像、 的RGB三个通道的图像中的每个图像块进行奇异值分解,得到每个图像块各自对应的奇异值矩阵,将Dl的第u个通道的图像Dl_u中的第k个图像块的奇异值矩阵记为Sl_u_k,将Dr的第u个通道的图像Dr_u中的第k个图像块的奇异值矩阵记为Sr_u_k,将的第u个通道的图像 中的第k个图像块的奇异值矩阵记为 将 的
第u个通道的图像 中的第k个图像块的奇异值矩阵记为 其中, 为向下取
整符号,
[0066] ⑥计算Dl的每个通道的图像中的每个图像块与 的对应通道的图像中的对应图像块之间的奇异值距离,将Dl的第u个通道的图像Dl_u中的第k个图像块
与 的第u个通道的图像 中的第k个图像块之间的奇异值距离记为
然后计算Ldis的每个通道的全局失真程度
值,将Ldis的第u个通道的全局失真程度值记为Ql,u, 其中,w
表示失真判断值, w=1时表示Dl的第u个通道的图
像Dl_u中的第k个图像块中坐标位置为(x,y)的像素点失真,w=0时表示Dl的第u个通道的图像Dl_u中的第k个图像块中坐标位置为(x,y)的像素点不失真,Sl_u_k(x,y)表示Sl_u_k中坐标位置为(x,y)处的奇异值, 表示 中坐标位置为(x,y)处的奇异值,
“||”为取绝对值符号,Dmedian_l,u表示Dl的第u个通道的图像中的所有图像块与 的第u个通道的图像中的所有图像块对应图像块之间的奇异值距离的中值。
[0067] ⑦计算Dr的每个通道的图像中的每个图像块与 的对应通道的图像中的对应图像块之间的奇异值距离,将Dr的第u个通道的图像Dr_u中的第k个图像块
与 的第u个通道的图像 中的第k个图像块之间的奇异值距离记为
然后计算Rdis的每个通道的全局失真程度
值,将Rdis的第u个通道的全局失真程度值记为Qr,u, 其中,w
表示失真判断值, w=1时表示Dr的第u个通道的图
像Dr_u中的第k个图像块中坐标位置为(x,y)的像素点失真,w=0时表示Dr的第u个通道的图像Dr_u中的第k个图像块中坐标位置为(x,y)的像素点不失真,Sr_u_k(x,y)表示Sr_u_k中坐标位置为(x,y)处的奇异值, 表示 中坐标位置为(x,y)处的奇异值,
“||”为取绝对值符号,Dmedian_r,u表示Dr的第u个通道的图像中的所有图像块与 的第u个通道的图像中的所有图像块对应图像块之间的奇异值距离的中值。
[0068] ⑧根据Ldis的每个通道的全局失真程度值和Rdis的每个通道的全局失真程度值,计算Sdis相对于Sorg的客观评价尺度度量,记为Qs, 其中,bu表示第u个通道的权重值,wl表示在一种失真类型下左视点图像质量在立体图像质量中所占的权重,wr表示在同一种失真类型下右视点图像质量在立体图像质量中所占的权重,wl+wr=1。在此,通过左右视点质量的线性加权能够较好地评价立体图像内容的质量。
[0069] 在此,wl和wr的取值与失真类型有关,当失真类型为高斯模糊失真时,取wl=0.10,wr=0.90;当失真类型为JPEG压缩时,取wl=0.50,wr=0.50;当失真类型为JPEG2000压缩时,取wl=0.15,wr=0.85;当失真类型为白噪声失真时,取wl=0.20,wr=0.80;当失真类型为H.264编码失真时,取wl=0.10,wr=0.90。
[0070] ⑨利用现有技术(图3a和图3b所示的垂直和水平算子模板)获取Rorg的背景亮度图像和边缘强度图像,分别记为bgorg和ehorg,其中,bgorg和ehorg的分辨率为W×H;然后根据Rorg的背景亮度图像bgorg和边缘强度图像ehorg,以Rorg为参考图像,获取Lorg的全局双目恰可觉察失真阈值图,记为 将Lorg的全局双目恰可觉察失真阈值图 中坐标位置为(i,j)的像素点的全局双目恰可觉察失真阈值(即人眼能够容忍的最大视差失真)记为 其中,j'=j+d(i,j),d(i,j)
表示Lorg中坐标位置为(i,j)的像素点相对于Rorg中坐标位置为(i,j)的像素点的水平视差值,Lorg中坐标位置为(i,j')的像素点为通过坐标位置为(i,j)的像素点在水平方向上向右移动d(i,j)个像素点获得,TC,lim(i,j')表示Lorg中坐标位置为(i,j')的像素点的对比度掩蔽效应的最大失真阈值,TC,lim(i,j')=TC(bgorg(i,j'))+K(bgorg(i,j′))×ehorg(i,j′),TC(bgorg(i,j′))表示右视点图像在给定bgorg(i,j')的情况下引发感知差异的最小噪声幅值,K(bgorg(i,j′))表示依据主观实验结果建立的增大因子拟合函数,K(bgorg(i,j'(-6) 2
))=-10 ×(0.7×bgorg(i,j')+32×bgorg(i,j′))+0.07,bgorg(i,j′)表示bgorg中坐标位置为(i,j')的像素点的像素值,ehorg(i,j')表示ehorg中坐标位置为(i,j′)的像素点的像素值,nr(i,j')表示Rorg中坐标位置为(i,j′)的像素点上的噪声幅值,λ为控制主观亮度掩蔽对实验结果影响的参数,在本实施例中,λ的值设为1.25。
[0071] 在此,也可以通过计算Lorg的背景亮度图像和边缘强度图像,再以Lorg为参考图像,来获取Rorg的全局双目恰可觉察失真阈值图。
[0072] 在本实施例中,d(i,j)是通过视差匹配软件match-v3.3获得的,在具体获取过程中可将视差搜索范围设置为(-31,31),并以右视点图像为参考图像,获取左视点图像的水平视差值。
[0073] 在本实施例中,对图1a至图1l所示的12幅无失真的立体图像,利用如图3a和图3b所示的垂直和水平算子模板,计算这12幅原始的立体图像的右视点图像中的每个像素点的背景亮度值和边缘强度值,进而计算左视点图像加入的能够引起双目感知失真的最大随机噪声幅度。
[0074] ⑩将DD分成RGB三个通道的图像,并将DD的第u个通道的图像记为DDu;将分成RGB三个通道的图像,并将 的第u个通道的图像记为 其中,u=1,2,3,u=1表示R通道,u=2表示G通道,u=3表示B通道。
[0075] 将DD的RGB三个通道的图像、 的RGB三个通道的图像分别分割成个互不重叠的尺寸大小为8×8的图像块,然后对DD的RGB三个通道的图像、
的RGB三个通道的图像中的每个图像块进行奇异值分解,得到每个图像块各自对应的奇异值矩阵,将DD的第u个通道的图像DDu中的第k个图像块的奇异值矩阵记为SDD_u_k,将 的第u个通道的图像 中的第k个图像块的奇异值矩阵记 其
中, 为向下取整符号,
[0076] 计算DD的每个通道的图像中的每个图像块与 的对应通道的图像中的对应图像块之间的奇异值距离,将DD的第u个通道的图像DDu中的第k个图像块与的第u个通道的图像 中的第k个图像块之间的奇异值距离记为
然后计算Sdis相对于Sorg的立体感知
评价度量,记为Qd, 其中,w'表示失真判断值,
w'=1时表示DD的第u个通道的图像DDu中的第
k个图像块中坐标位置为(x,y)的像素点失真,w'=0时表示DD的第u个通道的图像DDu中的第k个图像块中坐标位置为(x,y)的像素点不失真,SDD_u_k(x,y)表示SDD_u_k中坐标位置为(x,y)处的奇异值, 表示 中坐标位置为(x,y)处的奇异值,
“||”为取绝对值符号,bu表示第u个通道的权重值,Dmedian_DD,u表示DD的第u个通道的图像DDu中的所有图像块与 的第u个通道的图像 中的所有图像块对应图像块之
间的奇异值距离的中值。
[0077] 根据Sdis相对于Sorg的客观评价尺度度量Qs和Sdis相对于Sorg的立体感知评价度量Qd,计算Sdis的总体质量评价客观值,记为Q,Q=Wtype×Qs+(1-Wtype)×Qd,其中,Wtype表示在同一种失真类型下Qs的权重值。
[0078] 在本实施例中,Wtype的获取过程为:
[0079] 采用多幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像。
[0080] 采用主观质量评价方法,获取该失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100]。
[0081] 根据步骤①至步骤 的操作过程,采用线性加权的拟合方法拟合该失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像相对于对应的无失真的立体图像的客观评价尺度度量Qs和每幅失真的立体图像相对于对应的无失真的立体图像的立体感知评价度量Qd,得到该种失真类型下Qs的权重值Wtype。在此,针对不同类型失真的立体图像,本发明做了大量的优化实验,取质量客观评价值最好时的权重值Wtype,具体实验如下:利用图1a至图1l所示的12幅无失真的立体图像建立了312幅失真的立体图像,对上述312幅失真的立体图像和12幅无失真的立体图像按本发明方法的步骤①至步骤 相同的操作计算得到每幅失真的立体图像相应的Qd和Qs;然后采用线性加权得到这312幅失真的立体图像的DMOS与Qd和Qs的函数关系式。图4a给出了高斯模糊失真图像与评价指标CC的拟合曲线,图4b给出了JPEG压缩图像与评价指标CC的拟合曲线,图4c给出了JPEG2000压缩图像与评价指标CC的拟合曲线,图4d给出了高斯白噪声失真图像与评价指标CC的拟合曲线,图4e给出了H.264编码失真图像与评价指标CC的拟合曲线,图4a至图4e中横坐标表示不同类型失真立体图像的Wtype,纵坐标表示CC值,Wtype值的大小决定Qd和Qs对立体图像最终的评价值Q的贡献大小。Wtype代表不同失真类型下Qs的权重值,由于人眼对不同的失真敏感度也有所不同,对不同的失真程度也不同,根据这个特性,本发明统计大量的参数,进行重复性的实验,当Q与主观感知之间的一致性最好时,取得不同失真类型的Wtype值,即当失真类型为高斯模糊失真时,取Wtype=0.82;当失真类型为JPEG压缩时,取Wtype=0.52;当失真类型为JPEG2000压缩时,取Wtype=0.78;当失真类型为白噪声失真时,取Wtype=0.70;当失真类型为H.264编码失真时,取Wtype=0.80。
[0082] 在此具体实施例中,步骤⑧和步骤 中bu的获取过程如下:
[0083] A、采用多幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像。
[0084] B、采用主观质量评价方法,获取该失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100]。
[0085] C、根据步骤①至步骤⑦的操作过程,采用线性加权的拟合方法拟合该失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像的左视点图像的第u个通道的全局失真程度值Ql,u和右视点图像的第u个通道的全局失真程度值Qr,u,得到每幅失真的立体图像相对于对应的无失真的立体图像的客观评价尺度度量最佳时第u个通道的权重值bu。
[0086] 实际上,不同通道的权重值bu的取值由人眼对红、绿、蓝不同颜色的敏感度决定的,人眼对红光敏感的锥状体占65%,对绿光敏感的锥状体占33%,而对蓝光敏感的锥状体只占2%。因此在此针对不同类型失真的立体图像对,做了大量的优化实验,取质量客观评价(CC)最好时的权重取值。具体实验如下:利用图1a、图1b、图1c、图1d、图1e、图1f、图1g、图1h、图1i、图1j、图1k和图1l所示的12幅无失真的立体图像建立了不同失真类型不同失真程度的失真立体图像集,失真类型包括JPEG压缩、JPEG2000压缩、白噪声失真、高斯模糊失真、H.264编码失真,该失真立体图像集共包括312幅失真的立体图像,其中JPEG压缩的失真的立体图像共60幅,JPEG2000压缩的失真的立体图像共60幅,白噪声失真的立体图像共60幅,高斯模糊失真的立体图像共60幅,H.264编码失真的立体图像共72幅。对上述312幅失真的立体图像采用公知的主观质量评价方法进行主观质量评价,得到这312幅失真的立体图像各自的平均主观评分差值(DMOS,Difference Mean Opinion Scores),即每幅失真的立体图像的主观质量评分值。DMOS为主观评分均值(MOS)和满分(100)的差值,即DMOS=100-MOS。因此,DMOS值越大表示失真的立体图像的质量越差,DMOS值越小表示失真的立体图像的质量越好,且DMOS的取值范围为[0,100];另一方面,对上述312幅失真的立体图像按本发明方法的步骤①至步骤⑦实施分通道和视觉阈值分析计算奇异值距离得到Ql,u和Qr,u;这里,利用评估图像质量评价方法常用的一个客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Correlation Coefficient,CC),该参数反映失真的立体图像评价函数这一客观模型的精确性,CC值越大,说明评价性能越好,反之亦然;然后采用线性拟合方法拟合这312幅失真的立体图像的DMOS与Ql,u和Qr,u,取CC值最大时的bu值,即
[0087] 为说明本发明方法的有效性和可行性,分析本发明方法的客观评价结果与主观评分DMOS之间的相关性。在此,利用评估图像质量评价方法的3个常用客观参量作为评价指标,即非线性回归条件下的CC、Spearman相关系数(Spearman Rank-Order Correlation Coefficient,ROCC)和RMSE,CC反映所建客观模型预测的精确性,SROCC反映客观模型预测的单调性,RMSE反映立体图像客观评价模型的预测准确性。将按本实施例计算得到的失真的立体图像的总体质量评价客观值Q做四参数Logistic函数非线性拟合,CC和SROCC值越接近1说明客观评价方法与DMOS相关性越好,RMSE值越低说明客观评价方法与DMOS相关性越好。反映准确性和单调性的CC、SROCC和RMSE系数如表1所示,根据表1所列的数据可见,本发明方法的整体混合失真CC值和SROCC值都能达到0.94之上,均方根误差RMSE低于5.9,按本实施例得到的失真的立体图像的总体质量评价客观值Q与主观评分DMOS之间的相关性是很高的,表明客观评价结果与人眼主观感知的结果较为一致,说明了本发明方法的有效性。
[0088] 表1失真的立体图像的总体质量评价客观值与主观评分之间的相关性
[0089]