基于HVS的SSIM与特征匹配立体图像质量评价方法

摘要

本发明涉及图像质量评价。为说明所生成立体图像的逼真度和立体感、压缩算法对立体图像的损伤程度、传输过程引入的噪声对立体图像质量干扰的程度、以及立体图像显示的自然感等，本发明采取的技术方案是，基于HVS的SSIM与特征匹配立体图像质量评价方法，包括如下步骤：(1)用结构失真法比较原图像左右视图与测试图像左右视图的亮度、对比度、结构相似度；(2)提取亮度对比度指标；(3)根据小波分解模拟人眼带通特性原理，得出人眼视觉信噪比评价指标；(4)用测试图像左右视图匹配点个数和原图像匹配点个数的比值反映立体图像的立体感；(5)对上述所有的指标进行合理的加权，得出一个总的评价指标。本发明主要应用于图像质量评价。

权利要求

1.一种基于HVS的SSIM与特征匹配立体图像质量评价方法，其特征是，包括如下步骤，(1)用结构失真法比较原图像左右视图与测试图像左右视图的亮度、对比度、结构相似度，提出结构失真度指标；

(2)将测试图像左右视图的平均感知亮度的比值作为一个质量评价指标，来衡量左右视图感知亮度的差异，即提取亮度对比度指标；

(3)根据小波分解模拟人眼带通特性原理，计算测试图像左右视图与原图像左右视图在各频带的误差，并对其线性求和，然后进行信噪比评估，得出人眼视觉信噪比评价指标；

(4)用测试图像左右视图匹配点个数和原图像左右视图匹配点各数的比值反映立体图像的立体感；

提出结构失真度指标，具体步骤为：

用结构相似度法SSIM(structural similarity)分别提取原图像左右视图与测试图像左右视图的亮度、对比度、结构相似度，并进行比较：首先分别计算原始图像X和测试图像Y的平均感知亮度ux和uy，M×N为图像大小，xij、yij为原始图像X和测试图像Y每个像素经过式(2)处理的感觉亮度；其次计算原始图像X和测试图像Y的标准差σx和σy，以及两者之间的协方差σxy；再次，根据(3)～(5)分别计算亮度比较函数l(x，y)、对比度比较函数c(x，y)、结构相似性比较函数s(x，y)：(C1＝(K1L)2) (3)

2

(C2＝(K2L)) (4)

C1＝0，C2＝0，C3＝0，最后，根据式(6)计算结构失真度Sl：α β γ

Sl＝[l(x，y)] [c(x，y)] [s(x，y)] (6)令α＝β＝γ＝1，

将每个评价指标取值都限定在[0，5]之间，因为：l(x，y)≤1，c(x，y)≤1，s(x，y)≤1，故Sl≤1，所以将式(5-6)变换为：将新定义的Sladjust作为结构失真度评价指标，左、右视图各有一个结构失真度评价指标；

所述将测试图左、右视图的平均感知亮度的比值作为一个质量评价指标，来衡量左右视图感知亮度的差异，指标为：其中，uyl、uyr分别为左测试图和右测试图的平均感知亮度，

类似式(7)，将(8)进行调整得到式(9)，并将调整后的Lcadjust作为一个评价指标：Lcadjust＝Lc×5 (9)所述得出人眼视觉信噪比评价指标步骤是，采用小波分解模拟人眼带通特性，并用经验对比度灵敏度函数CSF(Contrast Sensitivity Function)曲线加权不同频带小波系数，模拟人眼的对比度敏感度特性，计算方法以左视图为例，给出标准视图和测试视图在每个加权频带的误差计算公式(10)：其中，n＝1，2，...，11；{Cx(n)(i，j)}，{Cy(n)(i，j)}分别为分解加权后第n个空间频带的标准图像数据和测试图像数据，A(S f)为表述CSF函数的模型；对应图像大小为：Mn×Nn，同理计算出ern，以左视图为例，给出Minkowski非线性求和计算公式(11)：其中，β为求和参数，β∈[2，4]，同理可计算出右视图Sr；

类似峰值信噪比定义，定义符合人类视觉特性的人眼视觉信噪比HVSNRl，如式(12)所示：同理可计算出右视图HVSNRr，

将人眼视觉信噪比先归一化，再根据五级标度将分数线性映射到[0，5]上；规定HVSNR0＝45，作为归一化的标准，如式(13)：

同理计算右视图HVSr；

式(13)变换后映射到[0，5]区间上，如式(14)：

HVSladjust＝HVSl×5 (14)同理计算出变换后的右视图HVSradjust；

所述用测试图像左右视图匹配点个数和原图像左右视图匹配点各数的比值反映立体图像的立体感，具体为：提取标准图像匹配点个数D标准图像和测试图像的匹配点个数D测试图像，并用匹配点个数比P作为一个评价指标，公式如(15)，表征图像质量以及立体感觉的好坏：P∈[0，1] (15)

用公式(15)对(16)进行调整：

Padjust＝P×5 (16)其中，D测试图像为测试图像左右视点匹配点个数，D标准图像为标准图像左右视点匹配点个数，Padjust是与五级标度对应的评价指标，在总评价指标中依然用P来加权表示；

(5)对上述所有的指标进行合理的加权，得出一个总的评价指标：

Sladjust，Sradjust，Lcadjust，HVSladjust，HVSradjust∈(0，5]，P ∈[0，1] (17)式(17)中，Sladjust为左视图的结构失真度Sl对应的五级标度表示；Sradjust为右视图的结构失真度Sr对应的五级标度表示；Lcadjust是测试图左、右视图的平均感知亮度的比值Lc的五级标度表示；HVSladjust是人眼左眼视觉信噪比HVSNRl的五级表示；HVSradjust是HVSNRr人右眼眼视觉信噪比的五级表示；P是测试图像和标注图像间的匹配点个数比；从整体上反映立体图像的质量。

2.如权利要求1所述的方法，其特征是，所述步骤(1)之前还包括一个预处理步骤，具体为：用L表示图像绝对亮度，ΔL表示图像相对亮度，ΔS表示亮度感觉的增量值，则用相对亮度的增量来度量亮度感觉的增量，如式(1)所示：K为常数，对式(1)积分，得到感觉亮度S

S＝KlnL+K0＝K′lgL+K0 (2)其中，K′＝Kln10，K0为常数，依照公式(2)对灰度图像的每个像素的亮度值进行变换，得到感觉亮度。

3.如权利要求1所述的方法，其特征是，所述方法是在计算机中执行下列步骤：分别读入标准图像对和测试图像对4幅图像，再将其经过人眼视觉系统模型处理后，计算反映立体图像质量的结构失真度量指标、亮度比较指标、人眼视觉信噪比指标、匹配点个数比指标、综合评价各项指标值，保存为文本文件，用客观数值反映测试立体图像的质量好坏，并且在界面上直观显示各项指标的质量优良状况，6个评价指标，依次为：左视图结构失真度量指标StrucL、右视图结构失真度量指标StrucR、左右测试视图亮度对比度指标LumaLR、左视图人眼视觉信噪比指标HVSL、右视图人眼视觉信噪比指标HVSR、匹配点个数比指标Match；

在设计的评价软件系统的界面中，“Final Result”表示6个指标加权求和后总的评价指标，它用来表示测试立体图像总体质量，可用于与MOS进行相关性比较，用“Excellent”、“Good”、“Fair”、“Poor”、“Bad”表示五级标度评价质量等级，与其对应的“Show Result”用

5种表情显示质量；“OpenSL”、“OpenSR”、“OpenTL”、“OpenTR”表示加载图像，分别表示打开原左视图、打开原右视图、打开测试左视图、打开测试右视图；“Play”表示开始运行计算指标值，“Save”表示保存指标到一个.txt文件，用于数据处理和分析；“耗时”显示计算一次所消耗的时间，“Succeed”表示计算结束，和“Succeed”对应的状态机state machine还有“Testing…”表示使用测试功能，测试程序是否能正常运行，“Computer…”表示程序正在计算。

说明书

基于HVS的SSIM与特征匹配立体图像质量评价方法

技术领域

[0001] 本发明涉及图像质量评价、3D图像处理，具体是基于HVS的SSIM与特征匹配立体图像质量评价方法。

背景技术

[0002] Pieter提出3DTV主观质量评价方法，指出应该从图像质量、图像深度、立体感舒适程度、立体感是否存在、立体感是否自然、立体感是否符合视觉经验等方面进行评价；Patrizio提出了一种立体图像主观质量评价方法，被测者佩戴立体眼镜，使用France Telecom R&D(法国电信)的SEOVQ(视频质量的主观评估和优化)人机交互界面进行主观评测，并用平均差异分数(DMOS)表示评价结果。主观评价方法耗时、耗力，而且具有一定的不稳定因素；Patrizio等又提出将多个二维图像评价指标SSIM(结构相似度指标)、UQI(Universal Quality Index传统的质量指标)、RRIQA(减少参考图像的质量评价)用于对立体图像的评价，在分别评价了左、右图像质量的基础上，用加权求和的方法给出评价结果。这种方法有借鉴价值，但是未考虑相应的立体视觉机理；Alexandre提出了一种基于视差的立体图像客观质量评价方法，分别计算出平面图像质量失真和视差失真，然后再将二者加权，视差失真通过原图像对和测试图像对深度图的相关系数计算得出，平面图像质量失真利用平面图像评价方法分别计算左图像与右图像间的失真指标，再求出平均值，但是，在Alexandre的方法中用原图像对和测试图像对深度图的相关系数表征立体信息特征，只能从整幅图的角度给出一个总体认识，不能明显的反映出局部视差失真给图像质量评价带来的影响；宁波大学提出了一种基于相似度的立体右图像质量评价方法，该方法将视差用于右图像的质量评价中，其实质只评价了单视点图像质量，并非真正意义上的立体图像质量评价。

发明内容

[0003] 为克服现有技术的不足，提供一种基于HVS的SSIM与特征匹配立体图像质量评价方法，用来说明所生成立体图像的逼真度和立体感、压缩算法对立体图像的损伤程度、传输过程引入的噪声对立体图像质量干扰的程度、以及立体图像显示的自然感等，以作为衡量立体图像处理效果的手段和标准，本发明采取的技术方案是，基于HVS的SSIM与特征匹配立体图像质量评价方法，包括如下步骤：

[0004] (1)用结构失真法比较原图像左右视图与测试图像左右视图的亮度、对比度、结构相似度，提出结构失真度指标；

[0005] (2)将测试图像左右视图的平均感知亮度的比值作为一个质量评价指标，来衡量左右视图感知亮度的差异，即提取亮度对比度指标；

[0006] (3)根据小波分解模拟人眼带通特性原理，计算测试图像左右视图与原图像左右视图在各频带的误差，并对其线性求和，然后进行信噪比评估，得出人眼视觉信噪比评价指标；

[0007] (4)用测试图像左右视图匹配点个数和原图像左右视图匹配点各数的比值反映立体图像的立体感；

[0008] (5)对上述所有的指标进行合理的加权，得出一个总的评价指标，从整体上反映立体图像的质量。

[0009] 现在，对上述方法做进一步的叙述，具体为：

[0010] 用L表示图像绝对亮度，ΔL表示图像相对亮度，ΔS表示亮度感觉的增量值，则可以用相对亮度的增量来度量亮度感觉的增量，如式(1)所示：

[0011]

[0012] K为常数，对式(1)积分，得到感觉亮度S

[0013] S＝KlnL+K0＝K′lgL+K0 (2)

[0014] 其中，K′＝Kln10，K0为常数，依照公式(2)对灰度图像的每个像素的亮度值进行变换，得到感知亮度。

[0015] 所述将测试图像左右视图的平均感知亮度的比值作为一个质量评价指标具体为，用结构相似度法SSIM(structural similarity)分别提取原图像左右视图与测试图像左右视图的亮度、对比度、结构相似度，并进行比较：

[0016] 首先分别计算原始图像X和测试图像Y的平均感知亮度ux和uy，M×N为图像大小，xij、yij为原始图像X和测试图像Y每个像素经过式(2)处理的感知亮度；其次计算原始图像X和测试图像Y的标准差σx和σy，以及两者之间的协方差σxy；再次，根据(3)～(5)分别计算亮度比较函数l(x，y)、对比度比较函数c(x，y)、结构相似性比较函数s(x，y)：

[0017] (C1＝(K1L)2) (3)

[0018] (C2＝(K2L)2) (4)

[0019]

[0020] C1、C2、C3分别是取值较小的常数，最后，根据式(6)计算结构失真度Sl：

[0021] Sl＝[l(x，y)]α[c(x，y)β[s(x，y)]γ (6)

[0022] 令α＝β＝γ＝1，

[0023] 将每个评价指标取值都限定在[0，5]之间，因为：l(x，y)≤1，c(x，y)≤1，s(x，y)≤1，故Sl≤1，所以将式(5-6)变换为：

[0024]

[0025] 将新定义的Sladjust作为结构失真度评价指标，左、右视图各有一个结构相似度评价指标。

[0026] 所述将测试图左、右视图的平均感知亮度的比值作为一个质量评价指标，来衡量左右视图感知亮度的差异，指标为：

[0027]

[0028] 其中，uyl、uyr分别为左测试图和右测试图的平均感知亮度，

[0029] 类似式(7)，将(8)进行调整得到式(9)，并将调整后的Lcadjust作为一个评价指标：

[0030] Lcadjust＝Lc×5 (9)

[0031] 所述得出人眼视觉信噪比评价指标步骤是，采用小波分解模拟人眼带通特性，并用经验对比度灵敏度函数CSF(Contrast Sensitivity Function)曲线加权不同频带小波系数，模拟人眼的对比度敏感度特性，计算方法以左视图为例，给出标准视图和测试视图在每个加权频带的误差计算公式(10)：

[0032]

[0033] 其中，n＝1，2，...，11；{Cx(n)(i，j)}，{Cy(n)(i，j)}分别为分解加权后第n个空间频带的标准图像数据和测试图像数据；对应图像大小为：Mn×Nn，同理计算出ern，以左视图为例，给出Minkowski非线性求和计算公式(11)：

[0034]

[0035] 其中，β为求和参数，β∈[2，4]，同理可计算出右视图Sr；

[0036] 类似峰值信噪比定义，定义符合人类视觉特性的人眼视觉信噪比HVSNRl，如式(12)所示：

[0037]

[0038] 同理可计算出右视图HVSNRr，

[0039] 将人眼视觉信噪比先归一化，再根据五级标度将分数线性映射到[0，5]上；规定HVSNR0＝45，作为归一化的标准，如式(13)：

[0040]

[0041] 同理计算右视图HVSr；

[0042] 式(13)变换后映射到[0，5]区间上，如式(14)：

[0043] HVSladjust＝HVSl×5 (14)

[0044] 同理计算出变换后的右视图HVSradjust。

[0045] 所述用测试图像左右视图匹配点个数和原图像左右视图匹配点各数的比值反映立体图像的立体感，具体为：提取标准图像匹配点个数D标准图像和测试图像的匹配点个数D测试图像，并用匹配点个数比P作为一个评价指标，公式如(15)，表征图像质量以及立体感觉的好坏，

[0046] P∈[0，1] (15)

[0047] 用公式(15)对(16)进行调整：

[0048] Padjust＝P×5(16)

[0049] 其中，D测试图像为测试图像左右视点匹配点个数，D标准图像为标准图像左右视点匹配点个数，Padjust是与五级标度对应的评价指标，在后面的总评价指标中依然用P来加权表示。

[0050] 所述对上述所有的指标进行合理的加权，得出一个总的评价指标具体为：

[0051]

[0052] Sladjust，Sradjust，Lcadjust，HVSladjust，HVSradjust∈(0，5]，P∈[0，1](17)[0053] 式(17)中，Sladjust为左视图的结构失真度Sl对应的五级标度表示；Sradjust为右视图的结构失真度Sr对应的五级标度表示；Lcadjust是测试图左、右视图的平均感知亮度的比值Lc的五级标度表示；HVSladjust是人眼左眼视觉信噪比HVSNRl的五级表示；HVSradjust是HVSNRr人右眼眼视觉信噪比的五级表示；P是测试图像和标注图像间的匹配点个数比。

[0054] 所述方法是在计算机中执行下列步骤：分别读入标准图像对和测试图像对4幅图像，再将其经过人眼视觉系统模型处理后，计算反映立体图像质量的结构失真度量指标、亮度比较指标、人眼视觉信噪比指标、匹配点个数比指标、综合评价值等各项指标值，保存为文本文件，用客观数值反映测试立体图像的质量好坏，并且可以在界面上直观显示各项指标的质量优良状况，6个评价指标，依次为：左视图结构失真度量指标StrucL、右视图结构失真度量指标StrucR、左右测试视图亮度对比度指标LumaLR、左视图人眼视觉信噪比指标HVSL、右视图人眼视觉信噪比指标HVSR、匹配点个数比指标Match；

[0055] 在设计的评价软件系统的界面中，“Final Result”表示6个指标加权求和后总的评价指标，它用来表示测试立体图像总体质量，可用于与MOS进行相关性比较。用“Excellent”、“Good”、“Fair”、“Poor”、“Bad”表示五级标度评价质量等级，与其对应的“ShowResult”用5种表情显示质量。“OpenSL”、“OpenSR”、“OpenTL”、“OpenTR”表示加载图像，分别表示打开原左视图、打开原右视图、打开测试左视图、打开测试右视图。“Play”开始运行计算指标值，“Save”保存指标到一个.txt文件，用于数据处理和分析。“耗时”显示计算一次所消耗的时间，“Succeed”表示计算结束，和“Succeed”对应的状态机statemachine还有“Testina…”表示使用测试功能，测试程序是否能正常运行、“Computer…”表示程序正在计算。

[0056] 本发明中所使用的方法着重于人眼视觉特性，及立体图像的立体感方面，考虑全面，准确度高，整个系统的复杂度较低，得到的结果较好。本发明同时提出来了一套完整的立体图像质量评价模型，如附图1，并制作了仿真软件，观看及存储数据较为方便(附图23)。

附图说明

[0057] 图1客观评价指标提取及加权方法。

[0058] 图2基于对比度敏感度的评价法原理图。

[0059] 图3基于结构失真的评价法原理图。

[0060] 图4对图像进行小波变换的原理。

[0061] 图5原标准立体图像对。

[0062] 图6加高斯噪声(1号)。

[0063] 图7加椒盐噪声(2号)。

[0064] 图8亮度增加100(3号)。

[0065] 图9亮度降低100(4号)。

[0066] 图10对比度增强100(5号)。

[0067] 图11对比度增强50(6号)

[0068] 图12图像整体向左平移5像素(7号)。

[0069] 图13图像向左平移10(8号)。

[0070] 图14用JPEG压缩到原图质量的1％(9号)。

[0071] 图15用JPEG压缩到原图质量的5％(10)。

[0072] 图16用JPEG压缩到原图质量的10％(11号)。

[0073] 图17用JPEG压缩到原图质量的20％(12)。

[0074] 图18用JPEG压缩左图为1％，右图不压缩(13号)。

[0075] 图19用JPEG压缩左图为5％，右图不压缩(14号)。

[0076] 图20用JPEG压缩左图为10％，右图不压缩(15号)。

[0077] 图21左视图亮度降低为原图的50％，右视图不变(16号)。

[0078] 图22标准左右视图(17号)。

[0079] 图23图立体图像质量评价系统界面。

[0080] 图24表情表示五级标度质量等级。

具体实施方式

[0081] 针对现有方法的缺陷，本发明建立了体现人眼亮度幅度非线性特性、对比度敏感度特性、带通特性和掩盖特性的视觉模型；提取出反映亮度、信噪比、立体感的左右视图结构失真度量指标、左右测试视图亮度对比度指标、左右视图人眼视觉信噪比指标、匹配点个数比指标共六个评价指标，并将这六个指标拟合为一个合理的总评价指标。结果表明：本设计所提评价指标与主观评价有较高的一致性，能够正确反映立体图像的质量。

[0082] 本发明所提出的立体图像质量评价算法如下：

[0083] 1.用结构失真法比较原图像左右视图与测试图像左右视图的亮度、对比度、结构相似度，提出结构失真度指标。

[0084] 2.将测试图像左右视图的平均感知亮度的比值作为一个质量评价指标，来衡量左右视图感知亮度的差异，即提取亮度对比度指标。

[0085] 3.根据小波分解模拟人眼带通特性原理，计算测试图像左右视图与原图像左右视图在各频带的误差，并对其线性求和，然后进行信噪比评估，得出人眼视觉信噪比评价指标。

[0086] 4.用测试图像左右视图匹配点各数和原图像左右视图匹配点各数的比值反映立体图像的立体感。

[0087] 5.对上述所有的指标进行合理的加权，得出一个总的评价指标，从整体上反映立体图像的质量。

[0088] 本发明中所使用的方法着重于人眼视觉特性，及立体图像的立体感方面，考虑全面，准确度高，整个系统的复杂度较低，得到的结果较好。本发明同时提出来了一套完整的立体图像质量评价模型，如附图1，并制作了仿真软件，观看及存储数据较为方便。

[0089] 一、首先对所要测试的立体图像对进行预处理，得到感知图像。

[0090] 图像像素相对亮度的变化决定了视觉系统分辨细节的能力，与整幅图像的背景亮度无关。用L表示绝对亮度，ΔL表示相对亮度，即恰可识别差异(Just Noticeable Difference，JND)，ΔS表示亮度感觉的增量值，则可以用相对亮度的增量来度量亮度感觉的增量，如式(1)所示。

[0091]

[0092] K为常数，与整个图像平均亮度有关。图像平均亮度较暗或较亮时，选择较小的K值，通常，人眼正常亮度范围，K可取值为1。

[0093] 对式(1)积分，得到感觉亮度S

[0094] S＝KlnL+K0＝K′lgL+K0(2)

[0095] 其中，K′＝Kln10，K0为常数。

[0096] 由式(2)可知，感觉亮度S与图像实际亮度L成对数线性关系，这就是亮度幅度非线性特性，即韦伯-费赫涅尔定律。式(2)的对数函数特征表明：

[0097] 人眼并不能感知出每一个像素的绝对亮度，对于灰度图像，感知亮度增加的速率随着亮度值(0～255)的增加趋于平缓。即：人眼对很黑或很亮的区域都不敏感。因此，在对图像进行客观评价时，应该首先依照公式(2)对灰度图像的每个像素的亮度值进行变换，得到感知亮度。

[0098] 二、用SSIM法提取原图像左右视图与测试图像左右视图的亮度、对比度、结构相似度，并进行比较

[0099] 结构相似度法(SSIM，structural similarity)是通过与原图像在亮度、对比度、结构相似度方面的比较，较好的反映出测试图像在结构上的失真程度。因为左右视图的结构相似度计算方法相同，故以左视图S1的计算为例，完成结构相似度度的计算。

[0100] 首先分别计算原始图像X和测试图像Y的平均感知亮度ux和uy，M×N为图像大小，此处需要注意的是：xij、yij为原始图像X和测试图像Y每个像素经过式(2)处理的感知亮度；其次计算原始图像X和测试图像Y的标准差σx和σy，以及两者之间的协方差σxy；再次，根据(3)～(5)分别计算亮度比较函数l(x，y)、对比度比较函数c(x，y)、结构相似性比较函数s(x，y)。

[0101] (C1＝(K1L)2) (3)

[0102] (C2＝(K2L)2) (4)

[0103]

[0104] C1、C2、C3分别是取值较小的常数，起调节作用。由于一般测试的图像都有意义，可令：C1＝0，C2＝0，C3＝0。

[0105] 最后，根据式(6)计算结构失真度Sl：

[0106] Sl＝[l(x，y)]α[c(x，y)]β[s(x，y)]γ(6)

[0107] 令α＝β＝γ＝1。

[0108] 为了使每项客观评价指标都能够与五级标度对应，来反映立体图像在此项指标的质量好坏程度，将每个评价指标取值都限定在[0，5]之间。因为：l(x，y)≤1，c(x，y)≤1，s(x，y)≤1，故Sl≤l。所以将式(6)变换为：

[0109]

[0110] 将新定义的Sladjust作为结构失真度评价指标，左、右视图各有一个结构相似度评价指标。

[0111] 三、提取测试左右视图的亮度对比度评价指标

[0112] 在观看立体图像时，通常采用融合左右视图的方法在显示设备上显示立体图像，当左右视图的平均感知亮度差距较明显时，人眼易疲劳，有强烈的不舒适感。因此将测试图左、右视图的平均感知亮度的比值作为一个质量评价指标，来衡量左右视图感知亮度的差异：

[0113]

[0114] 其中，uyl、uyr分别为左测试图和右测试图的平均感知亮度。

[0115] 类似式(7)，将(8)进行调整得到式(9)，并将调整后的Lcadjust作为一个评价指标。

[0116] Lcadjust＝Lc×5 (9)

[0117] 四、人眼视觉信噪比评价指标

[0118] 首先，CSF(Contrast Sensitivity Function经验对比度灵敏度函数)曲线反映人眼视觉带通特性，人眼视觉多通道之间具有线性或正交相位、位移不变性、一致的频率响应，对水平和垂直方向的刺激最敏感，对对角方向的刺激敏感性减弱，在45度和135度方向最不敏感，这一结构特征恰好与二维小波分解有很好的拟合性。其次，人眼对于图像边缘信息敏感，我们希望能够提取出图像的边缘信息，而小波分解得出的三个高频部分恰好代表了图像水平、垂直、对角方向的边缘细节信息，如表1所示。

[0119] 表1图像进行小波分解的各层频率

[0120]LH行频率 HL列频率 HH45°对角频率 HH135°对角频率
第1层 0.54341 0.54409 1.28492 1.27951
第2层 0.94878 0.96420 2.3731 2.3791
第3层 1.76941 1.93090 4.25886 4.24791
第4层 3.50295 3.72961 6.30172 6.26624
第5层 4.78258 4.73584 8.57106 8.57652

[0121] 因此，采用小波分解模拟人眼带通特性，并用CSF(Contrast Sensitivity Function经验对比度灵敏度函数)曲线加权不同频带小波系数，模拟人眼的对比度敏感度特性，这样计算出来的测试视图和标准视图在各频带的误差，更能反映人眼视觉特性。计算方法以左视图为例，给出标准视图和测试视图在每个加权频带的误差计算公式(10)：

[0122]

[0123] 其中，n＝1，2，...，11；{Cx(n)(i，j)}，{Cy(n)(i，j)}分别为分解加权后第n个空间频带的标准图像数据和测试图像数据；对应图像大小为：Mn×Nn。同理计算出ern。以左视图为例，给出Minkowski非线性求和计算公式(5-11)：

[0124]

[0125] 其中，β为求和参数，一般情况下β∈[2，4]。为计算方便，本文选用β＝4。同理可计算出Sr。类似峰值信噪比定义，本文定义符合人类视觉特性的人眼视觉信噪比HVSNRl，如式(12)所示。

[0126]

[0127] 同理可计算出HVSNRr。为了保证各评价指标取值都在[0，5]之间，本文将人眼视觉信噪比先归一化，再根据五级标度将分数线性映射到[0，5]上。

[0128] 在进行的大量实验中，测试图的信噪比最大不超过45dB，因此本文规定HVSNR0＝45，作为归一化的标准，如式(13)。

[0129]

[0130] 同理计算HVSr。

[0131] 式(13)变换后映射到[0，5]区间上，如式(14)。

[0132] HVSladjust＝HVSl×5 (14)

[0133] 同理计算出变换后的HVSradjust。

[0134] 五、匹配点个数比评价指标

[0135] 一个立体图像如果压缩较大，边缘、拐角处的角点个数就会减少，相应的匹配点的个数也会减少，所以匹配点的个数可以反映立体图像的质量；而且经过试验得出，水平像素差不满足[8，100]的点，不会产生立体感或者会有重影的感觉。因此选择用测试图像左右视点匹配点个数和标准图像左右视点匹配点个数的比值也可以反映立体图像的立体感。

[0136] 提取标准图像匹配点个数D标准图像和测试图像的匹配点个数D测试图像，并用匹配点个数比P作为一个评价指标，公式如(15)，表征图像质量以及立体感觉的好坏。

[0137] P ∈[0，1] (15)

[0138] 为了与五级标度法对应，表示匹配点个数比评价指标所处的分数等级，反映立体感和图像质量的好坏程度，用公式(15)对(16)进行调整。

[0139] Padjust＝P×5 (16)

[0140] 其中，D测试图像为测试图像左右视点匹配点个数，D标准图像为标准图像左右视点匹配点个数。Padjust是与五级标度对应的评价指标，在后面的总评价指标中依然用P来加权表示。

[0141] 本设计中是利用Harris算子提取特征点，再利用归一化协方差的方法进行特征点的匹配。下面对特征点提取及匹配进行简要介绍：

[0142] Harris算子与自相关函数类似，需要求出M矩阵的特征值，Harris算子主要利用图像每个像素的一阶导数：对图像上的每个像素点，计算它的垂直方向和水平方向的导数，并将两者相乘，每个像素对应3个值，相当于得到新的3幅图像。3个值分别为gx、gy和gxgy。对上述3个矩阵进行高斯滤波，然后计算每个点的兴趣值：

[0143]

[0144] I＝det(M)-k×tr(M)2，k＝0.04(18)

[0145] 其中，gx、gy分别为xy方向的梯度，G(s)为高斯滤波矩阵，det是行列式，k为权值系数，取为0.04，tr是迹。矩阵I中每一点的元素值对应于原图相应点的兴趣值。

[0146] M阵的特征值是自相关函数的一阶曲率，如果两个曲率值都相当高，那么就认为该点是角点。Harris算法认为特征点是局部范围内的极大兴趣值对应的像素点。因此，在计算完各点的兴趣值后，要提取原始图像中所有局部兴趣值最大的点。在实际操作中，可依次从以每个像素为中心的3×3的窗口中提取最大值，如果中心点像素的兴趣值是最大值，则该点就是特征点。

[0147] 提取出特征点后，用归一化互协方差匹配算法来匹配特征点：首先在已提取出特征点的左视图中取一特征点P1(i，j)，然后在待匹配的右视图中以像素点(i，j)为中心，取一个M×N的矩形，将矩形中的每个提取出来的角点P2与P1点进行相似度衡量，相似度大于预设阈值0.8的点即为可能匹配点。顺序将左视图中的每个特征点与右视图匹配，最后得到左右视图对中所有的可能的匹配点对。任取左视图一点P1(i，j)，右视图某一点P2(i，j)。设他们的灰度值分别为I1(i，j)，I2(i，j)。这两点的互协方差可定义为：

[0148]

[0149] 自定义窗口大小：

[0150] M＝(2k+1)(2l+1)2k+1，2l+1为窗口的长和宽

[0151] 其中σ(I1)、σ(I2)代表左、右视图待匹配特征点所在窗口内的灰度方差：

[0152]

[0153] 和 分别为两个窗口内的灰度平均值：

[0154]

[0155] 通过上述求得的可能匹配点对中，可能存在一对多或者多对一的情况，因为是将左视图中特征点在右视图中所有与其互协方差大于0.8的点作为了可能的匹配点对。

[0156] 下一步需要从可能的匹配点中找出正确的匹配点对，设一对匹配点对为(m1i，m2j)，m1i是左视图的一个点，m2j是右视图中的匹配点，N(m1i)是m1i点的R领域点的集合，N(m2j)是m2j点的R领域点的集合，如果(m1i，m2j)是一个准确的匹配点对，在其领域内就可以看到很多的准确匹配点对(n1k，n2l)，n1k在m1i附近，n2l在m2j附近。定义匹配强度SM，计算方法如下式：

[0157]

[0158] 其中cij和ckl是匹配点对(m1i，m2j)和(n1k，n2l)的互协方差，dist(m1i，m2j；n1k，n2l)为两对匹配点的平均距离，定义为：

[0159]

[0160] δ(m1i，m2j；n1k，n2l)的定义为：

[0161]

[0162] r是距离差比例为：

[0163]

[0164] 其中εγ距离差阈值，本设计中取为0.3。

[0165] Sm(m1i，m2j)代表匹配强度SM，对于一对多的情况，如左视图的m1i在右视图中有两个匹配点，分别为m2j，m2k，利用匹配强度的计算公式，分别计算出Sm(m1i，m2j)和Sm(m1i，m2k)，两个中值最大的就是正确的匹配点对。

[0166] 上述找到的匹配点对中仍可能存在错误的匹配点对，利用RANSAC算法对匹配点对再进行错误匹配点对的剔除，其基本思想是：首先所有可能的匹配点对中随机选取8个匹配点对，利用他们建立一个样本集，然后利用这个样本集求出一组对应于它的基本矩阵参数，利用这些参数建立一个基本矩阵候选模型。然后计算出所有匹配点对相对于这个模型的对极距离(相对应的极点距离)，根据预先设定的阈值，小于这个阈值的点对我们认为他们是符合这个模型的，因此称这些点对为模型的支集，若是这个支集大到了一定程度，这个基本矩阵就是我们要求解的基本矩阵。如果这个支集中匹配点对的数目小于给定的阈值，则这个模型不是最优的模型。重复上述过程直到找到基本矩阵最优模型。利用最优基本矩阵，将那些对极距离大于设定阈值的匹配点对剔除。下面比较系统地叙述RANSAC算法：

[0167] ①样本空间中有n个匹配点对，随机样本集中需要有8个点对。

[0168] ②由随机样本集得到候选模型

[0169] S(S1，S2，S3，S4，S5，S6，S7，S8)-＞F(F1，F2，F3，F4，F5，F6，F7，F8)。

[0170] ③由F及对极距离阈值L，检测所有匹配点对，得到候选模型F的支集：M(m对)。

[0171] ④检测：是否m大于阈值T。

[0172] 否，重新选8对匹配点，继续以上进程。

[0173] 是，则得到目标模型F。

[0174] ⑤进一步，以一致集M中m对匹配点对目标模型的参数F进行优化，得到优化后的模型F’。

[0175] ⑥利用优化的模型F’，将对极距离大于阈值的匹配点对剔除。

[0176] ⑦每随机选点一次，设计数器count+1，重复k次没有找到模型参数，终止。

[0177] 六、总评价指标

[0178] 根据上面几个指标的介绍，综合所有的指标，提出一个总评价指标，从整体上反映立体图像的质量。

[0179]

[0180] Sladjust，Sradjust，Lcadjust，HVSladjust，HVSradjust∈(0，5]，P∈[0，1](26)[0181] 式(26)中，Sladjust为左视图的结构失真度Sl对应的五级标度表示；Sradjust为右视图的结构失真度Sr对应的五级标度表示；Lcadjust是测试图左、右视图的平均感知亮度的比值Lc的五级标度表示；HVSladjust是HVSNRl(人眼视觉信噪比，左眼)的五级表示；HVSradjust是HVSNRr(人眼视觉信噪比，右眼)的五级表示，其计算过程与HVSladjust类似；P是测试图像和标注图像间的匹配点个数比。因此，式(5-20)综合考虑了结构失真度、亮度和对比度(用信噪比来模拟)三个方面的因素，然后结合测试图像和标注图像间的匹配点个数比P(类似于一个权重)，计算出了一个总的指标T，并将T划分到对应的五级指标等级上，用于描述立体图像的整体质量。若结构、信噪比、对比度分数都较高，但是立体感很差(用P进行刻画)，T分数也较低；若图像压缩损伤较大，出现明显的块效应，结构、信噪比分数就会较低，T的分数也随之较低。

[0182] 七、评价软件系统实现

[0183] 根据本设计建立的人眼视觉模型以及拟提取的立体图像质量客观评价指标，开发了一套立体图像质量客观评价软件系统，分别读入标准图像对和测试图像对4幅图像，再将其经过人眼视觉系统模型处理后，计算反映立体图像质量的结构失真度量指标、亮度比较指标、人眼视觉信噪比指标、匹配点个数比指标、综合评价值等各项指标值，保存为文本文件，用客观数值反映测试立体图像的质量好坏，并且在界面上直观显示各项指标的质量优良状况。

[0184] 下面结合附图和实施例进一步详细说明本发明。

[0185] 本发明基于人眼视觉模型的立体图像质量评价的技术路线如图1所示。具体实现方法包括以下步骤：

[0186] (1)本设计针对一组family图像，如附图5。根据表1的加噪、压缩、平移，改变亮度等预处理方法，得到如附图6-图22的测试图像组。此时，图像在以矩阵的形式存储，设图像的大小为M×N，矩阵中的每个元素存储着对应图像的像素值。

[0187] 表1用于产生测试图像，对图像进行预处理的方法表

[0188]序号 图像预处理 序号 图像预处理
1 高斯噪声 10 压缩到5％
2 椒盐噪声 11 压缩到10％
3 亮度+100 12 压缩到20％
4 亮度-100 13 左1％右100％
5 对比度100 14 左5％右100％

[0189]6 对比度50 15 左10％右100％
7 平移5像素 16 左亮度50％右亮度不变
8 平移10像素 17 标准图像
9 压缩到1％

[0190] (2)在本实例的以下步骤中，令X，Y分别代表原始与测试立体图像的像素值，将原立体图像的左右视图与测试立体图像的左右视图分别进行比较，这里以原立体图像和测试立体图像的左视图为例。

[0191] (2-1)利用关系式 (ΔL表示相对亮度)得到亮度感觉的增量值，即对所要测试的立体图像进行预处理，得到测试立体图像对的感知图像。

[0192] (2-2)利用关系式 计算原始与测试图像的平均亮度逼近度，其中，平均亮度逼近度的取值范围为[0，1]，只有当ux＝uy时，
其值为1。

[0193] (2-3)利用关系式 计算原始与测试图像的对比度比较差异。其中取值范围为
[0，1]，只有当σx＝σy时取得最佳值1。

[0194] (2-4)利用关系式 来计算原始与测试图像的结构相似性。其中，X，Y分别代表原始图像与测试图像，

[0195] (2-5)通过公式 (Sl≤1)，得到测试左视图相比的值，按同样的方法，得到右视图的结构相似度指标。Sl值反映了图像的亮度、对比度、结构相似度方面的比较。为了使每项客观评价指标都能够与五级标度对应，来反映立体图像在此项指标的质量好坏程度，将每个评价指标取值都限定在[0，5]之间，将其表示为Sladjust，而测试图像的右视图可以表示为Sladjust，测试图像family的结构相似度评价值如表2。

[0196] 表2family客观评价分数与主观评价分数比较表

[0197]

[0198] (2-6)利用关系式 提取测试左右视图的亮度对比度评价指标，其中，uyl、uyr分别为立体图像的左测试图和右测试图的平均感知亮度。通过关系式Lcadjust＝Lc×5将其值调整到[0，5]，并用Lcadjust代表，测试图像family的亮度对比度评价值如表2。

[0199] ( 2 - 7 ) 利 用 误 差 计 算 公 式得出原左视图和测试左视图
(n) (n)
在每个加权频带的误差，其中，n＝1，2，...，11；{Cx (i，j)}，{Cy (i，j)}分别为分解加权后第n个空间频带的原图像数据和测试图像数据；利用Minkowski计算公式进行非线性求和为Sl；利用信噪比关系式 得出测试左视图的人眼视觉信噪
比，同理可计算测试右视图，并将其值映射到[0，5]上，得到HVSladjust，HVSradjust，测试图像family的人眼视觉信噪比评价值如表2。

[0200] (2-8)用测试图像左右视点匹配点个数和标准图像左右视点匹配点个数的比值评价立体图像的立体感。利用Harris算子提取左右视图的特征点，再利用归一化协方差的方法进行特征点的匹配；提取原图像匹配点个数D标准图像和测试图像的匹配点个数D测试图像，并用匹配点个数比P作为一个评价指标，将值映射到[0，5]上，得到匹配点个数比评价指标Padjust，测试图像family的立体感(匹配点个数)评价值如表2。

[0201] 下面对特征点提取及匹配进行简要介绍：

[0202] Harris算子与自相关函数类似，需要求出M矩阵的特征值，Harris算子主要利用图像每个像素的一阶导数：对图像上的每个像素点，计算它的垂直方向和水平方向的导数，并将两者相乘，每个像素对应3个值，相当于得到新的3幅图像。3个值分别为gx、gy和gxgy。对上述3个矩阵进行高斯滤波，然后计算每个点的兴趣值：

[0203]

[0204] I＝det(M)-k×tr(M)2，k＝0.04

[0205] 其中，gx、gy分别为xy方向的梯度，G(s)为高斯滤波矩阵，det是行列式，k为权值系数，取为0.04，tr是迹。矩阵I中每一点的元素值对应于原图相应点的兴趣值。

[0206] M阵的特征值是自相关函数的一阶曲率，如果两个曲率值都相当高，那么就认为该点是角点。Harris算法认为特征点是局部范围内的极大兴趣值对应的像素点。因此，在计算完各点的兴趣值后，要提取原始图像中所有局部兴趣值最大的点。在实际操作中，可依次从以每个像素为中心的3×3的窗口中提取最大值，如果中心点像素的兴趣值是最大值，则该点就是特征点。

[0207] 提取出特征点后，用归一化互协方差匹配算法来匹配特征点：首先在已提取出特征点的左视图中取一特征点P1(i，j)，然后在待匹配的右视图中以像素点(i，j)为中心，取一个M×N的矩形，将矩形中的每个提取出来的角点P2与P1点进行相似度衡量，相似度大于预设阈值0.8的点即为可能匹配点。顺序将左视图中的每个特征点与右视图匹配，最后得到左右视图对中所有的可能的匹配点对。任取左视图一点P1(i，j)，右视图某一点P2(i，j)。设他们的灰度值分别为I1(i，j)，I2(i，j)。这两点的互协方差可定义为：

[0208]

[0209] 自定义窗口大小：

[0210] M＝(2k+1)(2l+1)2k+1，2l+1为窗口的长和宽

[0211] 其中σ(I1)、σ(I2)代表左、右视图待匹配特征点所在窗口内的灰度方差：

[0212]

[0213] 和 分别为两个窗口内的灰度平均值：

[0214]

[0215] 通过上述求得的可能匹配点对中，可能存在一对多或者多对一的情况，因为是将左视图中特征点在右视图中所有与其互协方差大于0.8的点作为了可能的匹配点对。

[0216] 下一步需要从可能的匹配点中找出正确的匹配点对，设一对匹配点对为(m1i，m2j)，m1i是左视图的一个点，m2j是右视图中的匹配点，N(m1i)是m1i点的R领域点的集合，N(m2j)是m2j点的R领域点的集合，如果(m1i，m2j)是一个准确的匹配点对，在其领域内就可以看到很多的准确匹配点对(n1k，n2l)，n1k在m1i附近，n2l在m2j附近。定义匹配强度SM，计算方法如下式：

[0217]

[0218] 其中cij和ckl是匹配点对(m1i，m2j)和(n1k，n2l)的互协方差，dist(m1i，m2j；n1k，n2l)为两对匹配点的平均距离，定义为：

[0219]

[0220] δ(m1i，m2j；n1k，n2l)的定义为：

[0221]

[0222] r是距离差比例为：

[0223]

[0224] 其中εγ距离差阈值，本设计中取为0.3。

[0225] Sm(m1i，m2j)代表匹配强度SM，对于一对多的情况，如左视图的m1i在右视图中有两个匹配点，分别为m2j，m2k，利用匹配强度的计算公式，分别计算出Sm(m1i，m2j)和Sm(m1i，m2k)，两个中值最大的就是正确的匹配点对。

[0226] 上述找到的匹配点对中仍可能存在错误的匹配点对，利用RANSAC算法对匹配点对再进行错误匹配点对的剔除，其基本思想是：首先所有可能的匹配点对中随机选取8个匹配点对，利用他们建立一个样本集，然后利用这个样本集求出一组对应于它的基本矩阵参数，利用这些参数建立一个基本矩阵候选模型。然后计算出所有匹配点对相对于这个模型的对极距离(相对应的极点距离)，根据预先设定的阈值，小于这个阈值的点对我们认为他们是符合这个模型的，因此称这些点对为模型的支集，若是这个支集大到了一定程度，这个基本矩阵就是我们要求解的基本矩阵。如果这个支集中匹配点对的数目小于给定的阈值，则这个模型不是最优的模型。重复上述过程直到找到基本矩阵最优模型。利用最优基本矩阵，将那些对极距离大于设定阈值的匹配点对剔除。下面比较系统地叙述RANSAC算法：

[0227] ①样本空间中有n个匹配点对，随机样本集中需要有8个点对。

[0228] ②由随机样本集得到候选模型

[0229] S(S1，S2，S3，S4，S5，S6，S7，S8)-＞F(F1，F2，F3，F4，F5，F6，F7，F8)。

[0230] ③由F及对极距离阈值L，检测所有匹配点对，得到候选模型F的支集：M(m对)。

[0231] ④检测：是否m大于阈值T。

[0232] 否，重新选8对匹配点，继续以上进程。

[0233] 是，则得到目标模型F。

[0234] ⑤进一步，以一致集M中m对匹配点对目标模型的参数F进行优化，得到优化后的模型F’。

[0235] ⑥利用优化的模型F’，将对极距离大于阈值的匹配点对剔除。

[0236] ⑦每随机选点一次，设计数器count+1，重复k次没有找到模型参数，终止。

[0237] (3)根据第(2)部分的介绍，综合所有的指标，提出一个总评价指标，从整体上反映立体图像的质量。

[0238]

[0239] Sladjust，Sradjust，Lcadjust，HVSladjust，HVSradjust∈(0，5]，P∈[0，1][0240] 其中，Sladjust为左视图的结构失真度Sl对应的五级标度表示；Sradjust为右视图的结构失真度Sr对应的五级标度表示；Lcadjust是测试图左、右视图的平均感知亮度的比值Lc的五级标度表示；HVSladjust是HVSNRl(人眼视觉信噪比，左眼)的五级表示；HVSradjust是HVSNRr(人眼视觉信噪比，右眼)的五级表示，其计算过程与HVSladjust类似；P是测试图像和标注图像间的匹配点个数比。因此，总评价指标综合考虑了结构失真度、亮度和对比度(用信噪比来模拟)三个方面的因素，然后结合测试图像和标注图像间的匹配点个数比P(类似于一个权重)，计算出了一个总的指标T，并将T划分到对应的五级指标等级上，用于描述立体图像的整体质量。若结构、信噪比、对比度分数都较高，但是立体感很差(用P进行刻画)，T分数也较低；若图像压缩损伤较大，出现明显的块效应，结构、信噪比分数就会较低，T的分数也随之较低。

[0241] (4)根据本设计建立的人眼视觉模型以及拟提取的立体图像质量客观评价指标，开发了一套立体图像质量客观评价软件系统，分别读入标准图像对和测试图像对4幅图像，再将其经过人眼视觉系统模型处理后，计算反映立体图像质量的结构失真度量指标、亮度比较指标、人眼视觉信噪比指标、匹配点个数比指标、综合评价值等各项指标值，保存为文本文件，用客观数值反映测试立体图像的质量好坏，并且在界面上直观显示各项指标的质量优良状况。

[0242] 本设计开发的立体图像质量评价系统界面如附图23。界面介绍如下：“StrucL”、“StrucR”、“LumaLR”、“HVSL”、“HVSR”、“Match”分别表示：左视图结构失真度量指标、右视图结构失真度量指标、左右测试视图亮度对比度指标、左视图人眼视觉信噪比指标、右视图人眼视觉信噪比指标、匹配点个数比指标。“Final Result”表示6个指标加权求和后总的评价指标，它用来表示测试立体图像总体质量，可用于与MOS进行相关性比较。显示区域深蓝色柱状图表示标准图像对应指标的分数，浅蓝色柱状图表示测试图像对应指标的分数。右侧“Excellent”、“Good”、“Fair”、“Poor”、“Bad”表示五级标度评价质量等级，与其对应的“Show Result”用5种表情显示质量(附图24)。“OpenSL”、“OpenSR”、“OpenTL”、“OpenTR”表示加载图像，分别表示打开原左视图、打开原右视图、打开测试左视图、打开测试右视图。“Play”开始运行计算指标值，“Save”保存指标到一个.txt文件，用于数据处理和分析。“耗时”显示计算一次所消耗的时间，“Succeed”表示计算结束，和“Succeed”对应的状态机(state machine)还有“Testing…”表示使用测试功能，测试程序是否能正常运行、“Computer…”表示程序正在计算中。