本发明公开了一种立体图像视觉舒适度评价方法，其首先通过提取右视点图像的图像显著图和右视差图像的深度显著图，得到右视点图像的立体显著图，然后根据立体显著图加权提取出视差幅度、视差梯度和空间频率特征，得到立体图像的特征矢量，再利用支持向量回归对立体图像集合中的所有立体图像的特征矢量进行训练，最后利用训练得到的支持向量回归训练模型对立体图像集合中的每幅立体图像进行测试，得到每幅立体图像的客观视觉舒适度评价预测值，优点是获得的立体图像的特征矢量信息具有较强的稳定性且能够较好地反映立体图像的视觉舒适度变化情况，从而有效地提高了客观评价结果与主观感知的相关性。
1.一种立体图像视觉舒适度评价方法，其特征在于包括以下步骤：
①将待评价的立体图像的左视点图像记为{IL(x,y)}，将待评价的立体图像的右视点图像记为{IR(x,y)}，将待评价的立体图像的右视差图像记为{dR(x,y)}，其中，此处(x,y)表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的宽度，H表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的高度，IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值，IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值，dR(x,y)表示{dR(x,y)}中坐标位置为(x,y)的像素点的像素值；
②采用多个不同尺度对{IR(x,y)}进行分块处理，然后获取{IR(x,y)}在不同尺度下的每个子块的特征矢量，接着根据{IR(x,y)}在不同尺度下的每个子块的特征矢量，获取{IR(x,y)}在不同尺度下的每个子块的显著值，进而获得{IR(x,y)}在不同尺度下的图像显著图，最后将{IR(x,y)}在不同尺度下的图像显著图进行融合，得到{IR(x,y)}的最终的图像显著图，记为{SMimg(x,y)}，其中，SMimg(x,y)表示{SMimg(x,y)}中坐标位置为(x,y)的像素点的像素值；
②-1、采用J个不同尺度对{IR(x,y)}进行分块处理，在第j个尺度hj下将{IR(x,y)}划分成 个互不重叠的尺寸大小为hj×hj的子块，其中，1≤j≤J，2≤J≤5，符号为向下取整符号；
②-2、将{IR(x,y)}在第j个尺度hj下当前待处理的第l个子块定义为当前第一子块，其中，②-3、将当前第一子块记为{fj,l(x2,y2)}，其中，(x2,y2)表示当前第一子块{fj,l(x2,y2)}中的像素点的坐标位置，1≤x2≤hj,1≤y2≤hj，fj,l(x2,y2)表示当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的像素值；
②-4、获取当前第一子块{fj,l(x2,y2)}中的每个像素点的水平梯度值和垂直梯度值，获取当前第一子块{fj,l(x2,y2)}中的每个像素点从RGB颜色空间转换到CIELAB颜色空间后亮度分量L的颜色值、色度分量a的颜色值及色度分量b的颜色值，获取当前第一子块{fj,l(x2,y2)}中的每个像素点的红-绿颜色分量及蓝-黄颜色分量，获取当前第一子块{fj,l(x2,y2)}中的每个像素点经Log-Gabor滤波后得到的振幅；
②-5、根据步骤②-4获取的当前第一子块{fj,l(x2,y2)}中的每个像素点的多个图像感知特征，以及当前第一子块{fj,l(x2,y2)}中的每个像素点的坐标位置，获取当前第一子块{fj,l(x2,y2)}中的每个像素点的特征矢量，将当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的特征矢量记为f f
，其中，符号“[]”为矢量表示符号， 的维数为10，GX(x2,y2)和GY(x2,y2)对应为当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的水平梯度值和垂直梯度值，L(x2,y2)、a(x2,y2)及b(x2,y2)对应为当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点从RGB颜色空间转换到CIELAB颜色空间后亮度分量L的颜色值、色度分量a的颜色值及色度分量b的颜色值，ΔRG(x2,y2)和ΔBY(x2,y2)对应为当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的红-绿颜色分量和蓝-黄颜色分量，LG(x2,y2)为当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点经Log-Gabor滤波后得到的振幅；
②-6、根据当前第一子块{fj,l(x2,y2)} 中的每个像素点的特征
矢量，计算当前第一子块 {fj,l(x2,y2)} 的协方差矩阵，记为
子块{fj,l(x2,y2)}中的所有像素点的特征矢量的均值矢量， 为
②-7、对当前第一子块{fj,l(x2,y2)}的协方差矩阵 进行 Cholesky分解， 得 到 当 前 第 一子 块 {fj,l(x2,y2)}的Sigma 特 征集，记 为T
为L的转置矩阵，此处1≤i'≤10，L 表示L的第1列向量，L 表示L的第i'列向量，(10)L 表示L的第10列向量， 的维数为10×21；
② -8、计算当前第一子块 {fj,l(x2,y2)} 的显著值，记为
{fj,l(x2,y2)}为中心的邻域窗口， 表示当前第一子块{fj,l(x2,y2)}的Sigma特征集与相邻的第l'个子块的Sigma特征集 之间的欧式距离， 符号“||||”为求欧式距离符号，此处xl表示当前第一子块{fj,l(x2,y2)}的中心像素点的坐标位置，此处xl'表示与当前第一子块{fj,l(x2,y2)}相邻的第l'个子块的中心像素点的坐标位置，表示N(l)内的所有子块的Sigma特征集与当前第一子块{fj,l(x2,y2)}的Sigma特征集之间的欧氏距离中的最小值， h为控制系数；
②-9、根据人眼的中心偏移特性，计算当前第一子块{fj,l(x2,y2)}的最终的显著值，记为 其中，符号“||||”为求欧式距离符号，xc表示{IR(x,y)}的中心像素点的坐标位置，Z为控制系数；
②-10、将当前第一子块{fj,l(x2,y2)}的最终的显著值 作为当前第一子块{fj,l(x2,y2)}中的所有像素点的显著值，然后令l＝l+1，将{IR(x,y)}在第j个尺度hj下下一个待处理的子块作为当前第一子块，再返回步骤②-3继续执行，直至{IR(x,y)}在第j个尺度hj下的所有子块均处理完毕，得到在第j个尺度hj下{IR(x,y)}的图像显著图，记为 其中，l＝l+1中的“＝”为赋值符号， 表示 中坐标位置为(x,y)的像素点的像素值；
②-11、令j＝j+1，然后返回步骤②-2继续执行，直至得到{IR(x,y)}在J个不同尺度下的图像显著图，再将{IR(x,y)}在J个不同尺度下的图像显著图进行融合，得到{IR(x,y)}的最终的图像显著图，记为{SMimg(x,y)}，将{SMimg(x,y)}中坐标位置为(x,y)的像素点的像素值记为SMimg(x,y)， 其中，j＝j+1中“＝”为赋值符号，“*”为卷积操作符号，Gσ(x,y)表示标准差为σ的高斯函数；
③采用多个不同尺度对{dR(x,y)}进行分块处理，然后获取{dR(x,y)}在不同尺度下的每个子块的特征矢量，接着根据{dR(x,y)}在不同尺度下的每个子块的特征矢量，获取{dR(x,y)}在不同尺度下的每个子块的显著值，进而获得{dR(x,y)}在不同尺度下的深度显著图，最后将{dR(x,y)}在不同尺度下的深度显著图进行融合，得到{dR(x,y)}的最终的深度显著图，记为{SMdep(x,y)}，其中，SMdep(x,y)表示{SMdep(x,y)}中坐标位置为(x,y)的像素点的像素值；
③-1、采用J个不同尺度对{dR(x,y)}进行分块处理，在第j个尺度hj下将{dR(x,y)}划分成 个互不重叠的尺寸大小为hj×hj的子块，其中，1≤j≤J，2≤J≤5，符号为向下取整符号；
③-2、将{dR(x,y)}在第j个尺度hj下当前待处理的第l个子块定义为当前第二子块，其中，③-3、将当前第二子块记为{gj,l(x2,y2)}，其中，(x2,y2)表示当前第二子块{gj,l(x2,y2)}中的像素点的坐标位置，1≤x2≤hj,1≤y2≤hj，gj,l(x2,y2)表示当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的像素值；
③-4、获取当前第二子块{gj,l(x2,y2)}中的每个像素点的像素值、水平梯度值和垂直梯度值，获取当前第二子块{gj,l(x2,y2)}中的每个像素点经高斯差分算子后得到的响应值；
③-5、根据步骤③-4获取的当前第二子块{gj,l(x2,y2)}中的每个像素点的多个深度感知特征，获取当前第二子块{gj,l(x2,y2)}中的每个像素点的特征矢量，将当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的特征矢量记为其中，符号“[]”为矢量表示
符号， 的维数为4，dR(x2,y2)为当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)g g的像素点的像素值，GX(x2,y2)和GY(x2,y2)对应为当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的水平梯度值和垂直梯度值，DoG(x2,y2)为当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)的像素点经高斯差分算子后得到的响应值；
③-6、根据当前第二子块{gj,l(x2,y2)} 中的每个像素点的特征
矢量，计算当前第二子块 {gj,l(x2,y2)} 的协方差矩阵，记为
子块{gj,l(x2,y2)}中的所有像素点的特征矢量的均值矢量， 为
③-7、对当前第二子块{gj,l(x2,y2)}的协方差矩阵 进行Cholesky分解，得到当前第二子块{gj,l(x2,y2)}的Sigma特征集，记为
其中，L'为L'的转置矩阵，此处1≤i'≤4，L' 表示L'的第1列向量，L' 表示L'的第i'列向量，L'(4)表示L'的第4列向量， 的维数为4×9；
③ -8、计算当前第二子块 {gj,l(x2,y2)} 的显著值，记为
{gj,l(x2,y2)}为中心的邻域窗口， 表示当前第二子块{gj,l(x2,y2)}的Sigma特征集与相邻的第l'个子块的Sigma特征集 之间的欧式距离， 符号“||||”为求欧式距离符号，此处xl表示当前第二子块{gj,l(x2,y2)}的中心像素点的坐标位置，此处xl'表示与当前第二子块{gj,l(x2,y2)}相邻的第l'个子块的中心像素点的坐标位置，表示N'(l)内的所有子块的Sigma特征集与当前第二子块{gj,l(x2,y2)}的Sigma特征集 之间的欧氏距离中的最小值， h为控制系数；
③-9、将当前第二子块{gj,l(x2,y2)}的显著值 作为当前第二子块{gj,l(x2,y2)}中的所有像素点的显著值，然后令l＝l+1，将{dR(x,y)}在第j个尺度hj下下一个待处理的子块作为当前第二子块，再返回步骤③-3继续执行，直至{dR(x,y)}在第j个尺度hj下的所有子块均处理完毕，得到在第j个尺度hj下{dR(x,y)}的深度显著图，记为其中，l＝l+1中的“＝”为赋值符号， 表示 中坐标位置为(x,y)的像素点的像素值；
③-10、令j＝j+1，然后返回步骤③-2继续执行，直至得到{dR(x,y)}在J个不同尺度下的深度显著图，再将{dR(x,y)}在J个不同尺度下的深度显著图进行融合，得到{dR(x,y)}的最终的深度显著图，记为{SMdep(x,y)}，将{SMdep(x,y)}中坐标位置为(x,y)的像素点的像素值记为SMdep(x,y)， 其中，j＝j+1中“＝”为赋值符号，“*”为卷积操作符号，Gσ(x,y)表示标准差为σ的高斯函数；
④根据{IR(x,y)}的图像显著图{SMimg(x,y)}和{dR(x,y)}的深度显著图{SMdep(x,y)}，获取{IR(x,y)}的立体显著图，记为{SM3D(x,y)}，将{SM3D(x,y)}中坐标位置为(x,y)的像素点的像素值记为SM3D(x,y)， 其中， 表示SMimg(x,y)的权重， 表示SMdep(x,y)的权重，
⑤根据{dR(x,y)}和{SM3D(x,y)}，计算{dR(x,y)}中立体显著图加权的视差幅值和视差梯度，对应记为ξ1和ξ2；并根据{IR(x,y)}和{SM3D(x,y)}，计算{IR(x,y)}中立体显著图加权的空间频率，记为ξ3；然后将ξ1、ξ2和ξ3按顺序进行排列构成待评价的立体图像的用于反映视觉舒适度的特征矢量，记为X，X＝[ξ1,ξ2,ξ3]，其中，此处符号“[]”为矢量表示符号；
⑤-1、根据{dR(x,y)}和{SM3D(x,y)}，计算{dR(x,y)}中立体显著图加权的视差幅值，记为ξ1， 其中，符号“||”为取绝对值符号；
⑤-2、根据{dR(x,y)}和{SM3D(x,y)}，计算{dR(x,y)}中立体显著图加权的视差梯度，记为ξ2， ΔdR(x,y)＝(dR(x+1,y)+dR(x-1,y)+dR(x,y+1)+dR(x,y-1))/4-dR(x,y)，其中，符号“||”为取绝对值符号，dR(x+1,y)表示{dR(x,y)}中坐标位置为(x+1,y)的像素点的像素值，dR(x-1,y)表示{dR(x,y)}中坐标位置为(x-1,y)的像素点的像素值，dR(x,y+1)表示{dR(x,y)}中坐标位置为(x,y+1)的像素点的像素值，dR(x,y-1)表示{dR(x,y)}中坐标位置为(x,y-1)的像素点的像素值，如果x+1>W，则dR(x+1,y)的值由dR(W,y)的值替代，如果x-1<1，则dR(x-1,y)的值由dR(1,y)的值替代，如果y+1>H，则dR(x,y+1)的值由dR(x,H)的值替代，如果y-1<1，则dR(x,y-1)的值由dR(x,1)的值替代；
⑤ -3、 根 据 {IR(x,y)} 和 {SM3D(x,y)}， 计 算 {IR(x,y)} 中 立 体 显 著图加权的空间频率，记为 ξ3，其中，IR(x-1,y)表示{IR(x,y)}
中坐标位置为(x-1,y)的像素点的像素值，IR(x,y-1)表示{IR(x,y)}中坐标位置为(x,y-1)的像素点的像素值，如果x-1<1，则IR(x-1,y)的值由IR(1,y)的值替代，如果y-1<1，则IR(x,y-1)的值由IR(x,1)的值替代；
⑤-4、将ξ1、ξ2和ξ3按顺序进行排列构成待评价的立体图像的用于反映视觉舒适度的特征矢量，记为X，X＝[ξ1,ξ2,ξ3]，其中，此处符号“[]”为矢量表示符号，X的维数为
⑥采用n副各不相同的立体图像以及每幅立体图像对应的右视差图像建立一个立体图像集合，其中，n≥1；然后利用主观质量评价方法分别获取立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值，将立体图像集合中的第i幅立体图像的视觉舒适度的平均主观评分均值记为MOSi，其中，1≤i≤n，MOSi∈[1,5]；再按照步骤①至步骤⑤获取待评价的立体图像的特征矢量X的操作，以相同的方式分别获取立体图像集合中的每幅立体图像的特征矢量，将立体图像集合中的第i幅立体图像的特征矢量记为Xi；
⑦将立体图像集合中的所有立体图像分成训练集和测试集，将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，训练得到最优的权重矢量wopt和最优的偏置项bopt，接着利用wopt和bopt构造得到支持向量回归训练模型，再根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Qk'，其中，1≤k'≤K'，K'表示测试样本数据集合中包含的立体图像的幅数，f()为函数表示形式，Xk'表示测试样本数据集合中的第k'幅立体图像的特征矢量，(wopt)T为wopt的转置矢量， 表示Xk'的线性函数；
之后通过重新分配训练集和测试集，重新预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，经过N次迭代后计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值，并将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值，其中，N的值取大于100。
2.根据权利要求1所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤②-1中取J＝4，j＝1时取h1＝8，j＝2时取h2＝16，j＝3时取h3＝32，j＝4时取h4＝64；所述的步骤②-8中取N(l)的大小为7×7，取h＝0.5；所述的步骤②-9中取所述的步骤②-11中取σ＝0.02×H。
3.根据权利要求1所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤③-1中取J＝4，j＝1时取h1＝8，j＝2时取h2＝16，j＝3时取h3＝32，j＝4时取h4＝64；所述的步骤③-8中取N'(l)的大小为3×3，取h＝0.5；所述的步骤③-10中取σ＝0.02×H。
4.根据权利要求3所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤④中取
5.根据权利要求1所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤⑦的具体过程为：⑦-1、随机选择立体图像集合中的 幅立体图像构成训练集，将立体图像
集合中剩余的K'＝n-t幅立体图像构成测试集，其中，符号 为向上取整符号；
⑦-2、将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，记为Ωt，{Xk,MOSk}∈Ωt，其中，Xk表示训练样本数据集合Ωt中的第k幅立体图像的特征矢量，MOSk表示训练样本数据集合Ωt中的第k幅立体图像的平均主观评分均值，
⑦-3、构造训练样本数据集合Ωt中的每幅立体图像的特征矢量的回归函数，将Xk的回归函数记为f(Xk)， 其中，f()为函数表示形式，w为权重矢量，wT为w的转置矢量，b为偏置项， 表示Xk的线性函数， D(Xk,Xl')为支
持向量回归中的核函数， Xl'为训练样本数据集合Ωt中的
第l'幅立体图像的特征矢量，1≤l'≤t，γ为核参数，exp()表示以e为底的指数函数，e＝2.71828183，符号“||||”为求欧式距离符号；
⑦-4、采用支持向量回归作为机器学习的方法，对训练样本数据集合Ωt中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间opt opt opt的误差最小，拟合得到最优的权重矢量w 和最优的偏置项b ，将最优的权重矢量wopt opt opt和最优的偏置项b 的组合记为(w ,b )，
利用得到的最优的权重矢量w 和最优的偏置项b 构造支持向量回归训练模型，记为其中，Ψ表示对训练样本数据集合Ωt中的所有立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合， 表
示使得 最小的w和b的值，Xinp表示支持向量回归训练模型的输入矢量，
(wopt)T为wopt的转置矢量， 表示支持向量回归训练模型的输入矢量Xinp的线性函数；
⑦-5、将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Qk'，Qk'＝f(Xk')， 其中，1≤k'≤K'，Xk'表示测试样本数据集合中的第k'幅立体图像的特征矢量， 表示Xk'的线性函数；
⑦-6、再重新随机选择立体图像集合中的 幅立体图像构成训练集，将
立体图像集合中剩余的K'＝n-t幅立体图像构成测试集，然后返回步骤⑦-2继续执行，在经过N次迭代后，计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值，再将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值，其中，N的值取大于100。
6.根据权利要求5所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤⑦-3中取γ＝54。
一种立体图像视觉舒适度评价方法
技术领域
[0001] 本发明涉及一种图像质量评价方法，尤其是涉及一种立体图像视觉舒适度评价方法。
背景技术
[0002] 随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，立体视频的视觉体验质量（QoE，quality of experience）是立体视频系统设计中的一个重要问题，而视觉舒适度（VC，visual comfort）是影响立体视频的视觉体验质量的重要因素。目前，对立体视频/立体图像的质量评价研究主要考虑内容失真对于图像质量的影响，而很少考虑视觉舒适度等因素的影响。因此，为了提高观看者的视觉体验质量，研究立体视频/立体图像的视觉舒适度客观评价模型对指导3D内容的制作和后期处理具有十分重要的作用。
[0003] 传统的立体图像视觉舒适度评价方法主要采用全局的视差统计特征来预测视觉舒适度。然而，根据人眼立体视觉注意力特性，人眼只对部分视觉重要区域的视觉舒适/不舒适比较敏感，如果以此全局的视差统计特征来预测视觉重要区域的视觉舒适程度，则会导致无法精确预测得到客观评价值。因此，如何在评价过程中有效地根据视觉显著性来提取出视觉舒适度特征，使得客观评价结果更加感觉符合人类视觉系统，是在对立体图像进行客观视觉舒适度评价过程中需要研究解决的问题。
发明内容
[0004] 本发明所要解决的技术问题是提供一种立体图像视觉舒适度评价方法，其能够有效地提高客观评价结果与主观感知的相关性。
[0005] 本发明解决上述技术问题所采用的技术方案为：一种立体图像视觉舒适度评价方法，其特征在于包括以下步骤：
[0006] ①将待评价的立体图像的左视点图像记为{IL(x,y)}，将待评价的立体图像的右视点图像记为{IR(x,y)}，将待评价的立体图像的右视差图像记为{dR(x,y)}，其中，此处(x,y)表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的宽度，H表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的高度，IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值，IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值，dR(x,y)表示{dR(x,y)}中坐标位置为(x,y)的像素点的像素值；
[0007] ②采用多个不同尺度对{IR(x,y)}进行分块处理，然后获取{IR(x,y)}在不同尺度下的每个子块的特征矢量，接着根据{IR(x,y)}在不同尺度下的每个子块的特征矢量，获取{IR(x,y)}在不同尺度下的每个子块的显著值，进而获得{IR(x,y)}在不同尺度下的图像显著图，最后将{IR(x,y)}在不同尺度下的图像显著图进行融合，得到{IR(x,y)}的最终的图像显著图，记为{SMimg(x,y)}，其中，SMimg(x,y)表示{SMimg(x,y)}中坐标位置为(x,y)的像素点的像素值；
[0008] ③采用多个不同尺度对{dR(x,y)}进行分块处理，然后获取{dR(x,y)}在不同尺度下的每个子块的特征矢量，接着根据{dR(x,y)}在不同尺度下的每个子块的特征矢量，获取{dR(x,y)}在不同尺度下的每个子块的显著值，进而获得{dR(x,y)}在不同尺度下的深度显著图，最后将{dR(x,y)}在不同尺度下的深度显著图进行融合，得到{dR(x,y)}的最终的深度显著图，记为{SMdep(x,y)}，其中，SMdep(x,y)表示{SMdep(x,y)}中坐标位置为(x,y)的像素点的像素值；
[0009] ④根据{IR(x,y)}的图像显著图{SMimg(x,y)}和{dR(x,y)}的深度显著图{SMdep(x,y)}，获取{IR(x,y)}的立体显著图，记为{SM3D(x,y)}，将{SM3D(x,y)}中坐标位置为(x,y)的像素点的像素值记为SM3D(x,y)，其中， 表示SMimg(x,y)的权重， 表示SMdep(x,y)的权重，
[0010] ⑤根据{dR(x,y)}和{SM3D(x,y)}，计算{dR(x,y)}中立体显著图加权的视差幅值和视差梯度，对应记为ξ1和ξ2；并根据{IR(x,y)}和{SM3D(x,y)}，计算{IR(x,y)}中立体显著图加权的空间频率，记为ξ3；然后将ξ1、ξ2和ξ3按顺序进行排列构成待评价的立体图像的用于反映视觉舒适度的特征矢量，记为X，X=[ξ1,ξ2,ξ3]，其中，此处符号“[]”为矢量表示符号；
[0011] ⑥采用n副各不相同的立体图像以及每幅立体图像对应的右视差图像建立一个立体图像集合，其中，n≥1；然后利用主观质量评价方法分别获取立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值，将立体图像集合中的第i幅立体图像的视觉舒适度的平均主观评分均值记为MOSi，其中，1≤i≤n，MOSi∈[1,5]；再按照步骤①至步骤⑤获取待评价的立体图像的特征矢量X的操作，以相同的方式分别获取立体图像集合中的每幅立体图像的特征矢量，将立体图像集合中的第i幅立体图像的特征矢量记为Xi；
[0012] ⑦将立体图像集合中的所有立体图像分成训练集和测试集，将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，训练得到最优的权重opt opt opt opt矢量w 和最优的偏置项b ，接着利用w 和b 构造得到支持向量回归训练模型，再根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k′幅立体图像的客观视觉舒适度评价预测值记为Qk′，Qk′=f(Xk′)，其中，1≤k′≤K′，K′表示测试样本数据集合中包含的立体
图像的幅数，f()为函数表示形式，Xk′表示测试样本数据集合中的第k′幅立体图像的特征矢量，(wopt)T为wopt的转置矢量， 表示Xk′的线性函数；
[0013] 之后通过重新分配训练集和测试集，重新预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，经过N次迭代后计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值，并将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值，其中，N的值取大于100。
[0014] 所述的步骤②的具体过程为：
[0015] ②-1、采用J个不同尺度对{IR(x,y)}进行分块处理，在第j个尺度hj下将{IR(x,y)}划分成 个互不重叠的尺寸大小为hj×hj的子块，其中，1≤j≤J，2≤J≤5，符号 为向下取整符号；
[0016] ②-2、将{IR(x,y)}在第j个尺度hj下当前待处理的第l个子块定义为当前第一子块，其中，
[0017] ②-3、将当前第一子块记为{fj,l(x2,y2)}，其中，(x2,y2)表示当前第一子块{fj,l(x2,y2)}中的像素点的坐标位置，1≤x2≤hj,1≤y2≤hj，fj,l(x2,y2)表示当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的像素值；
[0018] ②-4、获取当前第一子块{fj,l(x2,y2)}中的每个像素点的水平梯度值和垂直梯度值，获取当前第一子块{fj,l(x2,y2)}中的每个像素点从RGB颜色空间转换到CIELAB颜色空间后亮度分量L的颜色值、色度分量a的颜色值及色度分量b的颜色值，获取当前第一子块{fj,l(x2,y2)}中的每个像素点的红-绿颜色分量及蓝-黄颜色分量，获取当前第一子块{fj,l(x2,y2)}中的每个像素点经Log-Gabor滤波后得到的振幅；
[0019] ②-5、根据步骤②-4获取的当前第一子块{fj,l(x2,y2)}中的每个像素点的多个图像感知特征，以及当前第一子块{fj,l(x2,y2)}中的每个像素点的坐标位置，获取当前第一子块{fj,l(x2,y2)}中的每个像素点的特征矢量，将当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的特征矢量记为f f
，其中，符号“[]”为矢量表示符号， 的维数为10，GX(x2,y2)和GY(x2,y2)对应为当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的水平梯度值和垂直梯度值，L(x2,y2)、a(x2,y2)及b(x2,y2)对应为当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点从RGB颜色空间转换到CIELAB颜色空间后亮度分量L的颜色值、色度分量a的颜色值及色度分量b的颜色值，ΔRG(x2,y2)和ΔBY(x2,y2)对应为当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的红-绿颜色分量和蓝-黄颜色分量，LG(x2,y2)为当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点经Log-Gabor滤波后得到的振幅；
[0020] ②-6、根据当前第一子块 {fj,l(x2,y2)} 中的每个像素点的特征矢量，计算当前第一子块{fj,l(x2,y2)}的协方差矩阵，记为
其 中， 表示当前第一
子块{fj,l(x2,y2)}中的所有像素点的特征矢量的均值矢量， 为
的转置矢量， 的维数为10×10；
[0021] ②-7、对当前第一子块{fj,l(x2,y2)}的协方差矩阵 进行Cholesky分解， 得到当前第一子块 {fj,l(x2,y2)}的 Sigma特 征集，记 为T
其中，L
(1) (i′)
为L的转置矩阵，此处1≤i′≤10，L 表示L的第1列向量，L 表示L的第i′列向(10)
量，L 表示L的第10列向量， 的维数为10×21；
[0022] ②-8、计算当前第一子块{fj,l(x2,y2)}的 显著值，记为其中， N(l)表示以当前第一子块
{fj,l(x2,y2)}为中心的邻域窗口， 表示当前第一子块{fj,l(x2,y2)}的Sigma特征集 与相邻的第l′个子块的Sigma特征集 之间的欧式距离， 符号“|| ||”为
求欧式距离符号，此处xl表示当前第一子块{fj,l(x2,y2)}的中心像素点的坐标位置，此处xl′表示与当前第一子块{fj,l(x2,y2)}相邻的第l′个子块的中心像素点的坐标位置，表示N(l)内的所有子块的Sigma特征集与当前第一子块{fj,l(x2,y2)}的Sigma特征集之间的欧氏距离中的最小值， h为控制系数；
[0023] ②-9、根据人眼的中心偏移特性，计算当前第一子块{fj,l(x2,y2)}的最终的显著值，记为 其中，符号“|| ||”为求欧式距离符号，xc表示{IR(x,y)}的中心像素点的坐标位置，Z为控制系数；
[0024] ②-10、将当前第一子块{fj,l(x2,y2)}的最终的显著值 作为当前第一子块{fj,l(x2,y2)}中的所有像素点的显著值，然后令l=l+1，将{IR(x,y)}在第j个尺度hj下下一个待处理的子块作为当前第一子块，再返回步骤②-3继续执行，直至{IR(x,y)}在第j个尺度hj下的所有子块均处理完毕，得到在第j个尺度hj下{IR(x,y)}的图像显著图，记为其中，l=l+1中的“=”为赋值符号， 表示 中坐标位置为(x,y)的像素点的像素值；
[0025] ②-11、令j=j+1，然后返回步骤②-2继续执行，直至得到{IR(x,y)}在J个不同尺度下的图像显著图，再将{IR(x,y)}在J个不同尺度下的图像显著图进行融合，得到{IR(x,y)}的最终的图像显著图，记为{SMimg(x,y)}，将{SMimg(x,y)}中坐标位置为(x,y)的像素点的像素值记为SMimg(x,y)， 其中，j=j+1中“=”为赋值符号，“*”为卷积操作符号，Gσ(x,y)表示标准差为σ的高斯函数。
[0026] 所述的步骤②-1中取J=4，j=1时取h1=8，j=2时取h2=16，j=3时取h3=32，j=4时取h4=64；所述的步骤②-8中取N(l)的大小为7×7，取h=0.5；所述的步骤②-9中取所述的步骤②-11中取σ=0.02×H。
[0027] 所述的步骤③的具体过程为：
[0028] ③-1、采用J个不同尺度对{dR(x,y)}进行分块处理，在第j个尺度hj下将{dR(x,y)}划分成 个互不重叠的尺寸大小为hj×hj的子块，其中，1≤j≤J，2≤J≤5，符号 为向下取整符号；
[0029] ③-2、将{dR(x,y)}在第j个尺度hj下当前待处理的第l个子块定义为当前第二子块，其中，
[0030] ③-3、将当前第二子块记为{gj,l(x2,y2)}，其中，(x2,y2)表示当前第二子块{gj,l(x2,y2)}中的像素点的坐标位置，1≤x2≤hj,1≤y2≤hj，gj,l(x2,y2)表示当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的像素值；
[0031] ③-4、获取当前第二子块{gj,l(x2,y2)}中的每个像素点的像素值、水平梯度值和垂直梯度值，获取当前第二子块{gj,l(x2,y2)}中的每个像素点经高斯差分算子后得到的响应值；
[0032] ③-5、根据步骤③-4获取的当前第二子块{gj,l(x2,y2)}中的每个像素点的多个深度感知特征，获取当前第二子块{gj,l(x2,y2)}中的每个像素点的特征矢量，将当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的特征矢量记为其中，符号“[]”为矢量表示
符号， 的维数为4，dR(x2,y2)为当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)g g
的像素点的像素值，GX(x2,y2)和GY(x2,y2)对应为当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的水平梯度值和垂直梯度值，DoG(x2,y2)为当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)的像素点经高斯差分算子后得到的响应值；
[0033] ③-6、根据当前第二子块 {gj,l(x2,y2)} 中的每个像素点的特征矢量，计算当前第二子块{gj,l(x2,y2)}的协方差矩阵，记为
其 中， 表 示 当前 第
二子块{gj,l(x2,y2)}中的所有像素点的特征矢量的均值矢量， 为
的转置矢量， 的维数为4×4；
[0034] ③-7、对当前第二子块{gj,l(x2,y2)}的协方差矩阵 进行Cholesky分解，得到当前第二子块{gj,l(x2,y2)}的Sigma特征集，记为其中，L′T为L′的转置矩阵，此处1≤i′≤4，L′ (1)表示L′的第1列向量，L′ (i′)表示L′的第i′列向量，L′(4)表示L′的第4列向量， 的维数为4×9；
[0035] ③-8、计算当前第二子块{gj,l(x2,y2)} 的显著值，记为其中， N′(l)表示以当前第二子块
{gj,l(x2,y2)}为中心的邻域窗口， 表示当前第二子块{gj,l(x2,y2)}的Sigma特征集 与相邻的第l′个子块的Sigma特征集 之间的欧式距离， 符号“|| ||”为
求欧式距离符号，此处xl表示当前第二子块{gj,l(x2,y2)}的中心像素点的坐标位置，此处xl′表示与当前第二子块{gj,l(x2,y2)}相邻的第l′个子块的中心像素点的坐标位置，表示N′(l)内的所有子块的Sigma特征集与当前第二子块{gj,l(x2,y2)}的Sigma特征集之间的欧氏距离中的最小值， h为控制系数；
[0036] ③-9、将当前第二子块{gj,l(x2,y2)}的显著值 作为当前第二子块{gj,l(x2,y2)}中的所有像素点的显著值，然后令l=l+1，将{dR(x,y)}在第j个尺度hj下下一个待处理的子块作为当前第二子块，再返回步骤③-3继续执行，直至{dR(x,y)}在第j个尺度hj下的所有子块均处理完毕，得到在第j个尺度hj下{dR(x,y)}的深度显著图，记为其中，l=l+1中的“=”为赋值符号， 表示 中坐标位置为(x,y)的像素点的像素值；
[0037] ③-10、令j=j+1，然后返回步骤③-2继续执行，直至得到{dR(x,y)}在J个不同尺度下的深度显著图，再将{dR(x,y)}在J个不同尺度下的深度显著图进行融合，得到{dR(x,y)}的最终的深度显著图，记为{SMdep(x,y)}，将{SMdep(x,y)}中坐标位置为(x,y)的像素点的像素值记为SMdep(x,y)， 其中，j=j+1中“=”为赋值符号，“*”为卷积操作符号，Gσ(x,y)表示标准差为σ的高斯函数。
[0038] 所述的步骤③-1中取J=4，j=1时取h1=8，j=2时取h2=16，j=3时取h3=32，j=4时取h4=64；所述的步骤③-8中取N′(l)的大小为3×3，取h=0.5；所述的步骤③-10中取σ=0.02×H。
[0039] 所述的步骤④中取
[0040] 所述的步骤⑤的具体过程为：
[0041] ⑤-1、根据{dR(x,y)}和{SM3D(x,y)}，计算{dR(x,y)}中立体显著图加权的视差幅值，记为ξ1， 其中，符号“|| ||”为取绝对值符号；
[0042] ⑤-2、根据{dR(x,y)}和{SM3D(x,y)}，计算{dR(x,y)}中立体显著图加权的视差梯度，记为ξ2， ΔdR(x,y)=(dR(x+1,y)+dR(x-1,y)+dR(x,y+1)+dR(x,y-1))/4-dR(x,y)，其中，符号“|| ||”为取绝对值符号，dR(x+1,y)表示{dR(x,y)}中坐标位置为(x+1,y)的像素点的像素值，dR(x-1,y)表示{dR(x,y)}中坐标位置为(x-1,y)的像素点的像素值，dR(x,y+1)表示{dR(x,y)}中坐标位置为(x,y+1)的像素点的像素值，dR(x,y-1)表示{dR(x,y)}中坐标位置为(x,y-1)的像素点的像素值，如果x+1>W，则dR(x+1,y)的值由dR(W,y)的值替代，如果x-1<1，则dR(x-1,y)的值由dR(1,y)的值替代，如果y+1>H，则dR(x,y+1)的值由dR(x,H)的值替代，如果y-1<1，则dR(x,y-1)的值由dR(x,1)的值替代；
[0043] ⑤ -3、 根 据 {IR(x,y)} 和 {SM3D(x,y)}， 计 算 {IR(x,y)} 中 立 体 显著图加权的空间频率，记为 ξ3，其中，IR(x-1,y)表示{IR(x,y)}
中坐标位置为(x-1,y)的像素点的像素值，IR(x,y-1)表示{IR(x,y)}中坐标位置为(x,y-1)的像素点的像素值，如果x-1<1，则IR(x-1,y)的值由IR(1,y)的值替代，如果y-1<1，则IR(x,y-1)的值由IR(x,1)的值替代；
[0044] ⑤-4、将ξ1、ξ2和ξ3按顺序进行排列构成待评价的立体图像的用于反映视觉舒适度的特征矢量，记为X，X=[ξ1,ξ2,ξ3]，其中，此处符号“[]”为矢量表示符号，X的维数为3。
[0045] 所述的步骤⑦的具体过程为：
[0046] ⑦-1、随机选择立体图像集合中的 幅立体图像构成训练集，将立体图像集合中剩余的K′=n-t幅立体图像构成测试集，其中，符号 为向上取整符号；
[0047] ⑦-2、将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，记为Ωt，{Xk,MOSk}∈Ωt，其中，Xk表示训练样本数据集合Ωt中的第k幅立体图像的特征矢量，MOSk表示训练样本数据集合Ωt中的第k幅立体图像的平均主观评分均值，1≤k≤t；
[0048] ⑦-3、构造训练样本数据集合Ωt中的每幅立体图像的特征矢量的回归函数，将Xk的回归函数记为f(Xk)， 其中，f()为函数表示形式，w为权重矢量，wT为w的转置矢量，b为偏置项， 表示Xk的线性函数， D(Xk,Xl′)
为支持向量回归中的核函数， Xl′为训练样本数据集合Ωt
中的第l′幅立体图像的特征矢量，1≤l′≤t，γ为核参数，exp()表示以e为底的指数函数，e=2.71828183，符号“|| ||”为求欧式距离符号；
[0049] ⑦-4、采用支持向量回归作为机器学习的方法，对训练样本数据集合Ωt中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值opt opt之间的误差最小，拟合得到最优的权重矢量w 和最优的偏置项b ，将最优的权重矢量wopt和最优的偏置项bopt的组合记为(wopt,bopt)，
opt opt
利用得到的最优的权重矢量w 和最优的偏置项b 构造支持向量回归训练模型，记为其中，Ψ表示对训练样本数据集合Ωt中的所有立体图像的
特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，
表示使得 最小的w和b的值，Xinp表示支持向量回归训练模型的输入矢
opt T opt
量，(w )为w 的转置矢量， 表示支持向量回归训练模型的输入矢量Xinp的线性函数；
[0050] ⑦-5、将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Qk′，Qk′=f(Xk′)， 其中，1≤k′≤K′，Xk′表示测试样本数据集合中的第k′幅立体图像的特征矢量， 表示Xk′的线性函数；
[0051] ⑦-6、再重新随机选择立体图像集合中的 幅立体图像构成训练集，将立体图像集合中剩余的K′=n-t幅立体图像构成测试集，然后返回步骤⑦-2继续执行，在经过N次迭代后，计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值，再将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值，其中，N的值取大于100。
[0052] 所述的步骤⑦-3中取γ=54。
[0053] 与现有技术相比，本发明的优点在于：
[0054] 1）本发明方法考虑到视觉重要区域对视觉舒适度的影响，因此通过提取右视点图像的图像显著图和右视差图像的深度显著图得到右视点图像的立体显著图，然后根据立体显著图加权提取出反映视觉舒适度的特征矢量，从而有效地提高了客观评价结果与主观感知的相关性。
[0055] 2）本发明方法根据用于反映立体图像的右视差图像的视差幅值、视差梯度和用于反映立体图像的右视点图像的空间频率，得到立体图像的特征矢量，然后利用支持向量回归对立体图像集合中的所有立体图像的特征矢量进行训练，计算得到立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值，由于获得的立体图像的特征矢量信息具有较强的稳定性且能够较好地反映立体图像的视觉舒适度变化情况，因此有效地提高了客观评价结果与主观感知的相关性。
附图说明
[0056] 图1为本发明方法的总体实现框图；
[0057] 图2a为“purse”的右视点图像；
[0058] 图2b为“purse”的右视差图像；
[0059] 图2c为“purse”的右视点图像的图像显著图；
[0060] 图2d为“purse”的右视差图像的深度显著图；
[0061] 图2e为“purse”的右视点图像的立体显著图；
[0062] 图3a为“redcup”的右视点图像；
[0063] 图3b为“redcup”的右视差图像；
[0064] 图3c为“redcup”的右视点图像的图像显著图；
[0065] 图3d为“redcup”的右视差图像的深度显著图；
[0066] 图3e为“redcup”的右视点图像的立体显著图；
[0067] 图4a为“desktop”的右视点图像；
[0068] 图4b为“desktop”的右视差图像；
[0069] 图4c为“desktop”的右视点图像的图像显著图；
[0070] 图4d为“desktop”的右视差图像的深度显著图；
[0071] 图4e为“desktop”的右视点图像的立体显著图；
[0072] 图5为采用视差幅度和视差梯度两个特征得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图；
[0073] 图6为采用视差幅度和空间频率两个特征得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图；
[0074] 图7为采用视差梯度和空间频率两个特征得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图；
[0075] 图8为采用视差幅度、视差梯度和空间频率三个特征得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图。
具体实施方式
[0076] 以下结合附图实施例对本发明作进一步详细描述。
[0077] 本发明提出的一种立体图像视觉舒适度评价方法，其总体实现框图如图1所示，其包括以下步骤：
[0078] ①将待评价的立体图像的左视点图像记为{IL(x,y)}，将待评价的立体图像的右视点图像记为{IR(x,y)}，将待评价的立体图像的右视差图像记为{dR(x,y)}，其中，此处(x,y)表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的宽度，H表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的高度，IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值，IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值，dR(x,y)表示{dR(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0079] ②采用多个不同尺度对{IR(x,y)}进行分块处理，然后获取{IR(x,y)}在不同尺度下的每个子块的特征矢量，接着根据{IR(x,y)}在不同尺度下的每个子块的特征矢量，获取{IR(x,y)}在不同尺度下的每个子块的显著值，进而获得{IR(x,y)}在不同尺度下的图像显著图，最后将{IR(x,y)}在不同尺度下的图像显著图进行融合，得到{IR(x,y)}的最终的图像显著图，记为{SMimg(x,y)}，其中，SMimg(x,y)表示{SMimg(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0080] 在此具体实施例中，步骤②的具体过程为：
[0081] ②-1、采用J个不同尺度对{IR(x,y)}进行分块处理，在第j个尺度hj下将{IR(x,y)}划分成 个互不重叠的尺寸大小为hj×hj的子块，其中，1≤j≤J，2≤J≤5，符号 为向下取整符号。在此，取J=4，j=1时取h1=8，j=2时取h2=16，j=3时取h3=32，j=4时取h4=64。
[0082] ②-2、将{IR(x,y)}在第j个尺度hj下当前待处理的第l个子块定义为当前第一子块，其中，
[0083] ②-3、将当前第一子块记为{fj,l(x2,y2)}，其中，(x2,y2)表示当前第一子块{fj,l(x2,y2)}中的像素点的坐标位置，1≤x2≤hj,1≤y2≤hj，fj,l(x2,y2)表示当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的像素值。
[0084] ②-4、获取当前第一子块{fj,l(x2,y2)}中的每个像素点的水平梯度值和垂直梯度值，获取当前第一子块{fj,l(x2,y2)}中的每个像素点从RGB颜色空间转换到CIELAB颜色空间后亮度分量L的颜色值、色度分量a的颜色值及色度分量b的颜色值，获取当前第一子块{fj,l(x2,y2)}中的每个像素点的红-绿颜色分量及蓝-黄颜色分量，获取当前第一子块{fj,l(x2,y2)}中的每个像素点经Log-Gabor滤波后得到的振幅。
[0085] ②-5、根据步骤②-4获取的当前第一子块{fj,l(x2,y2)}中的每个像素点的多个图像感知特征，以及当前第一子块{fj,l(x2,y2)}中的每个像素点的坐标位置，获取当前第一子块{fj,l(x2,y2)}中的每个像素点的特征矢量，将当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的特征矢量记为f f
，其中，符号“[]”为矢量表示符号， 的维数为10，GX(x2,y2)和GY(x2,y2)对应为当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的水平梯度值和垂直梯度值，L(x2,y2)、a(x2,y2)及b(x2,y2)对应为当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点从RGB颜色空间转换到CIELAB颜色空间后亮度分量L的颜色值、色度分量a的颜色值及色度分量b的颜色值，ΔRG(x2,y2)和ΔBY(x2,y2)对应为当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的红-绿颜色分量和蓝-黄颜色分量，LG(x2,y2)为当前第一子块{fj,l(x2,y2)}中坐标位置为(x2,y2)的像素点经Log-Gabor滤波后得到的振幅。
[0086] ②-6、根据当前第一子块 {fj,l(x2,y2)} 中的每个像素点的特征矢量，计算当前第一子块{fj,l(x2,y2)}的协方差矩阵，记为
其 中， 表示当前第一
子块{fj,l(x2,y2)}中的所有像素点的特征矢量的均值矢量， 为
的转置矢量， 的维数为10×10。
[0087] ②-7、对当前第一子块{fj,l(x2,y2)}的协方差矩阵 进行Cholesky分解，得到当前第一子块{fj,l(x2,y2)}的Sigma特征集（Sigma set），记为T
其中，L
(1) (i′)
为L的转置矩阵，此处1≤i′≤10，L 表示L的第1列向量，L 表示L的第i′列向量，L(10)表示L的第10列向量， 的维数为10×21。
[0088] ②-8、计算当前第一子块{fj,l(x2,y2)}的 显著值，记为其中， N(l)表示以当前第一子块
{fj,l(x2,y2)}为中心的邻域窗口，在此取N(l)的大小为7×7， 表示当前第一子块{fj,l(x2,y2)}的Sigma特征集 与相邻的第l′个子块的Sigma特征集 之间的欧式距离， 符号“|| ||”为求欧式距离符号，此处xl表示当前第一子块
{fj,l(x2,y2)}的中心像素点的坐标位置，此处xl′表示与当前第一子块{fj,l(x2,y2)}相邻的第l′个子块的中心像素点的坐标位置， 表示N(l)内的所有子块的Sigma特征集与当前第一子块{fj,l(x2,y2)}的Sigma特征集 之间的欧氏距离中的最小值，h为控制系数，在此取h=0.5。
[0089] ②-9、根据人眼的中心偏移（center-bias）特性，计算当前第一子块{fj,l(x2,y2)}的最终的显著值，记为 其中，符号“|| ||”为求欧式距离符号，xc表示{IR(x,y)}的中心像素点的坐标位置，Z为控制系数，在此取[0090] ②-10、将当前第一子块{fj,l(x2,y2)}的最终的显著值 作为当前第一子块{fj,l(x2,y2)}中的所有像素点的显著值，然后令l=l+1，将{IR(x,y)}在第j个尺度hj下下一个待处理的子块作为当前第一子块，再返回步骤②-3继续执行，直至{IR(x,y)}在第j个尺度hj下的所有子块均处理完毕，得到在第j个尺度hj下{IR(x,y)}的图像显著图，记为其中，l=l+1中的“=”为赋值符号， 表示 中坐标位置为
(x,y)的像素点的像素值。
[0091] ②-11、令j=j+1，然后返回步骤②-2继续执行，直至得到{IR(x,y)}在J个不同尺度下的图像显著图，再将{IR(x,y)}在J个不同尺度下的图像显著图进行融合，得到{IR(x,y)}的最终的图像显著图，记为{SMimg(x,y)}，将{SMimg(x,y)}中坐标位置为(x,y)的像素点的像素值记为SMimg(x,y)， 其中，j=j+1中“=”为赋值符号，“*”为卷积操作符号，Gσ(x,y)表示标准差为σ的高斯函数，在此取σ=0.02×H。
[0092] ③采用多个不同尺度对{dR(x,y)}进行分块处理，然后获取{dR(x,y)}在不同尺度下的每个子块的特征矢量，接着根据{dR(x,y)}在不同尺度下的每个子块的特征矢量，获取{dR(x,y)}在不同尺度下的每个子块的显著值，进而获得{dR(x,y)}在不同尺度下的深度显著图，最后将{dR(x,y)}在不同尺度下的深度显著图进行融合，得到{dR(x,y)}的最终的深度显著图，记为{SMdep(x,y)}，其中，SMdep(x,y)表示{SMdep(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0093] 在此具体实施例中，步骤③的具体过程为：
[0094] ③-1、采用J个不同尺度对{dR(x,y)}进行分块处理，在第j个尺度hj下将{dR(x,y)}划分成 个互不重叠的尺寸大小为hj×hj的子块，其中，1≤j≤J，2≤J≤5，符号 为向下取整符号。在此，取J=4，j=1时取h1=8，j=2时取h2=16，j=3时取h3=32，j=4时取h4=64。
[0095] ③-2、将{dR(x,y)}在第j个尺度hj下当前待处理的第l个子块定义为当前第二子块，其中，
[0096] ③-3、将当前第二子块记为{gj,l(x2,y2)}，其中，(x2,y2)表示当前第二子块{gj,l(x2,y2)}中的像素点的坐标位置，1≤x2≤hj,1≤y2≤hj，gj,l(x2,y2)表示当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的像素值。
[0097] ③-4、获取当前第二子块{gj,l(x2,y2)}中的每个像素点的像素值、水平梯度值和垂直梯度值，获取当前第二子块{gj,l(x2,y2)}中的每个像素点经高斯差分（DoG，Difference of Gaussian）算子后得到的响应值。
[0098] ③-5、根据步骤③-4获取的当前第二子块{gj,l(x2,y2)}中的每个像素点的多个深度感知特征，获取当前第二子块{gj,l(x2,y2)}中的每个像素点的特征矢量，将当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的特征矢量记为其中，符号“[]”为矢量表示
符号， 的维数为4，dR(x2,y2)为当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的像素值，GXg(x2,y2)和GYg(x2,y2)对应为当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)的像素点的水平梯度值和垂直梯度值，DoG(x2,y2)为当前第二子块{gj,l(x2,y2)}中坐标位置为(x2,y2)的像素点经高斯差分算子后得到的响应值。
[0099] ③-6、根据当前第二子块 {gj,l(x2,y2)} 中的每个像素点的特征矢量，计算当前第二子块{gj,l(x2,y2)}的协方差矩阵，记为
其中， 表示当前第二
子块{gj,l(x2,y2)}中的所有像素点的特征矢量的均值矢量， 为
的转置矢量， 的维数为4×4。
[0100] ③-7、对当前第二子块{gj,l(x2,y2)}的协方差矩阵 进行Cholesky分解，得到当前第二子块{gj,l(x2,y2)}的Sigma特征集，记为T (1) (i′)
其中，L′ 为L′的转置矩阵，此处1≤i′≤4，L′ 表示L′的第1列向量，L′ 表(4)
示L′的第i′列向量，L′ 表示L′的第4列向量， 的维数为4×9。
[0101] ③-8、计算当前第二子块{gj,l(x2,y2)} 的显著值，记为其中， N′(l)表示以当前第二子块
{gj,l(x2,y2)}为中心的邻域窗口，在此取N′(l)的大小为3×3， 表示当前第二子块{gj,l(x2,y2)}的Sigma特征集 与相邻的第l′个子块的Sigma特征集 之间的欧式距离， 符号“|| ||”为求欧式距离符号，此处xl表示当前第二子块
{gj,l(x2,y2)}的中心像素点的坐标位置，此处xl′表示与当前第二子块{gj,l(x2,y2)}相邻的第l′个子块的中心像素点的坐标位置， 表示N′(l)内的所有子块的Sigma特征集与当前第二子块{gj,l(x2,y2)}的Sigma特征集 之间的欧氏距离中的最小值，h为控制系数，在此取h=0.5。
[0102] ③-9、将当前第二子块{gj,l(x2,y2)}的显著值 作为当前第二子块{gj,l(x2,y2)}中的所有像素点的显著值，然后令l=l+1，将{dR(x,y)}在第j个尺度hj下下一个待处理的子块作为当前第二子块，再返回步骤③-3继续执行，直至{dR(x,y)}在第j个尺度hj下的所有子块均处理完毕，得到在第j个尺度hj下{dR(x,y)}的深度显著图，记为其中，l=l+1中的“=”为赋值符号， 表示 中坐标位置为(x,y)的像素点的像素值。
[0103] ③-10、令j=j+1，然后返回步骤③-2继续执行，直至得到{dR(x,y)}在J个不同尺度下的深度显著图，再将{dR(x,y)}在J个不同尺度下的深度显著图进行融合，得到{dR(x,y)}的最终的深度显著图，记为{SMdep(x,y)}，将{SMdep(x,y)}中坐标位置为(x,y)的像素点的像素值记为SMdep(x,y)， 其中，j=j+1中“=”为赋值符号，“*”为卷积操作符号，Gσ(x,y)表示标准差为σ的高斯函数，在此取σ=0.02×H。
[0104] ④根据{IR(x,y)}的图像显著图{SMimg(x,y)}和{dR(x,y)}的深度显著图{SMdep(x,y)}，获取{IR(x,y)}的立体显著图，记为{SM3D(x,y)}，将{SM3D(x,y)}中坐标位置为(x,y)的像素点的像素值记为SM3D(x,y)，其中， 表示SMimg(x,y)的权重， 表示SMdep(x,y)的权重， 在此取
[0105] 在此，截取三组典型的立体图像来说明本发明方法中获取的待评价的立体图像的右视点图像的立体显著图的性能。图2a和图2b分别给出了“purse”的右视点图像和右视差图像，图2c给出了“purse”的右视点图像的图像显著图，图2d给出了“purse”的右视差图像的深度显著图，图2e给出了“purse”的右视点图像的立体显著图；图3a和图3b分别给出了“redcup”的右视点图像和右视差图像，图3c给出了“redcup”的右视点图像的图像显著图，图3d给出了“redcup”的右视差图像的深度显著图，图3e给出了“redcup”的右视点图像的立体显著图；图4a和图4b分别给出了“desktop”的右视点图像和右视差图像，图4c给出了“desktop”的右视点图像的图像显著图，图4d给出了“desktop”的右视差图像的深度显著图，图4e给出了“desktop”的右视点图像的立体显著图。从图2e、图3e和图4e中可以看出，采用本发明方法得到的立体显著图，能够很好地反映人眼视觉舒适程度。
[0106] ⑤根据{dR(x,y)}和{SM3D(x,y)}，计算{dR(x,y)}中立体显著图加权的视差幅值和视差梯度，对应记为ξ1和ξ2；并根据{IR(x,y)}和{SM3D(x,y)}，计算{IR(x,y)}中立体显著图加权的空间频率，记为ξ3；然后将ξ1、ξ2和ξ3按顺序进行排列构成待评价的立体图像的用于反映视觉舒适度的特征矢量，记为X，X=[ξ1,ξ2,ξ3]，其中，此处符号“[]”为矢量表示符号。
[0107] 在此具体实施例中，步骤⑤的具体过程为：
[0108] ⑤-1、根据{dR(x,y)}和{SM3D(x,y)}，计算{dR(x,y)}中立体显著图加权的视差幅值，记为ξ1， 其中，符号“|| ||”为取绝对值符号。
[0109] ⑤-2、根据{dR(x,y)}和{SM3D(x,y)}，计算{dR(x,y)}中立体显著图加权的视差梯度，记为ξ2， ΔdR(x,y)=(dR(x+1,y)+dR(x-1,y)+dR(x,y+1)+dR(x,y-1))/4-dR(x,y)，其中，符号“|| ||”为取绝对值符号，dR(x+1,y)表示{dR(x,y)}中坐标位置为(x+1,y)的像素点的像素值，dR(x-1,y)表示{dR(x,y)}中坐标位置为(x-1,y)的像素点的像素值，dR(x,y+1)表示{dR(x,y)}中坐标位置为(x,y+1)的像素点的像素值，dR(x,y-1)表示{dR(x,y)}中坐标位置为(x,y-1)的像素点的像素值，如果x+1>W，则dR(x+1,y)的值由dR(W,y)的值替代，如果x-1<1，则dR(x-1,y)的值由dR(1,y)的值替代，如果y+1>H，则dR(x,y+1)的值由dR(x,H)的值替代，如果y-1<1，则dR(x,y-1)的值由dR(x,1)的值替代。
[0110] ⑤ -3、 根 据 {IR(x,y)} 和 {SM3D(x,y)}， 计 算 {IR(x,y)} 中 立 体 显著图加权的空间频率，记为 ξ3，其中，IR(x-1,y)表示{IR(x,y)}
中坐标位置为(x-1,y)的像素点的像素值，IR(x,y-1)表示{IR(x,y)}中坐标位置为(x,y-1)的像素点的像素值，如果x-1<1，则IR(x-1,y)的值由IR(1,y)的值替代，如果y-1<1，则IR(x,y-1)的值由IR(x,1)的值替代。
[0111] ⑤-4、将ξ1、ξ2和ξ3按顺序进行排列构成待评价的立体图像的用于反映视觉舒适度的特征矢量，记为X，X=[ξ1,ξ2,ξ3]，其中，此处符号“[]”为矢量表示符号，X的维数为3。
[0112] ⑥采用n副各不相同的立体图像以及每幅立体图像对应的右视差图像建立一个立体图像集合，其中，n≥1；然后利用主观质量评价方法分别获取立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值，将立体图像集合中的第i幅立体图像的视觉舒适度的平均主观评分均值记为MOSi，其中，1≤i≤n，MOSi∈[1,5]；再按照步骤①至步骤⑤获取待评价的立体图像的特征矢量X的操作，以相同的方式分别获取立体图像集合中的每幅立体图像的特征矢量，将立体图像集合中的第i幅立体图像的特征矢量记为Xi。
[0113] 在本实施例中，采用韩国科学技术院图像和视频系统实验室提供的立体图像数据库作为立体图像集合，该立体图像数据库包含120幅立体图像以及对应的右视差图像，该立体图像数据库包含了各种场景深度的室内和室外图像，并给出了每副立体图像的视觉舒适度的平均主观评分均值。
[0114] ⑦将立体图像集合中的所有立体图像分成训练集和测试集，将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，训练得到最优的权重opt opt opt opt矢量w 和最优的偏置项b ，接着利用w 和b 构造得到支持向量回归训练模型，再根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k′幅立体图像的客观视觉舒适度评价预测值记为Qk′，Qk′=f(Xk′)，其中，1≤k′≤K′，K′表示测试样本数据集合中包含的立体
图像的幅数，f()为函数表示形式，Xk′表示测试样本数据集合中的第k′幅立体图像的特征opt T opt
矢量，(w )为w 的转置矢量， 表示Xk′的线性函数；
[0115] 之后通过重新分配训练集和测试集，重新预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，经过N次迭代后计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值，并将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值，其中，N的值取大于100。
[0116] 在此具体实施例中，步骤⑦的具体过程为：
[0117] ⑦-1、随机选择立体图像集合中的 幅立体图像构成训练集，将立体图像集合中剩余的K′=n-t幅立体图像构成测试集，其中，符号 为向上取整符号。
[0118] ⑦-2、将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合，记为Ωt，{Xk,MOSk}∈Ωt，其中，Xk表示训练样本数据集合Ωt中的第k幅立体图像的特征矢量，MOSk表示训练样本数据集合Ωt中的第k幅立体图像的平均主观评分均值，1≤k≤t。
[0119] ⑦-3、构造训练样本数据集合Ωt中的每幅立体图像的特征矢量的回归函数，将XkT的回归函数记为f(Xk)， 其中，f()为函数表示形式，w为权重矢量，w
为w的转置矢量，b为偏置项， 表示Xk的线性函数， D(Xk,Xl′)
为支持向量回归中的核函数， Xl′为训练样本数据集合Ωt
中的第l′幅立体图像的特征矢量，1≤l′≤t，γ为核参数，在此取γ=54，exp()表示以e为底的指数函数，e=2.71828183，符号“|| ||”为求欧式距离符号。
[0120] ⑦-4、采用支持向量回归作为机器学习的方法，对训练样本数据集合Ωt中的所有立体图像的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分均值opt opt之间的误差最小，拟合得到最优的权重矢量w 和最优的偏置项b ，将最优的权重矢量opt opt opt opt
w 和最优的偏置项b 的组合记为(w ,b )，
opt opt
利用得到的最优的权重矢量w 和最优的偏置项b 构造支持向量回归训练模型，记为其中，Ψ表示对训练样本数据集合Ωt中的所有立体图像的特
征矢量进行训练的所有的权重矢量和偏置项的组合的集合， 表
示使得 最小的w和b的值，Xinp表示支持向量回归训练模型的输入矢量，
opt T opt
(w )为w 的转置矢量， 表示支持向量回归训练模型的输入矢量Xinp的线性函数。
[0121] ⑦-5、将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合，然后根据支持向量回归训练模型，对测试样本数据集合中的每幅立体图像的特征矢量进行测试，预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值，将测试样本数据集合中的第k′幅立体图像的客观视觉舒适度评价预测值记为Qk′，其中，1≤k′≤K′，Xk′表示测试样本数据集合中的第k′幅立体图像的特征矢量， 表示Xk′的线性函数。
[0122] ⑦-6、再重新随机选择立体图像集合中的 幅立体图像构成训练集，将立体图像集合中剩余的K′=n-t幅立体图像构成测试集，然后返回步骤⑦-2继续执行，在经过N次迭代后，计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值，再将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值，其中，N的值取大于100。
[0123] 在本实施例中，利用评估图像质量评价方法的4个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数（Pearson linear correlation coefficient，PLCC）、Spearman相关系数（Spearman rank order correlation coefficient，SROCC）、Kendall相关系数（Kendall rank-order correlation coefficient，KROCC)、均方误差（root mean squared error，RMSE），PLCC和RMSE反映客观评价预测值的准确性，SROCC和KROCC反映其单调性。将计算得到的120幅立体图像的客观视觉舒适度评价预测值做五参数Logistic函数非线性拟合，PLCC、SROCC和KROCC值越高、RMSE值越小说明本发明方法的评价结果与平均主观评分均值的相关性越好。表1给出了采用不同特征组合得到的客观视觉舒适度评价预测值与平均主观评分均值之间的相关性，从表1中可以看出，只采用两个特征组合得到的客观视觉舒适度评价预测值与平均主观评分均值之间的相关性均不是最优的，并且由视差幅度特征构成的特征对评价性能的影响比其他两个特征要大，这说明了本发明方法提取的视差幅度、视差梯度和空间频率特征是有效的，使得得到的客观视觉舒适度评价预测值与平均主观评分均值之间的相关性更强，这足以说明本发明方法是有效的。
[0124] 图5给出了采用视差幅度和视差梯度两个特征得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图，图6给出了采用视差幅度和空间频率两个特征得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图，图7给出了采用视差梯度和空间频率两个特征得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图，图8给出了采用视差幅度、视差梯度和空间频率三个特征得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图，散点图中的散点越集中，说明客观评价结果与主观感知的一致性越好。从图5至图8中可以看出，采用本发明方法得到的散点图中的散点比较集中，与主观评价数据之间的吻合度较高。
[0125] 表1 采用不同特征组合得到的客观视觉舒适度评价预测值与平均主观评分均值之间的相关性
[0126]特征矢量 X=[ξ1,ξ2] X=[ξ1,ξ3] X=[ξ2,ξ3] X=[ξ1,ξ2,ξ3]
PLCC 0.7478 0.7726 0.6472 0.7996
SROCC 0.7881 0.8101 0.6800 0.8192
KROCC 0.5849 0.6038 0.5016 0.6123
RMSE 0.5341 0.5109 0.6133 0.4732
