本发明公开了一种基于前景检测的双框架缩略图像质量评价方法，包括步骤：S1、对输入的原始图像和缩略图像进行图像配准，得到原始图像和缩略图像的像素对应关系；S2、对输入的原始图像进行前景检测，得到前景显著性图；S3、判断图像是否具有显著前景；S4、若图像有显著前景，则综合采用前景质量评价和全局质量评价来计算缩略图像的客观质量评分；S5、若图像没有显著前景，则仅采用全局质量评价来计算缩略图像的客观质量评分；S6、用已有数据训练得到的评分融合模型对步骤S4或S5中的各项指标进行融合得到最终的客观排名或评分。通过本发明方法能够取得更好的质量评价效果。
1.一种基于前景检测的双框架缩略图像质量评价方法，其特征在于，包括以下步骤：S1、对输入的原始图像和缩略图像进行图像配准，得到原始图像和缩略图像的像素对应关系；
S2、对输入的原始图像进行前景检测，得到前景显著性图；
S4、若图像有显著前景，则综合采用前景质量评价和全局质量评价来计算缩略图像的客观质量评分，具体为：S4.1、计算原始图像和缩略图像的前景物语义相似度，具体为：
S4.1.1、采用给定阈值对前景显著性图进行二值化，得到原始图像的前景物掩模；
S4.1.2、将原始图像的前景物掩模通过配准关系映射，得到缩略图像的前景物掩模；
S4.1.3、分别用各自的前景物掩模提取出原始图像和缩略图像中的前景物；
S4.1.4、在不改变前景物宽高比的情况下，对提取的前景物进行黑边填充和等比例缩放，得到适应神经网络输入尺寸的前景物图；
S4.1.5、将原始图像和缩略图像的前景物图分别输入到预训练好的神经网络中，并取神经网络的倒数第二层输出作为语义特征向量；
S4.1.6、计算原始图像和缩略图像的前景物图对应的语义特征向量之间的余弦相似度作为语义相似度；
S4.2、计算原始图像和缩略图像中前景物的尺寸变化；
S4.3、计算各区块的宽高比改变和内容损失，并用显著性图加权得到全局结构保真度；
S4.4、分别提取缩略图像和原始图像的轮廓集，计算全局轮廓保真度；
S5、若图像没有显著前景，则仅采用全局质量评价来计算缩略图像的客观质量评分，除换用更适合无显著前景的图像的显著性图外，其余计算同步骤S4.3和步骤S4.4；
S6、用已有数据训练得到的评分融合模型对步骤S4或S5中的各项指标进行融合得到最终的客观排名或评分。
2.根据权利要求1所述的一种基于前景检测的双框架缩略图像质量评价方法，其特征在于：在步骤S1中，图像配准采用SIFT-FLOW方法，不失一般性的，假定缩略图像是原始图像在单一维度上的缩略，因此，缩略图像中每个像素点在原始图像中都有像素点与之对应，反之则不然。
3.根据权利要求1所述的一种基于前景检测的双框架缩略图像质量评价方法，其特征在于：在步骤S2中，采用预训练好的PiCA-Net进行前景检测，将原始图像直接缩放至神经网络输入所需的尺寸，再将神经网络的输出直接缩放至原始图像的尺寸得到前景显著性图，前景显著性图中每个像素的像素值表示原始图像中该位置的像素属于前景物的置信度。
4.根据权利要求1所述的一种基于前景检测的双框架缩略图像质量评价方法，其特征在于：在步骤S3中，根据前景显著性图中显著性值非零的像素集的平均显著性值是否大于给定阈值来判断原始图像中是否包含显著前景。
5.根据权利要求1所述的一种基于前景检测的双框架缩略图像质量评价方法，其特征在于：在步骤S4.1.1中，首先找出前景显著性图中显著性值大于给定阈值的像素，然后令前景物掩模中相同位置的像素的像素值为1，其它位置的像素的像素值为0；
在步骤S4.1.2中，缩略图像的前景物掩模中每个像素的像素值等于原始图像的前景物掩模中的对应像素的像素值；
在步骤S4.1.3中，前景物提取是通过将图像与前景物掩模相乘得到的；
在步骤S4.1.4中，首先将前景物用最小矩形框裁剪出来，然后保持宽高比不变沿矩形框宽高中较长的维度上缩放至该维度尺寸为224，最后在矩形框的另一维度的两边填充相同大小的黑边至该维度尺寸为224；
在步骤S4.1.5中，采用的预训练好的神经网络是在Image-Net上预训练的用于图像分类任务的VGG-16神经网络，网络的倒数第二层输出是4096维的向量。
6.根据权利要求1所述的一种基于前景检测的双框架缩略图像质量评价方法，其特征在于：在步骤S4.2中，前景物的尺寸变化用步骤S4.1.2中缩略图像的前景物掩模中像素值为1的像素数和步骤S4.1.1中原始图像的前景物掩模中像素值为1的像素数的比值表示。
7.根据权利要求1所述的一种基于前景检测的双框架缩略图像质量评价方法，其特征在于：在步骤S4.3中，将原始图像均匀分割为若干大小相同的正方形块，对每一正方形快由配准关系得到缩略图象中的相应像素块，然后计算能够完全包含该像素块的最小矩形框的宽和高，最后分别计算该宽、高与原始图像中正方形块的边长的比值，分别记为rw和rh，每一正方形块的质量用 表示，其中C是一个正整数，α是控制宽高比改变和内容损失之间权重平衡的一个系数，最终的全局结构保真度由原始图像中各正方形块的显著性对sar的加权和表示。
8.根据权利要求1所述的一种基于前景检测的双框架缩略图像质量评价方法，其特征在于：在步骤S4.4中，首先分别检测原始图像和缩略图像的轮廓集，然后根据配准关系提取原始图像和缩略图像之间能够互相匹配的轮廓集，最后用这些轮廓集的倒角距离的平均值作为最终的全局轮廓保真度。
9.根据权利要求1所述的一种基于前景检测的双框架缩略图像质量评价方法，其特征在于：在步骤S5中，除全局结构保真度的计算采用的显著性图更换为GBVS外，其余部分计算方法不变。
10.根据权利要求1所述的一种基于前景检测的双框架缩略图像质量评价方法，其特征在于：在步骤S6中，评分融合模型是在RetargetMe或CUHK数据库上训练的，采用的训练工具分别为svm-rank和lib-svm，在RetargetMe数据库上训练的模型主要应用于对比同一张原始图像的多张不同算法产生的缩略图像的质量排名，而在CUHK数据库上训练的模型主要应用于给出接近于人为打分的质量评分。
一种基于前景检测的双框架缩略图像质量评价方法
技术领域
[0001] 本发明涉及深度学习、图像处理以及图像质量评价的技术领域，尤其是指一种基于前景检测的双框架缩略图像质量评价方法。
背景技术
[0002] 现有的缩略图像质量评价方法对于不同类型的图像采用相同的一套评价框架，而不同类型图像实际上适用不同的评价框架。因此，针对不同类型的图像设计不同的评价框架有助于提升缩略图像质量的客观评价与主观评价的一致性。
发明内容
[0003] 本发明的目的在于克服现有技术的缺点与不足，提出了一种基于前景检测的双框架缩略图像质量评价方法，以取得更好的质量评价效果。
[0004] 为实现上述目的，本发明所提供的技术方案为：一种基于前景检测的双框架缩略图像质量评价方法，包括以下步骤：
[0005] S1、对输入的原始图像和缩略图像进行图像配准，得到原始图像和缩略图像的像素对应关系；
[0006] S2、对输入的原始图像进行前景检测，得到前景显著性图；
[0007] S3、判断图像是否具有显著前景；
[0008] S4、若图像有显著前景，则综合采用前景质量评价和全局质量评价来计算缩略图像的客观质量评分，具体为：
[0009] S4.1、计算原始图像和缩略图像的前景物语义相似度，具体为：
[0010] S4.1.1、采用给定阈值对前景显著性图进行二值化，得到原始图像的前景物掩模；
[0011] S4.1.2、将原始图像的前景物掩模通过配准关系映射，得到缩略图像的前景物掩模；
[0012] S4.1.3、分别用各自的前景物掩模提取出原始图像和缩略图像中的前景物；
[0013] S4.1.4、在不改变前景物宽高比的情况下，对提取的前景物进行黑边填充和等比例缩放，得到适应神经网络输入尺寸的前景物图；
[0014] S4.1.5、将原始图像和缩略图像的前景物图分别输入到预训练好的神经网络中，并取神经网络的倒数第二层输出作为语义特征向量；
[0015] S4.1.6、计算原始图像和缩略图像的前景物图对应的语义特征向量之间的余弦相似度作为语义相似度；
[0016] S4.2、计算原始图像和缩略图像中前景物的尺寸变化；
[0017] S4.3、计算各区块的宽高比改变和内容损失，并用显著性图加权得到全局结构保真度；
[0018] S4.4、分别提取缩略图像和原始图像的轮廓集，计算全局轮廓保真度；
[0019] S5、若图像没有显著前景，则仅采用全局质量评价来计算缩略图像的客观质量评分，除换用更适合无显著前景的图像的显著性图外，其余计算同步骤S4.3和步骤S4.4；
[0020] S6、用已有数据训练得到的评分融合模型对步骤S4或S5中的各项指标进行融合得到最终的客观排名或评分。
[0021] 在步骤S1中，图像配准采用SIFT-FLOW方法，不失一般性的，假定缩略图像是原始图像在单一维度上的缩略，因此，缩略图像中每个像素点在原始图像中都有像素点与之对应，反之则不然。
[0022] 在步骤S2中，采用预训练好的PiCA-Net进行前景检测，将原始图像直接缩放至神经网络输入所需的尺寸，再将神经网络的输出直接缩放至原始图像的尺寸得到前景显著性图，前景显著性图中每个像素的像素值表示原始图像中该位置的像素属于前景物的置信度。
[0023] 在步骤S3中，根据前景显著性图中显著性值非零的像素集的平均显著性值是否大于给定阈值来判断原始图像中是否包含显著前景。
[0024] 在步骤S4.1.1中，首先找出前景显著性图中显著性值大于给定阈值的像素，然后令前景物掩模中相同位置的像素的像素值为1，其它位置的像素的像素值为0；
[0025] 在步骤S4.1.2中，缩略图像的前景物掩模中每个像素的像素值等于原始图像的前景物掩模中的对应像素的像素值；
[0026] 在步骤S4.1.3中，前景物提取是通过将图像与前景物掩模相乘得到的；
[0027] 在步骤S4.1.4中，首先将前景物用最小矩形框裁剪出来，然后保持宽高比不变沿矩形框宽高中较长的维度上缩放至该维度尺寸为224，最后在矩形框的另一维度的两边填充相同大小的黑边至该维度尺寸为224；
[0028] 在步骤S4.1.5中，采用的预训练好的神经网络是在Image-Net上预训练的用于图像分类任务的VGG-16神经网络，网络的倒数第二层输出是4096维的向量。
[0029] 在步骤S4.2中，前景物的尺寸变化用步骤S4.1.2中缩略图像的前景物掩模中像素值为1的像素数和步骤S4.1.1中原始图像的前景物掩模中像素值为1的像素数的比值表示。
[0030] 在步骤S4.3中，将原始图像均匀分割为若干大小相同的正方形块，对每一正方形快由配准关系得到缩略图象中的相应像素块，然后计算能够完全包含该像素块的最小矩形框的宽和高，最后分别计算该宽、高与原始图像中正方形块的边长的比值，分别记为rw和rh，每一正方形块的质量用 表示，其中C是一个正整数，α是控制宽高比改变和内容损失之间权重平衡的一个系数，最终的全局结构保真度由原始图像中各正方形块的显著性对sar的加权和表示。
[0031] 在步骤S4.4中，首先分别检测原始图像和缩略图像的轮廓集，然后根据配准关系提取原始图像和缩略图像之间能够互相匹配的轮廓集，最后用这些轮廓集的倒角距离的平均值作为最终的全局轮廓保真度。
[0032] 在步骤S5中，除全局结构保真度的计算采用的显著性图更换为GBVS外，其余部分计算方法不变。
[0033] 在步骤S6中，评分融合模型是在RetargetMe或CUHK数据库上训练的，采用的训练工具分别为svm-rank和lib-svm，在RetargetMe数据库上训练的模型主要应用于对比同一张原始图像的多张不同算法产生的缩略图像的质量排名，而在CUHK数据库上训练的模型主要应用于给出接近于人为打分的质量评分。
[0034] 本发明与现有技术相比，具有如下优点与有益效果：
[0035] 1、本发明针对有明显前景的情况设计了语义相似度和前景物尺寸变化作为衡量缩略图像质量的两个特征，同时根据图像是否包含显著前景选用合适的图像显著性检测算法以提升全局质量指标的有效性。
[0036] 2、本发明根据待评价图像中是否包含显著前景来选择采用的评价框架，显著提升了整体的缩略图象质量评价效果。
附图说明
[0037] 图1为本发明方法的整体流程图。
[0038] 图2为本发明的语义相似度指标计算过程中，在输入神经网络前对输入图像的尺寸适配流程图。
具体实施方式
[0039] 下面结合具体实施例对本发明作进一步说明。
[0040] 如图1和图2所示，本实施例所提供的基于前景检测的双框架缩略图像质量评价方法，包括以下步骤：
[0041] S1：对输入的原始图像和缩略图像进行图像配准得到原始图像和缩略图像的像素对应关系；其中，图像配准采用SIFT-FLOW方法，不失一般性的，我们假定缩略图像是原始图像在单一维度(宽或高)上的缩略，因此，缩略图像中每个像素点在原始图像中都有像素点与之对应，反之则不然。
[0042] S2：对输入的原始图像进行前景检测得到前景显著性图，我们采用预训练好的PiCA-Net进行前景检测。我们将原始图像直接缩放至神经网络输入所需的尺寸，再将神经网络的输出直接缩放至原始图像的尺寸得到前景显著性图。前景显著性图中每个像素的像素值表示原始图像中该位置的像素属于前景物的置信度。
[0043] S3：判断图像是否具有显著前景，我们根据前景显著性图中显著性值非零的像素集的平均显著性值是否大于给定阈值来判断原始图像中是否包含显著前景。
[0044] S4：若图像有显著前景，则综合采用前景质量评价和全局质量评价来计算缩略图像的客观质量评分，具体为：
[0045] S4.1：计算原始图像和缩略图像的前景物语义相似度，具体为：
[0046] S4.1.1：采用给定阈值对前景显著性图进行二值化得到原始图像的前景物掩模：首先找出前景显著性图中显著性值大于给定阈值的像素，然后令前景物掩模中相同位置的像素的像素值为1，其它位置的像素的像素值为0。
[0047] S4.1.2：将原始图像的前景物掩模通过配准关系映射得到缩略图像的前景物掩模，其中，缩略图像的前景物掩模中每个像素的像素值等于原始图像的前景物掩模中的对应像素的像素值。
[0048] S4.1.3：分别用各自的前景物掩模提取出原始图像和缩略图像中的前景物，其中，前景物提取是通过将图像与前景物掩模相乘得到的。
[0049] S4.1.4：在不改变前景物宽高比的情况下，对提取的前景物进行黑边填充和等比例缩放，得到适应神经网络输入尺寸的前景物图，具体是：首先，将前景物用最小矩形框裁剪出来，然后保持宽高比不变沿矩形框宽高中较长的维度上缩放至该维度尺寸为224，最后在矩形框的另一维度的两边填充相同大小的黑边至该维度尺寸为224。
[0050] S4.1.5：将原始图像和缩略图像的前景物图分别输入到预训练好的神经网络中，并取神经网络的倒数第二层输出作为语义特征向量；其中，我们采用的预训练好的神经网络是在Image-Net上预训练的用于图像分类任务的VGG-16神经网络，网络的倒数第二层输出是4096维的向量。
[0051] S4.1.6：计算原始图像和缩略图像的前景物图对应的语义特征向量之间的余弦相似度作为语义相似度。
[0052] S4.2：计算原始图像和缩略图像中前景物的尺寸变化，其中，前景物的尺寸变化用步骤S4.1.2中缩略图像的前景物掩模中像素值为1的像素数和步骤S4.1.1中原始图像的前景物掩模中像素值为1的像素数的比值表示。
[0053] S4.3：计算各区块的宽高比改变和内容损失，并用显著性图加权得到全局结构保真度，具体是：将原始图像均匀分割为若干大小相同的正方形块，对每一正方形快由配准关系得到缩略图象中的相应像素块，然后计算能够完全包含该像素块的最小矩形框的宽和高，最后分别计算该宽、高与原始图像中正方形块的边长的比值，分别记为rw和rh，每一正方形块的质量用 表示，其中C是一个正整数，α是控制宽高比改变和内容损失之间权重平衡的一个系数，最终的全局结构保真度由原始图像中各正方形块的显著性对sar的加权和表示。
[0054] S4.4：分别提取缩略图像和原始图像的轮廓集，计算全局轮廓保真度，具体是：首先分别检测原始图像和缩略图像的轮廓集，然后根据配准关系提取原始图像和缩略图像之间能够互相匹配的轮廓集，最后用这些轮廓集的倒角距离的平均值作为最终的全局轮廓保真度。
[0055] S5：若图像没有显著前景，则仅采用全局质量评价来计算缩略图像的客观质量评分，除换用更适合无显著前景的图像的显著性图外，其余计算同步骤S4.3和步骤S4.4；其中，除全局结构保真度的计算采用的显著性图更换为GBVS外，其余部分计算方法不变。
[0056] S6：用已有数据训练得到的评分融合模型对步骤S4或S5中的各项指标进行融合得到最终的客观排名或评分；其中，评分融合模型是在RetargetMe或CUHK数据库上训练的，采用的训练工具分别为svm-rank和lib-svm。在RetargetMe数据库上训练的模型主要应用于对比同一张原始图像的多张不同算法产生的缩略图像的质量排名，而在CUHK数据库上训练的模型主要应用于给出接近于人为打分的质量评分。
[0057] 上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
