一种基于感兴趣区域提取的图像拷贝检测方法

摘要

本发明公开了一种基于感兴趣区域提取的图像拷贝检测方法。本发明包括如下步骤：步骤1、查询图像感兴趣区域提取：利用感兴趣区域提取算法将查询图像Q分割为一系列小图；步骤2、将查询图像分割得到的小图与数据库中的图像一一匹配，从而得到检测结果。本发明方法通过改进的感兴趣区域提取算法提取查询图像的中重要区域，将查询图像分割为一系列小图，并用这些小图与数据库中的图像一一匹配。因此，本发明能够准确识别攻击以后的图像，尤其在强剪切、图中图、文本插入等攻击下，依然保证结果的准确性，具有较高的鲁棒性。

权利要求

1.一种基于感兴趣区域提取的图像拷贝检测方法，其特征在于包括如下步骤：步骤1、查询图像感兴趣区域提取：

利用感兴趣区域提取算法将查询图像Q分割为一系列小图；

步骤2、将查询图像分割得到的小图与数据库中的图像一一匹配，从而得到检测结果；

所述的步骤1具体过程如下：

1-1.将查询图像Q划分为一系列元素块E；

1-2.在Lab颜色空间计算元素块之间的颜色距离度量；元素块Ek和元素块Ei之间的颜色距离度量D(Ek,Ei)如用公式(1)所示：其中，nk是元素块Ek中的颜色种类数，ni是元素块Ei中的颜色种类数，f(Ek,a)是元素块Ek中第a种颜色出现的概率，f(Ei,b)是元素块Ei中第b种颜色出现的概率，D(Ek,a,Ei,b)是元素块Ek中第a种颜色和元素块Ei中第b种颜色在Lab空间计算得到的颜色三通道的欧式距离；

1-3.在Lab颜色空间的L通道上计算每个元素块的亮度变化量；元素块Ek的亮度变化量如公式(2)所示：其中，N(Ek)是元素块Ek中包含的像素点个数，dEi是元素块中像素点i所在3邻域与模板的卷积，k为元素块的序号；

1-4.计算每个元素块的显著性值；假定计算元素块Ek的显著性值S(Ek)，如公式(3)所示，其他元素块的显著性值用同样的方法计算得到：其中，σs是两个元素块之间空间距离所占的权重，σs2＝0.4，w(Ei)是元素块Ei的权重，由该元素块中包含的像素点个数计算得到，Ds(Ek,Ei)是元素块Ek和元素块Ei相互之间的空间距离；D(Ek,Ei)是元素块Ek和元素块Ei之间的颜色距离度量，由公式(1)计算得到； 是元素块Ek的亮度变化量，由公式(2)计算得到；

1-5.计算查询图像中每个像素点的显著性值；每个像素点的显著性值为该像素点所在元素块的显著性值；

1-6.根据阈值T将查询图像转化为感兴趣区域突出的轮廓图像；利用公式(4)计算阈值T：其中，n为查询图像像素点的行数，m为查询图像像素点的列数，S(i,j)为查询图像中每个像素点的显著性值；

利用公式(5)将查询图像转化为感兴趣区域突出的黑白轮廓图像C：

1-7、计算黑白轮廓图像C中每个感兴趣区域所在的最小外接矩形，然后根据所有感兴趣区域的最小外接矩形信息将查询图像分割为一系列小图，每个小图包含一个感兴趣区域。

2.根据权利要求1所述的一种基于感兴趣区域提取的图像拷贝检测方法，其特征在于所述的步骤2具体实施过程如下：

2-1.按照SURF特征点提取方法提取查询图像中每个小图和数据库中图像的特征点；

2-2.利用SURF特征点描述子匹配查询图像的小图与数据库中的图像；

2-3.利用RANSAC算法去除错误匹配的特征点对；

2-4.进一步去除错误匹配的特征点对；

2-5.确定阈值Thres，利用阈值Thres判定数据库中图像是否为查询图像的拷贝，从而得到检测结果。

3.根据权利要求2所述的一种基于感兴趣区域提取的图像拷贝检测方法，其特征在于所述的步骤2-4的进一步去除错误匹配的特征点对具体实施过程如下：设经RANSAC算法处理之后匹配的特征点对为(Qi,Ii)；以Qi和Ii为中心，分别在查询图像的小图和数据库中图像I的特征点的相应尺度上提取5*5小块Block_Qi和Block_Ii，然后将小块Block_Qi和Block_Ii分别归一化到特征点方向；计算两个小块在RGB颜色空间上的结构相似性，得到三个通道的结构相似性(ssim_ri,ssim_gi,ssim_bi)，如公式(6)所示：(ssim_ri,ssim_gi,ssim_bi)＝SSIM(Block_Qi,Block_Ii)    (6)在RGB空间比较每个通道的颜色值，根据公式(7)得到Block_Qi与Block_Ii之间最终结构相似性ssim_c：其中，Qi_r，Qi_g，Qi_b分别是Qi点在R、G、B颜色通道上的颜色值。

4.根据权利要求3所述的一种基于感兴趣区域提取的图像拷贝检测方法，其特征在于当选取ssim_c的阈值为0.55时，能够得到较高的查全率和查准率；如果特征点对(Qi,Ii)之间的ssim_c值大于阈值0.55，则认为是正确匹配的特征点对，否则为错误匹配的特征点对。

5.根据权利要求4所述的一种基于感兴趣区域提取的图像拷贝检测方法，其特征在于如果数据库中图像与查询图像的某个小图的匹配结果中，正确匹配的特征点对个数大于阈值Thres，则认为数据库中的该图像为查询图像的拷贝。

6.根据权利要求5所述的一种基于感兴趣区域提取的图像拷贝检测方法，其特征在于当阈值Thres取值为10时，能够获得较高的查全率和查准率。

说明书

一种基于感兴趣区域提取的图像拷贝检测方法

技术领域

[0001] 本发明属于多媒体处理技术领域，涉及一种基于感兴趣区域提取的图像拷贝检测方法。

背景技术

[0002] 近年来，随着多媒体技术的不断发展，数字图像的传输变得越来越简单。技术的发展虽然方便了人们的生活，但是由于数字图片传播的简便性也使得保护数字图像的版权变得越来越困难，这会对图像版权拥有者造成巨大的损失。因此，需要一种技术来为原作者检测自己的图像是否被非法使用。

[0003] 图像拷贝检测是一种鉴定图像版权的技术。在拷贝检测系统中，系统收集构建一个数据库。如果一幅图像的版权拥有者怀疑自己的图像被非法使用了，就可以向该系统申请检测查询。目前的图像拷贝检测方法主要有两种，基于全局特征的拷贝检测方法和基于局部特征的拷贝检测方法。全局的拷贝检测方法一般将原图分为一系列8*8小块，根据DCT变换提取每个小块的特征作为图像的特征。然而这样的方法往往在抵抗大幅度剪切攻击时，表现出较差的鲁棒性。局部的拷贝检测方法一般基于特征点，主要包括三个步骤：(1)特征点检测，(2)特征点区域归一化，(3)特征点描述子计算。在计算描述子之后，匹配两幅图之间的特征点，并采用RANSAC算法去除错误匹配的特征点对。

[0004] 然而，非法盗版者往往对拷贝的数字图像进行一些处理，如几何变换、亮度变化、对比度变化、颜色变化、模糊、文本插入等。还有一些非法盗版者剪切原始数字图像中的一部分，并将这部分嵌入在其他图像中使用，这种攻击称为图中图攻击。目前大幅度剪切、图中图攻击是拷贝检测方法中的难题，能抵抗这些攻击的文章较少。Lin(Lin,C.C.,Klara,N.,Hung,C.J.:An image copy detection scheme based on edge features//Multimedia and Expo,2008IEEE International Conference on IEEE.665-668(2008))等提出了一种基于图像边缘特征的拷贝检测方法，能够抵抗剪切幅度较少的攻击以及图像拼接攻击。仔细分析强剪切攻击和图中图攻击可以发现，这两种攻击都是剪切掉了原图中不重要的区域，保留了原图重要区域。因此在解决上述两种攻击的时候，应该结合原图中重要区域信息。基于此，为解决现有问题，本发明提出了一种基于感兴趣区域提取的图像拷贝检测方法。

发明内容

[0005] 本发明的目的在于针对现有技术的不足，提出一种基于感兴趣区域提取的图像拷贝检测方法。本发明能够准确识别攻击以后的图像，尤其在强剪切、图中图、文本插入等攻击下，依然保证结果的准确性，具有较高的鲁棒性。

[0006] 本发明解决其技术问题所采用的技术方案包括如下步骤：

[0007] 步骤1、查询图像感兴趣区域提取：

[0008] 利用感兴趣区域提取算法将查询图像Q分割为一系列小图；

[0009] 步骤2、将查询图像分割得到的小图与数据库中的图像一一匹配，从而得到检测结果。

[0010] 所述的步骤1具体过程如下：

[0011] 1-1.将查询图像Q划分为一系列元素块E；

[0012] 1-2.在Lab颜色空间计算元素块之间的颜色距离度量；元素块Ek和元素块Ei之间的颜色距离度量D(Ek,Ei)如用公式(1)所示：

[0013]

[0014] 其中，nk是元素块Ek中的颜色种类数，ni是元素块Ei中的颜色种类数，f(Ek,a)是元素块Ek中第a种颜色出现的概率，f(Ei,b)是元素块Ei中第b种颜色出现的概率，D(Ek,a,Ei,b)是元素块Ek中第a种颜色和元素块Ei中第b种颜色在Lab空间计算得到的颜色三通道的欧式距离；

[0015] 1-3.在Lab颜色空间的L通道上计算每个元素块的亮度变化量；元素块Ek的亮度变化量 如公式(2)所示：

[0016]

[0017] 其中，N(Ek)是元素块Ek中包含的像素点个数， 是元素块中像素点i所在3邻域与模板 的卷积，k为元素块的序号；

[0018] 1-4.计算每个元素块的显著性值；假定计算元素块Ek的显著性值S(Ek)，如公式(3)所示，其他元素块的显著性值用同样的方法计算得到：

[0019]

[0020] 其中，σs是两个元素块之间空间距离所占的权重，σs2＝0.4，w(Ei)是元素块Ei的权重，由该元素块中包含的像素点个数计算得到，Ds(Ek,Ei)是元素块Ek和元素块Ei相互之间的空间距离；D(Ek,Ei)是元素块Ek和元素块Ei之间的颜色距离度量，由公式(1)计算得到； 是元素块Ek的亮度变化量，由公式(2)计算得到；

[0021] 1-5.计算查询图像中每个像素点的显著性值；每个像素点的显著性值为该像素点所在元素块的显著性值；

[0022] 1-6.根据阈值T将查询图像转化为感兴趣区域突出的轮廓图像；利用公式(4)计算阈值T：

[0023]

[0024] 其中，n为查询图像像素点的行数，m为查询图像像素点的列数，S(i,j)为查询图像中每个像素点的显著性值；

[0025] 利用公式(5)将查询图像转化为感兴趣区域突出的黑白轮廓图像C：

[0026]

[0027] 1-7.计算黑白轮廓图像C中每个感兴趣区域所在的最小外接矩形，然后根据所有感兴趣区域的最小外接矩形信息将查询图像分割为一系列小图，每个小图包含一个感兴趣区域。

[0028] 所述的步骤2具体实施过程如下：

[0029] 2-1.按照SURF特征点提取方法提取查询图像中每个小图和数据库中图像的特征点；

[0030] 2-2.利用SURF特征点描述子匹配查询图像的小图与数据库中的图像；

[0031] 2-3.利用RANSAC算法去除错误匹配的特征点对；

[0032] 2-4.进一步去除错误匹配的特征点对；

[0033] 2-5.确定阈值Thres，利用阈值Thres判定数据库中图像是否为查询图像的拷贝，从而得到检测结果。

[0034] 所述的步骤2-4的进一步去除错误匹配的特征点对具体实施过程如下：

[0035] 设经RANSAC算法处理之后匹配的特征点对为(Qi,Ii)；以Qi和Ii为中心，分别在查询图像的小图和数据库中图像I的特征点的相应尺度上提取5*5小块Block_Qi和Block_Ii，然后将小块Block_Qi和Block_Ii分别归一化到特征点方向；计算两个小块在RGB颜色空间上的结构相似性，得到三个通道的结构相似性(ssim_ri,ssim_gi,ssim_bi)，如公式(6)所示：

[0036] (ssim_ri,ssim_gi,ssim_bi)＝SSIM(Block_Qi,Block_Ii)   (6)

[0037] 在RGB空间比较每个通道的颜色值，根据公式(7)得到Block_Qi与Block_Ii之间最终结构相似性ssim_c：

[0038]

[0039] 其中，Qi_r，Qi_g，Qi_b分别是Qi点在R、G、B颜色通道上的颜色值。

[0040] 当选取ssim_c的阈值为0.55时，能够得到较高的查全率和查准率；如果特征点对(Qi,Ii)之间的ssim_c值大于阈值0.55，则认为是正确匹配的特征点对，否则为错误匹配的特征点对。

[0041] 如果数据库中图像与查询图像的某个小图的匹配结果中，正确匹配的特征点对个数大于阈值Thres，则认为数据库中的该图像为查询图像的拷贝。

[0042] 当阈值Thres取值为10时，能够获得较高的查全率和查准率。

[0043] 本发明有益效果如下：

[0044] 本发明方法通过改进的感兴趣区域提取算法提取查询图像中的重要区域，将查询图像分割为一系列小图，并用这些小图与数据库中的图像一一匹配。因此，即使非法盗版者剪切原始版权数字图像中的一部分使用，或将这部分图像嵌入在其他图像中使用，采用该检测方法都能够识别这些攻击以后的图像为查询图像的拷贝。同时，利用改进的图像匹配方法，通过准确地去除错误匹配的特征点对，保证该方法在各种常规的攻击下(几何变换、对比度变化、亮度变化、颜色变化、模糊、文本插入等)的鲁棒性。本方法与现有的图像拷贝检测技术比较有以下优点：

[0045] 目前大部分拷贝检测方法对强剪切攻击、图中图攻击和一些常规的攻击鲁棒性较差，主要原因在于强剪切攻击和图中图攻击都是剪切掉了原图中不重要的区域，保留了原图重要区域，而目前大部分拷贝检测方法都是把整幅查询图像作为输入去检测。另一方面，在图像匹配中，大多用RANSAC算法进行错误匹配点对的去除，然而这种算法仍然会保留部分错误匹配的特征点对。这些会导致检测结果的不准确。而本方法首先利用感兴趣区域提取算法提取查询图像中的重要区域，并将这些重要区域分割为一系列小图作为输入去检测，之后在图像匹配时，进一步去除错误匹配的特征点对，保证了检测结果的准确性。本方法能够同时抵抗强剪切攻击、图中图攻击和一些常规的攻击，在数字图像版权保护和盗版追踪方面具有较好的实用价值。

附图说明

[0046] 图1为本发明提出的基于感兴趣区域提取的图像拷贝检测方法的整体示意图；

[0047] 图2(a)、2(b)、2(c)、2(d)为利用感兴趣区域提取方法将查询图分割为一系列小图的示意图；

[0048] 图3为去除错误匹配点对时的阈值选择；

[0049] 图4为正确匹配点对个数的阈值选择；

[0050] 图5为原始查询图像集；

[0051] 图6为本方法与其他方法在查全率和查准率方面比较的曲线；

[0052] 图7为本方法在图中图攻击下的查全率查准率曲线。

具体实施方式

[0053] 本发明利用改进的感兴趣区域提取算法将查询图像分割为一系列小图作为输入与数据库中的图像一一匹配，并通过在RANSAC算法基础上进一步去除错误匹配的特征点对，实现了对强剪切攻击、图中图攻击和一些常规的攻击都鲁棒的图像拷贝检测方法。下面将参照附图和实例对本发明具体实施方式进行详细说明。如图1所示，本发明方法包括查询图像感兴趣区域提取和图像匹配两个步骤，图像感兴趣区域提取将查询图像分割为一系列小图，并将这些小图与数据库中的图像一一匹配，得到拷贝检测结果。下面结合实例对本发明作具体描述如下：

[0054] 步骤1、查询图像感兴趣区域提取：

[0055] 利用感兴趣区域提取算法将查询图像Q分割为一系列小图，具体过程如下。

[0056] 1-1.将查询图像Q划分为一系列元素块E，查询图像如图2(a)所示。

[0057] 1-2.在Lab颜色空间计算元素块之间的颜色距离度量。元素块Ek和元素块Ei之间的颜色距离度量D(Ek,Ei)如用公式(1)所示：

[0058]

[0059] 其中，nk是元素块Ek中的颜色种类数，ni是元素块Ei中的颜色种类数，f(Ek,a)是元素块Ek中第a种颜色出现的概率，f(Ei,b)是元素块Ei中第b种颜色出现的概率，D(Ek,a,Ei,b)是元素块Ek中第a种颜色和元素块Ei中第b种颜色在Lab空间计算得到的颜色三通道的欧式距离。

[0060] 1-3.在Lab颜色空间的L通道上计算每个元素块的亮度变化量。元素块Ek的亮度变化量 如公式(2)所示：

[0061]

[0062] 其中，N(Ek)是元素块Ek中包含的像素点个数， 是元素块中像素点i所在3邻域与模板 的卷积，k为元素块的序号。

[0063] 1-4.计算每个元素块的显著性值。假定计算元素块Ek的显著性值S(Ek)，如公式(3)所示，其他元素块的显著性值用同样的方法计算得到：

[0064]

[0065] 其中，σs是两个元素块之间空间距离所占的权重，σs2＝0.4，w(Ei)是元素块Ei的权重，由该元素块中包含的像素点个数计算得到，Ds(Ek,Ei)是元素块Ek和元素块Ei相互之间的空间距离。D(Ek,Ei)是元素块Ek和元素块Ei之间的颜色距离度量，由公式(1)计算得到。 是元素块Ek的亮度变化量，由公式(2)计算得到。

[0066] 1-5.计算查询图像中每个像素点的显著性值。每个像素点的显著性值为该像素点所在元素块的显著性值。得到的查询图像Q的显著性图如图2(b)所示。

[0067] 1-6.根据阈值T将查询图像转化为感兴趣区域突出的轮廓图像。利用公式(4)计算阈值T：

[0068]

[0069] 其中，n为查询图像像素点的行数，m为查询图像像素点的列数，S(i,j)为查询图像中每个像素点的显著性值。

[0070] 利用公式(5)将查询图像转化为感兴趣区域突出的黑白轮廓图像C：

[0071]

[0072] 得到查询图像Q的轮廓图如图2(c)所示。

[0073] 1-7、计算黑白轮廓图像C中每个感兴趣区域所在的最小外接矩形，然后根据所有感兴趣区域的最小外接矩形信息将查询图像分割为一系列小图，每个小图包含一个感兴趣区域。得到查询图像Q的一系列小图如图2(d)所示。

[0074] 步骤2、将查询图像分割得到的小图与数据库中的图像一一匹配，得到检测结果，具体实施过程如下。

[0075] 2-1.按照SURF特征点提取方法提取查询图像中每个小图和数据库中图像的特征点；

[0076] 2-2.利用SURF特征点描述子匹配查询图像的小图与数据库中的图像；

[0077] 2-3.利用RANSAC算法去除错误匹配的特征点对；

[0078] 2-4.进一步去除错误匹配的特征点对，具体如下：

[0079] 设经RANSAC算法处理之后匹配的特征点对为(Qi,Ii)。以Qi和Ii为中心，分别在查询图像的小图和数据库中图像I的特征点的相应尺度上提取5*5小块Block_Qi和Block_Ii，然后将小块Block_Qi和Block_Ii分别归一化到特征点方向。计算两个小块在RGB颜色空间上的结构相似性，得到三个通道的结构相似性(ssim_ri,ssim_gi,ssim_bi)，如公式(6)所示：

[0080] (ssim_ri,ssim_gi,ssim_bi)＝SSIM(Block_Qi,Block_Ii)   (6)

[0081] 在RGB空间比较每个通道的颜色值，根据公式(7)得到Block_Qi与Block_Ii之间最终结构相似性ssim_c：

[0082]

[0083] 其中，Qi_r，Qi_g，Qi_b分别是Qi点在R、G、B颜色通道上的颜色值；

[0084] 通过大量实验的统计方法，如图3所示，发现当选取ssim_c的阈值为0.55时，可以得到较高的查全率和查准率，因此能够保证较好的检测结果。如果特征点对(Qi,Ii)之间的ssim_c值大于阈值，则认为是正确匹配的特征点对，否则为错误的特征点对。

[0085] 2-5.确定阈值Thres，利用阈值Thres判定数据库中图像是否为查询图像的拷贝。通过大量实验的统计方法确定正确匹配特征点对数的阈值Thres。根据实验发现，如图4所示，当Thres取值为10时，能够获得较高的查全率和查准率，因此可以取得较好的检测结果。
如果数据库中图像与查询图像的某个小图的匹配结果中，正确匹配的特征点对个数大于Thres，则认为数据库中的该图像为查询图像的拷贝。

[0086] 以下从检测精度方面给出实验说明，以实验方式验证本发明方法具有较高的查全率和查准率，较其它拷贝检测方法而言，具有较高的鲁棒性。

[0087] 本发明中实验采用从网上下载的10000张图像作为测试图像库，图像大小随机但都小于800*800，以JPEG格式保存。从测试图像库中的选取10张图像构成原始查询图像集，如图5所示。查询集中的每一幅图像都利用Photoshop和StirMark软件进行20种攻击生成拷贝图像集。每种攻击及其对应的样本数具体为：JPEG压缩(15)、均值滤波(1)、PSNR处理(10)、缩放(10)、剪切(13)、旋转(18)、仿射变换(8)、删除像素列(10)、旋转加缩放(10)、旋转加剪切(10)、加噪(2)、Seam-carving(3)，颜色变化(1)、亮度变化(1)、对比度变化(1)、图像翻转(1)、文本插入(1)、水彩化(1)、马赛克(1)，其中括号中的数字为对应攻击的样本数。

[0088] 最后，本方法(方法5)对比了Xu的方法(方法1，Xu Z,Ling H,Zou F,et al.A novel image copy detection scheme based on the local multi-resolution histogram descriptor[J].Multimedia Tools&Applications,2011,52(2-3):445-463)、Kim的方法(方法2，Kim C.Content-based image copy detection[J].Signal Processing Image Communication,2003,18:169-184)、Wu的方法(方法3，Wu M N,Lin C C,Chang C C.Novel image copy detection with rotating tolerance[J].Journal of Systems&Software,2007,80(7):1057-1069)和Baber的方法(方法4，Baber J,Satoh S,Keatmanee C,et al.Improving the performance of SIFT and CSLBP for image copy detection[C].Telecommunications and Signal Processing(TSP),2013 36th International Conference on,2013:803-807)得到了查全率与查准率如图6所示，不论从查全率还是查准率衡量，本方法均获得了较好的效果。另一方面，本方法对图中图攻击也具有较高的查全率和查准率，如图7所示。