一种可推荐隐藏位置的隐藏图像生成方法

摘要

本发明公开了一种可推荐隐藏位置的隐藏图像生成方法，步骤包括：选择两张图像分别作为前景图像和背景图像；提取前景图像的识别线索图；计算得到背景图像的细节图；计算前景图像在背景图像不同位置最佳的隐藏位置；计算得到新前景图像；得到初始化的映射关系；计算得到能量方程；迭代最小化能量方程并更新映射关系；根据新映射关系，使用背景图像像素的颜色给前景图像着色，得到隐藏图像。本发明先通过评估识别难度，据此系统推荐适当的隐藏位置，然后合成算法基于纹理合成算法来生成隐藏图像，保留前景图像的显著特征为识别线索，在任何位置都可以保证前景既和谐融入于局部背景中，同时又保留供观察者识别的线索。

权利要求

1.一种可推荐隐藏位置的隐藏图像生成方法，其特征在于，包括以下步骤：(1)用户选择两张图像分别作为前景图像和背景图像；

(2)标注前景图像中显著特征区域，得到识别线索图；

(3)根据背景图像中各处细节对比度高低程度，计算得到背景图像的细节图；

(4)根据步骤(2)中得到的识别线索图和步骤(3)中得到的细节图，计算前景图像在背景图像不同位置时，前景图像所覆盖区域内非显著特征区域的高频信息量，以此来判断前景图像隐藏在背景图像不同位置的检测难度，结合预先设定的难度值，得到最佳的隐藏位置；

(5)对前景图像和与步骤(4)得到最佳的隐藏位置对应的背景图像进行线性插值处理，得到新前景图像，插值的参数为步骤(2)中得到的识别线索图；

(6)随机选定步骤(4)得到最佳的隐藏位置对应的背景图像的像素映射到新前景图像像素，得到初始化的映射关系；

(7)根据步骤(6)中得到的映射关系，以映射的像素对之间的距离关系作为参数，得到能量方程；

(8)迭代最小化步骤(7)中得到的能量方程并更新映射关系；

(9)根据步骤(8)中得到的新映射关系，使用背景图像像素的颜色给前景图像着色，得到隐藏图像；

步骤(2)中，得到前景图像的识别线索图的方法如下：增大前景图像的显著图的亮度，分割出显著图中显著部分，抽取显著部分的骨架并计算骨架的距离场，计算每个显著部分的大小并挑选其中大于预设值的条状，计算维持这些条状的重要点，去除离条状骨架小于预定数值位置的显著部分，保留重要点周围位置的显著部分；

步骤(3)中，背景图像的细节图是背景图像的信息与背景图像低频信息的差，背景图像的细节图的计算公式如下，mi,l＝max|Bi,l-f(Bi,l)|式中：

B为背景图像；

l为高斯金字塔层数；

L为金字塔最大层数；

r，g，b分别是背景图的RGB三通道；

f为考虑了分割的盒型滤波器；

步骤(4)中，检测难度以图像的形式在背景图像上体现，检测难度图的计算公式如下：式中：

R表示检测难度；

C是前景图像的识别线索图；

H为背景图像的细节图；

F是前景图像；

p是前景图像像素；

ΩF为前景覆盖区域；

t表示隐藏位置；

w，h分别表示前景图像的宽和高。

2.如权利要求1所述的可推荐隐藏位置的隐藏图像生成方法，其特征在于，步骤(5)中，生成新前景的线性插值公式为：式中C是前景图像的识别线索图；

为背景图像中被前景图像覆盖的部分；

F是前景图像。

3.如权利要求1所述的可推荐隐藏位置的隐藏图像生成方法，其特征在于，所述的映射关系为：M(p)＝q

式中p，q分别是前景图像和背景图像像素，即步骤(7)中所述的像素对。

4.如权利要求3所述的可推荐隐藏位置的隐藏图像生成方法，其特征在于，步骤(7)中，能量方程的计算公式如下：式中：

F'是新前景图像；

p，q分别是前景图像和背景图像像素；

D(p,q)是像素p与q之间的距离函数。

5.如权利要求4所述的可推荐隐藏位置的隐藏图像生成方法，其特征在于，步骤(8)中，在设定的阈值内，迭代最小化步骤(7)中得到的能量方程具体过程如下：分别为每一个前景图像像素p选择p'使得：D(p,q')＜D(p,q)

依据能量公式计算总能量E，当总能量的减小率小于预设的阈值时最小化迭代停止；

更新映射关系过程为：选择能减小能量的背景图像像素q'代替q。

6.如权利要求4所述的可推荐隐藏位置的隐藏图像生成方法，其特征在于，步骤(9)中，前景图像的着色公式如下：F(p)＝B(M(p))。

说明书

一种可推荐隐藏位置的隐藏图像生成方法

技术领域

[0001] 本发明涉及计算机图像处理技术，特别涉及一种可推荐隐藏位置的隐藏图像生成方法。

背景技术

[0002] 隐藏图像是休闲艺术，该艺术在背景图像中隐藏一个或多个前景图像。该艺术的背景图像通常拥有丰富的色彩和纹理，他们吸引了观察者最初的注意力，前景很难被立即发现，需要观察者集中注意力仔细辨认很长时间才能发现。这是因为艺术家在设计隐藏图像时，去掉了可以快速找到前景的色彩纹理边界等特征。观察者只能凭借艺术家保留的特征，综合这些特征才能找到隐藏的前景。艺术家总是努力保持一个平衡，既要去掉足够多的特征又保留足够多的线索使得观察者在辨认一段时间后可以找到。

[0003] 作为一种艺术形式，仅有少数几位艺术家掌握了设计隐藏图像的技巧，如Steven Michael Gardner，Bev Doolittle，Jim Warren，and Donald Rust。由于设计的难度和物理条件的限制，手工绘制隐藏图像非常具有挑战性。近年来，涌现了多种用计算机来模拟隐藏图像的生成算法。这些系统可以将人类为隐藏图像设计带来了很多便利。可以通过复制粘贴操作来选择要隐藏的前景图片，并可以随意选择要隐藏的位置和隐藏的难度，可以轻松设计出适当难度的漂亮的隐藏图像。

[0004] 拼贴画由不同元素拼贴而成，是一种类型的隐藏图像。参见GAL R.,SORKINE O.,POPA T.,SHEFFER A.,COHEN-OR D.:3d collage:Expressive non-realistic modeling.In  Proceedings of the  5th International Symposium on Non-photorealistic Animation and Rendering(2007),NPAR’07,pp.7–14和HUANG H.,ZHANG L.,ZHANG H.-C.:Arcimboldolike collage using internet images.ACM Transactions on Graphics 30,6(2011),155:1–155:8，在这种隐藏图像中隐藏图像和组成元素都是可以立即被识别的，而且拼贴画并不改变组成元素的外形。

[0005] Oliva等人基于多尺度混合技术提出了一种生成混合图像(hybrid images)的方法，参见Oliva A.,Torralba A.,Schyns P.G.:Hybrid images.ACM Transactions on Graphics 25(3),527–532(2006)。该方法利用多尺度技术对图像进行分解，通过混合不同频域的图像生成最终的混合图像。随着观察距离的变化，观察者可以观察到不同的图像。

[0006] Yoon等人使用计算机生成线条画的隐藏图像，使用风格化的线条画来绘制前景和背景。该算法应用前景的边界为识别线索。参见YOON J.-C.,LEE I.-K.,KANG H.:A hidden-picture puzzles generator.Computer Graphics Forum 27,7(2008),1869–1877。

[0007] Chu等人提出以自然照片为基础生成的隐藏图像，把前景的亮度分布作为识别线索，并用纹理合成算法生成隐藏图像，这种算法使得合成结果在不同的隐藏位置外形变化较少，要保留前景特征和增加识别的干扰时必须借助用户交互。并且当前景的对比度较低时隐藏效果较差。参见CHU H.-K.,HSU W.-H.,MITRA N.J.,COHEN-OR D.,WONG T.-T.,LEE T.-Y.:Camouflage images.ACM Transactions on Graphics 29,4(2010),51:1–51:8。

[0008] Tong等人提出用求解前景和背景混合优化问题的泊松方程来生成隐藏图像，由于变形操作他们的生成结果可能导致模糊。目前少有学者研究如何推荐隐藏位置。此系统还通过抽取前景和背景图像的边界，并通过边界的形状匹配来寻找隐藏图像的最佳隐藏位置，但是该系统只能提供一个位置，并且由于没有考虑匹配的显著度，导致推荐位置常常不好，参见TONG Q.,ZHANG S.-H.,HU S.-M.,MARTIN R.R.:Hidden images.In Proceedings of the ACM SIGGRAPH/Eurographics Symposium on Non-Photorealistic Animation and Rendering(2011),NPAR’11,pp.27–34。

[0009] Du等人也同样通过求解泊松方程来生成隐藏图像，同样使用边界作为识别线索，但是此算法当背景图像对比度较高时，前景的特征可以不会被保留。参见DU H.,JIN X.,MAO X.:Digital camouflage images using two-scale decomposition.Computer Graphics Forum 31,7(2012),2203–2212。

[0010] 针对以上方法的缺点以及图像隐藏设计的需要，希望开发出一种既不丢失前景显著特征，又具有良好隐藏前景效果的隐藏图像生成算法。

发明内容

[0011] 本发明提供了一种可推荐隐藏位置的隐藏图像生成方法，可以自主评估各位置识别难度，在任何位置都可以保证前景图像既和谐融入于局部背景图像中，同时保留供观察者识别的线索，使隐藏图像效果更真实。

[0012] 一种可推荐隐藏位置的隐藏图像生成方法，其特征在于，包括以下步骤：

[0013] (1)用户选择两张图像分别作为前景图像和背景图像；

[0014] (2)标注前景图像中显著特征区域，得到识别线索图；

[0015] (3)根据背景图像中各处细节对比度高低程度，计算得到背景图像的细节图；

[0016] (4)根据步骤(2)中得到的识别线索图和步骤(3)中得到的细节图，计算前景图像在背景图像不同位置时，前景图像所覆盖区域内非显著特征区域的高频信息量，以此来判断前景图像隐藏在背景图像不同位置的检测难度，结合预先设定的难度值，得到最佳的隐藏位置；

[0017] (5)对前景图像和与步骤(4)得到最佳的隐藏位置对应的背景图像进行线性插值处理，得到新前景图像，插值的参数为步骤(2)中得到的识别线索图；

[0018] (6)随机选定步骤(4)得到最佳的隐藏位置对应的背景图像的像素映射到新前景图像像素，得到初始化的映射关系；

[0019] (7)根据步骤(6)中得到的映射关系，以映射的像素对之间的距离关系作为参数，得到能量方程；

[0020] (8)迭代最小化步骤(7)中得到的能量方程并更新映射关系；

[0021] (9)根据步骤(8)中得到的新映射关系，使用背景图像像素的颜色给前景图像着色，得到隐藏图像。

[0022] 本发明所述的前景图像和背景图像均为RGB颜色空间的图像，分别用F和B表示。

[0023] 用C表示识别线索图，识别线索图标注前景中哪些部分是前景的显著特征部分，为了防止观察者依据长边快速搜索到前景，需要去掉了其中显著的长边，因此识别线索图的抽取建立在前景的显著图基础上。参见ITTIL.,KOCH C.,NIEBUR E.:A model of saliency-based visual attention for rapid scene analysis.IEEE Transactions on Pattern Analysis and Machine Intelligence 20,11(1998),1254–1259。

[0024] 优选的，步骤(2)中，得到前景图像的线索识别图的方法如下：增大前景图像的显著图的亮度，分割出显著图中显著部分，抽取显著部分的骨架并计算骨架的距离场，计算每个显著部分的大小并挑选其中大于预设值的条状，计算维持这些条状的重要点，去除离条状骨架小于预定数值位置的显著部分，保留重要点周围位置的显著部分。

[0025] 本发明所述的背景图像的细节图描述背景图像中各处细节对比度高低程度，前景隐藏在细节对比度越高的区域越难发现，因此背景图像的细节图是背景图像的信息与背景图像低频信息的差，本发明分别计算了各个通道和不同分辨率的高频信息。

[0026] 优选的，步骤(3)中，背景图像的细节图是背景图像的信息与背景图像低频信息的差，背景图像的细节图的计算公式如下，

[0027]

[0028]

[0029] mi,l＝max|Bi,l-f(Bi,l)|

[0030] 式中：

[0031] B为背景图像；

[0032] l为高斯金字塔层数；

[0033] L为金字塔最大层数；

[0034] r，g，b分别是背景图的RGB三通道；

[0035] f为考虑了分割的盒型滤波器。

[0036] 优选的，步骤(4)中，检测难度以图像的形式在背景图像上体现，检测难度图的计算公式如下：

[0037]

[0038] 式中：

[0039] R表示检测难度；

[0040] C是前景图像的识别线索图；

[0041] H为背景图像的细节图；

[0042] F是前景图像；

[0043] ΩF为前景覆盖区域；

[0044] t表示隐藏位置；

[0045] w，h分别表示前景图像的宽和高。

[0046] 优选的，步骤(5)中，生成新前景的线性插值公式为：

[0047]

[0048] 式中C是前景图像的识别线索图；

[0049] 为背景图像中被前景图像覆盖的部分；

[0050] F是前景图像。

[0051] 背景图像中被前景图像覆盖的部分即是步骤(4)得到最佳的隐藏位置对应的背景图像。

[0052] 优选的，所述的映射关系为：

[0053] M(p)＝q

[0054] 式中p，q分别是前景图像和背景图像像素，即步骤(7)中所述的像素对。

[0055] 优选的，步骤(7)中，能量方程的计算公式如下：

[0056]

[0057] 式中：

[0058] F'是新前景图像；

[0059] p，q分别是前景图像和背景图像像素；

[0060] D(p,q)是像素p与q之间的距离函数。

[0061] 其中，D(p,q)＝S(p,q)L(p,q)

[0062] S(p,q)是像素p与q之间的距离能量；

[0063] L(p,q)是像素p与q之间的亮度能量。

[0064] 本发明通过最小化能量来达到纹理合成的效果，即用背景图像中相似的像素合成前景图像中像素，像素p和q越相似，它们的之间的距离D越小，能量就越低。

[0065] 本发明所述的亮度能量是将背景图像B和前景图像F从RGB通道转换到YIQ通道，使用Y通道作为接下来纹理合成中的亮度通道，亮度能量公式为：

[0066]

[0067] 其中 是像素5×5邻域的均值。

[0068] 本发明所述的距离能量公式为：

[0069]

[0070] 式中d表示两位置之间的欧氏距离，α，γ是由用户确定的参数。

[0071] 因为自然图像的不同位置的纹理很可能来自不同的物体，所以我们合成前景图像要使用的是局部环境的纹理。空间能量提供依靠到隐藏位置的距离来衡量位置对纹理差异的影响，当超出纹理合成的可能范围的时空间能量将会给出一个惩罚。

[0072] 优选的，步骤(8)中，在设定的阈值内，迭代最小化步骤(7)中得到的能量方程具体过程如下：分别为每一个前景图像像素p选择p'使得：

[0073] D(p,q')＜D(p,q)

[0074] 依据能量公式计算总能量E，当总能量的减小率小于预设的阈值时最小化迭代停止；

[0075] 更新映射关系过程为：选择能减小能量的背景图像像素q'代替q。

[0076] 优选的，步骤(9)中，前景图像的着色公式如下：

[0077] F(p)＝B(M(p))。

[0078] 本发明的有益效果：

[0079] 本发明的可推荐隐藏位置的隐藏图像生成方法，先通过评估识别难度，据此系统推荐适当的隐藏位置，然后合成算法基于纹理合成算法来生成隐藏图像，保留前景图像的显著特征为识别线索，在任何位置都可以保证前景既和谐融入于局部背景中，又保留供观察者识别的线索，生成方法有效地解决了现有的隐藏图像生成系统中存在的问题；本发明基于最新的图形硬件并行计算架构CUDA，为艺术家和非艺术家设计隐藏图像提供了一个非常便利的工具。

附图说明

[0080] 图1为本发明方法的技术方案流程图。

具体实施方式

[0081] 如图1所示，本实施例的可推荐隐藏位置的隐藏图像生成方法，包括用户选择背景图像和前景图像，提取前景图像的识别线索图和背景图像的细节图，据此两项生成检测难度图并推荐隐藏位置，根据推荐位置和前景识别线索图生成新前景，初始化新前景图像和背景图像的映射关系，根据当前映射关系计算能量方程，最小化能量方程并更新映射关系，根据最终映射关系使用背景像素颜色着色前景图像像素，得到最终的隐藏图像。

[0082] 具体步骤如下：

[0083] (1)用户选择两张图像分别作为前景图像和背景图像，本实施例的前景图像和背景图像均为RGB颜色空间的图像，分别用F和B表示。

[0084] (2)标注前景图像中显著特征区域，得到识别线索图，用C表示识别线索图，识别线索图标注前景中哪些部分是前景的显著特征部分，为了防止观察者依据长边快速搜索到前景，需要去掉了其中显著的长边，因此识别线索图的抽取建立在前景的显著图基础上。参见ITTI L.,KOCH C.,NIEBUR E.:A model of saliency-based visual attention for rapid scene analysis.IEEE Transactions on Pattern Analysis and Machine Intelligence 20,11(1998),1254–1259。

[0085] 得到前景图像的识别线索图的具体方法如下：

[0086] 2-1、将前景图像的显著图的亮度增大a倍，a﹥1，默认a＝3；

[0087] 2-2、使用聚类算法根据显著图亮度将显著图分为b类，b≧2，默认b＝3；

[0088] 2-3、将显著图边界像素的同类像素标记为0，其他像素标记为1；

[0089] 2-4、抽取标记为1的每部分骨架并计算骨架的距离场；

[0090] 2-5、计算标记为1的每部分的长度，并挑选其中长度大于显著图边长c倍的边，将上述边定义为长边，c的取值范围0.2～0.8，默认c＝0.5；

[0091] 2-6、计算维持步骤2-5中的长边骨架形状的重要点集P；

[0092] 2-7、最后将离步骤2-5中的长边骨架小于d的显著度设置为0，P周围的位置显著度不变，d为显著图边长的0.1～0.8倍,默认d为显著图边长的0.5倍；

[0093] 2-8、最终的显著图为识别线索图。

[0094] (3)根据背景图像中各处细节对比度高低程度，计算得到背景图像的细节图，背景图像的细节图描述背景图像中各处细节对比度高低程度，前景隐藏在细节对比度越高的区域越难发现，因此背景图像的细节图是背景图像的信息与背景图像低频信息的差，本发明分别计算了各个通道和不同分辨率的高频信息，背景图像的细节图的计算公式如下，[0095]

[0096]

[0097] mi,l＝max|Bi,l-f(Bi,l)|

[0098] 式中：

[0099] B为背景图像；

[0100] l为高斯金字塔层数；

[0101] L为金字塔最大层数；

[0102] r，g，b分别是背景图的RGB三通道；

[0103] f为考虑了分割的盒型滤波器。

[0104] 考虑分割的盒型滤波器处理方法就是在盒型滤波器处理之前需要事先自动分割背景图像。首先计算SLIC超像素，然后通过聚类分割，将这些超像素为k组，k＝5，最后使用盒型滤波处理背景图像，并且盒型滤波只涉及到与中间像素像素组的像素。滤波和的大小为前景图像大小的1/4。(参见ACHANTA R.,SHAJI A.,SMITH K.,LUCCHI A.,FUAP.,S′L′ZSSTRUNK S.:Slic：superpixels compared to state-of-theart superpixel methods.IEEE Transactions on Pattern Analysis and Machine Intelligence 34,11(2012),2274–2282)

[0105] (4)根据步骤(2)中得到的识别线索图和步骤(3)中得到的细节图，计算前景图像在背景图像不同位置时，前景图像所覆盖区域内非显著特征区域的高频信息量，以此来判断前景图像隐藏在背景图像不同位置的检测难度，结合预先设定的难度值，得到最佳的隐藏位置；

[0106] 系统将所有隐藏位置的检测难度排序，预先设定的难度值可以直接默认检测难度最难的位置为最佳隐藏位置，也可以选定所需的检测难度对应的位置而不选择系统推荐的位置，还可以将显示检测难度的热力图显示出来供用户选择位置，检测难度图的计算公式如下：

[0107]

[0108] 式中：

[0109] R表示检测难度；

[0110] C是前景图像的识别线索图；

[0111] H为背景图像的细节图；

[0112] F是前景图像；

[0113] ΩF为前景覆盖区域；

[0114] t表示隐藏位置；

[0115] w，h分别表示前景图像的宽和高。

[0116] (5)对前景图像和与步骤(4)得到最佳的隐藏位置对应的背景图像进行线性插值处理，得到新前景图像，插值的参数为步骤(2)中得到的识别线索图，生成新前景的线性插值公式为：

[0117]

[0118] 式中C是前景图像的识别线索图；

[0119] 为背景图像中被前景图像覆盖的部分；

[0120] F是前景图像。

[0121] (6)随机选定步骤(4)得到最佳的隐藏位置对应的背景图像的像素映射到新前景图像像素，得到初始化的映射关系，映射关系为：

[0122] M(p)＝q

[0123] 式中p，q分别是前景图像和背景图像像素。

[0124] (7)根据步骤(6)中得到的映射关系，以映射的像素对之间的距离关系作为参数，得到能量方程，能量方程的计算公式如下：

[0125]

[0126] 式中：

[0127] F'是新前景图像；

[0128] p，q分别是前景图像和背景图像像素；

[0129] D(p,q)是像素p与q之间的距离函数。

[0130] 其中，D(p,q)＝S(p,q)L(p,q)

[0131] S(p,q)是像素p与q之间的距离能量；

[0132] L(p,q)是像素p与q之间的亮度能量。

[0133] 本发明通过最小化能量来达到纹理合成的效果，即用背景图像中相似的像素合成前景图像中像素，像素p和q越相似，它们的之间的距离D越小，能量就越低。

[0134] 本发明所述的亮度能量是将背景图像B和前景图像F从RGB通道转换到YIQ通道，使用Y通道作为接下来纹理合成中的亮度通道，亮度能量公式为：

[0135]

[0136] 其中 是像素5×5邻域的均值。

[0137] 本发明所述的距离能量公式为：

[0138]

[0139] 式中d表示两位置之间的欧氏距离，α，γ是由用户确定的参数。

[0140] 因为自然图像的不同位置的纹理很可能来自不同的物体，所以我们合成前景图像要使用的是局部环境的纹理。空间能量提供依靠到隐藏位置的距离来衡量位置对纹理差异的影响，当超出纹理合成的可能范围的时空间能量将会给出一个惩罚。

[0141] (8)迭代最小化步骤(7)中得到的能量方程并更新映射关系，迭代最小化能量方程过程如下：分别为每一个前景图像像素p选择p'使得：

[0142] D(p,q')＜D(p,q)

[0143] 依据能量公式计算总能量E，当总能量的减小率小于预设的阈值时最小化迭代停止；

[0144] 更新映射关系过程为：选择能减小能量的背景图像像素q'代替q。

[0145] 进一步的，最小化能量方程和更新映射关系的具体过程如下：

[0146] 8-1、初始化M(px,py)＝(qx,qy)；

[0147] 8-2、如果D((px,py),M(px+i,py+j)+(-i,-j))

[0148] 8-3、当能量减小率小于用户设定的阈值τ时迭代停止，阈值τ范围取[0.001,0.01]之间，默认τ＝0.001。

[0149] 参见BARNES C.,SHECHTMAN E.,FINKELSTEIN A.,GOLDMAN D.B.:Patchmatch:a randomized correspondence algorithm for structural image editing.ACM Transactions on Graphics 28,3(2009),24:1–24:11.

[0150] (9)根据步骤(8)中得到的新映射关系，使用背景图像像素的颜色给前景图像着色，得到隐藏图像，前景图像的着色公式如下：

[0151] F(p)＝B(M(p))。