一种基于RandomWalk的图像融合方法

摘要

本发明提供了一种基于Random Walk的图像融合方法，它包括以下步骤：(1)在源图像中勾勒出含有待复制图像的图像patch，并指定该图像patch拷贝到目标图像上的具体位置；(2)为所述含有待复制图像的图像构造图结构，(3)使用Random Walk方法求解Dirichlet问题，进而得到图像融合问题所需要的中间结果；(4)将步骤(3)中生成的中间结果与源图像相叠加，并将叠加结果拷贝到步骤(1)中指定的拷贝到目标图像上的位置，生成图像融合结果。本发明只需用户提供含有“显著物体”的图像patch并指定在目标图上的拷贝位置，本方法将自动地消除patch的边界不一致，并保证“显著物体”的颜色不发生改变。

权利要求

1.一种基于Random Walk的图像融合方法，其特征在于它包括以下步骤：

(1)、在源图像中勾勒出含有待复制图像的图像patch，并指定该图像patch拷贝到目标图像上的具体位置；

(2)、为所述含有待复制图像的图像patch构造图结构，将所述含有待复制图像的图像patch中的像素作为“顶点”，通过度量图像中像素间颜色的相似性构造连接“顶点”的“边”，进而为图像构造出所述“图结构”，并以此为依据构造Laplacian矩阵；

(3)、根据图像融合问题的需要重新确定边界条件，结合步骤(2)中生成的Laplacian矩阵，使用Random Walk方法求解Dirichlet问题，进而得到图像融合问题所需要的中间结果；

(4)、将步骤(3)中生成的中间结果与源图像相叠加，并将叠加结果拷贝到步骤(1)中指定的目标图像上的位置，生成图像融合结果。

2.如权利要求1所述的一种基于Random Walk的图像融合方法，其特征在于它采用基于人工交互的方式在源图像中勾勒出所述含有待复制图像的图像patch，并以这个粗略截取的图像patch作为后续步骤中要进行融合的对象。

3.如权利要求1所述的一种基于Random Walk的图像融合方法，其特征在于它使用简单比划方式在源图像中指示计算RandomWalk的边界条件。

4.如权利要求1所述的一种基于Random Walk的图像融合方法，其特征在于在步骤(1)中，计算包含图像patch的正矩形包围盒，将后续步骤的运算范围限制在包含图像patch的正矩形包围盒内。

5.如权利要求4所述的一种基于Random Walk的图像融合方法，其特征在于它为所述正矩形包围盒所对应的子图构造一个关于半径参数r的拓扑连接关系，将间距超过指定半径r的顶点判定为相互无关的顶点。

6.如权利要求5所述的一种基于Random Walk的图像融合方法，其特征在于它为所述正矩形包围盒所对应的子图，按照所构造的拓扑关系构造邻接矩阵W，使用邻接矩阵W作为子图像素间相似性的描述符。

说明书

一种基于Random Walk的图像融合方法

技术领域

[0001] 本发明涉及一种基于Random Walk的图像融合方法。

背景技术

[0002] 图像融合是图像编辑中的一个重要的环节，其目的是将源图像中的物体拷贝到目标图像中，并使新生成的图像在视觉上自然、真实。PhotoShop等商业图像编辑工具提供的alpha blend图像融合功能需要用户将源图像中的“显著物体”完整地分割出来，再将其粘贴到目标图像中。其中的图像分割阶段需要大量的用户交互，不但耗时，而且微小的分割失误也会极大地影响图像融合的视觉效果。Poisson image editing方法将源图像中含有“显著物体”的图像patch完整地拷贝到目标图像中，并使用梯度域的方法消除了被拷贝patch与目标图像在patch边界上的不一致性。Poisson image editing方法无需事先分割出源图像中的“显著物体”，因此克服了alpha belnd方法的缺陷。但是梯度域方法在消除patch边界上的不一致性的同时会导致整个patch内部的颜色会向着目标图像在patch边界上的颜色改变。因此，当源图像与目标图像在patch边界上的差异过大时，Poisson image editing方法会造成patch内部“显著区域”的颜色失真，形成不良的视觉效果。

发明内容

[0003] 本发明所要解决的技术方案是提供一种基于Random Walk的图像融合方法，它无需复杂用户交互、无需事先对源图像中的“显著物体（待复制图像）”进行分割，用户只需提供含有“显著物体”的图像patch并指定在目标图上的拷贝位置，本方法将自动地消除patch的边界不一致，并保证“显著物体”的颜色不发生改变。为此本发明采用以下技术方案，它包括以下步骤：

[0004] (1)、在源图像中勾勒出含有待复制图像的图像patch，并指定该图像patch拷贝到目标图像上的具体位置；

[0005] (2)、为所述含有待复制图像的图像构造图结构，

[0006] 将所述含有待复制图像的图像中的像素作为“顶点”，通过度量图像中像素间颜色的相似性构造连接“顶点”的“边”，进而为图像构造出所述“图结构”，并以此为依据构造Laplacian矩阵；

[0007] (3)、根据图像融合问题的需要重新确定边界条件，结合步骤(2)中生成的Laplacian矩阵，使用Random Walk方法求解Dirichlet问题，进而得到图像融合问题所需要的中间结果；

[0008] (4)、将步骤(3)中生成的中间结果与源图像相叠加，并将叠加结果拷贝到步骤(1)中指定的拷贝到目标图像上的位置，生成图像融合结果。

[0009] 在采用上述技术方案的基础上，本发明还可采用以下进一步的技术方案： [0010] 它采用基于人工交互的方式在源图像中勾勒出所述含有待复制图像的图像patch，并以这个粗略截取的图像patch作为后续步骤中要进行融合的对象。与需要进行预先分割“显著区域”的方法相比，使用这种整块patch拷贝的方法，更容易保证融合内容的完整性。

[0011] 它使用简单比划方式在源图像中指示计算RandomWalk的边界条件。

[0012] 在步骤(1)中，计算包含图像patch的正矩形包围盒，将后续步骤的运算范围限制在包含图像patch的正矩形包围盒内。这样不但可以更加充分的利用本地信息，而且能够加快算法速度。

[0013] 它为所述正 矩形包围盒 所对应的子 图构造一个 关于半径参 数 的拓扑连接关系，将间距超过指定半径 的顶点判定为相互无关的顶点。由于利用了图像本身具有“内容连续”的特性，可以生成更加“紧凑”的像素间相似性表示。

[0014] 它为所述正矩形包围盒所对应的子图，按照所构造的拓扑关系构造邻接矩阵 ，使用邻接矩阵 作为子图像素间相似性的描述符。其中使用了带参数的高斯核度量顶点之间的相似性，这种距离度量方式使本发明提供的方法具有非线性特性。

[0015] 本发明改造传统Random Walk方法中的边界条件，使Random Walk方法的计算结果满足图像融合问题的“中间结果”的需要。利用了Random Walk的特性，直接生成了“内容相关”的图像融合问题所需要的“中间结果”，从而省略了传统算法中“显著区域”分割的步骤，提高了算法的执行效率。同时，Random Walk的各向异性扩散性质使得本方法具有很强的抵抗patch边界颜色突变的能力，与现存的“内容相关”的图像融合方法相比，可以得到更加自然，真实的图像融合效果。

[0016] 由于本发明的技术方案，本发明同时还具有以下有益效果：

[0017] (1) 提供了一种全新的图像融合方法，由于本发明方法无需事先分割出“显著内容”，因此比现有的基于内容的图像融合方法更加高效。同时，使用了整块patch拷贝的方法，因此保证了融合内容的完整性。

[0018] (2) 从融合效果角度讲，由于本发明使用了Random Walk算法生成融合图像，Random Walk的各向异性扩散性质使得本方法具有很强的抵抗patch边界颜色突变的能力，与现存的“内容相关”的图像融合方法相比，如图4所示，可以得到更加自然，真实的图像融合效果。

附图说明

[0019] 图1为本发明所提供的方法的整体流程图。

[0020] 图2a为使用Random Walk方法求解Dirichlet问题得到的图像融合中间结果示意图。

[0021] 图2b为图2a所述中间结果沿着图2a中所示的切线构成的剖面图。

[0022] 图3为3个不同的实验中，Poisson image editing方法与本发明提供的方法的图像融合效果对比图。

[0023] 其中，(a)列为直接将图像patch拷贝到目标图像上的结果；(b)、(d)列分别表示使用Poisson image editing方法与本发明提供方法的图像融合效果比较，其中，(b)列使用Poisson image editing方法，(d)列使用本发明提供方法；(c)、(e)列分别表示使用两种方法得到的各自的图像融合中间结果，其中，(c)列使用Poisson image editing方法，(e)列使用本发明提供方法。

[0024] 图4为2个不同的实验中，传统的基于内容的图像融合方法与本发明提供的方法的图像融合效果对比图。

[0025] (a)、(c)、(e)、(g)为2个实验中，传统的基于内容的图像融合方法与本发明提供的方法的图像融合效果，其中，(c)、(g)表示使用Poisson image editing方法得到的图像融合结果，(a)、(e)表示本发明提供方法的图像融合结果，(b)、(d)、(f)、(h) 为2个实验中，传统的基于内容的图像融合方法与本发明提供的方法的图像融合中间结果，其中，(d)、(h)表示使用Poisson image editing方法得到的图像融合中间结果，(b)、(f)表示本发明提供方法的图像融合中间结果。

具体实施方式

[0026] 首先定义接下来说明中所要用到的缩写：

[0027] ：目标图像上的像素的颜色深度；

[0028] ： 源图像上的像素的颜色深度；

[0029] ： 从源图上截取的patch区域；

[0030] ： patch拷贝到目标图上的区域；

[0031] ：源图上patch的轮廓的位置；

[0032] ：拷贝到目标图上的上patch的轮廓的位置。

[0033] 图1是本发明的基本流程图，发明通过在源图像中进行简单的用户交互作为输入，得到一张源图像patch与目标图像谐融合的输出图片，下面对本发明的各个流程进行详细说明：

[0034] 1、简单用户交互

[0035] 本步骤在源图像中勾勒出含有待复制图像的图像patch，并指定该图像patch拷贝到目标图像上的具体位置。具体为：

[0036] 用户需要手动指定从源图像中截取的图像patch，其中对patch的形状并没有具体要求，只需完整地包括用户想融合到目标图上的“显著物体”即可，以这个粗略截取的图像patch作为后续步骤中要进行融合的对象。另外，用户需要使用画笔粗略地标注“显著物体”的所在，与目前的方法的区别是：这些标注并不是用来分割“显著物体”的标注，而是作为计算RandomWalk的边界条件，进而避免了类似alpha blend等方法的预分割步骤，因此提高了算法的效率。

[0037] 为了更加充分的利用本地信息，而且能够进一步加快算法速度，计算包含以上用户交互截取的图像patch边界的正矩形包围盒，将后续步骤的运算范围限制在包含patch的正矩形包围盒内。

[0038] 2、为图像建立图结构

[0039] 本步骤将所述含有待复制图像的图像中的像素作为“顶点”，通过度量图像中像素间颜色的相似性构造连接“顶点”的“边”，进而为图像构造出所述“图结构”，并以此为依据构造Laplacian矩阵。具体为：

[0040] 将图像中的每个像素点看作一个顶点 ，并将 和 两个顶点间的连接看作边，这样可以对步骤1中的正矩形包围盒所指定的图像构造出一个图结构 。本步骤为了令图 的边 上的权重 描述图像的像素之间的相似性，采用了以下方案：

[0041] (1) 为正矩形包围盒所对应的子图构造一个关于半径参数 的拓扑连接关系，将间距超过指定半径 的顶点判定为相互无关的顶点。由于图像本身具有“内容连续”的特性，因此间距超过指定半径的顶点之间可以认为是无关的，对应的权重 数值为0。本发明使用8连接拓扑结构表示某个像素点与其周围点的连接关系，并提供了灵活的接口，用户可以根据需要自行调整半径参数，得到期望的视觉效果。

[0042] (2) 本发明使用相连顶点间的颜色特征的相似程度度量对应边的权重，它为所述正矩形包围盒所对应的子图，按照所构造的拓扑关系构造邻接矩阵 ，使用邻接矩阵 作为子图像素间相似性的描述符。边 上的权重计算公式为：

[0043]

[0044] 其中 表示当前像素点的颜色特征，本发明中使用该像素点对应的rgb通道上的灰度值表示， 是用户指定的参数，决定了随着颜色特征增大，权重数值的下降速度。 表示连接顶点 和 的边 上的权重，其数值在 之间，两顶点间越相似，权重数值越接近1。

[0045] 使用上述方法完成对正矩形包围盒内的所有像素点建立连接关系并描述其两两间的相似性后，可以得到权重矩阵 ，由于使用(1)中指定的拓扑结构， 是一个对称的稀疏矩阵。使用 构造Laplacian矩阵，具体公式如下：

[0046]

[0047] 其中， ，为所在行在 矩阵的对应行的非对角线元素之和。

[0048] 3、使用修改的Random Walk方法计算理想的图像融合所需要的中间结果[0049] 本步骤根据图像融合问题的需要重新确定边界条件，结合步骤2中生成的Laplacian矩阵，使用Random Walk方法求解Dirichlet问题，进而得到图像融合问题所需要的中间结果。具体为：

[0050] 通过求解图上的Dirichlet问题：

[0051] ，满足特定边界条件

[0052] 获得图像融合所需要的中间结果 。因此需要解决的问题为：边界条件的确定以及使用Random Walk方法对图上的偏微分方程求解。

[0053] (1) 边界条件的确定

[0054] 本步骤中需要确定的边界条件可以分为2部分。首先，正矩形包围盒内对应的patch轮廓 上的数值为：

[0055]

[0056] 即源图上的patch轮廓 与目标图上对应的patch轮廓 上的颜色差。另一个边界条件是将在交互阶段，用户粗略标注为“显著区域”的位置上的数值设为0。

[0057] (2) 使用Random Walk方法对图上偏微分方程求解

[0058] 将图上的Laplacian方程转化成泛函的形式：

[0059]

[0060] 目的是将图上的偏微分方程求解问题转化为求 的变分问题，将以上泛函离散化得到：

[0061]

[0062] 其中， 表示(1)中确定的边界条件的数值， 表示待求的融合中间结果，矩阵表示按照 和 的对应关系重新排序的Laplacian矩阵。即 表示 对应的顶点构成的Laplacian矩阵， 表示 对应的顶点构成的Laplacian矩阵， 为对Laplacian矩阵重新排序的余项。对这个二次型针对 进行优化得到：

[0063]

[0064] 求解这个线性系统得到 即为本步骤期望得到的融合中间结果，一个典型的如图2所示。

[0065] 最后，将(3)中生成的中间结果与源图像相叠加，并将叠加结果拷贝到(1)中指定的拷贝到目标图像上的位置，生成图像融合结果。图3展示了使用本发明提供的方法生成的图像融合结果。