一种立体图像的深度一致性融合处理方法

摘要

本发明公开了一种立体图像的深度一致性融合处理方法。该方法的目标是将二维图像融合到立体背景图像中，包括以下步骤：(1)二维融合区域的三角化和立体背景图像的视差估算；(2)交互式生成二维图像的视差图；(3)深度一致性的视差融合；(4)二维融合对象的变形以及与立体图像的融合。本发明能够快速有效地实现立体图像的融合操作。

权利要求

1.一种立体图像的深度一致性融合处理方法，其特征在于以交互的方式将二维图像融合到立体图像中，包括以下步骤：（1）二维融合区域的三角化和立体背景图像的视差估算

以融合边界和二维图像中的SIFT特征点为约束，利用Delaunay方法对二维融合区域进行三角化，得到三角网格；通过立体匹配方法估算出立体图像的视差；

（2）交互式生成二维图像的视差图

用户通过简单的笔划指定部分区域的视差，然后根据相邻区域的颜色相似性和边缘的不连续性的限制将指定区域的视差平滑地扩散到整个二维图像中；

（3）深度一致性的视差融合

根据所述步骤（1）估算出的立体图像视差对所述步骤（2）中交互生成的二维图像的视差进行深度一致性融合，使得二维图像与立体图像的视差在连续性融合边界上保持连续，从而保证融合结果的深度一致性；

（4）二维融合对象的变形以及与立体背景图像的融合

根据所述步骤（3）深度一致性融合后的二维图像的视差，构造出视差一致性Ed、透视尺度Es以及深度一致性Ec三个约束项，将待融合的二维对象变形为立体图像对，并根据深度一致性约束Ec确定二维对象变形后的融合位置，最后将变形后的立体图像对与目标立体图进行无缝融合；

其中，步骤（4）按以下方式对二维融合对象进行变形：将所述的三个约束项按以下公式（1）进行线性组合，得到对象变形的能量E（v），最小化该能量E（v）得到的输出结果即为变形后左右图的三角网格v，所述的变形后左右图的三角网格v包括左图的三角网格Tl和右图的三角网格Tr；根据变形后的左图的三角网格Tl和右图的三角网格Tr，通过纹理映射将融合对象分别进行变形，得到一对变形后的对象；

argminvE(v)=argminv(wdEd+wsEs+wcEc) （1）式中，wd为视差一致性Ed的重要性；ws,为透视尺度Es的重要性；wc为深度一致性Ec的重要性。

2.如权利要求1所述的一种立体图像的深度一致性融合处理方法，其特征在于步骤（3）采用基于权值调整的均值坐标方法来计算视差融合的结果。

3.如权利要求2所述的一种立体图像的深度一致性融合处理方法，其特征在于将三个约束项均设定为1.0。

4.如权利要求1-3任何一项所述的一种立体图像的深度一致性融合处理方法，其特征在于视差一致性Ed包括两个方面：1）约束变形后的左右图的三角网格上对应点的水平视差为步骤（3）计算得到的融合后的二维融合对象的视差；2）约束变形后的左右图的三角网格上对应点的垂直视差为0。

5.如权利要求1-3任何一项所述的一种立体图像的深度一致性融合处理方法，其特征在于对于透视尺度Es，通过约束网格每条边的尺度变化来指定目标大小的变化，而每条边上的尺度变化由该边两个端点深度变化的平均值来表示。

说明书

一种立体图像的深度一致性融合处理方法

技术领域

[0001] 本发明涉及图像处理技术领域，特别涉及一种立体图像的深度一致性融合处理方法。

背景技术

[0002] 与传统的2D媒体相比，立体电影和电视能够给人们带来更加生动的视觉体验。因此，近年来，立体图像和视频的生成与编辑处理成为非常重要的研究课题。本发明解决的问题是立体图像的深度一致性融合，该问题是立体图像处理中基本和重要的问题，是许多编辑操作的基础。图像融合的操作通常是从源图像中选择一个图像块，然后将它无缝自然地合成到目标图像中。

[0003] 当前，在2D图像的融合方面已经进行了大量研究工作并取得了很多成果。这些工作专注于消除融合边界上的颜色差异，以及调整融合对象的颜色使之与目标场景匹配，从而得到自然无缝的融合结果。对于立体图像，他通常由立体相机拍摄得到的一组左右图像对来表示，通过将两张具有一定视差的图像合成到一起人们能够感受到立体图像中的深度信息。一般说来，使用二维图像编辑方法分别编辑左右图像，会破坏图像的视差一致性并造成视觉上的不舒适性，因此，通常无法得到令人满意的结果。

[0004] 近年来，立体图像编辑方面开展了大量的研究工作。其中主要包括立体图像的生成与编辑两个方面。在立体图像的生成方面，主要的工作是2D与3D图像的转换。Kim等人于2011年提出了用单个图像模型来代表从立体视角观测到的所有区域，可以通过简单的视差调整来生成立体图像对。Wang等人于2011年提出了“StereoBrush:interactive2D to3D conversion using discontinuous warps”，该方法提出了一个新的2D转3D的系统流程，用户在2D图像上通过笔划指定部分区域的视差，然后系统能立刻计算出对应的3D图像。在立体图像编辑方面，当前的主要工作集中于基于人体视觉舒适度的视差编辑，以及将当前的2D图像编辑操作应用于立体图像的编辑处理中。Lang等人于2010年提出了“Nonlinear disparity mapping for stereoscopic3D”，该方法提出了一系列视差映射的算子来改变人体对立体图像感知的视差范围。Lo等人于2010年提出了“Stereoscopic3D Copy&Paste”，该方法是立体图像融合处理的最新方法，提出了一个交互式的工具从立体图像对中提取出融合对象，然后采用立体公告板（stereo billboard）模型将提取出的对象融合到目标立体图像中。该方法在许多场合下能够取得很好的结果，但是具有一定的局限性。例如该方法要求从立体图像对中精确提取出对象，这通常是不稳定的，且对于融合对象的边界比较模糊如水中的船，空中的烟等对象无法处理。此外，该方法需要从立体图像中精确地提取出融合对象，该过程通常是比较不稳定且不可控的。本发明为了解决这个问题，提出了将2D对象融合到立体图像中，使得立体图像融合的过程更加稳定、可控且高效。

发明内容

[0005] 本发明要解决的技术问题是：如何以直观方便的交互方式将2D图像快速准确地融合到立体图像中，并在融合结果中体现出2D对象立体感。

[0006] 为解决上述技术问题，本发明提供了一种立体图像的深度一致性融合处理方法，其特征在于以交互的方式将二维图像融合到立体图像中，包括以下步骤：

[0007] （1）二维融合区域的三角化和立体背景图像的视差估算

[0008] 以融合边界和二维图像中的SIFT特征点为约束，利用Delaunay方法对二维融合区域进行三角化，得到三角网格；通过立体匹配方法估算出立体图像的视差；

[0009] （2）交互式生成二维图像的视差图

[0010] 用户通过简单的笔划指定部分区域的视差，然后根据相邻区域的颜色相似性和边缘的不连续性的限制将指定区域的视差平滑地扩散到整个二维图像中；

[0011] （3）深度一致性的视差融合

[0012] 根据所述步骤（1）估算出的立体图像视差对所述步骤（2）中交互生成的二维图像的视差进行深度一致性融合，使得二维图像与立体图像的视差在连续性融合边界上保持连续，从而保证融合结果的深度一致性；

[0013] （4）二维融合对象的变形以及与立体背景图像的融合

[0014] 根据所述步骤（3）深度一致性融合后的二维图像的视差，构造出视差一致性Ed、透视尺度Es以及深度一致性Ec三个约束项，将待融合的二维对象变形为立体图像对，并根据深度一致性约束Ec确定二维对象变形后的融合位置，最后将变形后的立体图像对与目标立体图进行无缝融合；

[0015] 其中，步骤（4）按以下方式对二维融合对象进行变形：将所述的三个约束项按以下公式（1）进行线性组合，得到对象变形的能量E（v），最小化该能量E（v）得到的输出结果即为变形后左右图的三角网格v，所述的变形后左右图的三角网格v包括左图的三角网格Tl和右图的三角网格Tr；根据变形后的左图的三角网格Tl和右图的三角网格Tr，通过纹理映射将融合对象分别进行变形，得到一对变形后的对象；

[0016] argminvE(v)=argminv(wdEd+wsEs+wcEc) （1）

[0017] 式中，wd为视差一致性Ed的重要性；ws,为透视尺度Es的重要性；wc为深度一致性Ec的重要性。

[0018] 本发明所提出的用于立体图像的深度一致性融合处理方法能够以直观方便的交互方式将2D图像快速准确地融合到立体背景图像中，并在融合结果中体现出2D融合对象的立体感。本方法提出的融合方法具有很好的实时性，能够在用户交互式编辑2D图像视差的同时，实时地看到2D对象融合到立体背景图像中的结果，并以此为反馈继续编辑。

附图说明

[0019] 图1是本发明实施的一种立体图像的深度一致性融合处理方法流程图；

[0020] 图2是基于图1处理方法的立体图像融合系统；

具体实施方式

[0021] 下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

[0022] 如图1所示，为立体图像的深度一致性融合处理方法的一个实施例的处理流程图，包括：

[0023] （1）二维融合区域的三角化和立体背景图像的视差估算。

[0024] 对于二维融合区域的三角化，以融合边界和图像中的特征点为约束，利用Delaunay方法进行三角化，得到三角网格。其中，通过计算输入二维图像的SIFT特征来确定图像中的特征点。在实际计算中，采用适应性的非最大化压制（non-maximal supression）方法来避免局部的SIFT点过密的情况。对于立体背景图像的视差估算，本发明假定输入的立体背景图像是经过校正的且没有明显的垂直视差。通过Simth等人2009年提出的立体匹配方法计算出立体图像的视差。

[0025] （2）交互式生成二维图像的视差图。

[0026] 用户在输入的2D图像上随意画上一些指定粗细和数值的笔划，笔划上的数值表示用户指定的该区域的视差。然后根据相邻区域的颜色相似性和边缘不连续性约束，将指定区域的视差平滑地扩散到整个图像中。为避免不显著性边缘附近视差错误性扩散，本发明提出了让用户指定不显著性边缘，并将此作为约束来改进视差的扩散。

[0027] （3）深度一致性视差融合。

[0028] 为保证融合结果的深度一致性，必须根据深度连续性来确定融合边界上视差连续性。将步骤（2）生成的二维图像的视差对步骤（1）估算出的立体背景的视差进行融合，本发明采用基于权值调整的均值坐标（mean-value coordinates）方法来计算视差融合的结果。

[0029] （4）二维融合对象的变形以及与立体背景图像的融合。

[0030] 为了生成二维对象在融合结果中的立体感，需要对二维对象进行尺度和形状的变换，本发明通过考虑如下的3个约束来进行对象的变形：视差一致性Ed，透视尺度Es以及深度一致性Ec约束。

[0031] 对于视差一致性Ed，在本发明中，主要是包括两个方面，1）约束变形后的左右图的三角网格上对应点的水平视差为步骤（3）计算得到的融合后的二维融合对象的视差；2）约束变形后的左右图的三角网格上对应点的垂直视差为0，从而保证结果的视觉舒适性。

[0032] 对于透视尺度Es，由于视差和用户感知深度之间存在非线性和正比关系，因此视差和目标的尺度之间存在非线性和反比关系。根据这一前提，本发明通过约束网格每条边的尺度变化来指定目标大小的变化。而每条边上的尺度变化由该边两个端点深度变化的平均值来表示。

[0033] 对于深度一致性Ec，本发明提出了约束变形后的对象的位置，使得变形后的对象与目标立体场景保持深度一致性。

[0034] 如下面的公式（1）所示，通过对以上三个能量进行线性组合，得到对象变形的能量E（v），其中，wd,ws,wc分别定义了以上三个约束项的重要性，在实际应用中一般分别设定为1.0，1.0，1.0。通过最小化该能量得到的输出结果即为变形后左右图的三角网格v（包括左图的三角网格Tl和右图的三角网格Tr）。

[0035] argminvE(v)=argminv(wdEd+wsEs+wcEc) （1）

[0036] 根据变形后的网格Tl,Tr，通过纹理映射将融合对象分别进行变形，得到一对变形后的对象，并将他们分别融合到立体背景图像对中。其中融合位置在上述优化过程中通过深度一致性约束确定。本发明采用alpha matting（透明值抠图）和基于梯度域融合相结合的方法来生成无缝自然的融合结果。用户通过立体眼镜可以感受到融合结果中自然生动的立体效果。

[0037] 如图2所示，本发明的方法能够让用户在编辑2D对象视差的过程中，实时地得到立体融合的结果，并以此为反馈继续编辑视差，从而得到用户满意的立体融合结果。

[0038] 本发明能够让用户以方便高效的方式进行立体图像的融合，使用2D图像作为输入具有更大的灵活性。因为与立体图像相比，2D图像更易获取和处理。本发明的成果能够应用于立体图像的实时编辑，以及立体视频的编辑等操作。

[0039] 以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。