一种利用轮廓感知的虚拟视点合成方法

摘要

本发明公开了一种利用轮廓感知的虚拟视点合成方法，主要在多视点视频图像的显示中有重要作用。具体步骤包括：对参考视点的图像进行网格化处理，利用轮廓感知算法找到图像中物体网格轮廓；以物体网格轮廓为基础，利用3DWarping算法对其进行虚拟视点图像的映射操作；利用多个参考视点图像的选择算法找到合适的映射后图像进行融合；利用空洞填补算法对融合后的虚拟视点图像进行修复生成最终的虚拟视点图像。本发明可以减少虚拟视点合成时变换像素点的数量而从而减少的计算量、提高绘制速度，结合视频图像的场景物体特征可以使特定场景的虚拟视点合成速度达到理想效果，进而实现多视点电视的新视点实时合成。

权利要求

1.一种利用轮廓感知的虚拟视点合成方法，其特征在于，具体步骤包括：

（100）、对参考视点的图像进行网格化处理，利用轮廓感知算法找到图像中物体网格轮廓；对图像中物体轮廓的感知算法具体为：将参考视点图像中的不同深度层次的物体进行分层，并且得到各层物体的大致网格化的轮廓，以这些轮廓来描述网格中的物体；

（200）、以步骤（100）中所找到的物体网格轮廓为基础，利用3DWarping 算法对其进行虚拟视点图像的映射操作；

（300）、利用多个参考视点图像的选择算法找到合适的映射后图像进行融合；

（400）、利用空洞填补算法对融合后的虚拟视点图像进行修复生成最终的虚拟视点图像。

2.根据权利要求1 所述的利用轮廓感知的虚拟视点合成方法，其特征在于，所述步骤（100）中，对参考视点的图像进行网格化处理的方法为：把二维的图像进行网格划分处理，每个网格顶点对应三维空间坐标值，从而形成空间三角形网格面片，图像则成为网格面片的纹理材质。

3.根据权利要求1 所述的利用轮廓感知的虚拟视点合成方法，其特征在于，所述步骤（200）具体为：以网格化的轮廓顶点为映射原点进行3Dwarping，映射后的点成为对应虚拟视点的网格化顶点。

4.根据权利要求1 所述的利用轮廓感知的虚拟视点合成方法，其特征在于，所述步骤（300）具体为：在多个参考视点生成的虚拟视点图像中选择合适的图像以备进行图像间的融合，选择的标准则是生成的图像有尽可能少的空洞和模糊区域。

5.根据权利要求4 所述的利用轮廓感知的虚拟视点合成方法，其特征在于，所述步骤（300）中采用直接融合的方式，将不同的参考视点图像进行Alpha 通道方式融合。

6.根据权利要求1 所述的利用轮廓感知的虚拟视点合成方法，其特征在于，所述步骤（400）具体为：将所述步骤（300）中融合生成的虚拟视点图像进行一次空洞填补，其算法基础是多种空洞填补算法的结合。

7.根据权利要求6 所述的利用轮廓感知的虚拟视点合成方法，其特征在于，所述步骤（400）中，对于图像修复过程中涉及的大空洞、细小空洞进行分类处理；对于所述细小空洞，采用深度图预处理的方法，对深度图进行平滑滤波；对于所述大空洞，一方面利用多个参考视点的纹理图，在不同的视点中寻找缺失的纹理信息；另一方面，利用图像修复算法填补空洞。

说明书

一种利用轮廓感知的虚拟视点合成方法

技术领域

[0001] 本发明是属于虚拟视点合成的技术领域，特别涉及一种轮廓感知的虚拟视点合成技术。适用于场景内物体轮廓相对规则，并且希望快速实现虚拟视点生成操作的应用场景。

背景技术

[0002] 随着视频绘制技术的不断发展，人们对于不同类型的视频需求也不断增长，特别是对于裸眼3D技术的需求日益强烈。目前国内外关于虚拟视点绘制技术的难点主要集中在以下方面：

[0003] 1）、虚拟视点合成所需的数据源格式不一，数据量比较大，需要的附加信息内容不足，传输耗时。

[0004] 2）、目前的算法都是以像素为Warping算法的应用单位，映射很耗时，对于希望达到实时效果的应用场景有很大局限性。

[0005] 3）、多数算法没有根据不同的场景来适应性的产生合适的效果，而都是通用型的算法，专用性不够，实现的效果也不能达到最佳。大部分研究考虑了很多虚拟视点生成后的填补工作，忽略了前期对于映射方式的改进，而后期的填补工作却还是非常的耗时没有达到实时的要求。

[0006] 4）、目前对于数据源中的附加信息的要求不是很高，所以算法在开发是考虑通用性而忽略了这些信息，如视频图像的深度信息。从而在映射过程中增加了不必要的深度匹配过程，增加的耗时。忽略了场景物体的轮廓信息提取，而这些轮廓信息可以减少映射过程的计算量。

发明内容

[0007] 本发明主要解决的技术问题是提供一种利用轮廓感知的虚拟视点合成方法，这种方法能够对具有多数规则物体的场景更快的实现虚拟视点的合成。

[0008] 为解决上述技术问题，本发明采用的一个技术方案是：提供一种利用轮廓感知的虚拟视点合成方法，具体步骤包括：

[0009] （100）、对参考视点的图像进行网格化处理，利用轮廓感知算法找到图像中物体轮廓；

[0010] （200）、以网格轮廓为基础利用3DWarping算法对其进行虚拟视点图像的映射操作；

[0011] （300）、利用多个参考视点图像的选择算法找到合适的映射后图像进行融合；

[0012] （400）、利用空洞填补算法对融合后的虚拟视点图像进行修复生成最终的虚拟视点图像。

[0013] 在本发明一个较佳实施例中，所述步骤（100）中，对参考视点的图像进行网格化处理的方法为：把二维的图像进行网格划分处理，每个网格顶点对应三维空间坐标值，从而形成空间三角形网格面片，图像则成为网格面片的纹理材质。

[0014] 在本发明一个较佳实施例中，所述步骤（100）中对图像中物体轮廓的感知算法具体为：将参考视点图像中的不同深度层次的物体进行分层，并且得到各层物体的大致网格化的轮廓，以这些轮廓来描述网格中的物体。

[0015] 在本发明一个较佳实施例中，所述步骤（200）具体为以网格化的轮廓顶点为映射原点进行3Dwarping，映射后的点成为对应虚拟视点的网格化顶点。

[0016] 在本发明一个较佳实施例中，所述步骤（300）具体为在多个参考视点生成的虚拟视点图像中选择合适的图像以备进行图像间的融合，选择的标准则是生成的图像有尽可能少的空洞和模糊区域。

[0017] 在本发明一个较佳实施例中，所述步骤（300）中采用直接融合的方式，将不同的参考视点图像进行Alpha通道方式融合。

[0018] 在本发明一个较佳实施例中，所述步骤（400）具体为：将步骤（300）中融合生成的虚拟视点图像进行一次空洞填补，其算法基础是多种空洞填补算法的结合。

[0019] 在本发明一个较佳实施例中，所述步骤（400）中，对于图像修复过程中涉及的大空洞、细小空洞进行分类处理；

[0020] 对于所述细小空洞，采用深度图预处理的方法，对深度图进行平滑滤波；

[0021] 对于所述大空洞，一方面利用多个参考视点的纹理图，在不同的视点中寻找缺失的纹理信息；另一方面，利用图像修复算法填补空洞。

[0022] 本发明的有益效果是：

[0023] 1）、本发明给出的基于轮廓感知的虚拟视点合成方法，采用将二维图像网格化的方法形成三维轮廓便于传统3DWarping算法的计算量的降低，从而提高整体算法的实时性。

[0024] 2）、本发明创新性的使用了图像网格化的方法简化图像表示方式，改变了处理二维图像的方式。

[0025] 3）、本发明基于算法的特性更加适用于拥有规则物体的场景虚拟视点合成的需求。在最后的融合和修复中的运算量都得到了减少，加快了虚拟视点的合成效率。

[0026] 本发明的方法适用于规则场景需要实时生成虚拟视点的需求。

附图说明

[0027] 图一为本发明利用轮廓感知的虚拟视点合成方法的流程图；

[0028] 图二为本发明利用轮廓感知的虚拟视点合成方法中修复图像算法演示图。

具体实施方式

[0029] 下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

[0030] 结合图1和图2所示，本发明公开了一种利用轮廓感知的虚拟视点合成方法，具体步骤包括：

[0031] 100）、对参考视点的图像进行网格化处理，利用轮廓感知算法找到图像中物体轮廓；

[0032] 110）、把二维的图像进行网格划分处理，每个网格顶点对应三维空间坐标值，从而形成空间三角形网格面片，图像则成为网格面片的纹理材质。

[0033] 120）、基于深度图的轮廓感知算法实现：

[0034] 首先获取物体的外轮廓，利用数据源中的深度图像信息进行像素级采样。将统一深度的像素样本进行归类分层，形成深度样本块，并以此样本块进行物体轮廓的描绘。

[0035] 例如，某块区域中像素pi的深度值di，di取值在0-255之间。不同物体的深度值分布差异巨大，从属同一物体的不同部位差异较小。以此为基础对di进行分类采样。采样标准可以要求精度自定义，如：长宽为100像素，深度取值范围为170-200。参考视点图像会因此形成以深度分层的像素块。再以这些像素块为基础，结合轮廓识别算法快速描绘出物体轮廓。最后将轮廓简化为三维空间的多边形面片，顶点记录着组成多边形的空间信息，以备后续的三维空间映射。

[0036] 200）、以网格轮廓为基础利用3DWarping算法对其进行虚拟视点图像的映射操作；

[0037] 虚拟视点合成技术多是基于DIBR的，轮廓感知也是以此为基础，利用深度图的像素深度信息对彩色图对物体轮廓进行描述。物体的轮廓以三角网格的形式组成，对图像的中物体形成相对概要保留。在后来的视点映射中物体的轮廓会以整个网格的内容映射下来，保留其内容。该算法的思想类似于图形学中的图形以纹理的形式着色。

[0038] 以轮廓感知算法映射后的图像会在轮廓边缘处形成因为前景、背景不同而形成的空洞。多个视点生成的虚拟视点图像可能会因为在生成的物体轮廓不一致而在后期融合是形成虚假背景。这是轮廓感知算法需要解决的一大难点，即让不同的参考视点在轮廓感知时能够得到相对一致的轮廓形状，在映射后也要能形成稳定的重合。

[0039] 基于轮廓网格的三维映射算法实现：

[0040] 步骤100）中得到的轮廓空间信息是此步骤中三维空间映射的基础。

[0041] 210）、映射过程中需要考虑映射后生成的空洞，减少后期修复所需的工作量，也能提高最后的生成效果。现在考虑一种参数，相似能量值用来衡量形状在映射中发生的变形程度。比如一个三角形有三个顶点(v1,v2,v3)和一个局部坐标系{(v2-v1), },其中表示顺时针90度方向。假设v1在原点出，而v2表示为(1,0)，则v3可以用以下的(a,b)表示为：

[0042]

[0043] 一些三角形的局部坐标都可以通过这种方式表示：

[0044]

[0045] 通过以上对三角形的顶点坐标的处理，我们可以利用以下计算公式得到相似能量值 表示：

[0046]

[0047] 220）、基于能量值的轮廓映射目的是要尽可能的保留物体的形状特征，在实现是我们为轮廓线设置了两个像素宽的平行线。所有的三角形轮廓线都是可伸缩的边缘线，这些线的形成利用了之前的能量值方程。映射后的图形会将这条平行的线分开形成前后景差而被填入空颜色。

[0048] 300）、图像融合

[0049] 图像融合的思想已经很成熟，通过像素点颜色值的加权融合法或者是通过Alpha通道的融合渲染的技术都已经得到了很好的实现。结合前面的多视点生成的虚拟视点图像，经过选择后进行融合会生成几乎没有空洞的虚拟视点图像。其中采用基于图像修复的算法可以取得较好的效果。

[0050] 多视点合成技术的过程中都会涉及多个映射图像结果的选择与融合。本发明采取直接融合的方式，将不同的参考视点图像进行Alpha通道方式融合，Alpha值代表像素在某个点的权重，默认的情况是以两个视点合成的权重分配为0.5和0.5。

[0051] 融合过程中遇到的前后景重叠问题使用通用的深度缓存方法解决。

[0052] 400）、图像修复

[0053] 不同的空洞问题修复方法也有所不同，对于图像修复过程中涉及的大空洞（连续大面积的像素缺失）、细小空洞（宽度在1-2个像素）需要分类处理：

[0054] 对于细小空洞，常常采用深度图预处理的方法，对深度图进行平滑滤波。对于大的空洞，一方面可以利用多个参考视点的纹理图，在不同的视点中寻找缺失的纹理信息；另一方面，利用现有的图像修复算法填补空洞。结合前面融合过程的生成结果，空洞修补算法要根据空洞周边信息生成完整的虚拟视点图像。

[0055] 细小空洞的解决方式是直接以周边内容像素的直接复制填充，对于生成的结果进行一次平滑处理。

[0056] 大空洞的解决算法步骤如下（结合图2所示）：

[0057] ①确定并标记待修复区域 及其边界 。

[0058] ②对任意像素点 ，定义 是可信度。当 位于区域 时， ，其他情况下 。定义 是数据项，表示 点处的等照线方向。二者乘积定义为点 的优先级，即 。

[0059] ③计算边界上所有点的优先级，并找到优先级最大的 点，从源区域 中寻找使得最小的匹配块，其中 代表块 与块 之间的距离，通常用Sum of Squared Differences（SSD）来表示。

[0060] ④复制区块 用来填补 。

[0061] ⑤更新边界 上所有像素点的可信度 ，重复执行步骤③-⑤，直到 为空。

[0062] 本发明利用轮廓感知的虚拟视点合成方法，主要在多视点视频图像的显示中有重要作用。利用轮廓感知的虚拟视点合成方法首先是获取物体的外轮廓，将其转换为轮廓曲线，提取曲线上的曲率最大点作为特征，投影到原有轮廓空间生成标志点，以标志点序列的形式表征轮廓，与模型库的轮廓信息数据进行相似度匹配，通过排除模型库中相似度较低的类别与姿态，得到候选类别编号列表。其次，利用SIFT算子提取原图像中物体表面的关键点，并生成该点的局部区域特征，以直方图的形式进行相似度匹配，以投票的策略来选出目标的类别及最接近的姿态。利用三角网格表示轮廓后将轮廓中的图像以纹理方式保存到对应网格。基于DIBR算法改进后的映射算法将三角形的网格轮廓进行变换，得到一个虚拟视点图像。之后多视点结果进行融合，再结合前面融合过程的生成结果，空洞修补算法要根据空洞周边信息生成完整的虚拟视点图像。

[0063] 本发明利用轮廓感知的虚拟视点合成方法可以减少虚拟视点合成时变换像素点的数量而从而减少的计算量、提高绘制速度，结合视频图像的场景物体特征可以使特定场景的虚拟视点合成速度达到理想效果，进而实现多视点电视的新视点实时合成。

[0064] 以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。