一种虚拟视点图像绘制方法

摘要

本发明公开了一种虚拟视点图像绘制方法，优点在于通过将参考视点的彩色图像分成若干个尺寸大小相同的块，并对各个块的平坦性进行判断，对于平坦块，只需对该块中的一个像素点实施三维图像变换以确定将该像素点从参考视点彩色图像投影到虚拟视点彩色图像的坐标映射关系，然后整个块采用此坐标映射关系投影到虚拟视点彩色图像中，由于只对一个像素点实施三维图像变换，因而可有效提高平坦块的绘制速度；而对于非平坦块则仍采用逐像素映射的三维图像变换方法将非平坦块中的各个像素点映射到需绘制的虚拟视点彩色图像中，这样可有效保证绘制精度，两者的结合使得在保证虚拟视点彩色图像绘制精度的同时，大大提高了绘制的速度。

权利要求

1.一种虚拟视点图像绘制方法，其特征在于包括以下具体步骤：①获取t时刻的K个参考视点的尺寸大小为P×Q的K幅彩色图像及其对应的K幅k深度图像，将t时刻的第k个参考视点的彩色图像记为IR，t，将t时刻的第k个参考视点k k k的深度图像记为DR，t，将t时刻的第k个参考视点的彩色图像IR，t 划分成NR 个尺寸大小k k为(p+Δp)×(q+Δq)的块，记第k个参考视点的彩色图像IR，t 中的第n个块为Bn，其中，kk∈[1，K]， Δp表示块Bn 与其右相邻块之间重叠的像k k

素点的列数，0≤Δp≤p，当Δp＝0时表示块Bn 与其右相邻块不重叠或表示块Bn 为第k kk个参考视点的彩色图像IR，t 的右边界处的块，Δq表示块Bn 与其下相邻块之间重叠的像k k素点的行数，0≤Δq≤q，当Δq＝0时表示块Bn 与其下相邻块不重叠或表示块Bn 为第kk个参考视点的彩色图像IR，t 的下边界处的块；

k k k

②定义第k个参考视点的彩色图像IR，t 中的第n个块Bn 为当前块Bn，判断当前k k块Bn 是否为平坦块，如果当前块Bn 为非平坦块，则利用第k个参考视点的深度图像DR，k kt 所提供的深度信息，采用公知的三维图像变换方法逐像素点计算当前块Bn 中的各个k像素点在需绘制的虚拟视点彩色图像中的坐标位置，并将当前块Bn 中的各个像素点逐k像素点地映射到需绘制的虚拟视点彩色图像中；如果当前块Bn 为平坦块，则选取当前k k块Bn 中的一个像素点，再利用第k个参考视点的深度图像DR，t 所提供的该像素点的深度信息，采用公知的三维图像变换方法计算该像素点在需绘制的虚拟视点彩色图像中的k坐标位置，得到把该像素点从第k个参考视点的彩色图像IR，t 映射到需绘制的虚拟视点k彩色图像中的坐标映射关系，并利用该坐标映射关系将当前块Bn 中的各个像素点映射到k需绘制的虚拟视点彩色图像中，具体处理过程如下：a.任取当前块Bn 中的一个像素点，k记该像素点的坐标为(xc，yc)，将该像素点到当前块Bn 的左边界的距离记为Δx，将该像k k素点到当前块Bn 的下边界的距离记为Δy，则该像素点到当前块Bn 的右边界的距离为k(p+Δp)-Δx-1，该像素点到当前块Bn 的上边界的距离为(q+Δq)-Δy-1；b.利用第k个k参考视点的深度图像DR，t 所提供的坐标为(xc，yc)的像素点的深度信息，采用公知的三维图像变换方法计算坐标为(xc，yc)的像素点在需绘制的虚拟视点彩色图像中的坐标位置，记计算得到的坐标位置为(x′c，y′c)；c.计算需绘制的虚拟视点彩色图像中坐标为(x′，y′)的像素点的像素值，其中，(x′c-Δx)≤x′≤(x′c+((p+Δp)-Δx-1))，(y′c-Δy)≤y′≤(y′c+((q+Δq)-Δy-1))，记由第k个参考视点的彩色图像IR，k k kt 和第k个参考视点的深度图像DR，t 绘制得到的虚拟视点彩色图像为ID，t，记虚k k拟视点彩色图像ID，t 中坐标为(x′，y′)的像素点的像素值为ID，t(x′，y′)，其中，IR，tk(xc+x′-x′c，yc+y′-y′c)为第k个参k

考视点的彩色图像IR，t 中坐标为(xc+x′-x′c，yc+y′-y′c)的像素点的像素值；在采用公知的三维图像变换方法确定平坦块和非平坦块的映射关系时，如果需绘制的虚拟视点彩k k色图像ID，t 中坐标为(x′，y′)的像素点与第k个参考视点的彩色图像IR，t 中的多个像k k素点相对应，则虚拟视点彩色图像ID，t 中坐标为(x′，y′)的像素点的像素值ID，t(x′，ky′)取第k个参考视点的彩色图像IR，t 中与坐标为(x′，y′)的像素点对应的多个像素点中深度值最小的像素点的像素值；

k

③重复步骤②将第k个参考视点的彩色图像IR，t 中的所有块全部映射到需绘制的虚拟k k视点彩色图像ID，t 中，得到由第k个参考视点的彩色图像IR，t 和第k个参考视点的深度图k k像DR，t 绘制的虚拟视点彩色图像ID，t ；

④重复步骤①～③直至得到由K个参考视点的彩色图像和其对应的深度图像分别绘制的K幅虚拟视点彩色图像，K幅虚拟视点彩色图像用集合表示为⑤采用图像融合方法融合由K个参考视点的彩色图像和其对应的深度图像分别绘制得到的K幅虚拟视点彩色图像，得到融合后的虚拟视点彩色图像，记融合后的虚拟视点彩色图像为I′D，t并对融合后的虚拟视点彩色图像I′D，t中的空洞像素点进行填补，得到最终的虚拟视点彩色图像，记最终的虚拟视点彩色图像为ID，t。

2.根据权利要求1所述的一种虚拟视点图像绘制方法，其特征在于所述的步骤②中判k k k断当前块Bn 是否为平坦块的具体过程为：计算当前块Bn 的背离值E，判断当前块Bn 的背k k离值E是否大于设定的阈值T，如果是，则标记当前块Bn 为非平坦块；否则，标记当前块Bn为平坦块。

k

3.根据权利要求2所述的一种虚拟视点图像绘制方法，其特征在于所述的当前块Bn的背离值E通过中的任一种公式计算得到，其中，i＝1或i＝

k k k

2，IR，t(x，y)表示当前块Bn 中坐标为(x，y)的像素点的像素值， 表示当前块Bn 中的所有像素点的像素值的均值，

4.根据权利要求2所述的一种虚拟视点图像绘制方法，其特征在于所述的阈值T的值k为T＝E±σ，其中，E为第k个参考视点的彩色图像IR，t 中的所有块 的背k

离值E构成的集合 的均值，σ为第k个参考视点的彩色图像IR，t 中的所有块 的背离值E构成的集合 的标准差。

5.根据权利要求1所述的一种虚拟视点图像绘制方法，其特征在于所述的步骤②中判k k断当前块Bn 是否为平坦块的具体过程为：计算第k个参考视点的深度图像DR，t 中与当前k块Bn 的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的对应块的背离值E，判断该对k应块的背离值E是否大于设定的阈值T，如果是，则标记当前块Bn 为非平坦块；否则，标记k当前块Bn 为平坦块。

6.根据权利要求5所述的一种虚拟视点图像绘制方法，其特征在于所述的k k

第k个参考视点的深度图像DR，t 中与当前块Bn 的坐标位置相同且尺寸大小同 为(p+Δp)×(q+Δq) 的 对 应 块 的 背 离 值E 通 过k

中的任一种公式计算得到，其中，i＝1或i＝2，DR，t(x，y)表示对应块中坐标为(x，y)的像素点的像素值， 表示对应块中的所有像素点的像素值的均值，

7.根据权利要求5所述的一种虚拟视点图像绘制方法，其特征在于所述的阈值T的值为T＝E±σ，其中，E为第k个参考视点的深度图像DR，tk中与第k个参考视点的彩色图像IR，kt 中的所有块 的各个块的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的各个对应块的背离值E构成的集合 的均值，σ为第k个参考视点的深k k

度图像DR，t 中与第k个参考视点的彩色图像IR，t 中的所有块 的各个块的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的各个对应块的背离值E构成的集合的标准差。

8.根据权利要求1所述的一种虚拟视点图像绘制方法，其特征在于所述的步骤②中判k断当前块Bn 是否为平坦块的具体过程为：首先采用公知的边缘检测方法对第k个参考视点k k的彩色图像IR，t 进行边缘检测，得到第k个参考视点的彩色图像IR，t 的二值化边缘图像，k k记该二值化边缘图像为EdgeI，该二值化边缘图像EdgeI 中像素值为1的像素点为边缘像k素，表示第k个参考视点的彩色图像IR，t 中与该边缘像素坐标位置相同的像素点位于第kk k个参考视点的彩色图像IR，t 的边缘，该二值化边缘图像EdgeI 中像素值为0的像素点为非k边缘像素，表示第k个参考视点的彩色图像IR，t 中与该非边缘像素坐标位置相同的像素点k k不是第k个参考视点的彩色图像IR，t 的边缘；然后判断该二值化边缘图像EdgeI 中与第kk k个参考视点的彩色图像IR，t 的当前块Bn 坐标位置相同的对应块中是否包含有边缘像素，k k如果是，则标记当前块Bn 为非平坦块；否则，标记当前块Bn 为平坦块。

9.根据权利要求1所述的一种虚拟视点图像绘制方法，其特征在于所述的步骤②中判k断当前块Bn 是否为平坦块的具体过程为：首先采用公知的边缘检测方法对第k个参考视点k k的深度图像DR，t 进行边缘检测，得到第k个参考视点的深度图像DR，t 的二值化边缘图像，k k记该二值化边缘图像为EdgeD，该二值化边缘图像EdgeD 中像素值为1的像素点为边缘像k素，表示第k个参考视点的深度图像DR，t 中与该边缘像素坐标位置相同的像素点位于第kk k个参考视点的深度图像DR，t 的边缘，该二值化边缘图像EdgeD 中像素值为0的像素点为非k边缘像素，表示第k个参考视点的深度图像DR，t 中与该非边缘像素坐标位置相同的像素点k k不是第k个参考视点的深度图像DR，t 的边缘；然后判断该二值化边缘图像EdgeD 中与第kk k个参考视点的彩色图像IR，t 的当前块Bn 坐标位置相同的对应块中是否包含有边缘像素，k k如果是，则标记当前块Bn 为非平坦块；否则，标记当前块Bn 为平坦块。

10.根据权利要求1至9中任一项所述的一种虚拟视点图像绘制方法，其特征在于所述的步骤⑤中对融合后的虚拟视点彩色图像I′D，t中的空洞像素点进行填补的具体过程为：⑤-1、判断由K幅虚拟视点彩色图像 融合得到的有空洞的虚拟视点彩色图像I′D，t中坐标为(x，y)的像素点是否为空洞像素点，如果是，则继续执行，否则，不进行填补操作，直接转步骤⑤-3；⑤-2、比较该有空洞的虚拟视点彩色图像I′D，t中坐标为(x，y)的像素点的深度值与(t-j)时刻的最终的虚拟视点彩色图像ID，t-j中坐标为(x，y)的像素点的深度值，判断这两个深度值之差是否小于设定值，如果是，则将(t-j)时刻的最终的虚拟视点彩色图像ID，t-j中坐标为(x，y)的像素点的像素值作为该有空洞的虚拟视点彩色图像I′D，t中坐标为(x，y)的像素点的像素值，并结束该有空洞的虚拟视点彩色图像I′D，t中坐标为(x，y)的像素点的空洞填补过程，其中，1≤j≤α，α为整常数；否则，将j的值加1，并判断j的值是否大于α，如果j的值小于等于α，则重复执行步骤⑤-2，如果j的值大于α，则采用公知的图像插值方法填补该有空洞的虚拟视点彩色图像I′D，t中坐标为(x，y)的像素点；⑤-3、重复执行步骤⑤-1和⑤-2直至填补完融合后的虚拟视点彩色图像I′D，t中的所有空洞像素点，得到最终的虚拟视点彩色图像ID，t。

说明书

一种虚拟视点图像绘制方法

技术领域

[0001] 本发明涉及一种自由视点电视技术，尤其是涉及一种自由视点电视中的虚拟视点图像绘制方法。

背景技术

[0002] 自由视点电视(Free viewpoint TV，FTV)是一种先进的视觉模式，它具有交互性和临场感，可以满足人们从不同角度观看三维场景的需求。自由视点电视系统通常由多视点视频信号采集、校正、编码、网络传输、解码、绘制和显示等几部分组成。

[0003] 基于彩色图像的绘制是自由视点电视系统的关键技术之一，它是从一系列已知的参考视点的彩色图像出发绘制生成虚拟视点图像的方法。与传统的绘制技术相比，它具有不需要复杂的三维场景建模、绘制速度快、适合于合成场景和真实场景等优点。基于深度图像的绘制(Depth Image Based Rendering，DIBR)是一种利用参考视点的彩色图像及该参考视点的彩色图像所对应的深度图像绘制生成虚拟视点图像的方法。DIBR由于将场景的深度信息引入到虚拟视点图像绘制中，从而大大减少了虚拟视点图像绘制所需的参考视点的数目。

[0004] DIBR通过利用参考视点的彩色图像及该参考视点的彩色图像中的每个像素对应的深度信息来合成三维场景的虚拟视点图像。其过程如下：首先利用深度信息将参考视点的彩色图像中的所有像素点重投影到实际的三维空间中，然后再将这些三维空间中的点投影到目标图像平面即虚拟视点图像平面上。这个从二维到三维的重投影以及从三维再到二维的投影被称为三维图像变换(3D image warping)。

[0005] 虚拟视点图像绘制质量的好坏以及绘制的速度对于自由视点电视系统的性能是至关重要的。现有的基于深度图像的虚拟视点图像绘制算法为保证绘制的精度一般采用逐像素进行三维图像变换(3D image warping)的映射方法，因此计算复杂度过高，要满足实时观看需求还存在一定的困难。

发明内容

[0006] 本发明所要解决的技术问题是提供一种在能够保证绘制精度的同时，提高绘制速度的虚拟视点图像绘制方法。

[0007] 本发明解决上述技术问题所采用的技术方案为：一种虚拟视点图像绘制方法，包括以下具体步骤：

[0008] ①获取t时刻的K个参考视点的尺寸大小为P×Q的K幅彩色图像及其对应的Kk幅深度图像，将t时刻的第k个参考视点的彩色图像记为IR，t，将t时刻的第k个参考视点k k k
的深度图像记为DR，t，将t时刻的第k个参考视点的彩色图像IR，t 划分成NR 个尺寸大小k k
为(p+Δp)×(q+Δq)的块，记第k个参考视点的彩色图像IR，t 中的第n个块为Bn，其中，k
k∈[1，K]， Δp表示块Bn 与其右相邻块之间重叠的像
k k
素点的列数，0≤Δp≤p，当Δp＝0时表示块Bn 与其右相邻块不重叠或表示块Bn 为第k k
k个参考视点的彩色图像IR，t 的右边界处的块，Δq表示块Bn 与其下相邻块之间重叠的像k k
素点的行数，0≤Δq≤q，当Δq＝0时表示块Bn 与其下相邻块不重叠或表示块Bn 为第k
k个参考视点的彩色图像IR，t 的下边界处的块；

[0009] ②定义第k个参考视点的彩色图像IR，tk中的第n个块Bnk为当前块Bnk，判断当k k前块Bn 是否为平坦块，如果当前块Bn 为非平坦块，则利用第k个参考视点的深度图像k k
DR，t 所提供的深度信息，采用公知的三维图像变换方法逐像素点计算当前块Bn 中的各k
个像素点在需绘制的虚拟视点彩色图像中的坐标位置，并将当前块Bn 中的各个像素点k
逐像素点地映射到需绘制的虚拟视点彩色图像中；如果当前块Bn 为平坦块，则选取当前k k
块Bn 中的一个像素点，再利用第k个参考视点的深度图像DR，t 所提供的该像素点的深度信息，采用公知的三维图像变换方法计算该像素点在需绘制的虚拟视点彩色图像中的k
坐标位置，得到把该像素点从第k个参考视点的彩色图像IR，t 映射到需绘制的虚拟视点k
彩色图像中的坐标映射关系，并利用该坐标映射关系将当前块Bn 中的各个像素点映射到k
需绘制的虚拟视点彩色图像中，具体处理过程如下：a.任取当前块Bn 中的一个像素点，k
记该像素点的坐标为(xc，yc)，将该像素点到当前块Bn 的左边界的距离记为Δx，将该像k k
素点到当前块Bn 的下边界的距离记为Δy，则该像素点到当前块Bn 的右边界的距离为k
(p+Δp)-Δx-1，该像素点到当前块Bn 的上边界的距离为(q+Δq)-Δy-1；b.利用第k个k
参考视点的深度图像DR，t 所提供的坐标为(xc，yc)的像素点的深度信息，采用公知的三维图像变换方法计算坐标为(xc，yc)的像素点在需绘制的虚拟视点彩色图像中的坐标位置，记计算得到的坐标位置为(x′c，y′c)；c.计算需绘制的虚拟视点彩色图像中坐标为(x′，y′)的像素点的像素值，其中，(x′c-Δx)≤x′≤(x′c+((p+Δp)-Δx-1))，(y′c-Δy)≤y′≤(y′c+((q+Δq)-Δy-1))，记由第k个参考视点的彩色图像IR，k k k
t 和第k个参考视点的深度图像DR，t 绘制得到的虚拟视点彩色图像为ID，t，记虚k k
拟视点彩色图像ID，t 中坐标为(x′，y′)的像素点的像素值为ID，t(x′，y′)，其中，IR，tk(xc+x′-x′c，yc+y′-y′c)为第k个参
k
考视点的彩色图像IR，t 中坐标为(xc+x′-x′c，yc+y′-y′c)的像素点的像素值；在采用公知的三维图像变换方法确定平坦块和非平坦块的映射关系时，如果需绘制的虚拟视点彩k k
色图像ID，t 中坐标为(x′，y′)的像素点与第k个参考视点的彩色图像IR，t 中的多个像k k
素点相对应，则虚拟视点彩色图像ID，t 中坐标为(x′，y′)的像素点的像素值ID，t(x′，k
y′)取第k个参考视点的彩色图像IR，t 中与坐标为(x′，y′)的像素点对应的多个像素点中深度值最小的像素点的像素值；
k

[0010] ③重复步骤②将第k个参考视点的彩色图像IR，t 中的所有块全部映射到需绘制的k k虚拟视点彩色图像ID，t 中，得到由第k个参考视点的彩色图像IR，t 和第k个参考视点的深k k
度图像DR，t 绘制的虚拟视点彩色图像ID，t ；

[0011] ④重复步骤①～③直至得到由K个参考视点的彩色图像和其对应的深度图像分别绘制的K幅虚拟视点彩色图像，K幅虚拟视点彩色图像用集合表示为

[0012] ⑤采用图像融合方法融合由K个参考视点的彩色图像和其对应的深度图像分别绘制得到的K幅虚拟视点彩色图像，得到融合后的虚拟视点彩色图像，记融合后的虚拟视点彩色图像为I′D，t，并对融合后的虚拟视点彩色图像I′D，t中的空洞像素点进行填补，得到最终的虚拟视点彩色图像，记最终的虚拟视点彩色图像为ID，t。

[0013] 所述的步骤②中判断当前块Bnk是否为平坦块的具体过程为：计算当前块Bnk的背k k离值E，判断当前块Bn 的背离值E是否大于设定的阈值T，如果是，则标记当前块Bn 为非平k
坦块；否则，标记当前块Bn 为平坦块。

[0014] 所 述 的 当 前 块 Bnk 的 背 离 值 E 通 过 、、
k k
中的任一种公式计算得到，其中，i＝1或i＝2，IR，t(x，y)表示当前块Bn 中坐标为(x，y)的像素点的像素值， 表示当前块Bnk中的所有像素点的像素值的均值，[0015] 所述的阈值T的值为T＝E±σ，其中，E为第k个参考视点的彩色图像IR，tk中的所有块 的背离值E构成的集合 的均值，σ为第k个参考视点
的彩色图像IR，tk中的所有块 的背离值E构成的集合 的标准
差。

[0016] 所述的步骤②中判断当前块Bnk是否为平坦块的具体过程为：计算第k个参考视点的深度图像DR，tk中与当前块Bnk的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的对应块的背离值E，判断该对应块的背离值E是否大于设定的阈值T，如果是，则标记当前块Bnk为非平坦块；否则，标记当前块Bnk为平坦块。

[0017] 所述的第k个参考视点的深度图像DR，tk中与当前块Bnk的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的对应块的背离值E通过 、、
k
中的任一种公式计算得到，其中，i＝1或i＝2，DR，t(x，y)表示对应块中坐标为(x，y)的像素点的像素值， 表示对应块中的所有像素点的像素值的均值，[0018] 所述的阈值T的值为T＝E±σ，其中，E为第k个参考视点的深度图像DR，tk中与k
第k个参考视点的彩色图像IR，t 中的所有块 的各个块的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δp)的各个对应块的背离值E构成的集合 的均
k k
值，σ为第k个参考视点的深度图像DR，t 中与第k个参考视点的彩色图像IR，t 中的所有块 的各个块的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的各个对应
块的背离值E构成的集合 的标准差。

[0019] 所述的步骤②中判断当前块Bnk是否为平坦块的具体过程为：首先采用公知的边k缘检测方法对第k个参考视点的彩色图像IR，t 进行边缘检测，得到第k个参考视点的彩色k k k
图像IR，t 的二值化边缘图像，记该二值化边缘图像为EdgeI，该二值化边缘图像EdgeI 中像k
素值为1的像素点为边缘像素，表示第k个参考视点的彩色图像IR，t 中与该边缘像素坐标k k
位置相同的像素点位于第k个参考视点的彩色图像IR，t 的边缘，该二值化边缘图像EdgeIk
中像素值为0的像素点为非边缘像素，表示第k个参考视点的彩色图像IR，t 中与该非边缘k
像素坐标位置相同的像素点不是第k个参考视点的彩色图像IR，t 的边缘；然后判断该二值k k k
化边缘图像EdgeI 中与第k个参考视点的彩色图像IR，t 的当前块Bn 坐标位置相同的对应k k
块中是否包含有边缘像素，如果是，则标记当前块Bn 为非平坦块；否则，标记当前块Bn 为平坦块。

[0020] 所述的步骤②中判断当前块Bnk是否为平坦块的具体过程为：首先采用公知的边k缘检测方法对第k个参考视点的深度图像DR，t 进行边缘检测，得到第k个参考视点的深度k k k
图像DR，t 的二值化边缘图像，记该二值化边缘图像为EdgeD，该二值化边缘图像EdgeD 中像k
素值为1的像素点为边缘像素，表示第k个参考视点的深度图像DR，t 中与该边缘像素坐标k k
位置相同的像素点位于第k个参考视点的深度图像DR，t 的边缘，该二值化边缘图像EdgeDk
中像素值为0的像素点为非边缘像素，表示第k个参考视点的深度图像DR，t 中与该非边缘k
像素坐标位置相同的像素点不是第k个参考视点的深度图像DR，t 的边缘；然后判断该二值k k k
化边缘图像EdgeD 中与第k个参考视点的彩色图像IR，t 的当前块Bn 坐标位置相同的对应k k
块中是否包含有边缘像素，如果是，则标记当前块Bn 为非平坦块；否则，标记当前块Bn 为平坦块。

[0021] 所述的步骤⑤中对融合后的虚拟视点彩色图像I′D，t中的空洞像素点进行填补的具体过程为：⑤-1、判断由K幅虚拟视点彩色图像 融合得到的有空洞的虚拟视点彩色图像I′D，t中坐标为(x，y)的像素点是否为空洞像素点，如果是，则继续执行，否则，不进行填补操作，直接转步骤⑤-3；⑤-2、比较该有空洞的虚拟视点彩色图像I′D，t中坐标为(x，y)的像素点的深度值与(t-j)时刻的最终的虚拟视点彩色图像ID，t-j中坐标为(x，y)的像素点的深度值，判断这两个深度值之差是否小于设定值，如果是，则将(t-j)时刻的最终的虚拟视点彩色图像ID，t-j中坐标为(x，y)的像素点的像素值作为该有空洞的虚拟视点彩色图像I′D，t中坐标为(x，y)的像素点的像素值，并结束该有空洞的虚拟视点彩色图像I′D，t中坐标为(x，y)的像素点的空洞填补过程，其中，1≤j≤α，α为整常数；否则，将j的值加1，并判断j的值是否大于α，如果j的值小于等于α，则重复执行步骤⑤-2，如果j的值大于α，则采用公知的图像插值方法填补该有空洞的虚拟视点彩色图像I′D，t中坐标为(x，y)的像素点；⑤-3、重复执行步骤⑤-1和⑤-2直至填补完融合后的虚拟视点彩色图像I′D，t中的所有空洞像素点，得到最终的虚拟视点彩色图像ID，t。步骤⑤中对融合后的虚拟视点彩色图像I′D，t中的空洞像素点进行填补也可直接采用公知的图像插值方法进行实施，得到最终的虚拟视点彩色图像ID，t。

[0022] 与现有技术相比，本发明的优点在于通过将参考视点的彩色图像分成若干个尺寸大小相同的块，并对各个块的平坦性进行判断，对于平坦块，只需对该块中的一个像素点实施三维图像变换以确定将该像素点从参考视点彩色图像投影到虚拟视点彩色图像的坐标映射关系，然后整个块采用此坐标映射关系投影到虚拟视点彩色图像中，由于只对一个像素点实施三维图像变换，因而可有效提高平坦块的绘制速度；而对于非平坦块则仍采用逐像素映射的三维图像变换方法将非平坦块中的各个像素点映射到需绘制的虚拟视点彩色图像中，这样可有效保证绘制精度，两者的结合使得在保证虚拟视点彩色图像绘制精度的同时，大大提高了绘制的速度。

附图说明

[0023] 图1a为t时刻的第1个参考视点的尺寸大小为1024×768的彩色图像IR，t1；

[0024] 图1b为t时刻的第2个参考视点的尺寸大小为1024×768的彩色图像IR，t2；

[0025] 图2a为图1a所示的彩色图像IR，t1对应的第1个参考视点的尺寸大小为1
1024×768的深度图像DR，t ；

[0026] 图2b为图1b所示的彩色图像IR，t2对应的第2个参考视点的尺寸大小为2
1024×768的深度图像DR，t ；

[0027] 图3为第k个参考视点的彩色图像IR，tk的互不重叠块的划分方式示意图；

[0028] 图4为第k个参考视点的彩色图像IR，tk的相邻块之间部分重叠的块划分方式示意图；

[0029] 图5为将当前块中各个像素点采用相同的坐标映射关系映射到需绘制的虚拟视k点彩色图像ID，t 中的过程示意图；

[0030] 图6a为利用图1a所示的彩色图像和图2a所示的深度图像及图1b所示的彩色图像和图2b所示的深度图像分别采用逐像素进行三维图像变换及将变换后得到的两幅虚拟视点彩色图像进行图像融合得到的有空洞像素点的虚拟视点彩色图像I′D，t；

[0031] 图6b为利用图1a所示的彩色图像和图2a所示的深度图像及图1b所示的彩色图像和图2b所示的深度图像分别采用本发明方法进行三维图像变换及将变换后得到的两幅虚拟视点彩色图像进行图像融合得到的有空洞像素点的虚拟视点彩色图像I′D，t，其中p＝q＝8，Δp＝Δq＝0；

[0032] 图6c为利用图1a所示的彩色图像和图2a所示的深度图像及图1b所示的彩色图像和图2b所示的深度图像分别采用本发明方法进行三维图像变换及将变换后得到的两幅虚拟视点彩色图像进行图像融合得到的有空洞像素点的虚拟视点彩色图像I′D，t，其中p＝q＝8，Δp＝Δq＝1；

[0033] 图7a为图6a的局部图像；

[0034] 图7b为图6b的局部图像；

[0035] 图7c为图6c的局部图像；

[0036] 图8a为在虚拟视点实际拍摄得到的图像的局部区域；

[0037] 图8b为采用图像插值方法对图6c所示的虚拟视点彩色图像I′D，t进行空洞填补得到的最终的虚拟视点彩色图像ID，t的局部区域；

[0038] 图8c为采用与图6c所示的虚拟视点彩色图像I′D，t时域上相邻的且已绘制得到的三幅虚拟视点彩色图像ID，t-j(1≤j≤α，α＝3)及它们所对应的三幅深度图像DD，t-j(1≤j≤α，α＝3)对图6c所示的虚拟视点彩色图像I′D，t进行空洞填补得到的最终的虚拟视点彩色图像ID，t的局部区域。

具体实施方式

[0039] 以下结合附图实施例对本发明作进一步详细描述。

[0040] 本发明的虚拟视点图像绘制方法，包括以下具体步骤：

[0041] ①获取t时刻的K个参考视点的尺寸大小为P×Q的K幅彩色图像及K幅彩色图k像对应的K幅深度图像，将t时刻的第k个参考视点的彩色图像记为IR，t，将t时刻的第kk
个参考视点的深度图像记为DR，t，在此具体实施例中直接采用已有的如图1a和图1b所示的2个参考视点的彩色图像，它们分别所对应的2幅深度图像如图2a和图2b所示，这2幅彩色图像和2幅深度图像的尺寸大小均为1024×768，即K＝2，P＝1024，Q＝768。

[0042] 将t时刻的第k个参考视点的彩色图像IR，tk划分成NRk个尺寸大小为k k(p+Δp)×(q+Δq)的块，记第k个参考视点的彩色图像IR，t 中的第n个块为Bn，其中，k k
k∈[1，K]， NR 个块的并集构成了第k个参考视点的彩色图像IR，t，
k
即 Δp表示块Bn 与其右相邻块之间重叠的像素点的列数，0≤Δp≤p，当Δp＝0时表示块Bnk与其右相邻块不重叠，或表示块Bnk为第k个参考视点的彩色图像IR，tk的k
右边界处的块，即位于第k个参考视点的彩色图像IR，t 的右边界的 个最右块的Δp＝0；
k
Δq表示块Bn 与其下相邻块之间重叠的像素点的行数，0≤Δq≤q，在此，下相邻块即为k k
位于当前块的正下方的相邻块，当Δq＝0时表示块Bn 与其下相邻块不重叠，或表示块Bnk
为第k个参考视点的彩色图像IR，t 的下边界处的块，即位于第k个参考视点的彩色图像IR，k
t 的下边界的 个最下方的块的Δq＝0。
k

[0043] 图3给出了第k个参考视点的彩色图像IR，t 的互不重叠块的划分方式示意图，图3k所示的块划分方式中Δp＝0且Δq＝0。图4给出了第k个参考视点的彩色图像IR，t 的相邻块之间部分重叠的块划分方式示意图，图4所示的块划分方式中Δp≠0且Δq≠0，k k
图4中阴影部分标记了第k个参考视点的彩色图像IR，t 中的第n个块Bn 与其右相邻块和下相邻块的重叠部分。在此具体实施例中采用相邻块部分重叠的块划分方式，Δp＝Δq＝
1。
k k k

[0044] ②定义第k个参考视点的彩色图像IR，t 中的第n个块Bn 为当前块Bn，判断当k k前块Bn 是否为平坦块，如果当前块Bn 为非平坦块，则利用第k个参考视点的深度图像k k
DR，t 所提供的深度信息，采用公知的三维图像变换方法逐像素点计算当前块Bn 中的各个k
像素点在需绘制的虚拟视点彩色图像中的坐标位置，并将当前块Bn 中的各个像素点逐像素点地映射到需绘制的虚拟视点彩色图像中，即对于非平坦块，其处理过程与现有的基k
于公知的三维图像变换的逐像素点绘制算法相同；如果当前块Bn 为平坦块，则选取当前k k
块Bn 中的一个像素点，再利用第k个参考视点的深度图像DR，t 所提供的该像素点的深度信息，采用公知的三维图像变换方法计算该像素点在需绘制的虚拟视点彩色图像中的k
坐标位置，得到把该像素点从第k个参考视点的彩色图像IR，t 映射到需绘制的虚拟视点k
彩色图像中的坐标映射关系，并利用该坐标映射关系将当前块Bn 中的各个像素点映射到k
需绘制的虚拟视点彩色图像中，具体处理过程如下：a.任取当前块Bn 中的一个像素点，k
记该像素点的坐标为(xc，yc)，将该像素点到当前块Bn 的左边界的距离记为Δx，将该像k k
素点到当前块Bn 的下边界的距离记为Δy，则该像素点到当前块Bn 的右边界的距离为k
(p+Δp)-Δx-1，该像素点到当前块Bn 的上边界的距离为(q+Δq)-Δy-1；b.利用第k个k
参考视点的深度图像DR，t 所提供的坐标为(xc，yc)的像素点的深度信息，采用公知的三维图像变换方法计算坐标为(xc，yc)的像素点在需绘制的虚拟视点彩色图像中的坐标位置，记计算得到的坐标位置为(x′c，y′c)；c.计算需绘制的虚拟视点彩色图像中坐标为(x′，y′)的像素点的像素值，其中，(x′c-Δx)≤x′≤(x′c+((p+Δp)-Δx-1))，(y′c-Δy)≤y′≤(y′c+((q+Δq)-Δy-1))，记由第k个参考视点的彩色图像IR，k k k
t 和第k个参考视点的深度图像DR，t 绘制得到的虚拟视点彩色图像为ID，t，记虚k k
拟视点彩色图像ID，t 中坐标为(x′，y′)的像素点的像素值为ID，t(x′，y′)，其中，IR，tk(xc+x′-x′c，yc+y′-y′c)为第k个参
k
考视点的彩色图像IR，t 中坐标为(xc+x′-x′c，yc+y′-y′c)的像素点的像素值；如果需k
绘制的虚拟视点彩色图像ID，t 中坐标为(x′，y′)的像素点与第k个参考视点的彩色图k k
像IR，t 中的多个像素点相对应，则虚拟视点彩色图像ID，t 中坐标为(x′，y′)的像素点k k
的像素值ID，t(x′，y′)取第k个参考视点的彩色图像IR，t 中与坐标为(x′，y′)的像k
素点对应的多个像素点中深度值最小的像素点的像素值。图5给出了当当前块Bn 为平坦k
块时将当前块Bn 中的各个像素点采用相同的坐标映射关系映射到需绘制的虚拟视点彩色k
图像ID，t 中的示意图。
k

[0045] 对于上述判断当前块Bn 是否为平坦块可通过四种方式实现，具体如下：k k

[0046] 第一种方式，通过计算第k个参考视点的彩色图像IR，t 中的当前块Bn 自身的背k k离值E来直接判断当前块Bn 的平坦性，其具体过程为：计算当前块Bn 的背离值E，判断k k
当前块Bn 的背离值E是否大于设定的阈值T，如果是，则标记当前块Bn 为非平坦块；否k k
则，标记当前块Bn 为平坦块。在此，当前块Bn 的背离值E通过
、 、
k k
中的任一种公式计算得到，其中，i＝1或i＝2，IR，t(x，y)表示当前块Bn 中坐标k
为(x，y)的像素点的像素值， 表示当前块Bn 中的所有像素点的像素值的均值，该背离值E的计算公式的选取也可以是多种多样的，
k k
只要该背离值E能反映当前块Bn 中的各个像素点的像素值的偏离程度，如当前块Bn 中的各个像素点的像素值的方差、标准差等。阈值T的值为T＝E±σ，其中，E为第k个参考视k
点的彩色图像IR，t 中的所有块 的背离值E构成的集合 的均
k
值，σ为第k个参考视点的彩色图像IR，t 中的所有块 的背离值E构成的集合 的标准差；阈值T的选取也可以采用其它方法，该阈值T可以是固定阈值，也可以是自适应阈值。

[0047] 第二种方式，该方式与第一种方式相似，不同的是该方式是利用已有的t时刻k k的第k个参考视点的彩色图像IR，t 对应的深度图像DR，t，通过判断第k个参考视点的k k
深度图像DR，t 中与当前块Bn 坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的对k
应块的平坦性来间接判断当前块Bn 的平坦性，其具体过程为：计算第k个参考视点的k k
深度图像DR，t 中与当前块Bn 的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的对应块的背离值E，判断该对应块的背离值E是否大于设定的阈值T，如果是，则标记k k
当前块Bn 为非平坦块；否则，标记当前块Bn 为平坦块。在此，对应块的背离值E可通过 、 、
中的任一种公式计算得到，其中，i＝1或i＝
2，DR，tk(x，y)表示对应块中坐标为(x，y)的像素点的像素值， 表示对应块中的所有像素点的像素值的均值， 背离值E的计算公式的选取
可以是多种多样的，只要该背离值E能反映对应块中的各个像素点的像素值的偏离程度，如对应块中的各个像素点的像素值的方差、标准差等。在此，阈值T的值为T＝E±σ，其k k
中，E为第k个参考视点的深度图像DR，t 中与第k个参考视点的彩色图像IR，t 中的所有块的各个块的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的各个对应
k
块的背离值E构成的集合 的均值，σ为第k个参考视点的深度图像DR，t 中k
与第k个参考视点的彩色图像IR，t 中的所有块 的各个块的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的各个对应块的背离值E构成的集合 的标
准差；阈值T的选取也可以采用其它方法，阈值T可以是固定阈值，也可以是自适应阈值。

[0048] 第三种方式，通过对第k个参考视点的彩色图像IR，tk进行边缘检测，然后通过衡量k k当前块Bn 中的边缘像素的多寡来判定当前块Bn 的平坦性，其具体过程为：首先采用公知k
的边缘检测方法对第k个参考视点的彩色图像IR，t 进行边缘检测，得到第k个参考视点的k k k
彩色图像IR，t 的二值化边缘图像，记该二值化边缘图像为EdgeI，该二值化边缘图像EdgeIk
中像素值为1的像素点为边缘像素，表示第k个参考视点的彩色图像IR，t 中与该边缘像素k
坐标位置相同的像素点位于第k个参考视点的彩色图像IR，t 的边缘，该二值化边缘图像k k
EdgeI 中像素值为0的像素点为非边缘像素，表示第k个参考视点的彩色图像IR，t 中与该k
非边缘像素坐标位置相同的像素点不是第k个参考视点的彩色图像IR，t 的边缘；然后判断k k k
该二值化边缘图像EdgeI 中与第k个参考视点的彩色图像IR，t 的当前块Bn 坐标位置相同k
的对应块中是否包含有边缘像素，如果是，则标记当前块Bn 为非平坦块；否则，标记当前块k
Bn 为平坦块。

[0049] 第四种方式，该方式与第三种方式相似，不同的是该方式是通过对第k个参考视k k点的深度图像DR，t 进行边缘检测，然后通过衡量第k个参考视点的深度图像DR，t 中与当前k
块Bn 坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的对应块中的边缘像素的多寡来判k
定该对应块的平坦性，进而判定当前块Bn 的平坦性，其具体过程为：首先采用公知的边缘k
检测方法对第k个参考视点的深度图像DR，t 进行边缘检测，得到第k个参考视点的深度图k k k
像DR，t 的二值化边缘图像，记该二值化边缘图像为EdgeD，该二值化边缘图像EdgeD 中像素k
值为1的像素点为边缘像素，第k个参考视点的深度图像DR，t 中与该边缘像素坐标位置相k k
同的像素点位于第k个参考视点的深度图像DR，t 的边缘，该二值化边缘图像EdgeD 中像素k
值为0的像素点为非边缘像素，表示第k个参考视点的深度图像DR，t 中与该非边缘像素坐k
标位置相同的像素点不是第k个参考视点的深度图像DR，t 的边缘；然后判断该二值化边缘k k k
图像EdgeD 中与第k个参考视点的彩色图像IR，t 的当前块Bn 坐标位置相同的对应块中是k k
否包含有边缘像素，如果是，则标记当前块Bn 为非平坦块；否则，标记当前块Bn 为平坦块。

[0050] 在此具体实施例中，通过第二种方式来判断当前块Bnk的平坦性，如果当前块Bnk为k平坦块，则选取当前块Bn 左上角的像素点作为坐标为(xc，yc)的像素点，通过三维图像变换方法首先利用深度信息将坐标为(xc，yc)的像素点重投影到实际的三维空间中，然后再将该三维空间中的点投影到目标图像平面即虚拟视点彩色图像平面上，由此得到第k个参k k
考视点的彩色图像IR，t 中坐标为(xc，yc)的像素点与其在虚拟视点彩色图像ID，t 中的对应k
点(x′c，y′c)的坐标映射关系 进而对于当前块Bn 中的所有像素点都采用此坐标映射关系 将它们投影到虚拟视点彩色图像平面中，而不再是利用三维图像变换方法分别计算k
当前块Bn 中每个像素点各自的坐标映射关系 从而有效减少了三维图像变换的次数，提k
高了绘制速度。如果当前块Bn 为非平坦块，由于非平坦块可能位于对象的边界，为保证绘制的精度，本发明对于非平坦块仍采用逐像素进行三维图像变换的方法求取这些像素点在k
需绘制的虚拟视点彩色图像ID，t 中的坐标位置，并将它们逐像素投影到需绘制的虚拟视点k
彩色图像ID，t 中。需要说明的是，采用三维图像变换的方法将某参考视点的彩色图像重投影到虚拟视点彩色图像的过程如下：首先利用深度信息将参考视点的彩色图像中的像素点重投影到实际的三维空间中，然后再将这些三维空间中的点投影到目标图像平面即虚拟视点图像平面上。该过程不仅能将参考视点的彩色图像中各个像素点重投影到虚拟视点彩色图像中，同时也能获取虚拟视点彩色图像对应的深度图像。

[0051] ③重复步骤②将第k个参考视点的彩色图像IR，tk中的所有块全部映射到需绘制的k k虚拟视点彩色图像ID，t 中，得到由第k个参考视点的彩色图像IR，t 和第k个参考视点的深k k
度图像DR，t 绘制的虚拟视点彩色图像ID，t。

[0052] ④重复步骤①～③直至得到由K个参考视点的彩色图像和其对应的深度图像分别绘制的K幅虚拟视点彩色图像，K幅虚拟视点彩色图像用集合表示为

[0053] ⑤采用公知的任意成熟的图像融合方法融合由K个参考视点的彩色图像和各彩色图像对应的深度图像分别绘制得到的K幅虚拟视点彩色图像 得到融合后的虚拟视点彩色图像，记融合后的虚拟视点彩色图像为I′D，t，并对融合后的虚拟视点彩色图像I′D，t中的空洞像素点进行填补，得到最终的虚拟视点彩色图像，记最终的虚拟视点彩色图像为ID，t。

[0054] 对于上述对融合后的虚拟视点彩色图像I′D，t中的空洞像素点进行填补的具体1
过程为：⑤-1、记由图1a所示的第1个参考视点的彩色图像IR，t 和图2a所示的其对应的
1 1
深度图像DR，t 绘制得到的虚拟视点彩色图像为ID，t，记由图1b所示的第2个参考视点的彩
2 2 2
色图像IR，t 和图2b所示的其对应的深度图像DR，t 绘制得到的虚拟视点彩色图像为ID，t，记
1 2
由这2幅虚拟视点彩色图像ID，t 和ID，t 融合得到的有空洞像素点的虚拟视点彩色图像为I′D，t，判断该有空洞像素点的虚拟视点彩色图像I′D，t中坐标为(x，y)的像素点是否为
1 2
空洞像素点，空洞像素点即该像素点的像素值未能从2幅虚拟视点彩色图像ID，t 和ID，t 融合得到，如果坐标为(x，y)的像素点是空洞像素点，则继续执行，否则，不进行填补操作，直接转步骤⑤-3；⑤-2、比较该有空洞像素点的虚拟视点彩色图像I′D，t中坐标为(x，y)的像素点的深度值与(t-j)时刻的最终的虚拟视点彩色图像ID，t-j中坐标为(x，y)的像素点的深度值，(t-j)时刻的最终的虚拟视点彩色图像ID，t-j与该有空洞像素点的虚拟视点彩色图像I′D，t在时域上相邻且(t-j)时刻的虚拟视点彩色图像ID，t-j已绘制，判断这两个深度值之差是否小于设定值，如果是，即两者的深度值相近似，则认为该有空洞的虚拟视点彩色图像I′D，t中坐标为(x，y)的像素点与(t-j)时刻的最终的虚拟视点彩色图像ID，t-j中坐标为(x，y)的像素点为实际的三维空间中的同一个点，因此将第(t-j)时刻的最终的虚拟视点彩色图像ID，t-j中坐标为(x，y)的像素点的像素值作为该有空洞的虚拟视点彩色图像I′D，t中坐标为(x，y)的像素点的像素值，并结束该像素点(x，y)的空洞填补过程，其中，
1≤j≤α，α为整常数，在此具体实施例中α取值为3；设定值为一常数，例如1或2，其值越小，意味着判断有空洞的虚拟视点彩色图像I′D，t中坐标为(x，y)的像素点与(t-j)时刻的最终的虚拟视点彩色图像ID，t-j中坐标为(x，y)的像素点是否为实际的三维空间中的同一个点的条件越苛刻；否则，将j的值加1，并判断j的值是否大于α，如果j的值小于等于α，则重复执行步骤⑤-2，如果j的值大于α，即通过上述步骤处理后坐标为(x，y)的像素点的像素值仍不能确定，则采用公知的图像插值方法填补该有空洞的虚拟视点彩色图像I′D，t中坐标为(x，y)的像素点；⑤-3、重复步骤⑤-1和⑤-2直至填补完虚拟视点彩色图像I′D，t中的所有空洞像素点，得到最终的虚拟视点彩色图像ID，t。

[0055] 对于上述对融合后的虚拟视点彩色图像I′D，t中的空洞像素点进行填补也可以直接采用公知的图像插值方法来实施。

[0056] 表1给出了采用本发明的非重叠块划分方法(p＝q＝8，Δp＝Δq＝0)和1个像素的重叠块划分方法(p＝q＝8，Δp＝Δq＝1)以及采用三维图像变换方法逐像素绘制虚拟视点彩色图像的方法进行虚拟视点彩色图像绘制的时间上的比较。

[0057] 表1不同绘制方法绘制时间的比较 单位：ms[0058]测试序列 Torg Tblock Toverlap (Torg-Toverlap)/Torg
Breakdancers 125.24 59.935 66.455 46.9％
Ballet 125.24 60.28 67.68 46.0％

[0059] 上述表1中Tblock为采用非重叠块划分方法的绘制时间，Toverlap为采用1个像素的重叠块划分方法的绘制时间，Torg为采用三维图像变换方法逐像素绘制虚拟视点彩色图像的方法的绘制时间，(Torg-Toverlap)/Torg为实际减少的绘制时间的百分比。由表1可见，与采用三维图像变换方法逐像素绘制虚拟视点彩色图像的方法相比，采用本发明的1个像素的重叠块划分方法(p＝q＝8，Δp＝Δq＝1)进行虚拟视点彩色图像绘制可以节省46％的绘制时间。

[0060] 图6a给出了利用图1a所示的彩色图像和图2a所示的深度图像及图1b所示的彩色图像和图2b所示的深度图像分别采用逐像素进行三维图像变换及将变换后得到的两幅虚拟视点彩色图像进行图像融合得到的有空洞像素点的虚拟视点彩色图像I′D，t，图6b给出了利用图1a所示的彩色图像和图2a所示的深度图像及图1b所示的彩色图像和图2b所示的深度图像分别采用本发明方法进行三维图像变换及将变换后得到的两幅虚拟视点彩色图像进行图像融合得到的有空洞像素点的虚拟视点彩色图像I′D，t，图6c给出了利用图1a所示的彩色图像和图2a所示的深度图像及图1b所示的彩色图像和图2b所示的深度图像分别采用本发明方法进行三维图像变换及将变换后得到的两幅虚拟视点彩色图像进行图像融合得到的有空洞像素点的虚拟视点彩色图像I′D，t，其中，图6b采用非重叠块划分方法，p＝q＝8，Δp＝Δq＝0，而图6c采用1个像素的重叠块划分方法，p＝q＝8，Δp＝Δq＝1。图7a给出了图6a所示的虚拟视点彩色图像I′D，t的局部放大图像，图7b给出了图6b所示的虚拟视点彩色图像I′D，t的局部放大图像，7c给出了图6c所示的虚拟视点彩色图像I′D，t的局部放大图像。由图6a、图6b、图6c、图7a、图7b和图7c可见，采用重叠块划分的方式绘制虚拟视点彩色图像，对象部分更加干净，减少了由于扩展而引起的前景被覆盖的问题。

[0061] 图8a为在虚拟视点实际拍摄得到的图像的局部区域，图8b为采用图像插值方法对图6c所示的图像进行空洞填补得到的最终的虚拟视点彩色图像ID，t的局部区域，图8c为采用与图6c所示的虚拟视点彩色图像I′D，t时域上相邻的且已绘制得到的三幅虚拟视点彩色图像ID，t-j(1≤j≤α，α＝3)及它们所对应的三幅深度图像DD，t-j(1≤j≤α，α＝3)对图6c所示的图像进行空洞填补得到的最终的虚拟视点彩色图像ID，t的局部区域，从图8a、图8b和图8c可以发现采用与该有空洞的虚拟视点彩色图像I′D，t时域上相邻的且已绘制得到的三幅虚拟视点彩色图像ID，t-j(1≤j≤α，α＝3)及它们所对应的深度图像DD，t-j(1≤j≤α，α＝3)进行空洞填补的方式所绘制的虚拟视点彩色图像保持了边界的准确性，而采用图像插值的方式进行空洞填补后则出现了边界模糊的现象。

[0062] 本发明方法，通过将参考视点的彩色图像分块，并对各个块的平坦性进行判断，以适时地对平坦块采用整块映射的三维图像变换方式以尽可能提高绘制速度，而对非平坦块仍采用逐像素映射的三维图像变换方式以保证绘制的精度，从而在保证虚拟视点彩色图像绘制精度的同时，大大提高了绘制的速度。