一种基于对象的立体/自由视点电视的虚拟图像绘制方法转让专利
申请号 : CN200910153326.7
文献号 : CN101695140B
文献日 : 2011-07-27
发明人 : 蒋刚毅 , 朱波 , 郁梅
申请人 : 宁波大学
摘要 :
权利要求 :
1.一种基于对象的立体/自由视点电视的虚拟图像绘制方法,其特征在于包括以下具体步骤:①获取t时刻的K个参考视点的尺寸大小为P×Q的K幅彩色图像及其对应的K幅深k度图像,将t时刻的第k个参考视点的彩色图像记为IR,t,将t时刻的第k个参考视点的深k k k度图像记为DR,t,将t时刻的第k个参考视点的彩色图像IR,t 自适应地划分成NR 个尺寸大小为(p+Δp)×(q+Δq)的块,并标记各个块的块映射类型,块映射类型包括逐像素映射k k型和整块映射型,记t时刻的第k个参考视点的彩色图像IR,t 中的第n个块为Bn,其中,k∈[1,K], p和q的值均为16、8、4、2四个值中的一个,Δp表示块k k
Bn 与其右相邻块之间重叠的像素点的列数,0≤Δp≤2,当Δp=0时表示块Bn 与其右相k k邻块不重叠或表示块Bn 为t时刻的第k个参考视点的彩色图像IR,t 的右边界处的块,Δqk k表示块Bn 与其下相邻块之间重叠的像素点的行数,0≤Δq ≤2,当Δq=0时表示块Bnk k与其下相邻块不重叠或表示块Bn 为t时刻的第k个参考视点的彩色图像IR,t 的下边界处的块;
k k
此处,将t时刻的第k个参考视点的彩色图像IR,t 自适应地划分成NR 个尺寸大小为(p+Δp)×(q+Δq)的块并标记各个块的块映射类型的具体步骤为:k
①-1、采用公知的对象提取技术对t时刻的第k个参考视点的彩色图像IR,t 进行对象k k提取,得到t时刻的第k个参考视点的彩色图像IR,t 的对象掩模图像,记为MR,t,将对象掩模图像MR,tk中坐标为(x,y)的像素点的像素值记为mR,tk(x,y), 表示t时刻的k k第k个参考视点的彩色图像IR,t 及其对应的深度图像DR,t 中坐标为(x,y)的像素点属于对象,将这样的像素点称为对象像素点, 表示t时刻的第k个参考视点的彩色k k图像IR,t 及其对应的深度图像DR,t 中坐标为(x,y)的像素点属于背景,将这样的像素 点称为背景像素点;
①-2、将t时刻的第k个参考视点的彩色图像IR,tk划分成 个互不重叠的16×16块,其中,P表示彩色图像的宽,Q表示彩色图像的高;
①-3、逐一处理t时刻的第k个参考视点的彩色图像IR,tk中的各个16×16块,定义当前正在处理的16×16块为当前16×16块,将当前16×16块分解成4个8×8块,对各个
8×8块进行区域标记,如果8×8块中的所有像素点均为对象像素点,则将该8×8块标记为对象内部区域,如果8×8块中的所有像素点均为背景像素点,则将该8×8块标记为背景区域,否则,将该8×8块标记为对象和背景之间的边界区域;
①-4、逐一处理当前16×16块中的各个8×8块,定义当前正在处理的8×8块为当前
8×8块,当当前8×8块为对象内部区域时,执行步骤①-5;当当前8×8块为背景区域时,执行步骤①-6;当当前8×8块为对象和背景之间的边界区域时,执行步骤①-7;
①-5、将当前8×8块分解成4个4×4块,计算t时刻的第k个参考视点的深度图像DR,tk中与各个4×4块位置相对应的4个对应4×4块各自的背离值,逐一考察t时刻的第k个参考视点的深度图像DR,tk中的各个对应4×4块,判断对应4×4块的背离值是否小于设定的阈值,当对应4×4块的背离值小于设定的阈值时,将t时刻的第k个参考视点的彩k色图像IR,t 中与该对应4×4块位置相对应的4×4块记为p×q块,p=4,q=4,并标记该p×q块的块映射类型为整块映射型,当对应4×4块的背离值大于等于设定的阈值时,将kt时刻的第k个参考视点的彩色图像IR,t 中与该对应4×4块位置相对应的4×4块再分解k成4个2×2块,计算t时刻的第k个参考视点的深度图像DR,t 中与各个2×2块位置相对k应的4个对应2×2块各自的背离值,逐一考察t时刻的第k个参考视点的深度图像DR,t 中的各个对应2×2块,判断对应2×2块的背离值是否小于设定的阈值,当对应2×2块的背k离值小于设定的阈值时,将t时刻的第k个参考视点的彩色图像IR,t 中与该对应2×2块位置相对应的2×2块记为p×q块,p=2,q=2,并标记该p×q块的块映射类型为整块映射型,当对应2×2块的背离值大于等于设定的阈值时,将t时刻的第k个参考视点的彩色k图像IR,t 中与该对应2×2块位置相对应的2×2块记为p×q块,p=2,q=2,并标记该p×q块的块映射类型为逐像素映射型;然后执行步骤①-8; k
①-6、计算t时刻的第k个参考视点的深度图像DR,t 中与当前8×8块位置相对应的对应8×8块的背离值,判断对应8×8块的背离值是否小于设定的阈值,当对应8×8块的背离值小于设定的阈值时,将当前8×8块记为p×q块,p=8,q=8,并标记该p×q块的块映射类型为整块映射型;当对应8×8块的背离值大于等于设定的阈值时,将当前8×8块k再分解成2个8×4块,计算t时刻的第k个参考视点的深度图像DR,t 中与各个8×4块位置相对应的2个对应8×4块各自的背离值,逐一考察t时刻的第k个参考视点的深度图像kDR,t 中的各个对应8×4块,判断对应8×4块的背离值是否小于设定的阈值,当对应8×4块k的背离值小于设定的阈值时,将t时刻的第k个参考视点的彩色图像IR,t 中与该对应8×4块位置相对应的8×4块记为p×q块,p=8,q=4,并标记该p×q块的块映射类型为整块映射型,当对应8×4块的背离值大于等于设定的阈值时,将t时刻的第k个参考视点的彩k色图像IR,t 中与该对应8×4块位置相对应的8×4块分解成2个4×4块,或将当前8×8k块再分解成2个4×8块,计算t时刻的第k个参考视点的深度图像DR,t 中与各个4×8块位置相对应的2个对应4×8块各自的背离值,逐一考察t时刻的第k个参考视点的深度k图像DR,t 中的各个对应4×8块,判断对应4×8块的背离值是否小于设定的阈值,当对应k
4×8块的背离值小于设定的阈值时,将t时刻的第k个参考视点的彩色图像IR,t 中与该对应4×8块位置相对应的4×8块记为p×q块,p=4,q=8,并标记该p×q块的块映射类型为整块映射型,当对应4×8块的背离值大于等于设定的阈值时,将t时刻的第k个参考k视点的彩色图像IR,t 中与该对应4×8块位置相对应的4×8块分解成2个4×4块;计算kt时刻的第k个参考视点的深度图像DR,t 中与各个4×4块位置相对应的2个对应4×4块k各自的背离值,逐一考察t时刻的第k个参考视点的深度图像DR,t 中的各个对应4×4块,判断对应4×4块的背离值是否小于设定的阈值,当对应4×4块的背离值小于设定的阈值k时,将t时刻的第k个参考视点的彩色图像IR,t 中与该对应4×4块位置相对应的4×4块记为p×q块,p=4,q=4,并标记该p×q块的块映射类型为整块映射型,当对应4×4块k的背离值大于等于设定的阈值时,将t时刻的第k个参考视点的彩色图像 IR,t 中与该对应
4×4块位置相对应的4×4块记为p×q块,p=4,q=4,并标记该p×q块的块映射类型为逐像素映射型;然后执行步骤①-8;
①-7、将当前8×8块记为p×q块,p=8,q=8,并标记该p×q块的块映射类型为逐像素映射型,然后执行步骤①-8;
①-8、将当前16×16块中的下一个8×8块作为当前8×8块,并返回步骤①-4继续执行,直至当前16×16块中所有的8×8块均处理完毕;
k
①-9、将t时刻的第k个参考视点的彩色图像IR,t 中的下一个16×16块作为当前
16×16块,并返回步骤①-3继续执行,直至所有的16×16块均处理完毕;
k
①-10、将t时刻的第k个参考视点的彩色图像IR,t 中的各个p×q块向右扩展Δp个k像素点且向下扩展Δq个像素点,形成NR 个尺寸大小为(p+Δp)×(q+Δq)的块;
k k
②逐一处理t时刻的第k个参考视点的彩色图像IR,t 中的NR 个尺寸大小为k(p+Δp)×(q+Δq)的块,定义正在处理的t时刻的第k个参考视点的彩色图像IR,t 中的第k k k kn个块Bn 为当前块Bn,记需绘制的虚拟视点彩色图像为ID,t,当当前块Bn 的块映射类型为k逐像素映射型时,利用t时刻的第k个参考视点的深度图像DR,t 所提供的深度信息,采用k公知的三维图像变换方法逐像素点计算当前块Bn 中的各个像素点在需绘制的虚拟视点彩k k色图像ID,t 中的坐标位置,并将当前块Bn 中的各个像素点逐像素点地映射到需绘制的虚k k k拟视点彩色图像ID,t 中;当当前块Bn 的块映射类型为整块映射型时,选取当前块Bn 中的k一个像素点,再利用t时刻的第k个参考视点的深度图像DR,t 所提供的该像素点的深度信k息,采用公知的三维图像变换方法计算该像素点在需绘制的虚拟视点彩色图像ID,t 中的坐k标位置,得到把该像素点从t时刻的第k个参考视点的彩色图像IR,t 映射到需绘制的虚拟k k视点彩色图像ID,t 中的坐标映射关系,并利用该坐标映射关系将当前块Bn 中的各个像素k点映射到需绘制的虚拟视点彩色图像ID,t 中;
k
③重复步骤②将t时刻的第k个参考视点的彩色图像IR,t 中的所有块全部映射到需绘 k k制的虚拟视点彩色图像ID,t 中,得到由t时刻的第k个参考视点的彩色图像IR,t 和t时刻k k的第k个参考视点的深度图像DR,t 绘制成的虚拟视点彩色图像ID,t ;
④重复步骤①~③直至得到由K个参考视点的彩色图像和其对应的深度图像分别绘k制成的K幅虚拟视点彩色图像,K幅虚拟视点彩色图像用集合表示为{ID,t|1≤k≤K};
⑤采用图像融合方法融合由K个参考视点的彩色图像和其对应的深度图像分别绘制得到的K幅虚拟视点彩色图像,得到融合后的虚拟视点彩色图像,记融合后的虚拟视点彩色图像为I′D,t,并对融合后的虚拟视点彩色图像I′D,t中的空洞像素点进行填补,得到最终的虚拟视点彩色图像,记最终的虚拟视点彩色图像为ID,t。
2.根据权利要求1所述的一种基于对象的立体/自由视点电视的虚拟图像绘制方法,其特征在于所述的背离值的计算过程为:记背离值为σ,通过、 、 、 、
中的任一个公式计算得到,其中,dx,y为需要计算背离值的块中坐标为(x,y)的像素点的像素值, 为需要计算背离值的块包含的所有像素点的像素值的平均值,其值为 X×Y表示需要计算背离值的块的尺寸大小。
3.根据权利要求1或2所述的一种基于对象的立体/自由视点电视的虚拟图像k绘制方法,其特征在于所述的步骤②中当当前块Bn 的块映射类型为整块映射型时,将k k当前块Bn 中的各个像素点映射到需绘制的虚拟视点彩色图像ID,t 中的具体过程为:k
a.任取当前块Bn 中的一个像素点,记该像素点的坐标为(xc,yc),将该像素点到当前k k块Bn 的左边界的距离记为Δx,将该像素点到当前块Bn 的下边界的距离记为Δy,则k k该像素点到当前块Bn 的右边界的距离为(p+Δp)-Δx-1,该像素点到当前块Bn 的上k边界的距离为(q+Δq)-Δy-1;b.利用t时刻的第k个参考视点的深度图像DR,t 所提供的坐标为(xc,yc) 的像素点的深度信息,采用公知的三维图像变换方法计算坐标k为(xc,yc)的像素点在需绘制的虚拟视点彩色图像ID,t 中的坐标位置,记计算得到的k坐标位置为(x′c,y′c);c.计算需绘制的虚拟视点彩色图像ID,t 中坐标为(x′,y′)的像素点的像素值,其中,(x′c-Δx)≤x′≤(x′c+((p+Δp)-Δx-1)),(y′c-Δy)≤y′≤(y′c+((q+Δq)-Δy-1)),记由t时刻的第k个参考视点k k的彩色图像IR,t 和t时刻的第k个参考视点的深度图像DR,t 绘制得到的虚拟k k视点彩色图像ID,t 中坐标为(x′,y′)的像素点的像素值为ID,t(x′,y′), 其中,IR,tk(xc+x′-x′c,yc+y′-y′c)为t时刻的k
第k个参考视点的彩色图像IR,t 中坐标为(xc+x′-x′c,yc+y′-y′c)的像素点的像素值。
4.根据权利要求1所述的一种基于对象的立体/自由视点电视的虚拟图像绘制方法,其特征在于所述的步骤①中的块映射类型还包括坐标拷贝型;在执行所述的步骤①-4之k前,先判断t时刻的第k个参考视点的深度图像DR,t 中与当前16×16块位置相对应的对应16×16块的编码模式是否为SKIP模式且运动矢量是否为0,及当前16×16块中的4个
8×8块是否均不为对象和背景之间的边界区域,如果对应16×16块的编码模式为SKIP模式且运动矢量为0,并且当前16×16块中的4个8×8块均不为对象和背景之间的边界区域,则将当前16×16块记为p×q块,p=16,q=16,并标记该p×q块的块映射类型为坐标拷贝型,然后执行步骤①-9,否则,执行步骤①-4。
5.根据权利要求4所述的一种基于对象的立体/自由视点电视的虚拟图像绘制方法,k k其特征在于所述的步骤②中当当前块Bn 的块映射类型为坐标拷贝型时,在将当前块Bn 的k各个像素点从t时刻的第k个参考视点的彩色图像IR,t 映射到需绘制的虚拟视点彩色图像k kID,t 中时,当前块Bn 的各个像素点的坐标映射关系采用t时刻的第k个参考视点的彩色图k k k像IR,t 的参考帧IR,t-r 中与当前块Bn 坐标位置相同的对应块中的对应像素点的坐标映射关系,其中,r为一非零整数且|r|<图像组GOP的长度。
说明书 :
一种基于对象的立体/自由视点电视的虚拟图像绘制方法
技术领域
背景技术
发明内容
的深度图像记为DR,t,将t时刻的第k个参考视点的彩色图像IR,t 自适应地划分成NR 个尺寸大小为(p+Δp)×(q+Δq)的块,并标记各个块的块映射类型,块映射类型包括逐像素k k
映射型和整块映射型,记t时刻的第k个参考视点的彩色图像IR,t 中的第n个块为Bn,其中,k∈[1,K], p和q的值均为16、8、4、2四个值中的一个,Δp表
k k
示块Bn 与其右相邻块之间重叠的像素点的列数,0≤Δp≤2,当Δp=0时表示块Bn 与k k
其右相邻块不重叠或表示块Bn 为t时刻的第k个参考视点的彩色图像IR,t 的右边界处的k
块,Δq表示块Bn 与其下相邻块之间重叠的像素点的行数,0≤Δq≤2,当Δq=0时表k k k
示块Bn 与其下相邻块不重叠或表示块Bn 为t时刻的第k个参考视点的彩色图像IR,t 的下边界处的块;
象掩模图像MR,t 中坐标为(x,y)的像素点的像素值记为mR,t(x,y), 表示t时k k
刻的第k个参考视点的彩色图像IR,t 及其对应的深度图像DR,t 中坐标为(x,y)的像素点属于对象,将这样的像素点称为对象像素点, 表示t时刻的第k个参考视点的彩k k
色图像IR,t 及其对应的深度图像DR,t 中坐标为(x,y)的像素点属于背景,将这样的像素点称为背景像素点;
图像DR,t 中的各个对应8×4块,判断对应8×4块的背离值是否小于设定的阈值,当对应k
8×4块的背离值小于设定的阈值时,将t时刻的第k个参考视点的彩色图像IR,t 中与该对应8×4块位置相对应的8×4块记为p×q块,p=8,q=4,并标记该p×q块的块映射类型为整块映射型,当对应8×4块的背离值大于等于设定的阈值时,将t时刻的第k个参考k
视点的彩色图像IR,t 中与该对应8×4块位置相对应的8×4块分解成2个4×4块,或将当k
前8×8块再分解成2个4×8块,计算t时刻的第k个参考视点的深度图像DR,t 中与各个
4×8块位置相对应的2个对应4×8块各自的背离值,逐一考察t时刻的第k个参考视点的k
深度图像DR,t 中的各个对应4×8块,判断对应4×8块的背离值是否小于设定的阈值,当对k
应4×8块的背离值小于设定的阈值时,将t时刻的第k个参考视点的彩色图像IR,t 中与该对应4×8块位置相对应的4×8块记为p×q块,p=4,q=8,并标记该p×q块的块映射类型为整块映射型,当对应4×8块的背离值大于等于设定的阈值时,将t时刻的第k个参k
考视点的彩色图像IR,t 中与该对应4×8块位置相对应的4×8块分解成2个4×4块;计算k
t时刻的第k个参考视点的深度图像DR,t 中与各个4×4块位置相对应的2个对应4×4块k
各自的背离值,逐一考察t时刻的第k个参考视点的深度图像DR,t 中的各个对应4×4块,判断对应4×4块的背离值是否小于设定的阈值,当对应4×4块的背离值小于设定的阈值k
时,将t时刻的第k个参考视点的彩色图像IR,t 中与该对应4×4块位置相对应的4×4块记为p×q块,p=4,q=4,并标记该p×q块的块映射类型为整块映射型,当对应4×4块k
的背离值大于等于设定的阈值时,将t时刻的第k个参考视点的彩色图像IR,t 中与该对应
4×4块位置相对应的4×4块记为p×q块,p=4,q=4,并标记该p×q块的块映射类型为逐像素映射型;然后执行步骤①-8;
n个块Bn 为当前块Bn,记需绘制的虚拟视点彩色图像为ID,t,当当前块Bn 的块映射类型为k
逐像素映射型时,利用t时刻的第k个参考视点的深度图像DR,t 所提供的深度信息,采用k
公知的三维图像变换方法逐像素点计算当前块Bn 中的各个像素点在需绘制的虚拟视点彩k k
色图像ID,t 中的坐标位置,并将当前块Bn 中的各个像素点逐像素点地映射到需绘制的虚k k k
拟视点彩色图像ID,t 中;当当前块Bn 的块映射类型为整块映射型时,选取当前块Bn 中的k
一个像素点,再利用t时刻的第k个参考视点的深度图像DR,t 所提供的该像素点的深度信k
息,采用公知的三维图像变换方法计算该像素点在需绘制的虚拟视点彩色图像ID,t 中的坐k
标位置,得到把该像素点从t时刻的第k个参考视点的彩色图像IR,t 映射到需绘制的虚拟k k
视点彩色图像ID,t 中的坐标映射关系,并利用该坐标映射关系将当前块Bn 中的各个像素k
点映射到需绘制的虚拟视点彩色图像ID,t 中;
时刻的第k个参考视点的深度图像DR,t 绘制成的虚拟视点彩色图像ID,t ;
其中,IR,t(xc+x′-x′c,yc+y′-y′c)为t时刻的第k个参考视点的彩色图像IR,t 中坐标为(xc+x′-x′c,yc+y′-y′c)的像素点的像素值。
16×16块的编码模式是否为SKIP模式且运动矢量是否为0,及当前16×16块中的4个8×8块是否均不为对象和背景之间的边界区域,如果对应16×16块的编码模式为SKIP模式且运动矢量为0,并且当前16×16块中的4个8×8块均不为对象和背景之间的边界区域,则将当前16×16块记为p×q块,p=16,q=16,并标记该p×q块的块映射类型为坐标拷贝型,然后执行步骤①-9,否则,执行步骤①-4。
ID,t 中时,当前块Bn 的各个像素点的坐标映射关系采用t时刻的第k个参考视点的彩色图k k k
像IR,t 的参考帧IR,t-r 中与当前块Bn 坐标位置相同的对应块中的对应像素点的坐标映射关系,其中,r为一非零整数且|r|<图像组GOP的长度。
附图说明
具体实施方式
的深度图像记为DR,t 将t时刻的第k个参考视点的彩色图像IR,t 自适应地划分成NR 个尺寸大小为(p+Δp)×(q+Δq)的块,并标记各个块的块映射类型,记t时刻的第k个参考视k
点的彩色图像IR,tk中的第n个块为Bn,其中,k∈[1,K],
k
表示所有块的并集构成t时刻的第k个参考视点的彩色图像IR,t,p和q的值均为16、8、4、k
2四个值中的一个,Δp表示块Bn 与其右相邻块之间重叠的像素点的列数,0≤Δp≤2,当k k
Δp=0时表示块Bn 与其右相邻块不重叠或表示块Bn 为t时刻的第k个参考视点的彩色k k
图像IR,t 的右边界处的块,在此,右相邻块即位于当前块的正右方的相邻块,Δq表示块Bnk
与其下相邻块之间重叠的像素点的行数,0≤Δq≤2,当Δq=0时表示块Bn 与其下相邻k k
块不重叠或表示块Bn 为t时刻的第k个参考视点的彩色图像IR,t 的下边界处的块,在此,k
下相邻块即位于当前块的正下方的相邻块,图1给出了块Bn 与其右相邻块和下相邻块相重叠的示意图。
要得到t时刻的第k个参考视点的彩色图像IR,t 的对象提取结果,这一结果可以利用t时k k
刻的第k个参考视点的彩色图像IR,t 或者该彩色图像所对应的深度图像DR,t 采用任意的k
公知的对象提取技术来完成,也可以联合利用t时刻的第k个参考视点的彩色图像IR,t 和k
该彩色图像所对应的深度图像DR,t 来完成对象提取;而如果t时刻的第k个参考视点的彩k k
色图像IR,t 或对应的深度图像DR,t 编码本身采用的是基于对象的编码,或者t时刻的第k
k个参考视点的彩色图像IR,t 的对象提取结果已知,则可以省略对t时刻的第k个参考视k
点的彩色图像IR,t 的对象提取操作。其次,标定对象内部区域、背景区域、对象和背景之间k
的边界区域。然后逐一考察t时刻的第k个参考视点的彩色图像IR,t 的各个16×16块,k
根据彩色图像IR,t 中当前16×16块中的各个8×8块为对象内部区域、背景区域还是对象和背景之间的边界区域来决定块划分方式:对于对象内部区域,由于它相对更引人注目,对其质量要求更高,因而其块的尺寸大小限定为4×4和2×2两种,其中4×4块为整块映射型,2×2块可能为整块映射型也可能是逐像素映射型;对于背景区域,由于其受关注程度低于对象,因此可采用较大尺寸的块以节省绘制时间,本发明中,背景区域的块的尺寸大小限定为8×8、8×4或4×8、4×4四种,除4×4块的类型可能为整块映射型也可能是逐像素映射型外,其余三种只能是整块映射型;对于对象和背景之间的边界区域,由于其对绘制图像的质量影响很大,因此采用逐像素映射的方法。这里某块是整块映射还是逐像素映射取k
决于该块在深度图像DR,t 中的对应块的的背离值的大小,背离值小意味着该块内各像素的深度值较为接近,其坐标映射关系也应较为一致,因而将该块标记为整块映射型,反之将该块标记为逐像素映射型。再对得到的p×q块进行扩展,即将p×q块向右扩展Δp个像素k
点,向下扩展Δq个像素点,最终形成t时刻的第k个参考视点彩色图像IR,t 的尺寸大小为(p+Δp)×(q+Δq)的块。具体步骤如下:
刻的第k个参考视点的彩色图像IR,t 及其对应的深度图像DR,t 中坐标为(x,y)的像素点属于对象,将这样的像素点称为对象像素点, 表示t时刻的第k个参考视点的彩色图像IR,tk及其对应的深度图像DR,tk中坐标为(x,y)的像素点属于背景,将这样的像素点称为背景像素点;
图像DR,t 中的各个对应8×4块,判断对应8×4块的背离值是否小于设定的阈值,当对应k
8×4块的背离值小于设定的阈值时,将t时刻的第k个参考视点的彩色图像IR,t 中与该对应8×4块位置相对应的8×4块记为p×q块,p=8,q=4,并标记该p×q块的块映射类型为整块映射型,当对应8×4块的背离值大于等于设定的阈值时,将t时刻的第k个参考k
视点的彩色图像IR,t 中与该对应8×4块位置相对应的8×4块分解成2个4×4块,或将当k
前8×8块再分解成2个4×8块,计算t时刻的第k个参考视点的深度图像DR,t 中与各个
4×8块位置相对应的2个对应4×8块各自的背离值,逐一考察t时刻的第k个参考视点的k
深度图像DR,t 中的各个对应4×8块,判断对应4×8块的背离值是否小于设定的阈值,当对k
应4×8块的背离值小于设定的阈值时,将t时刻的第k个参考视点的彩色图像IR,t 中与该对应4×8块位置相对应的4×8块记为p×q块,p=4,q=8,并标记该p×q块的块映射类型为整块映射型,当对应4×8块的背离值大于等于设定的阈值时,将t时刻的第k个参k
考视点的彩色图像IR,t 中与该对应4×8块位置相对应的4×8块分解成2个4×4块;计算k
t时刻的第k个参考视点的深度图像DR,t 中与各个4×4块位置相对应的2个对应4×4块k
各自的背离值,逐一考察t时刻的第k个参考视点的深度图像DR,t 中的各个对应4×4块,判断对应4×4块的背离值是否小于设定的阈值,当对应4×4块的背离值小于设定的阈值k
时,将t时刻的第k个参考视点的彩色图像IR,t 中与该对应4×4块位置相对应的4×4块记为p×q块,p=4,q=4,并标记该p×q块的块映射类型为整块映射型,当对应4×4块k
的背离值大于等于设定的阈值时,将t时刻的第k个参考视点的彩色图像IR,t 中与该对应
4×4块位置相对应的4×4块记为p×q块,p=4,q=4,并标记该p×q块的块映射类型为逐像素映射型;然后执行步骤①-8;
小。
其中,IR,t(xc+x′-x′c,yc+y′-y′c)为t时刻的第k个参考视点的彩色图像IR,t 中坐k
标为(xc+x′-x′c,yc+y′-y′c)的像素点的像素值。图2给出了将整块映射型的块Bnk
中的各个像素点采用相同的坐标映射关系映射到需绘制的虚拟视点彩色图像ID,t 中的示意图。需要说明的是,采用三维图像变换的方法将某参考视点的彩色图像重投影到虚拟视点彩色图像的过程如下:首先利用深度信息将参考视点的彩色图像中的像素点重投影到实际的三维空间中,然后再将这些三维空间中的点投影到目标图像平面即虚拟图像平面上。
该过程不仅能将参考视点的彩色图像中各个像素点重投影到虚拟视点彩色图像中,同时也能获取虚拟视点彩色图像对应的深度图像。
时刻的第k个参考视点的深度图像DR,t 绘制成的虚拟视点彩色图像ID,t。
0。
5a和图5b可知,通过本发明方法绘制得到的结果主观质量明显优于传统的逐像素三维图像变换的方法绘制得到的结果,由此可见,本发明方法是有效的且是可行的,在保证虚拟视点彩色图像绘制精度的同时,大大提高了绘制的速度。