时空结合的空洞填充方法

摘要

本发明公开了一种时空结合的空洞填充方法，首先根据待填充的目标图像序列生成非空洞矩阵，然后对于待填充目标图像，选择得到填充图像源集合，遍历填充图像源集合中的每帧图像，扫描待填充目标图像和填充图像源图像对应的非空洞矩阵中每个像素点对应的元素，当满足条件时即将填充图像源图像中的像素点复制到待填充目标图像的对应空洞像素点，对于剩余空洞再采用图像修复算法进行填充。本发明采用时空结合的方式，从前后序列帧中获取可用背景信息进行填充，从而显著地提高了非空洞区域的真实性，得到高质量的填充结果图像。

权利要求

1. 一种时空结合的空桐填充方法，其特征在于，包括W下步骤： S1:对于采用DIBR算法进行Ξ维变换得到的目标图像序列，根据每帖目标图像生成对 应的非空桐矩阵，生成方法为:如果第t帖目标图像4中像素点p(x，y)为空桐，非空桐矩阵 Λ4对应的元素值片，.V)置为预设的负值α，如果为非空桐点，对应元素值置为该像素点 的深度值； S2:对于待填充的第to帖目标图像巧，选择第to-ki帖目标图像至第to-1帖目标图像、第 to+1帖目标图像至第t〇+k2帖目标图像构成填充图像源集合，其中kl、k2为大于等于1的整数， 根据实际情况设置;遍历填充图像源集合中的每帖图像4，i的取值范围为t〇-ki《i《t〇-l 或t〇+l《i《t〇+k2,扫描目标图像巧和图像4对应的非空桐矩阵、Μ;,中每个像素点 对应的元素，如果也.?|八，.}'）= «且《<瓜/';（.'^，术）<了，其中1'为预设阔值，取值范围为100《 Τ《1 2 0，则将像素点4托.V)复制至待填充目标图像嫂中像素点巧托.V)处，修改 Μ玄(χ，.ν) = Tl4(X，.V)，否则不作任何操作； S3:采用图像修复算法对目标图像巧中的剩余空桐进行填充。

2. 根据权利要求1所述的空桐填充方法，其特征在于，所述步骤S1中目标图像序列中的 每帖图像，采用膨胀空桐的方法进行预处理。

3. 根据权利要求1所述的空桐填充方法，其特征在于，所述步骤S2中填充图像源集合中 每帖图像进行遍历时，遍历的第川贞图像的图像序号为/=4 + (-1>吓如21，其中〇>1，「- 表示向上取整，如果对应的图像不存在，则计算下一个图像序号。

说明书

时空结合的空洞填充方法

技术领域

[0001] 本发明属于=维图像技术领域，更为具体地讲，设及一种时空结合的空桐填充方 法。

背景技术

[0002] 随着3D显示技术和3D电视系统的快速发展与普及，视图合成引擎（view synthesis engine)已成为3D电视中合成单视点或多视点视频的重要组成部分。目前视图 合成引擎中普遍采用基于深度图像绘制（dep1:h-image-based rendering,DIBR)算法。该算 法根据参考图像(reference image)及其对应的深度图（depth map)(即基于深度图像的3D 视频或者"V+护（即一个视频及其对应的深度图像)序列)来生成任意视点视图（目标图像）。 与传统的需要传递左右眼两路视频的3D视频相比，采用DIBR技术之后仅需要传送一路视频 及其深度图就可生成立体图像(stereoscopic image)，而且可W很方便的实现二维和S维 的切换。正因为如此，DIBR技术被广泛用于视图合成。然而，由于深度图中的深度值存在跃 变，DIBR算法所生成的目标图像会出现较大的空桐。它严重降低了目标图像的质量。如何填 充运些空桐是DIBR系统中面临的主要问题。

[0003] 近年来已经提出了许多空桐填充方法。根据运些方法的技术特征，可W将它们分 成3类：

[0004] (1)深度图预处理:运类方法采用平滑滤波器(smoothing filter)对深度图进行 平滑，从而减少甚至完全移除空桐。用来减少/移除空桐的滤波器包括非对称高斯滤波器 (asymmetric Gaussian f ilter)、方向高其护滤波器（Directional Gaussian filter ,DGF) W及非对称边缘自适应滤波器(asymmetric edge adaptive filter,AEAF)等等。然而，运 类方法存在的普遍问题是会引入几何崎变(geometric distortion)，造成目标图像质量降 低。

[0005] (2)使用多视点视频:运类方法将2路或多路视频流(video stream)传输到接收 端，从而使视图合成引擎能够利用多幅参考图像来合成一幅目标图像。尽管该方法能够得 到高品质的图像质量，但是在目前的电视传输系统中却很难实现。例如，根据高清晰度多媒 体接口化igh-definition multimedia interface,HDMI)标准 1.4版本，该接口仅传输一路 视频及其深度图到接收端。因此运种情况下该方法无法使用。即使可获得多路视频，还是有 一些难题待解决。例如，由于每一路视频流的光照条件有变化，合成的视图中有可能出现颜 色不一致的现象。如何校正颜色的不一致对该方法来说是一个富有挑战的课题。又如，传输 多路视频会导致巨大的带宽需求，也给实时处理带来了问题。

[0006] (3)利用空间信息填充空桐:运类方法通过在空间域中对像素进行采集来填充空 桐。运些像素可能来自当前的参考图像或者目标图像。运类方法的一种典型代表就是图像 修复（image inpainting)算法。但是，图像修复在多数情况下复杂度较高，并且对大空桐不 稳定。上述空桐填充算法只利用了某一时刻的空间域（spatial domain)中的信息，获得的 真实信息有限，所填充的像素也往往给人不自然的感觉。事实上，还可W利用视频序列信息 (即时间域(temporal domain)中的信息)来进行空桐填充。运样即使只有一路视频，也有可 能找到空桐所缺失的真实内容，达到较好的填充效果。然而目前的研究集中在利用时间域 信息来维持所填区域的时间一致性(temporal consistency)，而不是空桐填充本身。

发明内容

[0007] 本发明的目的在于克服现有技术的不足，提供一种时空结合的空桐填充方法，首 先在图像序列中其他帖中捜索序列-暴露区域来进行空桐填充，剩余空桐再通过图像修复 算法填充，提高空桐填充效果。

[0008] 为实现上述发明目的，本发明时空结合的空桐填充方法包括W下步骤：

[0009] Sl:对于采用DIBR算法进行S维变换得到的目标图像序列，根据每帖目标图像生 成对应的非空桐矩阵，生成方法为:如果第t帖目标图像/;中像素点p(x，y)为空桐，非空桐 矩阵对应的元素值M八X，的置为预设的负值a，如果为非空桐点，对应元素值置为该像 素点的深度值；

[0010] S2:对于待填充的第to帖目标图像巧，选择第to-k顺目标图像至第to-1帖目标图 像、第to+1帖目标图像至第t〇+k2帖目标图像构成填充图像源集合，其中kl、k2为大于等于1的 整数，根据实际情况设置;遍历填充图像源集合中的每帖图像/;，i的取值范围为t〇-ki《i 《to-1或to+l《i《to+k2,扫描目标图像巧和图像巧对应的非空桐矩阵M至、中每个 像素点对应的元素，如果其中T为预设阔值，则将像素 点巧沁.词复制至待填充目标图像巧中像素点巧(不y)处，修改
，否 则不作任何操作；

[0011] S3:采用图像修复算法对目标图像巧中的剩余空桐进行填充。

[0012] 本发明时空结合的空桐填充方法，首先根据待填充的目标图像序列生成非空桐矩 阵，然后对于待填充目标图像，选择得到填充图像源集合，遍历填充图像源集合中的每帖图 像，扫描待填充目标图像和填充图像源图像对应的非空桐矩阵中每个像素点对应的元素， 当满足条件时即将填充图像源图像中的像素点复制到待填充目标图像的对应空桐像素点， 对于剩余空桐再采用图像修复算法进行填充。

[0013] 本发明采用填充图像源集合中的图像进行基于SDR的填充，利用视频序列时间域 的一致性，而图像修复算法利用的空间域的一致性进行空桐填充，采用时空结合的方式，从 前后序列帖中获取可用背景信息进行填充，从而显著地提高了非空桐区域的真实性，得到 高质量的填充结果图像。实验表明，在前景物体有明显运动的情况下，有更多的场景信息暴 露，采用本发明可W取得比较好的视觉效果。

附图说明

[0014] 图1是本发明时空结合的空桐填充方法的具体实施方式流程图；

[0015] 图2是去除匹配误差的效果示意图，其中图2(a)是经过S维变换后的目标图像及 局部放大图，图2(b)是未经去除匹配误差采用本发明进行空桐填充后的目标图像及局部放 大图，图2(c)是去除匹配误差后采用本发明进行空桐填充后的目标图像及局部放大图；

[0016] 图3是不同遍历顺序下的填充结果对比图，其中图3(a)是顺序遍历的填充结果，图 3(b)是倒序遍历的填充结果，图3(c)是从相邻帖开始交叉遍历的填充结果；

[0017] 图4是阔值T在不同取值下的填充结果对比图；

[0018] 图5是待填充目标图像1的填充结果对比图；

[0019]图6是待填充目标图像2的填充结果对比图；

[0020] 图7是待填充目标图像3的填充结果对比图；

[0021] 图8是待填充目标图像4的填充结果对比图；

[0022] 图9是Ballet序列前20帖的S种算法PSNR对比曲线图；

[0023] 图10是化eakdancer S序列前20帖的S种算法PSNR对比曲线图。

具体实施方式

[0024] 下面结合附图对本发明的具体实施方式进行描述，W便本领域的技术人员更好地 理解本发明。需要特别提醒注意的是，在W下的描述中，当已知功能和设计的详细描述也许 会淡化本发明的主要内容时，运些描述在运里将被忽略。[00巧]实施例

[0026] 图1是本发明时空结合的空桐填充方法的具体实施方式流程图。如图1所示，本发 明时空结合的空桐填充方法包括W下步骤：

[0027] SlOl:生成目标图像的非空桐矩阵：

[0028] 对于采用DIBR算法进行S维变换得到的目标图像序列，根据每帖目标图像生成对 应的非空桐矩阵，生成方法为:如果第t帖目标图像4中像素点p(x，y)为空桐，非空桐矩阵 M三对应的元素值置为预设的负值a,如果为非空桐点，对应元素值置为该像素点 的深度值。深度值的范围为0~255,因此空桐对应的值a是负值，本实施例中a = -l。[00巧]S102:去除匹配误差：

[0030] 由于深度图像中物体的轮廓往往是不精确的，通常前景物体的轮廓比由于深度图 像中前景物体的轮廓比参考图像中前景物体的轮廓要小，即深度图像中前景物体的外围往 往被设置成了背景物体的深度值，因而通过=维图像变换后，有可能出现前景物体边缘的 一些像素点被投影远离前景而和背景像素点在一起的现象。对于右视图，在较大空桐的右 边缘将会不准确（即有前景中的像素点存在，称之为匹配误差），对于左视图，在较大空桐的 左边缘将会不准确。因此可W首先采用膨胀空桐的方式对目标图像进行预处理，W去除匹 配误差。

[0031] 下面W目标图像为右视图为例，对膨胀空桐方法进行说明。首先，按行W从左到右 的顺序遍历当前帖目标图像对应的非空桐矩降始^，检测空桐，即如果獻.;(兩的值为-1，贝。 目标图像中相同位置的像素点为空桐像素点，记录空桐的终点和连续空桐像素点的个数。 若连续空桐像素点数量大于预设阔值th_big_hole则认为此处是大空桐，本实施例中th_ big_hole设置为3;否则为小空桐，不需要膨胀。其次，W空桐的左边缘为起点，从右向左检 测空桐左边缘非空桐像素点的深度值变化，一直到图像最左端。由于前景像素的深度值将 大于背景像素点的深度值，因此如果从空桐左边缘开始到图像左边缘检测过程中，如果两 个相邻非空桐像素点的深度值从较小深度值跃变到较大深度值并且差值绝对值大于50，贝^ 认为该空桐左边缘区域为背景像素点，则两端都膨胀，如果深度值在两个相邻非空桐像素 点处从较大的深度值跃变到较小的深度值并且差值绝对值大于50,则认为该空桐左边缘区 域为前景像素点，则只膨胀空桐右端，其他情况不对该空桐进行膨胀。在处理图像边缘的空 桐时，直接膨胀右边缘。本实施例中在膨胀空桐时所需膨胀的像素点个数11_山13^011为4， 在实际应用中可W根据需要设置。膨胀空桐的操作实际上就是改变非空桐矩阵对应像素点 位置的值，把非空桐的值改为-1，即该点变为了空桐点。

[0032] 图2是去除匹配误差的效果示意图。如图2所示，图2(a)是经过S维变换后的目标 图像及局部放大图，图2(b)是未经去除匹配误差采用本发明进行空桐填充后的目标图像及 局部放大图，图2(c)是去除匹配误差后采用本发明进行空桐填充后的目标图像及局部放大 图。可W看出，去除匹配误差后再进行空桐填充的效果好于未经去除匹配误差进行空桐填 充的效果。

[0033] S103:基于SDR的空桐填充：

[0034] 本发明引入了序列-暴露区域（Sequence-disoccluded region，SDR)捜索算法来 寻找真实的内容W填充空桐，序列-暴露区域是指在某些帖可见而在其它帖被遮挡的区域。

[0035] 假设要进行空桐填充处理的当前帖目标图像为巧、其对应的非空桐矩阵为， 选择第to-kl帖目标图像至第to-1帖目标图像、第to+1帖目标图像至第t〇+k2帖目标图像作为 填充图像源集合，其中kl、k2根据实际情况设置。一般除了目标图像序列的前几帖和最后几 帖目标图像，对于其余目标图像设置kl = k2。遍历填充图像源集合中的每帖图像Fs, i的取 值范围为t〇-ki《 或to+l《 i《to+k2，其对应的非至桐矩阵记为IVTs。从左到右按行扫 描非空桐矩阵和，对于两非空桐矩阵的每一个点p(x，y)，如果满足.、 < "、
， 运两个条件，其中T为预设阔值，则将图像4中的像素点巧(x，.v)复制到 待填充目标图像巧中像素点巧批，的处，修改
，否则不作任何操作。

[0036] 基于SDR的空桐填充需要其他帖图像中出现待空桐填充目标图像中空桐处的背景 信息，有可能存在一些相同的背景信息出现在多帖目标图中，由于一帖图像与其内容最为 相似的是最邻近的帖的内容，因此在对填充图像源集合中的图像进行遍历时，遍历顺序也 会影响最终的填充效果。本实施例中采用从相邻帖开始交叉遍历的方式，即遍历的第j帖图 像的图像序号为......其中，j>l，「]表示向上取整，如果对应的图像不存在，则计算下一个图像序号。也就是说，遍历顺序为t〇-l、to+1、t〇-2、to+2、t〇-3、to巧......。

[0037] 选取视频"Breakdancers"中的100张图像生成目标图像，对第50张目标图像进行 填充。图3是不同遍历顺序下的填充结果对比图。如图3所示，图3(a)是顺序遍历的填充结 果，图3(b)是倒序遍历的填充结果，图3(c)是从相邻帖开始交叉遍历的填充结果。可见，采 用从相邻帖开始交叉遍历的方式得到的填充结果效果更好。

[0038] 影响填充结果的另一个因素是阔值T的取值。阔值T用于区分前景和背景，即小于T 的是背景像素点，才能用来进行空桐填充，否则就是前景像素点，不能用来进行空桐填充。 图4是阔值T在不同取值下的填充结果对比图。如图4所示，采用视频"Bal let"和 "BreakdancerS"生成的目标图像在不同阔值T下进行空桐填充。如图4所示，W阔值T = 110 的填充结果图像为参照，W方框标示出其他阔值下填充结果图像中的差别。经过采用多种 视频序列进行实验得到，对于各种视频序列的平均图像质量，阔值T的取值范围在100至120 之间，填充效果较好。

[0039] 需要说明的是，采用基于SDR的空桐填充方法进行空桐填充时，目标图像序列中场 景变化越小（即背景变化小）、前景运动幅度越大，填充效果越好。运是因为在运种情况下， 暴露场景越多。W图4的图像序列"Ballet"填充结果为例，图中的女舞者由于运动幅度大， 在目标图像序列中旁边的背景基本完全暴露出来，其填充效果较好，但基本处于静止的男 舞者，旁边的大空桐基本没有填充，因为其它帖并没有把新场景暴露出来。而且基于SDR的 空桐填充方法并不能把目标图像的空桐填充完整，例如边缘空桐，或者在整个目标图像序 列都没有暴露的场景对应的空桐。对于剩下的空桐，采用图像修复算法进行空桐填充。

[0040] S104:图像修复算法填充剩余空桐：

[0041] 经过步骤S103进行空桐填充之后，还会有一部分空桐剩余，比如边缘空桐等，采用 图像修复算法进行目标图像巧的剩余空桐的填充。基于样本的图像修复算法可W利用空 桐周围的信息来合成新的信息，修复较大空桐，使之更符合人类的视觉屯、理。现有技术中有 多种图像修复算法，可W根据需要选用。本实施例中采用经典的Gautier's图像修复算法， 主要分为=步:选择待修补块，捜索匹配块W及填充待修补块。选择待修补块的目的在于沿 着等照线Qso地Ote)向空桐内部延伸，即包含强等照线的空桐块先被修复，从而获得连结 线较好的纹理修复效果。Gautier's图像修复算法中待修补块的选择是通过比较空桐边界 点的优先级得到的。假设P点为空桐的边缘和修补块的中屯、，具体公式如下：

[0042] P(P)=C(P)XD(P)

[0043] P(P)表示P点的优先级，C(P)表示P点的置信度，即和中非空像素点所占的百分 比，隶示修补块。

[0044] 沿着空桐边缘逐像素点计算边界点的优先级后，选取优先级最大的块作为待修补 块*Pp，通过纹理捜索寻找同该块最匹配的块:化T来填充每P中的空桐，如

[0045]

[0046] 填充完后更新空桐的边缘，再一次计算优先级，选择待修补块，直到所有空桐都完 全修复。运里要说明的是，本发明中图像修复算法采用的深度图是=维图像变换之后的生 成的带有空桐的深度图，并不是Gautier's图像修复算法中提到的用到的标准的不带空桐 的深度图。Gautier'S图像修复算法可W参见"J.Gautier,0丄e Meur,〔.Guillemot.D邱th- based image completion for view synthesis .5th 3DTV Conf erence: The True Vision-Capture,Transmission and Display of 3D Video ,3DTV-C0N 2011,May 16, 2011-May 18,2011.2011.An^lya'l'urkey: I邸E Computer Society. 1-4."

[0047] 为了说明本发明的有益效果，分别采用"Ballet"、"Breakdancers"视频序列进行 了实验，运两个序列都为100帖(000~099)，分别展示了在背景纹理丰富和背景纹理简单的 情况。本实验的参考图像为摄像机5拍摄，经过=维图像变换生成摄像机4拍摄图像，在两个 序列中分别选择了2幅(共计4幅)待填充目标图像来进行说明。为了评价算法的性能，在主 观上，比较了背景纹理丰富及简单时的算法性能，在客观上则通过算法的时间复杂度和 PSNR来衡量。此处选择了两种算法与本发明作比较，分别是DGF算法（详情参见H. Ying- 民ung，T.Yu-Cheng,C.Tian-Sheuan.Stereoscopic images generation with directional Gaussian filter.Proceedings of 2010IEEE International Symposium on Circuits and Systems(ISCAS) .2010.2650-2653.)和Gautier'S图像修复算法，因为它们可W处理任 意生成任意摄像机位置拍摄图像，比如摄像机的选择和焦距改变，并非只能处理平行的两 视点。DGF滤波方法，利用边缘方向高斯滤波器反复滤波深度图中可能产生空桐的区域，选 用的模板窗大小为31 X IUDGF算法可W直接对比，Gautier's图像修复算法不可W。为了对 比结果的公平性，实现Gautier's算法时，采用的深度图是生成的带有空桐的目标图像的深 度图，并非摄像机4的标准深度图，选取的修复块的尺寸为17 X 15。

[0048] 图5是待填充目标图像1的填充结果对比图。图6是待填充目标图像2的填充结果对 比图。图7是待填充目标图像3的填充结果对比图。图8是待填充目标图像4的填充结果对比 图。如图5至图8所示，为了更好地说明填充效果，在每幅待填充目标图像中，选择了3处或4 处局部图像的放大图进行对比。从图5至图8可W看出，运=个算法都能填充完目标图像中 所有的空桐。但DGF滤波算法生成的图像在背景区域有明显的扭曲现象，Gautier's图像修 复算法在空桐两边都是前景或前景较多而背景很少，而需要用背景来填充的情况下填充出 的画面将不自然，且不能很好的保持图像中前景物体的边缘。采用本发明得到的填充结果 图像的填充效果运前两种算法折中。总体而言，采用本发明得到的填充结果图像的填充效 果要优于其他两种算法。

[0049] 接下来采用基于人类视觉效果的PSNR(Peak Si即al to Noise Ratio,峰值信噪 比）将发明与另外两个算法进行比较。为减少误差，对仿真结果进行PSNR比较时，对每个序 列前20帖目标图像进行填充。图9是Ballet序列前20帖的二种算法PSNR对比曲线图。图10是 化eakdancers序列前20帖的S种算法PSNR对比曲线图。表1是两个序列前20帖的S种算法 PSNR平均值。[(K)加 ]
[0化1] 表1

[0052] 从图9、图10和表1可W看出，本发明在PSN財生能上要优于另外两种算法。

[0053] 在算法时间复杂度方面也进行了对比，为减少误差，仿真时间采用的是运行每个 序列前20帖所得的平均每帖所用时间，单位S。表2是=种算法的运行时间对比。 「nnc；/i 1 LUUDDJ 歌 2：

[0056]从表2可W看出，本发明的运行平均时间处于DGF方法和Gautier的图像修复算法 的运行时间之间。虽然DGF方法没有对整幅深度图像进行滤波，但它需要对深度图中可能产 生空桐的区域进行迭代滤波，运意味着最大空桐的长度越大，需要的平滑强度越大或是迭 代次数越多，从而需要的处理时间更多。Gautier ' S图像修复算法从确定待修补块到准找匹 配块都需要很长时间，而且处理时间与匹配块、空桐的尺寸，W及空桐的形状和数目等都相 关，需要较长的时间来填充完目标图像中的所有空桐。本发明的时间主要用于一个序列的 序列-暴露区域即SDR的捜索，运与捜索的图像数据源集合中的图像数量关系很大，图像数 据源集合中的图像越多，花费时间越长，此处采用的序列为OOO~099帖。

[0057]尽管上面对本发明说明性的具体实施方式进行了描述，W便于本技术领域的技术 人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技 术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，运些 变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。