基于改进虚拟视点合成的多视点视频超分辨率重建算法

摘要

本发明公开了一种基于改进虚拟视点合成的多视点视频超分辨率重建算法，步骤(1)、基于DIBR的虚拟视点合成，在参考视点的深度图的辅助下，建立虚拟视点图像和参考视点图像之间的映射关系；步骤(2)、基于双向DIBR的投影一致性检查，步骤(3)、高频信息提取与超分辨率重建，得到最终的超分辨率重建结果。与现有技术相比，本发明可以有效的去除小裂痕，消除背景与前景之间的像素渗透现象；对空洞部分，通过提取插值图像的对应像素点进行填充，取得了较好的视点合成效果，在此基础上通过高频提取与插值视图相融合取得了良好的超分辨率重建结果。

权利要求

1.一种基于改进虚拟视点合成的多视点视频超分辨率重建算法，其特征在于，该算法包括以下步骤：步骤(1)、基于DIBR的虚拟视点合成，在参考视点的深度图的辅助下，建立虚拟视点图像和参考视点图像之间的映射关系；该步骤的具体处理如下：已知视点个数N的高分辨率图像VN及其对应的深度图DN，利用VN内某一像素点(u,v)的深度值d以及拍摄该视点摄像机的摄像机内部参数矩阵AN、旋转矩阵RN以及转移矩阵TN，映射为世界坐标系的(x,y,z)点，表达式如下：其中，参数矩阵 表示摄像机成像的内部参数矩阵，fx和fy分别表示水平和竖直方向以像素为单位的焦距，(cx,cy)表示基准点； 为摄像机的旋转矩阵， 为摄像机平移矩阵；矩阵[RN TN]为摄像机外部参数矩阵；

像素点(u,v)的深度值d通过以下公式计算得出：

其中，Zmin和Zmax表示深度图中最小和最大景深；

将世界坐标点(x,y,z)重新映射到视点N+1的摄像机像素平面上某点(u',v')，表达式如下：其中，d′表示像素点(u',v')的深度值，(u',v')即为视点N中像素点(u,v)经过DIBR映射后得到的像素点位置；

步骤(2)、基于双向DIBR的投影一致性检查，该步骤的具体处理如下：找到虚拟视点的原深度图Dr中某像素点，将虚拟视点的原深度图Dr中某像素点p(u,v)投影到参考视点深度图的映射位置p'(u',v')；找到距离p'(u',v')最近的四个像素坐标为整数的点；将得到的参考视图中点p'(u',v')的四个邻近点p′1、p′2、p′3、p′4映射到虚拟视图，得到四个映射虚拟视图像素点；

找到与p(u,v)欧式距离最近的映射虚拟视图像素点记为 若与p(u,v)的欧式距离小于投影一致性检查阈值K＝1，则该像素点在参考视点中的像素坐标原投影点 即为p(u,v)的最终映射位置,否则认为p(u,v)在参考视图中没有正确的对应像素点，p(u,v)对应的像素点用插值虚拟视点彩图进行填充；

步骤(3)、高频信息提取与超分辨率重建，该步骤的具体处理如下：通过均值为μ，方差为σ的高斯核函数G对经过双向DIBR的合成虚拟视图提取高频分量，并与低分辨率视图的双三次插值结果 进行融合，得到最终的超分辨率重建结果:其中，均值μ＝0，方差σ＝1.6。

说明书

基于改进虚拟视点合成的多视点视频超分辨率重建算法

技术领域

[0001] 本发明涉及图像视频处理领域，特别是涉及一种应用于混合分辨率多视点视频的超 分辨率重建算法。

背景技术

[0002] 近年来，以3D立体视频(Stereo Video)和自由视点视频(Free viewpoint Video， FTV)为代表的多视点视频(Multi-view Video)成为数字多媒体技术研究的热门方向。 在多视点视频系统中，需要同时传输多个视点的视频序列，存储和带宽负担很大。混合 分辨率(Mixed Resolution，MR)多视点视频架构是解决这一问题的有效方法。采用混 合分辨率视频架构，至少一个视点采用低分辨率视频进行传输，其余视点以高分辨率方 式进行传输，能够有效地降低传输数据量，达到了节省带宽的目的，并且可以显著的减 少处理时间。低分辨率视频清晰度较低，会影响观看者视觉体验，导致视觉上的不舒适 感。为了保证观看者的视觉体验，需要在接受端对低分辨率视点进行超分辨率重建。

[0003] 深度图像绘制(Depth Image Based Rendering，DIBR)技术，是一种计算简单且效 果优秀的虚拟视点合成技术。通过DIBR技术可得到该低分辨率视点的高分辨虚拟视点， 进而虚拟视点的高频信息，并与低分辨率插值视图进行相加，完成超分辨率重建。但是， 由于DIBR技术映射得到的视图像素渗透、投影重叠和空洞等一些问题，合成虚拟视图 的部分高频信息并不准确，而且可能与原图存在亮度差异，故需要对重建结果进一步改 进。

[0004] 在附加深度图的混合分辨率多视点视频格式(MR-MVD)中，提供了每个视点的 原深度图，参考视点的原图和合成虚拟视点的低分辨率彩图。对于附加深度图的混合分 辨率多视点视频格式(Mixed Resolution Multi-view Video plus Depths，MR-MVD)，可 利用高分辨率视点的深度信息和相机参数，通过虚拟视点合成技术得到相邻的低分辨率 视点的高分辨初始估计，这为多视点视频的超分辨率重建提供了新的思路。

发明内容

[0005] 针对传统DIBR技术合成虚拟视图存在的像素渗透、投影重叠和空洞等问题，导致 合成虚拟视图部分高频信息失真，本发明提出一种基于改进虚拟视点合成的多视点视频 超分辨率重建算法，采用虚拟视点向参考视点逆向投影与参考视点向虚拟视点前向投影 相结合的方式，来解决DIBR合成虚拟视点过程中出现的像素渗透和投影重叠问题，再 对虚拟视点低分辨率彩图进行插值，用得到的插值图像完成对合成虚拟视图空洞的填 补，由此完成了超分辨率重建的过程

[0006] 通过双向DIBR技术改善合成虚拟视图质量，提升多视点视频的超分辨率重建效果。

[0007] 本发明的基于改进虚拟视点合成的多视点视频超分辨率重建算法，该方法包括以下 步骤：

[0008] 步骤1、基于DIBR的虚拟视点合成，在参考视点的深度图的辅助下，建立虚拟视 点图像和参考视点图像之间的映射关系；该步骤的具体处理如下：

[0009] 已知视点个数N的高分辨率图像VN及其对应的深度图DN，利用VN内某一像素点 (u,v)的深度值d以及拍摄该视点摄像机的摄像机内部参数矩阵AN、旋转矩阵以及转移 矩阵TN，映射为世界坐标系的(x,y,z)点，表达式如下：

[0010]

[0011] 其中，参数矩阵 表示摄像机成像的内部参数矩阵，fx和fy分别 是水平和竖直方向以像素为单位的焦距，(cx,cy)是基准点(通常在图像的中心)。摄像 机内部参数矩阵不依赖于场景，只要焦距固定，可以被重复使用。 为 摄像机的旋转矩阵， 为摄像机平移矩阵，矩阵[RN TN]为摄像机外部参数矩阵， 将客观世界中某一点Pw映射到一个相对于摄像机固定的坐标系，它描述了目标景物围 绕摄像机的刚性运动或者摄像机相对于一个固定场景的运动。

[0012] 像素点(u,v)的深度值d通过以下公式计算得出：

[0013]

[0014] 其中，Zmin和Zmax表示深度图中最小和最大景深；

[0015] 将世界坐标点(x,y,z)重新映射到视点N+1的摄像机像素平面上某点(u',v')，表达 式如下：

[0016]

[0017] 其中，d′表示像素点(u',v')的深度值，(u',v')即为视点N中像素点(u,v)经过DIBR 映射后得到的像素点位置。

[0018] 步骤2、基于双向DIBR的投影一致性检查，该步骤的具体处理如下：

[0019] 找到虚拟视点的原深度图Dr中某像素点，将虚拟视点的原深度图Dr中某像素点p(u,v)投影到参考视点深度图的映射位置p'(u',v')；找到距离p'(u',v')最近的四个像素 坐标为整数的点；将得到的四个参考视图中点p'(u',v')的四个邻近点p'1、p'2、p'3、p'4映射到虚拟视图，得到四个映射虚拟视图像素点；

[0020] 找到与p(u,v)欧式距离最近的映射虚拟视图像素点记为 若 与p(u,v)的欧式距离小于投影一致性检查阈值K＝1，则该像素点在参考视 点中的像素坐标原投影点 即为p(u,v)的最终映射位置,否则认为p(u,v)在 参考视图中没有正确的对应像素点，p(u,v)对应的像素点用插值虚拟视点彩图进行填 充；

[0021] 步骤3、高频信息提取与超分辨率重建，该步骤的具体处理如下：

[0022] 通过均值为μ，方差为σ的高斯核函数G对经过双向DIBR的合成虚拟视图提取高 频分量，并与低分辨率视图的双三次插值结果 进行融合，得到最终的超分辨率重建 结果:

[0023]

[0024] 其中，均值μ＝0，方差σ＝1.6。

[0025] 与现有技术相比，本发明提出的基于改进虚拟视点合成的多视点视频超分辨率重建 算法相比传统DIBR虚拟视图合成方法，可以有效的去除小裂痕，消除背景与前景之间 的像素渗透现象；对空洞部分，通过提取插值图像的对应像素点进行填充，取得了较好 的视点合成效果，在此基础上通过高频提取与插值视图相融合取得了良好的超分辨率重 建结果。

附图说明

[0026] 图1为本发明的基于改进虚拟视点合成的多视点视频超分辨率重建算法流程图；

[0027] 图2为基于双向DIBR的超分辨率重建示意图；

[0028] 图3为投影一致性检查DIBR流程；

[0029] 图4为Ballet超分辨率重建结果：(3a)传统DIBR结果，(3b)基于投影正确性检查的 双向DIBR结果，(3c)原图，(3d)基于双向DIBR的超分辨率重建结果；

[0030] 图5为Doorflower超分辨率重建结果：(4a)双三次插值，(4b)NE，(4c)ScSR，(4d) 本专利结果。

具体实施方式

[0031] 下面将结合附图对本发明的实施方式作进一步的详细描述。

[0032] 如图1所示，为本发明的基于改进虚拟视点合成的多视点视频超分辨率重建算法流 程，具体分为以下三个步骤。

[0033] 步骤1、基于DIBR的虚拟视点合成，该步骤的具体处理如下：

[0034] DIBR技术的核心思想是利用参考视点和虚拟视点的摄像机参数，在参考视点的深 度图的辅助下，建立虚拟视点图像和参考视点图像之间的映射关系。基于DIBR的虚拟 视点合成过程如下：

[0035] 已知视点个数N的高分辨率图像VN及其对应的深度图DN，利用VN内某一像素点 (u,v)的深度值d以及拍摄该视点摄像机的摄像机内部参数矩阵AN、旋转矩阵RN以及转 移矩阵TN，映射为世界坐标系的(x,y,z)点，表达式如下：

[0036]

[0037] 其中参数矩阵 表示摄像机成像的内部参数矩阵，fx和fy分别是 水平和竖直方向以像素为单位的焦距，(cx,cy)是基准点(通常在图像的中心)。摄像机 内部参数矩阵不依赖于场景，只要焦距固定，可以被重复使用。 为 摄像机的旋转矩阵， 为摄像机平移矩阵。矩阵[RN TN]为摄像机外部参数矩阵， 将客观世界中某一点Pw映射到一个相对于摄像机固定的坐标系，它描述了目标景物围 绕摄像机的刚性运动或者摄像机相对于一个固定场景的运动。

[0038] 像素点(u,v)的深度值d通过以下公式计算得出：

[0039]

[0040] 其中，Zmin和Zmax表示深度图中最小和最大景深；

[0041] 将世界坐标点(x,y,z)重新映射到视点N+1的摄像机像素平面上某点(u',v')，表达 式如下：

[0042]

[0043] 其中，d′表示像素点(u',v')的深度值，(u',v')即为视点N中像素点(u,v)经过DIBR 映射后得到的像素点位置。

[0044] 步骤2、基于双向DIBR的投影一致性检查，该步骤的具体处理如下：

[0045] 在双向DIBR映射过程中，引入了投影正确性检查的步骤，通过虚拟视点向参考视 点逆向投影来检查参考视点向虚拟视点前向投影的过程是否准确，有效地解决了投影像 素点重叠和像素渗透等问题，结合图2、图3对该步骤进行说明：

[0046] 参考视点的彩图为Cr，虚拟视点的原深度图为Dr，低分辨率彩图为 按照该实 例流程，通过参考视点的彩图Cr与虚拟视点的原深度图Dr，完成基于投影正确性检查 的DIBR虚拟视点合成。

[0047] 利用式(1)和式(3)得到将虚拟视点的原深度图Dr中某像素点p(u,v)投影到参 考视点深度图的p'(u',v')位置：

[0048]

[0049] 按照式(5)找到距离p'(u',v')最近的四个像素坐标为整数的点,其中 表示向下 取整， 表示向上取整。

[0050]

[0051] 将得到的四个参考视图中点p'(u',v')的四个邻近点p'1、p'2、p'3、p'4映射到虚拟视图， 得到四个映射虚拟视图像素点：

[0052]

[0053] 找到与p(u,v)欧式距离最近的映射虚拟视图像素点记为 若 与p(u,v)的欧式距离小于投影一致性检查阈值K＝1，则该像素点在参考视 点中的像素坐标原投影点 即为p(u,v)的最终映射位置,否则认为p(u,v)在 参考视图中没有正确的对应像素点，p(u,v)对应的像素点需要用插值虚拟视点彩图进行 填充。
通过公式(7)，计算出距离点p(u,v)欧式距离最近的映射点pi"(u",v")，将该点 下标标记为imin：

[0054]

[0055]

[0056] 步骤3、高频信息提取与超分辨率重建，该步骤的具体处理如下：

[0057] 通过均值为μ，方差为σ的高斯核函数G对经过双向DIBR的合成虚拟视图提取高 频分量，并与低分辨率视图的双三次插值结果 进行融合，得到最终的超分辨率重建 结果。

[0058]

[0059] 其中，均值μ＝0，方差σ＝1.6。

[0060] 在本发明算法的效果评价实验中，所用的多视点视频序列包括各个视点的RGB视 频序列、深度序列及摄像机参数；所用高斯核函数的大小为5×5，均值μ＝0，方差σ＝1.6。 投影一致性检查阈值K＝1。为了评价重建效果，除了采用主观的视觉评价外，还采用 峰值信噪比(PSNR)和图像结构相似度(SSIM)评价不同算法的超分辨率重建性能。 PSNR是一种基于统计特性的客观图像质量评价方法，较大的峰值信噪比表示重构图像 与原始图像之间的相似性较高。SSIM是一种通过感知图像结构信息来进行图像质量评 价的方法，SSIM值越大说明图像间的结构越相似。

[0061] 表1与表2分别表示不同算法的PSNR和SSIM，双三次插值算法作为基准。与基 于稀疏表示的超分辨率重建算法ScSR以及基于邻域嵌入的超分辨率重建算法NE做了 比较。相较ScSR算法，本发明算法在PSNR指标上平均提升2.06dB，SSIM指标上平 均提升0.0173。相较NE算法，本发明算法在PSNR指标上平均提升0.84dB，SSIM指 标上平均提升0.0060。

[0062] 如图4所示，相比传统DIBR虚拟视图合成方法，本发明的基于双向DIBR的虚拟 视图合成算法可以有效的去除小裂痕，消除背景与前景之间的像素渗透现象。通过高频 提取与插值视图融合得到的超分辨率重建结果有效的恢复了视频帧的高频细节，图像纹 理清晰细腻额，并且有效的抑制了振铃效应和块效应。

[0063] 如图5所示，相比其他超分辨率重建结果的主观视觉，本发明的基于双向DIBR的 虚拟视图合成算法，双三次插值恢复的结果表现最差，图像的纹理细节没能得到有效恢 复，ScSR以及NE结果恢复了部分高频信息，但存在部分区域过于平滑的问题。本专 利提出的算法可以有效恢复缺失的高频信息，且图像纹理清晰，细节真实，取得了最佳 的超分辨率重建效果。因此从评价指标上看，本发明算法明显优于其余几种算法，主观 评价与客观评价结果完全一致。表中，Dataset表示数据集，Bicubic表示双三次插值结 果，NE表示邻域嵌入结果，ScSR表示稀疏表示重建结果，Proposed表示本专利结果。

[0064] 表1、不同超分辨率重建结果PSNR值(dB)比较

[0065]

[0066] 表2、不同超分辨率重建结果SSIM值比较

[0067]

[0068]

[0069] 实验结果表明，本专利提出的算法能够更好地抑制了锯齿效应和振铃效应，重建出 的高分辨率视图更接近于真实图像，具有更好的主观和客观质量。