基于深度相机的3D图像传输及重建方法

摘要

本发明公开的本发明实施例提供的3D图像传输及重建方法，涉及图像处理技术领域，通过发送端根据相机标定方法，获取深度相机的内参及外参，持续获取同一时刻下、同一场景的深度图像和彩色图像并组合深度图像及彩色图像，生成混合帧图像，对混合帧图像进行编码，将内参、外参及混合帧图像发送至接收端；接收端接收该混合帧图像并对混合帧图像进行解码，得到混合帧图像对应的深度图像和彩色图像并对深度图像进行去噪及三角化处理，将深度图像的各个像素坐标投影到彩色图像中，得到3D图像，提高了3D图像的压缩比、恢复质量、重建效率及实用性。

权利要求

1.一种基于深度相机的3D图像传输方法，适用于发送端，其特征在于，包括：根据相机标定方法，获取深度相机的内参及外参，其中，所述内参包括彩色图像相机的内参矩阵Krgb、深度图像相机的内参矩阵Kir、深度图像相机到彩色图像相机的3×3旋转矩阵Rir2rgb及深度相机到彩色相机的平移向量tir2rgb，其中，tir2rgb＝(xir2rgb,yir2rgb,zir2rgb)T，xir2rgb，yir2rgb和zir2rgb分别为tir2rgb在横轴、纵轴及竖轴上的三个分量，fx_ir和fy_ir分别为深度相机在横轴、纵轴上的焦距，u0_ir，v0_ir为深度相机主点的像素坐标值；

获取同一时刻下、同一场景的深度图像和彩色图像并组合所述深度图像及所述彩色图像，生成混合帧图像；

对所述混合帧图像进行编码，将所述内参、所述外参及所述混合帧图像发送至接收端。

2.根据权利要求1所述的3D图像传输方法，其特征在于，所述混合帧图像的格式为YUV。

3.一种基于深度相机的3D图像重建方法，适用于发送端，其特征在于，包括：接收发送端发送的混合帧图像并对所述混合帧图像进行解码，得到所述混合帧图像对应的深度图像和彩色图像；

对所述深度图像进行去噪处理，包括：

利用公式 获取所述深度图像的三维点Pir，去除深度值低于

设定阈值的三维点，其中，uir,vir为所述深度图像上各个像素的像素坐标，zir为所述深度图像上各个像素的深度值；

对所述深度图像进行三角化处理，包括：

遍历所述深度图像的各个像素坐标，判断以各个像素坐标为顶点的两个空间三角形的三个顶点是否均有深度值及任意一个边的边长不超过设定门限，若是，则保存所述两个空间三角形的像素坐标，遍历下一个像素坐标，若否，则直接遍历下一个像素坐标，直至遍历完所有像素坐标，得到不带纹理信息的三维模型；

根据公式zrgbPrgb＝KrgbRir2rgbKir-1zirpir+Krgbtir2rgb，将所述三维模型的各个像素坐标投影到所述彩色图像中，得到3D图像，其中，pir＝(uir,vir,1)T为顶点在深度图上的像素坐标，Prgb＝(urgb,vrgb,1)T为顶点在对应彩色图上的像素坐标，zrgb为三维点在彩色相机坐标系下深度值，zrgb＝zir2rgb+zir。

说明书

基于深度相机的3D图像传输及重建方法

技术领域

[0001] 本发明属于图像处理技术领域，具体涉及一种基于深度相机的3D图像传输及重建方法。

背景技术

[0002] 目前，3D图像的应用前景巨大，尤其在虚拟现实技术中，3D图像是虚拟现实系统中主要处理的数据对象。对于3D图像的获取，最直接的办法是通过消费级的深度相机同步获取深度视频流和彩色视频流，然后通过三维重建技术得到高质量的三维模型。随着5G等通信技术的发展，3D图像可以跨越地域限制，得到与2D视频相同甚至更多的应用前景。

[0003] 申请号为CN201110403735.5的专利申请公开了一种基于深度模板的2D视频转3D图像传输及重建方法，该方法将2D视频中的深度图部分根据一个深度模板和一个平滑模板将深度数据编码加入到视频序列的图像头中，解码端利用两个模板和解码图像恢复出深度图，然后利用深度图重建出另一个视点图像。该方法主要针对的是多视角加深度图的格式来表示编码的3D图像，同时针对深度图编码部分需要两个模板，同时编码过程有较大的压缩，不适合于模型的三维重建。

[0004] 申请号为CN00815807.X的专利申请公开了一种深度图压缩的方法，该方法包括：确定深度图中至少一个物体的边界，将曲线应用于每个物体的边界，并将有曲线界定的区域内的连续深度数据转换成至少一个斜坡函数。该方法仅适用于结构简单、形状较为规则的深度图有较高压缩效果，实用性不强。

发明内容

[0005] 针对现有技术存在的缺陷，本发明实施例提供了一种基于深度相机的3D图像传输及重建方法。

[0006] 第一方面，本发明实施例提供的基于深度相机的3D图像传输方法包括：

[0007] 根据相机标定方法，获取深度相机的内参及外参，其中，所述内参包括彩色图像相机的内参矩阵Krgb、深度图像相机的内参矩阵Kir、深度图像相机到彩色图像相机的3×3旋转矩阵Rir2rgb及深度相机到彩色相机的平移向量tir2rgb，其中，tir2rgb＝(xir2rgb,yir2rgb,zir2rgb)T，xir2rgb，yir2rgb和zir2rgb分别为tir2rgb在横轴、纵轴及竖轴上的三个分量，fx_ir和fy_ir分别为深度相机在横轴、纵轴方向上的焦距，u0_ir，
v0_ir为深度相机主点的像素坐标值；

[0008] 获取同一时刻下、同一场景的深度图像和彩色图像并组合所述深度图像及所述彩色图像，生成混合帧图像；

[0009] 对所述混合帧图像进行编码，将所述内参、所述外参及所述混合帧图像发送至接收端。

[0010] 进一步地，所述混合帧图像的格式为YUV。

[0011] 第二方面，本发明实施例提供的基于深度相机的3D图像重建方法包括：

[0012] 接收发送端发送的混合帧图像并对所述混合帧图像进行解码，得到所述混合帧图像对应的深度图像和彩色图像；

[0013] 对所述深度图像进行去噪处理，包括：

[0014] 利用公式 获取所述深度图像的三维点Pir，去除深度值低于设定阈值的三维点，其中，uir,vir为所述深度图像上各个像素的像素坐标，zir为所述深度图像上各个像素的深度值；

[0015] 对所述深度图像进行三角化处理，包括：

[0016] 遍历所述深度图像的各个像素坐标，判断以各个像素坐标为顶点的两个空间三角形的三个顶点是否均有深度值及任意一个边的边长不超过设定门限，若是，则保存所述两个空间三角形的像素坐标，遍历下一个像素坐标，若否，则直接遍历下一个像素坐标，直至遍历完所有像素坐标，得到不带纹理信息的三维模型；

[0017] 根据公式zrgbPrgb＝KrgbRir2rgbKir-1zirpir+Krgbtir2rgb，将所述三维模型的各个像素坐标投影到所述彩色图像中，得到3D图像，其中，pir＝(uir,vir,1)T为顶点在深度图上的像素坐标，Prgb＝(urgb,vrgb,1)T为顶点在对应彩色图上的像素坐标，zrgb为三维点在彩色相机坐标系下深度值，zrgb＝zir2rgb+zir。

[0018] 本发明实施例提供的基于深度相机的3D图像传输及重建方法具有以下有益效果：

[0019] (1)基于传统视频编解码算法，对深度图像及彩色图像进行同步传输，对传统2D视频传输系统来稍微修改即可实现3D图像的传输，同时由于深度图像具有大范围平坦的特性，保证了3D图像的压缩比和恢复质量。

[0020] (2)基于深度相机获取的深度图像，由于深度图像上的相邻像素在恢复完三维点之后在空间中仍然相邻，因此可以借助深度图像上的相邻关系实现快速三角化，实现对3D图像的快速重建。

附图说明

[0021] 图1为本发明实施例公开的基于深度相机的3D图像传输及重建方法的流程示意图；

[0022] 图2a为本发明实施例公开的混合帧图像的结构示意图；

[0023] 图2b为本发明实施例公开的混合帧图像的另一结构示意图；

[0024] 图3为本发明实施例公开的对深度图像进行三角化处理的示意图。

具体实施方式

[0025] 以下结合附图和具体实施例对本发明作具体的介绍。

[0026] 如图1所示，本发明实施例提供的基于深度相机的3D图像传输及重建方法包括以下步骤：

[0027] S101，发送端根据相机标定方法，获取深度相机的内参及外参，其中，内参包括彩色图像相机的内参矩阵Krgb、深度图像相机的内参矩阵Kir、深度图像相机到彩色图像相机的3×3旋转矩阵Rir2rgb及深度相机到彩色相机的平移向量tir2rgb，其中，tir2rgb＝(xir2rgb,T
yir2rgb,zir2rgb) ，xir2rgb，yir2rgb和zir2rgb分别为tir2rgb在横轴、纵轴及竖轴上的三个分量，fx_ir和fy_ir分别为深度相机在横轴、纵轴上的焦距，u0_ir，v0_ir为
深度相机主点的像素坐标值。

[0028] 其中，深度相机在出厂时，相机的内外参数会存在一定的差异，因此，为了达到高精度重建，需要将深度相机进行提前标定以获取准确的内外参数，然后通过网络将参数以无损数据格式传输到接收端。

[0029] S102，发送端获取同一时刻下、同一场景的深度图像和彩色图像并组合深度图像及彩色图像，生成混合帧图像。

[0030] 作为一个具体的实施例，如图2所示，深度图像和彩色图像的组合方式有两种。UV通道做保留处理，填充为零。

[0031] 其中，深度相机由一个彩色图像相机和深度图像相机组成，深度图像相机可以获得场景的深度图像，深度图像上的每个像素表示场景中实际物体相对相机的距离，即深度值。彩色图像为RGB三通道图像，每个通道占一个字节。深度图像为单通道图像，占一个字节；深度图像大部分属于平滑区域，还有一部分属于无数据区域，将无数据区域的像素置为零，方便后续去噪处理。

[0032] S103，发送端对混合帧图像进行编码，将内参、外参及混合帧图像发送至接收端。

[0033] 作为一个具体的实施例，编码方法包括H.264、VP8、VP9及HEVC算法。

[0034] S104，接收端接收该混合帧图像并对混合帧图像进行解码，得到混合帧图像对应的深度图像和彩色图像。

[0035] S105，接收端对深度图像进行去噪处理，包括：

[0036] 利用公式 获取所述深度图像的三维点Pir，去除深度值低于设定阈值的三维点，其中，uir,vir为所述深度图像上各个像素的像素坐标，zir为所述深度图像上各个像素的深度值。

[0037] 其中，视频编解码方法不是无损压缩，因此会有一部分深度图像的参数发生改变，根据视频编解码原理对图像的高频成分进行丢弃，因此可观察到恢复的深度图像上物体边缘部分像素的深度值变化较大，因此通过设定深度值的阈值，将低于该阈值的深度图像的三维点丢弃即可达到去噪目的。

[0038] S106，接收端对深度图像进行三角化处理，包括：

[0039] 遍历所述深度图像的各个像素坐标，判断以各个像素坐标为顶点的两个空间三角形的三个顶点是否均有深度值及任意一个边的边长不超过设定门限，若是，则保存所述两个空间三角形的像素坐标，遍历下一个像素坐标，若否，则直接遍历下一个像素坐标，直至遍历完所有像素坐标，得到不带纹理信息的三维模型。

[0040] 作为一个具体的实施例，三角化处理过程如图3所示。

[0041] S107，接收端根据公式zrgbPrgb＝KrgbRir2rgbKir-1zirpir+Krgbtir2rgb，将所述三维模型的各个像素坐标投影到所述彩色图像中，得到3D图像，其中，pir＝(uir,vir,1)T为顶点在深度T图上的像素坐标，Prgb＝(urgb,vrgb,1)为顶点在对应彩色图上的像素坐标，zrgb为三维点在彩色相机坐标系下深度值，zrgb＝zir2rgb+zir。

[0042] 本发明实施例提供的3D图像传输及重建方法，通过发送端根据相机标定方法，获取深度相机的内参及外参，获取同一时刻下、同一场景的深度图像和彩色图像并组合深度图像及彩色图像，生成混合帧图像，对混合帧图像进行编码，将内参、外参及混合帧图像发送至接收端；接收端接收该混合帧图像并对混合帧图像进行解码，得到混合帧图像对应的深度图像和彩色图像并对深度图像进行去噪及三角化处理，将深度图像的各个像素坐标投影到彩色图像中，得到3D图像，提高了3D图像的压缩比、恢复质量、重建效率及实用性。

[0043] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

[0044] 可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

[0045] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0046] 在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

[0047] 此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

[0048] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

[0049] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0050] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0051] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0052] 在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

[0053] 存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

[0054] 计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

[0055] 还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

[0056] 本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

[0057] 以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

[0058] 需要说明的是，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。