一种高分辨率深度图获取方法及系统

摘要

本发明提供一种高分辨率深度图获取方法及系统，方法包括：将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图；将高级特征图和浅层特征图同时输入到神经网络模型的图像重建模块中，获取高分辨率深度图；其中，神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到。本发明的神经网络模型中的主干网络为基于稠密连接网络思想搭建的深层网络，可多次特征复用，提高了特征的利用率；由于深度图本身可利用的特征较少，支路优化网络提取图像的浅层特征，为后续的图像重建模块提供了有效的图像全局先验信息，使得神经网络模型输出的HR深度图的分辨率更高。

权利要求

1.一种高分辨率深度图获取方法，其特征在于，包括：将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图，其中，所述主干网络包括低级特征提取模块、高级特征提取模块和上采样模块，所述高级特征提取模块包括稠密连接层以及与所述稠密连接层间隔级联的过渡层，所述支路优化网络包括双三次采样层和浅层网络；

将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图；

其中，所述神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到；

所述将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中之前还包括：

获取双目相机参数；

根据双目相机拍摄彩色左图和彩色右图，获取视差图；

基于所述视差图和所述双目相机参数，获取初始高分辨率深度图；

对所述初始高分辨率深度图进行图像降质处理，得到所述低分辨率深度图；

所述对所述初始高分辨率深度图进行图像降质处理，得到所述低分辨率深度图，具体包括：

对所有的初始高分辨率深度图进行相同尺寸的图像裁剪处理；

对裁剪之后的初始高分辨率深度图进行4倍的降采样处理，得到所述低分辨率深度图；

其中，所述裁剪之后的初始高分辨率深度图为保留的感兴趣区域覆盖图像前景物的图像。

2.根据权利要求1所述的高分辨率深度图获取方法，其特征在于，所述高级特征图具体通过如下方式获取：

将所述待处理低分辨率深度图输入所述低级特征提取模块，获取低级特征图；

将所述低级特征图输入所述高级特征提取模块，获取初始高级特征图；

将所述初始高级特征图输入所述上采样模块，进行高和宽的上采样处理，获取所述高级特征图。

3.根据权利要求1所述的高分辨率深度图获取方法，其特征在于，所述浅层特征图具体通过如下方式获得：

将所述低分辨率深度图输入到所述双三次采样层中，获取采样特征；

将所述采样特征输入到所述浅层网络中，获取所述浅层特征图。

4.根据权利要求1所述的高分辨率深度图获取方法，其特征在于，所述图像重建模块包括特征图拼接层和输出层网络，相应地，所述将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图，具体包括：将所述高级特征图和所述浅层特征图输入至所述特征图拼接层，获取通道拼接特征图；

将所述通道拼接特征图输入所述输出层网络中，获取所述高分辨率深度图。

5.根据权利要求2所述的高分辨率深度图获取方法，其特征在于，所述低级特征提取模块为残差网络，所述残差网络包括三个3*3的卷积层，其中，后两个卷积层之间加入残差跳跃连接。

6.根据权利要求2所述的高分辨率深度图获取方法，其特征在于，所述稠密连接层和所述过渡层间隔级联连接；

所述稠密连接层的数学表达为：

使用xl‑1代表第l‑1层的输入，第l‑1层的输出为yl‑1＝h(xl‑1)，则第l层的输入为xl＝xl‑1+h(xl‑1)，此时第l层的输出为yl＝h(xl)，其中h代表卷积层和激活函数处理；

若高级特征提取模块包括n个稠密连接层，则最后一层的输出为之前所有的稠密连接层卷积处理之后的特征图级联即yn＝h([xn‑1，xn‑2，...，x1])，其中[...]代表拼接操作。

7.根据权利要求1所述的高分辨率深度图获取方法，其特征在于，所述基于所述视差图和所述双目相机参数，获取初始高分辨率深度图，具体包括：depth＝b*f/disp；

其中，b为双目相机基线长度，f为双目相机焦距，disp为视差图，depth为所述初始高分辨率深度图。

8.一种高分辨率深度图获取系统，其特征在于，包括：特征图提取模块，用于将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图，其中，所述主干网络包括低级特征提取模块、高级特征提取模块和上采样模块，所述高级特征提取模块包括稠密连接层以及与所述稠密连接层间隔级联的过渡层，所述支路优化网络包括双三次采样层和浅层网络；

重建模块，用于将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图；

其中，所述神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到；

其中，所述特征图提取模块之前还包括低分辨率深度图模块，用于获取双目相机参数；

根据双目相机拍摄彩色左图和彩色右图，获取视差图；基于所述视差图和所述双目相机参数，获取初始高分辨率深度图；对所述初始高分辨率深度图进行图像降质处理，得到所述低分辨率深度图；

所述对所述初始高分辨率深度图进行图像降质处理，得到所述低分辨率深度图，具体包括：

对所有的初始高分辨率深度图进行相同尺寸的图像裁剪处理；

对裁剪之后的初始高分辨率深度图进行4倍的降采样处理，得到所述低分辨率深度图；

其中，所述裁剪之后的初始高分辨率深度图为保留的感兴趣区域覆盖图像前景物的图像。

说明书

一种高分辨率深度图获取方法及系统

技术领域

[0001] 本发明涉及图像处理技术领域，尤其涉及一种高分辨率深度图获取方法及系统。

背景技术

[0002] 低分辨率图像一般具有边缘模糊、细节缺失等缺点，当一张低分辨率的图像被放大时，图像细节部分往往无法很好的重现，因此，超分辨率重建的研究方向便应运而生。超
分辨率重建技术旨在对于一组低分辨率、低质量的图像(或视频序列)经过算法处理得到高
质量、高分辨率的图像。图像超分辨率重建的应用领域非常广泛，在监控安防、计算机视觉、
自动驾驶、医疗影像、卫星遥感等领域有着广阔的应用前景。

[0003] 在三维视觉领域，深度图是二维图像到三维表示的桥梁，和常见的彩色图不同，深度图中保存的像素值为物体距离相机的距离。因此，在获取了深度图之后便可以计算出物
体距相机的远近，从而可以进行三维重建或三维建模等工作，将二维图像中的物体在三维
空间重新表示。

[0004] 但是受到相机硬件设备等条件的限制，往往无法直接采集高分辨率的深度图，因此通过超分辨率重建将采集得到的低分辨率深度图放大得到高质量的高分辨率深度图很
有必要。

[0005] 由于受到硬件条件的制约，为了获取更高分辨率的深度图表示，在目前行业内若使用相机直接采集较高分辨率的深度图比较耗费硬件资源，对于相机系统的稳定性和实时
性能要求较高。

[0006] 因此，亟需一种对硬件条件要求不高的、且高质量的高分辨率深度图获取方法。

发明内容

[0007] 本发明实施例提供一种高分辨率深度图获取方法及系统，用以解决现有技术中对于获取高分辨率深度图对硬件条件要求较高的缺陷。

[0008] 本发明实施例提供一种高分辨率深度图获取方法，包括：

[0009] 将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图；

[0010] 将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图；

[0011] 其中，所述神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到。

[0012] 根据本发明实施例提供的一种高分辨率深度图获取方法，所述主干网络包括低级特征提取模块、高级特征提取模块和上采样模块，相应地，所述高级特征图具体通过如下方
式获取：

[0013] 将所述待处理低分辨率深度图输入所述低级特征提取模块，获取低级特征图；

[0014] 将所述低级特征图输入所述高级特征提取模块，获取初始高级特征图；

[0015] 将所述初始高级特征图输入所述上采样模块，进行高和宽的上采样处理，获取所述高级特征图。

[0016] 根据本发明实施例提供的一种高分辨率深度图获取方法，所述支路优化网络包括双三次采样层和浅层网络，相应地，所述浅层特征图具体通过如下方式获得：

[0017] 将所述低分辨率深度图输入到所述双三次采样层中，获取采样特征；

[0018] 将所述采样特征输入到所述浅层网络中，获取所述浅层特征图。

[0019] 根据本发明实施例提供的一种高分辨率深度图获取方法，所述图像重建模块包括特征图拼接层和输出层网络，相应地，所述将所述高级特征图和所述浅层特征图同时输入
到所述神经网络模型的图像重建模块中，获取高分辨率深度图，具体包括：

[0020] 将所述高级特征图和所述浅层特征图输入至所述特征图拼接层，获取通道拼接特征图；

[0021] 将所述通道拼接特征图输入所述输出层网络中，获取所述高分辨率深度图。

[0022] 根据本发明实施例提供的一种高分辨率深度图获取方法，所述低级特征提取模块为残差网络，所述残差网络包括三个3*3的卷积层，其中，后两个卷积层之间加入残差跳跃
连接。

[0023] 根据本发明实施例提供的一种高分辨率深度图获取方法，所述高级特征提取模块包括多个稠密连接层和数量相等的多个过渡层，所述稠密连接层和所述过渡层间隔级联连
接；

[0024] 所述多个稠密连接层的数学表达为：

[0025] 使用xl‑1代表第l‑1层的输入，第l‑1层的输出为yl‑1＝h(xl‑1)，则第l层的输入为xl＝xl‑1+h(xl‑1)，此时第l层的输出为yl＝h(xl)，其中h代表卷积层和激活函数处理；

[0026] 若高级特征提取模块包括n个稠密连接层，则最后一层的输出为之前所有的稠密连接层卷积处理之后的特征图级联即yn＝h([xn‑1,xn‑2,...,x1])，其中[...]代表拼接操作。

[0027] 根据本发明实施例提供的一种高分辨率深度图获取方法，所述将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中之前还包括：

[0028] 获取双目相机参数；

[0029] 根据双目相机拍摄彩色左图和彩色右图，获取视差图；

[0030] 基于所述视差图和所述双目相机参数，获取初始高分辨率深度图；

[0031] 对所述初始高分辨率深度图进行图像降质处理，得到所述低分辨率深度图。

[0032] 根据本发明实施例提供的一种高分辨率深度图获取方法，所述基于所述视差图和所述双目相机参数，获取初始高分辨率深度图，具体包括：

[0033] depth＝b*f/disp；

[0034] 其中，b为双目相机基线长度，f为双目相机焦距，disp为视差图，depth为所述初始高分辨率深度图。

[0035] 根据本发明实施例提供的一种高分辨率深度图获取方法，所述对所述初始高分辨率深度图进行图像降质处理，得到所述低分辨率深度图，具体包括：

[0036] 对所有的初始高分辨率深度图进行相同尺寸的图像裁剪处理；

[0037] 对裁剪之后的初始高分辨率深度图进行4倍的降采样处理，得到所述低分辨率深度图。

[0038] 本发明实施例还提供了一种高分辨率深度图获取系统，包括：

[0039] 特征图提取模块，用于将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图；

[0040] 重建模块，用于将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图；

[0041] 其中，所述神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到。

[0042] 本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种高分辨率深
度图获取方法的步骤。

[0043] 本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述高分辨率深度图获取方法的步骤。

[0044] 本发明实施例提供的一种高分辨率深度图获取方法及系统，通过神经网络模型由低分辨率深度图转换为高分辨率深度图，由于不是直接获取高分辨率深度图，因此降低了
对硬件条件的要求，另外神经网络模型中的主干网络可以进行多次特征复用，提高了特征
的利用率；由于深度图本身可利用的特征较少，支路优化网络提取图像的浅层特征，为后续
的图像重建模块提供了有效的图像全局先验信息，使得神经网络模型输出的高分辨率深度
图的分辨率更高，增强深度图的成像质量，提高深度图的识别精度。

附图说明

[0045] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发
明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根
据这些附图获得其他的附图。

[0046] 图1是本发明实施例提供的一种高分辨率深度图获取方法的流程示意图；

[0047] 图2是本发明实施例提供的神经网络模型结构示意图；

[0048] 图3为神经网络模型中的主干网络结构示意图；

[0049] 图4为本发明实施例提供的一种高分辨率深度图获取方法的整体流程示意图；

[0050] 图5为本发明实施例提供的一种高分辨率深度图获取系统连接框图；

[0051] 图6是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

[0052] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员
在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0053] 可以理解的是，基于背景技术中的问题，为了解决相机采集得到的低分辨率深度图质量不高、细节缺失和相机直接采集高分辨率深度图较耗费资源的缺点，同时由于神经
网络模型相较于传统的插值、马尔科夫随机场等方法在超分辨率重建的任务中恢复出的图
像细节更加逼真。

[0054] 目前业内主流的神经网络模型超分辨率重建的研究对象为彩色图，在构建端到端的神经网络模型后，将低分辨率彩色图送入神经网络模型进行特征提取和上采样处理得到
高分辨率彩色图输出。当前针对深度图的神经网络超分辨率重建模型均以彩色图超分辨率
模型改良而来，但彩色图本身相较于深度图的纹理、颜色等特征更为丰富，可以利用的图像
特征信息更多，如何挖掘出更多的深度图自带的图像特征较为困难。

[0055] 本发明实施例提供一种利用神经网络模型将低分辨率深度图转换为高分辨率深度图的方法，其中，低分辨率的深度图简称为LR(Low‑Resolution，简称LR)深度图，高分辨
率的深度图简称为HR(High‑Resolution，简称HR)深度图。

[0056] 参见图1，提供了本发明实施例的一种高分辨率深度图获取方法，包括：

[0057] S1，将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图；

[0058] S2，将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图；

[0059] 其中，所述神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到。

[0060] 本发明实施例中，神经网络模型包括主干网络、支路优化网络和图像重建模块；主干网络和所述支路优化网络分别提取LR深度图的高级特征图和浅层特征图；将高级特征图
和所述浅层特征图输入图像重建模块进行通道拼接，输出LR深度图对应的HR深度图。神经
网络模型中的主干网络为基于稠密连接网络思想搭建的深层网络模块，其可以进行多次特
征复用，提高了特征的利用率；由于深度图本身可利用的特征较少，支路优化网络提取图像
的浅层特征，为后续的图像重建模块提供了有效的图像全局先验信息，使得神经网络模型
输出的HR深度图的分辨率更高。

[0061] 本发明实施例提供的一种高分辨率深度图获取方法及系统，通过神经网络模型由低分辨率深度图转换为高分辨率深度图，由于不是直接获取高分辨率深度图，因此降低了
对硬件条件的要求，另外神经网络模型中的主干网络可以进行多次特征复用，提高了特征
的利用率；由于深度图本身可利用的特征较少，支路优化网络提取图像的浅层特征，为后续
的图像重建模块提供了有效的图像全局先验信息，使得神经网络模型输出的高分辨率深度
图的分辨率更高，增强深度图的成像质量，提高深度图的识别精度。

[0062] 在一个可能的实施方式中，将待处理LR深度图输入神经网络模型中，输出待处理LR深度图对应的HR深度图之前还包括：

[0063] 获取双目相机参数；

[0064] 根据双目相机拍摄彩色左图和彩色右图，获取视差图；

[0065] 基于所述视差图和所述双目相机参数，获取初始高分辨率深度图；

[0066] 对所述初始高分辨率深度图进行图像降质处理，得到所述低分辨率深度图。

[0067] 可以理解的是，本发明实施例利用的数据集为从双目相机拍摄的自动驾驶道路街景数据集中随机抽取部分原始数据组成图像数据库，其中包括双目相机拍摄的彩色左图和
右图。根据立体匹配原理使用左图和右图计算得到视差图，它表示这两个相机之间的位姿
关系。

[0068] 接着根据双目相机参数，使用转换公式depth＝b*f/disp将视差图转化为深度图，其中b为相机基线长度，f为相机焦距，disp为视差图，depth为转换之后得到的深度图。

[0069] 由于图像的超分辨率重建是一个无最优解的过程，使用的超分辨率算法不同得到的超分辨率结果便不同。同时，在真实场景中，仅仅拥有的是低分辨率图像，因此，针对深度
图的超分辨率重建需要模拟图像降质流程构建实验数据集即：将视差图转换得到的深度图
depth作为初始HR深度图。对初始HR深度图进行图像降质处理，得到初始HR深度图对应的LR
深度图。

[0070] 在一个可能的实施例方式中，对初始HR深度图进行图像降质处理，得到与初始HR深度图对应的LR深度图包括：

[0071] 对所有的初始HR深度图进行相同尺寸的图像裁剪处理；

[0072] 对裁剪之后的初始HR深度图进行4倍的降采样处理得到所述初始HR深度图对应的LR深度图。

[0073] 可以理解的是，对初始HR深度图进行降质处理的具体过程为，对所有的初始HR深度图进行相同尺寸的图像块裁剪处理，确保裁剪之后保留的感兴趣区域覆盖图像的前景
物，并对裁剪之后的初始HR深度图进行4倍的降采样处理得到低分辨率深度图即LR深度图，
并随机抽取3/4的数据作为训练集，剩下的数据作为测试集。

[0074] 在一个可能的实施方式中，所述主干网络包括低级特征提取模块、高级特征提取模块和上采样模块，相应地，所述高级特征图具体通过如下方式获取：

[0075] 将所述待处理低分辨率深度图输入所述低级特征提取模块，获取低级特征图；

[0076] 将所述低级特征图输入所述高级特征提取模块，获取初始高级特征图；

[0077] 将所述初始高级特征图输入所述上采样模块，进行高和宽的上采样处理，获取所述高级特征图。

[0078] 主干网络包括低级特征提取模块、高级特征提取模块和上采样模块；

[0079] 通过所述低级特征提取模块提取所述LR深度图的低级特征图；

[0080] 基于所述低级特征图，通过所述高级特征提取模块提取LR深度图的高级特征图；

[0081] 通过所述上采样模块对所述高级特征图进行高和宽的上采样处理，得到上采样处理后的高级特征图。

[0082] 可以理解的是，本发明实施例的神经网络模型为一种端到端的Depth Super‑ResolutionNetworks，简称为DepthSRNet的神经网络模型用于训练和测试。该神经网络模
型主要包括主干网络、支路优化网络和图像重建模块。

[0083] 本发明提供DepthSRNet神经网络模型的整体结构图，如图2所示，LR深度图送入DepthSRNet分别经过主干网络和支路优化两条路之后在图像重建模块出进行特征融合并
进行重建处理得到HR深度图。

[0084] 其中，主干网络是神经网络模型的主要部分，由低级特征提取模块、高级特征提取模块和上采样模块组成。

[0085] 其中，低级特征提取模块提取LR深度图的低级特征图，基于低级特征图，高级特征提取模块提取LR深度图的高级特征图，通过上采样模块对所述高级特征图进行高和宽的上
采样处理，得到上采样处理后的高级特征图。

[0086] 在一个可能的实施方式中，低级特征提取模块由一组残差网络结构组成：包括三个卷积核尺寸为3*3的卷积层和一条残差跳跃连接。该低级特征提取模块主要用于提取LR
深度图的低级特征图。

[0087] 高级特征提取模块由多组稠密连接(Denseblock)层和过渡(Transition)层组成，稠密连接层的示意图如图3所示。

[0088] 稠密连接层的基本思想为基于特征图通道级别的拼接，进一步给出稠密连接层的数学表达：使用xl‑1代表第l‑1层的输入，那么第l‑1层的输出为yl‑1＝h(xl‑1)，则第l层的输
入为xl＝xl‑1+h(xl‑1)，此时第l层的输出为yl＝h(xl)，其中h代表卷积层和激活函数处理。假
设一个稠密连接层模块总计由n层组成，此时最后一层的输出为之前所有的卷积处理之后
的特征图级联即yn＝h([xn‑1,xn‑2,...,x1])，其中[...]代表拼接(concatenation)操作。本
发明实施例中使用的高级特征提取模块含有的卷积层较深，因此使用其不断提取深度图的
高级特征表示，稠密连接层可以进行多次特征复用，提高特征利用率。高级特征提取模块
中，每两个稠密连接层之间以及最后一个稠密连接层之后均级联一个过渡模块，也就是稠
密连接层和过渡间隔级联连接。该过渡层由卷积核大小为1*1的卷积层组成，其目的是为了
减少稠密连接层子模块输出特征的通道数，从而减小计算量。

[0089] 上采样模块由一组像素混洗(Pixel_Shuffle)层组成，该层的作用可以对特征图进行高和宽的上采样处理，并且可以有效保留图像细节。

[0090] 在一个可能的实施方式中，所述支路优化网络包括双三次采样层和浅层网络，相应地，所述浅层特征图具体通过如下方式获得：

[0091] 将所述低分辨率深度图输入到所述双三次采样层中，获取采样特征；

[0092] 将所述采样特征输入到所述浅层网络中，获取所述浅层特征图。

[0093] 支路优化网络包括两个级联的卷积层组成的浅层网络和一个双三次采样(BiCubic)层；

[0094] 通过所述双三次采样层对LR深度图使用双三次插值方式进行上采样处理，且通过所述浅层网络提取采样后的LR深度图的浅层特征图。

[0095] 可以理解的是，本发明实施例提出的支路优化网络包含一个双三次采样层和两个级联的卷积层组成的浅层网络。基本思想为对LR深度图先使用双三次插值方式进行上采样
处理，接着对于上采样之后的深度图提取浅层特征，并向后传递。浅层网络的特点是更加关
注于特征的全局化，因此本发明实施例构建的支路优化网络可以有效地为后续的图像重建
模块提供深度图的全局先验信息。

[0096] 在一个可能的实施方式中，图像重建模块包括特征图拼接层和由两个卷积层、一个像素混洗层和一个输出层组成的输出层网络。

[0097] 可以理解的是，LR深度图在经过主干网络和支路优化网络后分别得到高级特征图δ与浅层特征图σ。图像重建模块接收来自主干网络和支路优化网络的两条输出特征图，首
选使用一个特征图拼接层(Concat)将高级特征图δ与浅层特征图σ进行通道拼接，接着将通
道拼接之后的特征图依次经过两个卷积层、一个像素混洗层和一个输出层，得到高分辨率
HR深度图输出，此处最后的输出层也由一个卷积层构成。

[0098] 以上介绍了神经网络模型的层结构以及不同层的连接关系和每一层的功能，下面对神经网络模型的训练过程进行描述。

[0099] 将LR深度图送入DepthSRNet神经网络模型，同时使用原始HR深度图作为监督信号用于模型训练，即将训练数据集中的LR深度图输入神经网络模型中，由神经网络模型输出
LR深度图对应的HR深度图，计算由神经网络模型输出的HR深度图与训练数据集中的HR深度
图之间的损失。在本发明实施例中，训练使用的损失函数为MSELoss其公式表示为：

[0100]

[0101] 其中，m表示样本数目，yi表示原始HR深度图， 表示模型训练输出的HR深度图。模型训练时使用Adam梯度更新算法，指数衰减速率区间为(0.9,0.999)。

[0102] 通过不断的迭代训练，不断调整神经网络模型的参数，直到计算出的损失小于设定的阈值。

[0103] 神经网络模型训练完成后，使用测试集对训练后的神经网络模型进行测试，将测试集中待超分辨率重建的LR深度图送入训练好的模型DepthSRNet中，得到HR深度图输出，
以评估训练后的神经网络模型的超分辨率重建效果。

[0104] 如图4所示，本发明实施例的整个技术方案的具体流程图包括：

[0105] 根据双目相机拍摄的原始HR彩色图的左图和右图，计算出原始HR的视差图，根据视差图和双目相机的参数，计算得到原始HR深度图，对原始HR深度图进行降质处理，具体的
降质处理为，对HR深度图的图像块进行裁剪并进行下采样处理，得到HR深度图对应的LR深
度图，将HR深度图和LR深度图作为训练集对神经网络模型进行训练，其中，神经网络模型主
要包括主干网络、支路优化网络和图像重建模块，主干网络主要提取LR深度图的高级特征，
支路优化网络主要提取LR深度图的浅层特征，图像重建模块将LR深度图的高级特征和浅层
特征进行通道合并，得到LR深度图对应的HR深度图。利用训练好的神经网络模型对LR深度
图进行超分辨率重建，也就是将LR深度图通过神经网络模型转换为HR深度图。

[0106] 参见图5，提供了本发明实施例的一种高分辨率深度图获取系统，该深度图处理系统包括：

[0107] 特征图提取模块501用于将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图；

[0108] 重建模块502用于将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图；

[0109] 其中，所述神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到。

[0110] 可以理解的是，本发明实施例提供的深度图处理系统与前述提供的深度图处理方法相对应，深度图处理系统的相关技术特征可参见前述实施例提供的深度图处理方法的相
关技术特征，在此不再赘述。

[0111] 本发明实施例还提供一种电子设备，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620存储器(memory)630和通信总
线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处
理器610可以调用存储器630中的逻辑指令，以执行深度图处理方法，该方法包括：

[0112] 将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图；

[0113] 将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图；

[0114] 其中，所述神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到。

[0115] 此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本
发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以
软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以
使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施
例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，
Read‑Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种
可以存储程序代码的介质。

[0116] 另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所
述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的深度图处理方
法，该方法包括：

[0117] 将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图；

[0118] 将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图；

[0119] 其中，所述神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到。

[0120] 又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的深度图处理方
法，该方法包括：

[0121] 将待处理低分辨率深度图分别输入到神经网络模型的主干网络和支路优化网络中，分别获取高级特征图和浅层特征图；

[0122] 将所述高级特征图和所述浅层特征图同时输入到所述神经网络模型的图像重建模块中，获取高分辨率深度图；

[0123] 其中，所述神经网络模型基于低分辨率深度图样本和对应的高分辨率深度图标签进行训练得到。

[0124] 本发明实施例提供的一种高分辨率深度图获取方法及系统，通过神经网络模型由LR深度图转换为HR深度图，神经网络模型中的主干网络为基于稠密连接网络思想搭建的深
层网络模块，其可以进行多次特征复用，提高了特征的利用率；由于深度图本身可利用的特
征较少，支路优化网络提取图像的浅层特征，为后续的图像重建模块提供了有效的图像全
局先验信息，使得神经网络模型输出的HR深度图的分辨率更高，提高深度图的成像质量，进
而提高深度图的识别精度；主干网络中的上采样模块使用像素混洗模块，其上采样处理恢
复图像细节更逼真，且可以有效避免出现使用反卷积做上采样带来的棋盘格现象。

[0125] 以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单
元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其
中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性
的劳动的情况下，即可以理解并实施。

[0126] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上
述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该
计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指
令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施
例或者实施例的某些部分所述的方法。

[0127] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可
以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；
而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和
范围。