图像处理方法、路径规划方法、装置、设备及存储介质

摘要

本申请公开了一种图像处理方法、路径规划方法、装置、设备及存储介质，属于人工智能和计算机视觉技术领域，所述方法包括：获取对应于目标场景的色彩图和稀疏深度图；对色彩图和稀疏深度图的分辨率进行调整处理，得到n种分辨率下的色彩图和稀疏深度图；调用级联沙漏网络对n种分辨率下的色彩图和稀疏深度图进行处理，得到n种分辨率下的预测结果图；根据n种分辨率下的稠密深度图，生成对应于目标场景的稠密深度图。本申请实施例提供的级联沙漏网络对目标场景中对象的不同特征采用不同的提取预测方式，可以在降低计算机设备处理开销和沙漏网络的运算量的同时，深入挖掘目标场景中对象的不同特征，使得对应于目标场景的稠密深度图更加准确。

权利要求

1.一种图像处理方法，其特征在于，所述方法包括：

获取对应于目标场景的色彩图和稀疏深度图；

对所述色彩图和稀疏深度图的分辨率进行调整处理，得到n种分辨率下的色彩图和稀疏深度图，所述n为正整数；

调用级联沙漏网络对所述n种分辨率下的色彩图和稀疏深度图进行处理，得到所述n种分辨率下的预测结果图，其中，所述级联沙漏网络中的沙漏网络，用于对上一级沙漏网络对应的预测结果图、所述沙漏网络对应分辨率下的色彩图和稀疏深度图进行处理，得到所述沙漏网络对应分辨率下的预测结果图，所述上一级沙漏网络对应的预测结果图是对所述上一级沙漏网络对应分辨率下的预测结果图进行分辨率转换后得到的，所述n种分辨率下的预测结果图包括所述n种分辨率下的稠密深度图；

根据所述n种分辨率下的稠密深度图，生成对应于所述目标场景的稠密深度图。

2.根据权利要求1所述的方法，其特征在于，所述级联沙漏网络中包含的沙漏网络的级数等于所述n；

所述调用级联沙漏网络对所述n种分辨率下的色彩图和稀疏深度图进行处理，得到所述n种分辨率下的预测结果图，包括：调用第1级沙漏网络，对第1种分辨率下的色彩图和稀疏深度图进行处理，得到所述第1种分辨率下的预测结果图；

将第i种分辨率下的预测结果图的分辨率转换为第i+1种分辨率，得到转换为所述第i+

1种分辨率的预测结果图，所述第i种分辨率下的预测结果图是指通过第i级沙漏网络得到的预测结果图，所述i为正整数；

调用第i+1级沙漏网络，对所述转换为所述第i+1种分辨率的预测结果图以及所述第i+

1种分辨率下的色彩图和稀疏深度图进行处理，得到所述第i+1种分辨率下的预测结果图。

3.根据权利要求2所述的方法，其特征在于，所述第i+1级沙漏网络包括初始层、下采样层、上采样层和预测层；

所述调用第i+1级沙漏网络，对所述转换为所述第i+1种分辨率的预测结果图以及所述第i+1种分辨率下的色彩图和稀疏深度图进行处理，得到所述第i+1种分辨率下的预测结果图，包括：通过所述初始层，对所述转换为所述第i+1种分辨率的预测结果图，以及所述第i+1种分辨率下的色彩图和稀疏深度图进行融合处理，得到融合处理的特征图；

通过所述下采样层，对所述融合处理的特征图进行下采样，得到下采样后的特征图；

通过所述上采样层，对所述下采样后的特征图进行上采样，得到所述第i+1种分辨率下的特征图；

通过所述预测层，对所述第i+1种分辨率下的特征图进行预测，得到所述第i+1种分辨率下的预测结果图。

4.根据权利要求3所述的方法，其特征在于，所述n种分辨率下的预测结果图还包括所述n种分辨率下的特征指导图，所述特征指导图用于指导填充所述稀疏深度图中像素点的数量；

所述通过所述初始层，对所述转换为所述第i+1种分辨率的预测结果图，以及所述第i+

1种分辨率下的色彩图和稀疏深度图进行融合处理，得到融合处理的特征图，包括：将所述转换为所述第i+1种分辨率的预测结果图中的特征指导图，以及所述第i+1种分辨率下的色彩图进行组合，得到第一特征图；

将所述转换为所述第i+1种分辨率的预测结果图中的稠密深度图，以及所述第i+1种分辨率下的稀疏深度图进行组合，得到第二特征图；

通过所述初始层，在特征维度上对所述第一特征图和所述第二特征图进行融合处理，得到融合处理的特征图；

其中，所述融合处理的特征图中包括第一特征图部分和第二特征图部分，所述第一特征图部分和所述第二特征图部分在通过所述下采样层时独立进行下采样。

5.根据权利要求3所述的方法，其特征在于，所述下采样层包括第一下采样层和第二下采样层，所述上采样层包括第一上采样层和第二上采样层；所述方法还包括：通过残差连接对所述第一下采样层的输出和所述第二上采样层的输出进行组合，得到所述预测层的输入；

通过残差连接对所述第二下采样层的输出和所述第一上采样层的输出进行组合，得到所述第二上采样层的输入。

6.根据权利要求2所述的方法，其特征在于，所述将第i种分辨率下的预测结果图的分辨率转换为第i+1种分辨率，得到转换为所述第i+1种分辨率的预测结果图，包括：对所述第i种分辨率下的预测结果图进行上采样，得到所述转换为所述第i+1种分辨率的预测结果图。

7.根据权利要求1所述的方法，其特征在于，所述n等于2，所述n种分辨率包括第1种分辨率和第2种分辨率，所述第1种分辨率不同于所述第2种分辨率，所述级联沙漏网络包括级联的第1级沙漏网络和第2级沙漏网络；

所述调用级联沙漏网络对所述n种分辨率下的色彩图和稀疏深度图进行处理，得到所述n种分辨率下的预测结果图，包括：调用所述第1级沙漏网络，对所述第1种分辨率下的色彩图和稀疏深度图进行处理，得到所述第1种分辨率下的预测结果图；

将所述第1种分辨率下的预测结果图的分辨率转换为所述第2种分辨率，得到转换为所述第2种分辨率的预测结果图；

调用所述第2级沙漏网络，对所述转换为所述第2种分辨率的预测结果图以及所述第2种分辨率下的色彩图和稀疏深度图进行处理，得到所述第2种分辨率下的预测结果图。

8.根据权利要求1所述的方法，其特征在于，所述根据所述n种分辨率下的稠密深度图，生成对应于所述目标场景的稠密深度图，包括：将所述n种分辨率下的稠密深度图的分辨率转换为预设分辨率，得到相同分辨率下的n个稠密深度图；

通过残差连接对所述相同分辨率下的n个稠密深度图进行组合，得到对应于所述目标场景的稠密深度图。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述级联沙漏网络的训练过程如下：对于所述级联沙漏网络中的第k级沙漏网络，根据所述第k种分辨率下的稀疏深度图和所述第k种分辨率下的稠密深度图，计算所述第k级沙漏网络的预测损失值，所述预测损失值用于表征通过所述第k种分辨率下的稀疏深度图预测所述第k种分辨率下的稠密深度图时的预测误差，所述k为正整数；

根据权重参数设置和所述第k级沙漏网络的预测损失值，计算所述级联沙漏网络的预测损失值，所述权重参数设置是指对所述n种分辨率的预测损失值的权重参数的设置；

根据所述级联沙漏网络的预测损失值，调整所述级联沙漏网络的参数。

10.一种路径规划方法，其特征在于，应用于移动装置，所述移动装置包括处理器，以及与所述处理器相连的图像采集设备和移动控制器；所述方法包括：通过所述图像采集设备获取目标场景的色彩图和稀疏深度图；

通过所述处理器调用级联沙漏网络对所述色彩图和稀疏深度图进行处理，得到对应于所述目标场景的稠密深度图，其中，所述级联沙漏网络中的沙漏网络，用于对上一级沙漏网络对应的预测结果图、所述沙漏网络对应分辨率下的色彩图和稀疏深度图进行处理，得到所述沙漏网络对应分辨率下的预测结果图，所述上一级沙漏网络对应的预测结果图是对所述上一级沙漏网络对应分辨率下的预测结果图进行分辨率转换后得到的；根据所述稠密深度图确定所述目标场景的环境信息，所述目标场景的环境信息包括位于所述目标场景中的目标对象的特征信息和所述目标场景的场景结构；根据所述目标场景的环境信息，确定所述移动装置的移动路径；

通过所述移动控制器控制所述移动装置按照所述移动路径移动。

11.根据权利要求10所述的方法，其特征在于，所述通过所述处理器根据所述目标场景的环境信息，确定所述移动装置的移动路径，包括：通过所述处理器根据所述目标场景的环境信息，确定所述目标场景中的障碍物；根据所述障碍物，确定所述移动路径。

12.一种图像处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取对应于目标场景的色彩图和稀疏深度图；

分辨率调整模块，用于对所述色彩图和稀疏深度图的分辨率进行调整处理，得到n种分辨率下的色彩图和稀疏深度图，所述n为正整数；

结果预测模块，用于调用级联沙漏网络对所述n种分辨率下的色彩图和稀疏深度图进行处理，得到所述n种分辨率下的预测结果图，其中，所述级联沙漏网络中的沙漏网络，用于对上一级沙漏网络对应的预测结果图、所述沙漏网络对应分辨率下的色彩图和稀疏深度图进行处理，得到所述沙漏网络对应分辨率下的预测结果图，所述上一级沙漏网络对应的预测结果图是对所述上一级沙漏网络对应分辨率下的预测结果图进行分辨率转换后得到的，所述n种分辨率下的预测结果图包括所述n种分辨率下的稠密深度图；

图像生成模块，用于根据所述n种分辨率下的稠密深度图，生成对应于所述目标场景的稠密深度图。

13.一种移动装置，其特征在于，所述移动装置包括处理器，以及与所述处理器相连的图像采集设备和移动控制器；

所述图像采集设备，用于获取目标场景的色彩图和稀疏深度图；

所述处理器，用于调用级联沙漏网络对所述色彩图和稀疏深度图进行处理，得到对应于所述目标场景的稠密深度图，其中，所述级联沙漏网络中的沙漏网络，用于对上一级沙漏网络对应的预测结果图、所述沙漏网络对应分辨率下的色彩图和稀疏深度图进行处理，得到所述沙漏网络对应分辨率下的预测结果图，所述上一级沙漏网络对应的预测结果图是对所述上一级沙漏网络对应分辨率下的预测结果图进行分辨率转换后得到的；根据所述稠密深度图确定所述目标场景的环境信息，所述目标场景的环境信息包括位于所述目标场景中的目标对象的特征信息和所述目标场景的场景结构；根据所述目标场景的环境信息，确定所述移动装置的移动路径；

所述移动控制器，用于控制所述移动装置按照所述移动路径移动。

14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一项所述的图像处理方法，或者实现如权利要求10至11任一项所述的路径规划方法。

15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至9任一项所述的图像处理方法，或者实现如权利要求10至11任一项所述的路径规划方法。

说明书

图像处理方法、路径规划方法、装置、设备及存储介质

技术领域

[0001] 本申请实施例涉及人工智能和计算机视觉技术领域，特别涉及一种图像处理方法、路径规划方法、装置、设备及存储介质。

背景技术

[0002] 深度感知是许多计算机视觉任务的重要组成部分，例如自动导航、增强现实等。常见的深度感知方法基于高精度的深度传感器，然而，商品级别的传感器只能生成稀疏深度图，无法满足高层次的应用需求，如路径规划、障碍物避让等应用需求。

[0003] 基于此，人们提出深度补全，其可以将稀疏深度图中的有效点数量增大以生成稠密深度图，这样既可以满足对于高精度深度信息的需求，又可以不增加深度感知的成本。相关技术中，深度补全主要通过沙漏网络来完成，将稀疏深度图输入沙漏网络即可输出稠密深度图。在相关技术中，沙漏网络可以分为收缩部分和扩张部分，收缩部分通过一系列下采样卷积提取稀疏深度图的多个特征，扩张部分逐步从收缩部分中接收这些特征，从而得到与稀疏深度图的分辨率对应的稠密深度图。

[0004] 然而，在相关技术中，针对某一稀疏深度图的深度补全，是对该稀疏深度图对应的RGB图像中的所有特征采用相同的提取方式，使用的网络结构单一，缺乏对深度信息的挖掘。

发明内容

[0005] 本申请实施例提供了一种图像处理方法、路径规划方法、装置、设备及存储介质，可用于深度挖掘目标场景中对象的不同特征，使得深度补全的结果更加准确。所述技术方案如下：

[0006] 一方面，本申请实施例提供了一种图像处理方法，所述方法包括：

[0007] 获取对应于目标场景的色彩图和稀疏深度图；

[0008] 对所述色彩图和稀疏深度图的分辨率进行调整处理，得到n种分辨率下的色彩图和稀疏深度图，所述n为正整数；

[0009] 调用级联沙漏网络对所述n种分辨率下的色彩图和稀疏深度图进行处理，得到所述n种分辨率下的预测结果图，所述n种分辨率下的预测结果图包括所述n种分辨率下的稠密深度图；

[0010] 根据所述n种分辨率下的稠密深度图，生成对应于所述目标场景的稠密深度图。

[0011] 另一方面，本申请实施例提供了一种路径规划方法，应用于移动装置，所述移动装置包括处理器，以及与所述处理器相连的图像采集设备和移动控制器；所述方法包括：

[0012] 通过所述图像采集设备获取目标场景的色彩图和稀疏深度图；

[0013] 通过所述处理器调用级联沙漏网络对所述色彩图和稀疏深度图进行处理，得到对应于所述目标场景的稠密深度图；根据所述稠密深度图确定所述目标场景的环境信息，所述目标场景的环境信息包括位于所述目标场景中的目标对象的特征信息和所述目标场景的场景结构；根据所述目标场景的环境信息，确定所述移动装置的移动路径；

[0014] 通过所述移动控制器控制所述移动装置按照所述移动路径移动。

[0015] 再一方面，本申请实施例提供了一种图像处理装置，所述装置包括：

[0016] 图像获取模块，用于获取对应于目标场景的色彩图和稀疏深度图；

[0017] 分辨率调整模块，用于对所述色彩图和稀疏深度图的分辨率进行调整处理，得到n种分辨率下的色彩图和稀疏深度图，所述n为正整数；

[0018] 结果预测模块，用于调用级联沙漏网络对所述n种分辨率下的色彩图和稀疏深度图进行处理，得到所述n种分辨率下的预测结果图，所述n种分辨率下的预测结果图包括所述n种分辨率下的稠密深度图；

[0019] 图像生成模块，用于根据所述n种分辨率下的稠密深度图，生成对应于所述目标场景的稠密深度图。

[0020] 又一方面，本申请实施例提供了一种移动装置，其特征在于，所述移动装置包括处理器，以及与所述处理器相连的图像采集设备和移动控制器；

[0021] 所述图像采集设备，用于获取目标场景的色彩图和稀疏深度图；

[0022] 所述处理器，用于调用级联沙漏网络对所述色彩图和稀疏深度图进行处理，得到对应于所述目标场景的稠密深度图；根据所述稠密深度图确定所述目标场景的环境信息，所述目标场景的环境信息包括位于所述目标场景中的目标对象的特征信息和所述目标场景的场景结构；根据所述目标场景的环境信息，确定所述移动装置的移动路径；

[0023] 所述移动控制器，用于控制所述移动装置按照所述移动路径移动。

[0024] 还一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述图像处理方法，或者实现上述路径规划方法。

[0025] 还一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述图像处理方法，或者实现上述路径规划方法。

[0026] 还一方面，本申请实施例提供了一种计算机程序产品，当所述计算机程序产品在计算机设备上运行时，使得计算机设备执行上述图像处理方法，或者执行上述路径规划方法。

[0027] 本申请实施例提供的技术方案可以带来如下有益效果：

[0028] 通过获取对应于目标场景的色彩图和稀疏深度图，然后对色彩图和稀疏深度图的分辨率进行调整，得到多种分辨率下的色彩图和稀疏深度图，再调用级联沙漏网络对多种分辨率下的色彩图和稀疏深度图进行处理，得到多种分辨率下的预测结果图，每一种分辨率下的预测结果图都包括该分辨率下的稠密深度图，计算机设备根据多种分辨率下的稠密深度图可以生成对应于目标场景的稠密深度图，从而提供了一种填充稀疏深度图中的像素点生成稠密深度图的方式，即提供了一种深度补全方式。

[0029] 并且，本申请实施例中，由于不同分辨率下的色彩图和稀疏深度图突显目标场景中对象的不同特征，各级沙漏网络输入不同分辨率下的色彩图和稀疏深度图，可以对目标场景中对象的不同特征进行重点预测，相比于每一级沙漏网络都提取预测目标场景中对象的所有特征，导致级联沙漏网络的运算量过大，且不能有区别地提取预测对象的不同类型的特征，本申请实施例提供的级联沙漏网络对目标场景中对象的不同特征采用不同的提取预测方式，各级沙漏网络有针对性地预测目标场景中对象的部分特征，可以在降低计算机设备处理开销和沙漏网络的运算量的同时，深入挖掘目标场景中对象的不同特征，使得深度补全的结果，即对应于目标场景的稠密深度图更加准确。

附图说明

[0030] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0031] 图1是本申请一个实施例提供的实施环境的示意图；

[0032] 图2是本申请一个实施例提供的图像处理方法的流程图；

[0033] 图3是本申请一个实施例提供的级联沙漏网络运算方法的流程图；

[0034] 图4是本申请一个实施例提供的转换分辨率的示意图；

[0035] 图5是本申请一个实施例提供的沙漏网络的结构示意图；

[0036] 图6是本申请一个实施例提供的不同数据融合方式的示意图；

[0037] 图7是本申请一个实施例提供的路径规划方法的流程图；

[0038] 图8是本申请一个实施例提供的图像处理和路径规划方法的流程图；

[0039] 图9是本申请一个实施例提供的图像处理装置的框图；

[0040] 图10是本申请另一个实施例提供的图像处理装置的框图；

[0041] 图11是本申请一个实施例提供的移动装置的结构框图；

[0042] 图12是本申请一个实施例提供的计算机设备的结构框图。

具体实施方式

[0043] 为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

[0044] 人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

[0045] 人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

[0046] 计算机视觉技术（Computer Vision，CV）是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

[0047] 随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

[0048] 本申请实施例提供的技术方案涉及人工智能的计算机视觉技术，具体通过如下实施例进行说明。

[0049] 请参考图1，其示出了本申请一个实施例提供的实施环境的示意图，该实施环境可以包括：激光雷达10、相机20和计算机设备30。

[0050] 激光雷达10是指用激光器作为发射光源，并采用光电探测技术手段的主动遥感设备，其可以发射激光束以探测目标对象的位置、速度等特征量。可选地，激光雷达10可以搭载LiDAR（Light Detection and Ranging，激光探测及测距系统）以实现探测的目的。本申请实施例中，激光雷达10可以通过扫描，即发射激光束，来获取雷达点云数据，该雷达点云数据具有三维特性。进一步地，将该雷达点云数据映射到二维平面，可以生成深度图，该深度图中的每一个像素点的值表示该点到激光雷达10的距离。可选地，本申请实施例中，激光雷达10也可以实现为其它的传感器。

[0051] 相机20是指可以对某一场景进行图像采集的设备，可选地，相机20是彩色相机，可以采集到对应于某一场景的RGB图像，该RGB图像通常具备较高的分辨率。

[0052] 本申请实施例中，激光雷达10和相机20可以搭载在同一个具备高层次应用需求的移动装置（也可以称为移动平台）上，如搭载在移动机器人上或者无人汽车上。可选地，某一移动装置中可以搭载一个激光雷达10和一个相机20，也可以搭载多个激光雷达10和多个相机20，本申请实施例对该移动装置中搭载的激光雷达10和相机20的数量不作限定，实际应用中可以结合移动装置移动的范围和对精度的要求等具体确定。示例性地，对于某一移动装置移动区域的目标场景，该移动装置中搭载的激光雷达10可以对该目标场景中的对象进行探测获取雷达点云数据，并根据该雷达点云数据生成深度图，由于激光雷达10的分辨率较低，只能获取较少数量的点云数据，即像素点的数量较少，因此深度图较为稀疏，可以称之为稀疏深度图；该移动装置中的相机20可以对该目标场景进行图像采集，以获取该目标场景的RGB图像，虽然RGB图像可以较高分辨率展示目标场景，但其仅是目标场景的高分辨率光学描述，无法直接获取目标场景的深度数据。基于此，本申请实施例提供了一种图像处理方法，该图像处理方法可以结合RGB图像，将稀疏深度图补全为稠密深度图，该图像处理方法应用于计算机设备30中。

[0053] 计算机设备30是指具备图像处理和数据分析能力的设备，如具备数据存储能力和/或数据处理能力的PC（Personal Computer，个人计算机）和服务器等，或者是诸如手机、平板电脑、多媒体播放设备、可穿戴设备等终端，还可以是其他计算机设备，本申请实施例对此不作限定。可选地，当计算机设备30为服务器时，该计算机设备30可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。可选地，计算机设备30中存储有沙漏网络，该沙漏网络可以对稀疏深度图和RGB图像进行处理。可选地，该沙漏网络可以是级联沙漏网络，本申请实施例对级联沙漏网络的级数不作限定。可选地，计算机设备30可以与移动装置之间是独立的，也可以实现为计算处理装置等并搭载在移动装置中。应理解，图1为了方便描述仅以计算机设备30与移动装置之间独立为例进行举例说明，但不构成对计算机设备30与移动装置之间的关系的限定。

[0054] 本申请实施例中，计算机设备30和激光雷达10，以及计算机设备30和相机20之间可以通过网络进行互相通信。可选地，激光雷达10和相机20所搭载的移动装置中可以设置有具备数据存储和采集功能的装置，该装置可以实现为计算机设备，也可以实现为存储介质，还可以实现为芯片，本申请实施例对此不作限定。进一步地，该装置可以从激光雷达10和相机20处分别获取数据，然后与计算机设备30之间通过网络进行互相通信。可选地，该网络可以是有线网络，也可以是无线网络。在一个示例中，计算机设备可以从激光雷达10处获取对应于目标场景的稀疏深度图，从相机20处获取对应于目标场景的RGB图像，然后调用级联沙漏网络，在该RGB图像的指导下，将该稀疏深度图补全为对应于目标场景的稠密深度图。

[0055] 请参考图2，其示出了本申请一个实施例提供的图像处理方法的流程图。该方法可应用于上文介绍的计算机设备中。该方法可以包括如下几个步骤：

[0056] 步骤210，获取对应于目标场景的色彩图和稀疏深度图。

[0057] 目标场景是移动装置所处环境对应的场景，其中，移动装置是指可以自主移动或者被动移动的平台，例如，智能机器人、无人汽车、无人飞机等，本申请实施例对移动装置的种类及移动方式不作限定。可选地，目标场景中可以固定有图像采集设备，该图像采集设备可以采集对应于目标场景的色彩图和稀疏深度图；移动装置中也可以搭载图像采集设备或图像采集装置，如激光雷达、相机等设备或装置，以对目标场景的图像进行采集。本申请实施例对图像采集设备或图像采集装置的具体搭载方式不作限定。示例性地，移动装置中搭载有彩色相机和激光雷达，该彩色相机可以对目标场景进行拍摄，以形成对应于目标场景的色彩图，该色彩图可以是RGB图，也可以是灰度图或灰阶图，本申请实施例对色彩图的种类不作限定；该激光雷达可以对目标场景中的对象进行探测，以获取对应于目标场景的雷达点云数据。

[0058] 为了降低计算机设备的处理开销、提升运算速度，可以在执行本申请方法示例的过程中使用二维图像。由此，本申请实施例中，计算机设备可以将三维图像或三维数据转换为二维。示例性地，彩色相机采集到的是对应于目标场景的RGB图，计算机设备可以将RGB图转换为灰度图，以忽略目标场景的色彩信息，减少不必要的信息量，降低处理开销。示例性地，激光雷达采集到的是雷达点云数据，计算机设备可以根据该雷达点云数据进一步生成深度图，由于激光雷达的分辨率较低，因而雷达点云数据量较少，深度图中像素点的数量也就较少，此时，深度图较为稀疏，可以称之为稀疏深度图。本申请实施例对处理RGB图和雷达点云数据的先后顺序不作限定，可以同时处理RGB图和雷达点云数据，也可以先处理RGB图再处理雷达点云数据，还可以先处理雷达点云数据再处理RGB图。

[0059] 需要说明的一点是，本申请实施例中仅以色彩图为灰度图进行举例说明，本领域技术人员在了解了本申请的技术方案之后，将很容易想到色彩图为RGB图或者其它图像的技术方案，这些均应属于本申请的保护范围之内。

[0060] 在一个示例中，移动装置中除了搭载彩色相机和激光雷达之外，还可以搭载具备数据采集和存储功能的装置，该装置可以实现为芯片、存储介质、计算机设备等。该装置可以获取彩色相机采集的RGB图像和激光雷达采集的雷达点云数据，并根据RGB图像生成灰度图、根据雷达点云数据生成稀疏深度图，然后将处理得到的灰度图和稀疏深度图发送给本申请实施例中用于图像处理的计算机设备。

[0061] 步骤220，对色彩图和稀疏深度图的分辨率进行调整处理，得到n种分辨率下的色彩图和稀疏深度图。

[0062] 在计算机设备获取到色彩图和稀疏深度图之后，可以对色彩图和稀疏深度图的分辨率进行调整处理，以得到n种分辨率下的色彩图和稀疏深度图，n为正整数，可选地，n为大于1的正整数。本申请实施例对调整色彩图和稀疏深度图的分辨率的具体方式不作限定，可选地，计算机设备可以直接通过压缩软件进行调整，也可以通过采样函数进行调整。本申请实施例对调整色彩图和稀疏深度图的分辨率的具体策略也不作限定，可选地，计算机设备可以调低色彩图和稀疏深度图的分辨率，也可以调高色彩图和稀疏深度图的分辨率。

[0063] 应理解，本申请实施例中，图像的分辨率与图像的尺寸之间存在关联，图像的分辨率越大，图像的尺寸越大；图像的分辨率越小，图像的尺寸越小。因而，本申请实施例中，对色彩图和稀疏深度图的分辨率进行调整，也就意味着对色彩图和稀疏深度图的尺寸进行调整，并得到n种尺寸下的色彩图和稀疏深度图。通过调整对应于目标场景的色彩图和稀疏深度图的分辨率，可以突显目标场景中对象的不同特征，例如，在降低色彩图和稀疏深度图的分辨率的情况下，色彩图和稀疏深度图的尺寸减小，突显的是目标场景中对象的整体轮廓信息等；在提高色彩图和稀疏深度图的分辨率的情况下，色彩图和稀疏深度图的尺寸增大，突显的是目标场景中对象的局部细节信息等。

[0064] 步骤230，调用级联沙漏网络对n种分辨率下的色彩图和稀疏深度图进行处理，得到n种分辨率下的预测结果图。

[0065] 沙漏网络（Hourglass Network）是指可以使用图像的多层卷积特征，对图像进行识别或者预测的卷积神经网络结构。计算机设备调用沙漏网络对某一图像进行处理，可以得到该图像对应的预测结果。级联沙漏网络，又可以称为堆叠沙漏网络（Stacked Hourglass Model，SHM），是指将多个沙漏网络串联起来的网络结构，级联沙漏网络最终的预测结果是根据级联的多个沙漏网络的预测结果生成的，因而相比于单个沙漏网络，可以得到更加准确的预测结果。

[0066] 本申请实施例中，计算机设备可以调用级联沙漏网络，对n种分辨率下的色彩图和稀疏深度图进行处理，级联沙漏网络中每一级沙漏网络可以处理不同分辨率下的色彩图和稀疏深度图，由于不同分辨率下的色彩图和稀疏深度图突显的目标场景中对象的特征不同，从而每一级沙漏网络在处理过程中，可以对目标场景中对象的不同特征进行重点预测。例如，若某一级沙漏网络对较高分辨率下的色彩图和稀疏深度图进行处理，则该沙漏网络预测的是目标场景中对象的整体轮廓特征等；若某一级沙漏网络对较低分辨率下的色彩图和稀疏深度图进行处理，则该级沙漏网络预测的是目标场景中对象的局部细节特征等。

[0067] 级联沙漏网络中的每一级沙漏网络均可以输出与输入的色彩图和稀疏深度图的分辨率相对应的预测结果图，即，计算机设备调用级联沙漏网络对n种分辨率下的色彩图和稀疏深度图进行处理，可以得到n种分辨率下的预测结果图。在计算机设备调用级联沙漏网络对n种分辨率下的色彩图和稀疏深度图进行处理的过程中，每一种分辨率下的色彩图是用于指导沙漏网络对该分辨率下的稀疏深度图中的像素点进行填充，以得到该分辨率下的稠密深度图等，因此，计算机设备得到的n种分辨率下的预测结果图包括n种分辨率下的稠密深度图。

[0068] 步骤240，根据n种分辨率下的稠密深度图，生成对应于目标场景的稠密深度图。

[0069] 由于级联沙漏网络中的每一级沙漏网络重点预测目标场景中对象的不同特征，因此为了得到对目标场景较为全面的预测结果，计算机设备可以根据级联沙漏网络输出的n种分辨率下的稠密深度图，生成对应于目标场景的稠密深度图。本申请实施例对计算机设备生成对应于目标场景的稠密深度图的具体方式不作限定，可选地，计算机设备可以通过残差连接对n种分辨率下的稠密深度图进行组合，以生成对应于目标场景的稠密深度图；计算机设备也可以通过提取n种分辨率下的稠密深度图的像素点，然后对该像素点进行组合以生成对应于目标场景的稠密深度图。

[0070] 本申请实施例中，计算机设备可以先对各级沙漏网络输出的稠密深度图的分辨率进行调整，以便于根据相同分辨率下的稠密深度图生成对应于目标场景的稠密深度图，从而降低计算机设备在生成对应于目标场景的稠密深度图的过程中运算的复杂度。示例性地，上述步骤240包括：将n种分辨率下的稠密深度图的分辨率转换为预设分辨率，得到相同分辨率下的n个稠密深度图；通过残差连接对相同分辨率下的n个稠密深度图进行组合，得到对应于目标场景的稠密深度图。其中，预设分辨率是指预先设定的分辨率大小，可选地，计算机设备可以预先设定预设分辨率的数值，例如，预先设定预设分辨率的数值为对应于目标场景的色彩图和稀疏深度图的分辨率的数值；计算机设备还可以预先设定预设分辨率的具体数值的确定方式，例如，计算机设备可以确定n种分辨率中最大分辨率或者平均分辨率的数值为预设分辨率的数值。

[0071] 在一种可能的实施方式中，级联沙漏网络的训练过程包括如下几个步骤：对于级联沙漏网络中的第k级沙漏网络，根据第k种分辨率下的稀疏深度图和第k种分辨率下的稠密深度图，计算第k级沙漏网络的预测损失值，其中，预测损失值用于表征通过第k种分辨率下的稀疏深度图预测第k种分辨率下的稠密深度图时的预测误差，k为正整数；根据权重参数设置和第k级沙漏网络的预测损失值，计算级联沙漏网络的预测损失值，其中，权重参数设置是指对n种分辨率的预测损失值的权重参数的设置；根据级联沙漏网络的预测损失值，调整级联沙漏网络的参数。

[0072] 对于沙漏网络的训练，可以先计算出该沙漏网络对应的损失值，然后根据该损失值，调整沙漏网络的参数，在损失值收敛的情况下，沙漏网络即完成训练。相关技术中，在计算级联沙漏网络的损失值时，是计算级联沙漏网络中各级沙漏网络的损失值，然后使得每个损失值均收敛，以完成对各个沙漏网络的训练。相关技术中对级联沙漏网络的训练中，各级沙漏网络是独立训练的，这种方式下虽然各级沙漏网络的预测效果达到最优，但是由各级沙漏网络串联起来的级联沙漏网络的预测效果却无法保障。基于此，本申请实施例提供了一种级联沙漏网络的训练方法，该方法可以保障级联沙漏网络整体的预测效果最优。在本申请实施例中，计算的是级联沙漏网络的损失值，计算机设备首先计算出各级沙漏网络的损失值，然后根据权重参数设置和各级沙漏网络的损失值，计算级联沙漏网络的损失值，再根据该级联沙漏网络的损失值，调整级联沙漏网络的参数，使得级联沙漏网络的损失值收敛，以完成对级联沙漏网络的训练。本申请实施例对权重参数设置的具体设置策略不作限定，可选地，计算机设备可以随机设置各级沙漏网络的权重参数，也可以根据使用偏好设置各级沙漏网络的权重参数，例如，在实际应用过程中，若使用者更看重对目标场景中对象的局部细节预测，则计算机设备对于输入的色彩图和稀疏深度图的分辨率较高的沙漏网络，可以设置较高的权重参数，对于输入的色彩图和稀疏深度图的分辨率较低的沙漏网络，可以设置较低的权重参数。本申请实施例通过提供多种方式确定权重参数设置的具体策略，可以提升权重参数设置的灵活性。

[0073] 综上所述，本申请实施例提供的技术方案，通过获取对应于目标场景的色彩图和稀疏深度图，然后对色彩图和稀疏深度图的分辨率进行调整，得到多种分辨率下的色彩图和稀疏深度图，再调用级联沙漏网络对多种分辨率下的色彩图和稀疏深度图进行处理，得到多种分辨率下的预测结果图，每一种分辨率下的预测结果图都包括该分辨率下的稠密深度图，计算机设备根据多种分辨率下的稠密深度图可以生成对应于目标场景的稠密深度图，从而提供了一种填充稀疏深度图中的像素点生成稠密深度图的方式，即提供了一种深度补全方式。

[0074] 并且，本申请实施例中，由于不同分辨率下的色彩图和稀疏深度图突显目标场景中对象的不同特征，各级沙漏网络输入不同分辨率下的色彩图和稀疏深度图，可以对目标场景中对象的不同特征进行重点预测，相比于每一级沙漏网络都提取预测目标场景中对象的所有特征，导致级联沙漏网络的运算量过大，且不能有区别地提取预测对象的不同类型的特征，本申请实施例提供的级联沙漏网络对目标场景中对象的不同特征采用不同的提取预测方式，各级沙漏网络有针对性地预测目标场景中对象的部分特征，可以在降低计算机设备处理开销和沙漏网络的运算量的同时，深入挖掘目标场景中对象的不同特征，使得深度补全的结果，即对应于目标场景的稠密深度图更加准确。

[0075] 另外，本申请实施例还提供了一种级联沙漏网络的训练方法，即先计算出级联沙漏网络中各级沙漏网络的损失值，然后根据权重参数设置和各级沙漏网络的损失值，计算级联沙漏网络的损失值，然后根据级联沙漏网络的损失值调整级联沙漏网络的参数，在级联沙漏网络的损失值收敛的情况下，即完成对级联沙漏网络的训练。相比于单独训练级联沙漏网络中各级沙漏网络时无法保障级联沙漏网络整体效果最优，本申请实施例提供的技术方案对级联沙漏网络整体进行训练，可以保障级联沙漏网络整体的预测效果，从而可以确保级联沙漏网络输出的对应于目标场景的稠密深度图的准确性。

[0076] 在一种可能的实施方式中，如图3所示，上述级联沙漏网络中包含的沙漏网络的级数等于n；上述步骤230包括如下几个步骤：

[0077] 步骤232，调用第1级沙漏网络，对第1种分辨率下的色彩图和稀疏深度图进行处理，得到第1种分辨率下的预测结果图。

[0078] 本申请实施例中，第1级沙漏网络的输入是第1种分辨率下的色彩图和稀疏深度图，其中，第1种分辨率下的色彩图可以用于指导填充第1种分辨率下的稀疏深度图中的像素点。第1级沙漏网络对第1种分辨率下的色彩图和稀疏深度图处理之后，输出的是第1种分辨率下的预测结果图，即，沙漏网络输出的预测结果图的分辨率与输入的色彩图和稀疏深度图的分辨率是相同的。

[0079] 步骤234，将第i种分辨率下的预测结果图的分辨率转换为第i+1种分辨率，得到转换为第i+1种分辨率的预测结果图。

[0080] 当第i级沙漏网络输入的色彩图和稀疏深度图的分辨率是第i种分辨率时，第i级沙漏网络输出的预测结果图的分辨率也是第i种分辨率，即，第i种分辨率下的预测结果图是指通过第i级沙漏网络得到的预测结果图，其中，i为正整数。为了使得其它级的沙漏网络在对色彩图和稀疏深度图进行预测时，可以结合已经得到预测结果图的沙漏网络的预测结果，计算机设备得到第i种分辨率下的预测结果图之后，可以转换该预测结果图的分辨率，可选地，计算机设备可以将第i种分辨率下的预测结果图的分辨率转换为第i+1种分辨率，以得到转换为第i+1种分辨率的预测结果图，从而该转换为第i+1种分辨率的预测结果图可以为第i+1级沙漏网络所使用，以使得第i+1级沙漏网络的预测结果更为准确。

[0081] 可选地，上述步骤234包括：对第i种分辨率下的预测结果图进行上采样，得到转换为第i+1种分辨率的预测结果图。本申请实施例对上采样的具体方式不作限定，可选地，计算机设备可以通过内插值算法，即在原有像素点之间插入新的像素点，对第i种分辨率下的预测结果图进行上采样，例如，通过基于边缘图像的插值、基于区域的图像插值等插值算法；计算机设备还可以通过反卷积对第i种分辨率下的预测结果图进行上采样。通过上采样之后，第i种分辨率下的预测结果图的分辨率增大，计算机设备可以通过设置插值算法等的参数以控制该第i种分辨率下的预测结果图的分辨率增大至第i+1种分辨率，从而得到转换为第i+1种分辨率的预测结果图。如图4所示，第i级沙漏网络输出第i种分辨率下的预测结果图42，计算机设备可以对第i种分辨率下的预测结果图42进行上采样44，以提升该预测结果图42的分辨率，即放大该预测结果图42的尺寸，从而得到转换为第i+1种分辨率的预测结果图46。

[0082] 步骤236，调用第i+1级沙漏网络，对转换为第i+1种分辨率的预测结果图以及第i+1种分辨率下的色彩图和稀疏深度图进行处理，得到第i+1种分辨率下的预测结果图。

[0083] 不同于第1级沙漏网络的输入，第i+1级沙漏网络的输入是转换为第i+1种分辨率的预测结果图以及第i+1种分辨率下的色彩图和稀疏深度图，即，第i+1级沙漏网络是在第i级沙漏网络预测结果的基础上进行预测的，从而第i级沙漏网络的预测结果可以为第i+1级沙漏网络的预测提供参考，提升各级沙漏网络之间运算的紧密型和关联性，使得级联沙漏网络的预测结果更为准确。

[0084] 在一个示例中，第i+1级沙漏网络包括初始层、下采样层、上采样层和预测层，如图5所示，第i+1级沙漏网络包括初始层510、下采样层520、上采样层530和预测层540；上述步骤236包括：

[0085] （1）通过初始层，对转换为第i+1种分辨率的预测结果图，以及第i+1种分辨率下的色彩图和稀疏深度图进行融合处理，得到融合处理的特征图。

[0086] 本申请实施例中，某一级沙漏网络的初始层的作用是融合该级沙漏网络输入的图像，则转换为第i+1种分辨率的预测结果图以及第i+1种分辨率下的色彩图和稀疏深度图，通过第i+1级沙漏网络的初始层之后，可以得到融合处理的特征图。可选地，初始层可以在特征维度上对该初始层所在的沙漏网络的输入进行融合处理，即，第i+1级沙漏网络的初始层，可以在特征维度上融合转换为第i+1种分辨率的预测结果图以及第i+1种分辨率下的色彩图和稀疏深度图，通过该初始层得到的融合处理的特征图是一组图像在特征维度上堆叠的结果。

[0087] 可选地，n种分辨率下的预测结果图还包括n种分辨率下的特征指导图，特征指导图用于指导通过所述稀疏深度图预测所述稠密深度图；上述步骤（1）包括：将转换为第i+1种分辨率的预测结果图中的特征指导图，以及第i+1种分辨率下的色彩图进行组合，得到第一特征图；将转换为第i+1种分辨率的预测结果图中的稠密深度图，以及第i+1种分辨率下的稀疏深度图进行组合，得到第二特征图；通过初始层，在特征维度上对第一特征图和第二特征图进行融合处理，得到融合处理的特征图。

[0088] 本申请实施例中，通过第i级沙漏网络输出的预测结果图除了包括第i种分辨率下的稠密深度图之外，还包括第i种分辨率下的特征指导图，该特征指导图是指第i级沙漏网络处理过程中提取第i种分辨率下的图像的特征并经过一系列的处理后生成的，且该第i种分辨率下的特征指导图在转换为第i+1种分辨率之后，可以与第i+1种分辨率下的色彩图结合指导计算机设备对第i+1种分辨率下的稀疏深度图进行填充。在第i+1级沙漏网络的初始层对输入的图像进行融合处理时，可以先将转换为第i+1种分辨率的预测结果图中的特征指导图和第i+1种分辨率下的色彩图进行组合，得到第一特征图，将转换为第i+1种分辨率的预测结果图中的稠密深度图和第i+1种分辨率下的稀疏深度图进行组合，得到第二深度图，然后在特征维度上融合第一特征图和第二特征图，得到融合处理的特征图。本申请实施例对生成第一特征图和第二特征图的先后顺序不作限定，可选地，计算机设备可以同时生成第一特征图和第二特征图。

[0089] （2）通过下采样层，对融合处理的特征图进行下采样，得到下采样后的特征图。

[0090] 对融合处理的特征图进行下采样，可以降低融合处理的特征图的分辨率，即缩小融合处理的特征图的尺寸，并增大特征图中每个像素点的感受野。可选地，下采样层可以通过滤波器对融合处理的特征图进行下采样，以抽取融合处理的特征图中的特征，得到下采样后的特征图。

[0091] 可选地，初始层得到的融合处理的特征图中包括第一特征图部分和第二特征图部分，该第一特征图部分与上述第一特征图相对应，该第二特征图部分与上述第二特征图相对应。由于第一特征图部分和第二特征图部分的数据处理方式不一样，第一特征图部分和第二特征图部分在通过下采样层时独立进行下采样，即下采样层是采用分离的下采样方式对第一特征图部分和第二特征图部分进行下采样的。在这种情况下，下采样层可以包括两个滤波器，一个滤波器用于处理融合处理的特征图中的第一特征图部分，另一个滤波器用于处理融合处理的特征图中的第二特征图部分。

[0092] 本申请实施例中，先通过初始层对输入的图像进行融合处理，然后通过下采样层对融合处理的特征图中第一特征图部分和第二特征图部分进行独立下采样，这种方式可以称为分组融合。如图6所示，图6中（a）表示早融合的运算方式，（b）表示晚融合的运算方式，（c）表示分组融合的运算方式，在早融合（a）和分组融合（c）中，计算机设备都是先融合第一特征图和第二特征图，但是早融合（a）在对融合处理的特征图进行下采样时，没有进行分组，相比于分组融合（c），早融合（a）的运算较为复杂，运算量较大；在晚融合（b）和分组融合（c）中，计算机设备都是对第一特征图和第二特征图进行独立下采样，但是晚融合（b）中没有先对第一特征图和第二特征图进行融合处理，从而需要采用两种滤波方式对第一特征图和第二特征图进行下采样，而分组融合（c）中因为先对第一特征图和第二特征图进行融合处理，因而可以采用相同的滤波方式对第一特征图部分和第二特征图部分进行下采样，分组融合（c）相比于晚融合（b）具有较高的计算并行度，可以降低计算机设备的处理开销。

[0093] 在对融合处理的特征图进行下采样时，由于降低了融合处理的特征图的分辨率，缩小了融合处理的特征图的尺寸，融合处理的特征图中的整体轮廓得以突显，通过下采样可以提取到目标场景中对象的整体轮廓信息等。可选地，为了使得下采样提取到的目标对象的特征更为准确，并且提取到深层次的语义，进一步扩大像素点的感受野，下采样层可以包括两层下采样，即包括第一下采样层和第二采样层，计算机设备在通过第一下采样层对融合处理的特征图进行下采样之后，可以将第一下采样层的结果输入至第二下采样层进一步进行下采样，以得到下采样后的特征图。

[0094] （3）通过上采样层，对下采样后的特征图进行上采样，得到第i+1种分辨率下的特征图。

[0095] 融合处理的特征图由于经过了下采样，得到的下采样后的特征图的分辨率是小于沙漏网络输入的图像的分辨率的。由于沙漏网络需要根据下采样后的特征图进行预测，并且需要输出与输入的图像的分辨率相同分辨率的预测结果图，因而在对下采样后的特征图进行预测之前，需要先提高下采样后的特征图的分辨率。本申请实施例中，通过对下采样后的特征图进行上采样，以提高分辨率，得到第i+1种分辨率下的特征图。可选地，由于上采样的目的是提高下采样后的特征图的分辨率，不涉及对下采样后的特征图中的数据进行处理，因此在通过上采样层对下采样后的特征图进行上采样时，可以不再区分特征图中的第一特征图部分和第二特征图部分，即下采样后的特征图是作为一个整体进行上采样的，从而可以提高计算机设备的运行速度。

[0096] 可选地，在下采样层包括两层下采样时，上采样层也可以包括两层采样，即第一上采样层和第二上采样层，第一上采样层和第二上采样层逐步提高下采样后的特征图的分辨率，相比于直接将下采样后的特征图的分辨率提高至第i+1种分辨率，可能会忽略掉特征图中的部分信息，本申请实施例通过两层上采样逐步提高分辨率的方式，可以在第二上采样层的输入中融合第一下采样层的输出，从而降低特征图中的信息损失，使得上采样得到的第i+1种分辨率下的特征图更加准确地反映下采样得到的特征数据。

[0097] （4）通过预测层，对第i+1种分辨率下的特征图进行预测，得到第i+1种分辨率下的预测结果图。

[0098] 在将下采样后的特征图转换为第i+1种分辨率下的特征图之后，可以通过预测层对该第i+1种分辨率下的特征图进行预测，从而得到第i+1种分辨率下的预测结果图。可选地，该第i+1种分辨率下的预测结果图包括第i+1种分辨率下的稠密深度图和第i+1种分辨率下的特征指导图。在计算机设备对第i+1种分辨率下的特征图进行预测时，是将第i+1种分辨率下的特征图作为整体进行预测，但是预测层中执行预测的滤波器包括两个卷积核，这两个卷积核的参数设置是一样的，从而其中一个卷积核用于计算第i+1种分辨率下的稠密深度图，另一个卷积核用于计算第i+1种分辨率下的特征指导图。其中，第i+1种分辨率下的稠密深度图就是第i+1级沙漏网络对第i+1种分辨率下的稀疏深度图中的像素点进行填充的结果，第i+1种分辨率下的特征指导图可以在第i+2级沙漏网络中与第i+2种分辨率下的色彩图结合，以指导计算机设备填充第i+2种分辨率下的稀疏深度图中的像素点。

[0099] 可选地，为了增加网络深度、提升网络性能，本申请实施例中，沙漏网络的上采样层和预测层可以包括标准卷积，该标准卷积是中间处理过程，可以增加沙漏网络的网络深度。如图5所示，第i+1级沙漏网络的上采样层和预测层中均包括标准卷积。

[0100] 可选地，在下采样层包括第一下采样层和第二下采样层，上采样层包括第一上采样层和第二上采样层的情况下；上述方法还包括：通过残差连接对第一下采样层的输出和第二上采样层的输出进行组合，得到预测层的输入；通过残差连接对第二下采样层的输出和第一上采样层的输出进行组合，得到第二上采样层的输入。例如，如图5所示，第一下采样层522的输出与第二上采样层534的输出通过残差连接组合为预测层540的输入，第二下采样层524的输出和第一上采样层532的输出通过残差连接组合为第二上采样层534的输入，由于第一上采样层532是提高第二下采样层524的输出的分辨率，在提高分辨率的过程中，会有部分的信息损失，如果第二上采样层534仅输入第一上采样层532的输出，则会忽略掉第二下采样层524提取的目标场景中对象的部分特征，因而本申请实施例在第二上采样层534的输入中融合第二下采样层524的输出，可以有效利用数据，避免信息损失。类似地，在预测层540的输入中融合第一下采样层522的输出，也可以避免信息损失，使得预测结果更为准确。

[0101] 综上所述，本申请实施例提供的技术方案，通过在调用某一级沙漏网络对某一分辨率下的色彩图和稀疏深度图进行处理时，融合上一级沙漏网络输出的预测结果图，由于不同分辨率下的色彩图和稀疏深度图突显目标场景中对象的不同特征，且不同特征之间彼此相互关联，因而在上一级沙漏网络预测结果的基础上，重点提取预测本级沙漏网络对应的色彩图和稀疏深度图突显的特征，可以使得上一级沙漏网络的预测结果为本级沙漏网络的预测提供参考，使得本级沙漏网络的预测结果更为准确，从而提升级联沙漏网络整体的准确性。

[0102] 并且，本申请实施例中，各级沙漏网络包括初始层、下采样层、上采样层和预测层，且初始层和下采样层采用分组融合的数据处理方式，即先在特征维度上融合输入的图像，然后对融合后的图像中采用不同数据处理方式的部分独立进行下采样，相比于早融合对融合后的图像融合在一起进行下采样，导致计算复杂、运算量过大，本申请实施例提供的分组融合可以降低级联沙漏网络运算的复杂度；另外，相比于晚融合没有事先对输入图像进行融合，不同数据处理方式的输入图像要采用不同的下采样方式进行处理，分组融合可以在相同下采样方式下采用独立的下采样通道对特征图中不同数据处理方式的部分进行独立处理，可以提高计算并行度，减少计算机设备的处理开销。

[0103] 请参考图7，其示出了本申请一个实施例提供的路径规划方法的流程图。该方法应用于上文所述的移动装置中，该移动装置包括处理器，以及与处理器相连的图像采集设备和移动控制器。该方法可以包括如下几个步骤：

[0104] 步骤710，通过图像采集设备获取目标场景的色彩图和稀疏深度图。

[0105] 图像采集设备可以是移动装置中搭载的可用于对目标场景的图像进行采集的设备，如激光雷达、相机等设备。可选地，图像采集设备也可以是目标场景中存在对图像进行采集的固定设备，即图像采集设备也可以不搭载在移动装置中，本申请实施例对此不作限定。有关稀疏深度图的生成过程、目标场景、色彩图等的介绍说明，请参见上述图2所示实施例中的介绍说明，此处不再赘述。

[0106] 步骤720，通过处理器调用级联沙漏网络对色彩图和稀疏深度图进行处理，得到对应于目标场景的稠密深度图；根据稠密深度图确定目标场景的环境信息；根据目标场景的环境信息，确定移动装置的移动路径。

[0107] 有关级联沙漏网络根据目标场景的色彩图和稀疏深度图生成对应于目标场景的稠密深度图的介绍说明，请参见上述图2至图6所示实施例中的介绍说明，此处不再赘述。

[0108] 目标场景的环境信息包括位于目标场景中的目标对象的特征信息和目标场景的场景结构，其中，目标对象是指目标场景中的存在的对象，包括花草树木、建筑、交通工具等一系列实体，目标对象的特征信息包括目标对象的距离信息、速度信息等。可选地，本申请实施例中，计算机设备可以将稠密深度图转换为点云数据，即可以将稠密深度图中的像素点映射至三维空间，得到点云数据，然后计算机设备可以根据点云数据构画出目标场景，从而可以确定目标场景的环境信息，即目标场景中的目标对象的特征信息和目标场景的场景结构。

[0109] 本申请实施例中，计算机设备确定出目标场景的环境信息后，可以根据该环境信息确定移动装置在目标场景中的移动路径，以达到对移动装置移动控制的目的。可选地，上述根据目标场景的环境信息，确定移动装置的移动路径，包括：根据目标场景的环境信息，确定目标场景中的障碍物；根据障碍物，确定移动路径。在目标场景中，存在很多移动装置无法穿越的障碍物，如墙壁、栏杆等，因而计算机设备需要根据目标场景的环境信息，确定目标场景的障碍物，然后再根据障碍物，确定移动路径，从而使得移动装置移动过程中可以绕过障碍物，避免与障碍物发生碰撞。

[0110] 步骤730，通过移动控制器控制移动装置按照移动路径移动。

[0111] 处理器确定出移动路径后，可以将移动路径发送给移动控制器，由移动控制器控制移动装置按照该移动路径进行移动，从而移动装置可以达到自动移动的效果。

[0112] 综上所述，本申请实施例提供的技术方案，通过获取图像采集设备采集的目标场景的色彩图和稀疏深度图，然后调用级联沙漏网络对该色彩图和稀疏深度图进行处理，得到对应于目标场景的稠密深度图，再根据该稠密深度图确定目标场景的环境信息，根据该环境信息确定移动装置在目标场景中的移动路径，从而提供了一种移动装置的路径规划方法。并且，在路径规划过程中，是将图像采集设备采集到的目标场景的色彩图和稀疏深度图，经过级联沙漏网络的处理得到稠密深度图之后，根据该稠密深度图进行路径规划，且该稠密深度图可以反映更多关于目标场景的环境信息，从而可以使得路径规划的结果更为准确。

[0113] 下面以一个具体的示例对本申请实施例的技术方案进行介绍说明。

[0114] 假设上述级联沙漏网络包括级联的第1级沙漏网络和第2级沙漏网络，上述n种分辨率包括第1种分辨率和第2种分辨率，且第1种分辨率不同于第2种分辨率。请参考图8，其示出了本申请一个实施例提供的图像处理和路径规划方法的流程图，该方法可应用于上文介绍的计算机设备中。该方法可以包括如下几个步骤：

[0115] 步骤810，获取移动装置的图像采集设备采集的目标场景的色彩图和稀疏深度图；图像采集设备可以是移动装置中搭载的可用于对目标场景的图像进行采集的设备，也可以是目标场景中存在对图像进行采集的固定设备，目标场景是移动装置所处环境对应的场景，假设图像采集设备为激光雷达和彩色相机，该彩色相机可以对目标场景进行拍摄形成RGB图，进一步根据该RGB图可以生成灰度图；该激光雷达可以对目标场景中的对象进行探测，以获取对应于目标场景的雷达点云数据，根据该雷达点云数据可以进一步生成稀疏深度图；

[0116] 步骤820，对色彩图和稀疏深度图的分辨率进行调整处理，得到第1种分辨率下的色彩图和稀疏深度图，以及第2种分辨率下的色彩图和稀疏深度图；可选地，计算机设备可以直接通过压缩软件进行调整，也可以通过采样函数进行调整；可选地，计算机设备可以调低色彩图和稀疏深度图的分辨率，也可以调高色彩图和稀疏深度图的分辨率；如图8所示，本申请实施例仅以第1种分辨率等于对应于目标场景的色彩图和稀疏深度图的分辨率的二分之一、第2种分辨率等于对应于目标场景的色彩图和稀疏深度图的分辨率为例进行举例说明；

[0117] 步骤830，调用第1级沙漏网络对第1种分辨率下的色彩图和稀疏深度图进行处理，得到第1种分辨率下的预测结果图；计算机设备通过第1级沙漏网络的初始层、下采样层、上采样层和预测层，对第1种分辨率下的色彩图和稀疏深度图进行处理，得到第1种分辨率下的预测结果图，该第1种分辨率下的预测结果图包括第1种分辨率下的稠密深度图和第1种分辨率下的特征指导图；

[0118] 步骤840，将第1种分辨率下的预测结果图的分辨率转换为第2种分辨率，得到转换为第2种分辨率的预测结果图；为了使得第2级沙漏网络在对第2种分辨率下的色彩图和稀疏深度图进行预测时，可以结合第1级沙漏网络的预测结果，计算机设备可以将第1种分辨率下的预测结果图的分辨率转换为第2种分辨率，得到转换为第2种分辨率的预测结果图，该转换为第2种分辨率的预测结果图包括转换为第2种分辨率的稠密深度图和转换为第2种分辨率的特征指导图；

[0119] 步骤850，调用第2级沙漏网络，对转换为第2种分辨率的预测结果图以及第2种分辨率下的色彩图和稀疏深度图进行处理，得到第2种分辨率下的预测结果图；在第2级沙漏网络的处理过程中，转换为第2种分辨率的稠密深度图与第2种分辨率下的稀疏深度图组合，转换为第2种分辨率的特征指导图与第2种分辨率下的色彩图组合，然后再将组合结果进一步在特征维度上融合为特征图，再通过下采样层、上采样层和预测层得到第2种分辨率下的预测结果图，该第2种分辨率下的预测结果图包括第2种分辨率下的稠密深度图和第2种分辨率下的特征指导图；

[0120] 步骤860，通过残差连接对转换为第2种分辨率的预测结果图中的稠密深度图，以及第2种分辨率下的预测结果图中的稠密深度图进行组合，得到对应于目标场景的稠密深度图；级联沙漏网络最终需要输出的是对应于目标场景的稠密深度图，即计算机设备对稀疏深度图的像素点进行填充的结果，因此，在各级沙漏网络得到其对应的预测结果图后，计算机设备将转换为第2种分辨率的稠密深度图，以及第2种分辨率下的稠密深度图进行组合，可以得到对应于目标场景的稠密深度图；

[0121] 步骤870，根据稠密深度图确定目标场景的环境信息；目标场景的环境信息包括位于目标场景中的目标对象的特征信息和目标场景的场景结构，其中，目标对象是指目标场景中的存在的对象，目标对象的特征信息包括目标对象的距离信息、速度信息等；计算机设备可以将稠密深度图转换为点云数据，然后可以根据点云数据构画出目标场景，从而可以确定目标场景的环境信息，即目标场景中的目标对象的特征信息和目标场景的场景结构；

[0122] 步骤880，根据目标场景的环境信息，确定移动装置的移动路径；可选地，计算机设备可以先根据目标场景的环境信息，确定目标场景中的障碍物，然后根据障碍物，确定移动装置的移动路径；在目标场景中，存在很多移动装置无法穿越的障碍物，因而计算机设备需要根据目标场景的环境信息，确定目标场景的障碍物，然后再根据障碍物，确定移动路径，从而使得移动装置移动过程中可以绕过障碍物，避免与障碍物发生碰撞。

[0123] 请参考图9，其示出了本申请一个实施例提供的图像处理装置的框图。该装置具有实现上述图像处理方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是计算机设备，也可以设置在计算机设备中。该装置900可以包括：图像获取模块910、分辨率调整模块920、结果预测模块930和图像生成模块940。

[0124] 图像获取模块910，用于获取对应于目标场景的色彩图和稀疏深度图。

[0125] 分辨率调整模块920，用于对所述色彩图和稀疏深度图的分辨率进行调整处理，得到n种分辨率下的色彩图和稀疏深度图，所述n为正整数。

[0126] 结果预测模块930，用于调用级联沙漏网络对所述n种分辨率下的色彩图和稀疏深度图进行处理，得到所述n种分辨率下的预测结果图，所述n种分辨率下的预测结果图包括所述n种分辨率下的稠密深度图。

[0127] 图像生成模块940，用于根据所述n种分辨率下的稠密深度图，生成对应于所述目标场景的稠密深度图。

[0128] 可选地，所述级联沙漏网络中包含的沙漏网络的级数等于所述n；如图10所示，所述结果预测模块930包括：第一结果预测子模块932，用于调用第1级沙漏网络，对第1种分辨率下的色彩图和稀疏深度图进行处理，得到所述第1种分辨率下的预测结果图；分辨率转换子模块934，用于将第i种分辨率下的预测结果图的分辨率转换为第i+1种分辨率，得到转换为所述第i+1种分辨率的预测结果图，所述第i种分辨率下的预测结果图是指通过第i级沙漏网络得到的预测结果图，所述i为正整数；第二结果预测子模块936，用于调用第i+1级沙漏网络，对所述转换为所述第i+1种分辨率的预测结果图以及所述第i+1种分辨率下的色彩图和稀疏深度图进行处理，得到所述第i+1种分辨率下的预测结果图。

[0129] 可选地，所述第i+1级沙漏网络包括初始层、下采样层、上采样层和预测层；如图10所示，所述第二结果预测子模块936包括：融合单元9362，用于通过所述初始层，对所述转换为所述第i+1种分辨率的预测结果图，以及所述第i+1种分辨率下的色彩图和稀疏深度图进行融合处理，得到融合处理的特征图；下采样单元9364，用于通过所述下采样层，对所述融合处理的特征图进行下采样，得到下采样后的特征图；上采样单元9366，用于通过所述上采样层，对所述下采样后的特征图进行上采样，得到所述第i+1种分辨率下的特征图；预测单元9368，用于通过所述预测层，对所述第i+1种分辨率下的特征图进行预测，得到所述第i+1种分辨率下的预测结果图。

[0130] 可选地，所述n种分辨率下的预测结果图还包括所述n种分辨率下的特征指导图，所述特征指导图用于指导填充所述稀疏深度图中像素点的数量；所述融合单元9362用于：将所述转换为所述第i+1种分辨率的预测结果图中的特征指导图，以及所述第i+1种分辨率下的色彩图进行组合，得到第一特征图；将所述转换为所述第i+1种分辨率的预测结果图中的稠密深度图，以及所述第i+1种分辨率下的稀疏深度图进行组合，得到第二特征图；通过所述初始层，在特征维度上对所述第一特征图和所述第二特征图进行融合处理，得到融合处理的特征图；其中，所述融合处理的特征图中包括第一特征图部分和第二特征图部分，所述第一特征图部分和所述第二特征图部分在通过所述下采样层时独立进行下采样。

[0131] 可选地，所述下采样层包括第一下采样层和第二下采样层，所述上采样层包括第一上采样层和第二上采样层；如图10所示，所述装置还包括残差连接模块950，用于：通过残差连接对所述第一下采样层的输出和所述第二上采样层的输出进行组合，得到所述预测层的输入；通过残差连接对所述第二下采样层的输出和所述第一上采样层的输出进行组合，得到所述第二上采样层的输入。

[0132] 可选地，所述图像生成模块940用于：对所述第i种分辨率下的预测结果图进行上采样，得到所述转换为所述第i+1种分辨率的预测结果图。

[0133] 可选地，所述n等于2，所述n种分辨率包括第1种分辨率和第2种分辨率，所述第1种分辨率不同于所述第2种分辨率，所述级联沙漏网络包括级联的第1级沙漏网络和第2级沙漏网络；所述结果预测模块930用于：调用所述第1级沙漏网络，对所述第1种分辨率下的色彩图和稀疏深度图进行处理，得到所述第1种分辨率下的预测结果图；将所述第1种分辨率下的预测结果图的分辨率转换为所述第2种分辨率，得到转换为所述第2种分辨率的预测结果图；调用所述第2级沙漏网络，对所述转换为所述第2种分辨率的预测结果图以及所述第2种分辨率下的色彩图和稀疏深度图进行处理，得到所述第2种分辨率下的预测结果图。

[0134] 可选地，所述分辨率调整模块920用于：将所述n种分辨率下的稠密深度图的分辨率转换为预设分辨率，得到相同分辨率下的n个稠密深度图；通过残差连接对所述相同分辨率下的n个稠密深度图进行组合，得到对应于所述目标场景的稠密深度图。

[0135] 可选地，如图10所示，所述装置还包括模型训练模块960，用于：对于所述级联沙漏网络中的第k级沙漏网络，根据所述第k种分辨率下的稀疏深度图和所述第k种分辨率下的稠密深度图，计算所述第k级沙漏网络的预测损失值，所述预测损失值用于表征通过所述第k种分辨率下的稀疏深度图预测所述第k种分辨率下的稠密深度图时的预测误差，所述k为正整数；根据权重参数设置和所述第k级沙漏网络的预测损失值，计算所述级联沙漏网络的预测损失值，所述权重参数设置是指对所述n种分辨率的预测损失值的权重参数的设置；根据所述级联沙漏网络的预测损失值，调整所述级联沙漏网络的参数。

[0136] 综上所述，本申请实施例提供的技术方案，通过获取对应于目标场景的色彩图和稀疏深度图，然后对色彩图和稀疏深度图的分辨率进行调整，得到多种分辨率下的色彩图和稀疏深度图，再调用级联沙漏网络对多种分辨率下的色彩图和稀疏深度图进行处理，得到多种分辨率下的预测结果图，每一种分辨率下的预测结果图都包括该分辨率下的稠密深度图，计算机设备根据多种分辨率下的稠密深度图可以生成对应于目标场景的稠密深度图，从而提供了一种填充稀疏深度图中的像素点生成稠密深度图的方式，即提供了一种深度补全方式。

[0137] 并且，本申请实施例中，由于不同分辨率下的色彩图和稀疏深度图突显目标场景中对象的不同特征，各级沙漏网络输入不同分辨率下的色彩图和稀疏深度图，可以对目标场景中对象的不同特征进行重点预测，相比于每一级沙漏网络都提取预测目标场景中对象的所有特征，导致级联沙漏网络的运算量过大，且不能有区别地提取预测对象的不同类型的特征，本申请实施例提供的级联沙漏网络对目标场景中对象的不同特征采用不同的提取预测方式，各级沙漏网络有针对性地预测目标场景中对象的部分特征，可以在降低计算机设备处理开销和沙漏网络的运算量的同时，深入挖掘目标场景中对象的不同特征，使得深度补全的结果，即对应于目标场景的稠密深度图更加准确。

[0138] 另外，本申请实施例还提供了一种级联沙漏网络的训练方法，即先计算出级联沙漏网络中各级沙漏网络的损失值，然后根据权重参数设置和各级沙漏网络的损失值，计算级联沙漏网络的损失值，然后根据级联沙漏网络的损失值调整级联沙漏网络的参数，在级联沙漏网络的损失值收敛的情况下，即完成对级联沙漏网络的训练。相比于单独训练级联沙漏网络中各级沙漏网络时无法保障级联沙漏网络整体效果最优，本申请实施例提供的技术方案对级联沙漏网络整体进行训练，可以保障级联沙漏网络整体的预测效果，从而可以确保级联沙漏网络输出的对应于目标场景的稠密深度图的准确性。

[0139] 请参考图11，其示出了本申请一个实施例提供的移动装置的结构框图。该移动装置具有实现上述路径规划方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该移动装置包括处理器1110，以及与处理器相连的图像采集设备1120和移动控制器1130。

[0140] 所述图像采集设备1120，用于获取目标场景的色彩图和稀疏深度图。

[0141] 所述处理器1110，用于调用级联沙漏网络对所述色彩图和稀疏深度图进行处理，得到对应于所述目标场景的稠密深度图；根据所述稠密深度图确定所述目标场景的环境信息，所述目标场景的环境信息包括位于所述目标场景中的目标对象的特征信息和所述目标场景的场景结构；根据所述目标场景的环境信息，确定所述移动装置的移动路径。

[0142] 所述移动控制器1130，用于控制所述移动装置按照所述移动路径移动。

[0143] 可选地，所述根据所述目标场景的环境信息，确定所述移动装置的移动路径，包括：根据所述目标场景的环境信息，确定所述目标场景中的障碍物；根据所述障碍物，确定所述移动路径。

[0144] 综上所述，本申请实施例提供的技术方案，通过获取图像采集设备采集的目标场景的色彩图和稀疏深度图，然后调用级联沙漏网络对该色彩图和稀疏深度图进行处理，得到对应于目标场景的稠密深度图，再根据该稠密深度图确定目标场景的环境信息，根据该环境信息确定移动装置在目标场景中的移动路径，从而提供了一种移动装置的路径规划方法。并且，在路径规划过程中，是将图像采集设备采集到的目标场景的色彩图和稀疏深度图，经过级联沙漏网络的处理得到稠密深度图之后，根据该稠密深度图进行路径规划，且该稠密深度图可以反映更多关于目标场景的环境信息，从而可以使得路径规划的结果更为准确。

[0145] 请参考图12，其示出了本申请实施例提供的计算机设备的结构框图，该计算机设备可用于实现上述图像处理方法示例，或者上述路径规划方法示例的功能。具体来讲：

[0146] 该计算机设备1200包括处理单元（如CPU（Central Processing Unit，中央处理器）、GPU（Graphics Processing Unit，图形处理器）和FPGA（Field Programmable Gate Array，现场可编程逻辑门阵列）等）1201、包括RAM（Random-Access Memory，随机存储器）1202和ROM（ Read-Only Memory，只读存储器）1203的系统存储器1204，以及连接系统存储器1204和中央处理单元1201的系统总线1205。该计算机设备1200还包括帮助计算计算机设备内的各个器件之间传输信息的I/O系统（Input Output System，基本输入/输出系统）
1206，和用于存储操作系统1213、应用程序1214和其他程序模块1215的大容量存储设备
1207。

[0147] 该基本输入/输出系统1206包括有用于显示信息的显示器1208和用于用户输入信息的诸如鼠标、键盘之类的输入设备1209。其中，该显示器1208和输入设备1209都通过连接到系统总线1205的输入输出控制器1210连接到中央处理单元1201。该基本输入/输出系统1206还可以包括输入输出控制器1210以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1210还提供输出到显示屏、打印机或其他类型的输出设备。

[0148] 该大容量存储设备1207通过连接到系统总线1205的大容量存储控制器（未示出）连接到中央处理单元1201。该大容量存储设备1207及其相关联的计算机可读介质为计算机设备1200提供非易失性存储。也就是说，该大容量存储设备1207可以包括诸如硬盘或者CD-ROM（Compact Disc Read-Only Memory，只读光盘）驱动器之类的计算机可读介质（未示出）。

[0149] 不失一般性，该计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM（Erasable Programmable Read-Only Memory，可擦写可编程只读存储器）、EEPROM（Electrically Erasable Programmable Read-Only Memory，电可擦写可编程只读存储器）、闪存或其他固态存储其技术，CD-ROM、DVD（Digital Video Disc，高密度数字视频光盘）或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知该计算机存储介质不局限于上述几种。上述的系统存储器1204和大容量存储设备1207可以统称为存储器。

[0150] 根据本申请实施例，该计算机设备1200还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1200可以通过连接在该系统总线1205上的网络接口单元1211连接到网络1212，或者说，也可以使用网络接口单元1211来连接到其他类型的网络或远程计算机系统（未示出）。

[0151] 该存储器还包括至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述图像处理方法，或者上述路径规划方法。

[0152] 在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述图像处理方法，或者上述路径规划方法。

[0153] 可选地，该计算机可读存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、固态硬盘（SSD，Solid State Drives）或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体（ReRAM, Resistance Random Access Memory）和动态随机存取存储器（DRAM，Dynamic Random Access Memory）。

[0154] 在示例性实施例中，还提供一种计算机程序产品，当所述计算机程序产品在计算机设备上运行时，使得计算机设备执行上述图像处理方法，或者上述路径规划方法。

[0155] 应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。

[0156] 以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。