训练样本集的获取方法、模型训练方法及相关装置

摘要

本申请公开了一种训练样本集的获取方法、模型训练方法及相关装置，方法包括获取若干图像组，确定图像组中的第一稠密深度图与第一稀疏深度图的图像差异度；在若干图像组中选取图像差异度满足预设条件的图像组以得到训练样本集。本申请中通过双目相机获取稠密深度图，确定稠密深度图与通过距离测量装置获取的稀疏深度图的图像差异度，将图像差异度满足预设条件的图像组作为训练样本，这样通过双目相机获取的稠密深度图可以保证稠密深度图的可靠性，通过距离测量装置获取的稀疏深度图对稠密深度图进行筛选，剔除与实际场景偏差大的稠密深度图以提高作为训练真值的稠密深度图的精确性，提高了基于训练样本集训练得到的深度信息补全模型的模型性能。

权利要求

1.一种训练样本集的获取方法，其特征在于，所述的获取方法包括：获取若干图像组，其中，若干图像组中的每个图像组均包括通过双目相机获取的第一场景图像和所述第一场景图像对应的第一稠密深度图，以及通过距离测量装置获取的所述第一场景图像对应的第一稀疏深度图；

分别确定各图像组中的第一稠密深度图与第一稀疏深度图的图像差异度；

所述分别确定各图像组中的第一稠密深度图与第一稀疏深度图的图像差异度具体包括：对于若干图像组中的每个图像组，将该图像组中的第一稀疏深度图投影至该图像组中的第一稠密深度图；

在所述第一稠密深度图中选取投影后的第一稀疏深度图中的各稀疏深度点各自对应的图像区域，并基于选取到的所有图像区域确定深度阈值；

基于所述各稀疏深度点各自对应的稀疏深度值以及所述深度阈值，确定所述第一稀疏深度图与所述第一稠密深度图的图像差异度，以得到各图像组各自对应的图像差异度；

在若干图像组中选取图像差异度满足预设条件的图像组，并将选取到的图像组构成的数据集作为训练样本集。

2.根据权利要求1所述训练样本集的获取方法，其特征在于，所述图像组中的第一稀疏深度图和第一稠密深度图为同一时间下位置相对固定的双目相机以及距离测量装置采集同一场景信息所得到的。

3.根据权利要求1所述训练样本集的获取方法，其特征在于，所述在所述第一稠密深度图中选取投影后的第一稀疏深度图中的各稀疏深度点各自对应的图像区域，并基于选取到的所有图像区域确定深度阈值具体包括：对于投影后的第一稀疏深度图中的每个稀疏深度点，在所述第一稠密深度图中选取该稀疏深度点对应的图像区域，其中，所述图像区域包括该稀疏深度点；

获取选取的所有图像区域所包括的稠密深度点；

计算获取的所有稠密深度点的稠密深度均值，并将所述稠密深度均值作为深度阈值。

4.根据权利要求1所述训练样本集的获取方法，其特征在于，所述基于各稀疏深度点各自对应的稀疏深度值以及所述深度阈值，确定所述第一稀疏深度图与所述第一稠密深度图的图像差异度，以得到各图像组各自对应的图像差异度具体包括：逐点计算各稀疏深度点各自对应的稀疏深度值与所述深度阈值的深度偏差值；

基于获取到的深度偏差值计算所述第一稀疏深度图与所述第一稠密深度图的图像差异度，以得到各图像组各自对应的图像差异度。

5.根据权利要求1所述训练样本集的获取方法，其特征在于，所述基于各稀疏深度点各自对应的稀疏深度值以及所述深度阈值，确定所述第一稀疏深度图与所述第一稠密深度图的图像差异度，以得到各图像组各自对应的图像差异度具体包括：逐点计算各稀疏深度点各自对应的稀疏深度值与所述深度阈值的深度偏差值；

确定深度偏差值大于预设阈值的稀疏深度点占所述第一稀疏深度图中的稀疏深度点的比例值，并将所述比例值作为所述第一稀疏深度图与所述第一稠密深度图的图像差异度，以得到各图像组各自对应的图像差异度。

6.根据权利要求1所述训练样本集的获取方法，其特征在于，所述分别确定各图像组中的第一稠密深度图与第一稀疏深度图的图像差异度之前，所述方法还包括：将若干图像组中的每个图像组中的第一稀疏深度图和第一稠密深度图转换至同一坐标系内。

7.根据权利要求1所述训练样本集的获取方法，其特征在于，所述方法还包括：在所述训练样本集中选取第一数量的图像组；

对于选取到的图像组中的每个图像组，调整该图像组中的第一稀疏深度图中的若干稀疏深度点的稀疏深度值，得到该图像组对应的第一增强图像组；

将获取到的所有第一增强图像组添加到训练样本集中，并将添加得到的训练样本集作为训练样本集。

8.根据权利要求1或7所述训练样本集的获取方法，其特征在于，所述方法还包括：在训练样本集中选取第二数量的图像组；

对于选取到的图像组中的每个图像组，获取将图像组中的第一稀疏深度图映射至图像组中的第一场景图像所在坐标系的旋转平移矩阵，其中，所述旋转平移矩阵为所述距离测量装置相对于所述双目相机中用于获取第一场景图像的相机的旋转平移矩阵；

调整所述旋转平移矩阵，并基于调整后的旋转平移矩阵将所述第一稀疏深度图映射至所述第一场景图像所在坐标系，得到该图像组对应的第二增强图像组；

将获取到的所有第二增强图像组添加到训练样本集中，并将添加得到的训练样本集作为训练样本集。

9.一种深度信息补全模型的训练方法，其特征在于，所述的训练方法应用采用如权利要求1‑8任一所述的训练样本集的获取方法所获取到的训练样本集；所述的训练方法包括：将训练样本集中的图像组中的第一稀疏深度图和第一场景图像输入预设网络模型，并通过所述预设网络模型输出所述第一稀疏深度图对应的预测稠密深度图；

基于图像组中的第一稠密深度图以及所述预测稠密深度图，对所述预设网络模型进行训练，以得到深度信息补全模型。

10.一种稠密深度图的获取方法，其特征在于，所述的获取方法应用如权利要求9所述的深度信息补全模型的训练方法所得到的深度信息补全模型，所述的获取方法具体包括：控制距离测量装置获取目标场景的第二稀疏深度图，并同步控制相机获取目标场景的第二场景图像；

将所述第二稀疏深度图以及所述第二场景图像输入所述深度信息补全模型，以得到所述第二场景图像对应的第二稠密深度图。

11.一种训练样本集的获取装置，其特征在于，所述的获取装置包括：获取模块，用于获取若干图像组，其中，若干图像组中的每个图像组均包括通过双目相机获取的第一场景图像和所述第一场景图像对应的第一稠密深度图，以及通过距离测量装置获取的所述第一场景图像对应的第一稀疏深度图；

确定模块，用于分别确定各图像组中的第一稠密深度图与第一稀疏深度图的图像差异度；

所述确定模块，具体用于：

对于若干图像组中的每个图像组，将该图像组中的第一稀疏深度图投影至该图像组中的第一稠密深度图；

在所述第一稠密深度图中选取投影后的第一稀疏深度图中的各稀疏深度点各自对应的图像区域，并基于选取到的所有图像区域确定深度阈值；

基于所述各稀疏深度点各自对应的稀疏深度值以及所述深度阈值，确定所述第一稀疏深度图与所述第一稠密深度图的图像差异度，以得到各图像组各自对应的图像差异度；

选取模块，用于在若干图像组中选取图像差异度满足预设条件的图像组，并将选取到的图像组构成的数据集作为训练样本集。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1‑8任意一项所述的训练样本集的获取方法中的步骤，以实现如权利要求9所述的深度信息补全模型的训练方法中的步骤，和/或以实现如权利要求10所述的稠密深度图的获取方法中的步骤。

13.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如权利要求1‑8任意一项所述的训练样本集的获取方法中的步骤，实现如权利要求9所述的深度信息补全模型的训练方法中的步骤，和/或实现如权利要求10所述的稠密深度图的获取方法中的步骤。

说明书

训练样本集的获取方法、模型训练方法及相关装置

技术领域

[0001] 本申请涉及计算机视觉技术领域，特别涉及一种训练样本集的获取方法、模型训练方法及相关装置。

背景技术

[0002] 现有深度信息补全模型普遍采用有监督训练，而在采用监督训练时需要稠密深度测量结果作为有监督的训练真值(GroundTruth)，通过监督学习来训练深度信息补全模型，其中，用于作为训练真值的稠密深度测量普遍通过仿真方式确定的。然而，仿真方式获取的稠密深度测量与实际场景之间会存在偏差，这样偏差影响训练得到的深度信息补全模型的模型性能，进而会降低通过深度信息补全模型确定的稠密深度图的准确性。

[0003] 因而现有技术还有待改进和提高。

发明内容

[0004] 本申请要解决的技术问题在于，针对现有技术的不足，提供一种训练样本集的获取方法、模型训练方法及相关装置。

[0005] 为了解决上述技术问题，本申请实施例第一方面提供了一种训练样本集的获取方法，所述的获取方法包括：

[0006] 获取若干图像组，其中，若干图像组中的每个图像组均包括通过双目相机获取的第一场景图像和所述第一场景图像对应的第一稠密深度图，以及通过距离测量装置获取的所述第一场景图像对应的第一稀疏深度图；

[0007] 分别确定各图像组中的第一稠密深度图与第一稀疏深度图的图像差异度；

[0008] 在若干图像组中选取图像差异度满足预设条件的图像组，并将选取到的图像组构成的数据集作为训练样本集。

[0009] 所述训练样本集的获取方法，其中，所述图像组中的第一稀疏深度图和第一稠密深度图为同一时间下位置相对固定的双目相机以及距离测量装置采集同一场景信息所得到的。

[0010] 所述训练样本集的获取方法，其中，所述分别确定各图像组中的第一稠密深度图与第一稀疏深度图的图像差异度具体包括：

[0011] 对于若干图像组中的每个图像组，将该图像组中的第一稀疏深度图投影至该图像组中的第一稠密深度图；

[0012] 在所述第一稠密深度图中选取投影后的第一稀疏深度图中的各稀疏深度点各自对应的图像区域，并基于选取到的所有图像区域确定深度阈值；

[0013] 基于各稀疏深度点各自对应的稀疏深度值以及所述深度阈值，确定所述第一稀疏深度图与所述第一稠密深度图的图像差异度，以得到各图像组各自对应的图像差异度。

[0014] 所述训练样本集的获取方法，其中，所述在所述第一稠密深度图中选取投影后的第一稀疏深度图中的各稀疏深度点各自对应的图像区域，并基于选取到的所有图像区域确定深度阈值具体包括：

[0015] 对于投影后的第一稀疏深度图中的每个稀疏深度点，在所述第一稠密深度图中选取该稀疏深度点对应的图像区域，其中，所述图像区域包括该稀疏深度点；

[0016] 获取选取的所有图像区域所包括的稠密深度点；

[0017] 计算获取的所有稠密深度点的稠密深度均值，并将所述稠密深度均值作为深度阈值。

[0018] 所述训练样本集的获取方法，其中，所述基于各稀疏深度点各自对应的稀疏深度值以及所述深度阈值，确定所述第一稀疏深度图与所述第一稠密深度图的图像差异度，以得到各图像组各自对应的图像差异度具体包括：

[0019] 逐点计算各稀疏深度点各自对应的稀疏深度值与所述深度阈值的深度偏差值；

[0020] 基于获取到的深度偏差值计算所述第一稀疏深度图与所述第一稠密深度图的图像差异度，以得到各图像组各自对应的图像差异度。

[0021] 所述训练样本集的获取方法，其中，所述基于各稀疏深度点各自对应的稀疏深度值以及所述深度阈值，确定所述第一稀疏深度图与所述第一稠密深度图的图像差异度，以得到各图像组各自对应的图像差异度具体包括：

[0022] 逐点计算各稀疏深度点各自对应的稀疏深度值与所述深度阈值的深度偏差值；

[0023] 确定深度偏差值大于预设阈值的稀疏深度点占所述第一稀疏深度图中的稀疏深度点的比例值，并将所述比例值作为所述第一稀疏深度图与所述第一稠密深度图的图像差异度，以得到各图像组各自对应的图像差异度。

[0024] 所述训练样本集的获取方法，其中，所述分别确定各图像组中的第一稠密深度图与第一稀疏深度图的图像差异度之前，所述方法还包括：

[0025] 将若干图像组中的每个图像组中的第一稀疏深度图和第一稠密深度图转换至同一坐标系内。

[0026] 所述训练样本集的获取方法，其中，所述方法还包括：

[0027] 在所述训练样本集中选取第一数量的图像组；

[0028] 对于选取到的图像组中的每个图像组，调整该图像组中的第一稀疏深度图中的若干稀疏深度点的稀疏深度值，得到该图像组对应的第一增强图像组；

[0029] 将获取到的所有第一增强图像组添加到训练样本集中，并将添加得到的训练样本集作为训练样本集。

[0030] 所述训练样本集的获取方法，其中，所述方法还包括：

[0031] 在训练样本集中选取第二数量的图像组；

[0032] 对于选取到的图像组中的每个图像组，获取将图像组中的第一稀疏深度图映射至图像组中的第一场景图像所在坐标系的旋转平移矩阵，其中，所述旋转平移矩阵为所述距离测量装置相对于所述双目相机中用于获取第一场景图像的相机的旋转平移矩阵；

[0033] 调整所述旋转平移矩阵，并基于调整后的旋转平移矩阵将所述第一稀疏深度图映射至所述第一场景图像所在坐标系，得到该图像组对应的第二增强图像组；

[0034] 将获取到的所有第二增强图像组添加到训练样本集中，并将添加得到的训练样本集作为训练样本集。

[0035] 本申请实施例第二方面提供了一种深度信息补全模型的训练方法，其特征在于，所述的训练方法应用采用如上任一所述的训练样本集的获取方法所获取到的训练样本集；所述的训练方法包括：

[0036] 将训练样本集中的图像组中的第一稀疏深度图和第一场景图像输入预设网络模型，并通过所述预设网络模型输出所述第一稀疏深度图对应的预测稠密深度图；

[0037] 基于图像组中的第一稠密深度图以及所述预测稠密深度图，对所述预设网络模型进行训练，以得到深度信息补全模型。

[0038] 本申请实施例第三方面提供了、一种稠密深度图的获取方法，其特征在于，所述的获取方法应用如上所述的深度信息补全模型的训练方法所得到的深度信息补全模型，所述的获取方法具体包括：

[0039] 控制距离测量装置获取目标场景的第二稀疏深度图，并同步控制相机获取目标场景的第二场景图像；

[0040] 将所述第二稀疏深度图以及所述第二场景图像输入所述深度信息补全模型，以得到所述第二场景图像对应的第二稠密深度图。

[0041] 本申请实施例第四方面提供了一种训练样本集的获取装置，所述的获取装置包括：

[0042] 获取模块，用于获取若干图像组，其中，若干图像组中的每个图像组均包括通过双目相机获取的第一场景图像和所述第一场景图像对应的第一稠密深度图，以及通过距离测量装置获取的所述第一场景图像对应的第一稀疏深度图；

[0043] 确定模块，用于分别确定各图像组中的第一稠密深度图与第一稀疏深度图的图像差异度；

[0044] 选取模块，用于在若干图像组中选取图像差异度满足预设条件的图像组，并将选取到的图像组构成的数据集作为训练样本集。

[0045] 本申请实施例第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的稠密深度图的获取方法中的步骤，以实现如上所述的深度信息补全模型的训练方法中的步骤，和/或以实现如上所述的稠密深度图的获取方法中的步骤。

[0046] 一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

[0047] 所述通信总线实现处理器和存储器之间的连接通信；

[0048] 所述处理器执行所述计算机可读程序时实现如上任一所述的稠密深度图的获取方法中的步骤，实现如上所述的深度信息补全模型的训练方法中的步骤，和/或实现如上所述的稠密深度图的获取方法中的步骤。

[0049] 有益效果：与现有技术相比，本申请提供了一种训练样本集的获取方法、模型训练方法及相关装置，所述的获取方法包括获取若干图像组；分别确定各图像组中的第一稠密深度图与第一稀疏深度图的图像差异度；在若干图像组中选取图像差异度满足预设条件的图像组，并将选取到的图像组构成的数据集作为训练样本集。本申请中通过双目相机获取第一稠密深度图，然后再确定第一稠密深度图与通过距离测量装置获取的第一稀疏深度图的图像差异度，将图像差异度满足预设条件的图像组作为训练样本，这样一方面通过双目相机获取的稠密深度图可以提高稠密深度图的可靠性，另一方面通过距离测量装置获取的稀疏深度图对稠密深度图进行筛选，可以剔除与实际场景偏差大的稠密深度图，进而提高作为训练真值的稠密深度图的精确性，进而可以提高基于训练样本集训练得到的深度信息补全模型的模型性能。

附图说明

[0050] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0051] 图1为本申请提供的训练样本集的获取方法的流程图。

[0052] 图2为本申请提供的训练样本集的获取方法中用于距离测量装置与双目相机的位置关系示意图。

[0053] 图3为本申请提供的训练样本集的获取方法中步骤S20的流程图。

[0054] 图4为本申请提供的深度信息补全模型的训练方法的流程图。

[0055] 图5为本申请提供的训练样本集的获取方法中的预设网络模型的结构原理图。

[0056] 图6为本申请提供的稠密深度图的获取方法的流程图。

[0057] 图7为本申请提供的训练样本集的获取装置的结构原理图。

[0058] 图8为本申请提供的终端设备的结构原理图。

具体实施方式

[0059] 本申请提供一种训练样本集的获取方法、模型训练方法及相关装置，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

[0060] 本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

[0061] 本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

[0062] 应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

[0063] 发明人经过研究发现，中远距离深度传感技术普遍应用于自动驾驶以及智能机器人领域，在采用中远距离深度传感技术时，可以通过双目系统进行深度测量以得到稠密深度图，也可以是通过距离测量装置进行深度测量以得到稀疏深度图。然而，双目系统在使用过程中会受结构抖动、环境温度以及物体表面纹理的限制，同时还需要平衡镜头焦距与基线来保证测量精度与盲区，进而限制了双目系统的实际使用，使得许多场景无法应用双目系统进行稠密深度测量。距离测量装置虽然可以保证深度测量结果的精确性，但是获取的稀疏深度图的分辨率有限。

[0064] 为了解决上述问题，目前普遍是通过距离测量装置来获取深度结果可靠的稀疏深度结果，再基于深度学习的深度信息补全模型以及稀疏深度结果确定稠密深度结果，其中，基于深度学习的深度信息补全模型的训练方式主要分为有监督训练和无监督训练。无监督训练可以在一定程度上摆脱对于训练数据的要求，但是从目前的技术发展来看，无监督训练得到的深度信息补全模型的测量精度及性能均较差，无法满足实际应用需求。监督训练则需要稠密深度测量结果作为有监督的训练真值(GroundTruth)，通过监督学习来训练深度信息补全模型，其中，用于作为训练真值的稠密深度测量普遍通过仿真方式确定的。然而，仿真方式获取的稠密深度测量与实际场景之间会存在偏差，这样偏差影响训练得到的深度信息补全模型的模型性能，进而会降低通过深度信息补全模型确定的稠密深度图的准确性。

[0065] 基于此，在本申请实施例提供了一种训练样本集的获取方法，所述获取方法包括获取若干图像组；分别确定各图像组中的第一稠密深度图与第一稀疏深度图的图像差异度；在若干图像组中选取图像差异度满足预设条件的图像组，并将选取到的图像组构成的数据集作为训练样本集。本申请中通过双目相机获取第一稠密深度图，然后再确定第一稠密深度图与通过距离测量装置获取的第一稀疏深度图的图像差异度，将图像差异度满足预设条件的图像组作为训练样本，这样一方面通过双目相机获取的稠密深度图可以提高稠密深度图的可靠性，另一方面通过距离测量装置获取的稀疏深度图对稠密深度图进行筛选，可以剔除与实际场景偏差大的稠密深度图，进而提高作为训练真值的稠密深度图的精确性，可以提高基于训练样本集训练得到的深度信息补全模型的模型性能。

[0066] 下面结合附图，通过对实施例的描述，对申请内容作进一步说明。

[0067] 本实施例提供了一种训练样本集的获取方法，如图1所示，所述方法包括：

[0068] S10、获取若干图像组。

[0069] 具体地，若干图像组中的每个图像组均包括第一场景图像、第一稠密深度图以及第一稀疏深度图，其中，第一稠密深度图和第一稀疏深度图均为第一场景图像对应的深度图，也就是说，第一稠密深度图和第一稀疏深度图均是通过对第一场景图像对应的采集场景进行采集得到。第一稠密深度图为通过双目相机获取得到的，第一稀疏深度图为通过距离测量装置获取得到，第一场景图像可以是通过双目相机的左相机或者右相机获取得到，第一场景图像可以是RGB图像也可以是IR图像，并且双目相机和距离测量装置同步对采集场景进行采集。例如，若干图像组中包括图像组A，图像组包括第一场景图a、第一稀疏深度图b和第一稠密深度图c，第一场景图像a和第一稠密深度图c均是通过双目相机获取得到的，第一稀疏深度图b是通过距离测量装置同步对第一场景图像对应的采集场景进行采集所得到的。

[0070] 各图像组各自包括的第一场景图像各自对应的采集场景可以相同；或者是，若干图像组中的存在部分图像组包括的第一场景图像对应的采集场景相同，部分图像组包括的第一场景图像对应的采集场景不同；或者是，若干图像组中的各图像组各自包括的第一场景图像对应的采集场景均不相同等。在一个典型实现方式中，各图像组各自包括的第一场景图像各自对应的采集场景可以相同，各第一场景图像各自对应的采集时间不相同。例如，若干图像组包括图像组A和图像组B，图像组A包括第一场景图像a，图像组B包括第一场景图像b，第一场景图像a对应的采集场景和第一场景图像b对应的采集场景相同，第一场景图像a对应的采集时间和第一场景图像b对应的采集时间不同。

[0071] 此外，用于采集第一场景图像和第一稠密深度图的双目相机和用于采集第一稀疏深度图的距离测量装置可以装配于用于运行本实施例提供的训练样本集的获取方法的电子设备，通过该电子设备直接采集第一场景图像、第一稠密深度图以及第一稀疏深度图，以获取到若干图像组。或者是，双目相机和距离测量装置可以作为单独采集装置，并且该单独采集装置与用于运行本实施例提供的训练样本集的获取方法的电子设备相连接，将采集到的第一场景图像、第一稠密深度图以及第一稀疏深度图发送给电子设备，以使得电子设备获取到若干图像组。或者是，双目相机和距离装置可以作为单独采集装置，该单独采集装置在采集到第一场景图像、第一稠密深度图以及第一稀疏深度图后，将第一场景图像、第一稠密深度图以及第一稀疏深度图存储于云端，以使得用于运行本实施例提供的训练样本集的获取方法的电子设备可以通过云端获取到若干图像组。当然，在实际应用中，还可以采用其他方式获取若干图像组，例如，通过外部设备获取等，这里就不一一说明。

[0072] 距离测量装置用于发射并接收激光光束以形成第一稀疏深度图。双目相机中的左右相机分别接收距离测量装置发射的激光光束所投射出的光斑或者轨迹并进行高分辨率成像，再将左相机采集的图像与右相机采集的图像进行立体匹配，以得到第一稠密深度图，同时可以将左相机或者右相机采集的图像作为第一场景图像。在一个典型实现方式中，如图2所示，用于采集若干图像组的电子设备包括距离测量装置11和双目相机12，距离测量装置11位于双目相机12的左右相机之间，并且距离测量装置11与双目相机12的左右相机位于同一水平线上。

[0073] 本实施例的一个实现方式中，距离测量装置为采用固定阵列发射模式的LiDAR或深度相机，可以是面阵发射式或机械扫描式的LiDAR，或者也可以是基于飞行时间原理(包括DTOF、ITOF等)的深度相机。在一个具体实现方式中，距离测量装置可以包括发射器、采集器以及控制和处理电路，发射器包括光源以及发射光学元件，优选地，还包括分束元件等。其中，光源用于发射激光光束，光源可以是单个光源或者是由多个光源组成的光源阵列，光源阵列可以被配置若干子光源阵列以使得光源阵列可以分组发光，例如，将一行或一列光源作为一个子光源阵列，或者是，将两行或两列作为一个子光源阵列等。由此，当通过控制和处理电路控制发射器发射激光光束时，可以一次仅开启一个子光源阵列或者仅开启每个子光源阵列中的一个光源，以产生固定的点阵列形式投影在目标表面。一种典型的实例，光源配置为VCSEL(Vertical‑Cavity Surface‑Emitting Laser，垂直腔面发射激光器)阵列光源，通过列寻址或二位寻址进行阵列发射，并经过单个或多个透镜构成的发射光学元件调制后以固定的点阵列形式投影在目标表面。又一种典型的实例，光源可以使用EEL(Edge‑emitting Laser，边发射激光器)或VCSEL发射斑点光束，发射光学元件包括准直透镜以及分束元件，经过发射光学元件后进行光学准直并由分束元件进行分束，同样产生固定的点阵列形式投影在物体表面，分束元件可以是衍射光源元件(Difractive Optical Element，DOE)、微透镜阵列等。

[0074] 采集器可以包括由至少一个像素组成的像素单元、过滤单元和接收光学元件，接收光学元件将目标反射的激光光束成像到像素阵列上，过滤单元用于滤除背景光和杂散光，所述像素可以是APD、SiPM、SPAD、CCD、CMOS等光电探测器中的一种。在一些实施例中，像素单元可以为用于光飞行时间测量的图像传感器，像素单元也可以集成到用于光飞行时间测量的感光芯片中。在一个典型实施例中，像素单元包括多个SPAD，SPAD可以对入射的单个光子进行响应并输出指示所接收光子在每个SPAD处相应到达时间的光子信号。一般地，采集器还包括有与像素单元连接的信号放大器、时数转换器(TDC)以及数模转换器(ADC)等器件中的一种或多种组成的读出电路(这些电路即可以与像素整合在一起，作为采集器的一部分，也可以作为控制和处理电路的一部分)。

[0075] 控制和处理电路可以是独立的专用电路，比如深度相机自身具有计算能力的独立电路；也可以包含通用处理电路，比如当该深度相机被集成到如手机、电视、电脑等智能终端中时，终端中的处理器可以执行控制和处理电路的功能。控制和处理电路同时控制发射器和采集器，并根据发射光束与反射光束之间的时间差或相位差计算目标的深度。

[0076] 其中，对于控制和处理电路执行深度计算的测量原理，典型的是通过直接(DTOF)飞行时间方法，计算脉冲发射时刻与接收时刻间的差值来计算飞行时间t，进一步根据公式D＝ct/2计算物体距离。另外，也可以通过间接(ITOF)飞行时间方法，通过求解发射波形与接收波形的相位差来求解飞行时间。或者，还可以是通过发射调制编码的连续波信号，接收端通过相关匹配等信号处理方法间接求解飞行时间，例如：AMCW调幅连续波，FMCW调频连续波，编码脉冲发射等，上述不同的测距方案均不会影响本方案的实现。

[0077] 本实施例的另一实现方式中，距离测量装置为机械扫描式LiDAR，距离测量装置还包括机械扫描单元，机械扫描单元可以是振镜、反射镜、MEMS、楔形镜以及旋转电机等。在一个典型的实施例中，光源被配置为点光源或列光源，并且像素单元被配置为单个像素或者像素列，扫描单元包括旋转电机等，用于同步控制发射器和采集器绕垂直地面的旋转轴线进行360度扫描，此时光源同样产生固定的点阵列形式出射，随着整个收发系统的旋转对周边环境进行扫描成像。在另一个典型的实施例中，光源被配置为点光源或列光源，同样产生固定的点阵列形式出射，光源发射的点阵光束经过机械扫描单元投射到物体表面，随着机械扫描单元的旋转对物体进行扫描成像。其中，机械扫描单元包括MEMS反射镜、振镜等，用于接收光源发出的激光光束并进行偏转投射到物体表面上形成固定的点阵列形式。

[0078] 本实施例的一个实现方式中，双目相机包括左相机和右相机，左相机和右相机均为高分辨率成像相机，在通过双目相机获取第一场景图像和第一稠密深度图时，可以左相机采集第一图像，并同步控制右相机采集第二图像，通过立体匹配算法确定第一图像和第二图像的稠密视差图，基于双目相机的内外参数以及稠密视差图确定第一稠密深度图，再将第一图像或者第二图像作为第一场景图像，以得到第一场景图像和第一稠密深度图。此外，在实际应用中，为了避免提高基于训练样本集训练得到的深度信息补全模型的适用场景，距离测量装置发送的激光光束为红外激光光束，相应的，双目相机的左相机和右相机均采用红外相机，这样使得距离测量装置和双目相机可以获取到暗光条件下的第一稀疏深度图、第一场景图像以及第一稠密深度图。

[0079] 在本实施例的一个实现方式中，在通过双目相机的左相机获取到第一图像和右相机获取到第二图像后，通过第一图像和第二图像确定第一稠密深度图的过程可以为：将利用双目相机的几何约束对第一图像和第二图像进行去畸变和极限校正，然后根据第一图像和第二图像进行逐像素搜索并计算匹配代价，利用相邻像素信息对匹配代价进行优化，再基于优化后的匹配代价计算各像素的视差以得到视差图，然后在对视差图进行滤波以及空洞填补等去噪处理，以得到第一稠密深度图。

[0080] 此外，在实际应用中，用于确定稠密视差图的立体匹配算法可以为任意的双目匹配算法，例如，SAD(Sum of absolute differences)算法和SGBM(Stereo Processing by Semiglobal Matching and Mutual Information)算法等；或者是，也可以采用基于深度学习的立体匹配模型，在获取到第一图像和第二图像后，将第一图像和第二图像作为立体匹配模型的输入项，通过立体匹配模型输出第一稠密深度图。

[0081] 双目相机与距离测量装置时间同步，并且双目相机可以在距离测量装置发射的近红外波段下对发射器投射出的逐点或阵列光斑进行清晰成像。在实际产品使用过程中，可以根据实际使用场景选择对可见光或近红外光进行视觉感知。可以理解的是，图像组中的第一稀疏深度图和第一稠密深度图为同一时间下位置相对固定的双目相机以及距离测量装置采集同一场景信息所得到的。而为了保证距离测量装置与双目相机捕捉的是当前场景相同时刻下的信息，可以基于距离测量装置发射激光光束的指令触发双目相机来实现，或者基于距离测量装置采集到激光信号来触发双目相机，例如，在获取图像组时，可以判断距离测量装置的像素单元是否接收到激光，若是，则触发指令至双目相机，以使得双目相机进行拍摄。当然，在其他实现方式中，也可以通过其他方式实现，在此不做具体限制。

[0082] S20、确定若干图像组中的每个图像组中的第一稠密深度图与第一稀疏深度图的图像差异度。

[0083] 具体地，所述图像差异度用于反映第一稠密深度图与第一稀疏深度图的偏差程度，其中，图像差异度越大，说明第一稠密深度图与第一稀疏深度图的偏差程度越大；反之，图像差异度越小，说明第一稠密深度图与第一稀疏深度图的偏差程度越小。例如，图像组A包括第一稠密深度图a和第一稀疏深度图b，图像组B包括第一稠密深度c和第一稀疏深度图d，第一稠密深度图a与第一稀疏深度图b的图像差异度为d1，第一稠密深度图c与第一稀疏深度图d的图像差异度为d2，当d1大于d2时，说明第一稠密深度图a与第一稀疏深度图b的偏差程度大于第一稠密深度图c与第一稀疏深度图d的偏差程度。

[0084] 在本实施例中，由于第一稠密深度图通过双目相机获取的，第一稀疏深度图通过距离测量装置获取的，从而第一稠密深度图所处的坐标系与第一稀疏深度图所处的坐标系不相同。基于此，所述确定若干图像组中的每个图像组中的第一稠密深度图与第一稀疏深度图的图像差异度之前，所述方法还包括：

[0085] 将若干图像组中的每个图像组中的第一稀疏深度图和第一稠密深度图转换至同一坐标系内。

[0086] 具体地，坐标系可以是第一稀疏深度图所在的坐标系，也可以是第一稠密深度图所在坐标系等。在本实施例的一个实现方式中，该坐标系为第一稠密深度图所在的坐标系，那么在将第一稀疏深度图和第一稠密深度图转换至同一坐标系时仅需要通过将第一稀疏深度图通过第一旋转平移矩阵映射至第一稠密深度图所在坐标系，这样可以简化第一稀疏深度图和第一稠密深度图转换至同一坐标系内的实现过程且计算量小，第一旋转平移矩阵为距离测量装置和双目相机之间的外参，通过预先标定可以确定。

[0087] 在本实施例的一个实现方式中，如图3所示，所述确定若干图像组中的每个图像组中的第一稠密深度图与第一稀疏深度图的图像差异度具体包括：

[0088] S21、对于若干图像组中的每个图像组，将该图像组中的第一稀疏深度图投影至该图像组中的第一稠密深度图；

[0089] S22、在所述第一稠密深度图中选取投影后的第一稀疏深度图中的各稀疏深度点各自对应的图像区域，并基于选取到的所有图像区域确定深度阈值；

[0090] S23、基于各稀疏深度点各自对应的稀疏深度值以及所述深度阈值，确定所述第一稀疏深度图与所述第一稠密深度图的图像差异度，以得到各图像组各自对应的图像差异度。

[0091] 具体地，第一稀疏深度图和第一稠密深度图位于同一坐标系内，第一稀疏深度图和第一稠密深度图至少部分重合，这是由于在通过距离测量装置和双目相机获取第一稀疏深度图和第一稠密深度图时，如图2所示，距离测量装置11与双目相机12的位置是相对固定，并且距离测量装置11的视场角(FOV)1与双目相机12的视场角(FOV)2之间存在重叠部分，其中，距离测量装置11在确定第一稀疏深度图时，其自身配置的光源向标定板发射面阵斑点光束，自身配置的采集器采集面阵斑点光束，每个光斑对应测出一个深度；同时双目相机12也采集面阵斑点光束，左相机采集一幅图像，右相机采集一幅图像，然后左右相机通过立体匹配算法确定第一稠密深度。那么当距离测量装置11的视场角(FOV)1与双目相机12的视场角(FOV)2之间存在重叠部分时，距离测量装置11采集的光斑区域与双目相机12采集的光斑区域会存在重合区域，从而使得通过距离测量装置确定的第一稀疏深度图与通过双目相机确定的第一稠密深度图之间存在重合区域。例如，在图2中，距离测量装置的视场角(FOV)和距离测量装置的视场角(FOV)部分重合，相应的第一稀疏深度图和第一稠密深度图也部分重合。在一些其他实施例中，距离测量装置的视场角(FOV)和双目相机的视场角(FOV)之间也存在全部重合，相应的第一稀疏深度图和第一稠密深度图也全部重合。通过距离测量装置和双目相机之间的外参，即可将第一稀疏深度图和第一稠密深度图投影至统一坐标系下产生重合区域。

[0092] 在一个典型实现方式中，距离测量装置与双目相机的位置是相对固定，距离测量装置中的采集器的像素分辨率与双目相机的像素分辨率可以相同，例如，均为640*480。但由于两者采集深度图的原理不同，而导致第一稀疏深度图和第一密集深度图的分辨率不同，当将第一稀疏深度图和第一稠密深度图转化到同一坐标系内时，此时第一稀疏深度图和第一稠密深度图至少存在部分重合区域，即第一稀疏深度图内的深度点与第一稠密图内的深度点重合。其中，重合区域可以为正方形区域，长方形区域等，并且重合区域可以是第一稀疏深度图中的部分图像区域，也可以是第一稀疏深度图的全部图像区域。也就是说，第一稀疏深度图可以部分图像区域与第一稠密深度图重合，也可以全部图像区域均与第一稠密深度图重合。

[0093] 在本实施例的一个实现方式中，所述在所述第一稠密深度图中选取投影后的第一稀疏深度图中的各稀疏深度点各自对应的图像区域，并基于选取到的所有图像区域确定深度阈值具体包括：

[0094] 对于投影后的第一稀疏深度图中的每个稀疏深度点，在所述第一稠密深度图中选取该稀疏深度点对应的图像区域，其中，所述图像区域包括该稀疏深度点；

[0095] 获取选取的所有图像区域所包括的稠密深度点；

[0096] 计算获取的所有稠密深度点的稠密深度均值，并将所述稠密深度均值作为深度阈值。

[0097] 具体地，上述选取投影后的第一稀疏深度图中的各稀疏深度点为重合区域内的稀疏深度点，第一稀疏深度点对应的图像区域包含于第一稠密深度图内，并且第一稀疏深度点位于图像区域内。此外，各第一稀疏深度点各自对应的图像区域的区域尺寸可以相同，且均远小于第一稠密深度图的图像尺寸。例如，第一稠密深度图的图像尺寸为640*480，图像区域的区域尺寸为3*3。在一个典型实现方式中，在选取第一稀疏深度点对应的图像区域时，可以以该第一稀疏深度点为中心，选取预设长度的邻域区间，例如，以第一稀疏深度点为中心，选取长度为3的邻域区间，即选取3*3邻域区间。

[0098] 在选取到各第一稀疏深度点各自对应的图像区域后，获取各图像区域包含的稠密深度点，然后可以直接计算获取到的所有稠密深度点的稠密深度均值，也可以是去除获取到的所有稠密深度点中的重复稠密深度点，再计算去重后的稠密深度点的稠密深度均值以得到深度阈值。

[0099] 在选取到稠密深度点后，获取每个选取的稠密深度点的稠密深度值，并计算获取到的所有稠密深度值的平均值以得到深度阈值，其中，深度均值的计算公式可以为：

[0100]

[0101] 其中，表示深度阈值，dj为获取的所有稠密深度点图像区域中的稠密深度点的稠密深度值，N为获取的所有稠密深度点的数量。

[0102] 本实施例通过将投影后重叠区域内的第一稀疏深度点对应的图像区域中的所有稠密深度点的稠密深度值的平均值作为深度阈值，可以整体反应第一稀疏深度图与第一稠密深度图的偏差情况，进而提高后续第一稠密深度图筛选的准确性。在其他实现方式中，第一稀疏深度图中的各稀疏深度点各自对应的深度阈值可以不同，或者是，部分稀疏深度点对应的深度阈值相同，部分稀疏深度点对应的深度阈值不同。例如，在将第一稀疏深度图投影至第一稠密深度图后，对于每个稀疏深度点，均为该稀疏深度点选取预设长度的邻域区域，并确定该邻域区域包括的所有稠密深度点的稠密深度值的平均值，将该平均值作为该稀疏深度点对应的深度阈值等。

[0103] 在获取到深度阈值后，可以基于深度阈值以及第一稀疏图中的各稀疏深度点各自对应的稀疏深度值来确定第一稀疏深度图与第一稠密深度图的图像差异度，其中，所述图像差异度可以是各稀疏深度点的稀疏深度值与深度阈值的差值的和，也可以是稀疏深度点中稀疏深度值与深度阈值的差值大于预设阈值的数量，还可以是各稀疏深度点的稀疏深度值与深度阈值的差值的平均值等等。

[0104] 在本实施例的一个实现方式中，所述基于各稀疏深度点各自对应的稀疏深度值以及所述深度阈值，确定所述第一稀疏深度图与所述第一稠密深度图的图像差异度，以得到各图像组各自对应的图像差异度具体包括：

[0105] 逐点计算各稀疏深度点各自对应的稀疏深度值与所述深度阈值的深度偏差值；

[0106] 基于获取到的深度偏差值计算所述第一稀疏深度图与所述第一稠密深度图的图像差异度，以得到各图像组各自对应的图像差异度。

[0107] 具体地，深度偏差值用于反映稀疏深度点的稀疏深度值与深度阈值之间的偏差，其中，深度偏差值等于稀疏深度点的稀疏深度值与深度阈值的差值绝对值。例如，深度阈值为A1，稀疏深度点的稀疏深度值为A2，那么深度偏差值可以为|A1‑A2|。此外，在其他实现方式中，深度偏差值可以采用其他方式确定，例如，深度偏差值为稀疏深度点的稀疏深度值与深度阈值的平方差的算是平方根等。

[0108] 在获取到各稀疏深度点各自对应的深度偏差值后，基于获取到的深度偏差值计算第一稀疏深度图与所述第一稠密深度图的图像差异度，其中，图像差异度可以等于所有深度偏差值的和，也可以是等于所有深度偏差值的平方和的算术平方根。例如，图像差异度的计算公式可以为：

[0109]

[0110] 其中，Δd表示图像差异度，sd表示第一稀疏深度图， 表示深度阈值，||x||α表示α范数，用于衡量第一稀疏深度图与深度阈值的偏差.

[0111] 在一个实现方式中，α的取值可以为1，图像差异度为第一稀疏深度图中各稀疏深度点的稀疏深度值与深度阈值的差值绝对值之和，相应的，图像差异值的计算公式可以为：

[0112]

[0113] 其中，sdi表示第i个稀疏深度点的稀疏深度值， 表示第i个稀疏深度点对应的深度阈值。

[0114] 在一个实现方式中，α的取值可以为2，图像差异度为第一稀疏深度图中各稀疏深度点的稀疏深度值与深度阈值的差值绝对值的平方和的算术平方根，相应的，图像差异值的计算公式可以为：

[0115]

[0116] 其中，sdi表示第i个稀疏深度点的稀疏深度值， 表示第i个稀疏深度点对应的深度阈值。

[0117] 在本实施例的一个实现方式中，所述基于各稀疏深度点各自对应的稀疏深度值以及所述深度阈值，确定所述第一稀疏深度图与所述第一稠密深度图的图像差异度，以得到各图像组各自对应的图像差异度具体包括：

[0118] 逐点计算各稀疏深度点各自对应的稀疏深度值与所述深度阈值的深度偏差值；

[0119] 确定深度偏差值大于预设阈值的稀疏深度点占所述第一稀疏深度图中的稀疏深度点的比例值，并将所述比例值作为所述第一稀疏深度图与所述第一稠密深度图的图像差异度，以得到各图像组各自对应的图像差异度。

[0120] 具体地，预设阈值为预先设置的，用于衡量深度偏差值的依据，其中，当深度偏差值大于预设阈值时，说明深度偏差值不符合要求，即说明该深度偏差值对应的稀疏深度点为不符合要求的稀疏深度点；反之，当深度偏差小于或者等于预设阈值时，说明深度偏差值符合要求，即说明该深度偏差值对应的稀疏深度点为符合要求的稀疏深度点。由此，比例值为所有不符合要求的稀疏深度点与第一稀疏深度图包含的所有稀疏深度点的比例，也就是说，在获取到各稀疏深度点各自对应的深度偏差值后，分别将各稀疏深度点各自对应的深度偏差值与预设阈值进行比较，以选取深度偏差值大于预设阈值的稀疏深度点，再将选取到的稀疏深度点的数量与第一稀疏深度图包括的所有稀疏深度点的数量相比得到该比例值。

[0121] 例如，第一稀疏深度图包括的稀疏深度点的数量为a2，第一稀疏深度图中深度偏差值大于预设阈值的稀疏深度点的数量为a1，a1小于或者等于a2，那么深度偏差值大于预设阈值的稀疏深度点占所述第一稀疏深度图中的稀疏深度点的比例值为a1/a2。

[0122] S30、在若干图像组中选取图像差异度满足预设条件的图像组，并将选取到的图像组构成的数据集作为训练样本集。

[0123] 具体地，所述预设条件为预先设置的，为图像差异度的衡量标准，其中，当图像差异度满足预设条件时，说明该图像组中的第一稀疏深度图和第一稠密深度图的图像偏差程度满足要求，图像组可以作为训练样本；反之，当图像差异度不满足预设条件时，说明该图像组中的第一稀疏深度图和第一稠密深度图的图像偏差程度不满足要求，图像组不可以作为训练样本。例如，若干图像组包括图像组A、图像组B以及图像组C，其中，图像组A和图像组B各自对应的图像差异度满足预设条件，图像组C对应的图像差异度不满足预设条件，那么图像组A和图像组B可以作为训练样本，图像组C不可以作为训练样本，从而训练样本集包括图像组A和图像组B。

[0124] 所述预设条件可以基于图像差异度的确定方式而确定，例如，当图像差异度为基于获取到的深度偏差值计算所述第一稀疏深度图与所述第一稠密深度图的图像差异度确定的时，所述预设条件可以为图像差异度小于偏差阈值，也就是说，当图像差异度小于偏差阈值时，说明图像差异度满足预设条件，反之，当图像差异度大于或者等于偏差阈值时，说明图像差异度不满足预设条件；又如，当图像差异度为基于深度偏差值大于预设阈值的稀疏深度点与第一稀疏深度图中的所有稀疏深度点的比例值时，预设条件可以为比例值小于预设比例阈值，也就是说，当图像差异度小于预设比例阈值时，说明图像差异度满足预设条件，反之，当图像差异度大于或者等于预设比例阈值时，说明图像差异度不满足预设条件。

[0125] 在本实施例的一个实现方式中，在获取到训练样本集之后，可以对训练样本集进行数据增强处理，以丰富训练样本集中的训练数据，以提高训练样本集的多样性，以提高基于训练样本集训练得到的深度信息补全模型的鲁棒性。基于此，在获取到训练样本集后，所述的训练样本集的获取方法还可以包括：

[0126] 在所述训练样本集中选取第一数量的图像组；

[0127] 对于选取到的图像组中的每个图像组，调整该图像组中的第一稀疏深度图中的若干稀疏深度点的稀疏深度值，得到该图像组对应的第一增强图像组；

[0128] 将获取到的所有第一增强图像组添加到训练样本集中，并将添加得到的训练样本集作为训练样本集。

[0129] 距离测量装置采集的第一稀疏深度图中的稀疏深度值容易受到环境光、电路本身的噪声、热噪声等影响导致测量结果存在一定范围的抖动误差，由此通过对稀疏深度值增加抖动误差获取包含增强深度值的增强深度图，输入到深度补全模型进行训练时提高模型对测量误差的适应性以及鲁棒性。

[0130] 具体地，所述第一数量可以为预先设定的，也可以是基于训练样本集包括的训练样本的数量确定的，并且第一数量小于或者等于训练样本集包括的训练样本的数量，例如，第一数量为训练样本集包括的训练样本的数量的一半，又如，第一数量等于训练样本集包括的训练样本的数量。在一个典型实现方式中，第一数量等于训练样本集包括的训练样本的数量，这样可以对训练样本集中的每个训练样本均进行增强。

[0131] 在选取到第一数量的图像组后，对于选取的图像组中的每个图像组中的第一稀疏深度图，在该第一稀疏深度图中选取若干稀疏深度点，其中，选取到的若干稀疏深度点的数量小于获取等于第一稀疏深度图中的所有稀疏深度点的数量。例如，第一稀疏深度图中的所有稀疏深度点的数量为100，那么选取到的若干稀疏深度点的数量小于或者等于100。本实施例通过对第一稀疏深度图中的部分稀疏深度点或全部稀疏深度点的稀疏深度值进行调整来生成第一稀疏深度图对应的增强稀疏深度图，然后将第一稀疏深度图对应的增强稀疏深度图，第一稀疏深度图对应的第一场景图像以及第一稠密深度图作为第一增强图像组添加到训练样本集中，以使得训练样本集包括该第一稀疏深度图、第一稀疏深度图对应的第一场景图像以及第一稠密深度图构成的图像组以及第一稀疏深度图对应的增强稀疏深度图，第一稀疏深度图对应的第一场景图像以及第一稠密深度图构成的第一增强图像组，进而丰富了训练样本集中的训练数据。

[0132] 此外，在实际应用中，在通过对图像组中的第一稀疏深度图中的稀疏深度点的稀疏深度值进行调整来确定增强稀疏深度图时，可以通过对不同稀疏深度点的调整来确定多张增强稀疏深度图，也可以通过采用不同的调整值进行调整来确定多张增强稀疏深度图。可以理解的是，距离测量装置中引起抖动误差的影响因素较多，因此抖动误差的值并不唯一，可以通过实验测量确定也可以采用理论推导的方式计算，在本发明中不做具体限制。例如，在通过对图像组中的第一稀疏深度图中的稀疏深度点的稀疏深度值进行调整来确定增强稀疏深度图时，可以通过对第一稀疏深度图中的每个稀疏深度点依次进行调整，得到多张增强稀疏深度图。又如，在通过对图像组中的第一稀疏深度图中的稀疏深度点的稀疏深度值进行调整来确定增强稀疏深度图时，可以采用多个不同的调整值对第一稀疏深度图中的稀疏深度点的稀疏深度值进行调整，得到多张增强稀疏深度图等。

[0133] 在本实施例的一个实现方式中，调整该图像组中的第一稀疏深度图中的若干稀疏深度点的稀疏深度值可以采用在若干稀疏深度点中的每个稀疏深度点的稀疏深度值上加上预设调整值的调整方法，也可以是在若干稀疏深度点中的各稀疏深度点的稀疏深度值上加上各稀疏深度点各自对应的深度调整值的调整方法，其中，各稀疏深度点各自对应的深度调整值可以根据各稀疏深度点的稀疏深度值确定的，例如，各稀疏深度点各自对应的深度调整值可以根据各稀疏深度点的稀疏深度值的百分之一等。

[0134] 本实施通过在稀疏深度点的稀疏深度值上增加调整值的方式来对第一稀疏深度图进行测量误差增强，可以使得训练样本集中可以包括具有测量误差的训练样本，以使得基于训练样本集训练得到的深度信息补全模型对距离测量装置的测量误差的适应性和鲁棒性，从而使得训练得到的深度信息补全模型可以适用距离测量装置在存在环境光噪声、电路热噪声以及电路读出噪声等噪声的应用场景中采集到的稀疏深度图。

[0135] 在本实施例的一个实现方式中，预设网络模型的输入数据为第一稀疏深度图和第一场景图，距离测量装置采集的第一稀疏深度图与第一场景图像根据旋转平移矩阵映射至同一坐标中进行对齐配准，在本申请所述的方案中，旋转平移矩阵即为距离测量装置与双目相机中一个相机的外参。其中，系统外参通过离线生产标定或者在线实时标定来确定与校准的，然而，校准结果本身会存在一定误差，同时在实际使用过程中，特别是动态使用场景，距离测量装置和/或双目相机会存在结构抖动，从而会使得基于标定的外参映射至同一坐标系中的稀疏深度图和场景图像之间存在空间配准误差。由此，为了提高基于训练样本集训练得到的深度信息补全模型对具有空间配准误差的稀疏深度图和场景图像的处理效果，在获取到训练样本集后，可以在训练样本集中的第一稀疏深度图和第一场景图像对齐配准的映射过程中增加噪声抖动，以使得训练样本集携带有具有空间配准误差的训练样本，进而可以提高深度信息补全模型对具有空间配准误差的稀疏深度图和场景图像的鲁棒性。

[0136] 基于此，所述训练样本集的获取方法还可以包括：

[0137] 在训练样本集中选取第二数量的图像组；

[0138] 对于选取到的图像组中的每个图像组，获取将图像组中的第一稀疏深度图映射至图像组中的第一场景图像所在坐标系的旋转平移矩阵，其中，所述旋转平移矩阵为所述距离测量装置相对于所述双目相机中用于获取第一场景图像的相机的旋转平移矩阵；

[0139] 调整所述旋转平移矩阵，并基于调整后的旋转平移矩阵将所述第一稀疏深度图映射至所述第一场景图像所在坐标系，得到该图像组对应的第二增强图像组；

[0140] 将获取到的所有第二增强图像组添加到训练样本集中，并将添加得到的训练样本集作为训练样本集。

[0141] 具体地，所述第二数量可以为预先设定的，也可以是基于训练样本集包括的训练样本的数量确定的，并且第二数量小于或者等于训练样本集包括的训练样本的数量，例如，第二数量为训练样本集包括的训练样本的数量的一半，又如，第二数量等于训练样本集包括的训练样本的数量。在一个典型实现方式中，第二数据等于训练样本集包括的训练样本的数量，这样可以对训练样本集中的每个训练样本均进行增强。

[0142] 在选取到第二数据的图像组后，对于选取的图像组中的每个图像组，确定第一稀疏深度图映射至图像组中的第一场景图像所在坐标系的旋转平移矩阵，旋转平移矩阵用于将第一稀疏深度图映射至第一场景图像所在坐标系。在一个实现方式中，第一场景图像为双目相机中一个相机拍摄得到，则将距离测量装置与该相机作为一个融合系统，利用标定算法进行距离测量装置和所述相机的外参标定，得到距离测量装置与目标相机之间的旋转平移矩阵，并可以通过该旋转平移矩阵将第一稀疏深度图映射至第一场景图像所在坐标系。

[0143] 例如，假设距离测量装置测量某一个三维空间点Pw(Xw,Yw,Zw)得到该三维空间点对应的第一稀疏深度图中的深度点以及对应的深度值，由此，构建出三维空间点投影到距离测量装置坐标系的投影关系。并且，距离测量装置与目标相机之间的旋转平移矩阵设定为[R t]，那么三维空间点Pw(Xw,Yw,Zw)投影到目标相机坐标系的投影过程可以表示为：

[0144]

[0145] 其中，K为目标相机的内参矩阵，R为从距离测量装置所在坐标系到目标相机所在坐标系的旋转矩阵，t为从距离测量装置所在坐标系到目标相机所在坐标系的平移矩阵。

[0146] 平移矩阵包括x,y,z三个自由度，沿(x,y,z)三个自由度的平移距离可以表示为(t1,t2,t3)。旋转矩阵包括x,y,z三个自由度，沿(x,y,z)三个自由度的旋转矩阵可以通过欧拉角θ(θx,θy,θz)表示，分别表示为：

[0147]

[0148] 相应的，旋转矩阵R可以表示为：

[0149]

[0150] 其中，si＝sinθi,i＝x,y,z，ci＝cosθi,i＝x,y,z。

[0151] 基于此，在调整所述旋转平移矩阵时，可以对旋转矩阵中的三个自由度各自对应的欧拉角进行调整，也可以对平移矩阵中的三个自由度的平移距离进行调整，其中，调整过程可以为对三个自由度的欧拉角和三个自由度的平移距离中的一个参量进行调整，或者是，对三个自由度的欧拉角和三个自由度的平移距离中的一个参量进行调整中的两个参量或者两个以上参量进行调整；或者是，对三个自由度的欧拉角进行调整；或者是，对三个自由度的平移距离进行调整等。具体地调整方式可以根据实际训练需求而进而调整，所有通过调整三个自由度的欧拉角和三个自由度的平移距离的方式来调整训练样本集的方式均属于本申请的保护范围。

[0152] 此外，旋转矩阵的三个自由度的欧拉角以及平移矩阵的三个自由度的平移距离的调整值的上限值可以根据距离测量装置和相机的结构约束而确定，例如，旋转矩阵的三个自由度的欧拉角以及平移矩阵的三个自由度的平移距离的调整值的上限值可以等于距离测量装置和相机的在各自由度的结构抖动的最大值，或者是根据最大值确定的且小于最大值等。例如，三个自由度的欧拉角为θ(θx,θy,θz)，调整后的欧拉角可以表示为θ(θx±Δθx,θy±Δθy,θz±Δθz)，其中，Δθx,Δθy,Δθz分别为x,y,z三个自由度的欧拉角的调整值，并且Δθx的取值范围均为0到x自由度的欧拉角调整最大值，Δθy的取值范围均为0到y自由度的欧拉角调整最大值，Δθz的取值范围均为0到z自由度的欧拉角调整最大值。三个自由度的平移距离可以表示为(t1,t2,t3)，调整后的平移距离可以表示为(t1±Δt1,t2±Δt2,t3±Δt3)，其中，Δt1,Δt2,Δt3分别为x,y,z三个自由度的平移距离的调整值，并且Δt1的取值范围均为0到x自由度的平移距离调整最大值，Δt2的取值范围均为0到y自由度的平移距离调整最大值，Δt3的取值范围均为0到z自由度的平移距离调整最大值。

[0153] 可以理解的是，在将第一稀疏深度图和第一场景图输入预设网络模型进行训练时需要根据系统外参(旋转平移矩阵)将第一稀疏深度图和第一场景图投影到同一坐标系下用于进行模型的训练，为了有效提高距离测量装置和目标相机之间的抖动引起的误差，通过对旋转平移矩阵进行误差抖动增强，并基于调整后的旋转平移矩阵将所述第一稀疏深度图映射至所述第一场景图像所在坐标系，得到该图像组对应的第二增强图像组，用第二增强图像组与原始图像组一起对模型进行训练，进而丰富了训练样本集中的训练数据，也提高了模型进行深度估计的鲁棒性。

[0154] 此外，值得说明的是，在对训练样本集进行增强时，可以仅采用调整第一稀疏深度图的稀疏深度值的方式进行增强，或者是，仅采用调整旋转平移矩阵的方式进行增强，或者是，同时采用调整第一稀疏深度图的稀疏深度值的方式进行增强和调整旋转平移矩阵的方式进行增强，也就是说，可以先采用调整第一稀疏深度图的稀疏深度值的方式对训练样本集进行增强，然后再采用调整旋转平移矩阵的方式对增强后的训练样本集进行增强；或者是，先采用调整旋转平移矩阵的方式对训练样本集进行增强，然后再采用调整第一稀疏深度图的稀疏深度值的方式对增强后的训练样本集进行增强等。

[0155] 综上所述，本实施例通过双目相机以及距离测量装置获取若干图像组，再分别确定各图像组中的第一稠密深度图与第一稀疏深度图的图像差异度；最后在若干图像组中选取图像差异度满足预设条件的图像组，并将选取到的图像组构成的数据集作为训练样本集。本实施例确定的训练样本集中的训练样本是以双目相机获取的第一稠密深度图作为训练真值，可以保证训练真值的可靠性；通道该训练样本中的第一稠密深度图与通过距离测量装置获取的第一稀疏深度图的图像差异度满足预设条件，可以保证第一稠密深度图与第一场景图像的采集场景的匹配度，从而采用本实施例提供的训练样本集对深度信息补全模型进行有监督训练时，可以提高训练得到的深度信息补全模型的模型性能。

[0156] 基于上述训练样本集的获取方法，本实施例提供了一种深度信息补全模型的训练方法，所述的训练方法应用上述实施例所述的训练样本集的获取方法所获取到的训练样本集；如图4所示，所述的训练方法包括：

[0157] N10、将训练样本集中的图像组中的第一稀疏深度图和第一场景图像输入预设网络模型，并通过所述预设网络模型输出所述第一稀疏深度图对应的预测稠密深度图；

[0158] N20、基于图像组中的第一稠密深度图以及所述预测稠密深度图，对所述预设网络模型进行训练，以得到深度信息补全模型。

[0159] 具体地，预测稠密深度图为预设网络模型基于训练样本中的第一稀疏深度图和第一场景图像预测得到的，预测稠密深度图的图像分辨率与第一稠密深度图的分辨率相等，以使得预设稠密深度图中的稠密深度点与第一稠密深度图中的稠密深度点一一对应。例如，第一稠密深度图的分辨率为640*480，那么预测稠密深度图的分辨率为640*480。

[0160] 所述预设网络模型为预先设置的，预设网络模型与训练得到的深度信息补全模型的模型结构，两者的区别在于预设网络模型的模型参数为初始参数，深度信息补全模型的模型参数为经过训练样本集训练后的模型参数。其中，预设网络模型可以采用基于深度学习的神经网络模型，例如，卷积神经网络模型、循环神经网络模型、双向循环神经网络模型以及长短期记忆网络模型等。在一个具体实现方式中，预设网络模型采用编解码卷积神经网络，如图5所示，预设网络模型包括编码模块和解码模块，编码模块的输入项为第一稀疏深度图和第一场景图像，编码模块的输出项为深度特征图；解码模块的输入项为深度特征图，输出项为预测稠密深度图。

[0161] 在通过预设网络模型输入预测稠密深度图后，在基于预测稠密深度图和第一稠密深度图对预设网络模型进行训练时，可以基于预测稠密深度图和第一稠密深度图来计算损失函数，再基于损失函数对预设网络模型进行训练迭代。所述损失函数可以采用逐像素深度的损失函数、深度图梯度的逐像素损失函数以及模型结构损失函数中的一种或者多种加权所形成的损失函数等。

[0162] 逐像素深度的损失函数可以采用均方差损失函数MSE(Mean Squared Error Loss)、平均绝对误差损失函数MAE(Mean Absolute Error Loss)，以及MSE损失函数与MAE损失函数结合的Huber损失函数，其中，MSE损失函数、MAE损失函数以及Huber损失函数的表达式可以为：

[0163]

[0164]

[0165]

[0166] 其中，N为第一稠密深度图中的稠密深度点的数量，di为预测稠密深度图中的稠密深度点的稠密深度值， 为第一稠密深度图中的稠密深度点的稠密深度值，δ为预设的深度偏差阈值。

[0167] 深度图梯度的逐像素损失函数可以为：

[0168]

[0169] 其中， 为预测稠密深度图中的稠密深度点在x方向的梯度， 为第一稠密深度图中的稠密深度点在x方向的梯度， 为预测稠密深度图中的稠密深度点在y方向的梯度， 为第一稠密深度图中的稠密深度点在y方向的梯度。

[0170] 模型结构损失Lweight可以采用L1衰减函数或者L2权重衰减函数。相应的，逐像素深度的损失函数、深度图梯度的逐像素损失函数以及模型结构损失函数的加权确定的缺失函数可以表示为：

[0171] L＝a*Lpixel+b*Lgrad+c*Lweight

[0172] 其中，Lpixel可以为LMSE，LMAE或者LHuber。

[0173] 基于上述训练样本集的获取方法，本实施例提供了一种稠密深度图的获取方法，所述的获取方法应用上述实施例所述的深度信息补全模型的训练方法所得到的深度信息补全模型，如图6所示，所述的获取方法具体包括：

[0174] H10、控制距离测量装置获取目标场景的第二稀疏深度图，并同步控制相机获取目标场景的第二场景图像；

[0175] H20、将所述第二稀疏深度图以及所述第二场景图像输入所述深度信息补全模型，以得到所述第二场景图像对应的第二稠密深度图。

[0176] 具体地，相机可以是单目相机，也可以是双目相机中的一个相机，例如，左相机。可以理解的是，运行本实施例提供的稠密深度图的获取方法的电子设备配置有距离测量装置以及单目相机或者双目相机，当电子设备配置有单目相机时，控制距离测量装置和单目相机同步获取目标场景的第二稀疏深度图和第二场景图像，然后通过经过训练的深度信息补全模型确定第二稠密深度图。当电子设备配置有双目相机时，可以控制双目相机中的一个相机以及距离测量装置同步获取目标场景的第二稀疏深度图和第二场景图像，然后通过经过训练的深度信息补全模型确定第二稠密深度图。当然，在实际应用中，为了在暗光条件下也可以获取到第二稠密深度图，相机可以采用红外相机。

[0177] 基于上述训练样本集的获取方法，本实施例提供了一种训练样本集的获取装置，如图7所示，所述的获取装置包括：

[0178] 获取模块100，用于获取若干图像组，其中，若干图像组中的每个图像组均包括通过双目相机获取的第一场景图像和所述第一场景图像对应的第一稠密深度图，以及通过距离测量装置获取的所述第一场景图像对应的第一稀疏深度图；

[0179] 确定模块200，用于分别确定各图像组中的第一稠密深度图与第一稀疏深度图的图像差异度；

[0180] 选取模块300，用于在若干图像组中选取图像差异度满足预设条件的图像组，并将选取到的图像组构成的数据集作为训练样本集。

[0181] 基于上述训练样本集的获取方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的训练样本集的获取方法中的步骤。

[0182] 基于上述训练样本集的获取方法，本申请还提供了一种终端设备，如图8所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

[0183] 此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

[0184] 存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

[0185] 存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read‑Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

[0186] 此外，上述训练样本集的获取装置的具体工作过程，存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

[0187] 最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。