基于相机位姿的三维场景重建方法及系统

摘要

本发明实施例提供一种基于相机位姿的三维场景重建方法及系统，该方法包括基于图像帧中每个深度数据点的表面采样不确定度和每个深度数据点的测量不确定度，得到图像帧中每个深度数据点的总体不确定度；基于总体不确定度对不同图像帧进行深度数据点融合，得到场景子图，并提取场景子图的相机位姿；基于相机位姿对所有场景子图进行融合，得到重建后的三维场景图。本发明实施例提供的基于相机位姿的三维场景重建方法及系统采用深度数据测量点处邻域内的数据分布，在线估计深度数据点不确定度，利用该不确定度引导不同图像帧之间深度数据整合，提高基于相机位姿的三维场景重建系统对低质量彩色‑深度数据噪声的鲁棒性。

权利要求

1.一种基于相机位姿的三维场景重建方法，其特征在于，包括：

基于图像帧中每个深度数据点的表面采样不确定度和每个所述深度数据点的测量不确定度，得到所述图像帧中每个所述深度数据点的总体不确定度；

基于所述总体不确定度对不同图像帧进行深度数据点融合，得到场景子图，并提取所述场景子图的相机位姿；

基于所述相机位姿对所有场景子图进行融合，得到重建后的三维场景图；

其中，所述基于所述总体不确定度对不同图像帧进行深度数据点融合，得到场景子图，具体为：基于所述图像帧中每个所述深度数据点的所述总体不确定度，对不同所述图像帧彼此之间进行对准变换求解，得到每两个所述图像帧之间的相机位姿变化值；

若所述相机位姿变化值在设定阈值内，则将相对应的两个所述图像帧进行深度数据点融合，并依次融合所有图像帧，得到融合后的场景子图。

2.根据权利要求1所述的方法，其特征在于，所述基于图像帧中每个深度数据点的表面采样不确定度和每个所述深度数据点的测量不确定度，得到所述图像帧中每个所述深度数据点的总体不确定度，具体包括：对所述图像帧中每个所述深度数据点以及每个所述深度数据点相对应的领域点进行主成分分析，建立相应的局部坐标系以及协方差矩阵，根据所述深度数据点的坐标以及所述协方差矩阵获得所述深度数据点的所述表面采样不确定度；

基于迭代最近点方法ICP对各个所述图像帧彼此之间进行局部相对变换，得到所述图像帧的深度方差图，并基于所述深度方差图得到所述图像帧中每个深度数据点的所述测量不确定度。

3.根据权利要求1所述的方法，其特征在于，还包括：

若基于图像帧获得的所有所述相机位姿变化值均不在设定阈值内，则基于所述图像帧新建一个场景子图。

4.根据权利要求1所述的方法，其特征在于，所述提取场景子图的相机位姿，具体为：提取所述场景子图的第一图像帧的相机位姿作为所述场景子图的相机位姿。

5.根据权利要求4所述的方法，其特征在于，还包括：基于各所述场景子图的所述第一图像帧的相机位姿，获得全局相机位姿图。

6.根据权利要求5所述的方法，其特征在于，所述基于所述相机位姿对所有场景子图进行融合，得到重建后的三维场景图，具体包括：将当前场景子图的当前图像帧插入所述全局相机位姿图中，获得所述当前场景子图与已有的场景子图的连接位置关系；

通过光束平差法局部优化所述当前场景子图的当前图像帧相机位姿和已有的各所述场景子图的第一图像帧相机位姿；

检测所述当前图像帧插入后的所述全局相机位姿图是否存在闭环，并根据检测结果，融合所有场景子图，获得所述三维场景图。

7.根据权利要求6所述的方法，其特征在于，所述根据检测结果，融合所有场景子图，获得所述三维场景图，具体包括：若存在闭环，则通过光束平差法全局优化纠正所述闭环，并根据全局优化后的所述当前场景子图的所述当前图像帧相机位姿以及各已有的所述场景子图的所述第一图像帧相机位姿，融合所有场景子图，获得所述三维场景图；

若不存在闭环，则根据局部优化后的所述当前场景子图的所述当前图像帧相机位姿以及各已有的所述场景子图的所述第一图像帧相机位姿，融合所有场景子图，获得所述三维场景图。

8.根据权利要求6所述的方法，其特征在于，所述将当前场景子图的当前图像帧插入全局相机位姿图中，获得所述当前场景子图与已有的场景子图的连接位置关系，具体包括：提取所述当前图像帧中的ORB特征，将提取出的所述ORB特征与已有的所述场景子图中的所述第一图像帧的ORB特征进行匹配；

根据所述当前图像帧与所述第一图像帧的ORB特征匹配结果，将所述当前图像帧插入所述全局相机位姿图中，获得所述当前场景子图与已有的所述场景子图的连接位置关系。

9.一种基于相机位姿的三维场景重建系统，其特征在于，包括：

第一处理模块，用于基于图像帧中每个深度数据点的表面采样不确定度和每个所述深度数据点的测量不确定度，得到所述图像帧中每个所述深度数据点的总体不确定度；

第二处理模块，用于基于所述总体不确定度对不同图像帧进行深度数据点融合，得到场景子图，并提取场景子图的相机位姿；

第三处理模块，用于基于所述相机位姿对所有场景子图进行融合，得到重建后的三维场景图；

其中，所述基于所述总体不确定度对不同图像帧进行深度数据点融合，得到场景子图，具体为：基于所述图像帧中每个所述深度数据点的所述总体不确定度，对不同所述图像帧彼此之间进行对准变换求解，得到每两个所述图像帧之间的相机位姿变化值；

若所述相机位姿变化值在设定阈值内，则将相对应的两个所述图像帧进行深度数据点融合，并依次融合所有图像帧，得到融合后的场景子图。

说明书

基于相机位姿的三维场景重建方法及系统

技术领域

[0001] 本发明涉及计算机视觉和计算机图形学技术领域，尤其涉及一种基于相机位姿的三维场景重建方法及系统。

背景技术

[0002] 三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视频的信息不完全，因此三维重建需要利用经验知识。而多视图的三维重建相对比较容易，其方法是先对摄像机进行标定，即计算出摄像机的图像坐标系与世界坐标系的关系。然后利用多个二维图像中的信息重建出三维信息。物体三维重建是CAGD(Computer Aided Geometric Design，计算机辅助几何设计)、计算机图形学、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心技术。

[0003] 无论是物体的高精度三维重建还是场景的高精度三维重建均是混合现实应用和下一代机器人技术中的关键组成部分。而三维重建过程中一般会用到相机进行实景拍摄，尤其在三维场景重建时，消费级彩色-深度相机更是得到广泛应用，其为大量用户访问已扫描三维模型提供了很大便利，同时也带动了彩色-深度扫描和三维重建系统研究的再次兴起。但现有技术中的三维重建系统一般都是基于消费级彩色-深度传感器提供的数据流，采用立体栅格化的隐式场景几何表示方法，即TSDF(Truncated Signed Distance Function，截断符号距离函数)，进行三维场景重建，这种场景表示方法对快速的相机位姿跟踪和帧数据融合很有帮助。

[0004] 但是消费级传感器获取到的深度数据总是含有大量的噪声，大量噪声的输入会使得各个体素内融合出的几何细节出现模糊或过度平滑等缺陷。尤其在大型三维场景重建时，大量噪声的输入还会使得相机位姿跟踪的结果不可用，并恶化漂移误差，降低系统的鲁棒性。

发明内容

[0005] 针对背景技术中现有技术存在的缺陷，本发明提供了一种基于相机位姿的三维场景重建方法及系统。

[0006] 第一方面，本发明提供的一种基于相机位姿的三维场景重建方法，该方法包括：

[0007] 基于图像帧中每个深度数据点的表面采样不确定度和每个所述深度数据点的测量不确定度，得到所述图像帧中每个所述深度数据点的总体不确定度；

[0008] 基于所述总体不确定度对不同图像帧进行深度数据点融合，得到场景子图，并提取场景子图的相机位姿；

[0009] 基于所述相机位姿对所有场景子图进行融合，得到重建后的三维场景图。

[0010] 第二方面，本发明提供的一种基于相机位姿的三维场景重建系统，该系统包括：

[0011] 第一处理模块，用于基于图像帧中每个深度数据点的表面采样不确定度和每个所述深度数据点的测量不确定度，得到所述图像帧中每个所述深度数据点的总体不确定度；

[0012] 第二处理模块，用于基于所述总体不确定度对不同图像帧进行深度数据点融合，得到场景子图，并提取场景子图的相机位姿；

[0013] 第三处理模块，用于基于所述相机位姿对所有场景子图进行融合，得到重建后的三维场景图。

[0014] 本发明实施例提供的基于相机位姿的三维场景重建方法及系统采用每个深度数据测量点处局部时间邻域内的数据分布，在线估计每个深度数据点的不确定度，并利用该不确定度引导不同图像帧之间深度数据整合，以提高基于相机位姿的三维场景重建系统对低质量彩色-深度数据噪声的鲁棒性，并通过融合经过噪声处理后的场景子图得到重建后的三维场景图。

附图说明

[0015] 图1为本发明实施例提供的基于相机位姿的三维场景重建方法流程示意图；

[0016] 图2为本发明实施例提供的基于相机位姿的三维场景重建系统结构图。

具体实施方式

[0017] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0018] 三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。尤其三维场景图的重建在计算机图像处理领域有非常重要的应用。

[0019] 而现有技术中，三维场景图的重建一般基于消费级彩色-深度相机对实景进行拍照，然后通过计算机对图像进行处理，进行三维场景图的重建。但相机中的消费级传感器获取的深度图像中的深度数据会有大量的噪声，从而使得各个体素内融合出的几何细节出现模糊或过度平滑等缺陷。大型三维场景重建时，大量噪声的输入还会使得相机位姿跟踪的结果不可用，并恶化漂移误差，降低系统的鲁棒性。

[0020] 因此，在三维场景图重建时，如何有效的去除噪声，提高系统的鲁棒性，成了三维场景重建亟待解决的问题。

[0021] 为了解决上述三维场景图重建时，噪声有效去除的技术问题，进一步提高系统鲁棒性，本发明实施例提供了一种基于相机位姿的三维场景重建方法，结合每个深度数据测量点处局部时间邻域内的数据分布，在线估计逐点的不确定度，并利用该不确定度引导不同图像帧之间深度数据整合，以提高基于相机位姿的三维场景重建系统对低质量彩色-深度数据噪声的鲁棒性；图1为本发明实施例提供的基于相机位姿的三维场景重建方法流程示意图，如图1所示，该方法包括：

[0022] 步骤10、基于图像帧中每个深度数据点的表面采样不确定度和每个深度数据点的测量不确定度，得到图像帧中每个深度数据点的总体不确定度；

[0023] 步骤11、基于总体不确定度对不同图像帧进行深度数据点融合，得到场景子图，并提取场景子图的相机位姿；

[0024] 步骤12、基于相机位姿对所有场景子图进行融合，得到重建后的三维场景图。

[0025] 具体地，本发明实施例提供的基于相机位姿的三维场景重建方法具体为逐帧读取消费级彩色-深度相机捕获到的带有噪声的图像帧，通过深度数据处理得到各图像帧中每个深度数据点的表面采样不确定度以及测量不确定度，融合每个深度数据点的表面采样不确定度和测量不确定度得到每个深度数据点的总体不确定度，然后通过该总体不确定度引导不同图像帧之间深度数据整合，提高基于相机位姿的三维场景重建系统对低质量彩色-深度数据噪声的鲁棒性，从而得到融合了上述各图像帧的场景子图；提取所有场景子图的相机位姿，并根据相机位姿对所有场景子图进行融合，得到重建后的三维场景图，其中，相机位姿可用来在所有场景子图进行融合时，实现所有场景子图的对准。

[0026] 本发明实施例提供的基于相机位姿的三维场景重建方法采用每个深度数据测量点处局部时间邻域内的数据分布，在线估计每个深度数据点的不确定度，并利用该不确定度引导不同图像帧之间深度数据整合，在保持物体几何细节的同时有效减少噪声，以提高基于相机位姿的三维场景重建系统对低质量彩色-深度数据噪声的鲁棒性，并通过相机位姿对准、深度数据点融合经过噪声处理后的场景子图得到重建后的三维场景图。

[0027] 在上述实施例的基础上，本发明实施例提供的基于相机位姿的三维场景重建方法中基于图像帧中每个深度数据点的表面采样不确定度和每个深度数据点的测量不确定度，得到图像帧中每个深度数据点的总体不确定度，具体包括：

[0028] 对图像帧中每个深度数据点以及每个深度数据点相对应的领域点进行主成分分析，建立相应的局部坐标系以及协方差矩阵，根据深度数据点的坐标以及协方差矩阵获得深度数据点的表面采样不确定度；

[0029] 基于迭代最近点方法ICP对各图像帧彼此之间进行局部相对变换，得到图像帧的深度方差图，并基于深度方差图得到图像帧中每个深度数据点的测量不确定度。

[0030] 具体地，获取上述图像帧中每个深度数据点采样不确定度的具体过程为：输入彩色-深度图像，使用相机内参反投影后获得三维深度数据点，通过对每个深度数据及其时间领域点进行主成分分析，根据其邻域点的空间分布情况估计三维正态概率分布，以表示该深度数据表面采样不确定度；

[0031] 具体地，获取上述图像帧中每个深度数据点测量不确定度的具体过程为：选定所有图像帧中的一个图像帧为当前图像帧，基于ICP(Iterative Closest Point，迭代最近点)算法对当前图像帧与前后连续多个图像帧进行局部相对变换，即获得当前图像帧与前后连续多个图像帧中任一图像帧之间的相机位姿变换矩阵，通过当前图像帧与其他图像帧之间的相机位姿变换进行这两帧图像对准，将其他各图像帧的深度数据重投影至当前图像帧，并统计对应位置的深度数据，并通过方差计算，获得当前图像帧中每个深度数据点的深度方差，从而形成深度方差图，并根据该深度方差图得到当前图像帧中每个深度数据点的测量不确定度，其中，每个深度数据点测量不确定度的获得可通过每个深度数据点的方差估计其正态分布，从而获得当前图像帧中国每个深度数据点的测量不确定度，依次类推，选定所有图像帧中另外一个图像帧作为当前图像帧，获得相对应的每个深度数据点的测量不确定度，进而获得每个图像帧深度数据点的测量不确定度。

[0032] 然后通过深度数据点的采样不确定度和测量不确定度，获得每个图像帧深度数据点的总体不确定度，该总体不确定度可为高斯正态分布，并构建相对应的模型，总体不确定模型为 其中， 为各深度数据点采样不确定度构建的采样不确定度模型， 为各深度数据点测量不确定度构建的测量不确定度模型，φsurf以及φmeas均为混合权重，混合权重均为0.5；μnk为高斯分布的均值，为表面采样不确定度的高斯分布协方差矩阵， 为测量不确定度的高斯分布协方差矩阵，从而实现通过总体不确定对数据噪声进行建模和处理，提高系统对噪声的鲁棒性。

[0033] 在上述实施例的基础上，本发明实施例提供的基于相机位姿的三维场景重建方法中的基于总体不确定度对不同图像帧进行深度数据点融合，得到场景子图，具体为：

[0034] 基于图像帧中每个深度数据点的总体不确定度，对不同图像帧彼此之间进行对准变换求解，得到每两个图像帧之间的相机位姿变化值；

[0035] 若相机位姿变化值在设定阈值内，则将相对应的两个图像帧进行深度数据点融合，并依次融合所有图像帧，得到融合后的场景子图。即在通过相机位姿进行图像帧融合时，先通过图像帧中每个深度数据点的总体不确定度，对不同图像帧彼此之间进行对准变换求解，得到每两个图像帧之间的相机位姿变化值，其中：

[0036] 相机位姿变化值的求解可通过总体不确定度获取相机位姿变化值相对应的一个图像帧的一样本数据和另一个图像帧的另一样本数据；

[0037] 通过一样本数据和另一样本数据，获得样本数据偏移量；

[0038] 基于所述样本数据偏移量，对所述相机位姿变化值进行最大似然估计。即从图像帧的总体不确定度分布中采集两帧图像的样本数据分别为Psk和Ptk；通过样本数据获得数据偏移量ΔPk(T*)＝Ptk-Psk，数据偏移量的分布可通过两个观测点之间偏移(误差)向量的空间分布获得，即 其中 为两个观测点之间偏移(误差)向量的空间分布，其中M是高斯混合模型分量的个数，此处取值为4；T*为两帧扫描数据间的最优对准矩阵； 为两个观测点之间偏移(误差)向量的空间分布的协方差矩阵。通过当前帧的深度和彩色信息、偏移量以及能量函数，获得场景子图，即对相机位姿变化值进行最大似然估计具体为：

[0039]

[0040] 其中，φkm为混合权重、ηkm为归一化权重，C为采样点之间对应的集合，其中T为优化方程中的变换矩阵变量，其包含有上述实施例中的相机位姿变化值中的旋转参数和平移参数；其中，为了充分利用彩色-深度数据中同时包含的深度数据点和颜色信息，可将求解帧间变换的目标形式化为最小化如下能量函数求得相机位姿变化值中的旋转参数和平移参数：

[0041] Ergbd＝WgeoEgeo+Ergb

[0042]

[0043]

[0044] 其中，π是相机投影函数，xs表示有效样本的集合。Wgeo是几何项的权重，可设置为4。

[0045] 通过上述方法获得两个图像帧之间的相机位姿变化值后，将该相机位姿变化值与设定阈值进行比较，如果该相机位姿变化值在设定阈值内，则将相对应的两个图像帧进行深度数据点融合，然后按照上述方法依次将其他两个图像帧相机位姿变化值与上述设定阈值进行比较，如果该相机位姿变化值也在设定阈值范围内，则将这两个图像帧进行深度数据点融合，得到新的图像帧；按照上述方法，将所有满足设定阈值要求的图像帧进行融合得到融合后的场景子图，其中，两个图像帧融合后得到的新的图像帧可以作为下一次融合的一个图像帧。

[0046] 在上述实施例的基础上，本发明实施例提供的基于相机位姿的三维场景重建方法，还包括：

[0047] 若基于图像帧获得的所有相机位姿变化值均不在设定阈值内，则基于图像帧新建一个场景子图。即本发明实施例提供的基于相机位姿的三维场景重建方法获得两个图像帧之间的相机位姿变化值与设定阈值进行比较，该相机位姿变化值超出了设定阈值，且其中一个图像帧跟其他所有图像帧的相机位姿变化值与设定阈值进行比较均超出了设定阈值，则基于该图像帧新建一个融合该当前图像帧的场景子图。

[0048] 在上述实施例的基础上，本发明实施例提供的基于相机位姿的三维场景重建方法中的提取场景子图的相机位姿，具体为：

[0049] 提取场景子图的第一图像帧的相机位姿作为场景子图的相机位姿。即以场景子图中的第一图像帧的相机位姿作为该场景子图的相机位姿，来进行场景子图融合时的图像对准。

[0050] 在上述实施例的基础上，本发明实施例提供的基于相机位姿的三维场景重建方法，还包括：基于各场景子图的第一图像帧的相机位姿，获得全局相机位姿图。即通过所有场景子图的第一图像帧的相机位姿构建全局相机位姿图，来为场景子图的融合提供依据。

[0051] 在上述实施例的基础上，本发明实施例提供的基于相机位姿的三维场景重建方法中的基于相机位姿对所有场景子图进行融合，得到重建后的三维场景图，具体包括：

[0052] 将当前场景子图的当前图像帧插入全局相机位姿图中，获得当前场景子图与已有的场景子图的连接位置关系；

[0053] 通过光束平差法局部优化所述当前场景子图的当前图像帧相机位姿和已有的各所述场景子图的第一图像帧相机位姿；

[0054] 检测当前图像帧插入后的全局相机位姿图是否存在闭环，并根据检测结果，融合所有场景子图，获得三维场景图。即通过相机位姿进行场景子图融合得到三维场景图时，可将选定的场景子图作为当前场景子图，场景子图中选定的图像帧作为当前图像帧，将当前场景子图的当前图像帧插入全局相机位姿图中，来获得当前场景子图与已有的场景子图的连接位置关系；然后通过光束平差法局部优化当前场景子图当前图像帧的相机位姿和已有的各个场景子图第一图像帧的相机位姿；最后检测当前图像帧插入后的全局相机位姿图是否存在闭环，并根据检测结果，融合所有场景子图，获得三维场景图，即根据全局相机位姿图存在闭环和不存在闭环的检测结果，分别对应处理，融合所有场景子图，获得三维场景图。

[0055] 在上述实施例的基础上，本发明实施例提供的基于相机位姿的三维场景重建方法中的根据检测结果，融合所有场景子图，获得三维场景图，具体包括：

[0056] 若存在闭环，则通过光束平差法全局优化纠正所述闭环，并根据全局优化后的所述当前场景子图的所述当前图像帧相机位姿以及各已有的所述场景子图的所述第一图像帧相机位姿，融合所有场景子图，获得所述三维场景图；

[0057] 若不存在闭环，则根据局部优化后的所述当前场景子图的所述当前图像帧相机位姿以及各已有的所述场景子图的所述第一图像帧相机位姿，融合所有场景子图，获得所述三维场景图。即全局相机位姿图中的任意两个图像帧之间如果存在闭环，则将该闭环作为进行全局优化的条件，对当前场景子图的当前图像帧的相机位姿以及已有的各场景子图的第一图像帧的相机位姿进行优化，然后根据各场景子图的相机位姿以及该全局相机位姿图，实现各个场景子图的对准，并进行深度数据融合，得到重建后的三维场景图；若不存在闭环，则根据局部优化后的当前场景子图的当前图像帧的相机位姿、已有的各场景子图相机位姿以及全局相机位姿图，实现各个场景子图的对准，并进行深度数据融合，获得所有场景子图融合后的三维场景图，其中已有的场景子图即其他已经获得的用于构建三维场景图的场景子图，第一图像帧的相机位姿即为第一图像帧相机位姿，当前图像帧的相机位姿即为当前图像帧相机位姿。

[0058] 在上述实施例的基础上，本发明实施例提供的基于相机位姿的三维场景重建方法中的将当前场景子图的当前图像帧插入全局相机位姿图中，获得当前场景子图与已有的场景子图的连接位置关系，具体包括：

[0059] 提取当前图像帧中的ORB特征，将提取出的ORB特征与已有的场景子图中的第一图像帧的ORB特征进行匹配；

[0060] 根据当前图像帧与第一图像帧的ORB特征匹配结果，将当前图像帧插入全局相机位姿图中，获得当前场景子图与已有的场景子图的连接位置关系。即提取当前图像帧中的ORB特征，将该ORB特征与已有的场景子图的第一个图像帧的ORB特征进行匹配，其中已有的场景子图即其他已经获得的用于构建三维场景图的场景子图；然后根据当前图像帧的ORB特征与已有的场景子图的第一个图像帧的ORB特征的匹配结果，将当前图像帧插入上述实施例得到的全局相机位姿图中，获得当前场景子图的相机位姿与各个已有的场景子图的相机位姿关系，从而根据该相机位姿关系，获得当前场景子图与已有的场景子图的连接位置关系。

[0061] 在上述实施例的基础上，本发明实施例提供的基于相机位姿的三维场景重建方法还包括：

[0062] 获取当前图像帧与前后连续多个图像帧的深度中值图，并根据深度中值图中的深度中值对当前图像帧的深度数据点进行中值滤波。即本发明实施例提供的基于相机位姿的三维场景重建方法在获得当前图像帧中每个深度数据点的测量不确定度后，还通过当前图像帧与其他各图像帧相对应的相机位姿变换，进行图像帧之间的图像对准，并计算获得这些图像帧中深度数据的深度中值，从而形成当前图像帧与前后连续多个图像帧的深度中值图，并通过该深度中值图中的深度中值对当前图像帧中的深度数据进行中值滤波，有效去除当前图像帧中深度数据的噪声，提高提高系统的鲁棒性。

[0063] 在上述实施例的基础上，本发明实施例提供的基于相机位姿的三维场景重建方法还包括：

[0064] 若相机位姿变化值不在设定阈值内，则基于当前图像帧新建一个场景子图。即本发明实施例提供的基于相机位姿的三维场景重建方法获得当前图像帧与场景子图的第一图像帧之间的相机位姿变化值与设定阈值进行比较，该相机位姿变化值超出了设定阈值，则基于当前图像帧新建一个融合该当前图像帧的场景子图。

[0065] 在上述实施例的基础上，本发明实施例提供的基于相机位姿的三维场景重建方法中的将所有场景子图进行融合，得到重建后的三维场景图，具体包括：

[0066] 根据所有场景子图的相机位姿，获得全局相机位姿图；

[0067] 根据全局相机位姿图进行场景子图融合，获得三维场景图。即本发明实施例提供的基于相机位姿的三维场景重建方法在对当前图像帧进行深度数据处理，得到融合并降噪处理后的场景子图，然后进行所有场景子图进行融合，得到重建后的三维场景图，其中，所有场景子图进行融合时，根据各个场景子图的相机位姿进行对准，各个场景子图的相机位姿以各子图中的第一图像帧的相机位姿作为参照，然后通过各个子图的相机位姿形成全局相机位姿图，通过该全局相机位姿图，实现各个场景子图的对准，并进行深度数据融合，得到重建后的三维场景图。

[0068] 通过光束平差法局部优化当前场景子图关键帧的相机位姿、各已有的场景子图第一图像帧的相机位姿以及特征点的三维坐标后，检测关键帧插入后的全局相机位姿图中的任意两个图像帧之间是否存在闭环，若存在闭环，则通过光束平差法全局优化纠正闭环，并根据全局优化后的当前场景子图关键帧的相机位姿以及各已有的场景子图第一图像帧的相机位姿，融合所有场景子图，获得三维场景图，即全局相机位姿图中的任意两个图像帧之间如果存在闭环，则将该闭环作为进行全局优化的条件，对当前场景子图关键帧的相机位姿以及各已有的场景子图第一图像帧的相机位姿进行优化，并根据上述实施例中的根据全局相机位姿图进行场景子图融合，获得三维场景图的方法，进行场景子图融合，获得三维场景图；

[0069] 在上述实施例的基础上，本发明实施例提供的基于相机位姿的三维场景重建方法中的通过光束平差法全局优化纠正闭环，并根据全局优化后的当前场景子图的当前图像帧相机位姿以及各已有的场景子图的第一图像帧相机位姿，融合所有场景子图，获得三维场景图，具体包括：

[0070] 通过光束平差法全局优化当前场景子图的当前图像帧相机位姿、已有的各场景子图的第一图像帧相机位姿、特征点的三维坐标以及闭环，并更新当前场景子图的当前图像帧相机位姿以及已有的各场景子图的第一图像帧相机位姿。即当前图像帧插入后的全局相机位姿图存在闭环时，对当前场景子图的当前图像帧相机位姿、已有的各场景子图的第一图像帧相机位姿、特征点的三维坐标以及闭环进行优化，并将优化后的当前场景子图的当前图像帧相机位姿和已有的各场景子图的第一图像帧相机位姿，进行更新，获得新的全局相机位姿图，并根据新的全局相机位姿图，获得三维重建场景图。

[0071] 在上述实施例的基础上，本发明实施例提供的基于相机位姿的三维场景重建方法中的阈值包括旋转参数阈值和平移参数阈值，其中：

[0072] 旋转参数阈值为20°；平移参数阈值为0.3米。即本发明实施例提供的基于相机位姿的三维场景重建方法中的阈值包括两个阈值，分别为旋转参数阈值和平移参数阈值，其中旋转参数阈值为20°，平移参数阈值为0.3米，且上述实施例中相机位姿变化值与设定阈值进行比较时，相机位姿变化值中的旋转参数和平移参数，其中任意一个参数不在相对应的阈值内，则基于当前图像帧，新建一个场景子图，从而提高各个场景子图之间通过相机位姿进行对准的对准概率。

[0073] 本发明实施例提供的基于相机位姿的三维场景重建方法能够高效鲁棒地利用消费级彩色-深度相机捕获到的低质量数据重建高质量三维场景。该方法通过对每个深度数据测量点应用总体不确定度来鲁棒地处理传感器的固有测量噪声，在处理有噪声输入的扫描数据时具有显著优势，并以一种巧妙的方式引导深度数据点的融合，能够在保持物体几何细节的同时有效减少噪声。同时利用基于场景子图及不确定度的层次化光束平差法来重建全局一致的三维场景，构建了一个实用的实时的基于相机位姿的三维场景重建系统，对大型场景有良好的扩展性。

[0074] 本发明实施例还提供了一种基于相机位姿的三维场景重建系统，图2为本发明实施例提供的基于相机位姿的三维场景重建系统结构图，该系统包括第一处理模块21、第二处理模块22和第三处理模块23其中：

[0075] 第一处理模块21，用于基于图像帧中每个深度数据点的表面采样不确定度和每个深度数据点的测量不确定度，得到图像帧中每个深度数据点的总体不确定度；第二处理模块22，用于基于总体不确定度对不同图像帧进行深度数据点融合，得到场景子图，并提取场景子图的相机位姿；第三处理模块23，用于基于相机位姿对所有场景子图进行融合，得到重建后的三维场景图。

[0076] 具体地，上述本发明实施例提供的基于相机位姿的三维场景重建系统具体为第一处理模块21逐帧读取消费级彩色-深度相机捕获到的带有噪声的图像帧，通过深度数据处理得到当前图像帧中每个深度数据点的表面采样不确定度以及测量不确定度，融合每个深度数据点的表面采样不确定度和测量不确定度得到每个深度数据点的总体不确定度，以便第二处理模块22基于相机位姿的三维场景重建系统通过该总体不确定度引导不同图像帧之间深度数据整合，并提取所有场景子图的相机位姿，从而提高系统对低质量彩色-深度数据噪声的鲁棒性，得到融合了上述各图像帧的场景子图；第三处理模块23根据相机位姿对所有场景子图进行融合，得到重建后的三维场景图。

[0077] 本发明实施例提供的基于相机位姿的三维场景重建系统采用每个深度数据测量点处局部时间邻域内的数据分布，在线估计每个深度数据点的不确定度，并利用该不确定度引导不同图像帧之间深度数据整合，以提高基于相机位姿的三维场景重建系统对低质量彩色-深度数据噪声的鲁棒性，并通过融合经过噪声处理后的场景子图得到重建后的三维场景图。

[0078] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。