本发明公开了用于弱纹理场景的SLAM方法、系统、导航车及存储介质，涉及即时定位与地图构建领域。该方法包括：读取影像序列，根据预设的深度学习模型对影像序列中的特征点进行提取和匹配；进行相机位姿解算，得到位姿变换参数；对匹配结果中的特征点对进行地图点解算；生成当前时刻的三维点云地图；重复上述步骤直到读取完影像序列中的全部影像，生成全部时刻的三维点云地图，完成影像序列的实时定位与地图构建。本发明适用于弱纹理场景，实现了SLAM方法在弱纹理场景下的应用，能够提高建图的精度和准确度。
1.一种用于弱纹理场景的SLAM方法，其特征在于，包括：S1，获取单目摄像头采集的影像序列；
S2，读取所述影像序列中的第一帧影像和第二帧影像，根据预设的深度学习模型对所述第一帧影像和所述第二帧影像中的特征点进行提取和匹配；
S3，根据匹配结果进行相机位姿解算，得到所述第二帧影像相对于所述第一帧影像的位姿变换参数；
S4，根据所述位姿变换参数对所述匹配结果中的特征点对进行地图点解算，将二维的特征点对转换为三维空间点；
S5，根据所述三维空间点生成当前时刻的三维点云地图；
S6，重复步骤S2至S5，直到读取完所述影像序列中的全部影像，生成全部时刻的三维点云地图，完成所述影像序列的实时定位与地图构建；
S31，从所述匹配结果中随机提取n个特征点对，n≥8；
S32，获取所述单目摄像头的相机内参矩阵，根据所述相机内参矩阵计算所述n个特征点对的归一化坐标，根据所述n个特征点对的归一化坐标解算得到本质矩阵；
S33，重复m次步骤S31至S32，得到m个本质矩阵，根据预设优化算法对全部本质矩阵进行优化，得到优化后的目标本质矩阵，m≥1；
S34，对所述目标本质矩阵进行分解，得到位姿变换参数；
S331，重复m次步骤S31至S32，得到m个本质矩阵，根据以下公式分别计算每个本质矩阵的度量值：其中，C为度量值，T为预设阈值，ei为第i个特征点对的最大似然误差，i＝1，2，...，n；
S332，比较每个本质矩阵的度量值的大小，将度量值最小的本质矩阵作为优化后的目标本质矩阵；
S41，获取所述匹配结果中的任一特征点对，所述任一特征点对包括已匹配的第一特征点和第二特征点；
S42，根据所述位姿变换参数依次计算所述第一特征点的深度值和所述第二特征点的深度值；
S43，计算所述第一特征点的深度值和所述第二特征点的深度值的深度平均值；
S44，根据所述第一特征点的二维坐标、所述第二特征点的二维坐标和所述深度平均值得到所述任一特征点对的三维坐标，根据所述三维坐标生成三维空间点；
步骤S42中，根据以下公式计算所述第一特征点的深度值：s1x2×Rx1+x2×t＝0
其中，s1为第一特征点的深度值，s2为第二特征点的深度值，x1为第一特征点的归一化坐标，x2为第二特征点的归一化坐标，R和t为位姿变换参数。
2.根据权利要求1所述的用于弱纹理场景的SLAM方法，其特征在于，步骤S5之前，还包括：每读取g帧影像后，对当前帧影像的在先h帧影像进行光束法平差，优化所述h帧影像的位姿变换参数和三维空间点，1≤g≤h。
3.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1或2所述的用于弱纹理场景的SLAM方法。
4.一种用于弱纹理场景的SLAM导航车，其特征在于，包括：存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，实现如权利要求1或2所述的用于弱纹理场景的SLAM方法。
5.一种用于弱纹理场景的SLAM系统，其特征在于，包括：获取单元，用于获取单目摄像头采集的影像序列；
匹配单元，用于读取所述影像序列中的第一帧影像和第二帧影像，根据预设的深度学习模型对所述第一帧影像和所述第二帧影像中的特征点进行提取和匹配；
位姿解算单元，用于根据匹配结果进行相机位姿解算，得到所述第二帧影像相对于所述第一帧影像的位姿变换参数；
地图点解算单元，用于根据所述位姿变换参数对所述匹配结果中的特征点对进行地图点解算，将二维的特征点对转换为三维空间点；
建模单元，用于根据所述三维空间点生成当前时刻的三维点云地图；
特征点对选取子单元，用于从匹配结果中随机提取n个特征点对，n≥8；
本质矩阵解算子单元，用于获取单目摄像头的相机内参矩阵，根据相机内参矩阵计算n个特征点对的归一化坐标，根据n个特征点对的归一化坐标解算得到本质矩阵；
本质矩阵优化子单元，用于获取本质矩阵解算子单元运行m次得到m个本质矩阵，根据预设优化算法对全部本质矩阵进行优化，得到优化后的目标本质矩阵，m≥1；
本质矩阵分解子单元，用于对目标本质矩阵进行分解，得到位姿变换参数；
本质矩阵优化子单元具体用于获取本质矩阵解算子单元运行m次得到m个本质矩阵，分别计算每个本质矩阵的度量值；比较每个本质矩阵的度量值的大小，将度量值最小的本质矩阵作为优化后的目标本质矩阵；
本质矩阵优化子单元具体用于根据以下公式计算每个本质矩阵的度量值：其中，C为度量值，T为预设阈值，ei为第i个特征点对的最大似然误差，i＝1，2，...，n；
特征点对获取子单元，用于获取匹配结果中的任一特征点对，任一特征点对包括已匹配的第一特征点和第二特征点；
深度值计算子单元，用于根据位姿变换参数依次计算第一特征点的深度值和第二特征点的深度值；
深度平均值计算子单元，用于计算第一特征点的深度值和第二特征点的深度值的深度平均值；
三维坐标解算子单元，用于根据第一特征点的二维坐标、第二特征点的二维坐标和深度平均值得到任一特征点对的三维坐标，根据三维坐标生成三维空间点；
深度值计算子单元具体用于根据以下公式计算第一特征点的深度值：s1x2×Rx1+x2×t＝0
其中，s1为第一特征点的深度值，s2为第二特征点的深度值，x1为第一特征点的归一化坐标，x2为第二特征点的归一化坐标，R和t为位姿变换参数。
用于弱纹理场景的SLAM方法、系统、导航车及存储介质
技术领域
[0001] 本发明涉及即时定位与地图构建领域，尤其涉及用于弱纹理场景的SLAM方法、系统、导航车及存储介质。
背景技术
[0002] SLAM(Simultaneous Localization And Mapping，即时定位与地图构建)问题可以描述为：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边移动一边逐步描绘出此环境完全的地图。现有的基于视觉的单目SLAM方法主要包括特征点检测与提取、相机位姿估计、相机位姿优化和局部地图构建等步骤。
[0003] 目前，针对机器人自主导航和定位的研究仍旧主要集中在解决结构化场景的建图问题上，这些场景中往往包含了大量的人造物体，例如桌椅、地砖、栏杆和建筑物外墙等存在明显角特征、点特征和线特征的对象，有助于检测和提取特征点。
[0004] 然而，在地外行星探测领域，深空建图任务针对的都是弱纹理场景，弱纹理场景通常不具备或只具备极少的线特征，也缺乏明显的点特征，所以目前的三维建图方法并不适用弱纹理场景，容易出现提取出的特征点过少和错匹配多等问题，导致无法完成三维建图。
发明内容
[0005] 本发明所要解决的技术问题是针对现有技术的不足，提供能够用于弱纹理场景的SLAM方法、系统、导航车及存储介质。
[0006] 本发明解决上述技术问题的技术方案如下：
[0007] 一种用于弱纹理场景的SLAM方法，包括：
[0008] S1，获取单目摄像头采集的影像序列；
[0009] S2，读取所述影像序列中的第一帧影像和第二帧影像，根据预设的深度学习模型对所述第一帧影像和所述第二帧影像中的特征点进行提取和匹配；
[0010] S3，根据匹配结果进行相机位姿解算，得到所述第二帧影像相对于所述第一帧影像的位姿变换参数；
[0011] S4，根据所述位姿变换参数对所述匹配结果中的特征点对进行地图点解算，将二维的特征点对转换为三维空间点；
[0012] S5，根据所述三维空间点生成当前时刻的三维点云地图；
[0013] S6，重复步骤S2至S5，直到读取完所述影像序列中的全部影像，生成全部时刻的三维点云地图，完成所述影像序列的实时定位与地图构建。
[0014] 本发明的有益效果是：本发明提供的SLAM方法，适用于弱纹理场景，通过深度学习模型对弱纹理场景的影像进行特征点提取和匹配，可以从样本中抽象出更加合适的特征检测与提取规则，然后进行地图点解算，构建三维点云地图，实现了SLAM方法在弱纹理场景下的应用，基于深度学习的特征可以提供稳定性和鲁棒性更好的特征点，从而实现弱纹理场景的实时定位与地图构建，并且能够提高建图的精度和准确度。
[0015] 本发明解决上述技术问题的另一种技术方案如下：
[0016] 一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述技术方案所述的用于弱纹理场景的SLAM方法。
[0017] 本发明解决上述技术问题的另一种技术方案如下：
[0018] 一种用于弱纹理场景的SLAM导航车，包括：
[0019] 存储器，用于存储计算机程序；
[0020] 处理器，用于执行所述计算机程序，实现如上述技术方案所述的用于弱纹理场景的SLAM方法。
[0021] 本发明解决上述技术问题的另一种技术方案如下：
[0022] 一种用于弱纹理场景的SLAM系统，包括：
[0023] 获取单元，用于获取单目摄像头采集的影像序列；
[0024] 匹配单元，用于读取所述影像序列中的第一帧影像和第二帧影像，根据预设的深度学习模型对所述第一帧影像和所述第二帧影像中的特征点进行提取和匹配；
[0025] 位姿解算单元，用于根据匹配结果进行相机位姿解算，得到所述第二帧影像相对于所述第一帧影像的位姿变换参数；
[0026] 地图点解算单元，用于根据所述位姿变换参数对所述匹配结果中的特征点对进行地图点解算，将二维的特征点对转换为三维空间点；
[0027] 建模单元，用于根据所述三维空间点生成当前时刻的三维点云地图。
[0028] 本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
[0029] 图1为本发明用于弱纹理场景的SLAM方法的实施例提供的流程示意图；
[0030] 图2为本发明用于弱纹理场景的SLAM方法的其他实施例提供的流程示意图；
[0031] 图3为本发明用于弱纹理场景的SLAM方法的其他实施例提供的流程示意图；
[0032] 图4为本发明用于弱纹理场景的SLAM方法的其他实施例提供的流程示意图；
[0033] 图5为本发明用于弱纹理场景的SLAM系统的实施例提供的结构框架图。
具体实施方式
[0034] 以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。
[0035] 如图1所示，为本发明用于弱纹理场景的SLAM方法的实施例提供的流程示意图，该SLAM方法适用于弱纹理场景，在单目摄像头采集影像序列时，就实时地对影像进行处理和建图，包括：
[0036] S1，获取单目摄像头采集的影像序列；
[0037] 应理解，本发明适用于弱纹理场景识别，因此，单目摄像头采集的影像序列可以是包含弱纹理场景的影像序列，单目摄像头可以放置在导航车、机器人上，例如，可以采集地外行星影像、太空影像等弱纹理场景。其中，弱纹理场景指的是不具备或缺少线特征、点特征和角特征的场景。
[0038] S2，读取影像序列中的第一帧影像和第二帧影像，根据预设的深度学习模型对第一帧影像和第二帧影像中的特征点进行提取和匹配；
[0039] 应理解，深度学习模型可以为卷积神经网络，预先建立并训练完成，卷积神经网络的具体结构可以根据实际需求设置，训练过程也可以根据实际需求设置，最终，训练完成的卷积神经网络能够精准高效地输出弱纹理场景的特征点提取匹配结果。
[0040] 例如，卷积神经网络可以包括一个输入层，输入层依次连接有a个卷积层，卷积层的数量、卷积核大小、步长和填充可以根据实际需求设置，随后连接有一个池化层，池化区域的池化大小、步长和填充可以根据实际需求设置，也可以根据实际需求设置全连接层，最后由输出层输出图像。
[0041] S3，根据匹配结果进行相机位姿解算，得到第二帧影像相对于第一帧影像的位姿变换参数；
[0042] 应理解，匹配结果中包含了多对已匹配的特征点对，通过相机内参矩阵和这些特征点对就能解算出本质矩阵，对本质矩阵进行分解，就能够得到第二帧影像相对于第一帧影像的位姿变换参数。
[0043] S4，根据位姿变换参数对匹配结果中的特征点对进行地图点解算，将二维的特征点对转换为三维空间点；
[0044] 应理解，匹配结果中的特征点对都是二维点，通过计算得到特征点对的深度值，就得到了这对特征点的空间点的深度信息，将二维坐标信息加入深度信息，就能够将二维的特征点对转换为三维空间点。
[0045] 通常，位姿变换参数为R和t，R为旋转矩阵，t为平移矩阵。
[0046] S5，根据三维空间点生成当前时刻的三维点云地图；
[0047] S6，重复步骤S2至S5，直到读取完影像序列中的全部影像，生成全部时刻的三维点云地图，完成影像序列的实时定位与地图构建。
[0048] 应理解，在重复执行步骤S2的过程中，读取的是影像序列中的剩余影像，例如，当第一次执行完步骤S2至S5后，第二次执行步骤S2至S5时，读取的是剩余影像中的第一帧影像和第二帧影像，即全部影像序列的第三帧影像和第四帧影像。
[0049] 本实施例提供的SLAM方法，适用于弱纹理场景，通过深度学习模型对弱纹理场景的影像进行特征点提取和匹配，可以从样本中抽象出更加合适的特征检测与提取规则，然后进行地图点解算，构建三维点云地图，实现了SLAM方法在弱纹理场景下的应用，基于深度学习的特征可以提供稳定性和鲁棒性更好的特征点，从而实现弱纹理场景的实时定位与地图构建，并且能够提高建图的精度和准确度。
[0050] 可选地，在一些实施例中，如图2所示，步骤S3中，具体包括：
[0051] S31，从匹配结果中随机提取n个特征点对，n≥8；
[0052] S32，获取单目摄像头的相机内参矩阵，根据相机内参矩阵计算n个特征点对的归一化坐标，根据n个特征点对的归一化坐标解算得到本质矩阵；
[0053] S33，重复m次步骤S31至S32，得到m个本质矩阵，根据预设优化算法对全部本质矩阵进行优化，得到优化后的目标本质矩阵，m≥1；
[0054] S34，对目标本质矩阵进行分解，得到位姿变换参数。
[0055] 优选地，可以从匹配结果中随机提取8个特征点对。
[0056] 应理解，对本质矩阵进行重复优化，是为了使本质矩阵的解在所有匹配点中可以获得更多的内点，内点越多，则证明该本质矩阵的解更加可靠。
[0057] 需要说明的是，m的大小会影响计算的鲁棒性和速度，m越大则计算结果越可靠，但是相应的计算时间也会很长。一般来说，想要计算出外点的数量不超过匹配点集中点对总数的50％，把m设为500就可以满足，优选地，本方案中m的取值可以为1000，能够在满足内点数量的需求，并保证计算结果的可靠性。
[0058] 可选地，在一些实施例中，如图3所示，步骤S33中，具体包括：
[0059] S331，重复m次步骤S31至S32，得到m个本质矩阵，分别计算每个本质矩阵的度量值；
[0060] S332，比较每个本质矩阵的度量值的大小，将度量值最小的本质矩阵作为优化后的目标本质矩阵。
[0061] 可选地，在一些实施例中，步骤S331中，根据以下公式计算每个本质矩阵的度量值：
[0062]
[0063]
[0064] 其中，C为度量值，T为预设阈值，ei为第i个特征点对的最大似然误差，i＝1，2，…，n。
[0065] 其中，ei可以根据以下公式计算得到：
[0066]
[0067] 其中， 和 表示用本质矩阵解算出的匹配点位置，xi和yi表示第i对匹配点的坐标。
[0068] 可选地，在一些实施例中，如图4所示，步骤S4中，具体包括：
[0069] S41，获取匹配结果中的任一特征点对，任一特征点对包括已匹配的第一特征点和第二特征点；
[0070] S42，根据位姿变换参数依次计算第一特征点的深度值和第二特征点的深度值；
[0071] S43，计算第一特征点的深度值和第二特征点的深度值的深度平均值；
[0072] S44，根据第一特征点的二维坐标、第二特征点的二维坐标和深度平均值得到任一特征点对的三维坐标，根据三维坐标生成三维空间点。
[0073] 需要说明的是，第一特征点和第二特征点是两幅影像上的同名点，假设点P是这对同名点对应的空间点，理论上这两点与相机主点的连线会交于点P，但由于观测中会存在噪声扰动，所以实际上两线通常无法相交，因此，可以通过求平均值的方法解算P的位置。
[0074] 可选地，在一些实施例中，步骤S42中，根据以下公式计算第一特征点的深度值：
[0075] s1x2×Rx1+x2×t＝0
[0076] 根据以下公式计算第二特征点的深度值：
[0077] s2x2＝s1Rx1+t
[0078] 其中，s1为第一特征点的深度值，s2为第二特征点的深度值，x1为第一特征点的归一化坐标，x2为第二特征点的归一化坐标，R和t为位姿变换参数。
[0079] 可选地，在一些实施例中，步骤S5之前，还包括：
[0080] 每读取g帧影像后，对当前帧影像的在先h帧影像进行光束法平差，优化h帧影像的位姿变换参数和三维空间点，1≤g≤h。
[0081] 例如，g可以为7，h可以15。
[0082] 优选地，在读取完最初的15帧影像后，可以对前15帧影像进行全局光束法平差，对成像质量进行优化，随后，每隔7帧对在先最近的15帧影像进行局部光束法平差。
[0083] 可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部可选实施方式。
[0084] 在本发明的其他实施例中，还提供一种存储介质，该存储介质中存储有指令，当计算机读取该指令时，使计算机执行如上述技术方案所述的用于弱纹理场景的SLAM方法。
[0085] 在本发明的其他实施例中，还提供一种用于弱纹理场景的SLAM导航车，包括：
[0086] 存储器，用于存储计算机程序；
[0087] 处理器，用于执行该计算机程序，实现如上述技术方案所述的用于弱纹理场景的SLAM方法。
[0088] 如图5所示，为本发明用于弱纹理场景的SLAM系统的实施例提供的结构框架图，该SLAM系统适用于弱纹理场景，包括：
[0089] 获取单元1，用于获取单目摄像头采集的影像序列；
[0090] 匹配单元2，用于读取影像序列中的第一帧影像和第二帧影像，根据预设的深度学习模型对第一帧影像和第二帧影像中的特征点进行提取和匹配；
[0091] 位姿解算单元3，用于根据匹配结果进行相机位姿解算，得到第二帧影像相对于第一帧影像的位姿变换参数；
[0092] 地图点解算单元4，用于根据位姿变换参数对匹配结果中的特征点对进行地图点解算，将二维的特征点对转换为三维空间点；
[0093] 建模单元5，用于根据三维空间点生成当前时刻的三维点云地图。
[0094] 可选地，在一些实施例中，位姿结算单元具体包括：
[0095] 特征点对选取子单元，用于从匹配结果中随机提取n个特征点对，n≥8；
[0096] 本质矩阵解算子单元，用于获取单目摄像头的相机内参矩阵，根据相机内参矩阵计算n个特征点对的归一化坐标，根据n个特征点对的归一化坐标解算得到本质矩阵；
[0097] 本质矩阵优化子单元，用于获取本质矩阵解算子单元运行m次得到m个本质矩阵，根据预设优化算法对全部本质矩阵进行优化，得到优化后的目标本质矩阵，m≥1；
[0098] 本质矩阵分解子单元，用于对目标本质矩阵进行分解，得到位姿变换参数。
[0099] 可选地，在一些实施例中，本质矩阵优化子单元具体用于获取本质矩阵解算子单元运行m次得到m个本质矩阵，分别计算每个本质矩阵的度量值；比较每个本质矩阵的度量值的大小，将度量值最小的本质矩阵作为优化后的目标本质矩阵。
[0100] 可选地，在一些实施例中，本质矩阵优化子单元具体用于根据以下公式计算每个本质矩阵的度量值：
[0101]
[0102]
[0103] 其中，C为度量值，T为预设阈值，ei为第i个特征点对的最大似然误差，i＝1，2，…，n。
[0104] 可选地，在一些实施例中，地图点解算单元4具体包括：
[0105] 特征点对获取子单元，用于获取匹配结果中的任一特征点对，任一特征点对包括已匹配的第一特征点和第二特征点；
[0106] 深度值计算子单元，用于根据位姿变换参数依次计算第一特征点的深度值和第二特征点的深度值；
[0107] 深度平均值计算子单元，用于计算第一特征点的深度值和第二特征点的深度值的深度平均值；
[0108] 三维坐标解算子单元，用于根据第一特征点的二维坐标、第二特征点的二维坐标和深度平均值得到任一特征点对的三维坐标，根据三维坐标生成三维空间点。
[0109] 可选地，在一些实施例中，深度值计算子单元具体用于根据以下公式计算第一特征点的深度值：
[0110] s1x2×Rx1+x2×t＝0
[0111] 根据以下公式计算第二特征点的深度值：
[0112] s2x2＝s1Rx1+t
[0113] 其中，s1为第一特征点的深度值，s2为第二特征点的深度值，x1为第一特征点的归一化坐标，x2为第二特征点的归一化坐标，R和t为位姿变换参数。
[0114] 可选地，在一些实施例中，还包括：
[0115] 影像优化单元，用于每当匹配单元2读取g帧影像后，对当前帧影像的在先h帧影像进行光束法平差，优化h帧影像的位姿变换参数和三维空间点，1≤g≤h。
[0116] 可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部可选实施方式。
[0117] 需要说明的是，上述各实施例是与在先方法实施例对应的产品实施例，对于产品实施例中各可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。
[0118] 读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0119] 在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。
[0120] 上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0121] 以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
