援救区域的3D拓扑地图构建方法、系统以及存储介质

摘要

本发明公开了援救区域的3D拓扑地图构建方法、系统以及存储介质，通过将援救区域的观察区域分为关键区域与非关键区域，获取援救区域内关键区域的融合深度信息的3D全景图和对应的位置信息，以及非关键区域内的单向图像和对应的位置信息；基于关键区域的位置信息和非关键区域的位置信息，将关键区域和非关键区域的空间位置进行连接，并根据关键区域的3D全景图以及非关键区域内的单向图像构建援救区域的3D拓扑地图。本发明通过对救援现场的关键区域进行360度重点观察，从而使控制者全面了解救援现场的核心区域的环境，进而有效制定援救计划，并且对于连接关键区域的非关键区域，通过只采集单向图像方式来减少观察视角，从而加快环境感知的速度。

权利要求

1.一种援救区域的3D拓扑地图构建方法，其特征在于，包括以下步骤：

将援救区域的观察区域分为关键区域与非关键区域，其中，关键区域是指预设的救援发生地，非关键区域是指连接任意两个关键区域的观察区域；

获取援救区域内关键区域的融合深度信息的3D全景图和对应的位置信息，以及非关键区域内的单向图像和对应的位置信息；

获取援救区域内关键区域的融合深度信息的3D全景图，具体包括以下步骤：

构建并训练基于网格的图像三维重建模型，图像三维重建模型以360度重叠环视图像以及对应的深度信息作为输入量，以融合深度信息的3D全景图作为输出量，以全卷积神经网络FCN提取输入量的特征，以图卷积神经网络GCN来表示三维mesh，并对三维mesh不断进行形变，直至得到最终的输出，并设置四个损失函数来约束输出形状的特性，定义其变形过程以保证效果优化网格形成：通过Chamfer损失函数限制网格顶点的具体位置；通过Normal损失函数增强网格表面法向的一致性；通过Laplacian正则化在形变时维持临近顶点的相对位置；通过Edge length正则化防止个别异常顶点的出现；

获取关键区域的360度重叠环视图像以及对应的深度信息，并将关键区域的360度重叠环视图像以及对应的深度信息输入至训练好的图像三维重建模型中，得到关键区域的融合深度信息的3D全景图；

基于关键区域的位置信息和非关键区域的位置信息，将关键区域和非关键区域的空间位置进行连接，并根据关键区域的3D全景图以及非关键区域内的单向图像构建援救区域的

3D拓扑地图；

还包括以下步骤：

采集援救区域内的所有观察区域的环境信息，基于观察区域的位置信息，将观察区域的环境信息标记在3D拓扑地图的对应位置；

将观察区域的环境信息标记在3D拓扑地图的对应位置，具体包括以下步骤：

将环境信息与预设的正常阈值进行比较，当环境信息不在预设的正常阈值内，采用伪彩色编码的第一种编码进行标注，当环境信息在预设的正常阈值内，采用伪彩色编码的第二种编码进行标注。

2.根据权利要求1的援救区域的3D拓扑地图构建方法，其特征在于，环境信息包括：气象参数、生命体征参数以及环境气体物质参数中的一种或任意几种的组合。

3.根据权利要求1‑2中任意一项的援救区域的3D拓扑地图构建方法，其特征在于，在将援救区域的观察区域分为关键区域与非关键区域，具体包括以下步骤：将援救区域的观察区域离散化，并将离散化后的观察区域分为关键区域与非关键区域。

4.根据权利要求3的援救区域的3D拓扑地图构建方法，其特征在于，单向图像和对应的位置信息/360度重叠环视图像以及对应的深度信息/环境信息通过生命救援机器人采集得到，生命救援机器人的采集步骤具体如下：生命救援机器人移动至观察区域内通过传感器采集环境信息，并通过定位装置采集位置信息；移动至关键区域处通过360度旋转云台控制机载相机全景扫描非关键区域处，得到

360度重叠环视图像，并通过雷达测距同步采集深度信息；移动至非关键区域处，控制机载相机采集行进方向的单向图像。

5.根据权利要求4的援救区域的3D拓扑地图构建方法，其特征在于，还包括以下步骤：根据用户指令：将非关键区域处的、当前采集方向的单向图像以3D形式投射到显示器上，并用伪彩色同步显示该非关键区域的环境信息，实现一对关键区域的中间位置的漫游；

将关键区域处，采集的融合深度信息的3D全景图投射到柱面，再投射到显示器，并用伪彩色同步显示该非关键区域的环境信息，实现360度环视，以供用户观察三维形状。

6.一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现上述权利要求1至5任一方法的步骤。

7.一种计算机存储介质，其上存储有计算机程序，其特征在于，程序被处理器执行时实现上述权利要求1至5任一项方法中的步骤。

说明书

援救区域的3D拓扑地图构建方法、系统以及存储介质

技术领域

[0001] 本发明涉及援救地图构建的技术领域，尤其涉及援救区域的3D拓扑地图构建方法、系统以及存储介质。

背景技术

[0002] 近年来，自然灾害和各种突发事件频发，尽管人类已经极大的提高了对灾害和突发事件的预测和救援能力，但仍然有许多人死于不及时的救援行动。救援的核心任务是搜救生命，如何快速和高效的探测处于危险中的生命，是救援成败的关键。生命救援面临两个关键困难：救援环境的复杂性和危险性。发生自然灾害和各种事故的环境对于救援人员来说是陌生的，现场搜救困难重重。尽管已经有了各种生命探测仪，但需要救援人员携带到现场使用。特别是一些特殊场合，如复杂的地下环境、矿井，隧道；存在易燃、易爆或剧毒气体，可能二次倒塌的现场，救援人员自身安全受到极大威胁。将机器人技术用于生命救援，及时获取救援环境的信息，是解决上述问题的核心思路。

[0003] 然而，现有的生命救援的一个核心问题是对救援环境进行感知，精确重构救援环境现场。目前已有的生命救援机器人仍是采用单目/多目相机简单进行拍摄、测量环境参数，然后通过无线/有线等通讯手段将未处理过的拍摄图像和测量值传送至控制者处。这种方式的缺点是人工干预大，只能获得观察点的局部信息，无法重现救援环境，控制者通过拍摄的局部图像无法得到全面了解援救现场的实际情况，常常会发生制定的援救计划由于未被发现的环境因素影响导致不能实施的问题。

[0004] 因此，如何实现援救区域的重构已成为本领域技术人员亟待解决的技术问题。

发明内容

[0005] 本发明提供了援救区域的3D拓扑地图构建方法、系统以及存储介质，用于解决现有的援救行动由于无法面了解援救现场的实际情况导致的援救计划无法实施的技术问题。

[0006] 为解决上述技术问题，本发明提出的技术方案为：

[0007] 一种援救区域的3D拓扑地图构建方法，包括以下步骤：

[0008] 将援救区域的观察区域分为关键区域与非关键区域，其中，关键区域是指预设的救援可能发生地，非关键区域是指连接任意两个关键区域的观察区域；

[0009] 获取援救区域内关键区域的融合深度信息的3D全景图和对应的位置信息，以及非关键区域内的单向图像和对应的位置信息；

[0010] 基于关键区域的位置信息和非关键区域的位置信息，将关键区域和非关键区域的空间位置进行连接，并根据关键区域的3D全景图以及非关键区域内的单向图像构建援救区域的3D拓扑地图。

[0011] 优选的，获取援救区域内关键区域的融合深度信息的3D全景图，具体包括以下步骤

[0012] 构建并训练基于网格的图像三维重建模型，图像三维重建模型以360度重叠环视图像以及对应的深度信息作为输入量，以融合深度信息的3D全景图作为输出量，以全卷积神经网络FCN提取输入量的特征，以图卷积神经网络GCN来表示三维mesh(mesh是所有用三角形面组合成的三维物体)，并对三维mesh不断进行形变，直至得到最终的输出，并设置四个损失函数来约束输出形状的特性，定义其变形过程以保证效果优化网格形成：通过Chamfer(倒角)损失函数限制网格顶点的具体位置；通过Normal(正则)损失函数增强网格表面法向的一致性；通过Laplacian(拉普拉斯算子)正则化在形变时维持临近顶点的相对位置；通过Edge length(边缘检测算子)正则化防止个别异常顶点的出现；

[0013] 获取关键区域的360度重叠环视图像以及对应的深度信息，并将关键区域的360度重叠环视图像以及对应的深度信息输入至训练好的图像三维重建模型中，得到关键区域的融合深度信息的3D全景图。

[0014] 优选的，还包括以下步骤：

[0015] 采集援救区域内的所有观察区域的环境信息，基于观察区域的位置信息，将观察区域的环境信息标记在3D拓扑地图的对应位置。

[0016] 优选的，将观察区域的环境信息标记在3D拓扑地图的对应位置，具体包括以下步骤：

[0017] 将环境信息与预设的正常阈值进行比较，当环境信息不在预设的正常阈值内，采用伪彩色编码的第一种编码进行标注，当环境信息在预设的正常阈值内，采用伪彩色编码的第二种编码进行标注。

[0018] 优选的，环境信息包括：气象参数、生命体征参数以及环境气体物质参数中的一种或任意几种的组合。

[0019] 优选的，在将援救区域的观察区域分为关键区域与非关键区域，具体包括以下步骤：

[0020] 将援救区域的观察区域离散化，并将离散化后的观察区域分为关键区域与非关键区域。

[0021] 优选的，单向图像和对应的位置信息/360度重叠环视图像以及对应的深度信息/环境信息通过生命救援机器人采集得到，生命救援机器人的采集步骤具体如下：

[0022] 生命救援机器人移动至观察区域内通过传感器采集环境信息，并通过定位装置采集位置信息；移动至关键区域处通过360度旋转云台控制机载相机全景扫描非关键区域处，得到360度重叠环视图像，并通过雷达测距同步采集深度信息；移动至非关键区域处，控制机载相机采集行进方向的单向图像。

[0023] 优选的，还包括以下步骤：

[0024] 根据用户指令：将非关键区域处的、当前采集方向的单向图像以3D形式投射到显示器上，并用伪彩色同步显示该非关键区域的环境信息，实现一对关键区域的中间位置的漫游；将关键区域处，采集的融合深度信息的3D全景图投射到柱面，再投射到显示器，并用伪彩色同步显示该非关键区域的环境信息，实现360度环视，以供用户观察三维形状。

[0025] 一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一方法的步骤。

[0026] 一种计算机存储介质，其上存储有计算机程序，程序被处理器执行时实现上述任一项方法中的步骤。

[0027] 本发明具有以下有益效果：

[0028] 1、本发明中的援救区域的3D拓扑地图构建方法、系统以及存储介质，通过将援救区域的观察区域分为关键区域与非关键区域，获取援救区域内关键区域的融合深度信息的3D全景图和对应的位置信息，以及非关键区域内的单向图像和对应的位置信息；基于关键区域的位置信息和非关键区域的位置信息，将关键区域和非关键区域的空间位置进行连接，并根据关键区域的3D全景图以及非关键区域内的单向图像构建援救区域的3D拓扑地图。相比现有技术，该方法通过对救援现场的关键区域(即救援可能发生地)进行360度重点观察，从而使控制者全面了解救援现场的核心区域的环境，进而有效制定援救计划，并且对于连接关键区域的非关键区域，通过只采集单向图像方式来减少观察视角，从而加快环境感知的速度。

[0029] 2、在优选方案中，本技术方案中构建并训练的基于网格的图像三维重建模型在训练时融入深度信息，能更加准确的构建出关键区域的三维模型。

[0030] 3、在优选方案中，本技术方案将观察区域进行离散化，从而降低了数据采集的数据量和传输难度。

[0031] 4、在优选方案中，本技术方案用环境地图融合了视觉信息和环境参数信息，可以全面重现和浏览救援环境。

[0032] 除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。

附图说明

[0033] 构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

[0034] 图1是本发明优选实施例中的援救区域的3D拓扑地图构建方法的工作流程图。

[0035] 图2是本发明中优选实施例中的环境感知系统技术路线。

[0036] 图3是本发明所提出的生命救援机器人生成的环境平面二维示意图。

[0037] 图4是本发明中援救区域的3D拓扑地图构建方法的流程图。

具体实施方式

[0038] 以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

[0039] 实施例一：

[0040] 如图4所示，本实施例中公开了一种援救区域的3D拓扑地图构建方法，包括以下步骤：

[0041] 将援救区域的观察区域分为关键区域1与非关键区域2，其中，关键区域1是指预设的救援可能发生地，非关键区域2是指连接任意两个关键区域1的观察区域；

[0042] 获取援救区域内关键区域1的融合深度信息的3D全景图和对应的位置信息，以及非关键区域2内的单向图像和对应的位置信息；

[0043] 基于关键区域1的位置信息和非关键区域2的位置信息，将关键区域1和非关键区域2的空间位置进行连接，并根据关键区域1的3D全景图以及非关键区域2内的单向图像构建援救区域的3D拓扑地图。

[0044] 此外，在本实施例中，还公开了一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一方法的步骤。

[0045] 此外，在本实施例中，还公开了一种计算机存储介质，其上存储有计算机程序，程序被处理器执行时实现上述任一项方法中的步骤。

[0046] 本发明中的援救区域的3D拓扑地图构建方法、系统以及存储介质，通过将援救区域的观察区域分为关键区域1与非关键区域2，获取援救区域内关键区域1的融合深度信息的3D全景图和对应的位置信息，以及非关键区域2内的单向图像和对应的位置信息；基于关键区域1的位置信息和非关键区域2的位置信息，将关键区域1和非关键区域2的空间位置进行连接，并根据关键区域1的3D全景图以及非关键区域2内的单向图像构建援救区域的3D拓扑地图。相比现有技术，该方法通过对救援现场的关键区域1进行360度重点观察，从而使控制者全面了解救援现场的核心区域的环境，进而有效制定援救计划，并且对于连接关键区域1的非关键区域2，通过只采集单向图像方式来减少观察视角，从而加快环境感知的速度。

[0047] 实施例二：

[0048] 实施例二是实施例一的优选实施例，其与实施例一的不同之处在于，对援救区域的3D拓扑地图构建方法的具体步骤进行了细化：

[0049] 如图1和图2所示，在本实施例中，公开了一种援救区域的3D拓扑地图构建方法，包括以下步骤：

[0050] 步骤一：视觉信息、环境信息采集

[0051] 将援救区域的观察区域离散化，并将离散化后的观察区域分为关键区域1与非关键区域2。其中，关键区域1是指救援有重要意义的观察区域，或者说搜救中需要重点关注的区域，非关键区域2是指连接任意两个关键区域1的观察区域；在关键区域1处观察全景，该点是救援的关键位置。机器人移动路线为非关键区域2区域，此处只显示机器人当前移动方向图像。

[0052] 其中，关键区域的确定可通过以下步骤获取：

[0053] 获取所述援救区域的历史援救位置以及对应的援救次数，将不同历史援救位置的对应援救次数与预设的援救次数阈值进行比较，对于任一历史援救位置A的对应援救次数，当所述历史援救位置A对应的援救次数大于援救次数阈值，则判定所述历史援救位置A为关键区域。其中，援救次数阈值的取值范围为大于1或等于1的正数。

[0054] 作为上述方案的替换方案，所述关键区域也可以通过以下步骤获取得到：

[0055] 获取所述援救区域的卫星地貌地图或历史地貌数据，从所述卫星地貌地图/历史地貌数据上展示的地貌特征中找出适合人活动或存在人活动痕迹的区域作为关键区域；

[0056] 此外，所述关键区域也可根据援救人员的经验设定。

[0057] 例如在地下煤矿处常设置有避难所，当机器人行至避难所处时则为关键区域。

[0058] 又例如在狭窄的巷道中，仅前进方向上的图像比较有参考意义，而走到较为开阔的地方，救援人员依据需要选择全景图像模式，即将此处划分作关键区域。

[0059] 在本实施例中，视觉信息与环境信息采集均通过生命救援机器人采集，生命救援机器人上搭载有定位装置，各类环境传感器(包括气候参数感知传感器、生命体征感知传感器以及气体感知传感器)，视觉信息采集系统以及雷达探测装置。其中，视觉信息采集系统包括机载相机，云台，视频控制模块和并行计算模块。云台能够提供360度相机旋转。为了适应黑暗环境，可开启辅助光源补充照明。

[0060] 生命救援机器人根据远程控制终端的控制依次移动至各个离散的观察区域，每移动至一个观察区域，通过气候参数感知传感器(如温湿度传感器)采集该区域的气象参数(如温湿度)、通过生命体征感知传感器(人体红外线传感器)采集该处是否存在生命体征参数，通过气体感知传感器(如一氧化碳传感器、甲烷传感器等其他检测有毒有害易燃气体的传感器)采集环境中的有毒有害易燃气体的浓度参数，通过定位装置定位观察区域的位置信息，对于关键区域1，采用云台拍摄360度重叠的环视图像，创建360度全景图像，并采用雷达测距方式同步采集该关键区域1的深度信息，对于非关键区域2，则只拍摄生命救援机器人移动方向的单向图像。

[0061] 在图像采集过程中：在关键区域1处，云台控制机载相机旋转，拍摄当前位置的一系列360度重叠图像。开启雷达探测距离，同步获取图像的深度信息；非关键区域2是机器人的移动路线，是次要关注的区域。在非关键区域2处拍摄相机正面图像，每次拍摄时，记录机器人的空间位置。关键区域1是重点感知位置，即对救援有重要意义的观察点。在每个关键区域1处重建360度的3D环境图像。在机器人的移动路线，存在许多的非关键区域2，非关键区域2是非重点感知位置，用于连接2个关键区域1的观察位置。在非关键区域2区域处机器人也在不断获取环境信息，但视觉信息仅为当前方向上的而非全景的。其中援救机器人的算法扫描过程为：扫描过程为：随着机器人移动，依据预设的观察点，采集视觉和环境信息。在关键区域1处，机器人启动360度的全景扫描，获取更加详细的视觉信息；在非关键区域2处，只采集行进方向的图像。在关键区域1和非关键区域2处，均采集环境信息。

[0062] 生命救援机器人将采集到的观察区域的位置信息、环境信息以及关键区域1的360度重叠的环视图像、对应的深度信息以及非关键区域2的单向图像发送至远程控制终端。

[0063] 步骤二：视觉信息处理、拓扑地图生成、环节参数信息融合。

[0064] 控制终端将关键区域1的360度重叠的环视图像、对应的深度信息输入至训练好的图像三维重建模型中，得到各个关键区域1的融合深度信息的3D全景图。

[0065] 在本实施例中，基于网格的图像三维重建方法为基于Pixel2Mesh方法的一种改进(即在原有的全景图像作为输入的情况下，增加深度图像信息作为补充)：将相机得到的环境全景图与深度图像作为输入图像，并将所有输入图像都初始化一个椭球体作为初始三维形状。整个网络可以大概分成上下两个部分；上面部分负责用全卷积神经网络FCN提取输入图像的特征；下面部分负责用图卷积神经网络GCN来表示三维mesh，并对三维mesh不断进行形变，目标是得到最终的输出，得到救援现场的三维环境图像。模型通过四种损失函数来约束形状，取得了很好的效果：Chamfer损失函数。其作用是限制网格顶点的具体位置；Normal损失函数。其作用是增强网格表面法向的一致性(增加表面光滑度)；Laplacian正则化。其作用是在形变时维持临近顶点的相对位置；Edge length正则化。其作用是防止个别异常顶点的出现。贡献在于用端到端的神经网络实现了从单张彩色图直接生成用网格表示的物体三维信息。

[0066] 在关键区域1处使用环境全景处理，将重叠图像用图像拼接算法，合成360度全景图像。将雷达波测量距离转换为深度信息，和全景图做图像配准，实现两者在空间上融合，得到融合深度信息和环境信息的关键区域1的360度全景图。

[0067] 控制终端再基于关键区域1的位置信息和非关键区域2的位置信息，将关键区域1和非关键区域2的空间位置进行连接，并根据关键区域1的3D全景图以及非关键区域2内的单向图像构建援救区域的3D拓扑地图。再基于观察区域的位置信息，将观察区域的环境信息标记在3D拓扑地图的对应位置。

[0068] 具体的，将观察区域的环境信息标记在3D拓扑地图的对应位置，包括以下步骤：

[0069] 将环境信息与预设的正常阈值进行比较，当环境信息不在预设的正常阈值内，采用伪彩色编码的第一种编码进行标注，当环境信息在预设的正常阈值内，采用伪彩色编码的第二种编码进行标注。例如，假设对象为CO气体，系统将所测得的高于正常值的区域在环境地图的对应位置上标识为红色；低于正常值，标识为绿色；两者之间标示为黄色。

[0070] 在优选方案环境参数信息采集流程为利用各类传感器对环境中的多种环境参数信息进行检测，并通过单片机将检测到的检测值和预设值进行比对，如出现异常，执行预警指令发送给远程控制终端方的援救人员。

[0071] 为了实现本发明，假设运用气体传感器(一氧化碳、二氧化硫、甲烷、氧气、烟雾)进行检测。根据传感器氧化‑还原的可逆反应，将化学能转换为电信号。单片机采集电信号，与设计的报警值进行数值比较，当有毒气体(一氧化碳、二氧化硫、甲烷、烟雾)浓度等于或者大于报警值、氧气含量小于等于预警值的时候，单片机控制蜂鸣器发出警报。

[0072] 本实施例中，将关键区域1和非关键区域2的空间位置进行连接，创建反映机器人移动位置的拓扑地图。将视觉信息标识在地图上的点，同时将多参数环境信息以色彩编码的方式，融合进拓扑地图中，生成融合视觉和环境参数的、如图3所示的环境感知地图。

[0073] 此外，控制终端还提供虚拟浏览功能：即在环境感知地图的各点进行切换，根据浏览的当前位置，调出观察点的视觉信息和环境信息。在关键区域1处，可以360度环视浏览三维环境，在非关键区域2处，浏览地图的连线方向的三维图像。地图上点的色彩，显示环境参数信息。即在非关键区域2处，将图像依据视野和视角，将当前采集方向的3D视觉环境投射到显示器上，实现一对关键区域1之间的漫游；在关键区域1处，从某个关键区域1开始，选择下一个移动的关键区域1，依次将3D的环境的全景图投射到柱面，再投射到显示器，实现360度环视，观察三维形状。虚拟漫游时，可同步显示该位置的环境参数信息如温湿度、气体成分和生命信息。

[0074] 综上，本发明中的援救区域的3D拓扑地图构建方法、系统以及存储介质，通过将援救区域的观察区域分为关键区域1与非关键区域2，获取援救区域内关键区域1的融合深度信息的3D全景图和对应的位置信息，以及非关键区域2内的单向图像和对应的位置信息；基于关键区域1的位置信息和非关键区域2的位置信息，将关键区域1和非关键区域2的空间位置进行连接，并根据关键区域1的3D全景图以及非关键区域2内的单向图像构建援救区域的3D拓扑地图。相比现有技术，该方法通过对救援现场的关键区域1进行360度重点观察，从而使控制者全面了解救援现场的核心区域的环境，进而有效制定援救计划，并且对于连接关键区域1的非关键区域2，通过只采集单向图像方式来减少观察视角，从而加快环境感知的速度。

[0075] 以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。