本发明公开了一种基于邻域关系的火星栅格地形地图生成方法，属于计算机图像处理技术领域。该火星栅格地形地图生成方法将收集的火星近地面图片输入地形分类网络中进行训练，当交叉熵损失函数收敛时，完成对地形分类网络的训练，以训练好的地形分类网络为基础，在火星近距离地面图片上划分栅格并逐窗口地预测地形类别，后续在上述栅格地形地图上进行结果的平滑，设计了基于邻域关系的多尺度融合与投票平滑算法，最终生成栅格地形地图。本发明的栅格地形地图生成方法仅依赖于能够提供火星近地面图片的传感器设备，方法简单，是基于导航相机、避障相机等设备实现地形理解的有效方法。
1.一种基于邻域关系的火星栅格地形地图生成方法，其特征在于，包括以下步骤：(1)收集火星近地面图片，进行地形类别标注，并对火星近地面图片进行随机翻转、剪裁、伽马变换进行图像增强，获得火星近地面图片数据集；
(2)将步骤(1)获得的火星近地面图片数据集输入地形分类网络中进行训练，当交叉熵损失函数收敛时，完成对地形分类网络的训练；
所述地形分类网络是基于开源的深度学习框架pytorch，在公开的网络模型的基础上进行改造，实现了主体网络、层级特征融合模块、损失函数模块的构建，具体构建过程如下：(a)构建主体网络：主体网络包括特征提取模块与分类器模块两个部分，所述主体网络可以直接选用公开的Resnet101结构，将Resnet101结构中的分类器的输出数目设为10类，与当前地形分类任务相匹配；
(b)构建层级特征融合模块：融合特征提取模块中的四个子模块分别输出特征图，四组特征图fi(0≤i＜4)经由第一映射函数 后，并下采样至尺寸与特征图f4保持一致：其中，下采样函数downs(x)选用双线性差值函数interpolate(x,'bilinear')；第一映射函数 选用标准的3×3卷积操作；
函数cat(x)选用concatenate(x)函数，在通道上拼接上述四组特征图fi(0≤i＜4)，并通过第二映射函数δ(x)映射，得到融合的特征图fi′(0≤i＜4)，实现通道的调整，融合的特征图与特征图f4相加输入分类器模块，计算如下：fout＝f4+δ(cat(fi′))
其中，第二映射函数δ(x)为两组连续的包含3×3卷积、批量标准化、线性整流函数三个部分的组合模块；
(c)损失函数模块：以交叉熵损失作为损失函数，拟合地形分类概率与真实的标签，并以批量随机梯度下降法作为优化方法，反向传播并更新整个地形分类网络；
(3)将火星近距离地面图片划分栅格，选取栅格中的第一个栅格，所述第一个栅格采用若干组0～3的系数向外进行多尺度的扩张，形成若干组候选区域，所述候选区域在邻域范围内，所述邻域是以第一个栅格为中心的5×5栅格区域，并将所述若干组候选区域依次输入训练好的地形分类网络中，分别得到地形预测的概率值；
(4)在第一个栅格的邻域区间中，计算各栅格候选区域与第一个栅格的第一个候选区域之间的重叠面积，生成相应的投票权重，再根据步骤(3)得到的地形预测的概率值，生成平滑的后概率值：(5)采用步骤(4)的方法遍历第一个栅格的所有候选区域，生成平滑的后概率值，融合所有后概率值，得到第一个栅格的平滑概率值；
(6)将步骤(5)中生成的平滑概率值中最大概率值的地形类别作为标签，并进一步在第一个栅格中平滑掉特异性的结果，获得第一个栅格的地形地图；
(7)遍历栅格中的每一个栅格，采用与第一个栅格相同的系数向外进行多尺度的扩张，重复步骤(3)‑(7)，获得每一个栅格的地形地图。
一种基于邻域关系的火星栅格地形地图生成方法
技术领域
[0001] 本发明属于计算机图像处理技术领域，尤其涉及一种基于邻域关系的火星栅格地形地图生成方法。
背景技术
[0002] 地形地图的生成是计算机视觉领域中的一个重要任务，被广泛运用在障碍避让、路径规划等诸多任务场景。尤其在当前的地外探测任务中，地面地形的识别是探险车实现环境语义理解、安全路径搜寻的基础。
[0003] 区别于熟悉可见的地球地表环境，火星地外环境中地面数据存在着非结构化场景差异不明显、危险区域难界定、目标先验知识欠缺、地形纹理难区分等问题。现有的解决方案包括以下三种：（1）使用语义分割算法实现像素级别的地形识别；（2）由目标检测完成对典型目标的侦测后，组合判断地形种类；（3）直接通过分类模型给出粗略的结果。其中，语义分割方法需要专家级的地质知识、大量的高质量标注数据以及高性能的推理设备；而目标检测的方法则依赖于各个子目标识别效果；至于直接分类则往往只适用于单地形场景。
发明内容
[0004] 针对现有技术的不足，本发明提供了一种基于邻域关系的火星栅格地形地图生成方法。
[0005] 本发明的目的是通过以下技术方案来实现的：一种基于邻域关系的火星栅格地形地图生成方法，包括以下步骤：
[0006] （1）收集火星近地面图片，进行地形类别标注，并对火星近地面图片进行随机翻转、剪裁、伽马变换进行图像增强，获得火星近地面图片数据集；
[0007] （2）将步骤（1）获得的火星近地面图片数据集输入地形分类网络中进行训练，当交叉熵损失函数收敛时，完成对地形分类网络的训练；
[0008] （3）将火星近距离地面图片划分栅格，选取栅格中的第一个栅格，所述第一个栅格采用若干组0 3的系数向外进行多尺度的扩张，形成若干组候选区域，所述候选区域在邻域~范围内，所述邻域是以第一个栅格为中心的5×5栅格区域，并将所述若干组候选区域依次输入训练好的地形分类网络中，分别得到地形预测的概率值；
[0009] （4）在第一个栅格的邻域区间中，计算各栅格候选区域与第一个栅格的第一个候选区域之间的重叠面积，生成相应的投票权重，再根据步骤（3）得到的地形预测的概率值，生成平滑的后概率值：
[0010] （5）采用步骤（4）的方法遍历第一个栅格的所有候选区域，生成平滑的后概率值，融合所有后概率值，得到第一个栅格的平滑概率值；
[0011] （6）将步骤（5）中生成的平滑概率值中最大概率值的地形类别作为标签，并进一步在第一个栅格中平滑掉特异性的结果，获得第一个栅格的地形地图；
[0012] （7）遍历栅格中的每一个栅格，采用与第一个栅格相同的系数向外进行多尺度的扩张，重复步骤（3）‑（7），获得每一个栅格的地形地图。
[0013] 与现有技术相比，本发明的有益效果是：本发明是基于邻域关系的栅格地形地图主要针对火星近地面图片进行地形识别，并在全局图像中构建稠密的栅格地图。由于，实际工程中因栅格大小不定、输入区域扰动等因素，独立的栅格预测会带来全局结果一致性差、平滑性欠缺等问题。本发明的栅格地图生成方法中引入多尺度预测加权融合、邻域关系投票平滑方法，从而提升火星栅格地形地图的整体表现，使得本发明的栅格地图生成方法仅依赖于能够提供火星近地面图片的传感器设备，方法简单，是基于导航相机、避障相机等设备实现地形理解的有效方法。
附图说明
[0014] 图1为地形分类模型总体架构示意图；
[0015] 图2为栅格地形地图生成流程图；
[0016] 图3为本发明的效果示意图，图3中的（a）为火星近距离地面图片，图3中的（b）为通过本发明方法形成的栅格地形地图。
具体实施方式
[0017] 本发明提供了一种基于邻域关系的火星栅格地形地图生成方法，包括以下步骤：
[0018] （1）以NASA公开的火星数据集“Mars32k”作为任务样本，并从中挑选了部分火星近地面图片进行地形类别的标注。该图片集由火星车“好奇号”拍摄，包含了约32,000张涵盖了火星的各种地理和地质特征的彩色图片，如山脉和山谷，火山口，沙丘和岩石等地形。任务中总计选用了涵盖了10种地形，并对火星近地面图片进行随机翻转、剪裁、伽马变换进行图像增强，获得火星近地面图片数据集。
[0019] 构建地形分类网络：
[0020] 如图1为地形分类模型总体架构示意图，所述地形分类网络基于开源的深度学习框架pytorch，在公开的网络模型的基础上进行改造，实现了主体网络、层级特征融合模块、损失函数模块的构建，具体构建过程如下：
[0021] （a）构建主体网络：主体网络包括特征提取模块与分类器模块两个部分，所述主体网络可以直接选用公开的Resnet101结构，将Resnet101结构中的分类器的输出数目设为10类，与当前地形分类任务相匹配。
[0022] （b）构建层级特征融合模块：融合特征提取模块中的四个子模块分别输出特征图，四组特征图 经由第一映射函数 后，并下采样至尺寸与特征图 保持一致：
[0023]
[0024] 其中，下采样函数 选用双线性差值函数 ；第一映射函数 选用标准的3×3卷积操作。
[0025] 函数 选用 函数，在通道上拼接上述四组特征图，并通过第二映射函数 映射，得到融合的特征图 ，实现通
道的调整，融合的特征图与特征图 相加输入分类器模块，计算如下：
[0026]
[0027] 其中，第二映射函数 为两组连续的包含3×3卷积、批量标准化、线性整流函数三个部分的组合模块。
[0028] （c）损失函数模块：以交叉熵损失作为损失函数，拟合地形分类概率与真实的标签，并以批量随机梯度下降法作为优化方法，反向传播并更新整个地形分类网络。
[0029] （2）将步骤（1）获得的火星近地面图片数据集输入地形分类网络中进行训练，当交叉熵损失函数收敛时，完成对地形分类网络的训练；
[0030] （3）以地形分类网络为基础，在火星近距离地面图片上划分栅格并逐窗口地预测地形类别，后续在上述栅格地形地图上进行结果的平滑，设计了基于邻域关系的多尺度融合与投票平滑算法，最终生成地形地图，定义栅格与邻域并实现多尺度推理以适应不同尺度的地形目标；在邻域内以投票的方式平滑预测概率以提升结果的区域关联性；以特异性指标抑制局部预测偏差的问题。如图2所示为栅格地形地图生成流程图，包括以下过程：
[0031] （3.1）栅格邻域内的多尺度推理
[0032] 将火星近距离地面图片划分栅格 并从中选取第一个栅格 。所述第一个栅格采用j组系数 向外进行多尺度的扩张形成若干组候选区域 。则第一个栅格 的某一候选区域 记为：
[0033]
[0034] 其中， 表示栅格外扩函数， 为当前候选区域的外扩系数，m为j的索引。
[0035] 所述候选区域 在邻域 范围内，邻域 是以第一个栅格 为中心外扩的5×5栅格区域。若干组候选区域 依次输入训练好的地形分类网络中，分别得到地形预测的概率值 ，则第一个栅格 的所有预测概率值集合记为 。其中， 为地形类别的数目。
[0036] （3.2）基于邻域关系的栅格平滑算法
[0037] 在第一个栅格的邻域区间中，计算各栅格候选区域 与第一个栅格的候选区域 之间的重叠面积 ，生成相应的投票权重，再根据步骤（3.1）得到的候选区域对应的地形概率，生成平滑的后概率值 ：
[0038] 其中，投票函数 为栅格 赋予一个以第一个栅格 为中心的高斯分布权重， 为第一个栅格 的第m个预测概率值。
[0039] 随后，遍历第一个栅格的所有候选区域 ，生成平滑的后概率值，融合所有后概率值，得到第一个栅格 的平滑概率值 ：
[0040]
[0041] 其中， 为各候选区域平滑概率值所对应的权重系数，其维度与地形类别数目一致。
[0042] （3.3）地形地图的生成
[0043] 以步骤（3.2）中生成的平滑概率值 的最大值作为地形类别标签，将第一个栅格 的地形 记为：
[0044]
[0045] 其中， 表示求解最大值所对应的序号。进一步地对地形 的特异性进行判别，执行二次平滑并调整为地形 ：
[0046]
[0047] 其中， 为计数函数， 为第一个栅格 的邻域范围，则表示第一栅格 与 的地形类型一致。
[0048] （3.4）遍历栅格中的每一个栅格，采用与第一个栅格相同的系数向外进行多尺度的扩张，重复步骤（3.1）‑（3.3），获得每一个栅格的地形地图。
[0049] 通过本发明生成的火星栅格地形地图与火星近距离地面图片进行比较，其结果如图3所示，图3中的（a）为火星近距离地面图片，图3中的（b）为通过本发明方法形成的栅格地形地图，图3中的（b）所示的栅格地形地图以稠密小栅格为单位给出了完整的地形分布，在兼顾准确率与实时性的情况下，避免了传统目标检测、语义分割方案中的边界模糊、标注困难等问题。
