本发明公开了一种地理信息数据处理系统及方法，系统包括信息采集模块、遥感数据预处理模块、多模态遥感数据融合及分类模块、多模态遥感数据增强模块和遥感数据分割模块。本发明属于地理信息技术领域，具体是指一种地理信息数据处理系统及方法，本发明采用基于耦合自循环卷积神经网络的方法进行多模态遥感数据的融合和分类，提升了地理信息数据的可靠性和分类的准确性；采用基于数据本体的过采样和数据拼接的方法进行数据增强，提高了数据的可用性；采用基于超图构造的多模态遥感数据分割方法，提高了地理信息数据处理的跨模态兼容性和多模态融合数据的处理有效性。
1.一种地理信息数据处理系统，其特征在于：包括信息采集模块、遥感数据预处理模块、多模态遥感数据融合及分类模块、多模态遥感数据增强模块和遥感数据分割模块；
所述信息采集模块对地理信息进行采集，得到遥感原始数据，并将所述遥感原始数据发送至遥感数据预处理模块；
所述遥感数据预处理模块接收信息采集模块发送的遥感原始数据，对所述遥感原始数据进行矫正、噪声去除和归一化处理操作，得到多模态遥感数据集，并将所述多模态遥感数据集发送至多模态遥感数据融合及分类模块；
所述多模态遥感数据融合及分类模块接收遥感数据预处理模块发送的多模态遥感数据集，基于耦合自循环卷积神经网络的方法进行多模态遥感数据的融合和分类，得到待增强遥感数据集，并将所述待增强遥感数据集发送至多模态遥感数据增强模块；
所述多模态遥感数据增强模块接收多模态遥感数据融合及分类模块发送的待增强遥感数据集，利用基于数据本体的过采样和数据拼接的方法进行数据增强，平衡数据分类的遥感数据类别，得到增强遥感数据集，并将所述增强遥感数据集发送至遥感数据分割模块；
所述遥感数据分割模块接收多模态遥感数据增强模块发送的增强遥感数据集，基于超图构造的多模态遥感数据分割方法进行分割，得到遥感分割数据；
所述多模态遥感数据集，包括高光谱遥感数据XHSI和光测距‑合成孔径雷达数据XLS；
所述耦合自循环卷积神经网络，包括采用光谱空间特征提取器构建的卷积层和激活层、采用多尺度耦合自循环模块构建的池化层和采用分类器构建的全连接层；
所述采用多尺度耦合自循环模块构建的池化层，包括以下步骤：步骤S31：采用光谱空间特征提取器构建数据融合模型的卷积层和激活层，对所述多模态遥感数据集进行特征提取，得到二维光谱空间特征 和二维光测距‑合成孔径雷达空间特征步骤S32：采用多尺度耦合自循环模块构建数据融合模型的池化层，得到多模态遥感数f据融合数据集X；
步骤S33：采用分类器构建数据分类模型，并构建全连接层计算多模态遥感数据的分类概率，得到多模态遥感数据分类模型MRSDC；
步骤S34：使用多模态遥感数据分类模型MRSDC对所述多模态遥感数据融合数据集X 进行数据分类，得到待增强遥感数据集DO；
在步骤S32中，所述采用多尺度耦合自循环模块构建数据融合模型的池化层，得到多模f态遥感数据融合数据集X，具体包括以下步骤：
步骤S321：对所述二维光谱空间特征 进行特征融合，并通过全局平均池化函数连接融合后的特征，计算公式为：式中， 是第i个样本所对应的光谱特征池化值，GAP()是全局平均池化函数，∪·是串联运算符，K是耦合自循环模块的总层数，j是层级索引， 是第i个样本位于第j层经过特征融合后的二维光谱空间融合特征；
步骤S322：对所述二维光测距‑合成孔径雷达空间特征 进行特征融合，并通过全局平均池化函数连接融合后的特征，计算公式为：式中， 是第i个样本所对应的光测距‑合成孔径雷达特征池化值，GAP()是全局平均池化函数，K是耦合自循环模块的总层数，j是层级索引， 是第i个样本位于第j层经过特征融合后的二维光测距‑合成孔径雷达空间融合特征；
步骤S323：通过串联光谱特征池化值 和光测距‑合成孔径雷达特征池化值f得到多模态遥感数据融合数据集X。
2.一种地理信息数据处理方法，应用于上述权利要求1所述的地理信息数据处理系统，其特征在于：该方法包括以下步骤：步骤S1：信息采集；
在步骤S1中，所述信息采集，具体指采集得到遥感原始数据；
在步骤S2中，所述遥感数据预处理，具体指对所述遥感原始数据进行矫正、噪声去除和归一化处理操作，得到多模态遥感数据集X。
3.根据权利要求2所述的一种地理信息数据处理方法，其特征在于：在步骤S31中，采用光谱空间特征提取器构建数据融合模型的卷积层和激活层，对所述多模态遥感数据集X进行特征提取，具体包括以下步骤：步骤S311：使用三维卷积神经网络从高光谱遥感数据XHSI中提取得到三维光谱空间特征 计算公式为：式中， 是第i个输入样本所对应的三维光谱空间特征，ReLu()是ReLu非线性激i活函数， 是三维卷积权重，⊙是三维卷积运算符，{XHSI}是第i个样本所对应的多模态高光谱遥感数据输入， 是三维卷积偏置项；
步骤S312：使用二维卷积神经网络从三维光谱空间特征 中整形并提取得到二维光谱空间特征 计算公式为：式中， 是第i个输入样本所对应的二维光谱空间特征，ReLu()是ReLu非线性激活函数， 是二维光谱空间特征卷积权重， 是二维卷积运算符， 是第i个样本所对应的二维光谱空间特征输入， 是二维光谱空间特征卷积偏置项；
步骤S313：使用二维卷积神经网络从光测距‑合成孔径雷达数据XLS中提取得到二维光测距‑合成孔径雷达空间特征 计算公式为：式中， 是第i个输入样本所对应的二维光测距‑合成孔径雷达空间特征，ReLu()是ReLu非线性激活函数， 是二维光测距‑合成孔径雷达空间特征卷积权重， 是二维卷i积运算符，{XLS}是第i个样本所对应的光测距‑合成孔径雷达数据输入， 是二维光测距‑合成孔径雷达空间特征卷积偏置项。
4.根据权利要求3所述的一种地理信息数据处理方法，其特征在于：在步骤S33中，采用分类器构建数据分类模型，并构建全连接层计算多模态遥感数据的分类概率，得到多模态遥感数据分类模型MRSDC，具体包括以下步骤：步骤S331：构建第一全连接层FC1，并通过第一全连接层FC1连接所述光谱特征池化值和所述光测距‑合成孔径雷达特征池化值 计算公式为：式中， 是第i个样本所对应的多模态特征串联值，FC1()是第一全连接层函数，[]是串联操作， 是第i个样本所对应的光谱特征池化值， 是第i个样本所对应的光测距‑合成孔径雷达特征池化值；
步骤S332：构建第二全连接层，通过第二全连接层FC2连接各卷积核空间内的各个样本的多模态特征串联值 并采用softmax函数激活，计算公式为：式中， 是第i个样本的softmax分类值，softmax()是激活函数，FC2()是第二全连接层函数，S是卷积核的空间大小的集合，s是卷积核空间索引， 是第i个样本所对应的多模态特征串联值；
步骤S333：通过交叉熵损失函数LCE优化分类器计算概率的准确率，所述交叉熵损失函数LCE的计算公式为：式中，LCE是交叉熵损失函数， 是第i个样本的真实概率，n是样本总数；
步骤S334：通过采用光谱空间特征提取器构建数据融合模型的卷积层和激活层、采用多尺度耦合自循环模块构建池化层、构建全连接层并采用分类器计算多模态遥感数据的分类概率，得到多模态遥感数据分类模型MRSDC。
5.根据权利要求4所述的一种地理信息数据处理方法，其特征在于：在步骤S4中，所述遥感数据增强，具体指采用过采样和数据拼接的方法，选取所述待增强遥感数据集DO中的部分数据作为原始训练遥感数据集DTR，并对所述原始训练遥感数据集DTR中的原始训练数据IO进行数据增强，包括以下步骤：步骤S41：通过90°、180°和270°的角度旋转原始训练数据IO，得到旋转数据集DR；
步骤S42：依据步骤S41中的所述旋转数据集DR中的遥感数据的类型，建立遥感模板数据集DT，并选用数量较少的遥感数据类型作为少数类别遥感数据集DS；
步骤S43：统计旋转数据集DR中每个类别的遥感数据的数量，以数量最多的类型的遥感数据的数量作为基准，计算每种类别所需要增加的遥感数据数量；
步骤S44：对于每种类型的遥感数据，使用所述少数类别遥感数据集DS中一定数量的数据和所述遥感模板数据集DT中的随机数量的合成新的训练数据，得到合成训练遥感数据IN；
步骤S45：重复步骤S44，直到所述原始训练遥感数据集DTR中不同类别的遥感数据数量达到平衡，得到增强遥感数据集DGC。
6.根据权利要求5所述的一种地理信息数据处理方法，其特征在于：在步骤S5中，所述遥感数据分割，具体包括以下步骤：步骤S51：图形投影，具体为采用卷积神经网络提取增强遥感数据集DGC中的特征，并将具有相似特征的像素分配至相同的顶点集，得到顶点集Γ，所述顶点集Γ的计算公式为：式中，Γ是顶点集，γi是第i个超图顶点，i是顶点标号索引，|Γ|是超图顶点总量；
步骤S521：定义超图构造所需要提取的超边集E，所述超边集E的计算公式为：式中，E是超边集，εj是第j条超边，j是顶点标号索引，|E|是超边总量；
步骤S522：通过计算语义相似性Sij得到每个超图顶点γi的最近邻域空间，并使用超边εj连接最近邻域空间内的其他超图顶点γj，所述语义相似性Sij的计算公式为：式中，Sij是语义相似性，exp()是自然指数函数，d()是距离度量函数， 是超图顶点γi的顶点特征向量， 是超边εj的超边特征向量，η是长度尺度超参数，i是顶点标号索引，j是超边标号索引；
步骤S523：通过确定超图顶点集Γ和超边集E，并通过超边连接相应的超图顶点进行超图构造，得到顶点特征矩阵集P，所述顶点特征矩阵集P的计算公式为：式中，P是顶点特征矩阵集， 是超图顶点γi的顶点特征向量，i是顶点标号索引，|Γ|是超图顶点总量；
步骤S524：通过确定超图顶点集Γ和超边集E，并通过超边连接相应的超图顶点进行超图构造，得到超边特征矩阵集Q，所述超边特征矩阵集Q的计算公式为：式中，Q是超边特征矩阵集， 是超边εi的超边特征向量，i是顶点标号索引，|E|是超边总量；
步骤S525：通过得到所述顶点特征矩阵集P和所述超边特征矩阵集Q，构造得到单模态sig超图G ；
步骤S53：自适应性超图学习，具体包括以下步骤：步骤S531：构建顶点学习层，具体为采用注意力机制，计算超图顶点γi和最近邻域空间内的其他超图顶点γj之间的类同性Cij，计算公式为：式中，Cij是超图顶点γi和最近邻域空间内的其他超图顶点γj之间的类同性， 是激活函数， 是顶点类同可训练参数和Wp1是顶点类同可训练权重， 是超图顶点γi的顶点特征向量，是连接运算符， 是最近邻域空间内的其他超图顶点γj的顶点特征向量，εi是以γi作为中心顶点的超边；
步骤S532：构建超边学习层，具体包括以下步骤：步骤S5321：计算超边εi和相邻超边εj的联合表示 计算公式为：式中， 是超边εi和相邻超边εj的联合表示，Wq1是联合表示可训练权重， 是联合表示可训练偏置项，εj是超边εi的相邻超边， 是相邻超边εj的超边特征向量，ALL(γi)是包含超图顶点γi的所有超边的集合；
步骤S5322：计算超图顶点γi和最近邻域空间内的其他超图顶点γj的上下文语义类同性 计算公式为：式中， 是超图顶点γi和最近邻域空间内的其他超图顶点γj的上下文语义类同性，Wq2是语义类同可训练权重， 是超图顶点γi的特征向量， 是最近邻域空间内的其他超图顶点γj的特征向量，⊙是元素矩阵乘法，εj是超边εi的相邻超边， 是相邻超边εj的超边特征向量，ALL(γi)是包含超图顶点γi的所有超边的集合；
步骤S533：对联合表示 和上下文语义类同性 进行组合，构建超边学习层，计算公式为：式中， 是联合表示 和上下文语义类同性 的组合特征向量，L是ALL(γi)中包含的超边数，l是超边计数索引，ALL(γi)是包含超图顶点γi的所有超边的集合， 是组合可学习矩阵， 是超边εi和相邻超边εj的联合表示， 是超图顶点γi和最近邻域空间内的其他超图顶点γj的上下文语义类同性， 是连接运算符；
步骤S541：定义高光谱模态超图G ，得到高光谱模态顶点集Γ 和高光谱模态超边集HSIE ，所述高光谱模态超图的计算公式为：
式中，Γ 是高光谱模态顶点集，E 是高光谱模态超边集；
步骤S542：定义光测距‑合成孔径雷达模态超图G ，得到光测距‑合成孔径雷达模态顶LS LS点集Γ 和光测距‑合成孔径雷达模态超边集E ，所述光测距‑合成孔径雷达模态超图的计算公式为：LS LS LS
式中，Γ 是高光谱模态顶点集，E 是高光谱模态超边集；
步骤S543：计算高光谱模态顶点特征矩阵集PHSI，计算公式为：式中，PHSI是高光谱模态顶点特征矩阵集， 是高光谱模态超图顶点的特征向量，|HSIΓ |是高光谱模态超图顶点总量；
步骤S544：计算光测距‑合成孔径雷达模态特征矩阵集PLS，计算公式为：式中，PLS是光测距‑合成孔径雷达模态顶点特征矩阵集， 是光测距‑合成孔径雷达模LS态超图顶点的特征向量，|Γ |是光测距‑合成孔径雷达模态超图顶点总量；
步骤S545：计算多模态顶点间特征矩阵，计算公式为：式中，ψ是多模态顶点间特征矩阵， 是高光谱模态顶点特征矩阵集PHSI的转置矩阵集，PLS是光测距‑合成孔径雷达模态顶点特征矩阵集；
步骤S546：通过计算多模态顶点间特征矩阵，构造多模态超图G ；
步骤S551：计算所述多模态超图G 的顶点特征矩阵集P ，计算公式为：Muti Muti Muti
式中，P 是多模态超图G 的顶点特征矩阵集， 是多模态超图G 的第i个顶点Muti Muti的特征向量，|Γ |是多模态超图G 的顶点总量；
步骤S552：通过多模态超图G 的顶点特征矩阵集P 重建多模态超边 计算公式为：Muti
式中， 是重建后的多模态超边， 是多模态超图G 的第i个顶点， 是多模Muti
态超图G 的第i个顶点的最近邻域空间内的第j个超图顶点， 是多模态超图Muti Muti MutiG 的第i个顶点的最近邻域空间内的所有其他超图顶点的集合，P 是多模态超图G 的顶点特征矩阵集；
步骤S553：通过重建多模态超边 得到更新多模态超图G ；
步骤S56：数据分割，具体为使用动态更新后的更新多模态超图G 输出语义张量，得到遥感分割数据DC。
一种地理信息数据处理系统及方法
技术领域
[0001] 本发明属于地理信息技术领域，具体为一种地理信息数据处理系统及方法。
背景技术
[0002] 地理信息数据处理系统是用于收集、存储、管理和分析地理信息数据的软件系统，它能够处理和操作空间数据与属性数据，并提供各种功能和工具以支持地理数据的操作、分析。
[0003] 但是，现有技术的地理信息数据处理系统面临着数据质量、数据一致性、数据可用性和处理准确率多方面的挑战，在已有的地理信息数据处理过程中，存在着遥感类别多样和数据模态多样导致数据分割处理困难、分类准确性降低和多模态数据属性表征困难的技术问题；在已有的地理信息数据处理过程中，存在着经过分类的多模态遥感数据易出现类不平衡或个别遥感数据类别所包括的研究数据样本数量不足，进而可能导致模型样本过拟合，降低后续数据处理的准确性和可靠性的技术问题；在已有的地理信息数据处理过程中，存在着缺少一种面向多模态遥感数据的模态间关系建模和分割方法，进而导致单一模态的分割方法不适用于多模态遥感数据处理的技术问题。
发明内容
[0004] 针对上述情况，为克服现有技术的缺陷，本发明提供了一种地理信息数据处理系统及方法，针对在已有的地理信息数据处理过程中，存在着遥感类别多样和数据模态多样导致数据分割处理困难、分类准确性降低和多模态数据属性表征困难的技术问题，本方案创造性地采用基于耦合自循环卷积神经网络的方法进行多模态遥感数据的融合和分类，为后续的遥感数据分割提供更多地理信息，提升了地理信息数据的可靠性和分类的准确性；针对在已有的地理信息数据处理过程中，存在着经过分类的多模态遥感数据易出现类不平衡或个别遥感数据类别所包括的研究数据样本数量不足，进而可能导致模型样本过拟合，降低后续数据处理的准确性和可靠性的技术问题，本方案创造性地采用基于数据本体的过采样和数据拼接的方法进行数据增强，平衡了数据分类的遥感数据类别，减少了模型样本过拟合带来的负面影响，提高了数据的可用性；针对在已有的地理信息数据处理过程中，存在着缺少一种面向多模态遥感数据的模态间关系建模和分割方法，进而导致单一模态的分割方法不适用于多模态遥感数据处理的技术问题，本方案创造性地采用基于超图构造的多模态遥感数据分割方法，实现了多模态超图构造并通过分割得到多模态遥感数据的像素级语义，提高了地理信息数据处理的跨模态兼容性和多模态融合数据的处理有效性。
[0005] 本发明采取的技术方案如下：本发明提供的一种地理信息数据处理系统，包括信息采集模块、遥感数据预处理模块、多模态遥感数据融合及分类模块、多模态遥感数据增强模块和遥感数据分割模块，所述信息采集模块对地理信息进行采集，得到遥感原始数据，并将所述遥感原始数据发送至遥感数据预处理模块；所述遥感数据预处理模块接收信息采集模块发送的遥感原始数据，对所述遥感原始数据进行矫正、噪声去除和归一化处理操作，得到多模态遥感数据集，并将所述多模态遥感数据集发送至多模态遥感数据融合及分类模块；所述多模态遥感数据融合及分类模块接收遥感数据预处理模块发送的多模态遥感数据集，基于耦合自循环卷积神经网络的方法进行多模态遥感数据的融合和分类，得到待增强遥感数据集，并将所述待增强遥感数据集发送至多模态遥感数据增强模块；所述多模态遥感数据增强模块接收多模态遥感数据融合及分类模块发送的待增强遥感数据集，利用基于数据本体的过采样和数据拼接的方法进行数据增强，平衡数据分类的遥感数据类别，得到增强遥感数据集，并将所述增强遥感数据集发送至遥感数据分割模块；所述遥感数据分割模块接收多模态遥感数据增强模块发送的增强遥感数据集，基于超图构造的多模态遥感数据分割方法进行分割，得到遥感分割数据。
[0006] 本发明提供的一种地理信息数据处理方法及系统，该方法包括以下步骤：
[0007] 步骤S1：信息采集；
[0008] 步骤S2：遥感数据预处理；
[0009] 步骤S3：多模态遥感数据融合及分类；
[0010] 步骤S4：多模态遥感数据增强；
[0011] 步骤S5：遥感数据分割。
[0012] 进一步地，在步骤S1中，所述信息采集，具体指采集得到遥感原始数据。
[0013] 进一步地，在步骤S2中，所述遥感数据预处理，具体指对所述遥感原始数据进行矫正、噪声去除和归一化处理操作，得到多模态遥感数据集X，所述多模态遥感数据集X包括高光谱遥感数据XHSI和光测距‑合成孔径雷达数据XLS。
[0014] 进一步地，在步骤S3中，所述多模态遥感数据融合及分类，具体指构建采用基于耦合自循环卷积神经网络的方法对所述多模态遥感数据集X进行数据融合和数据分类，具体包括以下步骤：
[0015] 步骤S31：采用光谱空间特征提取器构建数据融合模型的卷积层和激活层，对所述多模态遥感数据集X进行特征提取，具体包括以下步骤：
[0016] 步骤S311：使用三维卷积神经网络从高光谱遥感数据XHSI中提取得到三维光谱空间特征 计算公式为：
[0017]
[0018] 式中， 是第i个输入样本所对应的三维光谱空间特征，ReLu()是ReLu非线i性激活函数， 是三维卷积权重，⊙是三维卷积运算符，{XHSI}是第i个样本所对应的多模态高光谱遥感数据输入， 是三维卷积偏置项；
[0019] 步骤S312：使用二维卷积神经网络从三维光谱空间特征 中整形并提取得到二维光谱空间特征 计算公式为：
[0020]
[0021] 式中， 是第i个输入样本所对应的二维光谱空间特征，ReLu()是ReLu非线性激活函数， 是二维光谱空间特征卷积权重， 是二维卷积运算符， 是第i个样本所对应的二维光谱空间特征输入， 是二维光谱空间特征卷积偏置项；
[0022] 步骤S313：使用二维卷积神经网络从光测距‑合成孔径雷达数据XLS中提取得到二维光测距‑合成孔径雷达空间特征 计算公式为：
[0023]
[0024] 式中， 是第i个输入样本所对应的二维光测距‑合成孔径雷达空间特征，ReLu()是ReLu非线性激活函数， 是二维光测距‑合成孔径雷达空间特征卷积权重， 是i二维卷积运算符，{XLS}是第i个样本所对应的光测距‑合成孔径雷达数据输入， 是二维光测距‑合成孔径雷达空间特征卷积偏置项；
[0025] 步骤S32：采用多尺度耦合自循环模块构建数据融合模型的池化层，得到多模态遥f感数据融合数据集X，具体包括以下步骤：
[0026] 步骤S321：对所述二维光谱空间特征 进行特征融合，并通过全局平均池化函数连接融合后的特征，计算公式为：
[0027]
[0028] 式中， 是第i个样本所对应的光谱特征池化值，GAP()是全局平均池化函数，∪·是串联运算符，K是耦合自循环模块的总层数，j是层级索引， 是第i个样本位于第j层经过特征融合后的二维光谱空间融合特征；
[0029] 步骤S322：对所述二维光测距‑合成孔径雷达空间特征 进行特征融合，并通过全局平均池化函数连接融合后的特征，计算公式为：
[0030]
[0031] 式中， 是第i个样本所对应的光测距‑合成孔径雷达特征池化值，GAP()是全局平均池化函数，K是耦合自循环模块的总层数，j是层级索引， 是第i个样本位于第j层经过特征融合后的二维光测距‑合成孔径雷达空间融合特征；
[0032] 步骤S323：通过串联光谱特征池化值 和光测距‑合成孔径雷达特征池化值f得到多模态遥感数据融合数据集X ；
[0033] 步骤S33：采用分类器构建数据分类模型，并构建全连接层计算多模态遥感数据的分类概率，得到多模态遥感数据分类模型MRSDC，具体包括以下步骤：
[0034] 步骤S331：构建第一全连接层FC1，并通过第一全连接层FC1连接所述光谱特征池化值 和所述光测距‑合成孔径雷达特征池化值 计算公式为：
[0035]
[0036] 式中， 是第i个样本所对应的多模态特征串联值，FC1()是第一全连接层函数，[]是串联操作， 是第i个样本所对应的光谱特征池化值， 是第i个样本所对应的光测距‑合成孔径雷达特征池化值；
[0037] 步骤S332：构建第二全连接层，通过第二全连接层FC2连接各卷积核空间内的各个样本的多模态特征串联值 并采用softmax函数激活，计算公式为：
[0038]
[0039] 式中， 是第i个样本的softmax分类值，softmax()是激活函数，FC2()是第二全连接层函数，S是卷积核的空间大小的集合，s是卷积核空间索引， 是第i个样本所对应的多模态特征串联值；
[0040] 步骤S333：通过交叉熵损失函数LCE优化分类器计算概率的准确率，所述交叉熵损失函数LCE的计算公式为：
[0041]
[0042] 式中，LCE是交叉熵损失函数， 是第i个样本的真实概率，n是样本总数；
[0043] 步骤S334：通过采用光谱空间特征提取器构建数据融合模型的卷积层和激活层、采用多尺度耦合自循环模块构建池化层、构建全连接层并采用分类器计算多模态遥感数据的分类概率，得到多模态遥感数据分类模型MRSDC；
[0044] 步骤S34：使用多模态遥感数据分类模型MRSDC对所述多模态遥感数据融合数据集Xf进行数据分类，得到待增强遥感数据集DO。
[0045] 进一步地，在步骤S4中，所述遥感数据增强，具体指采用过采样和数据拼接的方法，选取所述待增强遥感数据集DO中的部分数据作为原始训练遥感数据集DTR，并对所述原始训练遥感数据集DTR中的原始训练数据IO进行数据增强，包括以下步骤：
[0046] 步骤S41：通过90°、180°和270°的角度旋转原始训练数据IO，得到旋转数据集DR；
[0047] 步骤S42：依据步骤S41中的所述旋转数据集DR中的遥感数据的类型，建立遥感模板数据集DT，并选用数量较少的遥感数据类型作为少数类别遥感数据集DS；
[0048] 步骤S43：统计旋转数据集DR中每个类别的遥感数据的数量，以数量最多的类型的遥感数据的数量作为基准，计算每种类别所需要增加的遥感数据数量；
[0049] 步骤S44：对于每种类型的遥感数据，使用所述少数类别遥感数据集DS中一定数量的数据和所述遥感模板数据集DT中的随机数量的合成新的训练数据，得到合成训练遥感数据IN；
[0050] 步骤S45：重复步骤S44，直到所述原始训练遥感数据集DTR中不同类别的遥感数据数量达到平衡，得到增强遥感数据集DGC。
[0051] 进一步地，在步骤S5中，所述遥感数据分割，具体包括以下步骤：
[0052] 步骤S51：图形投影，具体为采用卷积神经网络提取增强遥感数据集DGC中的特征，并将具有相似特征的像素分配至相同的顶点集，得到顶点集Γ，所述顶点集Γ的计算公式为：
[0053]
[0054] 式中，Γ是顶点集，γi是第i个超图顶点，i是顶点标号索引，|Γ|是超图顶点总量；
[0055] 步骤S52：单模态超图构造，具体包括以下步骤：
[0056] 步骤S521：定义超图构造所需要提取的超边集E，所述超边集E的计算公式为：
[0057]
[0058] 式中，E是超边集，εj是第j条超边，j是顶点标号索引，|E|是超边总量；
[0059] 步骤S522：通过计算语义相似性Sij得到每个超图顶点γi的最近邻域空间，并使用超边εj连接最近邻域空间内的其他超图顶点γj，所述语义相似性Sij的计算公式为：
[0060]
[0061] 式中，Sij是语义相似性，exp()是自然指数函数，d()是距离度量函数， 是超图顶点γi的顶点特征向量， 是超边εj的超边特征向量，η是长度尺度超参数，i是顶点标号索引，j是超边标号索引；
[0062] 步骤S523：通过确定超图顶点集Γ和超边集E，并通过超边连接相应的超图顶点进行超图构造，得到顶点特征矩阵集P，所述顶点特征矩阵集P的计算公式为：
[0063]
[0064] 式中，P是顶点特征矩阵集， 是超图顶点γi的顶点特征向量，i是顶点标号索引，|Γ|是超图顶点总量；
[0065] 步骤S524：通过确定超图顶点集Γ和超边集E，并通过超边连接相应的超图顶点进行超图构造，得到超边特征矩阵集Q，所述超边特征矩阵集Q的计算公式为：
[0066]
[0067] 式中，Q是超边特征矩阵集， 是超边εi的超边特征向量，i是顶点标号索引，|E|是超边总量；
[0068] 步骤S525：通过得到所述顶点特征矩阵集P和所述超边特征矩阵集Q，构造得到单sig模态超图G ；
[0069] 步骤S53：自适应性超图学习，具体包括以下步骤：
[0070] 步骤S531：构建顶点学习层，具体为采用注意力机制，计算超图顶点γi和最近邻域空间内的其他超图顶点γj之间的类同性Cij，计算公式为：
[0071]
[0072] 式中，Cij是超图顶点γi和最近邻域空间内的其他超图顶点γj之间的类同性，是激活函数， 是顶点类同可训练参数和Wp1是顶点类同可训练权重， 是超图顶点γi的顶点特征向量，是连接运算符， 是最近邻域空间内的其他超图顶点γj的顶点特征向量，εi是以γi作为中心顶点的超边；
[0073] 步骤S532：构建超边学习层，具体包括以下步骤：
[0074] 步骤S5321：计算超边εi和相邻超边εj的联合表示
[0075] ，计算公式为：
[0076]
[0077] 式中， 是超边εi和相邻超边εj的联合表示，Wq1是联合表示可训练权重， 是联合表示可训练偏置项，εj是超边εi的相邻超边， 是相邻超边εj的超边特征向量，ALL(γi)是包含超图顶点γi的所有超边的集合；
[0078] 步骤S5322：计算超图顶点γi和最近邻域空间内的其他超图顶点γj的上下文语义类同性 计算公式为：
[0079]
[0080] 式中， 是超图顶点γi和最近邻域空间内的其他超图顶点γj的上下文语义类同性，Wq2是语义类同可训练权重， 是超图顶点γi的特征向量， 是最近邻域空间内的其他超图顶点γj的特征向量，⊙是元素矩阵乘法，εj是超边εi的相邻超边， 是相邻超边εj的超边特征向量，ALL(γi)是包含超图顶点γi的所有超边的集合；
[0081] 步骤S533：对联合表示 和上下文语义类同性
[0082] 进行组合，构建超边学习层，计算公式为：
[0083]
[0084] 式中， 是联合表示 和上下文语义类同性 的组合特征向量，L是ALL(γi)中包含的超边数，l是超边计数索引，ALL(γi)是包含超图顶点γi的所有超边的集合，是组合可学习矩阵， 是超边εi和相邻超边εj的联合表示， 是超图顶点γi和最近邻域空间内的其他超图顶点γj的上下文语义类同性， 是连接运算符；
[0085] 步骤S54：多模态超图构造，具体包括以下步骤：
[0086] 步骤S541：定义高光谱模态超图GHSI，得到高光谱模态顶点集ΓHSI和高光谱模态超HSI边集E ，所述高光谱模态超图的计算公式为：
[0087] GHSI(ΓHSI,EHSI)；
[0088] 式中，ΓHSI是高光谱模态顶点集，EHSI是高光谱模态超边集；
[0089] 步骤S542：定义光测距‑合成孔径雷达模态超图GLS，得到光测距‑合成孔径雷达模LS LS态顶点集Γ 和光测距‑合成孔径雷达模态超边集E ，所述光测距‑合成孔径雷达模态超图的计算公式为：
[0090] GLS＝(ΓLS,ELS)；
[0091] 式中，ΓLS是高光谱模态顶点集，ELS是高光谱模态超边集；
[0092] 步骤S543：计算高光谱模态顶点特征矩阵集PHSI，计算公式为：
[0093]
[0094] 式中，PHSI是高光谱模态顶点特征矩阵集， 是高光谱模态超图顶点的特征向HSI量，|Γ |是高光谱模态超图顶点总量；
[0095] 步骤S544：计算光测距‑合成孔径雷达模态特征矩阵集PLS，计算公式为：
[0096]
[0097] 式中，PLS是光测距‑合成孔径雷达模态顶点特征矩阵集， 是光测距‑合成孔径LS雷达模态超图顶点的特征向量，|Γ |是光测距‑合成孔径雷达模态超图顶点总量；
[0098] 步骤S545：计算多模态顶点间特征矩阵ψ，计算公式为：
[0099]
[0100] 式中，ψ是多模态顶点间特征矩阵， 是高光谱模态顶点特征矩阵集PHSI的转置矩阵集，PLS是光测距‑合成孔径雷达模态顶点特征矩阵集；
[0101] 步骤S546：通过计算多模态顶点间特征矩阵，构造多模态超图GMuti；
[0102] 步骤S55：超图动态更新，具体包括以下步骤：
[0103] 步骤S551：计算所述多模态超图GMuti的顶点特征矩阵集PMuti，计算公式为：
[0104]
[0105] 式中，PMuti是多模态超图GMuti的顶点特征矩阵集， 是多模态超图GMuti的第i个Muti Muti顶点的特征向量，|Γ |是多模态超图G 的顶点总量；
[0106] 步骤S552：通过多模态超图GMuti的顶点特征矩阵集PMuti重建多模态超边 计算公式为：
[0107]Muti
[0108] 式中， 是重建后的多模态超边， 是多模态超图G 的第i个顶点， 是Muti多模态超图G 的第i个顶点的最近邻域空间内的第j个超图顶点， 是多模态超Muti Muti Muti
图G 的第i个顶点的最近邻域空间内的所有其他超图顶点的集合，P 是多模态超图G的顶点特征矩阵集；
[0109] 步骤S553：通过重建多模态超边 得到更新多模态超图GMuti*；
[0110] 步骤S56：数据分割，具体为使用动态更新后的更新多模态超图GMuti*输出语义张量，得到遥感分割数据DC。
[0111] 采用上述方案本发明取得的有益效果如下：
[0112] (1)针对在已有的地理信息数据处理过程中，存在着遥感类别多样和数据模态多样导致数据分割处理困难、分类准确性降低和多模态数据属性表征困难的技术问题，本方案创造性地采用基于耦合自循环卷积神经网络的方法进行多模态遥感数据的融合和分类，为后续的遥感数据分割提供更多地理信息，提升了地理信息数据的可靠性和分类的准确性；
[0113] (2)针对在已有的地理信息数据处理过程中，存在着经过分类的多模态遥感数据易出现类不平衡或个别遥感数据类别所包括的研究数据样本数量不足，进而可能导致模型样本过拟合，降低后续数据处理的准确性和可靠性的技术问题，本方案创造性地采用基于数据本体的过采样和数据拼接的方法进行数据增强，平衡了数据分类的遥感数据类别，减少了模型样本过拟合带来的负面影响，提高了数据的可用性；
[0114] (3)针对在已有的地理信息数据处理过程中，存在着缺少一种面向多模态遥感数据的模态间关系建模和分割方法，进而导致单一模态的分割方法不适用于多模态遥感数据处理的技术问题，本方案创造性地采用基于超图构造的多模态遥感数据分割方法，实现了多模态超图构造并通过分割得到多模态遥感数据的像素级语义，提高了地理信息数据处理的跨模态兼容性和多模态融合数据的处理有效性。
附图说明
[0115] 图1为本发明提供的一种地理信息数据处理系统的结构示意图；
[0116] 图2为本发明提供的一种地理信息数据处理方法的流程示意图；
[0117] 图3为本发明提供的一种地理信息数据处理方法的数据流图；
[0118] 图4步骤S3的流程示意图；
[0119] 图5为步骤S4的流程示意图；
[0120] 图6为步骤S5的流程示意图。
[0121] 附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
具体实施方式
[0122] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0123] 实施例一，参阅图1和图3，本发明提供的一种地理信息数据处理系统，包括信息采集模块、遥感数据预处理模块、多模态遥感数据融合及分类模块、多模态遥感数据增强模块和遥感数据分割模块，所述信息采集模块对地理信息进行采集，得到遥感原始数据，并将所述遥感原始数据发送至遥感数据预处理模块；所述遥感数据预处理模块接收信息采集模块发送的遥感原始数据，对所述遥感原始数据进行矫正、噪声去除和归一化处理操作，得到多模态遥感数据集，并将所述多模态遥感数据集发送至多模态遥感数据融合及分类模块；所述多模态遥感数据融合及分类模块接收遥感数据预处理模块发送的多模态遥感数据集，基于耦合自循环卷积神经网络的方法进行多模态遥感数据的融合和分类，得到待增强遥感数据集，并将所述待增强遥感数据集发送至多模态遥感数据增强模块；所述多模态遥感数据增强模块接收多模态遥感数据融合及分类模块发送的待增强遥感数据集，利用基于数据本体的过采样和数据拼接的方法进行数据增强，平衡数据分类的遥感数据类别，得到增强遥感数据集，并将所述增强遥感数据集发送至遥感数据分割模块；所述遥感数据分割模块接收多模态遥感数据增强模块发送的增强遥感数据集，基于超图构造的多模态遥感数据分割方法进行分割，得到遥感分割数据。
[0124] 实施例二，该实施例基于上述实施例，参阅图2，本发明提供的一种地理信息数据处理方法及系统，该方法包括以下步骤：
[0125] 步骤S1：信息采集；
[0126] 步骤S2：遥感数据预处理；
[0127] 步骤S3：多模态遥感数据融合及分类；
[0128] 步骤S4：多模态遥感数据增强；
[0129] 步骤S5：遥感数据分割。
[0130] 实施例三，该实施例基于上述实施例，参阅图1、图2和图3，在步骤S1中，所述信息采集，具体指采集得到遥感原始数据。
[0131] 实施例四，该实施例基于上述实施例，参阅图1、图2和图3，在步骤S2中，所述遥感数据预处理，具体指对所述遥感原始数据进行矫正、噪声去除和归一化处理操作，得到多模态遥感数据集X，所述多模态遥感数据集X包括高光谱遥感数据XHSI和光测距‑合成孔径雷达数据XLS。
[0132] 实施例五，该实施例基于上述实施例，参阅图2、图3和图4，在步骤S3中，所述多模态遥感数据融合及分类，具体指构建采用基于耦合自循环卷积神经网络的方法对所述多模态遥感数据集X进行数据融合和数据分类，具体包括以下步骤：
[0133] 步骤S31：采用光谱空间特征提取器构建数据融合模型的卷积层和激活层，对所述多模态遥感数据集X进行特征提取，具体包括以下步骤：
[0134] 步骤S311：使用三维卷积神经网络从高光谱遥感数据XHSI中提取得到三维光谱空间特征 计算公式为：
[0135]
[0136] 式中， 是第i个输入样本所对应的三维光谱空间特征，ReLu()是ReLu非线i性激活函数， 是三维卷积权重，⊙是三维卷积运算符，{XHSI}是第i个样本所对应的多模态高光谱遥感数据输入， 是三维卷积偏置项；
[0137] 步骤S312：使用二维卷积神经网络从三维光谱空间特征 中整形并提取得到二维光谱空间特征 计算公式为：
[0138]
[0139] 式中， 是第i个输入样本所对应的二维光谱空间特征，ReLu()是ReLu非线性激活函数， 是二维光谱空间特征卷积权重， 是二维卷积运算符， 是第i个样本所对应的二维光谱空间特征输入， 是二维光谱空间特征卷积偏置项；
[0140] 步骤S313：使用二维卷积神经网络从光测距‑合成孔径雷达数据XLS中提取得到二维光测距‑合成孔径雷达空间特征 计算公式为：
[0141]
[0142] 式中， 是第i个输入样本所对应的二维光测距‑合成孔径雷达空间特征，ReLu()是ReLu非线性激活函数， 是二维光测距‑合成孔径雷达空间特征卷积权重， 是i二维卷积运算符，{XLS}是第i个样本所对应的光测距‑合成孔径雷达数据输入， 是二维光测距‑合成孔径雷达空间特征卷积偏置项；
[0143] 步骤S32：采用多尺度耦合自循环模块构建数据融合模型的池化层，得到多模态遥f感数据融合数据集X，具体包括以下步骤：
[0144] 步骤S321：对所述二维光谱空间特征 进行特征融合，并通过全局平均池化函数连接融合后的特征，计算公式为：
[0145]
[0146] 式中， 是第i个样本所对应的光谱特征池化值，GAP()是全局平均池化函数，∪·是串联运算符，K是耦合自循环模块的总层数，j是层级索引， 是第i个样本位于第j层经过特征融合后的二维光谱空间融合特征；
[0147] 步骤S322：对所述二维光测距‑合成孔径雷达空间特征 进行特征融合，并通过全局平均池化函数连接融合后的特征，计算公式为：
[0148]
[0149] 式中， 是第i个样本所对应的光测距‑合成孔径雷达特征池化值，GAP()是全局平均池化函数，K是耦合自循环模块的总层数，j是层级索引， 是第i个样本位于第j层经过特征融合后的二维光测距‑合成孔径雷达空间融合特征；
[0150] 步骤S323：通过串联光谱特征池化值 和光测距‑合成孔径雷达特征池化值f得到多模态遥感数据融合数据集X；
[0151] 步骤S33：采用分类器构建数据分类模型，并构建全连接层计算多模态遥感数据的分类概率，得到多模态遥感数据分类模型MRSDC，具体包括以下步骤：
[0152] 步骤S331：构建第一全连接层FC1，并通过第一全连接层FC1连接所述光谱特征池化值 和所述光测距‑合成孔径雷达特征池化值 计算公式为：
[0153]
[0154] 式中， 是第i个样本所对应的多模态特征串联值，FC1()是第一全连接层函数，[]是串联操作， 是第i个样本所对应的光谱特征池化值， 是第i个样本所对应的光测距‑合成孔径雷达特征池化值；
[0155] 步骤S332：构建第二全连接层，通过第二全连接层FC2连接各卷积核空间内的各个样本的多模态特征串联值 并采用softmax函数激活，计算公式为：
[0156]
[0157] 式中， 是第i个样本的softmax分类值，softmax()是激活函数，FC2()是第二全连接层函数，S是卷积核的空间大小的集合，s是卷积核空间索引， 是第i个样本所对应的多模态特征串联值；
[0158] 步骤S333：通过交叉熵损失函数LCE优化分类器计算概率的准确率，所述交叉熵损失函数LCE的计算公式为：
[0159]
[0160] 式中，LCE是交叉熵损失函数， 是第i个样本的真实概率，n是样本总数；
[0161] 步骤S334：通过采用光谱空间特征提取器构建数据融合模型的卷积层和激活层、采用多尺度耦合自循环模块构建池化层、构建全连接层并采用分类器计算多模态遥感数据的分类概率，得到多模态遥感数据分类模型MRSDC；
[0162] 步骤S34：使用多模态遥感数据分类模型MRSDC对所述多模态遥感数据融合数据集Xf进行数据分类，得到待增强遥感数据集DO；
[0163] 通过执行上述操作，针对在已有的地理信息数据处理过程中，存在着遥感类别多样和数据模态多样导致数据分割处理困难、分类准确性降低和多模态数据属性表征困难的技术问题，本方案创造性地采用基于耦合自循环卷积神经网络的方法进行多模态遥感数据的融合和分类，为后续的遥感数据分割提供更多地理信息，提升了地理信息数据的可靠性和分类的准确性。
[0164] 实施例六，该实施例基于上述实施例，参阅图2、图3和图5，在步骤S4中，所述遥感数据增强，具体指采用过采样和数据拼接的方法，选取所述待增强遥感数据集DO中的部分数据作为原始训练遥感数据集DTR，并对所述原始训练遥感数据集DTR中的原始训练数据IO进行数据增强，包括以下步骤：
[0165] 步骤S41：通过90°、180°和270°的角度旋转原始训练数据IO，得到旋转数据集DR；
[0166] 步骤S42：依据步骤S41中的所述旋转数据集DR中的遥感数据的类型，建立遥感模板数据集DT，并选用数量较少的遥感数据类型作为少数类别遥感数据集DS；
[0167] 步骤S43：统计旋转数据集DR中每个类别的遥感数据的数量，以数量最多的类型的遥感数据的数量作为基准，计算每种类别所需要增加的遥感数据数量；
[0168] 步骤S44：对于每种类型的遥感数据，使用所述少数类别遥感数据集DS中一定数量的数据和所述遥感模板数据集DT中的随机数量的合成新的训练数据，得到合成训练遥感数据IN；
[0169] 步骤S45：重复步骤S44，直到所述原始训练遥感数据集DTR中不同类别的遥感数据数量达到平衡，得到增强遥感数据集DGC；
[0170] 通过执行上述操作，针对在已有的地理信息数据处理过程中，存在着经过分类的多模态遥感数据易出现类不平衡或个别遥感数据类别所包括的研究数据样本数量不足，进而可能导致模型样本过拟合，降低后续数据处理的准确性和可靠性的技术问题，本方案创造性地采用基于数据本体的过采样和数据拼接的方法进行数据增强，平衡了数据分类的遥感数据类别，减少了模型样本过拟合带来的负面影响，提高了数据的可用性。
[0171] 实施例七，该实施例基于上述实施例，参阅图2、图3和图6，在步骤S5中，所述遥感数据分割，具体包括以下步骤：
[0172] 步骤S51：图形投影，具体为采用卷积神经网络提取增强遥感数据集DGC中的特征，并将具有相似特征的像素分配至相同的顶点集，得到顶点集Γ，所述顶点集Γ的计算公式为：
[0173]
[0174] 式中，Γ是顶点集，γi是第i个超图顶点，i是顶点标号索引，|Γ|是超图顶点总量；
[0175] 步骤S52：单模态超图构造，具体包括以下步骤：
[0176] 步骤S521：定义超图构造所需要提取的超边集E，所述超边集E的计算公式为：
[0177]
[0178] 式中，E是超边集，εj是第j条超边，j是顶点标号索引，|E|是超边总量；
[0179] 步骤S522：通过计算语义相似性Sij得到每个超图顶点γi的最近邻域空间，并使用超边εj连接最近邻域空间内的其他超图顶点γj，所述语义相似性Sij的计算公式为：
[0180]
[0181] 式中，Sij是语义相似性，exp()是自然指数函数，d()是距离度量函数， 是超图顶点γi的顶点特征向量， 是超边εj的超边特征向量，η是长度尺度超参数，i是顶点标号索引，j是超边标号索引；
[0182] 步骤S523：通过确定超图顶点集Γ和超边集E，并通过超边连接相应的超图顶点进行超图构造，得到顶点特征矩阵集P，所述顶点特征矩阵集P的计算公式为：
[0183]
[0184] 式中，P是顶点特征矩阵集， 是超图顶点γi的顶点特征向量，i是顶点标号索引，|Γ|是超图顶点总量；
[0185] 步骤S524：通过确定超图顶点集Γ和超边集E，并通过超边连接相应的超图顶点进行超图构造，得到超边特征矩阵集Q，所述超边特征矩阵集Q的计算公式为：
[0186]
[0187] 式中，Q是超边特征矩阵集， 是超边εi的超边特征向量，i是顶点标号索引，|E|是超边总量；
[0188] 步骤S525：通过得到所述顶点特征矩阵集P和所述超边特征矩阵集Q，构造得到单sig模态超图G ；
[0189] 步骤S53：自适应性超图学习，具体包括以下步骤：
[0190] 步骤S531：构建顶点学习层，具体为采用注意力机制，计算超图顶点γi和最近邻域空间内的其他超图顶点γj之间的类同性Cij，计算公式为：
[0191]
[0192] 式中，Cij是超图顶点γi和最近邻域空间内的其他超图顶点γj之间的类同性，是激活函数， 是顶点类同可训练参数和Wp1是顶点类同可训练权重， 是超图顶点γi的顶点特征向量，是连接运算符， 是最近邻域空间内的其他超图顶点γj的顶点特征向量，εi是以γi作为中心顶点的超边；
[0193] 步骤S532：构建超边学习层，具体包括以下步骤：
[0194] 步骤S5321：计算超边εi和相邻超边εj的联合表示 计算公式为：
[0195]
[0196] 式中， 是超边εi和相邻超边εj的联合表示，Wq1是联合表示可训练权重， 是联合表示可训练偏置项，εj是超边εi的相邻超边， 是相邻超边εj的超边特征向量，ALL(γi)是包含超图顶点γi的所有超边的集合；
[0197] 步骤S5322：计算超图顶点γi和最近邻域空间内的其他超图顶点γj的上下文语义类同性 计算公式为：
[0198]
[0199] 式中， 是超图顶点γi和最近邻域空间内的其他超图顶点γj的上下文语义类同性，Wq2是语义类同可训练权重， 是超图顶点γi的特征向量， 是最近邻域空间内的其他超图顶点γj的特征向量，⊙是元素矩阵乘法，εj是超边εi的相邻超边， 是相邻超边εj的超边特征向量，ALL(γi)是包含超图顶点γi的所有超边的集合；
[0200] 步骤S533：对联合表示 和上下文语义类同性 进行组合，构建超边学习层，计算公式为：
[0201]
[0202] 式中， 是联合表示 和上下文语义类同性 的组合特征向量，L是ALL(γi)中包含的超边数，l是超边计数索引，ALL(γi)是包含超图顶点γi的所有超边的集合，是组合可学习矩阵， 是超边εi和相邻超边εj的联合表示，
[0203] 是超图顶点γi和最近邻域空间内的其他超图顶点γj的上下文语义类同性， 是连接运算符；
[0204] 步骤S54：多模态超图构造，具体包括以下步骤：
[0205] 步骤S541：定义高光谱模态超图GHSI，得到高光谱模态顶点集ΓHSI和高光谱模态超HSI边集E ，所述高光谱模态超图的计算公式为：
[0206] GHSI＝(ΓHSI,EHSI)；
[0207] 式中，ΓHSI是高光谱模态顶点集，EHSI是高光谱模态超边集；
[0208] 步骤S542：定义光测距‑合成孔径雷达模态超图GLS，得到光测距‑合成孔径雷达模LS LS态顶点集Γ 和光测距‑合成孔径雷达模态超边集E ，所述光测距‑合成孔径雷达模态超图的计算公式为：
[0209] GLS＝(ΓLS,ELS)；
[0210] 式中，ΓLS是高光谱模态顶点集，ELS是高光谱模态超边集；
[0211] 步骤S543：计算高光谱模态顶点特征矩阵集PHSI，计算公式为：
[0212]
[0213] 式中，PHSI是高光谱模态顶点特征矩阵集， 是高光谱模态超图顶点的特征向HSI量，|Γ |是高光谱模态超图顶点总量；
[0214] 步骤S544：计算光测距‑合成孔径雷达模态特征矩阵集PLS，计算公式为：
[0215]
[0216] 式中，PLS是光测距‑合成孔径雷达模态顶点特征矩阵集， 是光测距‑合成孔径LS雷达模态超图顶点的特征向量，|Γ |是光测距‑合成孔径雷达模态超图顶点总量；
[0217] 步骤S545：计算多模态顶点间特征矩阵ψ，计算公式为：
[0218]
[0219] 式中，ψ是多模态顶点间特征矩阵， 是高光谱模态顶点特征矩阵集PHSI的转置矩阵集，PLS是光测距‑合成孔径雷达模态顶点特征矩阵集；
[0220] 步骤S546：通过计算多模态顶点间特征矩阵，构造多模态超图GMuti；
[0221] 步骤S55：超图动态更新，具体包括以下步骤：
[0222] 步骤S551：计算所述多模态超图GMuti的顶点特征矩阵集PMuti，计算公式为：
[0223]
[0224] 式中，PMuti是多模态超图GMuti的顶点特征矩阵集，
[0225] 是多模态超图GMuti的第i个顶点的特征向量，|ΓMuti|是多模态超图GMuti的顶点总量；Muti Muti
[0226] 步骤S552：通过多模态超图G 的顶点特征矩阵集P 重建多模态超边 计算公式为：
[0227]Muti
[0228] 式中， 是重建后的多模态超边， 是多模态超图G 的第i个顶点， 是Muti多模态超图G 的第i个顶点的最近邻域空间内的第j个超图顶点， 是多模态超Muti Muti Muti
图G 的第i个顶点的最近邻域空间内的所有其他超图顶点的集合，P 是多模态超图G的顶点特征矩阵集；
[0229] 步骤S553：通过重建多模态超边 得到更新多模态超图GMuti*；
[0230] 步骤S56：数据分割，具体为使用动态更新后的更新多模态超图GMuti*输出语义张量，得到遥感分割数据DC；
[0231] 通过执行上述操作，针对在已有的地理信息数据处理过程中，存在着缺少一种面向多模态遥感数据的模态间关系建模和分割方法，进而导致单一模态的分割方法不适用于多模态遥感数据处理的技术问题，本方案创造性地采用基于超图构造的多模态遥感数据分割方法，实现了多模态超图构造并通过分割得到多模态遥感数据的像素级语义，提高了地理信息数据处理的跨模态兼容性和多模态融合数据的处理有效性。
[0232] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程和方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程和方法所固有的要素。
[0233] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
[0234] 以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。
