本发明涉及一种基于公共空‑谱子空间的多分辨率高光谱/SAR影像配准方法，包括步骤：搭建深度公共空‑谱子空间提取网络，将网络映射于多分辨率高光谱/SAR图像对，获取公共空‑谱子空间图像对；采用Harris算法提取角点；采用SIFT对角点构建描述符，并进行角点匹配；采用GMS方法进行误差点剔除；采用正确匹配点计算仿射矩阵，并映射于高光谱图像实现图像配准。本发明的有益效果是：利用了深度学习的非线性映射机制，并结合Harris角点检测的有效性、SIFT描述符的稳定性配准高光谱数据与SAR数据，克服了空间与光谱差异的问题，极大地提高了多分辨率高光谱/SAR影像配准精度，为后续应用提供可靠的支持，实用性强。
1.一种基于公共空‑谱子空间的多分辨率高光谱/SAR影像配准方法，其特征在于，包括以下步骤：S1、搭建深度公共空‑谱子空间提取网络，并对网络进行训练，将网络映射于多分辨率高光谱/SAR图像对，获取公共空‑谱子空间图像对；步骤S1具体为：首先提取输入数据的PCA特征，深度公共空‑谱子空间提取网络中提取输入数据的PCA特征的数学表达为Fin＝σ(f(PCA(image，1)))其中Fin为卷积特征，σ(·)与f(·)分别为ReLU激活函数和卷积运算，image为遥感数据，image＝[HS，SAR]，HS为高光谱图像，SAR为合成孔径雷达图像；PCA(·，1)为计算数据的第一主成分运算；
提取输入数据的PCA特征后，进行残差密集特征提取和总体损失的计算；
在深度公共空‑谱子空间提取网络中残差密集模块设计如下：Fr1＝σ(f(Fin))
其中Fr1，Fr2，Fr3和Fr4分别表示残差密集模块每层的卷积特征，cat(·)表示特征叠加运算， 为特征相加运算，Ffinal为最终获取的卷积特征；
设计了多分辨率高光谱/SAR图像对的公共空‑谱子空间的子空间一致损失函数和梯度幅度一致损失函数，得到最终的损失函数如下：lossoverall＝loss1+loss2
其中lossoverall为总体损失，loss1，loss2分别表示子空间一致损失、梯度幅度一致损失；
其中G∈[1，2，…，g]为样本数量，||·||1为l1范数，loss1为子空间一致损失；
FHfinal为高光谱最终的特征层，计算方式为将高光谱图像作为网络输入获取最终的高光谱特征，并采用权值共享获取最终的SAR特征FHfinal＝Λ(HS)
FMfinal为通过网络映射运算得到的SAR最终的特征层，计算方式为FMfinal＝Γ(SAR，Θ)
其中Γ(·)表示网络映射运算，Θ表示高光谱作为输入获取最终高光谱特征过程中所生成的网络模型；
计算梯度幅度一致损失的具体方法为，先计算图像梯度幅度
其中Gra表示图像梯度，I表示输入图像，x和y分别表示图像的水平和垂直方向，⊙表示卷积算子，Πx和∏y分别表示在x和y方向上的滤波运算，为偏导运算符；采用高光谱和SAR第一主成分图像，公共子空间图像对作为输入，得到其中 分别表示HS，SAR，FHfinal，FMfinal的梯度，则高光谱与SAR第一主成分图像的平均梯度为将其作为参考梯度，得到子空间 与Graref的损失分别为最终得到梯度幅度一致损失loss2＝lossg1+lossg2；
S2、采用Harris算法提取公共空‑谱子空间图像对的角点；
S3、在公共空‑谱子空间图像对中采用SIFT对角点构建描述符，并进行角点匹配；
S5、采用正确匹配点计算仿射矩阵，并映射于高光谱图像实现图像配准。
2.根据权利要求1所述的基于公共空‑谱子空间的多分辨率高光谱/SAR影像配准方法，其特征在于，步骤S2具体为：采用步骤1中得到的公共空‑谱子空间图像对作为数据集，使用Harris算子对公共空‑谱子空间图像进行角点检测，获取角点的坐标信息；具体方法为首先计算图像在水平与垂直方向上的梯度矩阵其中P表示矩阵，x和y分别表示图像的水平和垂直方向；根据得到的梯度矩阵Px和Py构建L矩阵其中II为滤波运算；然后计算矩阵P每个元素的得分值R
其中R为得分值，Det(·)为矩阵L的行列式值，Tr(·)为矩阵L的迹，k＝0.04为敏感值；
3.根据权利要求1所述的基于公共空‑谱子空间的多分辨率高光谱/SAR影像配准方法，其特征在于，步骤S3具体为：首先确定所需计算的图像区域半径其中α为关键点所在组的尺度，d＝2为常数项；
然后旋转坐标轴到角点主方向，将由图像区域半径圈中的邻域内的像素划分为16×16个子域，进一步将其划分为4×4块，分别计算每个块内8个方向的梯度方向直方图；对每个角点求4×4×8＝128维的SIFT特征向量，并对每个角点的特征向量中的描述符进行归一化处理其中lj为归一化后的第j个描述符，zj为归一化前的第j个描述符；
使用欧氏距离计算公共空‑谱子空间图像对中各角点的描述符之间相似性，欧氏距离的计算公式为其中，a和b分别为两幅图像中的角点，da，b为a、b两点的欧氏距离，laj为归一化后角点a的第j个描述符，lbj为归一化后角点b的第j个描述符；找到两幅图像中相似性距离最近、且最近的相似性距离与次近的相似性距离的比例低于一定阈值的角点，将其两两匹配。
4.根据权利要求1所述的基于公共空‑谱子空间的多分辨率高光谱/SAR影像配准方法，其特征在于，步骤S4具体为：首先采用多邻域模型，将公共空‑谱子空间图像划分为多个不重合的网格 和Ni＝{cj|cj∈Ca，ci≠cj}
其中cj和ci表示不同的被匹配的像素点，Ca表示网格 中的所有匹配点，Ni为ci的邻域；
定义Ni的相似邻域Si为Si＝{cj|cj∈Cab，ci≠cj}，其中Cab表示同时落在网格 和 中的匹配点对，因此，可对Si建模如下其中B(·，·)表示二项分布，k表示邻域个数，n表示邻域内的匹配对的数量，t和∈分别表示正确和错误匹配被其某个邻域窗口匹配支持的概率；之后，通过Si的均值和标准差构建区分度模型，并设置阈值其中DP为区分度，Et和Ef分别为Si正确匹配和错误匹配的数学期望，Vt和Vf分别为Si正确匹配和错误匹配的方差；τ为阈值，β为调节系数，通过设定阈值对误配点进行剔除。
5.根据权利要求1所述的基于公共空一谱子空间的多分辨率高光谱/SAR影像配准方法，其特征在于，步骤S5具体为：求解以下方程获得配准参数，并利用获得的仿射变换参数对高光谱图像进行双线性插值实现配准其中un、vn和um、vm表示匹配点的坐标，m＝n为匹配点的数量，dx和dy表示在x和y方向上的偏移，Ω为尺度因子，α为旋转角度。
基于公共空‑谱子空间的多分辨率高光谱/SAR影像配准方法
技术领域
[0001] 本发明属于光学遥感图像处理技术领域，尤其涉及一种基于公共空‑谱子空间的多分辨率高光谱/SAR影像配准方法。
背景技术
[0002] 遥感图像是对地观测领域最主要的数据来源。但是由于成像时间不同、传感器类型不同、成像条件不同，图像间经常存在几何偏差，严重影响了多源数据的协同应用。图像配准旨在消除图像间的几何偏差，为后续图像融合等处理提供技术支撑。图像配准作为遥感图像处理的重要步骤之一，对提升多源数据的协同应用具有重要的意义，是目前改进多源数据间几何精度的重要手段。
[0003] 高光谱数据与SAR数据被广泛应用于对地观测，但是由于传感器设计差异，图像间明显的空间分辨率差异导致清晰度不一致，光谱信息差异导致灰度差较大，并且图像波段数相差较大，例如高光谱图像通常包含大于100的波段数，使得高光谱与SAR图像之间的配准非常具有挑战性。
[0004] 目前，针对遥感数据配准的方法主要有三种：基于特征的方法、基于灰度的方法和基于深度学习的方法。基于特征的配准方法是目前最常用的配准方法之一，该算法只需要提取待配准图像中的点、线、边缘等特征信息，不需要其它辅助信息。但是由于该算法只采用了图像一小部分的特征信息，所以这种算法对特征提取和特征匹配的精度及准确性要求非常高，对错误非常敏感。基于灰度的方法以整幅图像的灰度信息为依据，建立待配准图像和基准参考图像之间的相似性度量，利用搜索算法寻找出使得相似度量达到最优值的变换模型参数，但是这类方法对于图像灰度变化敏感，计算效率低。基于深度学习的方法通过提取图像的深层与浅层特征，非线性地计算图像间的配准参数，但是计算效率较低，并且需要大量的训练数据。且以上方法均未能考虑空间分辨率和灰度差异同时存在情况下的配准方案，当两种情况同时存在时，目前的方法配准结果较差，方法实用性受限。
发明内容
[0005] 本发明的目的是克服现有技术中的不足，提供一种基于公共空‑谱子空间的多分辨率高光谱/SAR影像配准方法。
[0006] 这种基于公共空‑谱子空间的多分辨率高光谱/SAR影像配准方法，包括以下步骤：
[0007] S1、搭建深度公共空‑谱子空间提取网络，并对网络进行训练，将网络映射于多分辨率高光谱/SAR图像对，获取公共空‑谱子空间图像对；
[0008] S2、采用Harris算法提取公共空‑谱子空间图像对的角点；
[0009] S3、在公共空‑谱子空间图像对中采用SIFT对角点构建描述符，并进行角点匹配；
[0010] S4、采用GMS方法进行误差点剔除；
[0011] S5、采用正确匹配点计算仿射矩阵，并映射于高光谱图像实现图像配准。
[0012] 作为优选，步骤S1具体为：首先网络定义为Λ，其数学表达为
[0013] Fin＝σ(f(PCA(image,1)))
[0014] 其中Fin为卷积特征，σ(·)与f(·)分别为ReLU激活函数和卷积运算，image为遥感数据，PCA(·,1)为计算数据的第一主成分运算；
[0015] 然后进行残差密度特征提取和总体损失的计算。
[0016] 作为优选，步骤S1中：在深度公共空‑谱子空间提取网络中残差密度模块设计如下：
[0017] Fr1＝σ(f(Fin))
[0018]
[0019]
[0020] Fr4＝f(cat(Fin,Fr1,Fr2))
[0021]
[0022] 其中Fr1，Fr2，Fr3和Fr4分别表示残差密度模块每层的卷积特征，cat(·)表示特征叠加运算， 为特征相加运算，Ffinal为最终获取的卷积特征；
[0023] 设计了多分辨率高光谱/SAR图像对的公共空‑谱子空间的子空间一致损失函数和梯度幅度一致损失函数，得到最终的损失函数如下：
[0024] lossoverall＝loss1+loss2
[0025] 其中lossoverall为总体损失，loss1，loss2分别表示子空间一致损失、梯度幅度一致损失。
[0026] 作为优选，步骤S1中：子空间一致损失函数为
[0027]
[0028] 其中G∈[1,2,…,g]为样本数量，‖·‖1为l1范数，loss1为子空间一致损失；
[0029] FHfinal为高光谱最终的特征层，计算方式为将高光谱图像作为网络输入获取最终的高光谱特征，并采用权值共享获取最终的SAR特征
[0030] FHfinal＝Λ(HS)
[0031] 其中HS为高光谱数据；
[0032] FMfinal为通过网络映射运算得到的SAR最终的特征层，计算方式为[0033] FMfinal＝Γ(SAR,Θ)
[0034] 其中Γ(·)表示网络映射运算，Θ表示高光谱作为输入获取最终高光谱特征过程中所生成的网络模型。
[0035] 作为优选，步骤S1中：计算梯度幅度一致损失的具体方法为，先计算图像梯度幅度[0036]
[0037] 其中Gra表示图像梯度，I表示输入图像，x和y分别表示图像的水平和垂直方向，⊙表示卷积算子，Пx和Пy分别表示在x和y方向上的滤波运算, 为偏导运算符；采用高光谱和SAR第一主成分图像，公共子空间图像对作为输入，得到
[0038]
[0039] 其中 分别表示HS,SAR,FHfinal,FMfinal的梯度，则高光谱与SAR第一主成分图像的平均梯度为
[0040]
[0041] 将其作为参考梯度，得到子空间 与Graref的损失分别为
[0042]
[0043]
[0044] 最终得到梯度幅度一致损失loss2＝lossg1+lossg2
[0045] 作为优选，步骤S2具体为：采用步骤1中得到的公共空‑谱子空间图像对作为数据集，使用Harris算子对公共空‑谱子空间图像进行角点检测，获取角点的坐标信息；具体方法为
[0046] 首先计算图像在水平与垂直方向上的梯度矩阵
[0047]
[0048]
[0049] 其中P表示矩阵，x和y分别表示图像的水平和垂直方向；根据得到的梯度矩阵Px和Py构建L矩阵
[0050]
[0051] 其中Π为滤波运算；然后计算矩阵P每个元素的得分值R
[0052]
[0053] 其中R为得分值，Det(·)为矩阵L的行列式值，Tr(·)为矩阵L的迹，k＝0.04为敏感值；选取局部窗口内的极值点作为角点。
[0054] 作为优选，步骤S3具体为：首先确定所需计算的图像区域半径
[0055]
[0056] 其中α为关键点所在组的尺度，d＝2为常数项；
[0057] 然后旋转坐标轴到角点主方向，将由图像区域半径圈中的邻域内的像素划分为16×16个子域，进一步将其划分为4×4块，分别计算每个块内8个方向的梯度方向直方图；对每个角点求4×4×8＝128维的SIFT特征向量，作为该角点描述符，最后对描述符进行归一化处理
[0058]
[0059] 其中lj为归一化后的第j个描述符，zj为归一化前的第j个描述符；
[0060] 使用欧氏距离计算公共空‑谱子空间图像对中各角点的描述符之间相似性，欧氏距离的计算公式为
[0061]
[0062] 其中，a和b分别为两幅图像中的角点，da,b为a、b两点的欧氏距离，laj为归一化后角点a的第j个描述符，lbj为归一化后角点b的第j个描述符；找到两幅图像中相似性距离最近、且最近的相似性距离与次近的相似性距离的比例低于一定阈值的角点，将其两两匹配。
[0063] 作为优选，步骤S4具体为：首先采用多邻域模型，将两幅图像划分为多个不重合的网格 和
[0064] Ni＝{cj|cj∈Ca，ci≠cj}
[0065] 其中cj和ci表示不同的被匹配的像素点，Ca表示网格 中的所有匹配点，Ni为ci的邻域；定义Ni的相似邻域Si为Si＝{cj|cj∈Cab，ci≠cj}，其中Cab表示同时落在网格 和 中的匹配点对，因此，可对Si建模如下
[0066]
[0067] 其中B(·,·)表示二项分布，k表示邻域个数，n表示邻域内的匹配对的数量，t和∈分别表示正确和错误匹配被其某个邻域窗口匹配支持的概率；之后，通过Si的均值和标准差构建区分度模型，并设置阈值
[0068]
[0069]
[0070] 其中DP为区分度，Et和Ef分别为Si正确匹配和错误匹配的数学期望，Vt和Vf分别为Si正确匹配和错误匹配的方差；τ为阈值，β为调节系数，通过设定阈值对误配点进行剔除。
[0071] 作为优选，步骤S5具体为：求解以下方程获得配准参数，并利用获得的仿射变换参数对高光谱图像进行双线性插值实现配准
[0072]
[0073] 其中un，vn和um，vm表示匹配点的坐标，m＝n为匹配点的数量，dx和dy表示在x和y方向上的偏移，Ω为尺度因子，α为旋转角度。
[0074] 本发明的有益效果是：
[0075] 1)本发明搭建深度公共空‑谱子空间提取网络，并对网络进行训练，采用Harris算法提取公共空‑谱子空间图像对的角点，在公共空‑谱子空间图像对中采用SIFT对角点构建描述符并进行角点匹配后，采用GMS方法对误差点进行剔除,并采用正确匹配点计算仿射矩阵，映射于高光谱图像实现图像配准，极大地提高了多分辨率高光谱/SAR影像配准精度，为后续应用提供可靠的支持。
[0076] 2)本发明利用了深度学习的非线性映射机制，并结合Harris角点检测的有效性、SIFT描述符的稳定性配准高光谱数据与SAR数据，克服了空间与光谱差异的问题，实现了多分辨率高光谱/SAR影像高效率与高质量配准，实用性强。
附图说明
[0077] 图1为本发明的步骤S1的流程示意图；
[0078] 图2为本发明的步骤S2至步骤S5的流程示意图；
[0079] 图3为不同方法得到的配准结果的对比。
具体实施方式
[0080] 下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
[0081] 实施例一
[0082] 作为一种实施例，如图1至图3所示：这种基于公共空‑谱子空间的多分辨率高光谱/SAR影像配准方法，包括：
[0083] S1、搭建深度公共空‑谱子空间提取网络，获取公共空‑谱子空间图像对；本步骤的目的在于提升多分辨率高光谱/SAR图像的空间与灰度一致性，为后续角点选取与描述符匹配提供数据支撑，具体过程为：
[0084] 首先网络定义为Λ，计算其卷积特征
[0085] Fin＝σ(f(PCA(image,1)))
[0086] 其中Fin为卷积特征，σ(·)与f(·)分别为ReLU激活函数和卷积运算，image为遥感数据，PCA(·,1)为计算数据的第一主成分运算；
[0087] 然后进行残差密度特征提取和总体损失的计算
[0088] Fr1＝σ(f(Fin))
[0089]
[0090]
[0091] Fr4＝f(cat(Fin,Fr1,Fr2))
[0092]
[0093] 其中Fr1，Fr2，Fr3和Fr4分别表示残差密度模块每层的卷积特征，cat(·)表示特征叠加运算， 为特征相加运算，Ffinal为最终获取的卷积特征；
[0094] 损失函数分为两部分
[0095] lossoverall＝loss1+loss2
[0096] 其中lossoverall为总体损失，loss1，loss2分别表示子空间一致损失、梯度幅度一致损失。
[0097] 子空间一致损失函数的计算方法为
[0098]
[0099] 其中G∈[1,2,…,g]为样本数量，‖·‖1为l1范数，loss1为子空间一致损失；
[0100] FHfinal为高光谱最终的特征层，计算方式为将高光谱图像作为网络输入获取最终的高光谱特征，并采用权值共享获取最终的SAR特征
[0101] FHfinal＝Λ(HS)
[0102] 其中HS为高光谱数据；
[0103] FMfinal为通过网络映射运算得到的SAR最终的特征层，计算过程为[0104] FMfinal＝Γ(SAR,Θ)
[0105] 其中Γ(·)表示网络映射运算，Θ表示高光谱作为输入获取最终高光谱特征过程中所生成的网络模型。
[0106] 计算梯度幅度一致损失的具体方法为，先计算图像梯度幅度
[0107]
[0108] 其中Gra表示图像梯度，I表示输入图像，x和y分别表示图像的水平和垂直方向，⊙表示卷积算子，Πx和Πy分别表示在x和y方向上的滤波运算, 为偏导运算符；采用高光谱和SAR第一主成分图像，公共子空间图像对作为输入，得到
[0109]
[0110] 其中 分别表示HS,SAR,FHfinal,FMfinal的梯度，则高光谱与SAR第一主成分图像的平均梯度为
[0111]
[0112] 将其作为参考梯度，得到子空间 与Graref的损失分别为
[0113]
[0114]
[0115] 最终得到梯度幅度一致损失loss2＝lossg1+lossg2。
[0116] S2、采用Harris算法提取公共空‑谱子空间图像对的角点，充分利用图像的空间信息，提取更鲁棒的特征点集，具体过程为：将步骤1中得到的公共空‑谱子空间图像对作为数据集，使用Harris算子进行角点检测，获取角点的坐标信息；
[0117] 首先计算图像在水平与垂直方向上的梯度矩阵
[0118]
[0119]
[0120] 其中P表示矩阵，x和y分别表示图像的水平和垂直方向；根据得到的梯度矩阵Px和Py构建L矩阵
[0121]
[0122] 其中Π为滤波运算；然后计算矩阵P每个元素的得分值R
[0123]
[0124] 其中R为得分值，Det(·)为矩阵L的行列式值，Tr(·)为矩阵L的迹，k＝0.04为敏感值；选取局部窗口内的极值点作为角点。
[0125] S3、采用SIFT对角点构建描述符，为特征点集的匹配构建特征空间，并进行角点匹配，具体步骤为：
[0126] 首先确定所需计算的图像区域半径
[0127]
[0128] 其中α为关键点所在组的尺度，d＝2为常数项；
[0129] 然后旋转坐标轴到角点主方向，将由图像区域半径圈中的邻域内的像素划分为16×16个子域，进一步将其划分为4×4块，分别计算每个块内8个方向的梯度方向直方图；对每个角点求4×4×8＝128维的SIFT特征向量，并对每个角点的特征向量中的描述符进行归一化处理
[0130]
[0131] 其中lj为归一化后的第j个描述符，zj为归一化前的第j个描述符；
[0132] 使用欧氏距离计算公共空‑谱子空间图像对中各角点的描述符之间相似性，欧氏距离的计算公式为
[0133]
[0134] 其中，a和b分别为两幅图像中的角点，da,b为a、b两点的欧氏距离，laj为归一化后角点a的第j个描述符，lbj为归一化后角点b的第j个描述符；对两幅图像中的所有角点进行欧氏距离的计算，找到两幅图像中相似性距离最近、且最近的相似性距离与次近的相似性距离的比例低于一定阈值的角点，将其两两匹配。
[0135] S4、采用GMS方法进行误差点剔除，利用点集分布的空间特性，采用基于网格的运动统计提取出正确的匹配点，具体方法为：
[0136] 首先采用多邻域模型，将公共空‑谱子空间图像划分为多个不重合的网格 和[0137] Ni＝{cj|cj∈Ca，ci≠cj}
[0138] 其中cj和ci表示不同的被匹配的像素点，Ca表示网格 中的所有匹配点，Ni为ci的邻域；定义Ni的相似邻域Si为Si＝{cj|cj∈Cab，cj≠cj}，其中Cab表示同时落在网格 和 中的匹配点对，因此，可对Si建模如下
[0139]
[0140] 其中B(·,·)表示二项分布，k表示邻域个数，n表示邻域内的匹配对的数量，t和∈分别表示正确和错误匹配被其某个邻域窗口匹配支持的概率；之后，通过Si的均值和标准差构建区分度模型，并设置阈值
[0141]
[0142]
[0143] 其中DP为区分度，Et和Ef分别为Si正确匹配和错误匹配的数学期望，Vt和Vf分别为Si正确匹配和错误匹配的方差；τ为阈值，β为调节系数，通过设定阈值对误配点进行剔除。
[0144] S5、计算仿射矩阵映射于高光谱图像，实现图像的配准，具体方法为：求解以下方程获得配准参数，并利用获得的仿射变换参数对高光谱图像进行双线性插值实现配准[0145]
[0146] 其中un、vn和um、vm表示匹配点的坐标，m＝n为匹配点的数量，dx和dy表示在x和y方向上的偏移，Ω为尺度因子，α为旋转角度。
[0147] 实施例二
[0148] 根据实施例一中，本发明提出的配准方法，本实施例中给出了通过本发明提出的以上方法得到的配准结果与目前主流的三种配准方法结果的对比。
[0149] 对四组数据集分别采用SIFT、PSO‑SIFR、RIFT和本发明的方法，得到这四组数据集的配准结果，并通过四种方法分别对四组数据配准结果的平均均方根误差衡量配准方法的准确性。
[0150] 四种方法得到的配准后的高光谱如图3所示，根据计算，这四种方法分别对四组数据集进行配准后取得平均均方根误差分别为：
[0151] SIFT的平均均方根误差RMSE＝32.67；
[0152] PSO‑SIFT的平均均方根误差RMSE＝22.14；
[0153] RIFT的平均均方根误差RMSE＝46.56；
[0154] 本发明的方法的平均均方根误差RMSE＝0.76。
[0155] 可以看出，本发明提出的方法取得的配准结果准确性明显优于其他方法，能够有效提升高光谱与SAR图像之间的配准有效性，得到高质量的几何校正数据。
