本发明公开了一种SAR图像信息辅助的遥感光学图像浓云检测方法及系统，方法包括S1、将遥感SAR图像和遥感光学图像均匀划分为图像块；S2、计算SAR图像块和光学图像块的HOG特征；S3、对SAR图像块和光学图像块的HOG特征进行融合；S4、将图像块的融合特征输入预先训练好的检测网络进行浓云检测；S5、若发现包含浓云的光学图像块则采用对应的SAR图像块替换。本发明借助了SAR图像信息，提升了浓云检测和去除能力。
1.一种SAR图像信息辅助的遥感光学图像浓云检测方法，其特征在于，包括以下步骤：S1、将遥感SAR图像和遥感光学图像均匀划分为图像块；
S3、对SAR图像块和光学图像块的HOG特征进行融合；
S4、将图像块的融合特征输入预先训练好的检测网络进行浓云检测；
S5、若发现包含浓云的光学图像块则采用对应的SAR图像块替换；
S21、计算每一个SAR图像块的HOG特征，第i个图像块的特征记为fs,i；
S22、计算每一个光学图像块的HOG特征，第i个图像块的特征记为fo,i；
每一个SAR图像块和每一个光学图像块的HOG特征计算过程如下：首先、根据以下公式计算每一个SAR图像块和每一个光学图像块的像素的梯度；
式中p(x,y)为图像块(x,y)点的像素值，g(x,y)为该点的梯度值，θ(x,y)为该点的梯度幅度；
然后、统计每一个SAR图像块和每一个光学图像块的梯度直方图，得到SAR图像块和光学图像块的HOG特征；
所述步骤S4中浓云检测的计算过程如下：di＝Net(fi)
其中，Net为检测网络，检测网络的输出为0和1两种结果，di为第i个图像块的浓云检测结果，di＝0表示第i个光学图像块无浓云，di＝1表示第i个光学图像块存在浓云；
所述步骤S4中检测网络的建立和训练过程如下：S41、获取多幅同个区域的遥感SAR图像和遥感光学图像的数据集；
S42、对数据集中的同个区域遥感SAR图像和遥感光学图像对进行图像块划分，并根据遥感图像的浓云区域对存在浓云的图像块添加标签；
S43、使用步骤S2‑S3计算图像块的融合特征，并存储融合特征和标签数据；
S44、根据图像块大小设计浓云检测网络，采用三层的全连接网络，检测网络用下式表示：
Net(x)＝sigmoid(Wrelu(Wx+b)+b)
其中W、W分别为网络的第一层和第二层权重矩阵，b、b分别为第一层权重矩阵和第二层权重矩阵对应的偏置项；relu为采用的修正线性单元激活函数；sigmoid()为采用的sigmoid激活函数；
S45、将交叉熵作为损失函数，使用随机梯度训练浓云检测网络。
2.根据权利要求1所述的SAR图像信息辅助的遥感光学图像浓云检测方法，其特征在于，在步骤S1中遥感SAR图像Is和遥感光学图像为Io的大小为W×H，其中，W为图像的宽度，H为图像的高度，所述遥感SAR图像和遥感光学图像均有 个图像块，其中为上取整运算，w为设定的图像块大小。
3.根据权利要求1所述的SAR图像信息辅助的遥感光学图像浓云检测方法，其特征在于，在步骤S42中根据遥感图像的浓云区域对存在浓云的图像块添加标签1，反之添加标签
4.一种用于实现权利要求1‑3任意一项所述的SAR图像信息辅助的遥感光学图像浓云检测方法的系统，其特征在于，包括：划分模块，用于将遥感SAR图像和遥感光学图像均匀划分为图像块；
计算模块，用于计算SAR图像块和光学图像块的HOG特征；
融合模块，用于对SAR图像块和光学图像块的HOG特征进行融合；
浓云检测模块，用于将图像块的融合特征输入预先训练好的检测网络进行浓云检测；
替换模块，用于在发现包含浓云的光学图像块时则采用对应的SAR图像块替换；
所述划分模块、计算模块、融合模块、浓云检测模块和替换模块依次连接。
一种SAR图像信息辅助的遥感光学图像浓云检测方法及系统
技术领域
[0001] 本发明涉及遥感图像处理技术领域，更具体地说，特别涉及一种SAR图像信息辅助的遥感光学图像浓云检测方法及系统。
背景技术
[0002] 受多云天气的影响，遥感光学图像通常被云层遮挡，导致无法获取清晰的遥感影像，影响对遥感影像中关键地物的判读。根据云层的薄浓，可分为薄云和浓云两种情况，薄云降低了光学图像的清晰度，浓云则使覆盖的光学图像区域完全不可见。相比于薄云而言，浓云对光学图像的影响更大，在对遥感光学图像进行判读之前必须去除。
[0003] 合成孔径雷达(SAR)图像不受天气、云雾影响。基于SAR图像提供的信息能够实现光学图像浓云的检测与去除，对比文件“DarbaghshahiFN,MohammadiMR,Soryani M.Cloud removal in remote sensing images using generative adversarial networks and SAR‑to‑optical image translation[J].2020.www.arXiv.org.com”提出基于生成对抗网络和SAR图像的遥感光学浓云去除方法，通过生成对抗网络联合SAR图像和光学图像获得去云后的光学图像，能够有效去除浓云。然而，上述方法在整幅图像上使用了两次生成对抗网络，计算复杂度高，运行效率低。为此，有必要对现有技术进行改进。
发明内容
[0004] 本发明的目的在于提供一种SAR图像信息辅助的遥感光学图像浓云检测方法及系统，以克服现有技术所存在的缺陷。
[0005] 为了达到上述目的，本发明采用的技术方案如下：
[0006] 一种SAR图像信息辅助的遥感光学图像浓云检测方法，包括以下步骤：
[0007] S1、将遥感SAR图像和遥感光学图像均匀划分为图像块；
[0008] S2、计算SAR图像块和光学图像块的HOG特征；
[0009] S3、对SAR图像块和光学图像块的HOG特征进行融合；
[0010] S4、将图像块的融合特征输入预先训练好的检测网络进行浓云检测；
[0011] S5、若发现包含浓云的光学图像块则采用对应的SAR图像块替换。
[0012] 进一步地，在步骤S1中遥感SAR图像Is和遥感光学图像为Io的大小为W×H，其中，W为图像的宽度，H为图像的高度，所述遥感SAR图像和遥感光学图像均有 个图像块，其中 为上取整运算，w为设定的图像块大小。
[0013] 进一步地，所述步骤S2具体包括：
[0014] S21、计算每一个SAR图像块的HOG特征，第i个图像块的特征记为fs,i；
[0015] S22、计算每一个光学图像块的HOG特征，第i个图像块的特征记为fo,i。
[0016] 进一步地，每一个SAR图像块和每一个光学图像块的HOG特征计算过程如下：
[0017] 首先、根据以下公式计算每一个SAR图像块和每一个光学图像块的像素的梯度；
[0018]
[0019]
[0020] 式中p(x,y)为图像块(x,y)点的像素值，g(x,y)为该点的梯度值，θ(x,y)为该点的梯度幅度；
[0021] 然后、统计每一个SAR图像块和每一个光学图像块的梯度直方图，得到SAR图像块和光学图像块的HOG特征。
[0022] 进一步地，所述步骤S3中的融合采用以下公式：
[0023] fi＝[fs,i,fo,i].
[0024] 进一步地，所述步骤S4中浓云检测的计算过程如下：
[0025] di＝Net(fi)
[0026] 其中，Net为检测网络，检测网络的输出为0和1两种结果，di为第i个图像块的浓云检测结果，di＝0表示第i个光学图像块无浓云，di＝1表示第i个光学图像块存在浓云。
[0027] 进一步地，所述步骤S4中检测网络的建立和训练过程如下：
[0028] S41、获取多幅同个区域的遥感SAR图像和遥感光学图像的数据集；
[0029] S42、对数据集中的同个区域遥感SAR图像和遥感光学图像对进行图像块划分，并根据遥感图像的浓云区域对存在浓云的图像块添加标签；
[0030] S43、使用步骤S2‑S3计算图像块的融合特征，并存储融合特征和标签数据；
[0031] S44、根据图像块大小设计浓云检测网络，采用三层的全连接网络，检测网络可以下式表示：
[0032] Net(x)＝sigmoid(W2relu(W1x+b1)+b2)
[0033] 其中W1、W2分别为网络的第一层和第二层权重矩阵，b1、b2分为为第一层权重矩阵和第二层权重矩阵对应的偏置项；relu为采用的修正线性单元激活函数；sigmoid()为采用的sigmoid激活函数；
[0034] S45、将交叉熵作为损失函数，使用随机梯度训练浓云检测网络。
[0035] 进一步地，在步骤S42中根据遥感图像的浓云区域对存在浓云的图像块添加标签1，反之添加标签0。
[0036] 本发明还提供一种用于实现上述的SAR图像信息辅助的遥感光学图像浓云检测方法的系统，包括：
[0037] 划分模块，用于将遥感SAR图像和遥感光学图像均匀划分为图像块；
[0038] 计算模块，用于计算SAR图像块和光学图像块的HOG特征；
[0039] 融合模块，用于对SAR图像块和光学图像块的HOG特征进行融合；
[0040] 浓云检测模块，用于将图像块的融合特征输入预先训练好的检测网络进行浓云检测；
[0041] 替换模块，用于在发现包含浓云的光学图像块时则采用对应的SAR图像块替换；
[0042] 所述划分模块、计算模块、融合模块、浓云检测模块和替换模块依次连接。
[0043] 与现有技术相比，本发明的优点在于：本发明首先对同个区域的遥感SAR图像和受浓云影响的遥感光学图像进行均匀划分为图像块，之后同时提取每一图像块的SAR图像和光学图像特征，采用前馈神经网络进行浓云的检测，获得每一图像块是否包含浓云的检测结果；最后对包含浓云的光学图像区域，使用SAR图像进行替换以达到浓云去除的目的。本发明借助了SAR图像信息，提升了浓云检测和去除能力；本发明提供的浓云检测结果可作为遥感光学图像质量评估的依据以及浓云去除的引导信息。
附图说明
[0044] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0045] 图1是本发明SAR图像信息辅助的遥感光学图像浓云检测方法流程图。
[0046] 图2是本发明SAR图像信息辅助的遥感光学图像浓云检测系统框架图。
具体实施方式
[0047] 下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
[0048] 参阅图1所示，本实施例公开了一种SAR图像信息辅助的遥感光学图像浓云检测方法，包括以下步骤：
[0049] 步骤S1、将遥感SAR图像和遥感光学图像均匀划分为图像块。
[0050] 具体的，记遥感SAR图像为Is，遥感光学图像为Io，图像Is和Io的大小为W×H，其中W为图像的宽度，H为图像的高度；w为设定的图像块大小；遥感SAR图像和遥感光学图像均有个图像块，其中， 为上取整运算。
[0051] 步骤S2、计算SAR图像块和光学图像块的HOG特征，具体为：
[0052] 步骤S21、计算每一个SAR图像块的HOG特征，第i个图像块的特征记为fs,i；
[0053] 步骤S22、计算每一个光学图像块的HOG特征，第i个图像块的特征记为fo,i；
[0054] 其中，图像块的HOG特征计算过程如下：
[0055] 首先，根据以下公式计算图像块像素的梯度：
[0056]
[0057]
[0058] 式中，p(x,y)为图像块(x,y)点的像素值，g(x,y)为该点的梯度值，θ(x,y)为该点的梯度幅度；
[0059] 然后，统计图像块的梯度直方图，得到各图像块的HOG特征。
[0060] 步骤S3、对SAR图像块和光学图像块的HOG特征进行融合，公式如下：
[0061] fi＝[fs,i,fo,i]
[0062] 步骤S4、将图像块的融合特征输入预先训练好的检测网络进行浓云检测，检测的计算过程如下：
[0063] di＝Net(fi)
[0064] 其中，Net为检测网络，检测网络的输出为0和1两种结果，di为第i个图像块的浓云检测结果，di＝0表示第i个光学图像块无浓云，di＝1表示第i个光学图像块存在浓云。
[0065] 具体的，检测网络的建立和训练过程如下：
[0066] 步骤S41、获取多幅同个区域的遥感SAR图像和遥感光学图像的数据集。
[0067] 步骤S42、对数据集中的同个区域遥感SAR图像和遥感光学图像对进行图像块划分，并根据遥感图像的浓云区域对存在浓云的图像块添加标签1，反之添加标签0。
[0068] 步骤S43、使用步骤S2‑S3计算图像块的融合特征，并存储融合特征和标签数据。
[0069] 步骤S44、根据图像块大小设计浓云检测网络，采用三层的全连接网络，检测网络可以下式表示：
[0070] Net(x)＝sigmoid(W2relu(W1x+b1)+b2)
[0071] 其中W1、W2分别为网络的第一层和第二层权重矩阵，b1、b2分为为第一层权重矩阵和第二层权重矩阵对应的偏置项；relu为采用的修正线性单元激活函数；sigmoid()为采用的sigmoid激活函数，是深度学习里面常用的一个函数。
[0072] 步骤S45、将交叉熵作为损失函数，使用随机梯度训练浓云检测网络。
[0073] 步骤S5、若发现包含浓云的光学图像块则采用对应的SAR图像块替换。
[0074] 参阅图2所示，本发明还提供一种用于实现上述的SAR图像信息辅助的遥感光学图像浓云检测方法的系统，包括：划分模块1，用于将遥感SAR图像和遥感光学图像均匀划分为图像块；计算模块2，用于计算SAR图像块和光学图像块的HOG特征；融合模块3，用于对SAR图像块和光学图像块的HOG特征进行融合；浓云检测模块4，用于将图像块的融合特征输入预先训练好的检测网络进行浓云检测；替换模块5，用于在发现包含浓云的光学图像块时则采用对应的SAR图像块替换；所述的划分模块1、计算模块2、融合模块3、浓云检测模块4和替换模块5依次连接。
[0075] 本发明借助了SAR图像信息，增加提升了浓云检测和去除能力，本发明提供的浓云检测结果可作为遥感光学图像质量评估的依据以及浓云去除的引导信息。
[0076] 虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。
