本发明公开了一种基于概率生成模型的多光谱与高光谱图像超分辨方法，其实现步骤为：(1)建立数据集；(2)建立概率生成模型；(3)输入光谱图像；(4)对联合概率分布对数进行最大化处理；(5)得到超分辨后的光谱图像。本发明克服了现有技术使用估计空间转换矩阵的先验信息会使模型参数不准确，浅层模型表征能力差的问题，使得本发明的模型参数与超分辨后的高分辨率的高光谱图像更准确，是一种高效的高光谱图像超分辨方法。
1.一种基于概率生成模型的高光谱图像超分辨方法，其特征在于，将低分辨率的高光谱图像输入概率生成模型的低分辨生成子模型，将高分辨的多光谱图像输入概率生成模型的高分辨子模型，最大化高光谱与多光谱图像联合概率分布的对数，得到低分辨生成子模型和高分辨生成子模型的隐层与所有模型参数，该方法的具体步骤包括如下：(1)建立数据集：
(2a)建立一个低分辨生成子模型，该子模型包含一个低分辨图像输入层、两个隐层和一个顶层，每层之间有一个多层感知机操作；
(2b)建立一个高分辨生成子模型，该子模型包含一个高分辨图像输入层、三个隐层和一个顶层，每层之间有一个多层感知机操作；
(3a)将单幅低分辨率的高光谱图像，以及该高光谱图像对应的相同场景下的高分辨率的多光谱图像，输入到数据集中，同时将两者之间的光谱转换矩阵输入数据集中；
(3b)将数据集中的低分辨率的高光谱图像，输入到概率生成模型中的低分辨生成子模型，同时将数据集中的高分辨率的多光谱图像，输入到概率生成模型中的高分辨生成子模型；
(4a)利用联合似然公式，对高光谱与多光谱图像联合概率分布进行对数运算，得到联合概率分布对数；
(4b)使用随机梯度下降算法，对联合概率分布对数进行最大化处理，得到低分辨生成子模型和高分辨生成子模型的隐层与所有模型参数；
从得到的高分辨生成子模型的第一个隐层中，得到超分辨后的高分辨率的高光谱图像。
2.根据权利要求1所述的基于概率生成模型的高光谱图像超分辨方法，其特征在于，步骤(2a)中所述的低分辨生成子模型的参数设置如下：将低分辨率的高光谱图像的分布近似为高斯分布，其初始均值设置为0，初始方差设置为1，多层感知机操作的激活函数为双曲正切函数，初始权值设置为1，初始偏置设置为0。
3.根据权利要求1所述的基于概率生成模型的高光谱图像超分辨方法，其特征在于，步骤(2b)中所述的高分辨生成子模型的参数设置如下：将高分辨率的多光谱图像的分布近似为高斯分布，其初始均值设置为0，初始方差设置为1，多层感知机操作的激活函数为双曲正切函数，初始权值设置为1，初始偏置设置为0。
4.根据权利要求1所述的基于概率生成模型的高光谱图像超分辨方法，其特征在于，步骤(3a)中所述低分辨率的高光谱图像是指，光谱维分辨率高，图像维分辨率低的图像。
5.根据权利要求1所述的基于概率生成模型的高光谱图像超分辨方法，其特征在于，步骤(3a)中所述高分辨率的多光谱图像是指，光谱维分辨率低，图像维分辨率高的图像。
6.根据权利要求1所述的基于概率生成模型的高光谱图像超分辨方法，其特征在于，步骤(3a)中所述光谱转换矩阵如下：Xm＝Φ·Xh+nm
其中，Xm表示高分辨率的多光谱图像，且满足 其中，∈表示属于符号， 表示实数域，E表示光谱图像的光谱维度为E维，E取值为正整数，AB表示光谱图像的图像维度为A×B维，A与B取值为正整数，Φ表示光谱转换矩阵，·表示乘法符号，Xh表示高分辨率的高光谱图像，且满足 其中，F表示光谱图像的光谱维度为F维，F取值为正整数,nm表示高光谱与多光谱图像之间的噪声，且满足
7.根据权利要求6所述的基于概率生成模型的高光谱图像超分辨方法，其特征在于，步骤(4a)中所述的联合似然公式如下：其中，log(·)表示以10为底的对数操作，p(·)表示联合概率分布，Xl表示低分辨率的高光谱图像，且满足 CD表示光谱图像的图像维度为C×D维，C与D取值为正整数，表示变分下界函数符号，φl表示低分辨率的高光谱图像近似高斯分布的参数，φh表示高分辨率的多光谱图像近似高斯分布的参数，∑表示求和操作， 表示相对熵函数符号，表示两个概率分布的差异，qφ(·)表示近似分布， 表示低分辨子模型的顶层， 表示低分辨子模型的输入层， 表示高分辨子模型的顶层， 表示高分辨子模型的输入层。
基于概率生成模型的高光谱图像超分辨方法
技术领域
[0001] 本发明属于图像处理技术领域，更进一步涉及图像超分辨技术领域的一种基于概率生成模型的多光谱与高光谱图像超分辨方法。本发明可用于低分辨率的高光谱图像与高分辨率的多光谱图像，利用图像超分辨技术，生成高分辨率的高光谱图像。
背景技术
[0002] 随着传感器技术的迅猛发展，遥感图像的光谱分辨率不断提高。高光谱图像的问世成为遥感领域的一个重大飞跃。与多光谱图像相比，高光谱图像不仅在信息丰富程度方面有了极大的提高，在处理技术上也使对光谱数据进行更为合理的、有效的分析处理提供了可能。因此，高光谱图像在各个领域得到广泛的应用，包括矿产探测、环境检测、生物医学等。但是，由于硬件和预算等约束，要在高光谱传感器的空间分辨率和光谱分辨率之间进行权衡。高光谱图像中存在大量的混合像元，不仅硬性了定量化分析，还严重影响了在其他领域的应用。因此，运用超分辨技术提高高光谱图像的空间分辨率，有着十分重要的意义。现有的图像超分辨算法主要有这几种：基于传统插值理论的方法、基于模型/重建的方法和基于机器学习的方法。
[0003] W.Dong,F.Fu,G.Shi,X.Cao,J.Wu,G.Li等人在其发表的论文“Hyperspectral image super-resolution via non-negative structured sparse representation.”(IEEE Transactions on Image Processing,2016,pages 2337-2352.)中公开了一种基于字典学习稀疏表示的低分辨率与高分辨率光谱图像超分辨方法。该方法首先从低分辨率的高光谱图像中学习场景模型的高光谱字典，然后再从对应的低分辨率与高分辨率光谱图像中估计高光谱图像的稀疏编码，使用基于聚类的结构化稀疏编码方法得到高分辨率的高光谱图像。该方法在高光谱图像恢复技术中表现出了较好的性能，并有着较高的计算效率。但是，该方法仍然存在的不足之处是：该方法并没有考虑到使用估计空间转换矩阵的先验信息，会使得到的模型参数不准确的问题，导致该方法容易在图像超分辨应用中出现大的偏差。
[0004] 北京航空航天大学在其申请的专利文献“基于光谱重构的三步高光谱图像融合方法”(专利申请专利号201310656056.8，公开号103714572A)中提出了一种基于光谱重构的高光谱图像超分辨方法。该方法通过高光谱图像波段选择模块设计波段选择矩阵，再通过高光谱图像-高空间分辨率图像融合模块对输入的图像进行主成分分析融合，经过高精度光谱重构输出最终融合图像。该方法减少了融合数据了，降低光谱畸变，提升光谱保持性并增强了图像质量。但是，该方法仍然存在的不足之处是：该方法只是利用了一个线性模型来表征图像，只利用了浅层的概率模型融合图像来实现图像超分辨，并不能体现出原图像中的所有信息，使得超分辨后的高光谱图像与原图像有较大的偏差。
发明内容
[0005] 本发明的目的在于克服上述现有技术存在的不足，提出一种基于概率生成模型的多光谱图像超分辨方法，利用非线性模型对样本建模，提高生成的高分辨率的高光谱图像的分辨率。
[0006] 实现本发明上述目的的思路是：将低分辨率的高光谱图像，输入低分辨生成子模型，将高分辨率的多光谱图像，输入高分辨生成子模型；同时利用随机梯度下降算法，得到低分辨生成子模型与高分辨生成子模型的隐层与模型参数；从得到的高分辨生成子模型的隐层中，得到超分辨后的高分辨率的高光谱图像。
[0007] 为实现上述目的，本发明的具体步骤如下：
[0008] (1)建立数据集：
[0009] 建立一个空集作为数据集；
[0010] (2)建立概率生成模型：
[0011] (2a)建立一个低分辨生成子模型，该子模型包含一个低分辨图像输入层、两个隐层和一个顶层，每层之间有一个多层感知机操作；
[0012] (2b)建立一个高分辨生成子模型，该子模型包含一个高分辨图像输入层、三个隐层和一个顶层，每层之间有一个多层感知机操作；
[0013] (3)输入光谱图像：
[0014] (3a)将单幅低分辨率的高光谱图像，以及该高光谱图像对应的相同场景下的高分辨率的多光谱图像，输入到数据集中，同时将两者之间的光谱转换矩阵输入数据集中；
[0015] (3b)将数据集中的低分辨率的高光谱图像，输入到概率生成模型中的低分辨生成子模型，同时将数据集中的高分辨率的多光谱图像，输入到概率生成模型中的高分辨生成子模型；
[0016] (4)对联合概率分布对数进行最大化处理：
[0017] (4a)利用联合似然公式，对高光谱与多光谱图像联合概率分布进行对数运算，得到联合概率分布对数；
[0018] (4b)使用随机梯度下降算法，对联合概率分布对数进行最大化处理，得到低分辨生成子模型和高分辨生成子模型的隐层与所有模型参数；
[0019] (5)得到超分辨后的光谱图像：
[0020] 从得到的高分辨生成子模型的第一个隐层中，得到超分辨后的高分辨率的高光谱图像。
[0021] 本发明与现有的技术相比具有以下优点：
[0022] 第一，由于本发明利用无先验条件的低分辨率的高光谱与高分辨率的高光谱图像之间的空间转换矩阵，来描述低分辨率的高光谱与高分辨率的高光谱图像之间的关系，克服了现有技术中由于使用估计空间转换矩阵的先验信息，得到的模型参数不准确的问题，使得本发明中得到的模型参数更加准确。
[0023] 第二，由于本发明建立了一个高分辨生成子模型，该子模型包含一个高分辨图像输入层、三个隐层和一个顶层，每层之间有一个多层感知机操作，克服了现有技术中由于使用了一个线性模型来表征图像，只利用了浅层的概率模型融合图像来实现图像超分辨，并不能体现出原图像中的所有信息，超分辨后的高光谱图像与原图像有较大的偏差的问题，使得本发明超分辨后的高分辨率的高光谱图像更加准确。
附图说明
[0024] 图1是本发明的流程图；
[0025] 图2是本发明的仿真图。
具体实施方式
[0026] 下面结合附图对本发明做进一步的描述。
[0027] 参照图1，本发明的具体实施步骤如下。
[0028] 步骤1.建立数据集。
[0029] 建立一个空集作为数据集。
[0030] 步骤2.建立概率生成模型。
[0031] 建立一个低分辨生成子模型，该子模型包含一个低分辨图像输入层、两个隐层和一个顶层，每层之间有一个多层感知机操作。
[0032] 所述的低分辨生成子模型的参数设置如下：
[0033] 将低分辨率的高光谱图像的分布近似为高斯分布，其初始均值设置为0，初始方差设置为1，多层感知机操作的激活函数为双曲正切函数，初始权值设置为1，初始偏置设置为0。
[0034] 建立一个高分辨生成子模型，该子模型包含一个高分辨图像输入层、三个隐层和一个顶层，每层之间有一个多层感知机操作。
[0035] 所述的高分辨生成子模型的参数设置如下：
[0036] 将高分辨率的多光谱图像的分布近似为高斯分布，其初始均值设置为0，初始方差设置为1，多层感知机操作的激活函数为双曲正切函数，初始权值设置为1，初始偏置设置为0。
[0037] 步骤3.输入光谱图像。
[0038] 将单幅低分辨率的高光谱图像，以及该高光谱图像对应的相同场景下的高分辨率的多光谱图像，输入到数据集中，同时将两者之间的光谱转换矩阵输入数据集中。
[0039] 所述低分辨率的高光谱图像是指，光谱维分辨率高，图像维分辨率低的图像。
[0040] 所述高分辨率的多光谱图像是指，光谱维分辨率低，图像维分辨率高的图像。
[0041] 所述光谱转换矩阵如下：
[0042] Xm＝Φ·Xh+nm
[0043] 其中，Xm表示高分辨率的多光谱图像，且满足 其中，∈表示属于符号，表示实数域，E表示光谱图像的光谱维度为E维，E取值为正整数，AB表示光谱图像的图像维度为A×B维，A与B取值为正整数，Φ表示光谱转换矩阵，·表示乘法符号，Xh表示高分辨率的高光谱图像，且满足 其中，F表示光谱图像的光谱维度为F维，F取值为正整数,nm表示高光谱与多光谱图像之间的噪声，且满足
[0044] 步骤4.对联合概率分布对数进行最大化处理。
[0045] 利用联合似然公式，对高光谱与多光谱图像联合概率分布进行对数运算，得到联合概率分布对数。
[0046] 所述的联合似然公式如下：
[0047]
[0048] 其中，log(·)表示以10为底的对数操作，p(·)表示联合概率分布，Xl表示低分辨率的高光谱图像，且满足 CD表示光谱图像的图像维度为C×D维，C与D取值为正整数， 表示变分下界函数符号，φl表示低分辨率的高光谱图像近似高斯分布的参数，φh表示高分辨率的多光谱图像近似高斯分布的参数，∑表示求和操作， 表示相对熵函数符号，表示两个概率分布的差异，qφ(·)表示近似分布， 表示低分辨子模型的顶层， 表示低分辨子模型的输入层， 表示高分辨子模型的顶层， 表示高分辨子模型的输入层。
[0049] 使用随机梯度下降算法，对联合概率分布对数进行最大化处理，得到低分辨生成子模型和高分辨生成子模型的隐层与所有模型参数。
[0050] 步骤5.得到超分辨后的光谱图像。
[0051] 从得到的高分辨生成子模型的第一个隐层中，得到超分辨后的高分辨率的高光谱图像。
[0052] 本发明的效果可通过以下仿真进一步说明。
[0053] 1.仿真条件：
[0054] 本发明的仿真试验是在主频3.2GHz的Intel(R)Core(TM)i5-6500CPU、内存8GB的硬件环境和基于Python2.5的软件环境下进行的。
[0055] 2.仿真内容：
[0056] 本发明仿真实验是采用本发明的方法与现有技术，对数据集中的高分辨率的多光谱图像与低分辨率的高光谱图像进行超分辨仿真实验，本发明的结果如图2所示。其中图2(a)为低分辨率的高光谱图像，图2(b)为高分辨率的多光谱图像，图2(c)为超分辨后的高分辨率的高光谱图像。本发明仿真所用数据集来自于CAVE图像集，由32幅高分辨率的高光谱图像组成。
[0057] 本发明仿真内容为：采用本发明的方法与现有技术GSOMP和BSR的方法对数据集CAVE的图像进行图像超分辨实验，其中，GSOMP是一种基于正交匹配的高光谱图像超分辨方法，BSR是一种基于贝叶斯稀疏表示的高光谱图像超分辨方法。
[0058] 3.仿真效果分析：
[0059] 用本发明的方法、现有技术GSOMP和BSR的方法对数据集CAVE的图像进行图像超分辨实验，采用均方根误差RMSE和光谱角匹配SAM来作为比较标准，当RMSE值与SAM值越高，图像超分辨的结果越好，结果如表1。表1为GSOMP、BSR、本发明方法在仿真中得到的RMSE、SAM的统计结果。
[0060] 表1.三种方法仿真结果一览表
[0061] 方法 RMSE() SAM(°)GSOMP 5.44 12.23
BSR 4.71 12.93
本发明 2.12 6.81
[0062] 从表1可以看出：与现有的GSOMP和BSR光谱图像融合方法相比，本发明得到的均方根误差RMSE和光谱角匹配SAM更小，表示本发明提出的这种基于概率生成模型的多光谱与高光谱图像超分辨方法，改进了上述两种方法的不足，能使超分辨后的高分辨率的高光谱图像更准确。
