一种基于LCTF高光谱成像系统的图像压缩与重构方法

摘要

本发明公开了一种基于液晶可调滤光片(Liquid Crystal Tunable Filter,一般简称LCTF)高光谱成像系统的图像压缩与重构方法，避免在重构图像过程中由于原有CASSI系统存在的非线性色散而影响重构图像精度，并通过计算合成编码孔径的方法来解决编码孔径与探测器的像素尺寸的不匹配问题，提高重构图像的空间分辨率。本发明的高光谱成像系统中最小像素尺寸为探测器的像素尺寸，通过LCTF高光谱成像系统得到目标光谱图像序列；再对目标光谱图像序列中的单幅图像在水平方向上人为添加位移量，并将平移后的图像序列按顺序依次叠加在一起，得到混合后的图像。采用本发明的方法，相当于实现了线性色散，有利于分析编码孔径像素与探测器像素的对应关系，提高重构图像的精度。

权利要求

1.一种基于液晶可调滤光片高光谱成像系统的图像压缩与重构方法，其特征在于,包括以下步骤：步骤1，获得目标光谱图像序列：采用基于液晶可调滤光片的高光谱相机对目标进行拍照，设定基于液晶可调滤光片的高光谱成像系统的波长步长；按照设定的波长步长将液晶可调滤光片的中心波长按顺序依次转换，高光谱成像系统输出各个波长下的经过编码孔径调制的目标光谱图像，组成光谱间隔相同的目标光谱图像序列；

步骤2，获得混合后的图像：按波长从长到短的顺序，将步骤1获得的目标光谱图像序列排序，然后将其中第k张光谱图像在水平方向上平移(k-1)个编码孔径像素的距离，k为光谱图像所在的光谱段，k＝1,2,...,L，L表示通过基于液晶可调滤光片的高光谱相机得到的目标光谱图像序列的数目；将平移后的图像序列按顺序依次叠加在一起，得到混合后的图像即压缩编码图像；

步骤3，基于步骤2所得到的压缩编码图像，计算一个探测器像素所对应的压缩编码图像的合成编码孔径；

步骤4，利用步骤3得到的合成编码孔径，结合重构算法，重构出原始图像；

其中，编码孔径的像素尺寸Δc比探测器的像素尺寸Δd大。

2.如权利要求1所述的一种基于液晶可调滤光片的高光谱成像系统的图像压缩与重构方法，其特征在于，3Δd＝2Δc，从探测器左上角开始每3×3个探测器像素组成一个超级像素，合成编码孔径的像素尺寸 采用下式计算：其中，(m,n)为探测器像素坐标，Tξ,η，Tξ,η+1，Tξ+1,η，Tξ+1,η+1为该探测器像素所属的超级像素所覆盖到的编码孔径像素，(ξ,η)、(ξ,η+1)、(ξ+1,η)、(ξ+1,η+1)分别为该探测器像素所属的超级像素所覆盖到的编码孔径像素的坐标，(ξ,η)与(m,n)之间的关系为下式：其中γ为编码孔径的像素尺寸Δc和探测器的像素尺寸Δd之比；

μ、ν分别定义为

其中，

说明书

一种基于LCTF高光谱成像系统的图像压缩与重构方法

技术领域

[0001] 本发明涉及高光谱图像处理技术领域，具体涉及一种基于LCTF(Liquid Crystal Tunable Filter，液晶可调滤光片)高光谱成像系统的图像压缩与重构方法。

背景技术

[0002] 近年来，Gehm M、John R等人将CS(compressive sensing)理论应用于光谱成像系统中，提出了一种编码孔径快照光谱成像仪(Coded Aperture Snapshot Spectral Imager，CASSI)。CASSI系统由光掩膜组、光学色散元件(如棱镜)和CCD探测器构成，在三维图谱数据立方体和探测器测量值之间提供了一个随机映射。首先，通过编码孔径和色散部件对目标场景的光场进行调制，再用CCD探测器获取一个二维的、对三维数据立方体的混叠投影，从而实现了对目标场景的图谱数据立方体的压缩编码。CASSI系统采用光掩膜组来实现CS测量模板，这种静态模板的应用极大地限制了CASSI系统的灵活性。如果想用一个不同的模板来实现CS的测量过程，就必须制造一个新的光掩膜组并且整个光谱成像系统需要重新排列搭建。后来，有研究者将数字微镜阵列(Digital Micromirror Arrays,DMD)应用于成像系统设计中，提出了一种基于DMD的编码孔径快照光谱成像仪，应用DMD动态地产生不同的编码模板来实现CS测量过程，大大加强了成像系统的灵活性。

[0003] 目前的CASSI系统是利用编码孔径、光学色散元件(如棱镜)和CCD探测器在三维图谱数据立方体和探测器测量值之间搭建了一个随机映射。它先采用编码孔径和色散部件对目标场景的光场进行调制，再用CCD探测器获取三维数据体的二维投影，从而实现了对目标场景的图谱数据立方体的压缩编码，然后在解码端选用适当的重构算法从二维观测数据中复原出图像的原始图谱信息，实现了通过低分辨率的观测值来复原重构出高分辨率的原始图像。

[0004] 然而由于编码孔径的像素边长Δc通常与探测器的的像素边长Δd不同，无法实现编码孔径与探测器像素间的一一对应，重构图像的空间分辨率会因此降低。对此，有人提出了计算合成编码孔径的方法来解决编码孔径与探测器的像素尺寸的不匹配问题，提高重构图像的空间分辨率，适用于编码孔径的像素边长Δc比探测器的像素边长Δd大的情况。通常做法是分别在编码孔径和探测器中选取若干个像素组成一个超级像素，其中满足ε1Δd＝ε2Δc，ε1、ε2均为正整数且ε1≠ε2≠1，ε1<ε2，通过编码孔径与探测器之间的超级像素的一一对应关系进行运算，得到合成编码孔径。但通常建立的CASSI系统模型认为经过编码孔径后的体素在通过光学色散元件后仍然是一个立方体，即假设所有谱段的偏移为线性的，再投射到探测器中相应的像素上以简化模型，减少运算量。但事实上CASSI系统中用到的光学色散元件(如棱镜)存在非线性色散，通过光学色散元件后的体素会在水平方向上被拉伸成一个平行六面体，拉伸程度随着波长的变化而变化，使得在同一时间内投射到探测器中相应的像素上时，探测器中某一像素对应不同光谱段的编码孔径像素的权重难以确定，而且光学色散元件的非线性色散与波长有关，短波波长的色散比长波波长的色散显著，使得短波波长的光谱分辨率比长波波长的光谱分辨率高，直接影响光谱带宽的配准精度，难以进行准确校正。因此通过这种方法获得的压缩图像，由于非线性色散的存在，光谱分辨率会显著降低，重构图像的光谱分辨率与空间分辨率受非线性色散影响也会降低。

[0005] 为避免以上问题，如果将非线性色散考虑在内，建立与事实更相符的模型，模型将计算复杂且不易分析；再加上分光方式使能量分散，通常需要牺牲空间分辨率来获取较高的光谱分辨率，所以这种方式并不可行。

[0006] 总结起来，由于CASSI系统理论模型中假设只有线性色散，而CASSI系统中用到的光学色散元件非线性色散是事实存在的，因此重构图像的精度必然会降低。并且光学色散元件的非线性色散将导致CASSI系统的设计结果与实验结果出现较大的误差，给器件的设计和参数的标定工作带来困难。

[0007] 另外，在CASSI系统中，光谱维数(光谱波段数)决定光谱信息量的准确度，在经过光学色散元件进行色散之后成像波段范围分的波段数越多、分得越细，光谱分辨率就越高。当CASSI系统探测的波长范围一定时，可分成的谱段数与编码孔径和探测器的像素大小有关。假设编码孔径和探测器的像素尺寸都为Δ时，可分成的谱段数表示为L＝α((λ2-λ1)/Δ)，其中(λ2-λ1)表示系统的成像光谱范围，α表示光学色散元件的色散系数，当光学色散元件确定之后α的值也就确定了。当CASSI系统探测的波长范围一定时，编码孔径和探测器的像素尺寸越大，得到的谱段数越少，重构图像的光谱分辨率越低，因此CASSI系统中光谱分辨率的大小与编码孔径和探测器像素大小有关，对编码孔径和探测器像素大小有所限制。

发明内容

[0008] 有鉴于此，本发明提出了一种基于液晶可调滤光片(Liquid Crystal Tunable Filter,一般简称LCTF)高光谱成像系统的图像压缩与重构方法，避免在重构图像过程中由于原有CASSI系统存在的非线性色散而影响重构图像精度，并通过计算合成编码孔径的方法来解决编码孔径与探测器的像素尺寸的不匹配问题，提高重构图像的空间分辨率。

[0009] 本发明的技术解决方案是：

[0010] 步骤1，获得目标光谱图像序列：采用基于LCTF的高光谱相机对目标进行拍照，设定基于LCTF的高光谱成像系统的波长步长；按照设定的波长步长将LCTF的中心波长按顺序依次转换，高光谱成像系统输出各个波长下的经过编码孔径调制的目标光谱图像，组成光谱间隔相同的目标光谱图像序列；

[0011] 步骤2，获得混合后的图像：按波长从长到短的顺序，将步骤1获得的目标光谱图像序列排序，然后将其中第k张光谱图像在水平方向上平移(k-1)个编码孔径像素的距离，k为光谱图像所在的光谱段，k＝1,2,...,L，L表示通过基于LCTF的高光谱相机得到的目标光谱图像序列的数目；将平移后的图像序列按顺序依次叠加在一起，得到混合后的图像即压缩编码图像；

[0012] 步骤3，基于步骤2所得到的压缩编码图像，计算一个探测器像素所对应的压缩编码图像的合成编码孔径；

[0013] 步骤4，利用步骤3得到的合成编码孔径，结合重构算法，重构出原始图像。

[0014] 其中，编码孔径的像素边长Δc比探测器的像素边长Δd大，当3Δd＝2Δc时，合成编码孔径的像素尺寸 采用下式计算：

[0015]

[0016] 其中，(m,n)为探测器像素坐标，根据3Δd＝2Δc，从探测器左上角开始每3×3个探测器像素组成一个超级像素，该超级像素刚好覆盖2×2个编码孔径像素，Tξ,η，Tξ,η+1，Tξ+1,η，Tξ+1,η+1为该探测器像素所属的超级像素所覆盖到的编码孔径像素，(ξ,η)、(ξ,η+1)、(ξ+1,η)、(ξ+1,η+1)分别为该探测器像素所属的超级像素所覆盖到的编码孔径像素的坐标，(ξ,η)与(m,n)之间的关系为下式：

[0017]

[0018]

[0019] 其中γ为编码孔径的像素边长Δc和探测器的像素边长Δd之比；

[0020] μ、ν分别定义为

[0021]

[0022]

[0023] 其中，

[0024] 有益效果：

[0025] 基于LCTF的高光谱成像系统成像输出的光谱图，其光谱分辨率与液晶盒的结构有关，与编码孔径和探测器的像素大小无关，且LCTF高光谱成像系统波长切换快速、光谱范围适用域宽、成像光谱分辨率高，系统所涉及的工作波段、光谱通道甚至光谱分辨率等均可调；

[0026] 基于LCTF高光谱成像系统得到一系列相同光谱间隔的目标光谱图像序列，然后人为添加位移量模拟线性色散，避免原有CASSI系统中存在的非线性色散影响重构图像精度的问题，有利于准确地分析编码孔径像素与探测器像素之间的对应关系，从而提高高光谱图像的重构精度；

[0027] 在编码孔径和探测器中选取若干个像素组成一个超级像素，避免了编码孔径与探测器的的像素尺寸存在的不匹配问题；

[0028] 利用合成编码孔径的方法进一步提高重构图像的空间分辨率；

[0029] 高光谱成像系统中最小像素尺寸为探测器的像素尺寸，利用本发明避免了色散原件的非线性色散，更准确地对高光谱成像系统中的最小像素尺寸即探测器的像素尺寸所对应的合成编码孔径大小进行分析，从而提高重构图像的空间分辨率，提高重构精度。

附图说明

[0030] 图1为基于LCTF的高光谱系统结构框图；

[0031] 图2为通过基于LCTF的高光谱系统后得到的一系列相同光谱间隔不同波长的目标光谱图像序列的示意图；

[0032] 图3为平移后的图像序列进行叠加，得到混合图像的过程示意图；

[0033] 图4为在编码孔径和探测器中选取对应的若干像素组成相同大小的超级像素的示例图，其中3Δd＝2Δc；

[0034] 图5为在超级像素中计算一个探测器像素大小的合成编码孔径的具体分析示意图；

[0035] 其中1-高光谱数据，2-成像物镜，3-LCTF，4-LCTF控制模块，5-编码孔径，6-准直透镜，7-面阵探测器。

具体实施方式

[0036] 下面结合附图并举实施例，对本发明进行详细描述。

[0037] 本发明中的液晶可调滤光片(LCTF)是由一系列双折射液晶片和偏振片叠放在一起构成的，它利用液晶材料的电控双折射效应进行波长调谐，分别得到不同波长下的目标场景图像，它的光谱分辨率只与自身结构(双折射液晶片和偏振片)有关，与编码孔径和探测器的像素大小无关。选用高双折射率的液晶材料，利用液晶材料的电控双折射效应进行光谱连续调谐，实现液晶可调滤光片，获得波长变换。将液晶盒驱动信号的幅度增加到足够大，近似认为液晶盒由单轴晶体完全转化为各向同性晶体，此时液晶材料本身的双折射率色散可忽略，并且在调谐过程中LCTF几乎不存在像移，对成像质量的影响小。

[0038] 本发明的高光谱成像系统中最小像素尺寸为探测器的像素尺寸，通过LCTF高光谱成像系统得到目标光谱图像序列；再对目标光谱图像序列中的单幅图像在水平方向上人为添加位移量，并将平移后的图像序列按顺序依次叠加在一起，得到混合后的图像。这一过程相当于模拟CASSI系统中光谱数据通过光学色散元件的色散过程。光的色散与波长有关，波长越短，色散程度越大。在CASSI系统理论模型中，对于一个大小为N×M×L的三维数据立方体(其中N和M为原始光谱数据立方体在空间维度上的长度和宽度，L为光谱数据立方体的谱段数)，假设所有谱段的偏移为线性时，在波长从长到短的方向上第k个谱段即第k张光谱图像在水平方向上偏移了(k-1)个编码孔径像素的距离，其中k＝1,2,...,L。因此本发明在通过基于LCTF的高光谱相机后得到的一系列相同光谱间隔的目标光谱图像序列后，按照波长从长到短的方向第k张光谱图像也在水平方向上平移(k-1)个编码孔径像素的距离。采用本发明的方法，因为后一幅图像在水平方向上的位移与前一幅图像相差一个编码孔径像素的距离，所以相当于实现了线性色散，有利于分析编码孔径像素与探测器像素的对应关系，避免CASSI系统中因光学色散元件的非线性色散存在而使系统分析计算变得复杂、非线性色散校正困难等问题。

[0039] 本发明包括下列步骤：

[0040] 步骤1，获得目标光谱图像序列：采用基于LCTF的高光谱相机对目标进行拍照，设定基于LCTF的高光谱成像系统的波长步长；按照设定的波长步长将LCTF的中心波长按顺序依次转换，高光谱成像系统输出各个波长下的经过编码孔径调制的目标光谱图像，组成光谱间隔相同的目标光谱图像序列；

[0041] 步骤2，获得混合后的图像：按波长从长到短的顺序，将步骤1获得的目标光谱图像序列排序，然后将其中第k张光谱图像在水平方向上平移(k-1)个编码孔径像素的距离，k为光谱图像所在的光谱段，k＝1,2,...,L，L表示通过基于LCTF的高光谱相机得到的目标光谱图像序列的数目；将平移后的图像序列按顺序依次叠加在一起，得到混合后的图像即压缩编码图像；

[0042] 步骤3，基于步骤2所得到的压缩编码图像，计算一个探测器像素所对应的压缩编码图像的合成编码孔径；

[0043] 步骤4，利用步骤3得到的合成编码孔径，结合重构算法，重构出原始图像。

[0044] 如图1、图2所示，一个大小为N×M×L的三维数据立方体(其中N和M为原始光谱数据立方体在空间维度上的长度和宽度，L为光谱数据立方体的谱段数)，通过基于LCTF的高光谱相机得到数量为L的相同光谱间隔的目标光谱图像序列。

[0045] 对已获得的数量为L的目标光谱图像序列进行模拟线性色散的过程。如图3所示，在波长从长到短的方向上，第k张光谱图像在水平方向上平移(k-1)个编码孔径像素的距离，使得后一幅图像在水平方向上的位移与前一幅图像相差一个编码孔径像素的距离，得到一系列水平方向上前后两张错开一列编码孔径像素大小的图像序列。将平移后的图像序列按顺序依次叠加在一起，得到大小为(N+L-1)×M的混合后的图像，这一过程相当于实现了线性色散。传统的CASSI理论分析模型是建立在色散是线性的基础上，可实际上色散是非线性的，在使用该模型时需要进行非线性色散校正，建立线性色散模型只是为了便于对编码孔径与探测器之间的像素对应关系进行分析。而本实施例通过对每一张光谱图像人为添加位移量可以真正实现线性色散，使实际情况更符合理论分析，有利于准确地分析编码孔径像素与探测器像素之间的对应关系，从而提高高光谱图像的重构精度。

[0046] 由于编码孔径的像素边长Δc通常与探测器的的像素边长Δd大小不同，无法实现编码孔径与探测器像素间的一一对应，需要确定混合图像中一个探测器像素大小对应的合成编码孔径，即某个探测器像素在相应的编码孔径像素中所占的比例，才能保证高光谱图像的重构精度。对此，传统的CASSI系统与本发明的实施例建立了同样的线性色散模型，可是传统的CASSI系统仅仅是一个理论上的分析，它是建立在假设进行线性色散的基础上，线性色散使得探测器中某一像素所占的不同谱段对应的编码孔径像素的比例是相同的，因此可以更准确地分析混合图像中一个探测器像素大小对应的合成编码孔径，提高重构图像的空间分辨率。但实际上光学色散元件(如棱镜)存在非线性色散，光学色散元件的非线性色散与波长有关，短波波长的色散比长波波长的色散显著，使得短波波长的光谱分辨率比长波波长的光谱分辨率高，直接影响光谱带宽的配准精度，难以进行准确校正。本实施例通过对每一张光谱图像人为添加位移量实现真正的线性色散，避免了以上问题。

[0047] 下面对混合图像中一个探测器像素大小对应的合成编码孔径进行举例分析。如图4所示，定义编码孔径的像素边长Δc和探测器的像素边长Δd之比为 本实施例中γ
＝1.5。在传统的CASSI系统中，由于光学色散元件(如棱镜)存在非线性色散，通过光学色散元件后的体素会在水平方向上被拉伸成一个平行六面体，拉伸程度随着波长的变化而变
化，使得在同一时间内投射到探测器时，探测器中某一像素具体受到不同光谱段中多少个编码孔径像素的影响及每个编码孔径像素的影响权重难以确定。而在本实施例中因为实现了线性色散，使得探测器中某一像素所占的不同谱段对应的编码孔径像素的比例是相同
的，而且可以明确探测器中某一像素具体受到不同光谱段中多少个编码孔径像素的影响。
当编码孔径的像素边长Δc和探测器的像素边长Δd之比γ＝1.5时，探测器一个像素的合成编码孔径 在任意一个光谱段中只与四个编码孔径像素有关，具体关系分析如图5所示。
图4、图5中探测器像素的坐标表示为(m,n)，n为进行线性色散的方向即每张光谱图像进行平移的方向。对于位于坐标(m,n)的探测器像素，根据3Δd＝2Δc，从探测器左上角开始每3×3个探测器像素组成一个超级像素，该超级像素刚好覆盖2×2个编码孔径像素，Tξ,η，Tξ,η+1，Tξ+1,η，Tξ+1,η+1为该探测器像素所属的超级像素所覆盖到的编码孔径像素，(ξ,η)、(ξ,η+1)、(ξ+1,η)、(ξ+1,η+1)分别为该探测器像素所属的超级像素所覆盖到的编码孔径像素的坐标，由几何关系分析(ξ,η)与(m,n)之间的关系满足

[0048]

[0049]

[0050] 其中k表示在波长从长到短的方向上的第k张光谱图像。在传统的CASSI系统中，由于非线性色散的存在以上关系只是理论上符合，实际上还要经过复杂的非线性色散校正。而在本实施例中因为实现了线性色散，所以编码孔径像素(ξ,η)与探测器像素(m,n)之间的关系完全符合上式，因此可以更准确地分析出混合图像中一个探测器像素大小对应的合成编码孔径，从而提高高光谱图像的重构精度。合成编码孔径 可以表示为

[0051]

[0052] 通过参数μ、ν表示某一光谱段中合成编码孔径的像素尺寸 在与它相关的四个编码孔径像素中所占的比例，μ、ν分别定义为

[0053]

[0054]

[0055] 其中U、V由探测器像素坐标(m,n)、所在的光谱段(即第k张光谱图像)与编码孔径的像素边长Δc和探测器的像素边长Δd之比γ决定：

[0056]

[0057]

[0058] 当0＜μ,ν＜1时，表示编码孔径中的某个像素(ξ,η)部分投影到其对应于探测器的相应像素(m,n)上；若μ,ν＝1，表示编码孔径中像素(ξ,η)的尺寸与探测器像素(m,n)的尺寸相同。

[0059] 利用本发明对每一张光谱图像人为添加位移量实现线性色散后，可以更准确地对高光谱成像系统中的最小像素尺寸进行分析。在本实施例中编码孔径的像素边长Δc大于探测器的像素边长Δd，所以最小像素尺寸即探测器的像素尺寸。线性色散可以使得探测器中某一像素所占的不同谱段对应的编码孔径像素的比例是相同的，因此可以确定探测器中某一像素具体受到不同光谱段中多少个编码孔径像素的影响，更准确地分析出混合图像中一个探测器像素大小对应的合成编码孔径，从而提高重构图像的空间分辨率，提高重构精度。

[0060] 综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。