多光谱和超光谱成像系统

摘要

本发明涉及待变换成多光谱或超光谱图像的瞬时或非瞬时多频带图像的产生，包括光收集装置(11)、具有至少一个二维传感器阵列(121)和位于装置(1)的光路(OP)中的所述图像传感器阵列(121)之前的瞬时颜色分离装置(123)的图像传感器(12)、以及以使成像局限于电磁谱的特定部分为目的的位于所述光路(OP)中的第一均匀滤谱器(13)。本发明特别教导了包括安装在滤光器轮(114)上或由透射式显示器(115)显示的均匀滤色器或滤谱器和/或滤色器或滤谱器马赛克的滤光器单元(FU)水久地或可互换地位于所述光路(OP)中的所述颜色分离装置(123)之前，或者接近会聚光(B)。每个滤色器或滤谱器马赛克由众多均质滤光区组成。滤色器或滤谱器马赛克的所述滤光区的透射率曲线(TC)可以部分重叠，除此之外，这些透射率曲线与属于所述颜色分离装置(123)的所述滤光区的透射率曲线重叠。所述滤色器或滤谱器马赛克和所述颜色分离装置(123)的透射率曲线(TC)适当遍布待研究的光谱区间。所述颜色分离装置(123)与所述滤色器或滤谱器马赛克的组合产生不同组的线性无关的透射率曲线(TC)。通过对受多重滤光器马赛克的诸区影响的图像区进行标识和分段，由所述图像传感器(12)捕捉到的多重滤光器图像被去马赛克，且在任选的插值步骤之后，获得多频带图像。所得多频带图像被变换成多光谱或超光谱图像。

权利要求

1.一种用于产生瞬时或非瞬时多频带图像的装置(1)，包括：光收集装置(11)、具有至少一个二维传感器阵列(121)和在所述装置(1)的光路(OP)中位于所述二维传感器阵列(121)之前或嵌入所述二维传感器阵列(121)中的瞬时颜色分离装置(123)的图像传感器(12)、以及以使成像局限于电磁谱的特定部分为目的的位于所述光路(OP)中的第一均匀滤谱器(13)；其特征在于：包含包括重叠滤色器或滤谱器马赛克的滤光器单元(FU)，或包括重叠滤色器或滤谱器马赛克以及均匀滤色器或滤谱器的滤光器单元(FU)；所述滤光器单元(FU)永久地或可互换地位于所述光路(OP)中的所述颜色分离装置(123)之前，或者接近由所述光收集装置(11)中包含的透镜(113)将输入光(A)聚焦而得到的会聚光(B)；

所述滤色器或滤谱器马赛克包括众多均质滤光器区；滤色器或滤谱器马赛克的所述滤光器区、所述均匀滤光器以及所述颜色分离装置(123)的滤光器区的透射率曲线(TC)之间存在重叠或部分重叠；所述滤色器或滤谱器马赛克、所述均匀滤光器以及所述颜色分离装置(123)的所述透射率曲线(TC)适当遍布待考虑的光谱区间；并且，所述颜色分离装置(123)与所述滤色器或滤谱器马赛克的组合产生不同组的线性无关的透射率曲线(TC)；并且，通过对受多重滤光器马赛克的多个区影响的图像区进行标识和分段，由所述图像传感器(12)捕捉到的多重滤光器图像被去马赛克，以获得多频带图像；并且，利用两种方法，即使用偏最小二乘法的统计方法或人工神经网络方法中的一种来对所述多频带图像进行变换，以获得多光谱或超光谱图像。

2.根据权利要求1所述的装置，其特征在于：所述图像传感器(12′)包括三个单独的二维传感器阵列(121a、121b、121c)；并且，所述颜色分离装置(122′)包括将输入光分离成三个不同光谱带的装置，每个带指向相应的二维传感器阵列(121a、121b、121c)；并且，所述滤光器单元(FU)包括滤色器或滤谱器马赛克。

3.一种用于产生瞬时或非瞬时多频带图像的装置(1)，包括：光收集装置(11)、具有至少一个二维传感器阵列(121)和位于所述装置(1)的光路(OP)中的所述二维传感器阵列(121)之前或嵌入所述二维传感器阵列(121)中的瞬时颜色分离装置(123)的图像传感器(12)、以及以使成像局限于电磁谱的特定部分为目的的位于所述光路(OP)中的第一均匀滤谱器(13)；其特征在于：包含包括重叠滤色器或滤谱器马赛克以及均匀滤色器或滤谱器的滤光器单元(FU)，或包括重叠均匀滤色器或滤谱器的滤光器单元(FU)，使得所述均匀滤色器或滤谱器安装在滤光器轮(114)上或由透射式显示器(115)产生；所述滤光器单元(FU)位于所述光路(OP)中的所述颜色分离装置(123)之前，或者接近由所述光收集装置(11)中包含的透镜(113)将输入光(A)聚焦而得到的会聚光(B)；所述滤色器或滤谱器马赛克包括众多均质滤光器区；滤色器或滤谱器马赛克的所述滤光器区、所述均匀滤光器以及所述颜色分离装置(123)的滤光器区的透射率曲线(TC)之间存在重叠或部分重叠；所述滤色器或滤谱器马赛克、所述均匀滤光器以及所述颜色分离装置(123)的所述透射率曲线(TC)适当遍布待考虑的光谱区间；并且，所述颜色分离装置(123)与所述滤色器或滤谱器马赛克的组合产生不同组的线性无关的透射率曲线(TC)；并且，通过对受多重滤光器马赛克的多个区影响的图像区进行标识和分段，由所述图像传感器(12)捕捉到的多重滤光器图像被去马赛克，以获得多频带图像；并且，利用两种方法，即使用偏最小二乘法的统计方法或人工神经网络方法中的一种来对所述多频带图像进行变换，以获得多光谱或超光谱图像。

4.根据权利要求2所述的装置，其特征在于：所述图像传感器(12′)包括三个单独的二维传感器阵列(121a、121b、121c)；并且，所述颜色分离装置(122′)包括将输入光分离成三个不同光谱带的装置，每个带指向相应的二维传感器阵列(121a、121b、121c)；并且，所述滤光器单元(FU)包括滤色器或滤谱器马赛克。

5.用于产生瞬时多频带图像的装置，所述装置是图像传感器(12)，所述图像传感器(12)包括：至少一个二维传感器阵列(121)、嵌入所述二维传感器阵列(121)中的瞬时颜色分离装置(123)以及滤光器单元(FU)，其特征在于：所述图像传感器包括滤色器或滤谱器马赛克(112)；并且，所述滤光器单元(FU)直接放置在所述颜色分离装置(123)上，或者与所述颜色分离装置(123)集成；并且，在所述滤光器单元(FU)和所述颜色分离装置(123)之间使用微透镜；并且，通过对受多重滤光器马赛克的多个区影响的图像区进行标识和分段，由所述图像传感器(12)捕捉到的图像被去马赛克，以获得多频带图像；并且，利用两种方法，即使用偏最小二乘法的统计方法或人工神经网络方法中的一种来对所述多频带图像进行变换，以获得多光谱或超光谱图像；并且，所述颜色分离装置(123)包括RGBT彩色马赛克，而所述滤色器或滤谱器马赛克(112)包括CMYT彩色马赛克；或者，所述颜色分离装置(123)包括CMYT彩色马赛克，而所述滤色器或滤谱器马赛克(112)包括RGBT彩色马赛克。

6.根据权利要求5所述的装置，其特征在于：所述图像传感器(12′)包括具有嵌入的滤色器马赛克(123a、123b、123c)的三个单独的二维传感器阵列(121a、121b、121c)；并且，所述颜色分离装置(122′)包括将输入光分离成三个不同光谱带的装置，每个带指向相应的二维传感器阵列(121a、121b、121c)。

7.根据权利要求6所述的装置，其特征在于：所述图像传感器(12′)还包括第四二维传感器阵列(121d)，所述第四二维传感器阵列(121d)被瞬时颜色分离装置(123d)覆盖，而不对所述第四二维传感器阵列(121d)使用任何均匀滤色器或滤谱器。

8.根据权利要求1、3和5中的任何一项所述的装置，其特征在于：至少一个附加光纤(OF)用于将光信号提供给所述装置中的多重滤光器马赛克区域的一部分。

9.根据权利要求1、3和5中的任何一项所述的装置，其特征在于：若干光纤(OF)用于将光信号提供给所述装置中的所述多重滤光器马赛克。

10.根据权利要求1、3和5中的任何一项所述的装置，其特征在于：每个所述二维传感器阵列(121、121a、121b、121c或121d)都包括具有至少三个层的分层光电二极管，使得光谱分离或颜色分离被嵌入所述传感器阵列(121、121a、121b、121c或121d)中，且不需要附加的颜色分离装置(分别为123、123a、123b、123c或123d)。

11.根据权利要求1、3和5中的任何一项所述的装置，其特征在于：通过彩色激光或喷墨打印技术，或通过其它影印技术在透明或半透明材料上产生所述滤色器或滤谱器马赛克和/或所述均匀滤色器或滤谱器(125a、125b、125c)。

12.根据权利要求1、3和5中的任何一项所述的装置，其特征在于：所述图像传感器(12)包括一个单独的二维传感器阵列(121)以及颜色分离装置，所述颜色分离装置为具有与所述单独二维传感器阵列(121)上的各个像素单元相配合的小型单元的第二滤色器或滤谱器马赛克。

13.根据权利要求1、3和5中的任何一项所述的装置，其特征在于：数码相机是所述装置的一部分；并且，所述图像传感器(12或12′)和所述颜色分离装置(123或122′)是所述数码相机的部分。

14.根据权利要求1、3和5中的任何一项所述的装置，其特征在于：通过组合互补滤色器或滤谱器马赛克和/或均匀滤色器或滤谱器，产生均匀多重滤光器或多重滤光器马赛克的组；并且，在所述二维传感器阵列(121)和所述多重滤光器马赛克之间提供按像素的匹配。

15.根据权利要求10所述的装置，其特征在于：CMYT或CMY彩色马赛克用于实现所需多重滤光效果；或者，均匀C、M和Y滤色器用于实现所需多重滤光效果；所用分层光电二极管至少具有红色层、绿色层和蓝色层；并且，在所述二维传感器阵列(121)和所述彩色马赛克之间提供按像素的匹配。

16.根据权利要求14所述的装置，其特征在于：VT马赛克被放置在会聚光中，以有助于构建所得多重滤光器马赛克。

17.根据权利要求1、3和5中的任何一项所述的装置，其特征在于：RGB和CMYTBrBk彩色马赛克被组合以构建所得多重滤光器马赛克。

18.根据权利要求10所述的装置，其特征在于：当使用至少具有红色层、绿色层和蓝色层的分层光电二极管时，CMYTBrBk彩色马赛克用于实现所需多重滤光效果。

19.根据权利要求10所述的装置，其特征在于：当使用具有至少三个层的分层光电二极管时，CMYT或CMYTBk彩色马赛克用于实现所需多重滤光效果，在所述分层光电二极管中，至少一个层对近红外光敏感且至少另一个层对近紫外光敏感。

20.根据权利要求1、3和5中的任何一项所述的装置，其特征在于：RGCYBrBk和VT彩色或光谱马赛克被组合以构建所得多重滤光器马赛克。

21.一种光学辅助设备，其适于以将所述光学辅助设备的光轴与自带或不自带相机透镜的数码相机的光轴对准的方式与所述数码相机连接，其特征在于：当相互连接时，所述光学辅助设备和所述相机形成根据权利要求1到9的任何一项所述的装置。

22.一种包括至少一个第一滤色器或滤谱器马赛克(112)的彩色或光谱马赛克，其特征在于：所述彩色或光谱马赛克(112)适于插入目镜中，由此，所述目镜和被插入的所述彩色或光谱马赛克与数码相机联合作用形成根据权利要求1到9的任何一项所述的装置。

23.一种包括根据权利要求1到7中的任何一项所述的装置的系统，其特征在于：通过对受多重滤光器马赛克的多个区影响的图像区进行标识和分段，由所述图像传感器(12)捕捉到的多重滤光器图像被去马赛克；并且，利用三种方法，即使用距离变换的插值方法、使用采用偏最小二乘法的统计变换的插值方法或人工神经网络方法中的一种执行插值，以获得具有完整频带的多频带图像；并且，利用两种方法，即使用偏最小二乘法的统计方法或人工神经网络方法中的一种来对所述多频带图像进行变换，以获得多光谱或超光谱图像。

24.一种包括根据权利要求1到10中的任何一项所述的装置的系统，其特征在于：通过对受多重滤光器马赛克的多个区影响的图像区进行标识和分段，由所述图像传感器(12)捕捉到的多重滤光器图像被去马赛克；并且，针对特定图像区计算平均值，为每个区产生一个多频带平均向量，而利用三种方法，即使用距离变换的插值方法、使用采用偏最小二乘法的统计变换的插值方法、或人工神经网络方法中的一种来对其它图像区执行插值，以获得在这些图像区中具有完整频带内容的多频带图像；并且，利用两种方法，即使用偏最小二乘法的统计方法或人工神经网络方法中的一种来对包括所述多频带平均向量的所述多频带图像进行变换，以获得多光谱或超光谱图像以及与每个所述多频带平均向量相对应的光谱。

25.一种包括根据权利要求8所述的装置的系统，其特征在于：通过对受多重滤光器马赛克的多个区影响的图像区进行标识和分段，由所述图像传感器(12)捕捉到的多重滤光器图像被去马赛克；并且，针对图像区计算平均值，检测光纤(OF)光信号，以为每个区产生一个多频带平均向量，而利用三种方法，即使用距离变换的插值方法、使用采用偏最小二乘法的统计变换的插值方法、或人工神经网络方法中的一种来对其它图像区执行插值，以获得在这些图像区中具有完整频带内容的多频带图像；并且，利用两种方法，即使用偏最小二乘法的统计方法或人工神经网络方法中的一种来对包括所述多频带平均向量的所述多频带图像进行变换，以获得多光谱或超光谱图像以及与每个所述多频带平均向量相对应的光谱。

26.根据权利要求25所述的系统，其特征在于：光纤(OF)中的至少一个递送发光源的信号，且所得所述多频带平均向量和对应的估算光谱分别用于补偿发光对所述多频带图像和所述多光谱或超光谱图像的影响，且通过这种方式，在像素中分别获得反射光谱响应和反射光谱。

27.根据权利要求26所述的系统，其特征在于：通过使用具有所需或优化透射率曲线(TC)的R、G和B滤光器，所述反射光谱响应和所述反射光谱被转换成R、G和B值，以产生经颜色校正的图像。

说明书

多光谱和超光谱成像系统

技术领域

[0001] 本发明总体上涉及一种包括用于产生光谱信息丰富的多频带图像以及多光谱和超光谱图像、或者产生光谱或光谱信息丰富的信号的装置和方法的系统。该装置包括光收集装置、包括嵌入式(与图像传感器集成)颜色分离装置的带有至少一个二维传感器阵列的图像传感器、和以使成像局限于电磁谱的特定部分为目的、处在该装置的光路中的任选的均匀滤谱器。本发明还涉及用于产生多光谱和超光谱图像的光学辅助设备和方法。在本发明的装置或本发明的光学辅助设备中可以包括彩色马赛克、均匀滤色器和/或滤色器轮。由图像传感器记录的图像被去马赛克成每个频带由记录特定滤光器的响应信号的像素组成的多频带图像。利用插值填充每个频带中的空区。针对每个多频带像素对光谱进行估算，并因此获得多光谱或超光谱图像。当然，可以通过计算所得图像中所有光谱的平均值来为整个成像场景产生一个光谱，但是，更高效的方法是计算多频带图像的每个频带(或每个频带的特定部分)的平均值，最后，将所得多频带向量变换成光谱，即，获得一种光谱仪。可以使用光纤将光引向图像传感器阵列的特定部分，并因此获得可以并行地测量数量与所使用光纤的数量一样多的光源的多光谱仪。当该装置中未包括滤色器轮或用于滤光器互换或交换的其它装置时，获得瞬时多光谱和超光谱图像。滤光器互换或交换可以利用带有移动部分的任何滤光器夹持器来执行，还可以利用扁平透射式显示器显示所需均匀滤色器和/或滤光器马赛克的序列来执行。

背景技术

[0002] 尽管通常称为光谱仪的多光谱和超光谱传感器发生了重大的演变，但仍然只有非常少或粗糙的获得环境的瞬时的所谓多光谱或超光谱2D图像、即具有多于三个谱带的2D图像的方式。我们将超光谱图像定义为包含多于十个谱带的图像，而多光谱图像具有四个到十个谱带。

[0003] 现今的多光谱和超光谱传感器系统依赖于空间扫描和/或光谱扫描来产生所得图像。这些系统中的一些在如下出版物中有描述：

[0004] -T.H.Barnes 的“Photodiode array Fourier transform spectrometerwith improved dynamic range”Appl.Opt.24，3702-3706(1985)；

[0005] -T.Okamoto，S.Kawata和S.Minani的“Fourier TransformSpectrometer with a Self-scanning Photodiode Array”Appl.Opt.23，269(1984)；

[0006] -Slough，W.，J.，Rafert，J.B.，Rohde，C.A.，Hart，C.L.，的“THRIFTI：tomographic hyperspectral remote imaging Fourier transforminterferometer”Proceedings SPIE Vol.3393，207-216，(1998)；

[0007] -Rafert，J.B.，Holbert，E.T.，Rusk，E.T.，Durham，S.E.，Caudill，E.，Keating，D.，Newby，H. 的“A Visible，Spatially-Modulated Imaging FourierTransform Spectrometer(SMIFTS)for Astronomical Application”Bulletin of the American Astronomical Society，24，1282，(1992)；以及

[0008] -Tugbayev，V.A. 的“Polarization interferometer for visibleFouriertransform spectrometer of static type”Proceeding SPIE Vol.2089，292，(1994)。

[0009] 在空间扫描的情况中，传感器系统瞬时捕捉整个光谱，但在每个瞬间只针对场景的一个小区域，且利用空间扫描来覆盖整个场景。这可以通过例如利用跨待成像的场景而平移的一行传感器单元来实现，这是产生如航空和卫星图像以及工业检查方面大多数多光谱和超光谱图像的方式。光谱扫描的情况相反，因此需要时间来获得完整的光谱。光谱扫描可以例如利用包含若干不同窄带或宽带滤光器的滤光器轮来实现，并且利用这些滤光器中的每一个来记录完全相同的场景。

[0010] 与扫描过程的需要相关联的缺点是所得图像对比扫描时间快的场景变化敏感。这对于快速变化事件的近距离成像尤其严重。本发明的目的在于当不执行滤光器互换或交换、即不需要对场景执行光谱扫描时捕捉瞬时多光谱和超光谱2D图像。

[0011] 数码彩色相机可以利用与图像传感器芯片集成的滤色器马赛克(例如，Bayer滤色器阵列)产生瞬时RGB(红色、绿色、蓝色)彩色图像。所用滤色器马赛克可以由RGB、RGBE(E＝翠绿色)、CMY(青色、洋红色、黄色)或CMYG颜色区组成。处理在所用马赛克的不同着色的区之后的传感器的响应产生最终RGB图像。

[0012] 换句话说，三个或四个宽谱带滤光器用于产生RGB图像；3色带图像。这种技术的一种扩展是使用若干高质量窄带滤光器马赛克来产生具有与用在马赛克中的不同滤光器的数量一样多数量的频带的图像，如US 4885 634，其示出了用于显示单色和彩色图像的内诊镜(其中光学内诊镜与用于特定谱波长成分的图像信号处理器和TV相机连接)、以及用于关于特定波长区的单色图像以及普通彩色图像的显示装置。但是，这种方法的高成本限制了它的实用性。

[0013] Zhang，C.，Bin，X.，Zhao，B. 的 出 版 物“Static polarizationinterferenceimaging spectrometer(SPIIS)”Proceedings SPIE Vol.4087，p.957，(2000)教导了一种可以用于瞬时超光谱成像的发展中的新技术。

发明内容

[0014] 本发明教导了使用若干重叠宽谱带滤光器来(在适当的图像去马赛克和处理之后)产生可以变换成具有若干窄谱带的多光谱或超光谱图像的光谱信息丰富的多频带图像。一系列重叠滤光器(这些滤光器直接物理接触或者位于该装置的光路中的不同位置)构建所谓的多重滤光器，即输入光依次穿过组分滤光器层。若干低成本滤色器可以用于构建与使用更大数量的高成本窄带滤光器等价的多重滤光器。因此，当使用这些多重滤光器代替对应的窄带滤光器时，光谱扫描时间减少(注意，每个滤光器必须覆盖整个场景)。此外，通过(利用由这些滤光器组成的周期性图案)来构造这些多重滤光器的高分辨率马赛克，可以完全省去扫描时间。实现这个目的的另一种可能方式是使用需要复杂和昂贵光学硬件及电子硬件的多芯片传感器。

[0015] 在数码彩色相机中，制造商已经放入与传感器集成的彩色马赛克(例如，Bayer滤色器阵列)，且替换或改变这些滤光器非常困难和昂贵。因此，需要一种得到比对应彩色图像包含更多光谱信息的瞬时多光谱或超光谱2D图像或瞬时多频带图像的节省成本的灵活设备。

[0016] 本发明的一个被提出的实施例教导了将数码彩色相机(包含CCD或CMOS图像传感器芯片)与在光路中具有彩色马赛克的附加透镜系统一起使用，以便获取具有许多谱带的瞬时2D图像。通过在光路中设置滤光层，可以做到这一点。其也是节省成本的。

[0017] 另一种方法是利用作为覆盖图像传感器单元的松散放置的薄膜(或薄膜堆，即一块层叠薄膜)、或作为与图像传感器单元集成(嵌入有图像传感器单元)的层的多重滤光器马赛克薄膜来覆盖图像传感器芯片(其可能已经自带有嵌入的滤色器马赛克)。必须实现图像传感器单元与覆盖膜或层之间的直接接触，以保证将这个额外膜或层放置在光路中的会聚光中。微透镜可用于为膜和传感器提供会聚光。

[0018] 如果扫描时间不是关键的(在获取图像立方体(image cube)时，关于相机位置和场景的移动或变化都未发生)，还可以利用被对准并定位在光路中的会聚光中的若干重叠滤光器轮来获得多重滤光器：也就是说，当前均匀滤色器通过其而显现的每个滤光器轮的窗口位于光路中的会聚光中。完全相同的场景利用通过选择安装在滤光器轮上的均匀滤色器的不同组合而产生的不同多重滤光器来记录。还可以利用均匀滤色器轮(等价于使用可互换的均匀滤色器)与固定滤色器马赛克的组合来产生多重滤光器马赛克。更为一般的方法是将均匀滤色器轮与彩色马赛克滤光器轮(等价于使用可互换的滤色器马赛克)相组合。利用移动部分得到非瞬时成像系统。还可以使用扁平透射式显示器来起到滤光器互换或交换设备的作用。在任何瞬时，所需的均匀滤色器或滤色器马赛克由这些显示器简单地显示。图像立方体记录期间的滤光器互换得到非瞬时图像，而不同图像记录任务之间的滤光器互换可以用于改变系统的波长范围并针对不同应用对其进行优化。

[0019] 另一种更昂贵的瞬时成像方法是使用其中可以将均匀滤色器与滤色器马赛克相组合以产生多重滤光器马赛克的多芯片相机(例如，三芯片相机)。

[0020] 本发明是一种用于产生光谱信息丰富的多频带图像以及多光谱和超光谱2D图像的成像系统，该成像系统被构造成通过使用重叠滤色器和/或滤色器马赛克在光路中产生透射滤光器的组合(称为多重滤光器)。所使用的滤光器或马赛克可以通过普通打印技术来产生，所述普通打印技术通常得到就透明度而言质量适中的宽带滤色器。但是，将这些滤光器放置在光路中的会聚光中补偿了这些不完美。当然，还可以利用对可见光和/或近红外光敏感的常规透射滤光器和滤光器马赛克。依次穿透重叠滤色器(可以是滤色器马赛克中的小的均质颜色区)的光线穿过整个光学系统。

[0021] 普通打印技术产生放置在(光学透镜系统内)的光路中的会聚光中的(和/或直接覆盖图像传感器单元的)有用的滤色器和滤色器马赛克。这使本发明的系统的滤光部分是节省成本的。

[0022] 本发明还示出了如何将该附加多重滤光器马赛克构造为单独的模块，从而例如具有此马赛克的透镜系统可以容易地附着到自带或不自带(嵌入的)相机透镜的单色或彩色相机、普通数码相机。如果相机已经具有固定的(嵌入的)相机透镜，则附着配备有目镜的透镜系统可做到这一点。否则，如果相机不自带(嵌入的)相机透镜，则透镜系统起到配备有滤色器马赛克的相机透镜的作用。根据提出的实施例，这样的透镜系统于是可以视为自带或不自带固定的(嵌入的)相机透镜的常规数码相机的透镜附件。其它提出的实施例教导了使用滤光器轮来夹持均匀滤色器和/或滤色器马赛克(等价于使用可互换的滤光器和马赛克)。当然，可以使用诸如LCD、等离子体或电致变色显示器的扁平透射式显示器，来通过简单地显示所需颜色图片来起到均匀滤色器和/或滤色器马赛克的作用。可以使用这些显示器来代替滤光器轮。但是，这些类型显示器的新设计需要增强其透明度和光谱特性。

[0023] 本发明的目的还在于通过应用于来自系统的成像部分的输出图像的去马赛克和插值方法继之以变换方法来产生最终所得图像中的光谱。这种变换方法将宽带彩色马赛克单元响应取作输入，并利用例如线性代数将这些信号转换成近似按单元的光谱。这使本发明的系统能够产生在像素中存在光谱的瞬时2D图像。如果系统不包括平板透射式显示器(LCD、等离子体或电致变色显示器)、滤光器轮或具有能够可互换地使用若干不同的均匀滤色器和/或滤色器马赛克的移动部分的其它滤光器夹持器，则不需要(光谱)扫描。平板透射式显示器、滤光器轮等用于获得较好的空间和光谱分辨率，但系统于是获取非瞬时图像，因为一系列图像需要利用不同的多重滤光器来记录。另一方面，在使用固定的多重滤光器马赛克(也可以显示在透射式显示器上)的情况下，只记录一个图像(其具有与图像传感器阵列相同的尺寸)，导致所得瞬时多光谱或超光谱图像的空间分辨率下降。为了增强所得瞬时多光谱或超光谱图像的空间和光谱分辨率，可以使用一种更昂贵的方法：利用其中可以使用均匀滤色器和/或滤色器马赛克的组合的多芯片图像传感器(例如，三芯片图像传感器)。

[0024] 使用平板透射式显示器(LCD、等离子体或电致变色显示器)使得可以使用针对不同波长区间优化的不同滤色器马赛克。

[0025] 其中利用这里提供的本发明的技术的多光谱和超光谱成像可能有用的应用的列表是相当长的，包括(但不限于)如下领域：

[0026] ·精细农业/耕作(监视土地状况、预测产量、植物识别等)；

[0027] ·植物病理压力检测和表征(检测病虫害)；

[0028] ·兽医(医疗诊断、状况估算等)；

[0029] ·食物质量检测(新鲜水果和蔬菜的检测、奶类和油类质量检测、家禽、鱼类和肉类质量检测、肉类中的脂肪估算等)；

[0030] ·森林、植被和树冠研究(测绘树木品种、树木体积/大小/年龄估算、检测受损/折断树木、外来物种检测等)；

[0031] ·生态系统监视；

[0032] ·环境(湿地、陆地、水文等)；

[0033] ·羽毛检测和分析

[0034] ·水质量和珊瑚礁监视；

[0035] ·海洋研究(深海测量、水体透明度等)；

[0036] ·卫生保健(食品安全、医疗诊断，例如，黑素瘤检测和皮肤创伤分析等)；

[0037] ·生物和化学检测(检测和识别危险物品)；

[0038] ·物品识别(天然和人造物品)；

[0039] ·矿物勘探和绘制；

[0040] ·伪装物和隐藏物检测；

[0041] ·灾难缓解；

[0042] ·城市规划和房地产；

[0043] ·交通能力分析；

[0044] ·法律实施(测量溢出程度和污染物、跟踪化学物品或油的排放、检测保护区内的非法活动等)。

[0045] 但是，显而易见，多频带图像(其在去马赛克步骤之后获得)和对应的多光谱或超光谱图像(其在变换步骤之后获得)包含相同量的光谱信息。因此，不必要将多频带图像转换成多光谱或超光谱图像以便能够分析成像场景。可以直接对多频带图像进行分析，从而得到比使用估算的(即引入估算误差)多光谱或超光谱图像时更好的性能。

[0046] 优点

[0047] 本发明的优点是使利用低成本常规相机和光学附件产生节省成本的、瞬时和非瞬时多光谱和超光谱图像或光谱信息丰富的多频带图像成为可能。

附图说明

[0048] 现在参照附图详细描述根据本发明的包括装置和方法的系统，在附图中：

[0049] 图1是产生瞬时和/或非瞬时多光谱和超光谱图像的系统的示意性的和简化的图示。

[0050] 图2a是由重叠滤色器马赛克组成的滤光器单元(FU)的示意性的和简化的图示，其中，CFMi指编号为“i”的滤色器马赛克。

[0051] 图2b是由重叠均匀滤色器组成的滤光器单元(FU)的示意性的和简化的图示，其中，UCFi指编号为“i”的均匀滤色器。

[0052] 图2c是由重叠均匀滤色器和滤色器马赛克组成的滤光器单元(FU)的示意性的和简化的图示，其中，XCFi可以是CFMi或UCFi。

[0053] 图3a是将图像传感器单元(ISU)与包括直接附着到ISU的滤光器单元FU0的多重滤光器单元(MFU)相组合的装置的示意性的和简化的图示。

[0054] 图3b是将图像传感器单元(ISU)与包括直接附着到ISU的滤光器单元FU0以及位于光路(OP)中的会聚光中的若干(m≥1)滤光器单元(FUi)的多重滤光器单元(MFU)相组合的装置的示意性的和简化的图示。

[0055] 图3c是将图像传感器单元(ISU)与由位于光路(OP)中的会聚光中的若干(m≥1)滤光器单元(FUi)组成的多重滤光器单元(MFU)相组合的装置的示意性的和简化的图示，注意，未使用FU0。

[0056] 图4a是由两个重叠滤色器马赛克CMYT(由青色区域、洋红色区域、黄色区域和透明区域组成)和RGBT(由红色区域、绿色区域、蓝色区域和透明区域组成)组成的多重滤光器马赛克单元(其被重复以形成覆盖整个图像传感器阵列的马赛克)的示意性的和简化的图示，其中，CMYT马赛克的每个单元覆盖RGBT马赛克的2×2个单元。

[0057] 图4b是利用夹持均匀滤色器的两个对准的滤光器轮(出现来自每个滤光器轮的所选滤光器的窗口必须对准)产生均匀多重滤光器的装置的示意性的和简化的图示，来自这两个滤光器轮的滤光器的不同组合产生不同的多重滤光器。

[0058] 图5a、5b和5c是待与多芯片图像传感器一起使用的三个多重滤光器马赛克的示意性的和简化的图示，其中，这些多重滤光器马赛克中的每一个覆盖图像传感器的传感器阵列之一。

[0059] 图6是当使用图4a中的滤色器马赛克时的所得多重滤光器马赛克的示意性的和简化的图示。

[0060] 图7是多重滤光器马赛克的示意性的和简化的图示，其中，在图像传感器阵列与RGBT马赛克之间实现按单元的匹配，而具有随机分布的随机形状颜色单元的低分辨率CMYT马赛克与RGBT马赛克重叠。

[0061] 图8是包括两个重叠CMY和RGB对角彩色马赛克的多重滤光器马赛克的示意性的和简化的图示，其中，在图像传感器阵列与RGB马赛克之间实现按单元的匹配，且CMY马赛克的每个单元覆盖RGB马赛克的2×2个单元。

[0062] 图9是多重滤光器马赛克的示意性的和简化的图示，其中，RGB对角彩色马赛克与图像传感器阵列集成，而CMY对角彩色马赛克不能被完美地产生以包含充分分离的C、M和Y区域。

[0063] 图10是如图9所示的多重滤光器马赛克的另一种变体的示意性的和简化的图示，其中，C、M和Y区域是菱形的以防止CMY马赛克的多于两个区域之间的重叠。

[0064] 图11是其中使用单芯片图像传感器(包括一个传感器阵列)的本发明实施例的示意性的和简化的图示。装置1(其包括第一均匀滤谱器13)可以附着到等价于该图中的部分12的常规数码相机。

[0065] 图12是如图11所示的实施例的另一种变体的示意性的和简化的图示，其中，第一均匀滤谱器是所用常规相机的一部分。

[0066] 图13是本发明实施例的示意性的和简化的图示，其中，使用单芯片图像传感器，且第一滤谱器或滤色器马赛克112直接覆盖颜色分离装置123。

[0067] 图14是其中使用三芯片图像传感器(包括由三个不同的均匀滤光器覆盖的三个单独的传感器阵列)的本发明实施例的示意性的和简化的图示。装置1可以附着到等价于该图中的部分12′的常规三芯片数码相机。

[0068] 图15是本发明实施例的示意性的和简化的图示，其中，使用三芯片图像传感器，且包括均匀滤色器(125a、125b或125c)和滤色器马赛克(123a、123b或123c)的每个多重滤光器马赛克直接覆盖单独的传感器阵列之一。

[0069] 图16是本发明实施例的示意性的和简化的图示，其中，使用四芯片图像传感器，且不同的多重滤光器马赛克直接覆盖不同的单独的传感器阵列。

[0070] 图17是滤光器的线性相关透射率曲线的示意性的和简化的图示，其中，透射率曲线TC1是其它两个透射率曲线TC2和TC3的线性组合。

[0071] 图18a示出了五个滤光器透射率曲线TC1、TC2、TC3、TC4和TC5。

[0072] 图18b示出了透射率曲线TC6、TC7、TC8和TC9，它们分别是图18a的透射率曲线的相乘对：TC1乘以TC2、TC2乘以TC3、TC3乘以TC4和TC4乘以TC5的结果。

[0073] 图18c示出了由常规光谱仪记录的滤色器的真实光谱。

[0074] 图19a和19b是适合农业和医学应用的两个多重滤光器马赛克的示意性的和简化的图示。

[0075] 图20示出了适合医学和农业应用的多重滤光器马赛克的示意性的和简化的图示。

[0076] 图21a示出了根据本发明的包括至少一个第一滤谱器或滤色器马赛克112的光学辅助设备33。本发明的光学设备33和常规相机44当相互连接时形成本发明的装置1。

[0077] 图21b示出了根据本发明的包括至少一个第一滤谱器或滤色器马赛克112的目镜51。目镜51与常规数码相机52联合作用形成本发明的装置1。

[0078] 图22a示出了单独的2D阵列的一部分，其中，阴影区域代表均质区域。

[0079] 图22b示出了将距离变换应用于图22a中的单独阵列的部分的结果，其中，较暗单元对应于较长距离。

[0080] 图23是用于测量特定多重滤光器F2对各种颜色(通过产生彩虹光)以及各种光强(通过使用可变透射率滤光器F1)的响应的设置的示意性简化例示。响应信号利用常规光谱仪和常规数码相机来测量。

[0081] 图24是波长区间的范围从300nm到1100nm的一组11个基本函数向量的示意性的和简化的图示。

[0082] 图25、26和27是示出其中具有重叠透射率曲线TC的两个滤光器用于近似具有较窄曲线TC的两个或三个滤光器的一些例子的示意性的和简化的图示。在图25中，具有透射率曲线TC2和TC4的滤光器可以近似具有TC1、TC3和TC5的滤光器。在图26中，具有TC7和TC8的滤光器可以近似具有TC6、TC9和TC10的滤光器。在图27中，具有TC12和TC13的滤光器可以近似具有TC11和TC14的滤光器。

[0083] 图28是由呈现在图6中的类型的四个马赛克单元组成的多重滤光器马赛克的示意性的和简化的图示。

[0084] 图29和30是呈现在图11和13中的实施例的经修改版本的示意性的和简化的图示。新实施例记录多光谱或超光谱图像或测量物体O的光谱，同时测量利用光纤OF1和OF2馈送的光信号的光谱。

[0085] 图31和32是其中仅光纤OF用来将光信号提供给该装置中的多重滤光器马赛克的两个实施例(其分别对应于图29和30中的实施例)的示意性的和简化的图示。

[0086] 图33示出了前馈人工神经网络的示意性图示。

具体实施方式

[0087] 现在参照图1，描述产生瞬时和/或非瞬时多光谱和超光谱图像的系统。

[0088] 多重滤光器单元(MFU)包括多重滤光器马赛克和/或置于光路中的会聚光中的均匀多重滤光器。多重滤光器是通过如此堆叠若干滤光器而产生的：将它们放置在光路中的会聚光中的不同位置，和/或将它们中的若干堆叠在一起(以得到一块层叠滤光器)并将它们放在会聚光中。还可以将所有它们堆叠在一起(和得到一块层叠滤光器)和将它们放在光路中的会聚光中，例如，直接位于接收输入光的图像传感器单元上。(例如用于非瞬时多光谱和超光谱图像记录的)均匀多重滤光器可以由重叠均匀滤色器产生，而(例如用于瞬时多光谱和超光谱图像记录的)多重滤光器马赛克可以由重叠滤色器马赛克以及均匀滤色器产生。这些滤光器和马赛克可以安装在固定滤光器夹持器中或安装在滤光器轮或其它类型的滤光器夹持器中，以便能够实现产生不同多重滤光器和马赛克的各种滤光器组合。扁平透射式显示器可以用于起到滤色器马赛克或均匀滤色器的作用。还可以通过显示不同颜色图案来互换或交换均匀滤光器和马赛克。

[0089] 图像传感器单元(ISU)将输入光转换成电信号，并且(通常利用A/D转换器)产生与感测信号相对应的数字值。这个单元的输出依赖于嵌入功能，使得所得输出可以是一个(单频带)或三个(红、绿和蓝频带)2D阵列的数字值。

[0090] 数字图像处理单元(DIPU)通过应用于图像传感器单元(ISU)的输出的任选(如果需要)去马赛克和插值方法继之以变换成光谱的方法产生最终所得图像中的光谱。该变换方法将多重滤光器响应取作输入，并且利用例如线性代数将这些信号转换成近似光谱。这使本发明的系统能够产生在像素中存在光谱的2D图像。如果利用多重滤光器马赛克，则必须采用去马赛克方法和任选的(如果需要)插值方法并获得瞬时多频带图像。这些多频带图像最终变换成多光谱或超光谱图像。

[0091] 图2教导了滤光器单元(FU)被分别定义为如图2a、图2b和图2c所示的重叠滤色器马赛克、重叠均匀滤色器或重叠均匀滤色器和滤色器马赛克，其中，CFMi和UCFi分别指编号为“i”的滤色器马赛克和编号为“i”的均匀滤色器，而XCFi可以是CFMi或UCFi。若干(n≥1)滤光器(CFM和/或UCF)堆叠在一起以构建待用在系统的多重滤光器单元(MFU)中的滤光器单元(FU)(一块层叠滤光器)。这意味着FU也可以是单个CFM或UCF。

[0092] 参照图3，提出了将图像传感器单元(ISU)与多重滤光器单元(MFU)相组合的三种装置，其中，FUi指系统中编号为“i”的滤光器单元。用在图3a和3b中的FU0是直接附着到图像传感器单元(ISU)的滤光器单元，且其组成部件(如图2所示)中的一些可以与传感器芯片集成(由芯片制造商)，而其余部件(如果有的话)可以被松散地或永久地安装，以覆盖芯片上的感测单元。注意，图像传感器单元位于光路(OP)中的会聚光中。图3a教导了多重滤光器单元(MFU)可以只由FU0构成，而在图3b中，除了使用FU0之外，若干(m≥1)滤光器单元(FUi)位于光路(OP)中的会聚光中。在图3c中，滤光器单元(FUi)位于光路(OP)中的会聚光中，但未使用FU0。如图3所示，在多重滤光器单元(MFU)中，光学系统包括将输入光(A)聚焦成会聚光(B)所需的任何透镜(3)和/或镜、以及将会聚光(B)转换成近似准直的输出光(C)所需的任何透镜(4)和/或镜。所有使用的透镜(3和4)和镜必须沿着光学系统中的公共光路(OP)精确对准。

[0093] 如图3所示，附加滤光器单元(FUi，i≥1)可以被松散地或永久地安装到固定滤光器夹持器中或者滤光器轮或具有可互换地使用不同滤光器的移动部分的其它滤光器夹持器(出现所选滤光器的窗口必须沿着光学系统的公共光路OP对准)。还可以使用扁平透射式显示器作为滤色器马赛克或均匀滤色器或者使用扁平透射式显示器来可互换地示出不同滤光器或马赛克。

[0094] RGB、RGBE、CMY或CMYG滤色器阵列常常集成到用于RGB彩色图像记录的图像传感器中。这意味着基本技术和染料可用来能够通过将由互补色组成的两个滤色器马赛克相重叠以获得可以记录比常规彩色图像传感器更多光谱信息的图像传感器，来产生如图3所示的滤光器单元FU0。另一方面，需要新设计以产生透明度和光谱特性增强了的扁平透射式显示器。

[0095] 存在几乎无限多可能的彩色马赛克图案。但是，用于瞬时成像的一个优选实施例使用根据图4a的重叠CMYT和RGBT彩色马赛克，其中，在图像传感器单元和RGBT彩色马赛克的R、G、B和T区域(每个颜色区域精确覆盖一个传感器单元)之间实现按单元的匹配。图4b示出了利用两个滤光器轮的对应非瞬时方法，而图5图示了对应瞬时四芯片方法，其中，第四传感器阵列(在图中未示出)只由RGBT彩色马赛克覆盖。这里还假设在RGBT彩色马赛克与传感器阵列之间按单元的匹配是可能的。因此，在图4和5中，CMYT彩色马赛克的每个单元覆盖RGBT彩色马赛克的2×2个单元。当CMYT彩色马赛克的空间分辨率高于RGBT彩色马赛克的空间分辨率时，获得等价的结果。在图4和5中，这通过分别用M、Y和C交换颜色R、G和B来实现。这里假设在CMYT彩色马赛克与传感器阵列之间按单元的匹配是可能的。因此，RGBT彩色马赛克的每个单元覆盖CMYT彩色马赛克的2×2个单元。

[0096] 但是，如果不能实现(较高分辨率马赛克与传感器阵列之间的和/或较高分辨率马赛克与较低分辨率马赛克之间的)按单元的匹配，则每个较高分辨率马赛克单元应该完全覆盖至少一个传感器阵列单元，且每个较低分辨率马赛克单元应该完全覆盖较高分辨率马赛克的不同单元之一。

[0097] 一般说来，与可用的集成图像传感器滤色器马赛克相结合，附加滤色器马赛克可以包含集成滤光器的颜色的互补色、以及其它颜色或滤谱器。除此以外，附加滤色器马赛克的每个单元必须覆盖集成滤色器马赛克的每个不同单元的至少一个颜色单元。大多数图像传感器阵列都配备有Bayer滤色器阵列(RGB或CMY)，这意味着在与图像传感器集成的马赛克中通常找不到透明单元(T)。在图4a中，用G单元替换RGBT彩色马赛克的T单元。在图像传感器阵列配备有CMY Bayer滤色器阵列的情况下，用Y单元替换CMYT彩色马赛克的T单元，这可以通过在图4中分别用M、Y和C交换颜色R、G和B、然后在现在所得(按传感器单元)CMYT彩色马赛克中用Y替换T以最终获得CMY彩色马赛克来图示。

[0098] 图6图示了当使用图4a中的滤色器马赛克时的所得多重滤光器马赛克。例如，多重滤光器马赛克中的单元CR代表由CMYT和RGBT彩色马赛克的C和R单元分别覆盖的区域。

[0099] 在本说明书中，滤色器马赛克与滤色器阵列之间的差异是后者假设图像传感器的传感器单元被布置为二维阵列，而滤色器马赛克不具有与滤色器单元的形状或分布有关的限制，使得甚至可以使用随机形状的和/或随机分布的滤色器单元。滤色器马赛克的这个特性的优点是：即使普通打印技术无法产生高分辨率的完美的或正确的滤色器阵列，也可以利用它们获得较高空间分辨率。换句话说，滤色器阵列是滤色器马赛克的特殊情况。

[0100] 图7图示了这样的情况：假设在图像传感器阵列与RGBT滤色器阵列之间按单元的匹配是可能的，而具有随机分布的随机形状颜色单元的较低分辨率CMYT彩色马赛克与RGBT阵列重叠。

[0101] 用于瞬时成像的另一个优选实施例使用根据图8的重叠CMY和RGB对角彩色马赛克，其中，在图像传感器阵列和RGB彩色马赛克(每个颜色区域精确覆盖一个传感器单元)之间实现按单元的匹配。CMY彩色马赛克的每个单元精确覆盖RGB彩色马赛克的2×2个单元。为了能够消除记录图像中的假像，使用对角彩色马赛克，使得如果C、M和Y单元布置在从右上角到左下角的对角线上，则R、G和B单元必须布置在从左上角到右下角的对角线上。

[0102] 图9图示了这样的情况：RGB对角彩色马赛克与图像传感器阵列集成，而CMY对角彩色马赛克不能被完美地产生以包含充分分离的C、M和Y区域。C、M和Y区域之间的重叠区域亦丰富了记录图像的光谱内容。CMY马赛克的每个单元(可以是C、M或Y区域或它们之间的任何重叠区域)必须覆盖集成RGB马赛克的每个R、G和B单元的至少一个颜色单元。

[0103] 图10示出了图9中的情况的另一种变体，其中，C、M和Y区域是菱形的以防止CMY马赛克的多于两个区域之间的重叠。

[0104] 现在参照图11，描述用于产生待变换成多光谱或超光谱图像的瞬时或非瞬时多频带图像的装置1。

[0105] 装置1包括光收集装置11、以及具有至少一个二维传感器阵列121和在装置1的光路OP中位于图像传感器阵列121之前的瞬时颜色分离装置123的图像传感器12。

[0106] 装置1还包括以将成像局限于电磁谱的某些部分为目的的光路OP中的第一均匀滤谱器13。

[0107] 在瞬时成像的情况下，本发明特别教导了至少一个第一滤谱器或滤色器马赛克112永久地或可互换地位于光路OP中的颜色分离装置123之前，或者至少尽可能地接近会聚光B。可互换定位的第一滤谱器或滤色器马赛克112提供了容易在不同第一滤谱器或滤色器马赛克112之间切换(即滤光器交换)的可能性，以使装置1适合于不同的光学要求并因此适合于不同的光谱测量。当然，还可以将第一滤谱器或滤色器马赛克112永久地放置在光路OP中的颜色分离装置123之前，或者至少尽可能地接近会聚光B。

[0108] 光收集装置11还包括将输入光A聚焦成会聚光B并此后聚焦成近似准直的输出光C所需的任何透镜113和/或镜。从而，透镜系统在光学上将输入光从物体O移动到近似无限远。透镜系统应该能够适应各种距离处的物体。然而，由于本发明不涉及该装置的这个光学部分，由于这些光学部分可以以许多不同方式实现，且由于它们对于本领域的普通技术人员来说是显而易见的，所以不详细描述这些光学部件。由于相同的理由，在本说明书中未详细描述或在图中未描绘图像处理单元和光谱计算所需的一些其它硬件/软件部分。

[0109] 第一滤谱器或滤色器马赛克112由布置为重复图案的众多小的均质滤光器区(或滤光器单元)组成，且第一滤谱器或滤色器马赛克112的这些颜色区的透射率曲线(TC，其被定义为作为波长的函数的滤光器透射率)部分重叠，除此之外，这些透射率曲线与属于颜色分离装置123的滤光器单元的透射率曲线重叠。第一滤谱器或滤色器马赛克112的透射率曲线TC和颜色分离装置123的透射率曲线TC必须遍布待考虑或研究的光谱的波长区间。

[0110] 在非瞬时成像的情况下，本发明教导了至少一个滤色器轮114(代替滤光器马赛克112)位于光路OP中的颜色分离装置123之前，或者至少尽可能地接近会聚光B。利用滤光器轮执行均匀滤色器互换，以光谱扫描整个图像立方体，从而得到非瞬时图像。关于安装在滤光器轮114上的滤光器的透射率曲线TC和颜色分离装置123的透射率曲线TC以及它们之间的关系，必须作出与使用滤光器马赛克112的情况一样的考虑。

[0111] 更一般的方法是将至少一个扁平透射式显示器115(代替滤光器马赛克112或滤光器轮114)放置在光路OP中的颜色分离装置123之前，或者至少尽可能地接近会聚光B。如果显示器115用于产生滤色器马赛克，则实现瞬时成像，而互换一系列均匀滤色器(即依次产生它们)得到非瞬时图像。关于由透射式显示器115显示的滤光器的透射率曲线TC和颜色分离装置123的透射率曲线TC以及它们之间的关系，必须作出与使用滤光器马赛克
112或滤光器轮114的情况一样的考虑。

[0112] 常规相机通常包括用于使成像局限于电磁谱的特定部分的均匀滤谱器。还提出，为常规相机诸部分的这些均匀滤谱器构成根据图12的第一均匀滤谱器13′。

[0113] 在另一个实施例中，第一滤色器马赛克112可定位成直接覆盖颜色分离装置123，如图13所示。滤光器马赛克112可松散地放置于颜色分离装置123上，或与123集成。此装置用于产生待变换成多光谱或超光谱图像的瞬时多频带图像。

[0114] 一方面的颜色分离装置123与另一方面的第一滤色器马赛克112、或用在滤光器轮114中的一系列均匀滤色器、或由透射式显示器115产生的一系列均匀滤色器或滤色器马赛克的组合产生了不同组的线性无关的多重滤色器透射率曲线TC。

[0115] 图14示出了包括三个单独的二维传感器阵列121a、121b和121c的图像传感器12′，即三芯片相机的使用。在这种情况下，颜色分离装置122′包括将输入光分离成三个不同光谱带或色带的装置，每个带至相应的二维传感器阵列121a、121b或121c。存在实现这一点的不同方式。一种可能的方案是使用分束器124以及三个单独的均匀滤色器125a、
125b和125c。还可以使用颜色分离分束器而不使用单独的均匀滤色器，从而实现相同的光学结果。图14中的实施例的细节与如前所述的图11中的实施例相同。

[0116] 图15中的实施例展示了具有包括三个单独的二维传感器阵列121a、121b和121c的图像传感器12′的三芯片相机。这里，还使用包括分束器124以及三个单独的均匀滤色器125a、125b和125c的颜色分离装置122′。除此之外，三个滤色器马赛克123a、123b和123c用于当与均匀滤色器125a、125b和125c相组合时形成多重滤光器马赛克。这里，还可以通过使用颜色分离分束器而不使用单独的均匀滤色器，即从图15中省略均匀滤色器
125a、125b和125c来实现相同的光学结果。滤色器马赛克123a、123b和123c可以具有相同或不同的滤色器图案。

[0117] 图16中的实施例展示了具有包括四个单独的二维传感器阵列121a、121b、121c和121d的图像传感器12′的四芯片相机。除了第四图像传感器121d在分束器之后不使用任何均匀滤色器，即在使用颜色分离分束器的情况下必须将包括整个光谱的信号提供给第四图像传感器阵列121d之外，所有细节都与图15中的实施例相同。滤色器马赛克123d(其可具有与123a、123b和123c相同或不同的滤色器图案)用于第四图像传感器阵列121d。

[0118] 对于展示在图11、12、13、14、15和16中的实施例，图4a和5以及考虑到实用方面的图7、8、9和10图示了优选的多重滤色器马赛克。还考虑了CMYT彩色马赛克的空间分辨率高于RGBT彩色马赛克的空间分辨率的情况。这是通过在图4a和5中分别用M、Y和C交换颜色R、G和B实现的。当然，优选的是，在图像传感器阵列与较高分辨率滤色器马赛克之间实现按单元的匹配，且让来自较低分辨率马赛克的每个单元精确覆盖较高分辨率马赛克的2×2个单元。还可以给图像传感器阵列配备RGB Bayer滤色器阵列，其中，在图4a和5中用G单元替换RGBT彩色马赛克的T单元。在图像传感器阵列配备有CMY Bayer滤色器阵列的情况下，用Y单元替换CMYT彩色马赛克的T单元，这可以通过在图4a、5、7、8、9和10中分别用M、Y和C交换颜色R、G和B来图示。在图4a和7的情况下，在所得(按传感器单元的)CMYT彩色马赛克中用Y替换T单元，以最终获得分辨率与图像传感器阵列相同的CMY彩色马赛克。

[0119] 本发明的优选实施例提出：常规数码相机为本发明的装置的一部分，其中，图像传感器12、12′和颜色分离装置123、122′(如图11、12、13、14、15和16所示)为常规相机的部分。

[0120] 标准光谱辐射仪(也称为光谱仪)可以容易地测量滤色器或彩色马赛克单元的透射率曲线。这不是当均匀滤色器或彩色马赛克与传感器集成时的情况，其中，可以通过摄取整个彩虹的图像并查看这个图片中经过所有颜色的一行像素来测量这些透射率曲线。这些像素值代表所用均匀滤色器的透射率曲线。在RGB彩色马赛克的情况下，可以取所得彩色图片的R、G和B带来代表所用马赛克的R、G和B滤色器单元的透射率曲线的估算。这些曲线利用光谱辐射仪来分级，以测量并估算沿着跨彩虹图像的所选行的不同点处的波长。还可以以类似方式测量或估算其它彩色马赛克的透射率曲线。这些测量结果被输入至本发明方法的变换，即如何将经测量的频带转换成分立的光谱，这在下面将更详细地讨论。因此，当使用本发明的装置时，如果不完全知道彩色马赛克的光谱特性，则先决条件是使用例如光谱辐射仪或彩虹投影仪的辅助设备。

[0121] 具有线性无关的透射率曲线TC(作为波长的函数而透射的光的一部分)的多重滤色器通过将不同滤色器相组合而产生，所述不同滤色器可以是通过不同手段如透射式显示器以及打印和影印技术而产生的滤色器马赛克中的小单元和/或均匀滤色器。术语线性无关在任何数学手册中有定义，且仅意味着每个透射率曲线不能通过将另一个透射率曲线乘以常数或者通过其它透射率曲线的线性组合来获得。图17图示了线性相关的例子，其中，为虚线的透射率曲线TC1是两个其它为实线的透射率曲线TC2和TC3的线性组合。通过普通打印技术产生的滤色器的透射率曲线通常由两个稍平区和在两个稍平区之间的透射率曲线的陡峭倾斜部分组成，当形成多重滤色器时，该陡峭倾斜部分有良好特性。两个窄峰(例如，对于洋红滤色器)是可以利用这些技术实现的另一个有用的打印滤光器单元。多重滤色器的透射率曲线近似是形成这个多重滤色器的组分滤色器的透射率曲线向量的按单元相乘的结果。作为说明性的例子，在图18a中展示了五个透射率曲线TC1、TC2、TC3、TC4和TC5，且在图18b中展示了这些透射率曲线对之间的一些按单元相乘的结果，其中，TC6、TC7、TC8和TC9分别是将TC1乘以TC2、将TC2乘以TC3、将TC3乘以TC4、和将TC4乘以TC5的结果。图18c示出了由常规光谱辐射仪记录的滤色器的真实光谱。

[0122] 与图像传感器集成或嵌入在图像传感器中的滤色器马赛克不能轻易分离。该重要暗示是：这阻止用户在针对他的应用改变马赛克方面的灵活性并且排除用于产生廉价彩色马赛克的常规打印技术的使用。此外，用户不能容易地测量嵌入式滤色器马赛克的光学特性。本发明教导了总是可以使用由低成本宽带滤光器单元或低成本二向色滤光器组成的非集成滤色器马赛克。但是，在应用需要的情况下，当然可以使用由这样的滤光器组成的马赛克或昂贵的窄带滤光器。

[0123] 为了提供实现本发明的节约成本的方式，提出了可以通过现有彩色(激光或喷墨)打印技术或通过其它当前影印技术在透明材料上产生滤色器马赛克。

[0124] 本发明的基本思想是试图通过采用低成本宽带滤光器或低成本二向色滤光器的组合来避免使用昂贵的窄带滤光器(均匀滤光器或滤光器马赛克)。一种这样类型的低成本滤光器或马赛克事实上是透明材料例如透明膜上的打印图案。可以使用常规彩色激光打印机来产生分辨率低至每英寸200个单元的彩色马赛克。基于本发明的另一个思想是通过使用光路中的打印彩色马赛克和与图像传感器集成的彩色马赛克，来利用当前可用的大规模生产的滤色器。相机制造商已开发了高质量彩色马赛克(例如，CMYG、CMY、RGB、RGBE等)且涉及打印技术的工业已开发了高质量彩色打印机(常常为CMYK，其中K＝黑色)。这两个工业分支在寻求获得一些感觉最佳的滤光器方面具有长的发展历史，并且存在朝着提高质量以及提高空间分辨率和降低成本方向的并行趋势，这意味着对本发明起有利的作用。

[0125] 会聚光指的是光线束趋向于朝着其会聚的空间位置。由于光的性质和光学系统的不完美性，该会聚不可能是严格的，但是，用日常的话来说，这些区通常被称为中间图像。打印在普通透明膜上的滤色器马赛克远非透明，似乎对滤色器无用，但当它们被放置在会聚光中时，它们达到几乎完美的透明度。远离会聚光存在模糊的副作用。

[0126] 图19a图示了适合于多光谱和超光谱测量的农业和医学应用的实施例。这里，包括光谱近红外区中的频带是至关重要的。在该情况下，简单的马赛克设计是与嵌入在图像传感器中或与图像传感器集成的颜色分离装置123(RGB滤色器马赛克)相结合，在第一滤色器马赛克112中使用CMYTBrBk马赛克(Br＝棕色、Bk＝黑色)。黑色和棕色马赛克单元对光谱近红外区中的频带敏感。然后，必须去除包括在大多数图像传感器中的红外阻挡滤光器。这产生了一些期望的多重滤光器。滤色器单元由简单的打印过程例如在彩色打印机上在透明材料上获得。

[0127] 图19b图示了另一个滤色器马赛克实施例，其示出由6个滤光器单元组成的图案可以用在第一滤色器马赛克112以及具有VT马赛克的第二相邻层中，其中，V代表电磁谱的可见部分(V＝红外阻挡，T＝在可见和近红外光谱区中是透明的)。在这种特殊情况下，图像传感器是单色无红外阻挡滤光器。

[0128] 图20图示了适合于多光谱和超光谱测量的医学和农业应用的实施例。这里，图6中所示的多重滤光器马赛克与VT马赛克相组合。在这种特殊情况下，图像传感器是单色无红外阻挡滤光器。当然，还可以使用配备有RGBT马赛克的图像传感器，并加上由分别如图4a和图20所示的CMYT马赛克和VT马赛克构建的多重滤光器马赛克。另一种可能是使用配备有RGB马赛克(如前所述，其中用G单元替换RGBT彩色马赛克的T单元)的图像传感器，并加上由CMYT马赛克和VT马赛克构建的多重滤光器马赛克。

[0129] 一般说来，在数码相机中有百万像素图像的当前趋势意味着在马赛克中使用4个、9个或16个单元的图案造成的分辨率损失是可以容忍的。但是，请注意，一般说来，我们试图使用多重滤光器来增加光谱信息。

[0130] 在David L.Gilblom，Sang Keun Yoo和Peter Ventura的出版物“Real-time color imaging with a CMOS sensor having stackedphotodiodes”Proceedings SPIE，Volume 5210，pp.105-115(2004)中展示了其中单个传感器能够同时捕捉三个宽R、G和B光谱带的分层光电二极管感测。由于每个CMOS传感器单元包含三个处于不同深度的p-n结，所以这些传感器也被称为三阱图像传感器。这种特殊单芯片图像传感器等价于使用配备有R、G和B均匀滤色器的三芯片图像传感器，R、G和B均匀滤色器中的每一个覆盖三个传感器芯片之一。将CMYT马赛克添加至这个传感器阵列将产生与前面在文本和图中展示的情况类似的多重滤光效果。为了获得最佳的可能空间图像分辨率，在CMYT马赛克单元与三层图像传感器阵列单元之间按像素的匹配是优选的，即CMYT马赛克与图像传感器芯片集成。但是，如前面在文本和图中所述，CMYT马赛克可以放置在光路(OP)中发现会聚光的任何位置。

[0131] 然而，还可以用多于三个的层来构造分层光电二极管，该多于三个的层包括近紫外和/或近红外敏感层。用诸如CMYT或CMYTBk的适当滤色器马赛克覆盖分层传感器单元阵列产生了有用的光谱光信号响应，该响应是足够光谱丰富的，以致被转换成覆盖近紫外、可见以及近红外波长区的光谱。

[0132] 图21a示出了根据本发明的包括至少一个第一滤色器马赛克112的光学辅助设备33。光学设备33适于以使光学设备33的光轴与相机44的光轴对准的方式与常规数码相机44连接。该相机不自带相机透镜，而光学设备33起到配备有滤色器马赛克的相机透镜的作用。当相互连接时，本发明的光学设备33和常规相机44形成本发明的装置1。

[0133] 图21b示出了根据本发明的包括至少一个第一滤色器马赛克112的目镜51。目镜51与常规数码相机52(该相机自带相机透镜)联合作用形成本发明的装置1。重要的是，使目镜51的光轴与相机52的光轴对准。滤色器马赛克112可适于插入到嵌入例如望远镜、双筒镜或显微镜中的常规目镜51中。滤色器马赛克112应该与光路中的中间图像接近地设置。这应该在前面所示实施例(图11、12和14中)的光收集装置11之内或者在后面的实施例(图21b中)的目镜51中完成。大多数显微镜、望远镜和双筒镜透镜系统都具有适合于滤色器马赛克板的机械插入的目镜部分。对于更详细的讨论，参看出版物WO 00/41010。

[0134] 彩色马赛克的取向和尺度在简单实施例中可能是自由的，但理想的是，在彩色马赛克与图像传感器阵列之间实现按像素的匹配，以及在一个彩色马赛克与另一个彩色马赛克之间实现按单元的匹配，该另一个彩色马赛克具有精确覆盖第一个彩色马赛克(较高分辨率马赛克)的2×2、2×3、3×3或其它数量的单元的单元，即两个彩色马赛克精确匹配。图像处理软件(可以内置在相机盒内，或安装在图像从相机转移至的计算机上)利用简单校准过程自动寻找图像中受不同彩色马赛克单元影响的区。摄取白色背景或白色光的图像可以例如校准成像系统，并且有助于对图像中的不同彩色马赛克单元区域进行标识和分段。假设彩色马赛克以后既不改变位置也不改变取向，以便能够假设当摄取任意场景的新图像时，同一多重滤光器马赛克或图案仍然有效。换句话说，对新图像执行完全相同的分段(白色背景图像)。每当彩色马赛克(其用在图1中的多重滤光器单元MFU中)被改变或者彩色马赛克的位置或取向被改变时，必须记录新的白色背景图像以用来校准利用当前彩色马赛克记录的图像。

[0135] 图像传感器单元(ISU)利用包括如从图1开始的图所示的滤色器马赛克的多重滤光器单元(MFU)记录的图像将由小相邻区组成，每个小相邻区都受特定马赛克滤光器单元影响，即记录图像的这个区的传感器单元被该马赛克滤光器单元覆盖。可使用白色背景颜色归一化图像，以便能够标识属于特定马赛克滤光器单元的图像像素，且使用获得的信息来从任意图像中提取对应像素(其具有与所选白色背景图像像素完全相同的坐标)，并将它们放在因此包含空单元的单独阵列(其具有与图像相同的尺寸)中。这些单独阵列与在多重滤光器单元(MFU)中可发现的不同马赛克滤光器单元一样多。图4a中的装置将例如产生16个部分填充的(多孔的)阵列，其中，当考虑在所有阵列中坐标相同的所有阵列单元时，只填充一个阵列单元。这意味着来自记录图像的每个像素将只属于这些单独阵列中的一个。这个任务可以看作一种去马赛克过程。

[0136] 其余空阵列单元可以利用一种插值过程来填充。如下两种方法是优选的。

[0137] 利用距离变换的插值

[0138] 图22a示出了由上面提到的去马赛克过程产生的单独阵列的一部分，其中，阴影或带点区域(代表均质区域)代表属于所用多重滤光器马赛克的同一单元的区。这里的目的是填充阵列中的空单元(即，图22a中的白色区域)。

[0139] 距离变换可以用于计算每个空单元与最接近的阴影单元之间的距离。图22b示出了将距离变换应用于图22a中的单独阵列的部分的结果，其中，较暗单元对应于较长距离。对于每个单独阵列(整个阵列)，插值(也可以看作外插(extrapolation))开始于白色单元并结束于黑色单元。

[0140] 还可以利用克里格法(kriging)填充阵列的空空间。

[0141] 利用统计变换的插值

[0142] 在这种方法中，每个多重滤光器响应被变换成其它多重滤光器的对应响应。在图4a所展示的情况下，必须估算所需系数，以便能够将图6中所展示的每个多重滤光器的响应变换成所有其它多重滤光器的响应。变换系数可以利用如下线性方程组计算：

[0143] FiCij＝Fj (1)

[0144] 其中，Fi和Fj是分别由多重滤光器组i和j的响应组成的两个矩阵，且Cij包含将Fi变换成Fj的变换系数。形式为Ax＝y(其中矩阵A和列向量y是已知的，而列向量x是T T -1 T T -1 T未知的)的线性方程组的解是x＝A(AA) y，其中A(AA) 是A的伪逆矩阵(其中A 表示-1
矩阵A的转置矩阵，且A 表示矩阵A的逆矩阵)。类似地，系数矩阵Cij可以按如下估算：

[0145] Cij＝FiT(FiFiT)-1Fj (2)

[0146] 作为一个说明性的例子，来查看将多重滤光器CR、CG、CB和C的响应变换成MR、MG、MB和M的响应的情况。这里我们有如下方程组：

[0147] FCCCM＝FM (3)

[0148] 其中，矩阵FC和FM由N(其中N是整数)行和四列组成，而CCM是4×4矩阵，如下：

[0149]

[0150]

[0151] 其中，FC的四列包含多重滤光器CR、CG、CB和C的响应，而FM的列包含MR、MG、MB和M对完全相同光信号的并且以完全相同的顺序展示在矩阵的行上的响应；例如，FC和FM的第1行上的值对应于多重滤光器CR、CG、CB和C以及MR、MG、MB和M对完全相同光信号的响应。系数矩阵CCM利用方程(2)估算，得出：

[0152] CCM＝FCT(FCFCT)-1FM (4)

[0153] 然后，经估算的变换矩阵CCM用于将多重滤光器CR、CG、CB和C的新测量的响应变换成MR、MG、MB和M的对应响应。在FC和FM中用来估算CCM的值属于所谓的训练数据集。

[0154] 相同的方法可以应用于估算其它所需变换矩阵，以便能够填充并完成经分离的或经去马赛克的(多孔的)阵列(例如，在使用图4a中所展示的多重滤光器马赛克的情况下，必须处理16个这样的阵列)。注意，还需要逆变换，例如，将FM变换成FC的CMC。但是，用于T T -1估算CCM的同一训练数据集可用于对CMC估算如下：CMC＝FM(FMFM) FC。

[0155] 作为另一个说明性的例子，来查看图8中所展示的情况。这里，在彩色马赛克中未使用透明滤光器单元，从而得出例如下面的FC、FM和CCM矩阵：

[0156]

[0157]

[0158] 方程(1)中的系数矩阵Cij还可以利用偏最小二乘(PLS)法(代替使用方程2)来估算。

[0159] 所需变换矩阵的良好估算需要使用可覆盖整个数据空间的训练数据集，即训练数据集必须包含可提供给系统或需要系统在将来(即在完成训练阶段之后)处理的数据样本的所有可能变体的代表性数据样本。因此，准备良好的训练数据集是能够进行这种方法所必不可少的。

[0160] 图23图示了用于测量均匀滤光器对具有变化的光强的投影彩虹的响应的设置。彩虹通过透射率变化的滤光器F1(从0平滑变化到100％)投影，从而获得或产生彩虹的每种颜色的各种光强。例如，F1影响彩虹的几乎均匀红色窄区，从而这个区的颜色朝着暗红色逐渐变化，即在彩虹的这个区中可以看到从红色变动到暗红色或黑色的一组颜色。这同样适用于其它的彩虹均匀颜色区。所关心的均匀多重滤光器在图23中用F2表示。图中所示的相机是单色相机。但是，如果多重滤色器由嵌入的相机彩色马赛克和外部彩色马赛克构建，则也可以使用彩色相机。必须将类型与外部马赛克单元相同的均匀滤色器(可互换地)用作图23中的F2。

[0161] 相机记录投影在白色表面(例如白纸)上的整个彩虹的图像。该设置中的不同部分，即光源、棱镜、F1、白色表面以及相机在获取整个训练数据集期间必须保持不变，以便能够假设记录图像之间的按像素的匹配。在这种情况下，像素值是构建训练数据集所需的多重滤光器响应。

[0162] 本发明还涉及一种利用本发明的装置来执行光谱测量的方法。依赖于将多频带图像变换成多光谱或超光谱图像的所用方法，常常必须测量所用多重滤色器的光谱特性，或者测量这些滤光器对各种类型入射光的响应。测量多重滤色器(均匀和马赛克)的光谱特性前面已经讨论过。这里将讨论的是如何使用光谱仪(也称为光谱辐射仪)来测量如图23所示投影在白色表面上的彩虹的不同点或区处的光谱。但是，通过例如在此白色表面中形成的孔来执行测量是更好且更容易的。可以使用包含孔的硬材料板，或者简单地使用适当硬材料网格或网眼(以利用光谱仪测量通过这些孔的光谱)，并用没有孔的松散放置的白色盖子覆盖它(以将彩虹投影在上面并利用相机记录它的图像)。

[0163] 在其透射率曲线TC为组分滤色器的透射率曲线之积的多重滤色器产生N个色带的情况下，可以通过如下所述的方法估算近似光谱。注意，图像传感器单元所记录的是入射能量(作为波长的函数的输入光子数)x乘以多重滤光器的透射率曲线(例如，在多重滤光器由具有透射率曲线t1和t2的两个重叠滤色器组成的情况下为t1·t2)，该结果最后乘以传感器单元本身的灵敏度曲线σ(作为波长的函数的传感器所吸收的一部分能量)，如下面的按单元的向量积所描述的那样：

[0164] σ·t1·t2·x

[0165] 但是为了简单起见，认为σ等于1。

[0166] 现在描述利用线性代数估算图像单元处的近似光谱的几种方法。

[0167] 利用偏最小二乘法的统计方法

[0168] 设x是光谱信号的向量(即具有m个元素的光谱向量)，且y是来自N个不同多重滤光器的N频带输出向量(N元素向量)。根据多频带数据y估算光谱x的高效方式是：针对各种类型的入射光使用Q个已知光谱x(由常规光谱仪测量)和Q个对应图像响应y(由相机记录)的训练数据集，来统计地估算x和y之间的线性关系P，使得

[0169] x＝Py (5)

[0170] 所测量的响应yi(i＝1，2，…，Q)可形成以yi为列的矩阵Y，类似地，对于光谱xi，形成矩阵X(m×Q)。设yi的维数是D，并且设训练对(xiyi)的数目Q超过该维数：Q＞D，使得矩阵Y为非标准(D×Q)矩形的。于是这可以用公式表示为：

[0171] X＝PY (6)

[0172] 并且可以通过偏最小二乘(PLS)法求解，从而得出估算值P′(m×Q)。最后，由x′＝P′yj形成用x′表示的x的估算值，其中yj是训练数据集之外的图像响应，即未包括在训练数据集中的新测量的图像响应。

[0173] 这种方法可视为利用低成本宽带滤光器来估算窄带滤光器的近似值。图25、26和27示出了具有重叠透射率曲线TC的两个滤光器用于近似若干较窄滤光器的一些例子。在图25中，具有透射率曲线TC2和TC4的滤光器可用于近似具有TC1、TC3和TC5的滤光器。
图26示出了具有TC7和TC8的滤光器可用于近似具有TC6、TC9和TC10的滤光器。最后，在图27中，具有TC12和TC13的滤光器可用于近似具有TC11和TC14的滤光器。

[0174] 人工神经网络方法

[0175] 可以利用人工神经网络来执行插值方法2以及变换成光谱的方法1。图33示出了可用于线性和非线性函数估算的具有三个层(输入、隐藏和输出)的前馈神经网络。输入层具有N个节点，其中N是待变换成出现在K个输出层节点上的所需结果的输入参数的数目，其中K是被估算参数的数目。隐藏层包含M个节点，其中M被选择成获得最节省成本的模型(通常，M＝N+1是最佳选择)。每个输入节点与所有隐藏层节点连接，每个隐藏层节点又与所有输出节点连接。所有信息在工作期间沿着一个方向从输入层移动到输出层。隐藏和输出层中的每个节点都具有如下两个部分，即线性求和函数和非线性激活函数：

[0176]

[0177] 其中y是节点的输出，a是比例因子，tanh是双曲正切函数，j是至节点的输入的数目，xi是到节点的输入，wi是与至节点的每个输入连接相关的加权因子，b是偏离因子。因子a、b和wi通过利用训练数据集训练神经网络来估算，该训练数据集由神经网络所将用于的输入和输出参数对组成(即当将输入参数输入至该网络时，估算所需输出参数)。作为一个说明性的例子，来查看将多重滤光器CR、CG、CB和C的响应变换成MR、MG、MB和M的响应的情况。这里，使用具有N＝4个输入节点(接收CR、CG、CB和C信号)、M＝5个隐藏节点和K＝4个输出节点(产生MR、MG、MB和M信号)的神经网络在计算方面是高效的。当将多重滤光器响应变换成光谱时，神经网络应该具有与不同多重滤光器一样多的输入，例如，当使用图6中所述的多重滤光器时，需要16个输入节点(和17个隐藏节点)。输出层具有与被估算光谱中所需光谱带的数目一样多的节点。

[0178] 其它优点和应用

[0179] 与单色图像(即单频带图像)一样小的多重滤光器马赛克图像可以被容易地转移和保存，这使得这种技术可用于机载和星载成像系统等，以及电视医疗和电子医学记录和归档，其中，所获取的图像被转移到待保存(和归档)和/或分析(在产生多光谱或超光谱图像之后)的另一地方。对多重滤光器马赛克图像去马赛克产生亦比超光谱图像小得多(并因此更易于转移和保存)的多频带图像。具有可互换均匀滤光器(利用滤光器轮或平板透射式显示器)的系统直接产生多频带图像。当需要时，多光谱或超光谱图像可以通过变换对应多频带图像来产生和分析。

[0180] 本发明可能有用的另一重要应用是产生多光谱或超光谱图像，然后执行适当处理和分析，以补偿发光和周围环境对图像的影响，最后将经处理的多光谱或超光谱图像回变换成彩色RGB图像。可以通过这种方式执行高效颜色校正。还可以针对特定显示器例如系统中当前使用的显示设备而(通过选择并使用适当R、G和B滤光器)优化所得彩色RGB图像。

[0181] 最后，当然可以利用上述技术和方法来构造光谱仪。主要差异在于，不需要用插值/外插来填充属于不同多重滤光器的被提取单独阵列中的空空间。代替之，这里需要完成的是简单计算每个单独阵列的非空单元的平均值。如果单独阵列包含相同数目的非空单元，则可以使用非空阵列单元之和(代替平均值)。因此，每个单独阵列将产生单个标量值。这些标量值形成单个向量，其中这些值根据特定顺序被插入。此后，这个多频带向量可以(利用上述变换成光谱的方法之一)变换成光谱分辨率和精度尽可能高的光谱。

[0182] 此外，还可以构造可以并行地执行若干光谱测量的光谱测定设备，因为，图像传感器阵列的空间分辨率通常高到足以与由大数量的重复马赛克图案单元组成的多重滤光器马赛克一起使用，该重复马赛克图案单元是被重复以形成覆盖整个图像传感器阵列的马赛克的滤光器马赛克图案。因此，由至少一个马赛克图案单元覆盖的图像传感器阵列的不同部分可以用于构建独立的光谱仪，如图28所示，其中我们具有由图6中所展示的类型(即同一多重滤光器马赛克图案)的四个马赛克单元组成的多重滤光器马赛克。在图28中，可以利用四个马赛克单元中的每一个来构建独立的光谱仪，如果可以并行地将四个不同光信号递送到这些马赛克单元区域的话(这可以利用四个单独光纤OF来容易地实现，该四个单独光纤OF中的每一个将光递送到不同的马赛克单元)。但是，在图像传感器阵列与多重滤光器马赛克之间不可能实现按像素的匹配的情况下，重要的是确保光纤OF覆盖至少一个马赛克单元。还可以利用(如图3、11-16和21所述的)透镜系统来构建多光谱或超光谱相机(其可以产生在像素中存在光谱的多光谱或超光谱图像)，或者利用图像传感器阵列来构建光谱仪(其产生单个光谱)，其中该图像传感器阵列具有足以省去该传感器阵列的至少一部分(即这些部分不用于构建相机或光谱仪)的空间分辨率和单元数目，这些部分中的每一个都由将由光纤OF覆盖并构建独立的光谱仪的至少一个多重马赛克单元所覆盖(如上所述，通过直接物理接触或通过将彩色马赛克放置在光路OF中来覆盖)。

[0183] 图29和30示出了可以如何修改分别如图11和13所示的实施例以构建多个设备。在图29中，可以记录多光谱或超光谱图像或测量物体O的光谱，同时测量利用光纤OF1和OF2馈送的光信号的光谱。至少需要一个光纤OF，以便能够补偿发光和周围环境对测量的光谱或记录的多光谱或超光谱图像的影响，例如，颜色校正然后可以被容易地执行。

[0184] 图31和32示出了其中仅光纤OF用来将光信号提供给该装置中的多重滤光器马赛克的两个实施例(它们分别对应于图29和30中的实施例)。至少使用一个光纤OF，但如果应用需要，也可以使用多至与图像传感器阵列单元的数目一样多的光纤OF，以及可以将它们遍及图像传感器阵列区域而均匀分布。在单个光纤OF与图像传感器单元或多重滤光器单元之间按单元的匹配是优选的。

[0185] 应该理解，本发明不局限于其上述和图示的示范性实施例，而可以如所附权利要求所述的那样在本发明概念的范围内作出修改。代替图像传感器中当前广泛使用的矩形网格布置，可以类似地使用六角形、八角形或其它像素布置图案。Fujifilm宣布生产了“Super CCD”(Fujifilm，2004，新闻集锦-用尖端的小型化技术产生更高分辨率和更宽动态范围的新的第四代Super CCD，Fujifilm网址：见于2005年9月的环球网@http://home.fujifilm.com/news/n030122.html)。