一种高光谱图像交互式多图像彩色可视化方法

摘要

一种高光谱图像交互式多图像彩色可视化方法，其特征在于：步骤如下：步骤一，信息筛选；步骤二，节点图排序；步骤三，交互式调整三通道信息；步骤四，在彩色空间显示，步骤三中获得的三个灰度图像经过归一化或图像增强等处理，分别用作彩色空间的三通道进行显示获得输出图像。本发明交互界面便于使用者操作；能表述更多的信息，且可对不同种类的信息组合显示；可用于高光谱图像，还可对其他类别的图像信息进行显示，根据需要调整整体色调；能够更容易地确定最佳输出图像，可以突出显示某地物或类别。

权利要求

1.一种高光谱图像交互式多图像彩色可视化方法，其特征在于：步骤如下：步骤一，信息筛选，经过数据处理或人工挑选方法，选出满足使用者要求的用于显示的有用图像，这些图像描述为多幅相同空间尺度的灰度图像；步骤二，节点图排序，将步骤一中筛选出的灰度图像按照图像相关性大小顺序，排列在圆环上等距的节点上；步骤三，交互式调整三通道信息，系统将根据预定点的数目自动选择显示方法，在显示过程中可根据使用者的需要增减或修改预定点，同时，显示方法也随着预定点数目的变化而相应改变，当对预定点进行修改时，也可同时调整节点图的排序，以达到更好的显示效果，最后，获得的三个灰度图像将用以在彩色空间显示的三个信道输出；步骤四，在彩色空间显示，步骤三中获得的三个灰度图像经过归一化或图像增强处理，分别用作彩色空间的三通道进行显示获得输出图像。

2.根据权利要求1所述的一种高光谱图像交互式多图像彩色可视化方法，其特征在于：步骤三的交互式调整三通道信息的提取方法如下：

(1)在交互界面中，设置预定点；

(2)确定其它点；

(3)确定输出图像，单通道灰度图像/三通道彩色图像；

经由确定的混合图像结合已知的预定点一同作为输出图像的三信道信息用以显示。

说明书

一种高光谱图像交互式多图像彩色可视化方法

技术领域

[0001] 本发明属于遥感信息处理技术领域,特别是一种高光谱图像的彩色显示方法。

背景技术

[0002] 自成像光谱仪问世以来，高光谱图像(Hyperspectral Imagery,HSI)越来越广泛地被应用到军事、农业、海洋、环境等方面，相应的可视化技术也受到国内外研究人员的日益关注。高光谱图像由于具有大量的波段，因而无法在仅有三通道的彩色空间中直接显示。为此，为在图像空间中显示高光谱图像，现存方法都是首先将其变换到低维空间，这些方法有，波段选择，PCA降维，波段融合等。传统可视化方法都是直接利用这些变换方法将原始高光谱图像变换至三波段，然后分别赋值给彩色空间的三个通道进行显示，或者将不同类型信息分别显示在多个独立的图像中。

[0003] 然而，对于具有高信息量的高光谱图像，为使可视化结果包含更为全面的信息，如地物空间信息、地物类别信息、地物光谱信息、目标信息、边缘信息、纹理信息等，往往需要通过多于三幅的图像进行表述。然而将原属于同一数据中的信息分别独立显示在多幅图像中，又将会增加观察者的处理复杂度。因此，对于具有复杂结构的数据，多模态图像表达已变得越来越重要。同时，如何将HSI中尽可能多的信息集成在同一个界面进行显示，已成为如今亟待解决的问题。此外，在有限的显示空间中，如果可视化技术不仅能够提供固定信息的图像显示，还能够根据使用者的交互操作提供选择不同的信息进行表示，甚至是图像动态变化的表示，那么用户对于信息的接收及理解程度也能大大提高。

[0004] CAI等提出了一种适用于高光谱数据的基于特征驱动点(FEATURE-DRIVEN)的多层可视化方法，该方法将特征驱动图像与解混后的假彩色图像根据不同的透明度进行了混合，解决了HSI可视化图像中空间信息与光谱信息无法同时表达的难题。但是该方法仍然存在一些不足，如特征驱动图层会不同程度地影响空间信息的表达，图像内容也表现得较为混乱，而且该方法所使用的各个图层所表达的信息之间存在冗余，此外，该方法只有在图像局部地域放大到一定程度或将多像素作为一个单位进行解混时才适用于显示特征驱动图层，否则特征驱动层将失去其显示意义。

[0005] KOVESI等整理并提出了一系列交互式多模态图像显示方法，如三角自然差值方案；四图像线性混合方法；多图像环形混合方案；相位保持的动态范围压缩算法以及多图像混合方法等。这些方法皆利用交互式方法对多模态图像信息进行混合并显示，并取得了较好的可视化效果。但是这些方法也存在了一些问题，如无法充分利用彩色通道信息，以及都无法适用于高光谱图像的海量数据等，此外，在这些方法之间，并无法证明何种方法对某个数据的显示拥有最佳的显示效果。

发明内容

[0006] 本发明的目的在于提供一种适用于高光谱数据且满足于具有多模态图像要求的高光谱图像交互式多图像彩色可视化方法。本发明能够在同一界面中输出彩色图像，并根据使用者对光标的调节，静态或动态地显示高光谱图像中更多的有用信息。通过本发明，使用者可以在可视化过程中根据自己的需要改变输出图像，这使得这种交互式可视化方法能够对高光谱图像进行有目的的信息挖掘。此外，本发明也同样适用于其他多图像的可视化，如多光谱图像，方向滤波器输出图像，不同聚焦图像，同空间区域不同时间图像，同空间区域不同传感器获取的图像等。

[0007] 一种高光谱图像交互式多图像彩色可视化方法，步骤如下：

[0008] 步骤一，信息筛选。

[0009] 经过数据处理或人工挑选方法，选出满足使用者要求的用于显示的有用图像，这些图像描述为多幅相同空间尺度的灰度图像。

[0010] 步骤二，节点图排序。

[0011] 将步骤一中筛选出的灰度图像按照图像相关性大小顺序，排列在圆环上等距的节点上。

[0012] 步骤三，交互式调整三通道信息。

[0013] 系统将根据预定点的数目自动选择显示方法。在显示过程中可根据使用者的需要增减或修改预定点，同时，显示方法也随着预定点数目的变化而相应改变。当对预定点进行修改时，也可同时调整节点图的排序，以达到更好的显示效果。最后，获得的三个灰度图像将用以在彩色空间显示的三个信道输出。

[0014] 步骤四，在彩色空间显示。

[0015] 步骤三中获得的三个灰度图像经过归一化或图像增强处理，分别用作彩色空间的三通道进行显示获得输出图像。

[0016] 本发明与现有技术相比，具有如下优点：

[0017] 1、交互界面便于使用者操作；

[0018] 2、能表述更多的信息，且可对不同种类的信息组合显示；

[0019] 3、本方法不仅可以用于高光谱图像，还可对其他类别的图像信息进行显示，如多光谱图像，方向滤波器输出图像，不同聚焦图像，同空间区域不同时间图像等，而在对其他类别的图像信息进行显示时，也可用于图像间的比较和对比；

[0020] 4、通过变化图像更容易确定特殊地物，变化趋势不同的地物色彩能够更加突出不同的地物类别，同时，在某些混合波段下无法显示的特征在其他组合中将会更好的显示，此外还可以根据需要调整整体色调；

[0021] 5，观察者通过改变光标位置，能够更容易地确定最佳输出图像，同时，该图像中用以混合的图像及其混合系数也较容易确定；

[0022] 6，是可以突出显示某地物或类别的可视化方法。

附图说明

[0023] 图1为本发明的流程示意简图；

[0024] 图2为当光标落于单位圆外时输出图像的选取方法示意图；

[0025] 图3为三种显示策略；

[0026] 其中，(a)三点确定法，(b)两点确定法，(c)一点确定法；

[0027] 图4为交互界面示意图；

[0028] 图5为PCA彩色图像；

[0029] 图6为经排序后的有用图像Image1-Image6的排序结果；

[0030] 图7为当无预定点存在时的可视化结果；

[0031] 图8为当存在一个预定点时的可视化结果；

[0032] 图9为当存在两个预定点时的可视化结果；

[0033] 图10为萨利纳斯地区图像经排序后的有用图像Image1-Image6的排序结果；

[0034] 其中，(A)光谱加权和,(B)-(D)PCA,(E)部分地物解混结果,(F)-(H)双边滤波融合结果,(I)某类别分类结果；

[0035] 图11为萨利纳斯地区图像数据的多模态图像的三点确定法显示结果。

具体实施方式

[0036] 下面结合附图对本发明做出更详细的描述。

[0037] 本发明一种高光谱图像交互式多图像彩色可视化方法，采用交互式手段对高光谱数据进行有目的的显示，下面是详细实施过程：

[0038] 步骤一、信息筛选。

[0039] 在含有大量信息的高光谱数据中，选择n幅灰度图像，这些图像用以表示尽可能完整的使用者感兴趣的信息。分别记为Image 1,Image 2……Image n,其中3≤n≤10。当节点数n＞10时本方法仍然可行，但输出图像效果可能会随着节点数的增多而变坏。但是，对于目前常用的大多数图像，即使是含有大量信息的高光谱图像，其绝大部分的信息也可以通过10幅以内的图像进行表示，因此当n≤10时已然能够满足目前的应用需要。而当n≤3时，传统彩色可视化方法便可显示，且此时并无法充分利用本方法的优势，因此可选择较简单的传统可视化方法进行显示。

[0040] 筛选的图像可单独利用波段提取、数据降维、信息融合、分类、解混等方法将原高维高光谱数据降维到的结果，也可综合使用不同处理方法的结果。例如，用于节点的图像可混合使用PCA的前三个主成分，双边滤波融合成的三个波段以及某类别的监督信息。

[0041] 步骤二、节点图排序。

[0042] 筛选出的有用图像需按照一定的顺序安置在交互界面的节点位置成为相应的节点图像。节点图像的排序方法可由使用者自由选择，如自动排序和自定义节点图顺序。自动排序方法可按照图像的相关性进行排列，例如相关性越高的两幅图像在圆环中相距越远、近等。此外，使用者还可在交互可视化中随时调整节点图像的顺序。

[0043] 步骤三，所述的交互式调整三通道信息。

[0044] 提取方法如下：

[0045] (1)在交互界面中，设置预定点。

[0046] (2)确定其它点。

[0047] 情况①：当光标点在圆上或圆外时，输出图像显示为光标点在圆上映射点所代表的灰度图像。

[0048] 被激活的光标通过改变点P的位置改变输出结果。当光标落在交互区内的圆外或圆上时，输出图像为与光标距离最近的两点线性混合而成的灰度图像，其确定方法如图2所示。点映射在圆O上的点A由Image 2及Image 3线性混合而成，混合系数a，b分别满足下式[0049] a+b＝1     (1)

[0050] a:b＝β:α    (2)

[0051] 其中α与β分别为半径OA与另两幅图像所在半径的夹角。A点所代表图像经归一化后即为输出图像，此时输出图像为灰度图像。

[0052] 情况②：当光标点在圆内时，输出图像为三信道彩色图像。此时三信道信息确定方法需首先判断预定点的数量，之后根据预定点数目的不同而分为以下三种，确定方法如图3所示。

[0053] ①三点确定法。

[0054] 当无预定点存在时，P点决定了一个以P点为重心，O为外接圆的等腰内接三角形ABC。该三角形三个顶点确定的三幅图像经归一化[5a]后，即作为RGB彩色空间的三通道值进行显示。根据光标点P位置同时确定三角形三点坐标的方法如图3(a)所示。已知单位圆O半径为1，P点的极坐标为(θ,ρ)，P点为三角形ABC重心，则根据三角形重心性质可知又因为AP＝1-ρ所以可得线段OD长度满足如下公式：

[0055]

[0056] 由此可得三角形三个顶点极坐标分别为：

[0057]

[0058] 其中α＝arccos(OD)，且运算过程中所有角度范围皆为[0,2π]。当P点位于单位圆圆心时，P点角坐标可由运动的光标前一时刻P0的角坐标决定。

[0059] 通过式(4)即可求得三角形顶点位置，该位置上的图像是由圆环上相近的两个波段图像线性混合而成，其混合方法也使用图3所示方法。假设三角形顶点之一落于点A，即在image1与image4之间的圆弧上，那么A点的图像即由image1及image4线性混合而成，混合系数a，b分别满足式(1)和式(2)。

[0060] ②两点确定法。

[0061] 当有一个预定点存在时，如图3(b)，P点确定了一条与P点所在半径垂直的弦，且垂足为P，弦与圆的两个交点与预设定点组成了一个三角形，这三点所代表的图像即决定了可视化显示时的输出图像。由图3(b)可知B点和C点极坐标可表示为：

[0062]

[0063] 其中α＝arccosρ，角度范围皆转换至[0,2π]。三个点的图像混合方法同为图4所示。

[0064] ③一点确定法。

[0065] 当已有两个预定点存在时，光标P只需再确定一个在圆上的点即可。因此，如图3(c)所示，该点可设为在圆O内部过P点的半径在圆上的交点，即点C。之后，分别将确定的该点与另外两个预定点通过式(1)和式(2)求出三幅融合图像，这三幅图像即将用于可视化显示。

[0066] (3)确定输出图像(单通道灰度图像/三通道彩色图像)。

[0067] 经由确定的混合图像结合已知的预定点一同作为输出图像的三信道信息用以显示。

[0068] 步骤四，所述的在彩色空间显示方法如下：

[0069] 经上述步骤确定的单波段或三波段图像随即将用于彩色空间中以获得输出的图像。本发明在RGB彩色空间进行可视化显示。通过之前的步骤获得了三幅单波段图像，这三幅图像在RGB彩色空间进行显示之前需要经过归一化。归一化后的三幅图像组成一幅彩色图像，这幅彩色图像可作为输出图像，或者使用者也可选用图像增强等方法对该图像进行优化。本发明用最简单的亮度及对比度变换来增强彩色图像。

[0070] 本发明输出的交互界面如图4所示，左边圆形表示交互界面，右侧显示输出图像。交互界面由一个半径为1的单位圆形组成，圆形边界上等距排列了一组节点，图4中，空心圆表示节点，每一个节点对应一幅‘选择’的图像，圆内实心点代表光标位置，圆上灰色点代表预定点。

[0071] 在光标激活前，输出图像显示为归一化后的灰度图像image 1。在交互界面点击鼠标后，光标激活，此时光标位置的改变将直接影响输出图像的变化。当激活的光标落于圆形内部时，在交互式过程中圆内会出现相应的三角形，该三角形三个顶点所表示的图像即为输出图像的三个信道。当激活的光标落于显示图像区域时，此时输出图像使用相位保持的动态范围压缩算法。而当光标落于其他区域时，输出为显示为单信道的双波段融合图像。

[0072] 光标在交互界面激活后，右侧输出图像将根据光标位置的移动而相应地变化。此时，使用者可根据输出图像的变化趋势调整光标位置以达到更佳的输出效果。如果没有预设定图像数据，可利用三点确定法粗略观察实验数据的大概情况，找到最佳输出图像结束操作，或者确定一到两个预设定点，进而使用两点确定法或一点确定法进行进一步显示。预设定点也可在实际应用中根据情况随时调整。

[0073] 为了说明本发明的有效性，共对三组HSI进行实验，分别为印第安纳州农林地物(Indiana Pines)、莫菲特地区图像(Moffet)和萨利纳斯地区图像(Salinas)。三组数据皆已经过校正及去除高噪声波段，其PCA降维后伪彩色图像显示结果分别如图4所示。这五组数据皆将在matlab平台下被用于验证所提出方法的有效性。

[0074] ①多幅单模态图像

[0075] 为验证方法的有效性，选用PCA方法对印第安纳州农林地物和莫菲特地区图像数据进行降维，保留前六个主要成分，作为用以输出的有用图像。本实验将根据相关性越高的两幅图像相距越远，对有用图像进行排序，两组数据获取的有用图像及其排序结果如图6所示，其从图6的(a)-图6的(f)依次为Image 1-Image 6。信息筛选及节点图像排序之后，分别对四组数据进行交互可视化显示。

[0076] 将以上数据应用于本发明的方法中，所得到的显示结果如图7所示，其中右侧为输出图像，左侧为交互界面，空心点代表节点图像，实心点为光标，圆中内切三角形的三个顶点的位置决定了三信道图像的混合方式，而这些图像随后将用于RGB彩色空间进行显示。当节点图像确定后，光标位置将决定该系统的输出图像，其结果可由使用者对其进行自由调节。如图8和图9所示。

[0077] ②多模态图像

[0078] 筛选信息过程，并非仅能使用一种处理方法对原HSI进行处理，而是可以结合多种数据处理结果对原数据信息进行显示。在这节的实验中，将同时使用PCA，分类，解混，双边滤波融合以及所有波段加权和的数据处理结果对萨利纳斯地区图像(Salinas)进行显示。图10即为萨利纳斯地区图像(Salinas)经信息筛选获得的节点图像，从(a)-(i)分别为Image 1-Image 9。图10为萨利纳斯地区图像(Salinas)多种类图像使用三点确定法的可视化结果。可见，当光标位置不同时，输出图像表达的信息将产生变化。例如，当光标控制的三角形其中一个顶点接近Image 5或Image9时，输出图像能够对相应类别突出显示，此时通过调节混合图像不同的混合比例，突出显示类别的程度也不同。当光标接近双边滤波图像Image 6-Image 8时，输出图像的边界信息则更为清晰。同时，从图11可以看出，输出图像中各地物的颜色也在随着光标位置的变化而变化。

[0079] 图10中，(a)光谱加权和,(b)-(d)PCA,(e)部分地物解混结果，(f)-(h)双边滤波融合结果，(i)某类别分类结果。

[0080] 经实验可以看出，本发明可根据使用者的需要对HSI进行有目的的信息挖掘，交互界面便于使用者操作，能表述更多的信息，且可对不同种类的信息组合显示，本发明不仅可以用于高光谱图像，还可对其他类别的图像信息进行显示，如多光谱图像，方向滤波器输出图像，不同聚焦图像，同空间区域不同时间图像，同空间区域不同传感器获取的图像等。而在对其他类别的图像信息进行显示时，也可用于图象间的比较和对比。通过变化图像更容易确定地物；变化趋势不同的地物色彩能够更加突出不同的地物类别。同时，在某些混合波段下无法显示的特征在其他组合中将会更好的显示；此外还可以根据需要调整整体色调。观察者通过改变光标位置，能够更容易地确定最佳输出图像，同时，该图像中用以混合的图像及其混合系数也较容易确定。本发明是一种可以突出显示某地物或类别的可视化方法。