多光谱成像方法、存储介质及设备转让专利

申请号 : CN201911266847.3

文献号 : CN111006763B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 马翠林慧余明赖厚湖

申请人 : 深圳先进技术研究院

摘要 :

本申请适用于光谱成像技术领域,尤其涉及一种多光谱成像方法、计算机程序产品、存储介质及设备,所述多光谱成像方法包括:多光谱成像设备根据确定的成像参数及离散傅里叶变换公式,生成编码图形;所述编码图形包括不同周期的正弦图形和不同周期的余弦图形;所述多光谱成像设备将所述编码图形写入所述数字微镜;所述分光装置形成空间光谱混合图;所述数字微镜根据所述编码图形对所述空间光谱混合图进行编码生成编码后的混合图;所述合光装置对所述混合图进行合光处理,得到空间图;所述多光谱成像设备基于所述空间图进行解码复原,得到复原的多光谱图像。本申请实施例提供的多光谱成像方法,相对于现有技术减少了测量的次数,实现了快速实时测量。

权利要求 :

1.一种多光谱成像方法,其特征在于,应用于多光谱成像系统,所述多光谱成像系统包括多光谱成像设备、分光装置、数字微镜、合光装置和探测器,所述多光谱成像方法包括:多光谱成像设备根据确定的成像参数及离散傅里叶变换公式,生成编码图形,包括:同时进行正弦和余弦变换,则不同周期的正弦图形和不同周期的余弦图形分布于同一图像;

同一所述编码图形包括不同周期的正弦图形和不同周期的余弦图形;

所述多光谱成像设备将所述编码图形写入所述数字微镜;

所述分光装置对探测光源照射到被测物体后形成的反射光进行分光,形成空间光谱混合图,并将所述空间光谱混合图传输至所述数字微镜;

所述数字微镜根据所述编码图形对所述空间光谱混合图进行编码生成编码后的混合图,并将所述混合图传输至所述合光装置;

所述合光装置对所述编码后的混合图进行合光处理,得到空间图,并将所述空间图发送至所述多光谱成像设备;

所述多光谱成像设备接收所述探测器发送的空间图,基于所述空间图进行解码复原,得到复原的多光谱图像,包括:

将所述空间图按照频域系数拆分为多个不同频域系数k的第一图像;

对所述多个不同频域系数k的第一图像分别进行插补计算和引导滤波,得到多个插补滤波后的第二图像;

对所述多个插补滤波后的第二图像进行傅里叶逆变换,得到复原的多光谱图像;

其中,对所述多个不同频域系数的图分别进行插补计算,得到多个插补图,具体为:利用空间邻域的相关性,取空间距离最近的点或几个邻域的平均值作为缺失点的值;

其中,当所述编码图形中的正弦图形和余弦图形分布于相同图像时,所述将所述编码图形写入多光谱成像系统中的数字微镜包括:将分布于相同图像的所述正弦图形和所述余弦图形同时写入多光谱成像系统中的数字微镜;

相应地,所述接收所述多光谱成像系统中的探测器发送的空间图包括:接收所述多光谱成像系统中的探测器发送的与所述正弦图形和所述余弦图形对应的正余弦编码空间图;

相应地,所述基于所述空间图进行解码复原,得到复原的多光谱图像包括:对所述正余弦编码空间图进行解码复原,得到复原的多光谱图像。

2.一种多光谱成像方法,其特征在于,包括:根据确定的成像参数及离散傅里叶变换公式,生成编码图形,包括:同时进行正弦和余弦变换,则不同周期的正弦图形和不同周期的余弦图形分布于同一图像;同一所述编码图形包括不同周期的正弦图形和不同周期的余弦图形;

将所述编码图形写入多光谱成像系统中的数字微镜;所述编码图形用于数字微镜对空间光谱混合图进行编码生成编码后的混合图;所述空间光谱混合图由多光谱成像系统中的分光装置对探测光源照射到被测物体后形成的反射光进行分光获得;

接收所述多光谱成像系统中的探测器发送的空间图;所述空间图由所述多光谱成像系统中的合光装置对所述数字微镜输出的所述混合图进行合光获得;

基于所述空间图进行解码复原,得到复原的多光谱图像,包括:将所述空间图按照频域系数拆分为多个不同频域系数k的第一图像;

对所述多个不同频域系数k的第一图像分别进行插补计算和引导滤波,得到多个插补滤波后的第二图像;

对所述多个插补滤波后的第二图像进行傅里叶逆变换,得到复原的多光谱图像;

其中,对所述多个不同频域系数的图分别进行插补计算,得到多个插补图,具体为:利用空间邻域的相关性,取空间距离最近的点或几个邻域的平均值作为缺失点的值;

其中,当所述编码图形中的正弦图形和余弦图形分布于相同图像时,所述将所述编码图形写入多光谱成像系统中的数字微镜包括:将分布于相同图像的所述正弦图形和所述余弦图形同时写入多光谱成像系统中的数字微镜;

相应地,所述接收所述多光谱成像系统中的探测器发送的空间图包括:接收所述多光谱成像系统中的探测器发送的与所述正弦图形和所述余弦图形对应的正余弦编码空间图;

相应地,所述基于所述空间图进行解码复原,得到复原的多光谱图像包括:对所述正余弦编码空间图进行解码复原,得到复原的多光谱图像。

3.根据权利要求2所述的方法,其特征在于,所述成像参数包括光谱波段数,所述离散傅里叶变换公式为:

或者,

其中,x(n)代表被测物体的空间点的光谱,n=0,1,…N‑1;N为光谱的波段数;j为虚数标志;Y(k)为对傅里叶变换后的值,k为对应傅里叶变换的频域系数,k=0,1,…N‑1。

4.根据权利要求3所述的方法,其特征在于,所述对所述多个插补滤波后的图进行傅里叶逆变换,得到复原的多光谱图的步骤,具体为:根据光谱在分光方向的偏移量,对所述多个插补滤波后的第二图像进行傅里叶逆变换,得到复原的多光谱图。

5.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求2至4中任一项权利要求所述多光谱成像方法的步骤。

6.一种多光谱成像设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求2至4中任一项权利要求所述多光谱成像方法的步骤。

说明书 :

多光谱成像方法、存储介质及设备

技术领域

[0001] 本申请属于光谱成像技术领域,尤其涉及一种多光谱成像方法、计算机程序产品、存储介质及设备。

背景技术

[0002] 多光谱成像系统用于获取物体的二维空间信息和光谱信息,得到的三维数据,称之为“数据立方体”。为了得到三维数据立方体,通常需要采用扫描检测的方式,如:空间的
点扫描或线扫描、波段的扫描、传统傅里叶干涉测量的光程差扫描等。这些方式均有移动部
件,且扫描检测时间较长。后来随着编码器件的出现(如数字微镜器件DMD),发展了编码计
算方式的光谱成像技术,相对扫描方式,没有移动部件,可通过编码测量和解码计算得到三
维数据立方体。前期的研究中,已有采用0‑1结构的哈达码矩阵编码的光谱成像技术,以及
0‑1随机编码的压缩感知光谱成像技术。
[0003] 近年来,有人将傅里叶灰度编码方式引入多光谱成像领域,利用编码器件进行正余弦灰度编码实现傅里叶变换,进行少数几次测量就可重建多光谱图像,且重建算法简单。
[0004] 但是,现有的利用傅里叶灰度编码方式的多光谱成像技术,一次编码仅实现一个固定正弦或者余弦周期的测量,即使利用频域的稀疏性,仍需要多个周期(根据前期研究一
般为5个)的测量,仍存在测量次数较多的问题。

发明内容

[0005] 本申请实施例的目的在于提供一种多光谱成像方法,旨在解决现有的利用傅里叶灰度编码方式的多光谱成像技术,依然存在测量次数较多的问题。
[0006] 本申请实施例是这样实现的,一种多光谱成像方法,应用于多光谱成像系统,所述多光谱成像系统包括多光谱成像设备、分光装置、数字微镜、合光装置和探测器,所述多光
谱成像方法包括:
[0007] 多光谱成像设备根据确定的成像参数及离散傅里叶变换公式,生成编码图形;所述编码图形包括不同周期的正弦图形和不同周期的余弦图形;
[0008] 所述多光谱成像设备将所述编码图形写入所述数字微镜;
[0009] 所述分光装置对探测光源照射到被测物体后形成的反射光进行分光,形成空间光谱混合图,并将所述空间光谱混合图传输至所述数字微镜;
[0010] 所述数字微镜根据所述编码图形对所述空间光谱混合图进行编码生成编码后的混合图,并将所述混合图传输至所述合光装置;
[0011] 所述合光装置对所述混合图进行合光处理,得到空间图,并将所述空间图发送至所述多光谱成像设备;
[0012] 所述多光谱成像设备接收所述探测器发送的空间图,基于所述空间图进行解码复原,得到复原的多光谱图像。
[0013] 本申请实施例的另一目的在于提供一种多光谱成像方法,包括:
[0014] 根据确定的成像参数及离散傅里叶变换公式,生成编码图形;所述编码图形包括不同周期的正弦图形和不同周期的余弦图形;
[0015] 将所述编码图形写入多光谱成像系统中的数字微镜;所述编码图形用于数字微镜对空间光谱混合图进行编码生成编码后的混合图;所述空间光谱混合图由多光谱成像系统
中的分光装置对探测光源照射到被测物体后形成的反射光进行分光获得;
[0016] 接收所述多光谱成像系统中的探测器发送的空间图;所述空间图由所述多光谱成像系统中的合光装置对所述数字微镜输出的所述混合图进行合光获得;
[0017] 基于所述空间图进行解码复原,得到复原的多光谱图像。
[0018] 本申请的另一目的在于提供一种计算机程序产品,当所述计算机程序产品在终端设备上运行时,所述终端设备实现上述的多光谱成像方法的步骤。
[0019] 本申请实施例的另一目的在于提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述
多光谱成像方法的步骤。
[0020] 本申请实施例的又一目的在于提供一种多光谱成像设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得
所述处理器执行上述多光谱成像方法的步骤。
[0021] 本申请实施例提供的多光谱成像方法,多光谱成像设备根据确定的成像参数及离散傅里叶变换公式生成的编码图形,并将该编码图形写入数字微镜;当分光装置对探测光
源照射到被测物体后形成的反射光进行分光,形成空间光谱混合图,并将所述空间光谱混
合图传输至所述数字微镜后,所述数字微镜根据所述编码图形对所述空间光谱混合图进行
编码生成编码后的混合图,并将所述混合图传输至所述合光装置所述合光装置对所述混合
图进行合光处理,得到空间图,并将所述空间图发送至所述多光谱成像设备;所述多光谱成
像设备接收所述探测器发送的空间图,基于所述空间图进行解码复原,得到复原的多光谱
图像。由于编码图形包括不同周期的正弦图形和余弦图形,将该编码图形写入数字微镜后,
数字微镜仅对分光装置形成的空间光谱混合图进行1次或者2次编码,即可实现以往至少5
次编码的效果,进一步减少了测量次数,实现快速实时测量。

附图说明

[0022] 图1为本申请实施例提供的多光谱成像系统的结构示意图;
[0023] 图2为本申请实施例提供的多光谱成像系统的工作流程图;
[0024] 图3为现有技术的一个周期下的编码图形示意图;
[0025] 图4为本申请实施例提供的分布有不同周期的正弦图形和不同周期余弦图形的编码图形示意图。
[0026] 图5为本申请实施例提供的一种多光谱成像方法的流程图;
[0027] 对所述编码检测图进行解码复原,得到复原的多光谱图的具体流程;
[0028] 图6为本申请实施例提供的一种基于所述空间图进行解码复原,得到复原的多光谱图像的流程图;
[0029] 图7为本申请实施例提供的一种基于所述空间图进行解码复原,得到复原的多光谱图像的过程示意图;
[0030] 图8为本申请实施例提供的一种两个空间点的光谱的编码图形分布图;
[0031] 图9为当所述编码图形中的正弦图形和余弦图形分布于不同图像时,本申请实施例提供的一种多光谱成像方法的流程图;
[0032] 图10为当所述编码图形中的正弦图形和余弦图形分布于同一图像时,本申请实施例提供的一种多光谱成像方法的流程图;
[0033] 图11为本申请实施例提供的一种原始被测物体图;
[0034] 图12为本申请实施例提供的编码过程得到的编码后的混合图;
[0035] 图13为本申请实施例提供的部分波段的解码复原的多光谱图与原多光谱图之间的对比图;
[0036] 图14为本申请实施例提供的多光谱成像装置的结构框图;
[0037] 图15为本申请实施例提供的一个多光谱成像机设备的内部结构框图。

具体实施方式

[0038] 为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并
不用于限定本申请。
[0039] 可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但除非特别说明,这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元
件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一xx脚本称为第二xx脚本,
且类似地,可将第二xx脚本称为第一 xx脚本。
[0040] 图1为本申请实施例提供的多光谱成像系统的结构示意图,在该多光谱成像系统100中包括:探测光源(图1未示出)、多光谱成像设备110、分光装置 120、数字微镜130、合光
装置140和探测器150。
[0041] 其中多光谱成像设备为具有计算和控制功能的终端设备,可以是手机、平板电脑、可穿戴设备、笔记本电脑、超级移动个人计算机 (ultra‑mobile personal computer,
UMPC)、上网本、个人数字助理 (personal digital assistant,PDA)等,具体不做限制。
[0042] 图2示出了本申请实施例提供的多光谱成像系统的工作流程,具体可以包括以下步骤:
[0043] 在步骤S201中,多光谱成像设备根据确定的成像参数及离散傅里叶变换公式,生成编码图形。
[0044] 在本申请实施例中,所述编码图形包括不同周期的正弦图形和不同周期的余弦图形。
[0045] 在本申请实施例中,成像参数为用户根据检查设备情况及预期检测质量设定的,包括频域系数;散傅里叶变换公式为:
[0046]
[0047] 式(1)
[0048] 或
[0049]
[0050] 其中,x(n)代表被测物体的空间点的光谱,n=0,1,…N‑1,N为光谱的波段数;j为虚数标志;Y(k)为对傅里叶变换后的光谱值,光谱值均为实数, k为对应傅里叶变换的频域
系数,k=0,1,…N‑1。
[0051] 本领域人员可以知道,上述式(2)为上述式(1)展开为正弦和余弦形式的变形,二者实质相同。
[0052] 在本申请实施例中,傅里叶变换公式中的正弦和余弦对应一系列的灰度值,当光谱波段数N取不同的值时,频域系数k对应为不同的值,将不同的频域系数k值带入上述傅里
叶变换公式,可以得到分布有不同周期的正弦图形和余弦图形的编码图形。其中,一种可行
的方法为同时进行正弦和余弦变换,则不同周期的正弦图形和不同周期的余弦图形分布于
同一图像;另一种可行的方法为,分别进行正弦变换和余弦变换,则不同周期的正弦图形和
不同周期的余弦图形分布于两个不同的图像。
[0053] 通常,可见光光谱波峰较宽,转换到频域波峰就很窄,大部分可以看作0,就可以只测少数几个低频k对应的,当取K=5个低频系数(k=0,1,2,3,4, K是所用低频系数的个数,
K光谱的波峰会展宽,但峰值位置基本不变,相当于光谱分辨率降低。在本申请实施例中,编
码图形同时包含不同 k值的正弦或余弦图形。k值的数量与所需的光谱分辨率有关,一般可
见光范围内可取5个系数。
[0054] 图3为现有技术的一个周期下的编码图形,图4为本申请实施例提供的编码图形,该编码图形上同时分布有不同周期的正弦图形和余弦图形。如图3所示的编码图形,利用频
域的稀疏性,若需要5个周期的测量,则需要改变编码图形5次。而图4所示的编码图形,结合
空间分布特点,将多个周期的正弦图形和余弦图形分布在一个编码图形进行同时测量,则
原先的5次编码就降为1 次,进一步减少测量次数,实现快速实时测量。可以理解的是,若不
同周期的正弦图形和不同周期的余弦图形分布于两个不同的图像,则也仅需进行一次正弦
图形测量和一次余弦图形测量,即原先的5次编码就降为1次,进一步减少测量次数,实现快
速实时测量。被测物体的一个空间点经分光装置可以分光展开为一列光谱,通过把一条光
谱曲线从波长变换到频域k。
[0055] 在步骤S202中,所述多光谱成像设备将所述编码图形写入所述数字微镜。
[0056] 在本申请实施例中,光谱成像设备将所述编码图形写入所述数字微镜后,数字微镜会根据编码图形对每个镜片的开/关占空比进行编程来创建灰度图形。
[0057] 在步骤S203中,所述分光装置对探测光源照射到被测物体后形成的反射光进行分光,形成空间光谱混合图,并将所述空间光谱混合图传输至所述数字微镜。
[0058] 在本申请实施例中,分光装置为光栅分光器或者棱镜分光器,具体不做限制。由于分光装置会对被测物体的每一个空间点的反射光进行分光,因此各空间点的反射光经过分
光装置分光后形成的为混合光谱,即上述所说的空间光谱混合图。
[0059] 在步骤S204中,所述数字微镜根据所述编码图形对所述空间光谱混合图进行编码生成编码后的混合图,并将所述混合图传输至所述合光装置。
[0060] 在本申请实施例中,由于各空间点的反射光经过分光装置分光后形成的为混合光谱,即上述所说的空间光谱混合图,因此,空间光谱混合图经所述数字微镜进行编码后的编
码图也为个空间点的编码后的混合图,即上述所说的编码后的混合图。
[0061] 在步骤S205中,所述合光装置对所述编码后的混合图进行合光处理,得到空间图,并将所述空间图发送至所述多光谱成像设备。
[0062] 在本申请实施例中,合光装置为光栅合光器或者棱镜合光器,具体不做限制。经过合光的过程,每个空间点的反射分光、编码后的光谱图又合光为以空间点为单位的光谱,即
上述所说的空间图。
[0063] 在步骤S206中,所述多光谱成像设备接收所述探测器发送的空间图,基于所述空间图进行解码复原,得到复原的多光谱图像。
[0064] 本申请实施例提供的多光谱成像系统经上述工作流程,先根据确定的成像参数及离散傅里叶变换公式生成的编码图形,由于编码图形包括不同周期的正弦图形和余弦图
形,将该编码图形写入数字微镜后,数字微镜仅对分光装置形成的空间光谱混合图进行1次
或者2次编码,即可实现以往至少5次编码的效果,进一步减少了测量次数,实现快速实时测
量。
[0065] 如图5所示,在一个实施例中,提出了一种多光谱成像方法,本实施例主要以该方法应用于上述图1中的多光谱成像设备来举例说明。具体可以包括以下步骤:
[0066] 在步骤S501中,根据确定的成像参数及离散傅里叶变换公式,生成编码图形。
[0067] 在本申请实施例中,所述编码图形包括不同周期的正弦图形和不同周期的余弦图形。
[0068] 在本申请实施例中,成像参数为用户根据检查设备情况及预期检测质量设定的,包括频域系数;散傅里叶变换公式为:
[0069]
[0070] 式(1)
[0071] 或
[0072]
[0073] 其中,x(n)代表被测物体的空间点的光谱,n=0,1,…N‑1,N为光谱的波段数;j为虚数标志;Y(k)为对傅里叶变换后的光谱值,光谱值均为实数, k为对应傅里叶变换的频域
系数,k=0,1,…N‑1。
[0074] 本领域人员可以知道,上述式(2)为上述式(1)展开为正弦和余弦形式的变形,二者实质相同。
[0075] 在本申请实施例中,傅里叶变换公式中的正弦和余弦对应一系列的灰度值,当光谱波段数N取不同的值时,频域系数k对应为不同的值,将不同的频域系数k值带入上述傅里
叶变换公式,可以得到分布有不同周期的正弦图形和余弦图形的编码图形。其中,一种可行
的方法为同时进行正弦和余弦变换,则不同周期的正弦图形和不同周期的余弦图形分布于
同一图像;另一种可行的方法为,分别进行正弦变换和余弦变换,则不同周期的正弦图形和
不同周期的余弦图形分布于两个不同的图像。
[0076] 通常,可见光光谱波峰较宽,转换到频域波峰就很窄,大部分可以看作0,就可以只测少数几个低频k对应的,当取K=5个低频系数(k=0,1,2,3,4, K是所用低频系数的个数,
K光谱的波峰会展宽,但峰值位置基本不变,相当于光谱分辨率降低。在本申请实施例中,编
码图形同时包含不同 k值的正弦或余弦图形。k值的数量与所需的光谱分辨率有关,一般可
见光范围内可取5个系数。
[0077] 图3为现有技术的一个周期下的编码图形,图4为本申请实施例提供的编码图形,该编码图形上同时分布有不同周期的正弦图形和余弦图形。如图3所示的编码图形,利用频
域的稀疏性,若需要5个周期的测量,则需要改变编码图形5次。而图4所示的编码图形,结合
空间分布特点,将多个周期的正弦图形和余弦图形分布在一个编码图形进行同时测量,则
原先的5次编码就降为1 次,进一步减少测量次数,实现快速实时测量。可以理解的是,若不
同周期的正弦图形和不同周期的余弦图形分布于两个不同的图像,则也仅需进行一次正弦
图形测量和一次余弦图形测量,即原先的5次编码就降为1次,进一步减少测量次数,实现快
速实时测量。被测物体的一个空间点经分光装置可以分光展开为一列光谱,通过把一条光
谱曲线从波长变换到频域k。
[0078] 在步骤S502中,将所述编码图形写入多光谱成像系统中的数字微镜。
[0079] 在本申请实施例中,光谱成像设备将所述编码图形写入所述数字微镜后,数字微镜会根据编码图形对每个镜片的开/关占空比进行编程来创建灰度图形。
[0080] 在本申请实施例中,所述编码图形用于数字微镜对空间光谱混合图进行编码生成编码后的混合图;所述空间光谱混合图由多光谱成像系统中的分光装置对探测光源照射到
被测物体后形成的反射光进行分光获得。
[0081] 在本申请实施例中,分光装置为光栅分光器或者棱镜分光器,具体不做限制。由于分光装置会对被测物体的每一个空间点的反射光进行分光,因此各空间点的反射光经过分
光装置分光后形成的为混合光谱,即上述所说的空间光谱混合图。
[0082] 在本申请实施例中,由于各空间点的反射光经过分光装置分光后形成的为混合光谱,即上述所说的空间光谱混合图,因此空间光谱混合图经所述数字微镜进行编码后的编
码图也为个空间点的编码后的混合图,即上述所说的编码后的混合图。
[0083] 在步骤S503中,接收所述多光谱成像系统中的探测器发送的空间图。
[0084] 在本申请实施例中,所述空间图由所述多光谱成像系统中的合光装置对所述数字微镜输出的所述混合图进行合光获得。
[0085] 在本申请实施例中,合光装置为光栅合光器或者棱镜合光器,具体不做限制。经过合光的过程,每个空间点的反射分光、编码后的光谱图又合光为以空间点为单位的光谱,即
上述所说的空间图。
[0086] 在步骤S504中,基于所述空间图进行解码复原,得到复原的多光谱图像。
[0087] 本申请实施例提供的多光谱成像方法,先根据确定的成像参数及离散傅里叶变换公式生成的编码图形,由于编码图形包括不同周期的正弦图形和余弦图形,将该编码图形
写入数字微镜后,数字微镜仅对分光装置形成的空间光谱混合图进行1次或者2次编码,即
可实现以往至少5次编码的效果,进一步减少了测量次数,实现快速实时测量。
[0088] 图6示出了本申请实施例提供的一种基于所述空间图进行解码复原,得到复原的多光谱图像步骤的具体实现流程,图7为该过程的示意图,包括如下步骤:
[0089] 在步骤S601中,将所述空间图按照频域系数拆分为多个不同频域系数k 的第一图像。
[0090] 在步骤S602中,对所述多个不同频域系数k的第一图像分别进行插补计算和引导滤波,得到多个插补滤波后的第二图像。
[0091] 在本申请实施例中,对所述多个不同频域系数的图分别进行插补计算,得到多个插补图,具体为:利用空间邻域的相关性,取空间距离最近的点或几个邻域的平均值作为该
缺失点的值,当间隔距离较大时,即所用系数数量较多K 值较大时,同一系数k之间的空间
间隔较大,邻域插补得到的图像通常在边缘位置会有很明显的锯齿形状。
[0092] 在本申请实施例中,再增加引导滤波方法,使图像边缘更清晰光滑,保证重建图像的空间质量。
[0093] 具体为:编码时增加k=0的分布概率,使插补得到的k=0下的图像轮廓更接近原始图像,则可以取k=0的图像作为参考图像,对其他系数k下的图像进行引导滤波。
[0094] 如下为引导滤波的计算过程示例:
[0095] 已知参考图像P,待滤波图像I,设定一邻域区域r以及调整系数ε:
[0096] 在邻域范围内分别计算均值和一些相关系数:meanI、meanP、corrI=mean(I.*I)、 corrIP=mean(I.*P)、varI=corrI‑meanI.*meanI、covIP=corrIP‑meanI.*meanP
[0097] 计算a、b值:a=covIP./(varI+ε),b=meanP‑a.*meanI
[0098] 取均值计算滤波后的图像IP:IP=meana.*I+meanb
[0099] 在步骤S603中,对所述多个插补滤波后的第二图像进行傅里叶逆变换,得到复原的多光谱图像。
[0100] 以式(1)为例,在本申请实施例中,将空间的横轴设定为v方向,纵轴设定为u方向,则光谱只在一个空间方向进行分光(如v方向),在另一u方向不受影响。以图8中的两个空间
点为例说明:图8中两个空间点(u,v0)、(u, v1),u是相同的,所以两条光谱实际在u方向是混
合在一起的,只在v方向有个偏移。这里分开画只是为了方便看。两个空间点的光谱对应的
编码图形区域在v方向也会产生相应的偏移。假设v0对应编码图形的起始位置,则空间点
(u, v0)的光谱对应的傅里叶变换就如式(1)。对于空间点(u,v1),对应的编码位置有些偏
移,如图8,由于是N范围循环分布,偏移后,后面对应的一部分刚好与前面少的一部分是一
致的,不影响傅里叶变换,但式(1)需要加上偏移量,如式(3):
[0101]
[0102] 式(3)中,x(n)代表空间点的光谱,n=0,1,…N‑1,N为光谱的波段数;j为虚数标志;Y(k)为对傅里叶变换后的光谱值,k为对应傅里叶变换的频域系数,k=0,1,…K‑1,△n
代表v方向的偏移量,与空间点的v位置和初始编码位置有关;k对应频域系数,与u的位置有
关,在u方向设置不同的k 值,若取5个低频系数,则K=5。经前面的插值滤波计算后,Y(k),k
=0,1,… K‑1的值已知,对式(1)进行傅里叶逆变换就可得到x(n)。
[0103] 考虑上述偏移量△n,本申请实施例在进行傅里叶逆变换的过程中,考虑△ n的影响,即根据光谱在分光方向的偏移量,对所述多个插补滤波后的图进行傅里叶逆变换,得到
复原的多光谱图。
[0104] 由于式(2)与式(1)本质相同,对于式(2)进行傅里叶逆变换的过程中,也需要考虑△n的影响的原理在此不赘述。
[0105] 图9示出了当所述编码图形中的正弦图形和余弦图形分布于不同图像时,本申请实施例提供的一种多光谱成像方法的流程,其与图5所示的多光谱成像方法的不同点在于:
[0106] 步骤S502具体包括:
[0107] 步骤S901,将不同周期的正弦图形写入多光谱成像系统中的数字微镜。
[0108] 步骤S902,将不同周期的余弦图形写入多光谱成像系统中的数字微镜。
[0109] 在本申请实施例中,由于编码图形中的正弦图形和余弦图形分布于不同图像,因此,需要进行两次写入的过程,一次是将正弦图形写入多光谱成像系统中的数字微镜,一次
是将正弦图形写入多光谱成像系统中的数字微镜,本领域技术人员可以理解的是,正弦图
形和余弦图形写入的先后顺序对本申请的技术效果实现没有影响。
[0110] 对应的,编码图形写入数字微镜后,数字微镜分别根据正弦图形和余弦图形对数字微镜的镜片的开/关占空比进行两次编程来创建两个灰度图形。
[0111] 相应的,步骤S503具体包括:
[0112] 步骤S903,接收所述多光谱成像系统中的探测器发送的所述正弦图形对应的正弦编码空间图。
[0113] 步骤S904,接收所述多光谱成像系统中的探测器发送的所述余弦图形对应的余弦编码空间图。
[0114] 在本申请实施例中,由于编码图形中的正弦图形和余弦图形分两次写入数字微镜,对应的数字微镜进行了两次编程来创建两个灰度图形,因此,探测器对根据正弦图形编
码生成的正弦编码空间图和根据余弦编码图形生成的余弦编码空间图分两次进行采集,并
分两次进行发送。本领域技术人员可以理解的是,探测器采集正弦编码空间图和余弦编码
空间图的顺序没有严格的顺序限制,在本申请中,与正弦图形和余弦图形写入的先后顺序
保持一致即可。
[0115] 相应地,步骤S504具体包括:
[0116] 步骤S905,对所述正弦编码空间图和所述余弦编码空间图进行解码复原,得到复原的多光谱图像。
[0117] 图10示出了当所述编码图形中的正弦图形和余弦图形分布于同一图像时,本申请实施例提供的一种多光谱成像方法的流程,其与图5所示的多光谱成像方法的不同点在于:
[0118] 步骤S502,具体包括:
[0119] 步骤S1001,将分布于相同图像的所述正弦图形和所述余弦图形同时写入多光谱成像系统中的数字微镜。
[0120] 在本申请实施例中,由于编码图形中的正弦图形和余弦图形分布于同一图像,因此进需要向数字微镜写入一次编码图形即可。编码图形写入数字微镜后,数字微镜分别根
据正弦图形和余弦图形对数字微镜的镜片的开/关占空比进行一次编程来创建一个灰度图
形即可。
[0121] 相应地,步骤S503,具体包括:
[0122] 步骤S1002,接收所述多光谱成像系统中的探测器发送的与所述正弦图形和所述余弦图形对应的正余弦编码空间图。
[0123] 在本申请实施例中,正余弦编码空间图包括正弦编码空间图和余弦编码空间图。
[0124] 在本申请实施例中,由于编码图形中的正弦图形和余弦图形分布于相同图形,一次写入数字微镜,对应的数字微镜进行了一次编程来创建一个灰度图形,因此,探测器对根
据正弦图形编码和余弦编码图形生成的正余弦编码空间图一次采集,一次发送即可。
[0125] 相应地,步骤S504,具体包括:
[0126] 步骤S1003,对所述正余弦编码空间图进行解码复原,得到复原的多光谱图像。
[0127] 以下,通过一个实例说明本申请的多光谱成像方法所能达到的效果,图11 示出了原始被测物体图(实际为彩色,通过检测的灰度图复原多光谱图),在该实例中,选取一组已
知的多光谱图像(400‑700nm),间隔10nm,即31个波段,N=31,图像空间大小512*512,则u,v
的取值是[1,512],整个多光谱图像大小就为(512*512*31),仿真时取K=5,即包含k=0,1,
2,3,4的编码周期。图12为编码过程得到的编码后的混合图。图13列出了部分波段的解码复
原的多光谱图与原多光谱图之间的对比,从图中可以看出,复原重建的图像与原始图像十
分接近,定量计算峰值信噪比(PSNR)也均在30dB以上。
[0128] 如图14所示,在一个实施例中,提供了一种多光谱成像装置,该多光谱成像装置可以集成于图1所示的多光谱成像设备11中,具体可以包括编码图形生成单元1401、编码图形
写入单元1402、空间图接收单元1403以及解码复原单元1404。
[0129] 编码图形生成单元1401,用于根据确定的成像参数及离散傅里叶变换公式,生成编码图形。
[0130] 编码图形写入单元1402,用于将所述编码图形写入多光谱成像系统中的数字微镜。
[0131] 空间图接收单元1403,用于接收所述多光谱成像系统中的探测器发送的空间图。
[0132] 解码复原单元1404,用于基于所述空间图进行解码复原,得到复原的多光谱图像。
[0133] 对于上述多光谱成像装置的解释说明可以参考对图5所示的多光谱成像方法的解释说明的内容,在此不再赘述。
[0134] 本申请实施例提供的多光谱成像装置,先根据确定的成像参数及离散傅里叶变换公式生成的编码图形,由于编码图形包括不同周期的正弦图形和余弦图形,将该编码图形
写入数字微镜后,数字微镜仅对分光装置形成的空间光谱混合图进行1次或者2次编码,即
可实现以往至少5次编码的效果,进一步减少了测量次数,实现快速实时测量。
[0135] 图15示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的多光谱成像设备11。如图15所示,该计算机设备包括该计算机设备包括通过系统总线
连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质
和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,
该计算机程序被处理器执行时,可使得处理器实现多光谱成像方法。该内存储器中也可储
存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行多光谱成像方法。计算
机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显
示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是
外接的键盘、触控板或鼠标等。
[0136] 本领域技术人员可以理解,图15中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的多光谱成
像设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件
布置。
[0137] 在一个实施例中,本申请提供的多光谱成像装置可以实现为一种计算机程序的形式,计算机程序可在如图15所示的计算机设备上运行。计算机设备的存储器中可存储组成
该多光谱成像装置的各个程序模块,比如,图14所示的编码图形生成单元1401、编码图形写
入单元1402、空间图接收单元1403以及解码复原单元1404。各个程序模块构成的计算机程
序使得处理器执行本说明书中描述的本申请各个实施例的多光谱成像方法中的步骤。
[0138] 例如,图15所示的多光谱成像设备可以通过如图14所示的多光谱成像装置中的编码图形生成单元1110根据确定的成像参数及离散傅里叶变换公式,生成编码图形。多光谱
成像设备可通过编码图形写入单元1120,执行将所述编码图形写入所述数字微镜。多光谱
成像设备可通过编码检测图接收单元1130执行接收所述多光谱成像系统中的探测器发送
的空间图。多光谱成像设备可通过解码复原单元1140,执行基于所述空间图进行解码复原,
得到复原的多光谱图像。
[0139] 在一个实施例中,提出了一种计算机设备,所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机
程序时实现以下步骤:根据确定的成像参数及离散傅里叶变换公式,生成编码图形;所述编
码图形包括不同周期的正弦图形和不同周期的余弦图形;将所述编码图形写入多光谱成像
系统中的数字微镜;所述编码图形用于数字微镜对空间光谱混合图进行编码生成编码后的
混合图;所述空间光谱混合图由多光谱成像系统中的分光装置对探测光源照射到被测物体
后形成的反射光进行分光获得;接收所述多光谱成像系统中的探测器发送的空间图;所述
空间图由所述多光谱成像系统中的合光装置对所述数字微镜输出的所述混合图进行合光
获得;基于所述空间图进行解码复原,得到复原的多光谱图像。
[0140] 在一个实施例中,提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:根据确定的成像参数
及离散傅里叶变换公式,生成编码图形;所述编码图形包括不同周期的正弦图形和不同周
期的余弦图形;将所述编码图形写入多光谱成像系统中的数字微镜;所述编码图形用于数
字微镜对空间光谱混合图进行编码生成编码后的混合图;所述空间光谱混合图由多光谱成
像系统中的分光装置对探测光源照射到被测物体后形成的反射光进行分光获得;接收所述
多光谱成像系统中的探测器发送的空间图;所述空间图由所述多光谱成像系统中的合光装
置对所述数字微镜输出的所述混合图进行合光获得;基于所述空间图进行解码复原,得到
复原的多光谱图像。
[0141] 应该理解的是,虽然本申请各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,
这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例
中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是
在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不
必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流
或者交替地执行。
[0142] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取
存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供
的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性
和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编
程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器 
(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM
(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM (DDRSDRAM)、增强型SDRAM
(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直
接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
[0143] 以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存
在矛盾,都应当认为是本说明书记载的范围。
[0144] 以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员
来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保
护范围。因此,本申请专利的保护范围应以所附权利要求为准。
[0145] 以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本申请的保护范围之内。