多光谱成像方法、存储介质及设备转让专利
申请号 : CN201911266847.3
文献号 : CN111006763B
文献日 : 2022-01-21
发明人 : 马翠 , 林慧 , 余明 , 赖厚湖
申请人 : 深圳先进技术研究院
摘要 :
权利要求 :
1.一种多光谱成像方法,其特征在于,应用于多光谱成像系统,所述多光谱成像系统包括多光谱成像设备、分光装置、数字微镜、合光装置和探测器,所述多光谱成像方法包括:多光谱成像设备根据确定的成像参数及离散傅里叶变换公式,生成编码图形,包括:同时进行正弦和余弦变换,则不同周期的正弦图形和不同周期的余弦图形分布于同一图像;
同一所述编码图形包括不同周期的正弦图形和不同周期的余弦图形;
所述多光谱成像设备将所述编码图形写入所述数字微镜;
所述分光装置对探测光源照射到被测物体后形成的反射光进行分光,形成空间光谱混合图,并将所述空间光谱混合图传输至所述数字微镜;
所述数字微镜根据所述编码图形对所述空间光谱混合图进行编码生成编码后的混合图,并将所述混合图传输至所述合光装置;
所述合光装置对所述编码后的混合图进行合光处理,得到空间图,并将所述空间图发送至所述多光谱成像设备;
所述多光谱成像设备接收所述探测器发送的空间图,基于所述空间图进行解码复原,得到复原的多光谱图像,包括:
将所述空间图按照频域系数拆分为多个不同频域系数k的第一图像;
对所述多个不同频域系数k的第一图像分别进行插补计算和引导滤波,得到多个插补滤波后的第二图像;
对所述多个插补滤波后的第二图像进行傅里叶逆变换,得到复原的多光谱图像;
其中,对所述多个不同频域系数的图分别进行插补计算,得到多个插补图,具体为:利用空间邻域的相关性,取空间距离最近的点或几个邻域的平均值作为缺失点的值;
其中,当所述编码图形中的正弦图形和余弦图形分布于相同图像时,所述将所述编码图形写入多光谱成像系统中的数字微镜包括:将分布于相同图像的所述正弦图形和所述余弦图形同时写入多光谱成像系统中的数字微镜;
相应地,所述接收所述多光谱成像系统中的探测器发送的空间图包括:接收所述多光谱成像系统中的探测器发送的与所述正弦图形和所述余弦图形对应的正余弦编码空间图;
相应地,所述基于所述空间图进行解码复原,得到复原的多光谱图像包括:对所述正余弦编码空间图进行解码复原,得到复原的多光谱图像。
2.一种多光谱成像方法,其特征在于,包括:根据确定的成像参数及离散傅里叶变换公式,生成编码图形,包括:同时进行正弦和余弦变换,则不同周期的正弦图形和不同周期的余弦图形分布于同一图像;同一所述编码图形包括不同周期的正弦图形和不同周期的余弦图形;
将所述编码图形写入多光谱成像系统中的数字微镜;所述编码图形用于数字微镜对空间光谱混合图进行编码生成编码后的混合图;所述空间光谱混合图由多光谱成像系统中的分光装置对探测光源照射到被测物体后形成的反射光进行分光获得;
接收所述多光谱成像系统中的探测器发送的空间图;所述空间图由所述多光谱成像系统中的合光装置对所述数字微镜输出的所述混合图进行合光获得;
基于所述空间图进行解码复原,得到复原的多光谱图像,包括:将所述空间图按照频域系数拆分为多个不同频域系数k的第一图像;
对所述多个不同频域系数k的第一图像分别进行插补计算和引导滤波,得到多个插补滤波后的第二图像;
对所述多个插补滤波后的第二图像进行傅里叶逆变换,得到复原的多光谱图像;
其中,对所述多个不同频域系数的图分别进行插补计算,得到多个插补图,具体为:利用空间邻域的相关性,取空间距离最近的点或几个邻域的平均值作为缺失点的值;
其中,当所述编码图形中的正弦图形和余弦图形分布于相同图像时,所述将所述编码图形写入多光谱成像系统中的数字微镜包括:将分布于相同图像的所述正弦图形和所述余弦图形同时写入多光谱成像系统中的数字微镜;
相应地,所述接收所述多光谱成像系统中的探测器发送的空间图包括:接收所述多光谱成像系统中的探测器发送的与所述正弦图形和所述余弦图形对应的正余弦编码空间图;
相应地,所述基于所述空间图进行解码复原,得到复原的多光谱图像包括:对所述正余弦编码空间图进行解码复原,得到复原的多光谱图像。
3.根据权利要求2所述的方法,其特征在于,所述成像参数包括光谱波段数,所述离散傅里叶变换公式为:
或者,
其中,x(n)代表被测物体的空间点的光谱,n=0,1,…N‑1;N为光谱的波段数;j为虚数标志;Y(k)为对傅里叶变换后的值,k为对应傅里叶变换的频域系数,k=0,1,…N‑1。
4.根据权利要求3所述的方法,其特征在于,所述对所述多个插补滤波后的图进行傅里叶逆变换,得到复原的多光谱图的步骤,具体为:根据光谱在分光方向的偏移量,对所述多个插补滤波后的第二图像进行傅里叶逆变换,得到复原的多光谱图。
5.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求2至4中任一项权利要求所述多光谱成像方法的步骤。
6.一种多光谱成像设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求2至4中任一项权利要求所述多光谱成像方法的步骤。
说明书 :
多光谱成像方法、存储介质及设备
技术领域
背景技术
点扫描或线扫描、波段的扫描、传统傅里叶干涉测量的光程差扫描等。这些方式均有移动部
件,且扫描检测时间较长。后来随着编码器件的出现(如数字微镜器件DMD),发展了编码计
算方式的光谱成像技术,相对扫描方式,没有移动部件,可通过编码测量和解码计算得到三
维数据立方体。前期的研究中,已有采用0‑1结构的哈达码矩阵编码的光谱成像技术,以及
0‑1随机编码的压缩感知光谱成像技术。
般为5个)的测量,仍存在测量次数较多的问题。
发明内容
谱成像方法包括:
中的分光装置对探测光源照射到被测物体后形成的反射光进行分光获得;
多光谱成像方法的步骤。
所述处理器执行上述多光谱成像方法的步骤。
源照射到被测物体后形成的反射光进行分光,形成空间光谱混合图,并将所述空间光谱混
合图传输至所述数字微镜后,所述数字微镜根据所述编码图形对所述空间光谱混合图进行
编码生成编码后的混合图,并将所述混合图传输至所述合光装置所述合光装置对所述混合
图进行合光处理,得到空间图,并将所述空间图发送至所述多光谱成像设备;所述多光谱成
像设备接收所述探测器发送的空间图,基于所述空间图进行解码复原,得到复原的多光谱
图像。由于编码图形包括不同周期的正弦图形和余弦图形,将该编码图形写入数字微镜后,
数字微镜仅对分光装置形成的空间光谱混合图进行1次或者2次编码,即可实现以往至少5
次编码的效果,进一步减少了测量次数,实现快速实时测量。
附图说明
具体实施方式
不用于限定本申请。
件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一xx脚本称为第二xx脚本,
且类似地,可将第二xx脚本称为第一 xx脚本。
装置140和探测器150。
UMPC)、上网本、个人数字助理 (personal digital assistant,PDA)等,具体不做限制。
系数,k=0,1,…N‑1。
叶变换公式,可以得到分布有不同周期的正弦图形和余弦图形的编码图形。其中,一种可行
的方法为同时进行正弦和余弦变换,则不同周期的正弦图形和不同周期的余弦图形分布于
同一图像;另一种可行的方法为,分别进行正弦变换和余弦变换,则不同周期的正弦图形和
不同周期的余弦图形分布于两个不同的图像。
K
码图形同时包含不同 k值的正弦或余弦图形。k值的数量与所需的光谱分辨率有关,一般可
见光范围内可取5个系数。
域的稀疏性,若需要5个周期的测量,则需要改变编码图形5次。而图4所示的编码图形,结合
空间分布特点,将多个周期的正弦图形和余弦图形分布在一个编码图形进行同时测量,则
原先的5次编码就降为1 次,进一步减少测量次数,实现快速实时测量。可以理解的是,若不
同周期的正弦图形和不同周期的余弦图形分布于两个不同的图像,则也仅需进行一次正弦
图形测量和一次余弦图形测量,即原先的5次编码就降为1次,进一步减少测量次数,实现快
速实时测量。被测物体的一个空间点经分光装置可以分光展开为一列光谱,通过把一条光
谱曲线从波长变换到频域k。
光装置分光后形成的为混合光谱,即上述所说的空间光谱混合图。
码图也为个空间点的编码后的混合图,即上述所说的编码后的混合图。
上述所说的空间图。
形,将该编码图形写入数字微镜后,数字微镜仅对分光装置形成的空间光谱混合图进行1次
或者2次编码,即可实现以往至少5次编码的效果,进一步减少了测量次数,实现快速实时测
量。
系数,k=0,1,…N‑1。
叶变换公式,可以得到分布有不同周期的正弦图形和余弦图形的编码图形。其中,一种可行
的方法为同时进行正弦和余弦变换,则不同周期的正弦图形和不同周期的余弦图形分布于
同一图像;另一种可行的方法为,分别进行正弦变换和余弦变换,则不同周期的正弦图形和
不同周期的余弦图形分布于两个不同的图像。
K
码图形同时包含不同 k值的正弦或余弦图形。k值的数量与所需的光谱分辨率有关,一般可
见光范围内可取5个系数。
域的稀疏性,若需要5个周期的测量,则需要改变编码图形5次。而图4所示的编码图形,结合
空间分布特点,将多个周期的正弦图形和余弦图形分布在一个编码图形进行同时测量,则
原先的5次编码就降为1 次,进一步减少测量次数,实现快速实时测量。可以理解的是,若不
同周期的正弦图形和不同周期的余弦图形分布于两个不同的图像,则也仅需进行一次正弦
图形测量和一次余弦图形测量,即原先的5次编码就降为1次,进一步减少测量次数,实现快
速实时测量。被测物体的一个空间点经分光装置可以分光展开为一列光谱,通过把一条光
谱曲线从波长变换到频域k。
被测物体后形成的反射光进行分光获得。
光装置分光后形成的为混合光谱,即上述所说的空间光谱混合图。
码图也为个空间点的编码后的混合图,即上述所说的编码后的混合图。
上述所说的空间图。
写入数字微镜后,数字微镜仅对分光装置形成的空间光谱混合图进行1次或者2次编码,即
可实现以往至少5次编码的效果,进一步减少了测量次数,实现快速实时测量。
缺失点的值,当间隔距离较大时,即所用系数数量较多K 值较大时,同一系数k之间的空间
间隔较大,邻域插补得到的图像通常在边缘位置会有很明显的锯齿形状。
点为例说明:图8中两个空间点(u,v0)、(u, v1),u是相同的,所以两条光谱实际在u方向是混
合在一起的,只在v方向有个偏移。这里分开画只是为了方便看。两个空间点的光谱对应的
编码图形区域在v方向也会产生相应的偏移。假设v0对应编码图形的起始位置,则空间点
(u, v0)的光谱对应的傅里叶变换就如式(1)。对于空间点(u,v1),对应的编码位置有些偏
移,如图8,由于是N范围循环分布,偏移后,后面对应的一部分刚好与前面少的一部分是一
致的,不影响傅里叶变换,但式(1)需要加上偏移量,如式(3):
代表v方向的偏移量,与空间点的v位置和初始编码位置有关;k对应频域系数,与u的位置有
关,在u方向设置不同的k 值,若取5个低频系数,则K=5。经前面的插值滤波计算后,Y(k),k
=0,1,… K‑1的值已知,对式(1)进行傅里叶逆变换就可得到x(n)。
复原的多光谱图。
是将正弦图形写入多光谱成像系统中的数字微镜,本领域技术人员可以理解的是,正弦图
形和余弦图形写入的先后顺序对本申请的技术效果实现没有影响。
码生成的正弦编码空间图和根据余弦编码图形生成的余弦编码空间图分两次进行采集,并
分两次进行发送。本领域技术人员可以理解的是,探测器采集正弦编码空间图和余弦编码
空间图的顺序没有严格的顺序限制,在本申请中,与正弦图形和余弦图形写入的先后顺序
保持一致即可。
据正弦图形和余弦图形对数字微镜的镜片的开/关占空比进行一次编程来创建一个灰度图
形即可。
据正弦图形编码和余弦编码图形生成的正余弦编码空间图一次采集,一次发送即可。
知的多光谱图像(400‑700nm),间隔10nm,即31个波段,N=31,图像空间大小512*512,则u,v
的取值是[1,512],整个多光谱图像大小就为(512*512*31),仿真时取K=5,即包含k=0,1,
2,3,4的编码周期。图12为编码过程得到的编码后的混合图。图13列出了部分波段的解码复
原的多光谱图与原多光谱图之间的对比,从图中可以看出,复原重建的图像与原始图像十
分接近,定量计算峰值信噪比(PSNR)也均在30dB以上。
写入单元1402、空间图接收单元1403以及解码复原单元1404。
写入数字微镜后,数字微镜仅对分光装置形成的空间光谱混合图进行1次或者2次编码,即
可实现以往至少5次编码的效果,进一步减少了测量次数,实现快速实时测量。
连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质
和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,
该计算机程序被处理器执行时,可使得处理器实现多光谱成像方法。该内存储器中也可储
存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行多光谱成像方法。计算
机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显
示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是
外接的键盘、触控板或鼠标等。
像设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件
布置。
该多光谱成像装置的各个程序模块,比如,图14所示的编码图形生成单元1401、编码图形写
入单元1402、空间图接收单元1403以及解码复原单元1404。各个程序模块构成的计算机程
序使得处理器执行本说明书中描述的本申请各个实施例的多光谱成像方法中的步骤。
成像设备可通过编码图形写入单元1120,执行将所述编码图形写入所述数字微镜。多光谱
成像设备可通过编码检测图接收单元1130执行接收所述多光谱成像系统中的探测器发送
的空间图。多光谱成像设备可通过解码复原单元1140,执行基于所述空间图进行解码复原,
得到复原的多光谱图像。
程序时实现以下步骤:根据确定的成像参数及离散傅里叶变换公式,生成编码图形;所述编
码图形包括不同周期的正弦图形和不同周期的余弦图形;将所述编码图形写入多光谱成像
系统中的数字微镜;所述编码图形用于数字微镜对空间光谱混合图进行编码生成编码后的
混合图;所述空间光谱混合图由多光谱成像系统中的分光装置对探测光源照射到被测物体
后形成的反射光进行分光获得;接收所述多光谱成像系统中的探测器发送的空间图;所述
空间图由所述多光谱成像系统中的合光装置对所述数字微镜输出的所述混合图进行合光
获得;基于所述空间图进行解码复原,得到复原的多光谱图像。
及离散傅里叶变换公式,生成编码图形;所述编码图形包括不同周期的正弦图形和不同周
期的余弦图形;将所述编码图形写入多光谱成像系统中的数字微镜;所述编码图形用于数
字微镜对空间光谱混合图进行编码生成编码后的混合图;所述空间光谱混合图由多光谱成
像系统中的分光装置对探测光源照射到被测物体后形成的反射光进行分光获得;接收所述
多光谱成像系统中的探测器发送的空间图;所述空间图由所述多光谱成像系统中的合光装
置对所述数字微镜输出的所述混合图进行合光获得;基于所述空间图进行解码复原,得到
复原的多光谱图像。
这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例
中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是
在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不
必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流
或者交替地执行。
存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供
的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性
和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编
程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器
(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM
(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM (DDRSDRAM)、增强型SDRAM
(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直
接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
在矛盾,都应当认为是本说明书记载的范围。
来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保
护范围。因此,本申请专利的保护范围应以所附权利要求为准。