一种基于双通道压缩注意力网络的高光谱中药材鉴别方法转让专利

申请号 : CN202310271270.5

文献号 : CN115979973B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 张辉陈天才陈煜嵘刘立柱毛建旭袁小芳王耀南

申请人 : 湖南大学

摘要 :

一种基于双通道压缩注意力网络的高光谱中药材鉴别方法,包括:1、构建第一金银花中药材高光谱数据集和第二金银花中药材高光谱数据集;2、构建分组融合模块,将第一金银花中药材高光谱数据集输入到分组融合模块,最终生成空间通道的输入矩阵和光谱通道的输入矩阵;3、搭建空谱双通道压缩注意力网络模型,优化空谱双通道压缩注意力网络模型的参数;4、利用第二金银花中药材高光谱数据集对训练后的空谱双通道压缩注意力网络模型进行验证。本发明利用分组融合模块降低了高光谱数据的冗余程度,同时利用双通道压缩注意力网络学习金银花高光谱数据的空谱特征表示,减少了有效信息丢失,降低了注意力计算的资源消耗,提高了金银花的鉴别精度。

权利要求 :

1.一种基于双通道压缩注意力网络的高光谱中药材鉴别方法,其特征在于:包括如下步骤:步骤S1、采集两张不同的掺杂有部分山银花的金银花中药材的高光谱图像,并利用两张高光谱图像分别构建第一金银花中药材高光谱数据集和第二金银花中药材高光谱数据集,并对第一金银花中药材高光谱数据集进行数据处理,得到数据处理后的第一金银花中药材高光谱数据集;

所述步骤S1具体包含如下步骤:

步骤S11、利用标准白板对高光谱成像系统进行白板矫正;

步骤S12、利用白板矫正后的高光谱成像系统在指定光谱波段范围内,采集两张不同的掺杂有部分山银花的金银花中药材的高光谱图像,并构建金银花中药材高光谱数据集,且 ,其中 、 、 分别为采集到的高光谱图像的长度、宽度和波段数, 表示实数集; 为第一金银花中药材高光谱数据集, 为第二金银花中药材高光谱数据集;

步骤S13、借助MatLab软件对高光谱图像的每个像素进行标注;

步骤S14、针对第一金银花中药材高光谱数据集的边缘像素:对第一金银花中药材高光谱数据集的所有边缘像素进行长度为 的镜像Padding,再以每个边缘像素为中心划分构建多个第一三维数据块,其中第一三维数据块的空间维度大小为 , 为第一三维数据块长和宽的大小;

针对第一金银花中药材高光谱数据集的边缘之外的像素:以第一金银花中药材高光谱数据集边缘之外的每个像素为中心,并将其周围像素合在一起,划分构建多个第二三维数据块;

利用多个第一三维数据块和多个第二三维数据块构建金银花中药材高光谱图像三维数据块集 ,即 , ,其中 为第一金银花中药材高光谱数据集的像素总个数, 表示第 个金银花中药材高光谱图像三维数据块;每个金银花中药材高光谱图像三维数据块 的标签为该数据块中心像素的真实标签;

步骤S15、对金银花中药材高光谱图像三维数据块集 进行数据增强预处理,得到预处理后的金银花中药材高光谱图像三维数据块集 ,即数据处理后的第一金银花中药材高光谱数据集;

步骤S2、构建分组融合模块GFM,将处理数据后的第一金银花中药材高光谱数据集输入到分组融合模块GFM中,最终生成空间通道的输入矩阵和光谱通道的输入矩阵;

所述步骤S2具体包含如下步骤:

步骤S21、构建分组融合模块GFM,将数据处理后的第一金银花中药材高光谱数据集输入到分组融合模块GFM中,得到金银花中药材高光谱分组融合特征块 ;

所述步骤S21具体包含如下步骤:

步骤S211、构建分组融合模块GFM,分组融合模块GFM包括依次连接的分组卷积层、归一化层和高斯误差线性单元激活函数层;

分组融合模块GFM可表示为:

其中 表示卷积核为 的分组卷积层,

表示归一化层, 表示高斯误差线性单元激活函数层;

步骤S212、分组卷积层首先将输入的金银花中药材高光谱图像三维数据块 在波段数上进行划分、生成 个子数据块 ,即 , ;

步骤S213、分别对每个子数据块 进行卷积操作,得到卷积操作后的多个子数据块 ;

步骤S214、将卷积操作后的所有子数据块 重新拼接在一起,生成金银花中药材高光谱分组特征块 , ,其中 为利用分组卷积层对金银花中药材高光谱图像三维数据块 进行数据降维、信息融合后的波段数;

步骤S215、将金银花中药材高光谱分组特征块 输入到归一化层,得到金银花中药材高光谱分组特征块 ;归一化层具体为:其中 和 分别是金银花中药材高光谱分组特征块 的期

望和方差,和 是网络训练中可学习的参数;

步骤S216、将金银花中药材高光谱分组特征块 输入到高斯误差线性单元激活函数层,得到金银花中药材高光谱分组融合特征块 ;

高斯误差线性单元激活函数层具体为:

其中 为概率论中的高斯误差函数,即

高斯概率密度函数的积分;

步骤S22、将得到金银花中药材高光谱分组融合特征块 进行双通道词嵌入操作,生成空间通道的输入矩阵和光谱通道的输入矩阵;

所述步骤S22具体包含如下步骤:

步骤S221、将金银花中药材高光谱分组融合特征块 进行双通道词嵌入操作;

步骤S222、双通道词嵌入操作对金银花高光谱空谱特征块的每个像素分别进行两次线性映射,生成空间注意力向量 和光谱注意力向量 ;

步骤S223、将每个像素的空间注意力向量 均分三份,得到query1向量、key1向量和value1向量,将每个像素的query1向量、key1向量和value1向量进行纵向拼接,得到空间通道的输入矩阵,空间通道的输入矩阵包括 矩阵、 矩阵和 矩阵;

步骤S224、将每个像素的光谱注意力向量 均分三份,得到query2向量、key2向量和value2向量,将每个像素的query2向量、key2向量和value2向量进行均分和拼接,得到光谱通道的输入矩阵,光谱通道的输入矩阵包括 矩阵、 矩阵和 矩阵;

步骤S3、搭建空谱双通道压缩注意力网络模型,利用空间通道的输入矩阵和光谱通道的输入矩阵优化空谱双通道压缩注意力网络模型的参数,得到参数优化后的空谱双通道压缩注意力网络模型;

所述步骤S3具体包含如下步骤:

步骤S31、搭建空谱双通道压缩注意力网络模型,空谱双通道压缩注意力网络模型包括空‑谱压缩融合注意力模块和高光谱金银花中药材鉴别模块;空‑谱压缩融合注意力模块包括依次连接的压缩池化操作、空‑谱双通道注意力机制和映射融合操作;高光谱金银花中药材鉴别模块包括依次连接的全局平均池化层和线性分类层;

所述步骤S31中的空间注意力机制包括第一多头注意力层和第一多层感知机层;

第一多头空间注意力层计算公式具体为:

其中, 表示单

头空间注意力, 为归一化指数函数, 表示矩阵 的维度大小;

表示多头空间注意力,用符号表示为 ; 表示将多组单头

空间注意力结果纵向拼接在一起,接着乘上对应的可学习的权重矩阵 ;其中 为超参数,表示多头空间注意力中头的个数; 表示多头空间注意力中第 个头的空间注意力;

、 和 分别表示 矩阵, 矩阵和 矩阵对应的映射矩阵;

第一多层感知机层计算公式具体为:

其中 表示特征注意力, , 表示

多头注意力,且 , 和 为全连接操作,即线性映射操作;

与上文一致,为高斯误差线性单元(GELU)激活函数;

所述步骤S31中的光谱注意力机制包括第二多头注意力层和第二多层感知机层;第二多层感知机层和第一多层感知机层的结构相同;

第二多头注意力层的计算公式具体为:

其中, 表示单

头光谱注意力, 表示矩阵 的维度大小; 表示多头光谱注意力,用符号表示为 ; 表示将多组单头光谱注意力结果纵向拼接在一起,接着乘上对应的可学习的权重矩阵 ;其中 为超参数,表示多头光谱注意力中头的个数; 表示多头光谱注意力中第 个头的光谱注意力; , 和 分别表示 矩阵, 矩阵和矩阵对应的映射矩阵;

步骤S32、空‑谱压缩融合注意力模块包含压缩池化操作、空‑谱双通道注意力机制和最后的映射融合操作;将空间通道的输入矩阵、光谱通道的输入到压缩池化操作,得到空间压缩矩阵集 、光谱压缩矩阵集 ;

步骤S33、将空间压缩矩阵集 和光谱压缩矩阵集 分别输入空间注意力机制和光谱注意力机制中,生成空间注意力特征 和光谱注意力特征 ;

步骤S34、对空间注意力特征 和光谱注意力特征 分别进行线性映射,生成空间特征 和光谱特征 ,将二者纵向拼接并重新线性映射回原始维度大小,得到高光谱金银花中药材的空‑谱融合特征 ;

步骤S35、利用高光谱金银花中药材鉴别模块的全局平均池化层计算空‑谱融合特征的空间维度平均值,得到特征分类向量 ,其维度大小为 ;

步骤S36、利用高光谱金银花中药材鉴别模块的线性分类层将特征分类向量映射到维,是高光谱金银花中药材数据集中除背景外所有像素的类别数;将 维中最大值的类别作为该高光谱三维数据块的分类预测标签;

步骤S37、采用随机梯度下降法对空谱双通道压缩注意力网络模型中的参数进行优化训练,得到参数优化后的空谱双通道压缩注意力网络模型;

步骤S4、利用第二金银花中药材高光谱数据集对参数优化后的空谱双通道压缩注意力网络模型进行泛化性验证。

2.根据权利要求1所述的高光谱中药材鉴别方法,其特征在于,所述步骤S15中的数据增强预处理包括数据块上下翻转、数据块左右翻转、数据块顺时针旋转90°、数据块顺时针旋转180°、数据块逆时针旋转90°五种操作,且每个三维数据块 的数据增强预处理过程最多进行五种操作中的一种。

说明书 :

一种基于双通道压缩注意力网络的高光谱中药材鉴别方法

技术领域

[0001] 本发明涉及医药高光谱智能检测技术领域,特别涉及一种基于双通道压缩注意力网络的高光谱中药材鉴别方法。

背景技术

[0002] 中医药学体现了中华民族的伟大智慧,是中国古代科学的瑰宝。金银花作为“三药三方”中连花清瘟胶囊和金花清感颗粒的主要药方成分,在抗击新冠疫情的治疗中起到重要作用。而山银花因其价格低廉,且外形与金银花极其相似,极易被掺入至金银花中。与金银花性热且具有清热解毒的功效不同,山银花性热,并且功效与金银花完全相反,如果金银花中掺入一定量的山银花,将会严重影响临床疗效甚至危及生命。由此可见,研究如何快速精确地进行金银花中药材真伪鉴别变得尤为重要,其具有十分重要的现实意义。
[0003] 传统的中药鉴定识别的传统方法包括基原鉴定、性状鉴定、显微鉴定和理化鉴定四种手段。前三种方法过于依赖鉴定者的主观判断,且缺少确切的鉴定标准,往往需要鉴定者具备丰富的中药理论知识以及多年的经验积累,因此不能满足大规模的快速精确检测情况。而理化鉴定方法是利用化学分离技术进行相关中药材鉴定,会造成被测样品不可逆的破坏,同时由于中药材中包含复杂的化学成分,逐一分离其中的成分不仅耗时而且实验成本高。近年来,高光谱技术得到迅速发展,在所有过程分析手段中占有主流地位并在医药行业中的应用日趋广泛。同时由于深度学习可以从海量多元的数据中发掘隐含的具有潜在价值的特征知识,在中药材高光谱鉴别分析中得到广泛的应用。
[0004] 然而传统的深度学习方法——卷积神经网络很难有效地捕获高光谱数据的光谱序列信息,特别是中长期的依赖关系,因此难免会遇到性能瓶颈。同时由于卷积神经网络过度关注空间内容信息,使得学习到的特征中序列信息失真。与卷积神经网络不同,Transformer作为目前最前沿的骨干网络之一,其自身的自注意力技术能够捕获全局信息,可以有效地分析序列数据,因此更适合对金银花中药材高光谱数据进行处理。然而,普通的Transformer方法缺乏捕获局部空间上下文信息的能力,同时未能充分利用高光谱数据的空间‑光谱耦合结构,限制了金银花中药材的鉴别精度,并且由于模型参数规模大,推理速度也有待提升。

发明内容

[0005] 本发明提供了一种基于双通道压缩注意力网络的高光谱中药材鉴别方法,以解决现有中金银花中药材高光谱数据鉴别精度和速度不足,且鲁棒性和泛化性无法满足现实需求的技术问题。
[0006] 为达到上述目的,本发明的技术方案是这样实现的:
[0007] 本发明提供了一种基于双通道压缩注意力网络的高光谱中药材鉴别方法,包括如下步骤:
[0008] 步骤S1、采集两张不同的掺杂有部分山银花的金银花中药材的高光谱图像,并利用两张高光谱图像分别构建第一金银花中药材高光谱数据集和第二金银花中药材高光谱数据集,并对第一金银花中药材高光谱数据集进行数据处理,得到数据处理后的第一金银花中药材高光谱数据集;
[0009] 步骤S2、构建分组融合模块GFM,将数据处理后的第一金银花中药材高光谱数据集输入到分组融合模块GFM中,最终生成空间通道的输入矩阵和光谱通道的输入矩阵;
[0010] 步骤S3、搭建空谱双通道压缩注意力网络模型,利用空间通道的输入矩阵和光谱通道的输入矩阵优化空谱双通道压缩注意力网络模型的参数,得到参数优化后的空谱双通道压缩注意力网络模型;
[0011] 步骤S4、利用第二金银花中药材高光谱数据集对参数优化后的空谱双通道压缩注意力网络模型进行泛化性验证。
[0012] 进一步地,所述步骤S1具体包含如下步骤:
[0013] 步骤S11、利用标准白板对高光谱成像系统进行白板矫正;
[0014] 步骤S12、利用白板矫正后的高光谱成像系统在指定光谱波段范围内,采集两张不同的掺杂有部分山银花的金银花中药材的高光谱图像,并构建金银花中药材高光谱数据集,且 ,其中 、 、 分别为采集到的高光谱图像的长度、宽度和波段数, 表示实数集; 为第一金银花中药材高光谱数据集, 为第二金银花中药材高光谱数据集;
[0015] 步骤S13、借助MatLab软件对高光谱图像的每个像素进行标注;
[0016] 步骤S14、针对第一金银花中药材高光谱数据集的边缘像素:对第一金银花中药材高光谱数据集的所有边缘像素进行长度为 的镜像Padding,再以每个边缘像素为中心划分构建多个第一三维数据块,其中第一三维数据块的空间维度大小为 , 为第一三维数据块长和宽的大小;
[0017] 针对第一金银花中药材高光谱数据集的边缘之外的像素:以第一金银花中药材高光谱数据集边缘之外的每个像素为中心,并将其周围像素合在一起,划分构建多个第二三维数据块;
[0018] 利用多个第一三维数据块和多个第二三维数据块构建金银花中药材高光谱图像三维数据块集 ,即 , ,其中 为第一金银花中药材高光谱数据集的像素总个数, 表示第 个金银花中药材高光谱图像三维数据块;每个金银花中药材高光谱图像三维数据块 的标签为该数据块中心像素的真实标签;
[0019] 步骤S15、对金银花中药材高光谱图像三维数据块集 进行数据增强预处理,得到预处理后的金银花中药材高光谱图像三维数据块集 ,即数据处理后的第一金银花中药材高光谱数据集。
[0020] 进一步地,所述步骤S15中的数据增强预处理包括数据块上下翻转、数据块左右翻转、数据块顺时针旋转90°、数据块顺时针旋转180°、数据块逆时针旋转90°五种操作,且每个三维数据块 的数据增强预处理过程最多进行五种操作中的一种。
[0021] 进一步地,所述步骤S2具体包含如下步骤:
[0022] 步骤S21、构建分组融合模块GFM,将数据处理后的第一金银花中药材高光谱数据集输入到分组融合模块GFM中,得到金银花中药材高光谱分组融合特征块 ;
[0023] 步骤S22、将得到金银花中药材高光谱分组融合特征块 进行双通道词嵌入操作,生成空间通道的输入矩阵和光谱通道的输入矩阵。
[0024] 进一步地,所述步骤S21具体包含如下步骤:
[0025] 步骤S211、构建分组融合模块GFM,分组融合模块GFM包括依次连接的分组卷积层、归一化层和高斯误差线性单元激活函数层;
[0026] 分组融合模块GFM可表示为:
[0027]
[0028] 其中 表示卷积核为 的分组卷积层, 表示归一化层, 表示高斯误差线性单元激活函数层;
[0029] 步骤S212、分组卷积层首先将输入的金银花中药材高光谱图像三维数据块 在波段数 上进行划分、生成 个子数据块 ,即 , ;
[0030] 步骤S213、分别对每个子数据块 进行卷积操作,得到卷积操作后的多个子数据块;
[0031] 步骤S214、将卷积操作后的所有子数据块 重新拼接在一起,生成金银花中药材高光谱分组特征块 , ,其中 为利用分组卷积层对金银花中药材高光谱图像三维数据块 进行数据降维、信息融合后的波段数;
[0032] 步骤S215、将金银花中药材高光谱分组特征块 输入到归一化层,得到金银花中药材高光谱分组特征块 ;归一化层具体为:
[0033]
[0034] 其中 和 分别是金银花中药材高光谱分组特征块 的期望和方差,和 是网络训练中可学习的参数;
[0035] 步骤S216、将金银花中药材高光谱分组特征块 输入到高斯误差线性单元激活函数层,得到金银花中药材高光谱分组融合特征块 ;
[0036] 高斯误差线性单元激活函数层具体为:
[0037]
[0038] 其中 为概率论中的高斯误差函数,即高斯概率密度函数的积分。
[0039] 进一步地,所述步骤S22具体包含如下步骤:
[0040] 步骤S221、将金银花中药材高光谱分组融合特征块 进行双通道词嵌入操作;
[0041] 步骤S222、双通道词嵌入操作对金银花高光谱空谱特征块的每个像素分别进行两次线性映射,生成空间注意力向量 和光谱注意力向量 ;
[0042] 步骤S223、将每个像素的空间注意力向量 均分三份,得到query1向量、key1向量和value1向量,将每个像素的query1向量、key1向量和value1向量进行纵向拼接,得到空间通道的输入矩阵,空间通道的输入矩阵包括 矩阵、 矩阵和 矩阵;
[0043] 步骤S224、将每个像素的光谱注意力向量 均分三份,得到query2向量、key2向量和value2向量,将每个像素的query2向量、key2向量和value2向量进行均分和拼接,得到光谱通道的输入矩阵,光谱通道的输入矩阵包括 矩阵、 矩阵和 矩阵。
[0044] 进一步地,所述步骤S3具体包含如下步骤:
[0045] 步骤S31、搭建空谱双通道压缩注意力网络模型,空谱双通道压缩注意力网络模型包括空‑谱压缩融合注意力模块和高光谱金银花中药材鉴别模块;空‑谱压缩融合注意力模块包括依次连接的压缩池化操作、空‑谱双通道注意力机制和映射融合操作;高光谱金银花中药材鉴别模块包括依次连接的全局平均池化层和线性分类层;
[0046] 步骤S32、空‑谱压缩融合注意力模块包含压缩池化操作、空‑谱双通道注意力机制和最后的映射融合操作;将空间通道的输入矩阵、光谱通道的输入到压缩池化操作,得到空间压缩矩阵集 、光谱压缩矩阵集 ;
[0047] 步骤S33、将空间压缩矩阵集 和光谱压缩矩阵集 分别输入空间注意力机制和光谱注意力机制中,生成空间注意力特征 和光谱注意力特征 ;
[0048] 步骤S34、对空间注意力特征 和光谱注意力特征 分别进行线性映射,生成空间特征 和光谱特征 ,将二者纵向拼接并重新线性映射回原始维度大小,得到高光谱金银花中药材的空‑谱融合特征 ;
[0049] 步骤S35、利用高光谱金银花中药材鉴别模块的全局平均池化层计算空‑谱融合特征 的空间维度平均值,得到特征分类向量 ,其维度大小为 ;
[0050] 步骤S36、利用高光谱金银花中药材鉴别模块的线性分类层将特征分类向量映射到 维,是高光谱金银花中药材数据集中除背景外所有像素的类别数;将 维中最大值的类别作为该高光谱三维数据块的分类预测标签;
[0051] 步骤S37、采用随机梯度下降法对空谱双通道压缩注意力网络模型中的参数进行优化训练,得到参数优化后的空谱双通道压缩注意力网络模型。
[0052] 进一步地,所述步骤S31中的空间注意力机制包括第一多头注意力层和第一多层感知机层;
[0053] 第一多头空间注意力层计算公式具体为:
[0054]
[0055] 其中, 表示单头空间注意力, 为归一化指数函数,表示矩阵 的维度大小; 表示多头空间注意力,用符号表示为 ;
表示将多组单头空间注意力结果纵向拼接在一起,接着乘上对应的可学习的权重矩阵 ;其中 为超参数,表示多头空间注意力中头的个数; 表示多头空间注意力中第 个头的空间注意力; 、 和 分别表示 矩阵, 矩阵和 矩阵对应的映射矩阵;
[0056] 第一多层感知机层计算公式具体为:
[0057]
[0058] 其中 表示特征注意力, 。 表示多头注意力,且 。和 为全连接操作,即线性映射操作。 与上文一致,为高斯误差线性
单元(GELU)激活函数。
[0059] 进一步地,所述步骤S31中的光谱注意力机制包括第二多头注意力层和第二多层感知机层;第二多层感知机层和第一多层感知机层的结构相同;
[0060] 第二多头注意力层的计算公式具体为:
[0061]
[0062] 其中, 表示单头光谱注意力, 表示矩阵 的维度大小。表示多头光谱注意力,用符号表示为 。 表示将多组单头
光谱注意力结果纵向拼接在一起,接着乘上对应的可学习的权重矩阵 。其中 为超参数,表示多头光谱注意力中头的个数。 表示多头光谱注意力中第 个头的光谱注意力。 , 和 分别表示 矩阵, 矩阵和 矩阵对应的映射矩阵。
[0063] 本发明的有益效果:
[0064] 1、本发明通过分组融合模块,将金银花中药材高光谱数据的相邻波段映射至低维空间,提取高度相关波段间的有用特征,降低了中药材高光谱数据的波段冗余度,减少了网络训练与推理压力。
[0065] 2、本发明通过空谱双通道压缩注意力网络模型,减少了单头注意力计算时的参数量,降低了网络模型训练和推理过程中的运算和内存资源的消耗,提高了金银花中药材的鉴别速度。同时利用空‑谱压缩融合注意力模块充分融合金银花中药材高光谱数据集中的空间特征和光谱特征,增大了网络模型的泛化性和鲁棒性,提升了金银花中药材的鉴别精度,为金银花中药材的快速无损鉴别提供了技术支撑,具有较好的应用前景。

附图说明

[0066] 图1为发明的流程图;
[0067] 图2为本发明中掺杂山银花的金银花中药材高光谱图像数据;
[0068] 图3为本发明中分组融合模块和空谱双通道压缩注意力网络示意图;
[0069] 图4为本发明中第二金银花中药材高光谱图像数据的分类结果图;
[0070] 图5为空‑谱压缩融合注意力模块的结构示意图;
[0071] 图6为分组融合模块的结构示意图。

具体实施方式

[0072] 下面结合附图及具体实施例对本发明再作进一步详细的说明。
[0073] 在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以通过具体情况理解上述术语在本发明中的具体含义。
[0074] 另外,在本发明中的“第一”、“第二”等描述,仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量或顺序。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多组”的含义是至少两个,例如两个、三个等,除非另有明确具体的限定。
[0075] 参照图1,本申请实施例提供了一种基于双通道压缩注意力网络的高光谱中药材鉴别方法,包括如下步骤:
[0076] 步骤S1、采集两张不同的掺杂有部分山银花的金银花中药材的高光谱图像,并利用两张高光谱图像分别构建第一金银花中药材高光谱数据集和第二金银花中药材高光谱数据集,并对第一金银花中药材高光谱数据集进行数据处理,得到数据处理后的第一金银花中药材高光谱数据集;
[0077] 步骤S2、构建分组融合模块GFM,将数据处理后的第一金银花中药材高光谱数据集输入到分组融合模块GFM中,最终生成空间通道的输入矩阵和光谱通道的输入矩阵;
[0078] 步骤S3、搭建空谱双通道压缩注意力网络模型,利用空间通道的输入矩阵和光谱通道的输入矩阵优化空谱双通道压缩注意力网络模型的参数,得到参数优化后的空谱双通道压缩注意力网络模型;
[0079] 步骤S4、利用第二金银花中药材高光谱数据集对参数优化后的空谱双通道压缩注意力网络模型进行验证。
[0080] 下面就每个步骤的实现方式进行阐述;
[0081] 步骤S1、采集两张不同的掺杂有部分山银花的金银花中药材的高光谱图像,并利用两张高光谱图像分别构建第一金银花中药材高光谱数据集和第二金银花中药材高光谱数据集,并对第一金银花中药材高光谱数据集进行数据处理,得到数据处理后的第一金银花中药材高光谱数据集;
[0082] 在本实施例中,所述步骤S1具体包含如下步骤:
[0083] 步骤S11、利用标准白板对高光谱成像系统进行白板矫正;
[0084] 步骤S12、利用白板矫正后的高光谱成像系统在指定光谱波段范围内采集并两张不同的掺杂有部分山银花的金银花中药材的高光谱图像,并构建金银花中药材高光谱图像数据集 ,且 ,其中 、 、 分别为采集到的高光谱图像的长度、宽度和波段数, 表示实数集; 为第一金银花中药材高光谱数据集, 为第二金银花中药材高光谱数据集;
[0085] 具体的,利用白板矫正后的高光谱成像系统在光谱波段400 1000nm范围内采集两~张不同的掺杂有部分山银花的金银花中药材高光谱图像,并构建金银花中药材高光谱图像数据集 ,且 。其中 为第一金银花中药材高光谱数据集,
为第二金银花中药材高光谱数据集,且 。 、 、 分别为采集到的高光谱
图像数据的长度、宽度和波段数, 表示实数集。本实施例中 、 、 分别为612、838和
600。图2即为拍摄的掺杂有山银花的金银花中药材高光谱数据可视化结果图,图2中(a)为第一金银花中药材高光谱数据集的数据图,(b)为第一金银花中药材高光谱数据集的真值图,(c)为第二金银花中药材高光谱数据集的数据图,(d)为第二金银花中药材高光谱数据集的真值图。
[0086] 步骤S13、借助MatLab软件对高光谱图像的每个像素进行标注;
[0087] 步骤S14、针对第一金银花中药材高光谱数据集的边缘像素:对第一金银花中药材高光谱数据集的所有边缘像素进行长度为 的镜像Padding,再以每个缘像素为中心划分构建多个第一三维数据块,其中第一三维数据块的空间维度大小为 , 为第一三维数据块长和宽的大小;
[0088] 针对第一金银花中药材高光谱数据集的边缘之外的像素:以第一金银花中药材高光谱数据集边缘之外的每个像素为中心,并将其周围像素合在一起,划分构建多个第二三维数据块;
[0089] 利用多个第一三维数据块和多个第二三维数据块构建金银花中药材高光谱图像三维数据块集 ,即 , ,保留高光谱数据原有结构,其中 为第一金银花中药材高光谱数据集的像素总个数,即 。 表示第 个金银花
中药材高光谱图像三维数据块。每个高光谱三维数据块 的标签为该数据块中心像素的真实标签;
[0090] 步骤S15、对金银花中药材高光谱图像三维数据块集 进行数据增强预处理,得到预处理后的金银花中药材高光谱图像三维数据块集 ,即数据处理后的第一金银花中药材高光谱数据集。
[0091] 在本实施例中,所述步骤S15中的数据增强预处理包括数据块上下翻转、数据块左右翻转、数据块顺时针旋转90°、数据块顺时针旋转180°、数据块逆时针旋转90°五种操作,且每个三维数据块 的数据增强预处理过程最多进行五种操作中的一种。
[0092] 步骤S2、构建分组融合模块GFM,分组融合模块GFM的结构如图6所示,将数据处理后的第一金银花中药材高光谱数据集输入到分组融合模块GFM中,最终生成空间通道的输入矩阵和光谱通道的输入矩阵;
[0093] 在本实施例中,所述步骤S2具体包含如下步骤:
[0094] 步骤S21、构建分组融合模块GFM,将数据处理后的第一金银花中药材高光谱数据集输入到分组融合模块GFM中,得到金银花中药材高光谱分组融合特征块 ;
[0095] 在本实施例中,所述步骤S21具体包含如下步骤:
[0096] 步骤S211、构建分组融合模块GFM,分组融合模块GFM包括依次连接的分组卷积层、归一化层和高斯误差线性单元激活函数层;
[0097] 分组融合模块GFM可表示为:
[0098]
[0099] 其中 表示卷积核为 的分组卷积层, 表示归一化层, 表示高斯误差线性单元激活函数层;
[0100] 步骤S212、分组卷积层首先将输入的金银花中药材高光谱图像三维数据块 在波段数 上进行划分、生成 个子数据块 ,即 , ,在本实施例中 设置为32。
[0101] 步骤S213、分别对每个子数据块 进行卷积核为3、步长为1、padding为1的卷积操作,得到卷积操作后的多个子数据块 ;通过卷积操作可降低数据的冗余程度。
[0102] 步骤S214、将卷积操作后的所有子数据块 重新拼接在一起,生成金银花中药材高光谱分组特征块 , ,其中 为利用分组卷积层对高光谱三维数据块 进行数据降维、信息融合后的波段数;在本实施例中 为32,即 。
[0103] 步骤S215、将金银花中药材高光谱分组特征块 输入到归一化层,得到金银花中药材高光谱分组特征块 ;归一化层具体为:
[0104]
[0105] 其中 和 分别是金银花中药材高光谱分组特征块 的期望和方差,和 是网络训练中可学习的参数;归一化层用于将每个波段的数据转换在均值为0,方差为1的状态,使每个波段的数据分布一致,加快网络训练的收敛速度,防止训练过程中出现梯度爆炸或梯度消失现象,同时避免训练结果出现过拟合。
[0106] 步骤S216、将金银花中药材高光谱分组特征块 输入到高斯误差线性单元激活函数层,得到金银花中药材高光谱分组融合特征块 ;
[0107] 高斯误差线性单元激活函数层具体为:
[0108]
[0109] 其中 为概率论中的高斯误差函数,即高斯概率密度函数的积分;高斯误差线性单元激活函数层用于解决网络训练速度急剧下降导致的梯度饱和问题;
[0110] 步骤S22、将金银花中药材高光谱分组融合特征块 进行双通道词嵌入操作,生成空间通道的输入矩阵和光谱通道的输入矩阵。
[0111] 在本实施例中,所述步骤S22具体包含如下步骤:
[0112] 步骤S221、将金银花中药材高光谱分组融合特征块 进行双通道词嵌入操作;
[0113] 步骤S222、双通道词嵌入操作对金银花中药材高光谱分组融合特征块 的每个像素分别进行两次线性映射,生成空间注意力向量 和光谱注意力向量 ;空间注意力向量和光谱注意力向量的维度大小为金银花中药材高光谱分组融合特征块 波段数的3倍,在本实施例中即为96。
[0114] 步骤S223、将每个像素的空间注意力向量 均分三份,得到query1向量、key1向量和value1向量,将每个像素的query1向量、key1向量和value1向量进行纵向拼接,得到空间通道的输入矩阵,空间通道的输入矩阵包括 矩阵、 矩阵和 矩阵,作为双通道压缩注意力模块中光谱通道的输入;其中所有矩阵的维度都为 ,在本实施例中即为。
[0115] 步骤S224、将每个像素的光谱注意力向量 均分三份,得到query2向量、key2向量和value2向量,将每个像素的query2向量、key2向量和value2向量进行均分和拼接,得到光谱通道的输入矩阵,光谱通道的输入矩阵包括 矩阵、 矩阵和 矩阵。
[0116] 步骤S3、搭建空谱双通道压缩注意力网络模型,利用空间通道的输入矩阵和光谱通道的输入矩阵优化空谱双通道压缩注意力网络模型的参数,得到参数优化后的空谱双通道压缩注意力网络模型;
[0117] 在本实施例中,所述步骤S3具体包含如下步骤:
[0118] 步骤S31、如图3所示,搭建空谱双通道压缩注意力网络模型,空谱双通道压缩注意力网络模型包括空‑谱压缩融合注意力模块和高光谱金银花中药材鉴别模块;空‑谱压缩融合注意力模块包括依次连接的压缩池化操作、空‑谱双通道注意力机制和映射融合操作,空‑谱压缩融合注意力模块的结构如图5所示;高光谱金银花中药材鉴别模块包括依次连接的全局平均池化层和线性分类层;
[0119] 所述步骤S31中的空‑谱双通道注意力机制包括空间注意力机制和光谱注意力机制;空间注意力机制包括第一多头注意力层和第一多层感知机层;
[0120] 第一多头空间注意力层计算公式具体为:
[0121]
[0122] 其中, 表示单头空间注意力, 为归一化指数函数,表示矩阵 的维度大小,本实施例中即为32; 表示多头空间注意力,用
符号表示为 ; 表示将多组单头空间注意力结果纵向拼接在一起,接着乘上对应的可学习的权重矩阵 ;其中 为超参数,表示多头空间注意力中头的个数; 表示多头空间注意力中第 个头的空间注意力; 、 和 分别表示 矩阵, 矩阵和
矩阵对应的映射矩阵;
[0123] 第一多层感知机层计算公式具体为:
[0124]
[0125] 其中 表示特征注意力, 。 表示多头注意力,且 。和 为全连接操作,即线性映射操作。 与上文一致,为高斯误差线性
单元(GELU)激活函数。
[0126] 在本实施例中,所述步骤S31中的光谱注意力机制包括第二多头注意力层和第二多层感知机层;第二多层感知机层和第一多层感知机层的结构相同;
[0127] 第二多头注意力层的计算公式具体为:
[0128]
[0129] 其中, 表示单头光谱注意力, 表示矩阵 的维度大小,本实施例中即为32。 表示多头光谱注意力,用符号表示为 。 表
示将多组单头光谱注意力结果纵向拼接在一起,接着乘上对应的可学习的权重矩阵 。
其中 为超参数,表示多头光谱注意力中头的个数,在本实施例中设置为8。 表示多头光谱注意力中第 个头的光谱注意力。 , 和 分别表示 矩阵, 矩阵和
矩阵对应的映射矩阵。
[0130] 步骤S32、空‑谱压缩融合注意力模块包含压缩池化操作、空‑谱双通道注意力机制和最后的映射融合操作;将空间通道的输入矩阵、光谱通道的输入到压缩池化操作,得到空间压缩矩阵集 、光谱压缩矩阵集 ;减少了空谱双通道注意力机制的参数量,降低了运算和内存资源的消耗,提高了金银花中药材的鉴定速度。
[0131] 具体的,压缩池化操作的对象包括空间通道输入矩阵的 矩阵和 矩阵,以及光谱通道输入矩阵的 矩阵和 矩阵。别对四个矩阵进行自适应平均池化,输出大小设置为原始矩阵大小的一半,从而得到各自的压缩矩阵 、 、 和 矩阵,其中空间通道输入矩阵缩小的为空间维度,即 和 的维度大小为 ,光谱通道输入矩阵缩小的为波段维度,即 和 的维度大小为 。此外,空间压缩矩阵集
,光谱压缩矩阵集 。
[0132] 步骤S33、将空间压缩矩阵集 和光谱压缩矩阵集 分别输入空间注意力机制和光谱注意力机制中,生成空间注意力特征 和光谱注意力特征 ;聚焦重要的有用特征信息,忽略不相关的特征信息,提高金银花中药材的鉴定精度。
[0133] 步骤S34、对空间注意力特征 和光谱注意力特征 分别进行线性映射,生成空间特征 和光谱特征 ,将二者纵向拼接并重新线性映射回原始维度大小,得到高光谱金银花中药材的空‑谱融合特征 ; 、 和 维度大小都为 。
[0134] 步骤S35、利用高光谱金银花中药材鉴别模块的全局平均池化层计算空‑谱融合特征 的空间维度平均值,得到特征分类向量 ,其维度大小为 ,在本实施例中即为32;
[0135] 步骤S36、利用高光谱金银花中药材鉴别模块的线性分类层将特征分类向量映射到 维,是高光谱金银花中药材数据集中除背景外所有像素的类别数;将 维中最大值的类别作为该高光谱三维数据块的分类预测标签;
[0136] 步骤S37、采用随机梯度下降法对空谱双通道压缩注意力网络模型中的参数进行优化训练,其中初始学习率设置为0.001,动量设置为0.9,权重衰减设置为0.0001,网络训练迭代次数设置为100个epoch,Batch Size设置为128;得到参数优化后的空谱双通道压缩注意力网络模型。
[0137] 步骤S4、利用第二金银花中药材高光谱数据集对训练后的空谱双通道压缩注意力网络模型进行验证。
[0138] 在本实施例中,所述步骤S4具体包含如下步骤:
[0139] 步骤S41、对第二金银花中药材高光谱数据集按照步骤S14和步骤S15的步骤,构建另一个金银花中药材高光谱图像三维数据块集 ,并对金银花中药材高光谱图像三维数据块集 进行数据增强预处理,得到数据增强预处理后的金银花中药材高光谱图像三维数据块集 ;
[0140] 步骤S42、利用数据增强预处理后的金银花中药材高光谱图像三维数据块集 对参数优化后的空谱双通道压缩注意力网络模型进行泛化性验证。
[0141] 本实施例中实验结果如图4和表1所示:
[0142] 表1:
[0143]
[0144] 从上述实验结果可见,本实施例通过分组融合模块,将金银花中药材高光谱数据的相邻波段映射至低维空间,提取高度相关波段间的有用特征,降低中药材高光谱数据的波段冗余度,减少网络训练与推理压力。并通过双通道压缩注意力网络,减少单头注意力计算时的参数量,降低网络模型训练和推理过程中的运算和内存资源的消耗,提高金银花中药材的鉴别速度。同时利用空‑谱压缩融合注意力模块充分融合金银花中药材高光谱数据集中的空间特征和光谱特征,增大网络模型的泛化性和鲁棒性,提升金银花中药材的鉴别精度。
[0145] 以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。并且,本发明各个实施方式之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。