基于忆阻细胞神经网络的电子鼻气体分类方法转让专利
申请号 : CN202011239242.8
文献号 : CN112433028B
文献日 : 2021-08-17
发明人 : 胡小方 , 史文强 , 贾鹏飞 , 周跃
申请人 : 西南大学
摘要 :
权利要求 :
1.基于忆阻细胞神经网络的电子鼻气体分类方法,其特征在于,包括步骤:S1.在硬件层面上构建嗅觉传感器阵列和基于忆阻细胞神经网络的特征提取模块,在软件层面上构建分类器;所述忆阻细胞神经网络的模板表示为:其中,在反馈模板A和控制模板B中,参数a,x1,x2,x3,b≥0分别代表能够自适应变化的所述忆阻细胞神经网络中神经元的权值,其约束条件为:2(x2+x3)+4x1≤b,b≤8,I代表偏置电流;
S2.基于所述嗅觉传感器阵列制作离散型数据集;
S3.采用所述离散型数据集对所述忆阻细胞神经网络和所述分类器进行训练,训练过程中采用结合增量式量化的启发式权值优化算法进行优化,在训练精度收敛的情况下,得到所述忆阻细胞神经网络的最优模板参数和所述分类器的最终结构以用于实际应用。
2.如权利要求1所述的基于忆阻细胞神经网络的电子鼻气体分类方法,其特征在于:在所述步骤S1中,所述忆阻细胞神经网络由M行×N列个局部互联的神经元组成,每一个神经2
元在预定义的邻域范围r内与邻域细胞直接互联,其中邻域尺寸为:(2r+1) 。
3.如权利要求2所述的基于忆阻细胞神经网络的电子鼻气体分类方法,其特征在于,每个所述神经元的电路结构包括电容、状态忆阻器、两个压控电流源,所述压控电流源的权值设置以及加权操作通过基于忆阻桥电路的人工突触结构实现,分别表示邻域细胞输入、输出对当前细胞造成的影响。
4.如权利要求3所述的基于忆阻细胞神经网络的电子鼻气体分类方法,其特征在于,所述步骤S3具体包括步骤:
S31.初始化所述分类器,与此同时,将所述忆阻细胞神经网络的模板中的参数切分为差分进化算法的空间搜索矩阵;
S32.设定所述差分进化算法的超参数;
S33.初始化所述空间搜索矩阵;
S34.开始迭代,在每一次迭代过程中,通过评估适应度函数来依次执行变异、交叉、选择操作,并使用当前模板特征提取的结果和分类器训练的结果参与到分类器的精度评估中以获得新的适应度,当适应度函数趋于收敛且达到结束条件以后,输出全局最优解,经过矩阵重构,将全局最优解转化为其对应的自适应特征提取模板;
S35.引入神经网络的量化策略对优化后的权值完成符合忆阻器精度需求的量化。
5.如权利要求4所述的基于忆阻细胞神经网络的电子鼻气体分类方法,其特征在于,所述步骤S35具体为:
在模板权值的精度限制范围内,将优化后的模板权值量化为整型数据,其量化公式为:其中,X和 分别代表由差分优化算法生成的模板权值和量化后的模板权值,代表对模板权值X向上取整后再取绝对值,sgn(X)代表阶跃函数,模板权值X的取a b b a
值范围在[2 ,2]和[‑2 ,‑2]之间,b和a分别代表量化的上界和下界,b‑a为量化位宽;
模板权值损失度的评估公式为: 基于贪心策略,在每一轮量化完毕后评估剩余权值的量化损失,并按照量化损失的升序进行量化优先级由高到低的排序,优先级高的权值参与本轮的量化流程,经过权值共享后,剩余的权值被纳入再训练的过程,用以补偿由量化造成的精度损失,经过多次迭代后,所有的网络权值均被量化完毕,从而得到最终的忆阻细胞神经网络低精度模型。
6.如权利要求 1~5任意一项所述的基于忆阻细胞神经网络的电子鼻气体分类方法,其特征在于,所述步骤S2具体包括步骤:S21.基于不同类型的嗅觉传感器对不同化学元素的气味敏感程度不同,将所述嗅觉传感器阵列中的V个不同的嗅觉传感器视为V个独立属性,将某一时刻的V个所述嗅觉传感器所获取的电压值视为一个样本,即一个样本拥有V个属性,分别对应当前时刻下V个所述嗅觉传感器检测到的电压特征值;
S22.分别对每一个阶段的电压曲线均匀切分W次,获得W个离散的数据样本,即数据集尺寸为W×V;
S23.对P组实验的Q个阶段执行数据集重构,获得尺寸为P×Q×W×V的离散型数据集。
说明书 :
基于忆阻细胞神经网络的电子鼻气体分类方法
技术领域
背景技术
边缘计算智能技术的应用典范之一,得到了广泛的发展和研究。它能够取代传统依靠经验
和个人嗅觉的评估方法,消除人类在判断事务上的主观性心理因素,从而能够根据事物散
发的气味完成对事物的客观性评估。因此,自诞生以来,电子鼻技术就被广泛地应用于各类
领域,如评估伤口感染情况、食品工程、环境控制,甚至是危险气体的浓度探测等。
谱法GC、气象色谱比气法GC‑O、质谱法MS等)因为其过于昂贵的价格、过于复杂的操作手段、
过于高的专业素养需求和过于严苛的预处理程序使得其难以满足日常生活的需求领域,因
为这一类气体分析技术虽然具有极高的数据处理精度,但是远远无法达到人工智能端侧或
边缘计算的应用强度,只能作为完备的研究平台被应用于有限的科研领域。
发明内容
算,使得其能够满足日常生活甚至是工业级强度的应用和精度需求。
下,得到所述忆阻细胞神经网络的最优模板参数和所述分类器的最终结构以用于实际应
用。
2
(2r+1) 。
表示邻域细胞输入、输出对当前细胞造成的影响。
b,b≤8,I代表偏置电流。
评估中以获得新的适应度,当适应度函数趋于收敛且达到结束条件以后,输出全局最优解,
经过矩阵重构,将全局最优解转化为其对应的自适应特征提取模板;
代表对模板权值X向上取整后再取绝对值,模板权值X的取值范围在[2 ,2 ]和[‑
b a
2 ,‑2]之间,b和a分别代表量化的上界和下界,b‑a为量化位宽;
优先级高的权值参与本轮的量化流程,经过权值共享后,剩余的权值被纳入再训练的过程,
用以补偿由量化造成的精度损失,经过多次迭代后,所有的网络权值均被量化完毕,从而得
到最终的忆阻细胞神经网络低精度模型。
感器所获取的电压值视为一个样本,即一个样本拥有V个属性,分别对应当前时刻下V个所
述嗅觉传感器检测到的电压特征值;
神经网络(M‑CeNN)来提取数据特征,并在此基础上,采用结合增量式量化(INQ)方案的启发
式优化算法来降低硬件层面计算和存储的资源损耗并尽可能提升软件层面的分类器精度
和实时性,从而达到在一定程度上提升M‑CeNN模板参数的硬件友好性并保证模板精度的效
果,处理精度高且应用门槛低,可应用于边缘计算,能够满足日常生活甚至是工业级强度的
应用和精度需求。
附图说明
具体实施方式
范围的限制,因为在不脱离本发明精神和范围基础上,可以对本发明进行许多改变。
更易于在硬件层面上实现,所以,可以被广泛地应用于信号处理和模式识别等领域。但传统
的模板参数大多基于公式推导,模板固定且使用了大量的放大器和乘法器,在处理复杂信
号时无法根据需要自适应改变权值,难以得到较好的结果;另一方面,因为传统的CMOS工艺
达到了发展的瓶颈,无法达到实现细胞神经网络VLSI(Very Large Scale Integration,超
大规模集成)的条件。因此,忆阻器,作为一种新兴的第四类电气元件自被发现以来就受到
了广泛关注和研究。基于此,广大学者研究设计了多种忆阻突触结构(如忆阻交叉阵列和忆
阻桥电路),这一类结构可以作为人工突触结构的候选来代替传统的乘法器和放大器,从而
被广泛地应用在大规模神经态计算系统的人工智能领域(尤其是在)端侧甚至是边缘计算
环节。
方法有取最大值、最小值法或积分法(比如对气体浓度的数据集进行特征提取时,最大值代
表气体浓度的终态,最小值代表气体浓度的初态,而积分法则用于代表客观整体的气体浓
度状态)等,很明显的是这一类方法往往过于重视数据的整体或初态/终态,容易损失很多
有价值的特征信息,对数据分类有严重的局限性,泛化能力很弱。
主成分分析PCA、奇异值分解SVD等算法)受到了最为广泛的应用,但是这类算法只适用于一
定的场景,作为特征提取环节的一个补充能够发挥有效的作用,如,PCA和SVD能够缓解维度
灾难,并在压缩数据的同时让信息损失最小化,但是当数据集不服从高斯分布时,往往无法
得到最优的结果。与此同时,随着计算机视觉和深度学习的发展,卷积滤波被广泛地应用于
图特征提取,这种卷积滤波通过构造卷积层并结合残差结构或正则化的方法,能够有效且
精确地提取数据特征并缓解维度灾难和梯度爆炸/消失等问题。
用和精度需求。
忆阻桥电路的CeNN组成,分别用于数据收集和M‑CeNN特征提取;软件算法则由多种分类器
算法构成,用于完成分类器的训练和数据分类。另外,在此基础之上,本实施例将增量式量
化与启发式优化算法相结合用于优化特征提取参数和分类精度,从而实现在不断提升分类
精度、补偿量化损失的同时,优化特征提取方案硬件友好度和实时性的效果。本发明主要的
贡献可以总结为如下几点:
量化的硬件集成和特征的自适应提取;
训练优化;
胞神经网络的最优模板参数和分类器的最终结构以用于实际应用。
线。本实施例以橙汁为实验样本进行了气味分类实验的模拟仿真,用以判别等量橙汁静置
于开放环境中的时长,由现有技术可知,橙汁中的化学元素可归纳为表1中的数据:
联构建传感器阵列对目标气味进行检测和数据收集,每隔15天(360小时)收集一次(收集时
长为10分钟),一共收集四次。在进行实验数据收集前,需要对传感器阵列执行时长为2小时
的预热流程,预热完毕后,开始正式执行实验,执行实验的步骤为:
前3分钟内,电压曲线维持在基线附近,从3分钟到8分钟内,所有传感器的电压曲线会呈缓
慢上升的态势,直至上升至最大值,8分钟到10分钟内,电压曲线下降,复位至基线附近。但
是,考虑到电压曲线无法被分类器处理,所以在训练分类器之前,需要设计数据集以及执行
特征提取对电压曲线进行预处理,将连续的数据曲线转化为离散的数据特征矩阵。其中,如
图3所示,数据集的制作步骤包括:
嗅觉传感器所获取的电压值视为一个样本,即一个样本拥有V个属性,分别对应当前时刻下
V个嗅觉传感器检测到的电压特征值;
能够较好地解决这些难题,忆阻桥电路能够充分发挥CeNN局部互联、高速并行和可编程性
的同时,还能够充分利用忆阻器纳米级、电阻可变和非易失性的特性实现CeNN的大规模硬
件集成和模板的自适应变化,突破传统CMOS工艺的瓶颈限制。
仅在预定义的邻域范围(r)内与邻域细胞直接互联,其中邻域尺寸为:(2r+1) 。
值设置以及加权操作通过忆阻桥电路实现,分别表示邻域细胞输入、输出对当前细胞造成
的影响。
响,而bij,kl则代表控制模板B中的元素,用于控制邻域细胞输入对中心细胞造成的影响,ykl
代表输出函数的计算结果,受到反馈模板A的约束,ukl代表当前的输入状态,受控制模板B的
约束。
(KCL)可知,当前神经元的输入输出方程可由如下公式表示:
yij(t)代表神经元的输出,m(xij(t))代表当前流经忆阻器的电流状态。m(xij(t))可以表示
为:
以使用基于忆阻桥电路(如图5所示)的人工突触结构实现信号模拟过程。
态的控制),Vin代表电流的输入值。
到当前中心神经元C(i,j)的状态节点中(如图6中所示的忆阻器Mem)。
I01‑,...,I0k‑,如图5)的权值信号会通过图6中左下端的输入端口输入到当前的神经元电路
结构中;接下来,通过图6中左上端的差分电路将来自下部的偏置电流和突触电流聚集并与
输出端口连接;最后,通过图6中右上方的积分电路,将总电流反馈入忆阻器中,k个桥电路
的总输入电流可以表示为:
触的输入由k=18化简为k=10,即,模板为:
点作为特征提取的对象,重点提取在相同时刻下不同传感器的数据特征(即垂直方向的数
据特征),因此,为了将传感器的响应曲线与M‑CeNN模板的输入格式相匹配,模板可以重写
为:
施例在模板的训练过程中忽略水平方向上相互独立的数据影响(某一时刻下不同传感器的
数据特征),提取数据集在垂直方向的数据特征(某一传感器在不同时刻提取的数据特征)。
与此同时,为了尽可能提升分类器的分类精度,本实施例使用优化算法对M‑CeNN模板与分
类器的训练过程进行优化,以期在训练精度收敛的情况下,获取最优的模板参数和分类器
结构。
求解多维空间中的整体最优解。差分进化算法能够根据随机生成的初始种群进行迭代,并
在每一轮迭代过程中以种群中每个个体的适应度值为选择标准完成变异、交叉和选择三个
步骤,当满足终止条件且适应度收敛以后,就可以获得全局最优的结果,DE算法有着比GA算
法更优秀的最优值逼近效果,能够保证M‑CeNN模板的精度。
(9)所示的模板约束条件,模板可以被重写为:
参与优化算法迭代。
的适应度。当适应度函数趋于收敛且达到结束条件以后,全局最优解就会被输出,经过矩阵
重构,便会将全局最优解转化为其对应的自适应特征提取模板;
源的占用和能源损耗,另外,由于当代忆阻器技术的精度具有一定的限制条件,难以存储精
度过高的模板权值。为了降低优化模板的精度,节省计算复杂度并基于欧姆定理进一步降
低卷积操作的运算难度,需要引入神经网络的量化策略对优化后的权值完成符合忆阻器精
度需求的量化来提升优化算法的硬件友好度。
级,然后在按照量化优先级决定的量化迭代中,以再训练作为补偿策略来不断地补偿由量
化造成的权值精度损失,从而在尽可能保证量化损失的情况下将原本的全精度M‑CeNN模型
量化为一个稳定的低精度模型(如图8),节省了M‑CeNN计算复杂度并满足忆阻器的存储精
度条件。
代表对权值向上取整后再取绝对值,sgn(X)为阶跃函数。模板权值的取值范围在[2 ,2]和
b a
[‑2 ,‑2]之间。另外,b和a由CeNN状态方程的边界条件决定(如式(9)中模板权值的约束条
件),分别代表量化的上界和下界,b‑a也被称之为量化位宽。
优先级高的权值参与本轮的量化流程,经过权值共享后,剩余的权值被纳入再训练的过程,
用以补偿由量化造成的精度损失,经过多次迭代后,所有的网络权值均被量化完毕,从而得
到最终的M‑CeNN低精度模型。
络电路结构,该模型能够有效地突破传统CMOS工艺的硬件瓶颈,实现具有大规模的硬件加
速的自适应性CeNN特征提取功能。
后,本实施例以特征提取和分类结果的均值作为评价基准,将本实施例方法与其他的特征
提取方法进行对比。
Forest和XGBoost,并结合了增量式量化的DE算法来优化M‑CeNN和分类器参数。在本部分的
实验中,每种分类器的方法都被重复执行了10次,每次的迭代总数为300次,其实验结果如
表3所示。
类精度,即该方法能够最佳地反映传感器阵列的动态特性和最佳性能。
提取方法的对比,如同前文,常用的特征提取方法有最大取值法(Max)、PCA、SVD、线性判别
分析(LDA)等。第二部分将会分别使用了这四种特征提取方法与本实施例方法进行对比,其
对比结果如表4。可以看出,与其他算法相比,本实施例结合了INQ的启发式优化M‑CeNN特征
提取方法能够更好地提取数据特征。
实施例方法提出的训练模型在尽可能提升分类精度的同时引入了神经网络的INQ来量化M‑
CeNN模板权值,从而能够以降低软件算法的计算复杂度的方式来提升算法的硬件友好性、
实时性和稳定性。另外应当注意的是,本实施例方法是一种软硬件结合的模式,能够通过硬
件加速分担软件算法的部分资源节约了算力和存储空间,更加适用于端侧智能、边缘计算
等领域。
化算法和强分类器构成。首先,传感器阵列被用于收集原始的数据曲线,然后,由M‑CeNN实
现针对数据曲线的特征提取,并将结果提取结果转化为离散的特征数据集。此外,为了使M‑
CeNN实现特征提取的自适应性,本实施例在算法部分提出了一种结合INQ的启发式优化算
法,该算法能够在分类器训练的过程中以分类精度的提升为目的并根据数据集特征自适应
的调整M‑CeNN模板的神经元参数,然后在忆阻器的精度限制条件下,由神经网络的INQ完成
模板参数的增量式量化,该量化方案能够以再训练作为补偿机制,补偿由量化造成的M‑
CeNN模板权值的精度损失,从而在尽可能保证分类精度的前提下,提升模板权值算法的硬
件友好性,实时性和稳定性,满足忆阻器对M‑CeNN模板权值的精度限制条件。最后,本实施
例执行了一系列的实验,通过对比不同分类器的分类精度和特征提取方法证明了本实施例
方法在电子鼻系统中出色的分类精度。
均应为等效的置换方式,都包含在本发明的保护范围之内。