基于多级语义表征和语义计算的信号语义识别方法转让专利
申请号 : CN202011476389.9
文献号 : CN112528873B
文献日 : 2022-03-22
发明人 : 石光明 , 杨旻曦 , 高大华 , 谢雪梅
申请人 : 西安电子科技大学
摘要 :
权利要求 :
1.一种基于多级语义表征和语义计算的信号语义识别方法,其特征在于,包括如下:(1)将从信号语义识别数据集中随机选取的M个带有标签的信号组成训练样本集Sa,剩余信号组成测试样本集Sb,其中M≥100;
(2)构建信号语义识别网络H:(l) (l)
(2a)建立由Nl个顺次连接的语义表征子网络Wr 组成的语义表征网络Wr={Wr },用于(l)
表征信号中的语义特征,其中,Nl≥2,l为语义表征子网络Wr 的序号,1≤l≤Nl;其中语义(l) (l)
表征子网络Wr ,包括Np个并联的语义表征模块Rj ,1≤j≤Np,Np≥2,每个语义表征模块Rj(l) (l) (l) (l)包括级联的语义变换参数生成器Gj 和语义变换器Tj ,Gj 包括多个层叠的卷积层和(l) (l) (l) (l)一个全局均值池化层,Tj 用于根据Gj 生成的语义变换参数θi,j 对语义基元pj 进行语(l) (l)
义变换,θi,j 为Gj 根据第i个输入样本生成的语义变换参数,1≤i≤M;
(2b)建立由多个层叠的图卷积层和一个全局图平均池化层组成的语义计算网络Wc,用于根据语义特征计算信号的语义类别;
(2c)将语义表征网络Wr与语义计算网络Wc进行级联,组成信号语义识别网络H;
(3)对信号语义识别网络H进行训练:(3a)将训练样本集Sa输入到语义表征网络Wr中,并令l=1,将Sa作为语义表征子网络Wr(l) (l)
的输入训练样本集Sa ,对其进行如下迭代训练:(l)
(3a1)设置语义表征子网络Wr 的损失函数为Lr=Lr1+λLr2,最大迭代次数T≥10,并令初始迭代次数t=0,其中,Lr1为语义表征独立性损失函数,Lr2为语义表征强度损失函数,λ为Lf1和Lf2的平衡权重,λ>0;
(l) (l) (l) (l) (l)(3a2)将Sa 输入到语义表征子网络Wr 中,得到Wr 的输出O ,根据O 计算Lr的值,(l)
并采用梯度下降法,对Wr 进行更新;
(l)
(3a3)判断t≥T是否成立,若是,得到训练好的语义表征子网络Wr ′,执行(3a4),否则,令t=t+1,返回(3a2);
(3a4)判断l≥Nl是否成立,若是,得到训练好的表征网络Wr′及其输出O′,执行(3b),否(l) (l‑1)
则,令l=l+1,并令Sa 为O ′,返回(3a1);
(3b)对语义计算网络Wc进行如下迭代训练:(3b1)设置语义计算网络Wc的损失函数为交叉熵损失函数Lc,最大迭代次数Q≥100,并令初始迭代次数q=0;
(3b2)将训练好的表征网络Wr′的输出O′输入到语义计算网络Wc中,得到Wc的输出Oc,并根据Oc计算Lc的值,采用梯度下降法,对Wc进行更新;
(3b3)判断q≥Q是否成立,若是,得到训练好的语义计算子网络Wc′,否则,令q=q+1,返回(3b2);
(3c)将训练好的表征网络Wr′和训练好的语义计算子网络Wc′进行级联,组成训练好的信号语义识别网络H′;
(4)将测试样本集Sb输入到训练好的信号语义识别网络H′中,得到信号语义识别结果。
(l)
2.根据权利要求1所述的方法,其特征在于,语义变换参数生成器Gj 结构依次为:第一卷积层→第二卷积层→第三卷积层→全局平均池化层。
(l) (l)
3.根据权利要求1所述的方法,其特征在于,语义变换器Tj 根据Gj 生成的语义变换(l) (l)
参数θi,j 对语义基元pj 进行语义变换,通过如下公式进行:(l)
其中, 为语义基元pj 中第n个元素的维度为Nm的坐标向量,an(m)为 的第m维坐标,1(l)
≤m≤Nm, 为变换后语义基元pi,j ′中第n个元素的维度为Nm的坐标向量,bn(m)为 的第m(l) (l)
维坐标, 为语义基元pj 中坐标为 的元素, 为变换后语义基元pi,j ′中坐标为 的元素,
4.根据权利要求1所述的方法,其特征在于,(2b)中的语义计算网络Wc,其结构为:第一图卷积层→第二图卷积层→全局图平均池化层。
5.根据权利要求1所述的方法,其特征在于,(3a1)中的语义表征独立性损失函数Lr1和语义表征强度损失函数Lr2,其分别表示如下:(l) (l) (l) (l) (l) (l) (l)其中,Ga 和Gb 分别为Ra 和Rb 中的语义变换参数生成器,Ta 和Tb 分别为Ra 和(l) (l) (l) (l) (l) (l) (l)Rb 中的语义变换器,pa 和pb 分别为Ra 和Rb 对应的语义基元,Ra 和Rb 分别为语(l) (l)
义表征子网络Wr 中的第a个和第b个语义表征模块,1≤a≤Np,1≤b≤Np,a≠b,Np≥2,si(l) (l) (l) (l)为语义表征子网络Wr 的输入训练样本集Sa 中的第i个训练样本,1≤i≤M,Ga (si )为(l) (l) (l) (l) (l) (l)Ga 对si 提取特征得到的语义变换参数,Gb (si )为Gb 对si 提取特征得到的语义变(l) (l) (l) (l)换参数,vi,a 为第i个信号si 与第a个变换后语义基元pa ′卷积得到的特征图,vi,b 为(l) (l) (l) (l)第i个信号si 与第b个变换后语义基元pb ′卷积得到的特征图,vi,a (n)和vi,b (n)分别(l) (l) (l) (l)为vi,a 和vi,b 的第n个元素,1≤n≤Nv,Nv为vi,a 或vi,b 中元素的总个数。
6.根据权利要求1所述的方法,其特征在于,(3b1)中的交叉熵损失函数Lc,表示如下:其中,yi为训练样本集Sa中第i个训练样本的标签,为语义计算网络Wc对yi的预测,1≤i≤M。
说明书 :
基于多级语义表征和语义计算的信号语义识别方法
技术领域
背景技术
得到的特征的集合表示,然后通过计算样本信号和特征集合的整体相似程度判断语义类
别。随机森林则首先由多个决策树独立预测出样本信号的语义类别,然后对所有预测类别
进行投票,票数最高的类别被选举为最终的预测结果。然而基于词袋特征匹配和随机森林
方法都需要使用者根据目标任务领域的专业知识设计大量手工特征,耗时耗力且实施难度
大。另外,由于手工特征在设计好之后便被固定,只能在特定场景下使用,导致其泛化性能
很差。
带有语义标注的数据集,然后设计模型和损失函数,接着在数据集上对模型进行端到端的
训练,最后将样本信号输入训练好的模型,得到识别结果。然而人工智能技术要在更多的领
域为人们提供更好的服务,所需的不仅仅是更高的准确性,例如:在人机交互、辅助医学诊
断、自动驾驶中,对人工智能模型的可解释性有很高的要求。目前的深度学习方法都是使用
深度神经网络作为模型,而神经网络的参数量巨大且缺乏理论或直观解释,并存在对抗攻
击脆弱性问题,导致其学习到的特征是人难以理解的。另外,由于目前的深度学习方法普遍
采用端到端训练方法,在面对不同的问题时,需要构建不同的数据集,并花费大量时间和算
力对模型进行迭代训练,导致其泛化能力不佳。申请公布号为CN110059741A,名称为《基于
语义胶囊融合网络的图像识别方法》的专利申请,在2019年7月25日,公开了一种融合语义
胶囊网络和卷积神经网络对图像信号进行语义识别的方法。该方法首先通过手工设计的语
义基元提取具有特定语义含义的图像特征,然后通过多个并联的语义胶囊进一步提取语义
特征,最后根据由语义特征和传统的卷积神经网络提取到的图像特征直接相加得到的判别
特征识别图像,该方法虽然提升了网络的可解释性和泛化能力,但却存在以下两方面不足
之处:
之间的特征不独立,因而很难迁移到其他问题,导致该方法的泛化能力不足。
发明内容
},用于表征信号中的语义特征,其中,Nl≥2,l为语义表征子网络Wr 的序号,1≤l≤Nl;
络Wr 的输入训练样本集Sa ,对其进行如下迭代训练:
数,λ为Lf1和Lf2的平衡权重,λ>0;
的值,并采用梯度下降法,对Wr 进行更新;
(3b),否则,令l=l+1,并令Sa 为O ′,返回(3a1);
征进行语义识别,避免了现有技术中在提取判别特征时将可解释的语义特征和可解释性很
差的神经网络提取的信号特征直接相加造成可解释性下降的缺陷,有效地提高了信号语义
识别方法的可解释性;
所构建的多级语义表征网络和计算网络进行依次训练,避免了现有技术中使用固定不变的
语义基元以及端到端的训练方法造成的泛化能力不足的缺陷,有效地提高了信号语义识别
的泛化能力。
附图说明
具体实施方式
MNIST手写数字识别数据集作为信号语义识别数据集。该MNIST手写数字识别数据集包含
70000个大小为28×28的单通道手写数字图像样本和70000个长度为10的独热标签向量;
参数对语义基元pj 进行变换,使得语义基元能够根据输入样本做出动态调整,有效地提
升了信号语义识别的泛化性能;
换处理语义基元使其匹配不同大小和角度的弧线段,提升信号语义识别的泛化能力,即该
(l) (l) (l) (l)
语义变换器Tj 根据Gj 生成的语义变换参数θi,j 对语义基元pj ,通过如下公式进行语
义变换:
坐标,1≤m≤Nm, 为变换后语义基元pi,j ′中第n个元素的维度为Nm的坐标向量,bn(m)为
(l)
的第m维坐标, 为语义基元pj 中坐标为 的元素, 为变换后语义基元
(l) (l) (l)
pi,j ′中坐标为 的元素, θi,j 为Gj 根据第i个输入样本生成的语义变换参
数,1≤i≤M,在本实例中,Nm=2;
级联,组成语义表征模块Rj ,其中j为语义表征模块Rj 的序号,1≤j≤Np,在本实例中,Np
=4;
的语义特征表征为Np个独立的语义表征模块,这种语义表征模块Rj 由于符合人类在知识
认知过程中将知识表示为多个知识点的组合的习惯,不仅能方便人类理解其中表征的语义
信息,而且能方便将独立的语义表征模块重新组合进而显著提升泛化能力;
的语义表征为多个层级的结构,其中,l为语义表征子网络Wr 的序号,1≤l≤Nl。在本实例
中,Nl=2,这种语义表征网络Wr由于符合人类在知识认知过程中将知识分为多个层级表示
的习惯,因而不仅便于人类理解其中表征的语义信息,而且便于将训练好的网络结构迁移
到新的问题,提升信号语义识别的可解释性和泛化能力。
参数矩阵大小分别为4×8和8×10。
Sa ,否则,将上一层训练好的语义表征子网络Wr ′的输出O ′作为语义表征子网络Wr
(l) (l)
的输入训练集Sa ;
中,λ=1;
数和均值函数分别作为语义表征独立性损失函数Lr1和语义表征强度损失函数Lr2,其分别
表示如下:
Ra 和Rb 中的语义变换器,pa 和pb 分别为Ra 和Rb 对应的语义基元,Ra 和Rb 分别
(l) (l)
为语义表征子网络Wr 中的第a个和第b个语义表征模块,1≤a≤Np,1≤b≤Np,a≠b,si 为
(l) (l)
语义表征子网络Wr 的输入训练样本集Sa 中的第i个训练样本,1≤i≤M,
提取特征得到的语义变换参数,vi,a 为第i个信号si 与第a个变换后语义基元pa ′卷积
(l) (l) (l)
得到的特征图,vi,b 为第i个信号si 与第b个变换后语义基元pb ′卷积得到的特征图,
(l) (l) (l) (l) (l) (l)
vi,a (n)和vi,b (n)分别为vi,a 和vi,b 的第n个元素,1≤n≤Nv,Nv为vi,a 或vi,b 中元
素的总个数, 为以 为语义变换参
(l)
数对pa 进行语义变换得到的变换后语义基元, 为以
(l)
为语义变换参数对pb 进行语义变换得到的变换后语义基元;
波核函数等作为语义基元;
(1)
Wr 中的语义基元
数的零阶到三阶导数,分别记录在大小为11×11,通道数为4的矩阵中,作为第二级语义表
(2)
征子网络Wr 中的语义基元
并将其变形为矩阵,得到语义变换参数θi,j 。在本实例中,语义变换参数θi,j 大小为2×
2;
语义基元pj 进行语义变换,得到变换后语义基元pi,j ′;
同的vi,j 沿着通道维进行拼接,得到Wr 的输出
为Wr′的输出O′,执行3.4),否则,令l=l+1,返回3.2)。
的情况下,进行形式和细节上的各种修改和改变,但是这些基于本发明思想的修正和改变
仍在本发明的权利要求保护范围之内。