一种基于剪枝残差网络的调制信号识别方法

摘要

本发明属于调制信号识别技术领域，具体涉及一种基于剪枝残差网络的调制信号识别方法。本发明包括获取输入调制信号,输入至残差网络训练,获取已完成训练的深度残差卷积层网络参数,提取调制识别残差模型中,所有归一化层的Gamma参数。对所有Gamma参数进行升序排列。设定全局的卷积核通道剪枝比例。根据剪枝比例,在升序排列的Gamma参数中确定剪枝的全局阈值；在所有归一化层中,删除小于全局阈值的Gamma参数及其上一层对应的卷积核通道。最后使用少量调制识别样本对剪枝的模型进行训练或使用全部调制信号训练样本从头训练。本发明相比之前的调制识别模型进一步减少了网络参数,压缩模型的大小,并大幅度减少了模型的运算量及推理时间。

权利要求

1.一种基于剪枝残差网络的调制信号识别方法，其特征在于，包括以下步骤：

S1、对调制信号样本进行预处理,得到均衡后的信号样本并输入深度残差网络进行训练，获得训练好的深度残差网络；

S2、基于训练好的深度残差网络，在归一化层中，对模型输入的激活值zin做归一化得到之后进行线性变化，输出的激活值为zout：其中，μB为输入激活值的均值， 为方差，ε为常数项，γ为线性变换训练权重Gamma，β为偏置项，获取深度残差网络中所有归一化层的训练参数γ，将训练参数按升序排列；

S3、设定全局剪枝比例c，根据全局的剪枝比例和步骤S2的结果确定阈值 在所有归一化层中，删除小于阈值 的训练参数γ及其上一层对应的卷积核通道，获得剔除卷积层后的残差网络，具体为：在升序排列的训练参数向量中,找到占向量数量比例为c的Gamma参数,即比该数值小的参数数量占Gamma参数总数量的比例为c,并将该Gamma参数设定为全局的剪枝阈值遍历模型,对所有归一化层的Gamma通道,满足则减除参数 及其对应的卷积核通道 其中 为第l层卷积层之后的归一化层的第c通道Gamma参数，对于每一个残差块的第一个归一化层中小于阈值的Gamma参数 减除其前一个残差块的最后一个卷积层中对应的卷积核通道S4、基于剔除卷积层后的残差网络，分别计算深度残差网络每个阶段的残差块中最后的卷积层通道均值，分别将深度残差网络每个阶段的残差块中最后的卷积层通道数量剪枝至该阶段的均值，获得剪枝残差网络；

S5、采用剪枝残差网络对调制信号进行识别，对剪枝残差网络的平均分类准确率和模型的可训练参数总量与设定标准进行比较，若未达到设定标准，更新全局剪枝比例c后回到步骤S2，直至达到设定标准为止。

说明书

一种基于剪枝残差网络的调制信号识别方法

技术领域

[0001] 本发明属于调制信号识别技术领域，具体涉及一种基于剪枝残差网络的调制信号识别方 法。

背景技术

[0002] 信号的调制识别是频谱监测过程中的重要组成部分，在认知无线电频谱感知、战场信号 截获等军民应用领域发挥着重要作用。采用深度神经网络方法相比于传统的人工分析方法判 断信号属性,深层次的特征更容易以参数化的方式描述,效率更高,并且能够识别更多的信号 类型。

[0003] 深度神经网络(如深度残差网络)相对于传统算法，显著提高了调制识别的准确性.随着网 络层数越来越多,模型越来越复杂,尽管深度学习方法表现优秀,但大且深的深度网络模型运 算量大,即使借助GPU加速,大规模模型参数也要占用大量的内存空间,在实际应用中依然受 到时间和空间上的限制,难以满足实时性的需求.深度网络模型的压缩能够减少模型的参数, 并且能够减少模型的运行时间,从而将调制信号识别的时间控制在合理的运算范围之内,降低 功耗,满足实际应用的要求。

发明内容

[0004] 本发明的目的是解决在不影响精度的前提下，对残差网络调制识别模型,压缩模型的参数 量和减少计算复杂度的核心问题。以往的方法在裁剪调制识别模型时，为保证通道匹配,完全 保留了部分卷积层卷积核。本方法的核心在于使用通道自适应的方式，在保证通道匹配的同 时,对所有的卷积核进行剪枝,以期达到更优的剪枝后网络结构。

[0005] 为了实现上述提出的方法，本发明采用的技术方案如下所述：

[0006] 一种基于剪枝残差网络的调制信号识别方法，其特征在于，包括以下步骤：

[0007] S1、对调制信号样本进行预处理,得到均衡后的信号样本并输入深度残差网络进行训练， 获得训练好的深度残差网络；

[0008] S2、基于训练好的深度残差网络，在归一化层中，对模型输入的激活值zin做归一化得到  之后进行线性变化，输出的激活值为zout：

[0009]

[0010] 其中，μB为输入激活值的均值， 为方差，ε为极小常数项，γ为线性变换训练权重 Gamma，β为偏置项。获取深度残差网络中所有归一化层的训练参数Gamma(γ)，将训练 参数按升序排列；

[0011] S3、设定全局剪枝比例c，根据全局的剪枝比例和步骤S2的结果确定阈值 在所有归 一化层中，删除小于阈值 的训练参数γ及其上一层对应的卷积核通道，获得剔除卷积层后的 残差网络；

[0012] S4、基于剔除卷积层后的残差网络，分别计算深度残差网络每个阶段的残差块中最后的 卷积层通道均值，分别将深度残差网络每个阶段的残差块中最后的卷积层通道数量剪枝至该 阶段的均值，获得剪枝残差网络；

[0013] S5、采用剪枝残差网络对调制信号进行识别，对剪枝残差网络的平均分类准确率和模型 的可训练参数总量与设定标准进行比较，若未达到设定标准，更新全局剪枝比例c后回到步 骤S2，直至达到设定标准为止。

[0014] 本发明的有益效果是：

[0015] 1)本发明基于深度学习对调制信号进行识别，并对深度残差网络进行了改进；

[0016] 2)采用更精准的网络通道重要性评估方式,使用训练参数Gamma作为重要性的评估标准 对调制识别模型进行压缩,比人工经验压缩更为精准；

[0017] 3)通过通道自适应的方式可以在保证通道匹配的前提下,对调制识别模型中所有卷积层 通道进行重要性评估并剪枝,从而得到更为紧凑的模型；

[0018] 4)可动态调整剪枝比例,从而可以将调制识别模型压缩至预期的范围；

[0019] 5)稳定的剪枝结果,重复的实验证明,本方法具有较好的可复现性与稳定性。

附图说明

[0020] 图1为现有技术中一般的调制识别网络模型剪枝流程图

[0021] 图2为归一化层及其对应的调制识别模型卷积层剪枝示意图

[0022] 图3为同一阶段残差块结构的简化示意图；

[0023] 图4为在调制信号数据集上进行多次剪枝的准确率示意图。

具体实施方式

[0024] 下面结合附图说明本发明的具体实施方式：

[0025] 本发明的主要方法为：获取输入调制信号,对调制信号进行预处理得到调制识别样本。将 样本输入至残差网络训练,获取已完成训练的深度残差卷积层网络参数,归一化层训练参数。 提取调制识别残差模型中,所有归一化层的Gamma参数.对所有Gamma参数进行升序排列。设 定全局的卷积核通道剪枝比例。根据剪枝比例,在升序排列的Gamma参数中确定剪枝的全局阈 值；在所有归一化层中,删除小于全局阈值的Gamma参数及其上一层对应的卷积核通道。调制 识别模型的残差部分包含3个阶段,仅每个阶段的第一个残差块直连通道包含卷积层。对于同 一阶段的每个残差块,其最后一个卷积层通道和直连通道卷积层通道数量均减除至该阶段剪 枝后通道数量的均值。最后使用少量调制识别样本对剪枝的模型进行训练或使用全部调制信 号训练样本从头训练。

[0026] 针对调制识别的自适应残差网络通道剪枝方法,该方法的具体步骤如下:

[0027] a)将预处理的调制信号样本输入残差网络并训练得到已训练的残差网络.[0028] 数字信号的常用调制方式包括2ASK,2FSK,4FSK,MSK,BPSK,QPSK,OQPSK,16QAM和64QAM等 8种调制方式,信噪比设置为0dB.每种信号类型数据量大小为10000，样本总量为
80000,将 样本总量的60％作为训练集,20％作为验证集,20％作为测试集.预处理阶段对以上常见的8种类 型复信号样本提取特征,得到长度合适(如2048点),维度相同的复信号样本,并输入至深度残 差网络.

[0029] 网络模型搭建部分使用python语言实现,使用的深度学习框架为Tensorflow,使用 NVIDIATITANX(Pascal)对GPU计算加速,参数设置汇总如表1所示.将8种信号类型的数据集 送入到模型中学习,基于损失函数对卷积神经网络进行训练,以验证集对卷积神经网络的参数 进行修正,将训练完成的模型保存.具体地,损失函数可以采用交叉熵函数.[0030] 表1实验参数设置

[0031] 参数类型 参数值 参数类型 参数值学习率 0.001 训练集 48000
Epochs 200 训练集 16000
Optimizer Adam 验证集 16000
Batch Size 64 激活函数 ReLu

[0032] b)已完成训练的残差网络模型卷积层及其相邻的归一化层Gamma参数共同决定该层不同 通道的重要程度；

[0033] 一般情况下,残差块依次包含归一化层,激活函数,卷积层,和直连通道；在归一化层中,每 个通道均为独立变换,通道之间的信息由下一层的卷积层进行融合；

[0034] 张量 为在第一个归一化层中已经过归一化,而未进行缩放的激活值,l l l其中C , H和W分别表示该激活值的通道数,长度和宽度,则其缩放后的激活值为[0035]

[0036] 其中, 为第c个通道未缩放的激活值, 为第c个通道的Gamma缩放参数, 为归一化 层缩放后第c个通道的激活值(为简单起见,已忽略归一化层与卷积层的偏置项参数β)；

[0037] 随即,激活值Zl通过激活层函数ReLU,得到:

[0038] Zout＝ReLU(Zl)

[0039] 其中Zout为通过激活层之后的激活值,

[0040] 经过下一层卷积层,进行特征融合可以得到下一层激活值:

[0041]

[0042] 其中Cl+1,Hl+1和Wl+1分别表示下一卷积层激活值的通道数,长度和宽度,Weightl+1为该 层的卷积核, 表示卷积运算；

[0043] 第l层卷积核第c个通道参数 和第l层Gamma参数 共同评估该通道的重要性程度. 在该方法中,残差块的第一个BN层Gamma参数向量用于评估前一个残差块中最后一个卷积层 通道重要性程度.

[0044] c)设置全局通道剪枝比例,以确定待剪枝的通道；

[0045] 设置全局通道剪枝比例c(如15％),提取网络中所有归一化层的Gamma参数,组成一维向量 后并进行升序排列,在该向量中,后方数值较大的Gamma参数及其对应的卷积核通道拥有较高 的重要性程度；前方数值较小Gamma参数及卷积核通道为对网络性能不敏感或者冗余的参数.

[0046] 在升序排列的参数向量中,找到占向量数量比例为c的Gamma参数,即比该数值小的参数 数量占Gamma参数总数量的比例为c,并将该Gamma参数设定为全局的剪枝阈值[0047] 遍历模型,对所有归一化层的Gamma通道,满足

[0048]

[0049] 则减除参数 及其对应的卷积核通道 其中 为第l层卷积层之后的归一化层的 第c通道Gamma参数。对于每一个残差块的第一个归一化层中小于阈值的Gamma参数减除 其前一个残差块的最后一个卷积层中对应的卷积核通道

[0050] d)采用通道自适应的方法,计算残差网络每阶段的均值:

[0051] 残差网络包含3个阶段,仅每阶段的第一个残差块,其直连通道包含卷积层,该阶段的其 余残差块的直连通道不包含卷积层；当经过裁剪,存在

[0052] Weightm,i≠Weightm,j,i≠j,i,j＝0,1,…,n

[0053] 其中,残差阶段m＝1,2,3会出现通道数量不匹配的情况,其中n为一个阶段的残差m,0网络所 包含的残差块的数目,Weight 表示m阶段第一个残差块直连通道的卷积核参数,m,i
Weight 为 第i个残差块最后一个卷积核参数.此时,残差块直连通道的激活值Zin和卷积运算的激活值 Zout的维度不相同,不能执行Add运算,如图3所示.采用通道自适应的方法是m,i
提取每阶段所有 残差块最后一个卷积层通道数量cm,i＝channel(Weight ),并计算其通道数的均值并向上取整

[0054]

[0055] e)裁剪通道不匹配的卷积核:

[0056] 根据步骤c)所述,得到3个阶段的卷积核通道均值 将同一阶段第一个残差块的m,0 m,i直连通 道卷积核Weight 和所有残差块的最后一个卷积层卷积核Weight ,i＝1,…,n(如图3虚线标 出的卷积层),其通道数量裁剪至步骤c)中同一阶段所得到的均值[0057] f)在上述通道剪枝完成之后,对网络采用少量调制信号样本进行训练或使用完整的调制 信号训练集从开始训练.训练参数与之前相同。

[0058] 步骤f)之后得到的调制识别网络模型大小如果未达到要求,可以根据网络大小的要求动 态调整全局的剪枝比例c,对网络进行裁剪；可以对网络进行对此迭代剪枝,直至模型大小达 到要求。

[0059] g)对调制识别模型在测试集上的准确率进行分析。图4给出了8种调制信号识别准确率 随模型参数量减少的变化过程.原始调制识别模型的准确率为99.1％,当模型参数量压缩为原 始模型的20％时,调制识别模型的准确率仍能达到98％以上。

[0060] 本发明的核心算法总体流程如下所示：

[0061] 核心算法总体流程:

[0062]

[0063]