一种基于知识蒸馏的雷达信号调制方式识别方法

摘要

本发明属于深度学习与雷达信号调制识别技术领域，具体涉及一种基于知识蒸馏的雷达信号调制方式识别方法。本发明结合知识蒸馏的思想，利用知识蒸馏的网络压缩方法设计轻量化网络，对设备内存要求低，有利于集成到芯片，部署到终端设备。本发明提出利用两个教师网络完成知识蒸馏训练，将低信噪比情况下时频结构受损严重的雷达信号单独训练第二教师网络，得到软标签作为监督信息，能够提高轻量化网络在低信噪比情况下的识别正确率。本发明所提到的网络都采用的是残差网络，能够提取到时频图像更深层的特征，对多种雷达信号具有良好的适应性。本发明在使识别网络轻量化的同时，能够在较低信噪比下对雷达信号的调制方式有较高的识别正确率。

权利要求

1.一种基于知识蒸馏的雷达信号调制方式识别方法，其特征在于，包括以下步骤：步骤1：对截获的雷达信号进行平滑伪Wigner‑Ville变换，得到二维时频图像；

雷达信号的数字模型为：

x(t)＝s(t)+n(t)

其中，x(t)是接收机接收到的信号；s(t)为雷达信号；n(t)为信道噪声；

对雷达信号x(t)进行平滑伪Wigner‑Ville变换的具体公式为：其中，t与f分别表示时频分析中时域与频域中的变量；h(τ)与g(s‑t)分别为频域与时域的窗函数；

步骤2：对二维时频图像进行预处理，包括调整尺寸、减图像通道均值进行标准化；将雷达信号的调制类型作为标签，构造第一训练集；将低信噪比情况下时频结构受损的雷达信号构造第二训练集；

步骤3：设计三个不同的深度卷积神经网络：两个教师网络，一个学生网络；两个教师网络的参数量较大，学生网络的参数量较小；

步骤4：训练两个教师网络和一个学生网络，得到识别未知雷达调制类型的轻量化模型；

步骤4.1：在两个教师网络的softmax层中加入温度变量T，使softmax函数定义如下式所示：

zi为教师网络最后一层的输出，加入温度变量T让各个类别产生较平滑的概率分布，使负标签所携带的信息相对放大，模型训练更加关注负标签；

步骤4.2：使用第一训练集训练加入温度变量T的第一教师网络；使用第二训练集训练加入温度变量T的第二教师网络；

步骤4.3：使用第一训练集训练学生网络，训练时加入两个教师网络对训练集数据softmax层的输出作为额外的监督信息，定义这两个输出分别为第一软标签和第二软标签，与训练集的真实标签重新构成损失函数，如下式：Ltotal＝αLhard+βLsoft1+δLsoft2其中，Lhard为真实标签与学生网络输出产生的交叉熵损失；Lsoft1为第一教师网络产生的第一软标签与学生网络输出所产生的交叉熵损失；Lsoft2为第二教师网络产生的第二软标签与学生网络输出所产生的交叉熵损失；α、β与δ是各个损失函数对应的系数；

步骤4.4：训练得到最终的学生模型，保留学生网络参数，作为识别未知雷达调制类型的轻量化模型；

步骤5：当截获的未知类别雷达信号时，对未知类别的雷达信号进行平滑伪Wigner‑Ville变换，得到二维时频图像；对二维时频图像进行预处理后输入识别未知雷达调制类型的轻量化模型中，得到识别结果。

2.根据权利要求1所述的一种基于知识蒸馏的雷达信号调制方式识别方法，其特征在于：所述的步骤2中对二维时频图像进行预处理的方法具体为：采用最近邻插值法，将时频图像统一调整为128*128；将时频图像的每一个像素值减去其所在通道中的像素平均值，减少输入图像的像素值大小，降低图像中的公共特征。

3.根据权利要求1或2所述的一种基于知识蒸馏的雷达信号调制方式识别方法，其特征在于：所述的步骤3中两个教师网络均采用resnet34网络结构，预处理后的二维时频图像经过16组残差单元进行特征提取，每组残差单元分别有两层卷积，提取到的特征经过Avgpooling层后进入全连接层进行分类；所述的学生网络有4组卷积单元，第一组是卷积核为7*7的卷积层，其余每组都是残差单元分别有两层卷积；预处理后的二维时频图像进入学生网络首先经过第一组卷积和最大池化后，依次进入3组残差单元进行特征提取，提取到的特征经过Avgpooling层后进入全连接层进行分类。

说明书

一种基于知识蒸馏的雷达信号调制方式识别方法

技术领域

[0001] 本发明属于深度学习与雷达信号调制识别技术领域，具体涉及一种基于知识蒸馏的雷达信号调制方式识别方法。

背景技术

[0002] 雷达信号识别是雷达侦察系统重要的组成部分，通过雷达信号识别可以提供准确的敌方情报，从而为判断敌方雷达类型、威胁等级提供重要的参考依据。随着现代雷达技术
的快速发展，雷达信号的截获概率越来越低，调制类型更加复杂多样。为应对此种变化，现
代的雷达调制识别方法需要在低信噪比(SNR)环境下对广泛的信号调制类型实现准确的识
别。

[0003] 同时，目前基于深度学习的雷达信号识别方法可以利用神经网络的自动特征提取等特点实现较高的识别准确率。学者郭立民在2017年提出了用AlexNet网络模型对7种雷达
信号进行识别，在信噪比‑6dB时准确率在90％以上。秦鑫在2020年提出了基于扩张残差网
络的雷达信号识别方法，在信噪比‑6dB时，对16种雷达信号的识别正确率在93％以上。但是
随着网络层数不断加深，网络参数量也不断增大，虽然参数量大的网络使得雷达信号调制
类型识别性能得到了提高，但训练如此多的参数对设备的内存要求很高，而过大的模型也
无法存储在芯片上。因此在保证雷达信号调制类型识别正确率的前提下，需要设计出参数
量更小、更高效的网络

[0004] 深度学习中，知识蒸馏方法是将训练好的复杂模型的“知识”迁移到一个结构更为简单的模型中，是进行模型压缩的一种有效方法。其关键思想是用复杂模型产生的软标签
作为监督信息去辅助真实标签一起训练简单模型，同时复杂模型训练过程中加入温度变量
T，使得软标签携带更多信息。

发明内容

[0005] 本发明的目的在于提供能在低信噪比环境下对广泛的雷达信号调制类型进行准确识别的一种基于知识蒸馏的雷达信号调制方式识别方法。

[0006] 本发明的目的通过如下技术方案来实现：包括以下步骤：

[0007] 步骤1：对截获的雷达信号进行平滑伪Wigner‑Ville变换，得到二维时频图像；

[0008] 雷达信号的数字模型为：

[0009] x(t)＝s(t)+n(t)

[0010] 其中，x(t)是接收机接收到的信号；s(t)为雷达信号；n(t)为信道噪声；

[0011] 对雷达信号x(t)进行平滑伪Wigner‑Ville变换的具体公式为：

[0012]

[0013] 其中，t与f分别表示时频分析中时域与频域中的变量；h(τ)与g(s‑t)分别为频域与时域的窗函数；

[0014] 步骤2：对二维时频图像进行预处理，包括调整尺寸、减图像通道均值进行标准化；将雷达信号的调制类型作为标签，构造第一训练集；将低信噪比情况下时频结构受损的雷
达信号构造第二训练集；

[0015] 步骤3：设计三个不同的深度卷积神经网络：两个教师网络，一个学生网络；两个教师网络的参数量较大，学生网络的参数量较小；

[0016] 步骤4：训练两个教师网络和一个学生网络，得到识别未知雷达调制类型的轻量化模型；

[0017] 步骤4.1：在两个教师网络的softmax层中加入温度变量T，使softmax函数定义如下式所示：

[0018]

[0019] zi为教师网络最后一层的输出，加入温度变量T让各个类别产生较平滑的概率分布，使负标签所携带的信息相对放大，模型训练更加关注负标签；

[0020] 步骤4.2：使用第一训练集训练加入温度变量T的第一教师网络；使用第二训练集训练加入温度变量T的第二教师网络；

[0021] 步骤4.3：使用第一训练集训练学生网络，训练时加入两个教师网络对训练集数据softmax层的输出作为额外的监督信息，定义这两个输出分别为第一软标签和第二软标签，
与训练集的真实标签重新构成损失函数，如下式：

[0022] Ltotal＝αLhard+βLsoft1+δLsoft2

[0023] 其中，Lhard为真实标签与学生网络输出产生的交叉熵损失；Lsoft1为第一教师网络产生的第一软标签与学生网络输出所产生的交叉熵损失；Lsoft2为第二教师网络产生的第二
软标签与学生网络输出所产生的交叉熵损失；α、β与δ是各个损失函数对应的系数；

[0024] 步骤4.4：训练得到最终的学生模型，保留学生网络参数，作为识别未知雷达调制类型的轻量化模型；

[0025] 步骤5：当截获的未知类别雷达信号时，对未知类别的雷达信号进行平滑伪Wigner‑Ville变换，得到二维时频图像；对二二维时频图像进行预处理后输入识别未知雷
达调制类型的轻量化模型中，得到识别结果。

[0026] 本发明还可以包括：

[0027] 所述的步骤2中对二维时频图像进行预处理的方法具体为：采用最近邻插值法，将时频图像统一调整为128*128；将时频图像的每一个像素值减去其所在通道中的像素平均
值，减少输入图像的像素值大小，降低图像中的公共特征。

[0028] 所述的步骤3中两个教师网络均采用resnet34网络结构，预处理后的二维时频图像经过16组残差单元进行特征提取，每组残差单元分别有两层卷积，提取到的特征经过
Avgpooling层后进入全连接层进行分类；所述的学生网络有4组卷积单元，第一组是卷积核
为7*7的卷积层，其余每组都是残差单元分别有两层卷积；预处理后的二维时频图像进入学
生网络首先经过第一组卷积和最大池化后，依次进入3组残差单元进行特征提取，提取到的
特征经过Avgpooling层后进入全连接层进行分类。

[0029] 本发明的有益效果在于：

[0030] 本发明结合知识蒸馏的思想，利用知识蒸馏的网络压缩方法设计轻量化网络，对设备内存要求低，有利于集成到芯片，部署到终端设备。本发明提出利用两个教师网络完成
知识蒸馏训练，将低信噪比情况下时频结构受损严重的雷达信号单独训练第二教师网络，
得到软标签作为监督信息，能够提高轻量化网络在低信噪比情况下的识别正确率。本发明
所提到的网络都采用的是残差网络，能够提取到时频图像更深层的特征，对多种雷达信号
具有良好的适应性。本发明在使识别网络轻量化的同时，能够在较低信噪比下对雷达信号
的调制方式有较高的识别正确率。

附图说明

[0031] 图1为本发明的流程图。

[0032] 图2为本发明的实施例中学生网络的结构图。

[0033] 图3为本发明的实施例中对14类雷达信号调制类型识别正确率与信噪比关系的曲线图。

[0034] 图4为本发明的实施例中最终的轻量化模型与原始学生模型识别正确率的关系图。

[0035] 图5为本发明的实施例中教师模型和学生模型的参数量表。

[0036] 图6为本发明的实施例中14种仿真雷达调制信号的类型及参数表。

具体实施方式

[0037] 下面结合附图对本发明做进一步描述。

[0038] 本发明的目的在于提供一种轻量化的卷积神经网络，能在低信噪比环境下对广泛的雷达信号调制类型进行准确识别。本发明结合知识蒸馏的思想，提出一种基于知识蒸馏
的雷达信号调制方式识别方法，在使识别网络轻量化的同时，能够在较低信噪比下，对雷达
信号的调制方式有较高的识别正确率。

[0039] 本发明的目的通过以下步骤实现：

[0040] (1)对截获的雷达信号进行平滑伪Wigner‑Ville变换(SPWVD)得到二维时频图像；

[0041] (2)对得到的时频图像进行预处理，包括调整尺寸，减图像通道均值进行标准化，

[0042] 然后根据雷达信号的调制类型作为标签制作训练集1，同时将低信噪比情况下，时频结构受损的雷达信号单独作为训练集2；

[0043] (3)设计三个不同的深度卷积神经网络：两个教师网络，一个学生网络；

[0044] (4)训练得到轻量化的网络模型：用训练集1与训练集2分别训练两个教师模型，保存其训练完成后的参数，训练学生网络时，重新设计损失函数，加入两个教师模型产生的软
标签，得到最终的轻量化模型；

[0045] (5)当截获的未知类别雷达信号到来时，经过同样的预处理后输入训练好的轻量化识别网络自动完成识别，判断出调制类型。

[0046] 特别地，

[0047] 所述步骤(1)具体为：

[0048] 对接收到的雷达信号x(t)进行平滑伪Wigner‑Ville变换(SPWVD)的具体公式为：

[0049]

[0050] 其中t与f分别表示时频分析中时域与频域中的变量，h(τ)与g(s‑t)分别为频域与时域的窗函数，起到平滑滤波的作用以减小交叉项干扰。

[0051] 所述步骤(2)时频图像预处理及训练集分类具体为：

[0052] (1)图像的尺寸调整采用最近邻插值法，将时频图像调整为128*128；

[0053] (2)将时频图像的每一个像素值减去其所在通道中的像素平均值，减少输入图像

[0054] 的像素值大小，降低图像中的公共特征；

[0055] (3)将训练集中信噪比较低时，信号时频结构受损严重，易产生混淆的时频图像单独列出作为训练集2中的数据。

[0056] 所述步骤(3)中所设计3个深度卷积神经网络具体方法为：两个参数量大、层数深的网络分别作为教师网络一与教师网络二，能够对雷达信号有较高的识别正确率且泛化能
力强，一个参数量小的网络作为学生网络，训练速度快；

[0057] 所述步骤(4)训练得到轻量化网络的具体步骤为：

[0058] (1)对步骤3中两个教师网络的softmax层加入温度变量T，使softmax函数定义如下式所示：

[0059]

[0060] zi为教师模型最后一层的输出，加入温度变量T让各个类别产生较平滑的概率分布，使负标签所携带的信息相对放大，模型训练更加关注负标签；

[0061] (2)使用步骤2产生的训练集1和训练集2分别训练加入温度变量T的教师网络一和教师网络二，保留两个网络的参数；

[0062] (3)使用训练集1训练学生网络，训练时加入两个教师网络对训练集数据softmax层的输出作为额外的监督信息，定义这两个输出分别为软标签1和软标签2，与训练集的真
实标签重新构成损失函数，如下式：

[0063] Ltotal＝αLhard+βLsoft1+δLsoft2

[0064] 其中Lhard为真实标签与学生网络输出产生的交叉熵损失，Lsoft1与Lsoft2分别是两个教师网络产生的软标签与学生网络输出所产生的交叉熵损失，α、β与δ是各个损失函数对应
的系数；

[0065] (4)训练得到最终的学生模型，保留学生网络参数，作为识别未知雷达调制类型的轻量化模型。

[0066] 与现有技术相比，本发明的有益效果是：

[0067] 1.本发明提出利用知识蒸馏的网络压缩方法设计轻量化网络，对设备内存要求低，有利于集成到芯片，部署到终端设备。

[0068] 2.本发明提出利用两个教师网络完成知识蒸馏训练，将低信噪比情况下时频结构受损严重的雷达信号单独训练教师网络二，得到软标签作为监督信息，能够提高轻量化网
络在低信噪比情况下的识别正确率。

[0069] 3.本发明所提到的网络都采用的是残差网络，能够提取到时频图像更深层的特征，对多种雷达信号具有良好的适应性。

[0070] 实施例1：

[0071] 图1是本发明的基于知识蒸馏的雷达信号调制方式识别方法流程图，下面结合图1对该方法的步骤和原理进行详细说明。

[0072] 步骤1：获得雷达调制信号的时频图像。本发明针对的雷达信号主要包括2FSK信号、4FSK信号、BPSK信号、Frank信号、LFM信号、LFM‑SFM信号、MLFM信号、DLFM信号、P1信号、
P2信号、P3信号、P4信号、EQFM信号、SFM信号。利用平滑伪Wigner‑Ville变换(SPWVD)将接收
机接收到的雷达信号转换为时频图像。

[0073] 在该步骤中，雷达信号的数字模型可以写成：

[0074] x(t)＝s(t)+n(t)  (1)

[0075] 其中，x(t)是接收机接收到的信号，s(t)为雷达信号，n(t)为信道噪声。本发明采用的平滑伪Wigner‑Ville变换(SPWVD)公式为：

[0076]

[0077] 其中t与f分别表示时频分布中时域与频域中的变量，h(τ)与g(s‑t)分别为频域与时域的窗函数，起到平滑滤波的作用以减小交叉项干扰。

[0078] 步骤2：对时频图像进行预处理得到训练集。对时频图像的预处理包括调整图像尺寸，减去通道均值进行标准化，之后加上标签得到训练集。

[0079] 在进行图像尺寸调整时，本发明采用计算简单的最近邻插值法，将时频图像统一调整为128*128。同时为提升识别的正确率，时频图像采用减通道均值的方法来降低输入图
像的像素值大小，减少图像之间的公共特征。具体方法为图像的每个像素值减去其所在通
道中的像素平均值。将预处理后的时频图像根据调制类型标上标签，以本实施中的14类信
号为例，标签位上分别为1,2,3…,14，作为训练集1。然后将训练集1中低信噪比情况下时频
结构受损较为严重且容易相互混淆的信号单独拿出作为训练集2。

[0080] 步骤3：设计三个深度卷积神经网络，其中两个层数深，参数量大的作为教师网络，一个参数量少的作为学生网络也就是最后的轻量化网络。以本实施中对14类信号识别为
例，所设计的网络为：

[0081] (3.1)两个参数量大的教师网络都采用resnet34网络结构。经过步骤2后，教师网络一对应训练集1，教师网络二对应训练集2。预处理后的时频图像经过16组残差单元进行
特征提取，每组残差单元分别有两层卷积，提取到的特征经过Avgpooling层后进入全连接
层进行分类。

[0082] (3.2)参数量较小的学生网络结构如图2所示。该网络有4组卷积单元，第一组是卷积核为7*7的卷积层，其余每组都是残差单元分别有两层卷积，时频图像进入网络首先经过
第一组卷积和最大池化后，依次进入3组残差单元进行特征提取，提取到的特征经过
Avgpooling层后进入全连接层进行分类。训练学生网络所用的是训练集1，结合两个教师网
络在训练过程中产生的软标签作为额外的监督信息得到最终的轻量化网络。教师模型和学
生模型的参数量如图5所示。

[0083] 步骤4：训练三个深度卷积神经网络得到最终的训练模型。

[0084] (4.1)用步骤2中的训练集1与训练集2分别训练步骤3中设计的两个教师网络。训练时在softmax层加入温度变量T，使softmax函数如下式所示：

[0085]

[0086] zi为教师模型最后一层的输出，加入温度变量T让各个类别产生较平滑的概率分布，使负标签所携带的信息相对放大，模型训练更加关注负标签。两个教师网络训练完成
后，其softmax层的输出作为软标签。

[0087] (4.2)用步骤2中的训练集1训练学生网络，训练时加入两个教师网络对训练集数据产生的软标签，与训练集数据的真实标签重新构成损失函数，如下式所示：

[0088] Ltotal＝αLhard+βLsoft1+δLsoft2  (4)

[0089] 其中Lhard为真实标签与学生网络输出产生的交叉熵损失，Lsoft1与Lsoft2分别是两个教师网络产生的软标签与学生网络输出所产生的交叉熵损失，α、β与δ是各个损失函数对应
的系数，以本实施中的14类信号为例，α、β与δ分别取0.1、0.2、0.7。

[0090] (4.3)训练得到最终的学生模型，保留学生网络参数，作为识别未知雷达调制类型的轻量化模型。

[0091] 步骤5：得到最终的轻量化模型后就可以对截获的雷达信号进行识别。当未知类别的雷达信号经过步骤2相同的预处理后，直接进入轻量化网络，网络自动完成调制方式的识
别。

[0092] 具体地，本实施例中通过仿真进行验证

[0093] 仿真雷达调制信号总共有14种，类型及参数如图6所示，信号长度N＝1024。训练集样本信噪比范围在‑10dB到8dB，每隔2dB每种信号产生600个满足图6的样本作为训练集1。
将训练集1中‑10dB到0dB的训练样本单独拿出作为训练集2。测试集样本信噪比范围在‑
12dB到0dB，每隔1dB每种信号取400个样本。

[0094] 进一步地，图3示出了本发明实施例中训练得到的最终轻量化模型在不同信噪比下识别正确率曲线。当信噪比在‑6dB时，大部分信号的识别正确率在96％以上；当信噪比
在‑4dB时，所有信号的识别正确率都在98％以上。图4示出了本发明实施例中原始学生模型
和加入知识蒸馏后训练的最终轻量化模型在不同信噪比下的识别平均正确率。加入两个软
标签作为额外的监督信息，可以使网络模型的识别准确率有显著提高。

[0095] 这表明该方法是有效的，在使网络模型轻量化的同时，可以对14类雷达信号调制类型进行识别且在较低信噪比情况下有较高的识别正确率。

[0096] 本发明实施例的雷达信号脉内调制方式识别算法的其他步骤细节及作用对于本领域的技术人员而言都是已知的，为了减少冗余，在此不做赘述。

[0097] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修
改、等同替换、改进等，均应包含在本发明的保护范围之内。