一种基于动态卷积神经网络的雷达回波外推方法转让专利

申请号 : CN201710110183.6

文献号 : CN106886023B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 李骞施恩顾大权

申请人 : 中国人民解放军理工大学

摘要 :

本发明公开了一种基于动态卷积神经网络的雷达回波外推方法,包括:离线卷积神经网络训练:对给定的训练图像集,通过数据预处理得到训练样本集,初始化动态卷积神经网络模型,并利用训练样本集训练动态卷积神经网络,经过网络前向传播计算输出值、后向传播更新网络参数的过程使动态卷积神经网络收敛。在线雷达回波外推:通过数据预处理将测试图像集转化为测试样本集,利用测试样本集对经过训练的动态卷积神经网络进行测试,将输入图像序列中的最后一幅雷达回波图像与网络前向传播中获得的概率向量相卷积,得到预测的雷达回波外推图像。

权利要求 :

1.一种基于动态卷积神经网络的雷达回波外推方法,其特征在于,包括以下步骤:步骤1,训练离线卷积神经网络:输入训练图像集,对训练图像集进行数据预处理,得到训练样本集,设计动态卷积神经网络结构,并初始化网络训练参数;利用训练样本集训练动态卷积神经网络,输入的有序图像序列经过动态卷积神经网络前向传播得到一幅预测图像,计算预测图像和对照标签之间的误差,通过反向传播更新网络的权值参数和偏置参数,重复此过程直到达到训练结束条件,得到收敛的动态卷积神经网络;

步骤2,在线雷达回波外推:输入测试图像集,对测试图像集进行数据预处理,得到测试样本集,然后将测试样本集输入步骤1中获得的动态卷积神经网络中,经过网络前向传播计算概率向量,并将输入图像序列中的最后一幅雷达回波图像与得到的概率向量相卷积,得到预测的雷达回波外推图像;

步骤1包括以下步骤:

步骤1-1,数据预处理:输入训练图像集,对训练图像集中的每一幅图像进行规范化处理,将每一幅图像转化为280×280的浮点数图像,得到浮点数图像集合,对浮点数图像集合进行划分,构造包含TrainsetSize组样本的训练样本集;

步骤1-2,初始化动态卷积神经网络:设计动态卷积神经网络结构,构造用于生成概率向量的子网络,再构造用于图像外推的概率预测层,为离线神经网络训练阶段提供动态卷积神经网络初始化模型;

步骤1-3,初始化动态卷积神经网络训练参数:令网络学习率λ=0.0001,训练阶段每次输入的样本数量BatchSize=10,训练样本集的最大批训练次数当前批训练次数BatchNum=1,网络训练的最大迭代次数IterationMax=40,当前迭代次数IterationNum=1;

步骤1-4,读取训练样本:采用批训练的方式,每次训练从步骤1-1获得的训练样本集中读取BatchSize组训练样本,每组训练样本为{x1,x2,x3,x4,y},共包含5幅图像,其中{x1,x2,x3,x4}作为输入图像序列,y为对应的对照标签;

步骤1-5,前向传播:在子网络中提取步骤1-4获得的输入图像序列特征,得到水平概率向量HPV和垂直概率向量VPV;在概率预测层中,将输入图像序列中的最后一幅图像依次与VPV、HPV相卷积,得到前向传播的输出预测图像;

步骤1-6,反向传播:在概率预测层中反向求得概率向量的误差项,根据概率向量的误差项从后至前逐层计算子网络层中各个网络层的误差项,进而计算各个网络层中误差项对权值参数和偏置参数的梯度,利用得到的梯度更新动态卷积神经网络的参数;

步骤1-7,离线训练阶段控制:对离线神经网络训练阶段进行整体控制,分为以下三种情况:若训练样本集中仍存在未使用过的训练样本,即BatchNum<BatchMax,则返回步骤1-4继续读取BatchSize组训练样本,进行网络训练;

若训练样本集中不存在未使用过的训练样本,即BatchNum=BatchMax,且当前网络迭代次数小于最大迭代次数,即IterationNum<IterationMax,则令BatchNum=1,返回步骤

1-4继续读取BatchSize组训练样本,进行网络训练;

若训练样本集中不存在未使用过的训练样本,即BatchNum=BatchMax,且网络迭代次数达到最大迭代次数,即IterationNum=IterationMax,则结束离线神经网络训练阶段,得到训练好的动态卷积神经网络模型。

2.根据权利要求1所述的方法,其特征在于,步骤1-1数据预处理包括以下步骤:步骤1-1-1,采样:训练图像集中的图像按时间顺序排列,并且等时间间隔分布,时间间隔为6分钟,共包含NTrain幅图像,通过如下公式确定TrainsetSize:其中,Mod(NTrain,4)表示NTrain对4取模, 表示不大于 的最大整数,求得TrainsetSize后,通过采样保留训练图像集中前4×TrainsetSize+1幅图像,采样时通过删除训练图像集中最后的图像使图像数量满足要求;

步骤1-1-2,规范化图像:对采样得到的图像进行图像变换,归一化操作,将原始分辨率为2000×2000的彩色图像转换成分辨率为280×280的浮点数图像;

步骤1-1-3,构造训练样本集:利用步骤1-1-2获得的浮点数图像集构造训练样本集,将浮点数图像集中每四个相邻的图像,即第{4N+1,4N+2,4N+3,4N+4}幅图像作为一组输入序列,第[4×(N+1)+1]幅图像经过裁剪,保留中央分辨率为240×240的部分作为对应样本的对照标签,对于第N组样本 其构造方式如下:上式中,G4N+1表示浮点数图像集中的第4N+1幅图像,N为正整数,并有N∈[0,TrainsetSize-1],Crop(·)表示裁剪操作,裁剪后保留原图像中央大小为240×240的部分,最终得到包含TrainsetSize组训练样本的训练样本集;

其中,步骤1-1-2包括以下步骤:

步骤1-1-2-1,图像转化:将步骤1-1-1采样得到的图像转化为灰度图像,通过裁剪保留原始图像中央分辨率为560×560的部分,将裁剪后的图像分辨率压缩为280×280,得到分辨率为280×280的灰度图;

步骤1-1-2-2,数据归一化:将步骤1-1-2-1中获得的灰度图中的每一个像素点的值从[0~255]映射到[0~1],通过归一化之后得到分辨率为280×280的浮点数图像。

3.根据权利要求2所述的方法,其特征在于,步骤1-2包括以下步骤:

步骤1-2-1,构造子网络:

子网络由10个网络层构成,从前至后依次为卷积层C1、下采样层S1、卷积层C2、下采样层S2、卷积层C3、下采样层S3、卷积层C4、下采样层S5、卷积层C5以及分类器层F1;

步骤1-2-2,构造概率预测层:

概率预测层中构造动态卷积层DC1和动态卷积层DC2,将子网络输出的垂直概率向量VPV作为动态卷积层DC1的卷积核,水平概率向量HPV作为动态卷积层DC2的卷积核;

其中,步骤1-2-1包括以下步骤:

步骤1-2-1-1,构造卷积层:确定以下内容:卷积层的输出特征图数量OutputMaps、卷积核k以及偏置参数bias,对于卷积核,需要确定卷积核的宽度KernelSize,卷积核的数量KernelNumber,卷积核的数量为该卷积层输入与输出特征图数量的乘积,卷积核的分辨率为KernelSize×KernelSize,并根据Xavier初始化方法构造卷积核;对于偏置参数,其数量与该层的输出特征图数量相同;对于卷积层lC,lC∈{C1,C2,C3,C4,C5},该层的输出特征图宽度为 的值由卷积层lC的输入特征图分辨率和卷积核的宽度共同决定,即

表示卷积层lC的上一层卷

积层的输出特征图宽度;

对于卷积层C1,令C1层的输出特征图数量OutputMapsC1=12,C1层输出特征图的宽度OutputSizeC1=272,C1层卷积核宽度KernelSizeC1=9,C1层偏置参数biasC1均初始化为零,C1 C1C1层的卷积核k 的数量KernelNumber =48,卷积核中每一个参数的初始值为rand(·)用于生成随机数;

对于卷积层C2,令C2层输出特征图数量OutputMapsC2=32,C2层输出特征图的宽度OutputSizeC2=128,C2层卷积核宽度KernelSizeC2=9,C2层偏置参数均初始化为零,C2层的卷积核kC2的数量KernelNumberC2=384,卷积核中每一个参数的初始值为对于卷积层C3,令C3层输出特征图数量OutputMapsC3=32,C3层输出特征图的宽度OutputSizeC3=56,C3层卷积核宽度KernelSizeC3=9,C3层偏置参数均初始化为零,C3层的卷积核kC3的数量KernelNumberC3=1024,卷积核中每一个参数的初始值为对于卷积层C4,令C4层输出特征图数量OutputMapsC4=32,C4层输出特征图的宽度OutputSizeC4=20,C4层卷积核宽度KernelSizeC4=9,C4层偏置参数均初始化为零,C4层的卷积核kC4的数量KernelNumberC4=1024,卷积核中每一个参数的初始值为对于卷积层C5,令C5层输出特征图数量OutputMapsC5=32,C5层输出特征图的宽度OutputSizeC5=4,C5层卷积核宽度KernelSizeC5=7,C5层偏置参数均初始化为零,C5层的卷积核kC5的数量KernelNumberC5=1024,卷积核中每一个参数的初始值为步骤1-2-1-2,构造下采样层:下采样层中不包含需要训练的参数,将下采样层S1、S2、S3和S4的采样核均初始化为 对于下采样层lS,lS∈{S1,S2,S3,S4},其输出特征图数量 与其上一层的卷积层的输出特征图数量保持一致,输出特征图宽度为其上一层的卷积层的输出特征图宽度的1/2,公式表达如下:

步骤1-2-1-3,构造分类器层:分类器层由一个全连接层F1构成,F1层的权值参数为水平权值参数矩阵WH和垂直权值参数矩阵WV,大小均为41×512,令权值参数矩阵中的每一个参数的初始值为 偏置参数为水平偏置参数BH和垂直偏置参数BV,均初始化为41×1的一维零向量。

4.根据权利要求3所述的方法,其特征在于,步骤1-5包括以下步骤:

步骤1-5-1,子网络计算概率向量:在子网络中通过卷积层和下采样层的交替处理提取输入的图像序列特征,在分类器层中通过Softmax函数处理,得到水平概率向量HPV和垂直概率向量VPV;

步骤1-5-2,计算概率预测层输出图像:步骤1-5-1得到的HPV和VPV作为概率预测层的卷积核,将输入图像序列中的最后一幅图像依次与VPV、HPV相卷积,得到前向传播的输出预测图像。

5.根据权利要求4所述的方法,其特征在于,步骤1-5-1包括以下步骤:步骤1-5-1-1,判断网络层类型:用l表示当前所处的子网络中的网络层,l初始值为C1,判断网络层l的类型,若l∈{C1,C2,C3,C4,C5},则l为卷积层,执行步骤1-5-1-2,若l∈{S1,S2,S3,S4},则l为下采样层,执行步骤1-5-1-4;

步骤1-5-1-2,处理卷积层:此时有l=lC,lC∈{C1,C2,C3,C4,C5},首先计算lC层的第j个输出特征图 将lC层的输入特征图分别与该层的对应卷积核相卷积,将卷积结果求和,求和结果加上lC层的第j个偏置参数 再经过ReLU激活函数处理,得到 计算公式如下所示:其中, 为lC层的第i个输入特征图与第j个输出特征图相对应的卷积核,n为当前卷积层的前一下采样层的输出特征图个数, 表示lC层的第i个输入特征图,同时也是lC-1层的第i个输出特征图,*表示矩阵卷积,若lC=C1,则lC-1层为输入层;

依次计算所有的输出特征图,得到lC层的输出特征图 将l更新为l+1,并返回步骤1-

5-1-1判断网络类型,进行下一个网络层的操作;

步骤1-5-1-3,处理下采样层:此时有l=lS,lS∈{S1,S2,S3,S4},将步骤1-5-1-2得到的卷积层的输出特征图分别与 相卷积,再以步长为2进行采样,采样得到lS层的输出特征图 计算公式如下所示:

上式中,Sample(·)表示步长为2的采样处理,lS-1表示当前下采样层的前一卷积层,表示lS层的输出特征图 中的第j个输出特征图,得到lS层的输出特征图 后,将l更新为l+1,并返回步骤1-5-1-1判断网络类型,进行下一个网络层的操作;

步骤1-5-1-4,计算F1层概率向量:若网络层l为分类器层,即l=F1,通过矩阵变换,将C5的32幅分辨率为4×4的输出特征图以列顺序展开,得到分辨率为512×1的F1层的输出特征向量aF1,分别计算水平权值参数矩阵WH与aF1的外积、垂直权值参数矩阵WV与aF1的外积,将计算结果分别与水平偏置参数BH、垂直偏置参数BV求和,经Softmax函数处理后得到水平概率向量HPV和垂直概率向量VPV,具体计算公式如下:HPV=Softmax(WH×aF1+BH)

F1

VPV=Softmax(WV×a +BV),

将其垂直概率向量VPV转置,得到最终的垂直概率向量;

步骤1-5-2包括以下步骤:

步骤1-5-2-1,预测DC1层垂直方向:将输入层的最后一幅输入图像与垂直概率向量VPVDC1相卷积,得到分辨率为240×280的DC1层输出特征图a ;

步骤1-5-2-2,预测DC2层垂直方向:将DC1层输出特征图aDC1与水平概率向量HPV相卷积,得到前向传播的输出预测图像,其分辨率为240×240。

6.根据权利要求5所述的方法,其特征在于,步骤1-6包括以下步骤:

步骤1-6-1,计算概率预测层误差项:将步骤1-5-2-2获得的预测图像与输入的训练样本中的对照标签求差,计算DC2层、DC1层的误差项,最终求得水平概率向量的误差项δHPV和垂直概率向量的误差项δVPV;

步骤1-6-2,计算子网络误差项:根据水平概率向量的误差项δHPV和垂直概率向量的误差项δVPV,从后至前依次计算分类层F1,卷积层C5、C4、C3、C2、C1和下采样层S4、S3、S2、S1的误差项,求得的任一层误差项矩阵的分辨率与该层的输出特征图的分辨率相一致;

步骤1-6-3,计算梯度:根据步骤1-6-2获得的误差项计算子网络各个网络层的误差项对该层权值参数和偏置参数的梯度值;

步骤1-6-4,更新参数:将步骤1-6-3获得的各网络层的权值参数和偏置参数的梯度值乘上动态卷积神经网络的学习率,得到各网络层权值参数和偏置参数的更新项,将原权值参数和偏置参数分别与该更新项求差,得到更新后的权值参数和偏置参数。

7.根据权利要求6所述的方法,其特征在于,步骤1-6-1包括以下步骤:步骤1-6-1-1,计算动态卷积层DC2误差项:将步骤1-5-2-2获得的预测图像与该组样本的对照标签求差,得到大小为240×240的误差项矩阵δDC2;

步骤1-6-1-2,计算动态卷积层DC1误差项:通过零填充将DC2层的误差项矩阵δDC2拓展为240×320,将水平概率向量旋转180度,将拓展后的误差项矩阵与翻转后的水平概率向量相卷积,得到DC1层的误差项矩阵δDC1,其大小为240×280,公式如下所示:DC1 DC2

δ =Expand_Zero(δ )*rot180(HPV),

其中,Expand_Zero(·)表示零扩充函数,rot180(·)表示角度为180°的旋转函数,将2×2的矩阵零扩充为4×4的矩阵,零扩充后的矩阵,中央分辨率为2×2的区域与原矩阵相一致,其余位置用零像素填充;

步骤1-6-1-3,计算概率向量误差项:计算水平概率向量HPV的误差项,将DC1 层的输出特征图与误差项矩阵δDC2相卷积,卷积后得到1×41的行向量,该向量为HPV的误差项δHPV,公式如下:δHPV=aDC1*δDC2,

计算垂直概率向量VPV的误差项,将输入层的输入特征图与误差项矩阵δDC1相卷积,卷VPV积后得到41×1的列向量,该向量为VPV的误差项δ ,公式如下:

其中, 为训练样本的输入图像序列中的最后一幅图像;

步骤1-6-2包括以下步骤:

步骤1-6-2-1,计算分类器层F1误差项:将步骤1-6-1-3获得的概率向量的误差项δVPV和δHPV分别与F1层的垂直权值参数矩阵WV和水平权值参数矩阵WH进行矩阵相乘,再将矩阵的外积求和并取平均值,得到F1层的误差项δF1,公式如下:其中,×表示矩阵外积,(·)T代表矩阵的转置,得到的δF1的大小为512×1;

步骤1-6-2-2,计算卷积层C5误差项:通过矩阵变换,将步骤1-6-2-1中获得的F1层的误差项δF1变换为32个分辨率为4×4的矩阵 得到C5层的误差项δC5, 表示变换后的第32个分辨率为4×4的矩阵;

步骤1-6-2-3,判断网络层类型:用l表示当前所处的子网络中的网络层,l初始值为S4,判断网络层l的类型,若l∈{S4,S3,S2,S1},则l为下采样层,执行步骤1-6-2-4,若l∈{C4,C3,C2,C1},则l为卷积层,执行步骤1-6-2-5;

步骤1-6-2-4,计算下采样层误差项:若l层为下采样层,此时有l=lS,lS∈{S1,S2,S3,S4},对于lS层的第i个误差项矩阵 通过零填充分别将lS+1层的各个误差项矩阵 拓展至宽度为 其中lS+1层表示当前下采样层的后一卷积层,j表示lS+1层的第j个误差项,并有 再将对应的卷积核 旋转180度,然后将拓展后的矩

阵与翻转后的卷积核相卷积,并将卷积结果求和,得到lS层的第i个误差项矩阵 公式如下所示:其中,

依次计算所有的误差项矩阵,得到lS层的输出特征图 将l更新为l-1,并返回步骤1-

6-2-3判断网络类型,计算上一个网络层的误差项;

步骤1-6-2-5,计算卷积层误差项:若l层为卷积层,此时有l=lC,lC∈{C1,C2,C3,C4,C5},由于步骤1-6-2-3中l的初始值为S4,因此并不会出现lC=C5的情况,对于lC层的第i个误差项矩阵 先对lC+1层中的对应的第i个误差项矩阵 进行上采样,上采样时将中每个元素的误差项值平均分至采样区域中,得到分辨率为 的上采样矩阵,再计算激活函数在lC层对应特征图处的导数与求得的上采样矩阵的内积,得到lC层的第i个误差项矩阵 公式如下所示:其中,·表示矩阵内积,ReLU'(·)表示ReLU激活函数的导数,其形式如下:UpSample(·)表示上采样函数,上采样后原图像中的每一个像素对应一个上采样区域,原像素值平均分配至采样区域中的每一个像素点中,依次计算所有的误差项矩阵,得到lC层的输出特征图步骤1-6-2-6,此时l层为卷积层,即l=lC,之后分为两种情况:若l≠C1,则将l更新为l-1,并返回步骤1-6-2-3判断网络类型,计算上一个网络层的误差项;

若l=C1,则步骤1-6-2子网络误差项计算结束;

步骤1-6-3包括以下步骤:

步骤1-6-3-1,计算卷积层误差项对卷积核的梯度:用lC表示当前处理的卷积层,lC∈{C1,C2,C3,C4,C5},从C1层开始逐层计算各卷积层误差项对卷积核的梯度,将lC-1层的第i个输出特征图 与第lC层的第j个误差项矩阵 相卷积,卷积结果为对应卷积核的梯度值 公式如下:lC∈{C1,C2,C3,C4,C5},

上式中, 与 分别表示第lC层的输出特征图个数与第lC-1层的

输出特征图个数,▽k为误差项对卷积核的梯度值;

步骤1-6-3-2,计算各卷积层误差项对偏置的梯度:用lC表示当前处理的卷积层,lC∈{C1,C2,C3,C4,C5},从C1层开始逐层计算各卷积层误差项对偏置的梯度,将lC层的第j个误差项矩阵 中的所有元素进行求和,得到该层第j个偏置的梯度值 公式如下所示:其中,Sum(·)表示对矩阵的所有元素进行求和;

步骤1-6-3-3,计算F1层误差项对权值参数的梯度:分别计算水平概率向量与垂直概率向量的误差项δHPV、δVPV与F1层误差项δF1的内积,计算结果为F1层误差项对权值参数WH、WV的梯度值,公式如下:▽WH=(δHPV)T×(δF1)T,

▽WV=δVPV×(δF1)T,

上式中,▽WH为误差项对水平权值参数的梯度值,▽WV为误差项对垂直权值参数的梯度值;

步骤1-6-3-4,计算F1层误差项对偏置参数的梯度:将水平概率向量与垂直概率向量的误差项δHPV、δVPV分别作为F1层误差项对水平偏置参数BH和垂直偏置参数BV的梯度值,公式如下:▽BH=(δHPV)T,

▽BV=δVPV,

其中,▽BH为误差项对水平偏置参数的梯度值,▽BV为误差项对垂直偏置参数的梯度值;

步骤1-6-4包括以下步骤:

步骤1-6-4-1,更新各卷积层权值参数:将步骤1-6-3-1获得的各卷积层误差项对卷积核的梯度乘上动态卷积神经网络的学习率,得到卷积核的修正项,再将原卷积核与该修正项求差,得到更新的卷积核 公式如下:其中,λ为步骤1-3中确定的网络学习率,λ=0.0001;

步骤1-6-4-2,更新各卷积层偏置参数:将步骤1-6-3-2获得的各卷积层误差项对偏置的梯度乘上动态卷积神经网络的学习率,得到偏置参数的修正项,再将原偏置项与该修正项求差,得到更新的偏置项 公式如下:步骤1-6-4-3,更新F1层权值参数:将步骤1-6-3-3获得的F1层误差项对权值参数WH和WV的梯度值乘上动态卷积神经网络的学习率,得到权值参数的修正项,再将原权值参数WH和WV分别与求得的修正项求差,得到更新的WH和WV,公式如下:WH=WH-λ▽WH,

WV=WV-λ▽WV;

步骤1-6-4-4,更新F1层偏置参数:将步骤1-6-3-4获得的F1层误差项对偏置参数BH和BV的梯度值乘上动态卷积神经网络的学习率,得到偏置参数的修正项,再将原偏置参数BH和BV分别与求得的修正项求差,得到更新的BH和BV,公式如下:BH=BH-λ▽BH,

BV=BV-λ▽BV。

8.根据权利要求7所述的方法,其特征在于,其特征在于,步骤2包括以下步骤:步骤2-1,数据预处理:输入测试图像集,对测试图像集中的每一幅图像进行规范化处理,将每一幅图像转化为280×280的浮点数图像,再对浮点数图像集合进行划分,构造包含TestsetSize组样本的测试样本集;

步骤2-2,读取测试样本:将步骤2-1获得的TestsetSize组测试样本输入经过训练的动态卷积神经网络中;

步骤2-3,前向传播:在子网络中提取输入的图像序列特征,得到水平概率向量HPVtest和垂直概率向量VPVtest;在概率预测层中,将输入图像序列中的最后一幅图像依次与VPVtest、HPVtest相卷积,得到动态卷积神经网络最终的外推图像。

9.根据权利要求8所述的方法,其特征在于,步骤2-1包括以下步骤:

步骤2-1-1,采样:测试图像集中的图像按时间顺序排列,并且等时间间隔分布,时间间隔为6分钟,共包含NTest幅图像,通过如下公式确定TestsetSize:如果Mod(NTest,4)=0则

如果Mod(NTest,4)≠0则

求得TestsetSize后,通过采样保留测试图像集中前4×TestsetSize+1幅图像,采样时通过删除测试图像集中最后的图像使图像数量满足要求;

步骤2-1-2,图像规范化:对采样得到的图像进行图像变换,归一化操作,将原始分辨率为2000×2000的彩色图像转换成分辨率为280×280的浮点数图像;

步骤2-1-3,构造测试样本集:利用步骤2-1-2获得的浮点数图像集构造测试样本集,将浮点数图像集中每四个相邻的图像,即第{4M+1,4M+2,4M+3,4M+4}幅图像作为一组输入序列,第[4×(M+1)+1]幅图像经过裁剪,保留中央分辨率为240×240的部分作为对应样本的对照标签,其中为正整数,并有M∈[0,TestsetSize-1]得到包含TestsetSize组测试样本的测试样本集;

步骤2-1-2包括以下步骤:

步骤2-1-2-1,图像转化:将彩色的回波强度CAPPI图像转化为灰度图像,再通过裁剪保留原始图像中央分辨率为560×560的部分,将裁剪后的图像分辨率压缩为280×280,得到分辨率为280×280的灰度图;

步骤2-1-2-2,数据归一化:将步骤1-1-2-1中获得的灰度图中的每一个像素点的值从[0~255]映射到[0~1],通过归一化之后得到分辨率为280×280的浮点数图像;

步骤2-3包括以下步骤:

步骤2-3-1,计算子网络概率向量:在子网络中通过卷积层和下采样层的交替处理提取输入的图像序列特征,然后在分类器层中通过Softmax函数处理,得到水平概率向量HPVtest和垂直概率向量VPVtest;

步骤2-3-2,计算概率预测层输出图像:步骤2-3-1得到的VPVtest和HPVtest作为概率预测层的卷积核,将输入图像序列中的最后一幅图像依次与VPVtest和HPVtest相卷积,得到动态卷积神经网络最终的外推图像;

步骤2-3-1包括以下步骤:

步骤2-3-1-1,判断网络层类型:用p表示当前所处的子网络中的网络层,判断网络层p的类型,p初始值为C1,若p∈{C1,C2,C3,C4,C5},则p为卷积层,执行步骤2-3-1-2,若p∈{S1,S2,S3,S4},则p为下采样层,执行步骤2-3-1-4;

步骤2-3-1-2,处理卷积层:此时有p=pC,pC∈{C1,C2,C3,C4,C5},首先计算pC层的第v个输出特征图 将pC层的输入特征图分别与该层的对应卷积核相卷积,再将卷积结果求和,求和结果加上pC层的第v个偏置 再经过ReLU激活函数处理,得到pC层的第v个输出特征图 计算公式如下所示:其中, 为pC层的第u个输入特征图与第v个输出特征图相对应的卷积核,m为当前卷积层的前一下采样层的输出特征图个数, 表示pC层的第u个输入特征图,同时也是pC-1层的第u个输出特征图,*表示矩阵卷积,当pC=C1时,则pC-1层为输入层;

依次计算所有的输出特征图,得到pC层的输出特征图 将p更新为p+1,并返回步骤2-

3-1-1判断网络类型,进行下一个网络层的操作;

步骤2-3-1-3,处理下采样层:此时有p=pS,pS∈{S1,S2,S3,S4},将步骤2-3-1-2得到的卷积层的输出特征图分别与 相卷积,再以步长为2进行采样,采样得到pS层的输出特征图 计算公式如下所示:

其中,Sample(·)表示步长为2的采样处理,pS-1表示当前下采样层的前一卷积层,表示pS层的输出特征图 中的第j个输出特征图,得到pS层的输出特征图 后,将p更新为p+1,并返回步骤2-3-1-1判断网络类型,进行下一个网络层的操作;

步骤2-3-1-4,计算F1层概率向量:若网络层p为分类器层,即p=F1,通过矩阵变换,将C5的32幅分辨率为4×4的输出特征图以列顺序展开,得到分辨率为512×1的F1层的输出特征向量 然后分别计算水平参数矩阵WH、垂直参数矩阵WV与 的外积,将计算结果分别与水平偏置参数BH、垂直偏置参数BV求和,求和结果经Softmax函数处理后得到水平概率向量HPVtest、垂直概率向量VPVtest,计算公式如下:将其垂直概率向量VPVtest转置,得到最终的垂直概率向量;

步骤2-3-2包括以下步骤:

步骤2-3-2-1,预测DC1层垂直方向:将输入层的最后一幅输入图像与垂直概率向量VPVtest相卷积,得到分辨率为240×280的DC1层输出特征图步骤2-3-2-2,预测DC2层垂直方向:将步骤2-3-2-1获得的 与水平概率向量HPVtest相卷积,得到动态卷积神经网络最终的外推图像,其分辨率为240×240。

说明书 :

一种基于动态卷积神经网络的雷达回波外推方法

技术领域

[0001] 本发明属于大气探测中地面气象观测技术领域,尤其涉及一种基于动态卷积神经网络的雷达回波外推方法。

背景技术

[0002] 临近预报主要指0~3小时的高时空分辨率的天气预报,主要预报对象包括强降水、大风、冰雹等灾害性天气。目前,很多预报系统都采用数值预报模式,但是由于数值预报存在预报起转延迟(spin-up),其短时临近预报能力有限。新一代多普勒天气雷达具有很高的灵敏度和分辨率,其数据资料的空间分辨率能够达到200~1000m,时间分辨率能够达到2~15min。此外,多普勒天气雷达还具有合理的工作模式、全面的状态监控和故障警报、先进的实时标校系统和丰富的雷达气象产品算法,能够大大提高短时临近预报的可靠性。如今,新一代多普勒天气雷达已经成为临近预报的最有效工具之一,利用多普勒天气雷达进行临近预报主要基于雷达回波外推技术,即根据当前时刻雷达观测结果,推测雷达回波未来的位置和强度,以实现对强对流系统的跟踪预报。
[0003] 传统的的雷达回波外推方法是质心跟踪法和基于最大相关系数的交叉相关法(Tracking Radar Echoes by Correlation,TREC),但是传统方法都存在一定的不足,质心跟踪法仅适用于回波较强、范围较小的风暴单体,对于大范围降水的预报不可靠;TREC一般将回波视为线性变化的,而现实情况中回波变化更为复杂,同时此类方法易受矢量场中的无序矢量干扰。此外,现有的方法对雷达资料的利用率低,而历史雷达资料包含当地天气系统变化的重要特征,具有很高的研究价值。
[0004] 为提高雷达回波外推的时效性,并从大量的历史雷达资料中研究雷达回波的变化规律,将机器学习方法引入雷达回波外推中。卷积神经网络(Convolutional Neural Network,CNN)作为深度学习的重要分支,广泛应用于图像处理,模式识别等领域。该网络最大的特点在于采用局部连接、权值共享、下采样的方法,对输入图像的形变、平移和翻转具有较强的适应性。针对雷达回波图像之间存在的强时间相关性,设计基于输入的动态卷积神经网络,该网络能够根据输入的雷达回波图动态的变化权值参数,进而预测外推图像。利用历史雷达资料训练动态卷积神经网络,使网络更加充分地提取回波特征,学习回波变化规律,对于提高雷达回波外推准确性,优化临近预报效果具有重要意义。

发明内容

[0005] 发明目的:本发明所要解决的技术问题是针对现有的雷达回波外推方法的外推时效短,对雷达资料利用率不足,提出了一种基于动态卷积神经网络的雷达回波外推方法,实现对雷达回波强度等高平面显示CAPPI(Constant AltitudePlan Position Indicator,CAPPI)图像的外推预测,包括以下步骤:
[0006] 步骤1,训练离线卷积神经网络:输入训练图像集,对训练图像集进行数据预处理,得到训练样本集,设计动态卷积神经网络结构,并初始化网络训练参数;利用训练样本集训练动态卷积神经网络,输入的有序图像序列经过动态卷积神经网络前向传播得到一幅预测图像,计算预测图像和对照标签之间的误差,通过反向传播更新网络的权值参数和偏置参数,重复此过程直到达到训练结束条件,得到收敛的动态卷积神经网络;
[0007] 步骤2,在线雷达回波外推:输入测试图像集,对测试图像集进行数据预处理,得到测试样本集,然后将测试样本集输入步骤1中获得的动态卷积神经网络中,经过网络前向传播计算概率向量,并将输入图像序列中的最后一幅雷达回波图像与得到的概率向量相卷积,得到预测的雷达回波外推图像。
[0008] 本发明步骤1包括以下步骤:
[0009] 步骤1-1,数据预处理:输入训练图像集,对训练图像集中的每一幅图像进行规范化处理,将每一幅图像转化为280×280的浮点数图像,得到浮点数图像集合,对浮点数图像集合进行划分,构造包含TrainsetSize组样本的训练样本集;
[0010] 步骤1-2,初始化动态卷积神经网络:设计动态卷积神经网络结构,构造用于生成概率向量的子网络,再构造用于图像外推的概率预测层,为离线神经网络训练阶段提供动态卷积神经网络初始化模型;
[0011] 步骤1-3,初始化动态卷积神经网络训练参数:令网络学习率λ=0.0001,训练阶段每次输入的样本数量BatchSize=10 ,训练样本集的最大批训练次数当前批训练次数BatchNum=1,网络训练的最大迭代次数
IterationMax=40,当前迭代次数IterationNum=1;
[0012] 步骤1-4,读取训练样本:采用批训练的方式,每次训练从步骤1-1获得的训练样本集中读取BatchSize组训练样本,每组训练样本为{x1,x2,x3,x4,y},共包含5幅图像,其中{x1,x2,x3,x4}作为输入图像序列,y为对应的对照标签;
[0013] 步骤1-5,前向传播:在子网络中提取步骤1-4获得的输入图像序列特征,得到水平概率向量HPV和垂直概率向量VPV;在概率预测层中,将输入图像序列中的最后一幅图像依次与VPV、HPV相卷积,得到前向传播的输出预测图像;
[0014] 步骤1-6,反向传播:在概率预测层中反向求得概率向量的误差项,根据概率向量的误差项从后至前逐层计算子网络层中各个网络层的误差项,进而计算各个网络层中误差项对权值参数和偏置参数的梯度,利用得到的梯度更新动态卷积神经网络的参数;
[0015] 步骤1-7,离线训练阶段控制:对离线神经网络训练阶段进行整体控制,分为以下三种情况:
[0016] 若训练样本集中仍存在未使用过的训练样本,即BatchNum<BatchMax,则返回步骤1-4继续读取BatchSize组训练样本,进行网络训练;
[0017] 若训练样本集中不存在未使用过的训练样本,即BatchNum=BatchMax,且当前网络迭代次数小于最大迭代次数,即IterationNum<IterationMax,则令BatchNum=1,返回步骤1-4继续读取BatchSize组训练样本,进行网络训练;
[0018] 若训练样本集中不存在未使用过的训练样本,即BatchNum=BatchMax,且网络迭代次数达到最大迭代次数,即IterationNum=IterationMax,则结束离线神经网络训练阶段,得到训练好的动态卷积神经网络模型。
[0019] 本发明步骤1-1数据预处理包括以下步骤:
[0020] 步骤1-1-1,采样:训练图像集中的图像按时间顺序排列,并且等时间间隔分布,时间间隔为6分钟,共包含NTrain幅图像,通过如下公式确定TrainsetSize:
[0021]
[0022] 其中,Mod(NTrain,4)表示NTrain对4取模,[N]表示不大于N的最大整数,求得TrainsetSize后,通过采样保留训练图像集中前4×TrainsetSize+1幅图像,采样时通过删除训练图像集中最后的图像使图像数量满足要求;
[0023] 步骤1-1-2,规范化图像:对采样得到的图像进行图像变换,归一化操作,将原始分辨率为2000×2000的彩色图像转换成分辨率为280×280的浮点数图像;
[0024] 步骤1-1-3,构造训练样本集:
[0025] 利用步骤1-1-2获得的浮点数图像集构造训练样本集,将浮点数图像集中每四个相邻的图像,即第{4N+1,4N+2,4N+3,4N+4}幅图像作为一组输入序列,第[4×(N+1)+1]幅图像经过裁剪,保留中央分辨率为240×240的部分作为对应样本的对照标签,对于第N组样本其构造方式如下:
[0026]
[0027] 上式中,G4N+1表示浮点数图像集中的第4N+1幅图像,N为正整数,并有N∈[0,TrainsetSize-1],Crop(·)表示裁剪操作,裁剪后保留原图像中央大小为240×240的部分,最终得到包含TrainsetSize组训练样本的训练样本集;
[0028] 其中,步骤1-1-2包括以下步骤:
[0029] 步骤1-1-2-1,图像转化:为降低卷积神经网络训练的计算复杂度,将步骤1-1-1采样得到的图像转化为灰度图像,通过裁剪保留原始图像中央分辨率为560×560的部分,将裁剪后的图像分辨率压缩为280×280,得到分辨率为280×280的灰度图;
[0030] 步骤1-1-2-2,数据归一化:将步骤1-1-2-1中获得的灰度图中的每一个像素点的值从[0~255]映射到[0~1],通过归一化之后得到分辨率为280×280的浮点数图像。
[0031] 本发明步骤1-2包括以下步骤:
[0032] 步骤1-2-1,构造子网络:
[0033] 子网络由10个网络层构成,从前至后依次为卷积层C1、下采样层S1、卷积层C2、下采样层S2、卷积层C3、下采样层S3、卷积层C4、下采样层S5、卷积层C5以及分类器层F1;
[0034] 步骤1-2-2,构造概率预测层:
[0035] 概率预测层中构造动态卷积层DC1和动态卷积层DC2,将子网络输出的垂直概率向量VPV作为动态卷积层DC1的卷积核,水平概率向量HPV作为动态卷积层DC2的卷积核;
[0036] 其中,步骤1-2-1包括以下步骤:
[0037] 步骤1-2-1-1,构造卷积层:确定以下内容:卷积层的输出特征图数量OutputMaps、卷积核k以及偏置参数bias。对于卷积核,需要确定卷积核的宽度KernelSize(卷积核的分辨率为KernelSize×KernelSize),卷积核的数量KernelNumber(该值为该卷积层输入与输出特征图数量的乘积),并根据Xavier初始化方法构造卷积核;对于偏置参数,其数量与该层的输出特征图数量相同。对于卷积层lC,lC∈{C1,C2,C3,C4,C5},该层的输出特征图宽度为 的值由其输入特征图分辨率和卷积核的大小共同决定,即表示卷积层lC的上一层卷积层
的输出特征图宽度;
[0038] 对于卷积层C1,令C1层的输出特征图数量OutputMapsC1=12,输出特征图的宽度OutputSizeC1=272,卷积核宽度KernelSizeC1=9,偏置参数biasC1均初始化为零,C1层的卷C1 C1积核k 的数量KernelNumber =48,卷积核中每一个参数的初始值为
rand(·)用于生成随机数;
[0039] 对于卷积层C2,令C2层输出特征图数量OutputMapsC2=32,输出特征图的宽度OutputSizeC2=128,卷积核宽度KernelSizeC2=9,偏置参数均初始化为零,C2层的卷积核kC2的数量KernelNumberC2=384,卷积核中每一个参数的初始值为
[0040] 对于卷积层C3,令C3层输出特征图数量OutputMapsC3=32,输出特征图的宽度OutputSizeC3=56,卷积核宽度KernelSizeC3=9,偏置参数均初始化为零,C3层的卷积核kC3C3的数量KernelNumber =1024,卷积核中每一个参数的初始值为
[0041] 对于卷积层C4,令C4层输出特征图数量OutputMapsC4=32,输出特征图的宽度OutputSizeC4=20,卷积核宽度KernelSizeC4=9,偏置参数均初始化为零,C4层的卷积核kC4C4的数量KernelNumber =1024,卷积核中每一个参数的初始值为
[0042] 对于卷积层C5,令该层OutputMapsC5=32,OutputSizeC5=4,KernelSizeC5=7,偏置参数均初始化为零,C5层的卷积核kC5的数量KernelNumberC5=1024,卷积核中每一个参数的初始值为
[0043] 步骤1-2-1-2,构造下采样层:下采样层中不包含需要训练的参数,将下采样层S1、S2、S3和S4的采样核均初始化为 对于下采样层lS,lS∈{S1,S2,S3,S4},其输出特征图数量 与其上一层的卷积层的输出特征图数量保持一致,输出特征图宽度 为其上一层的卷积层的输出特征图宽度的1/2,公式表达如下:
[0044]
[0045] 步骤1-2-1-3,构造分类器层:分类器层由一个全连接层F1构成,F1层的权值参数为水平权值参数矩阵WH和垂直权值参数矩阵WV,大小均为41×512,令权值参数矩阵中的每一个参数的初始值为 偏置参数为水平偏置参数BH和垂直偏置参数BV,均初始化为41×1的一维零向量。
[0046] 本发明步骤1-5包括以下步骤:
[0047] 步骤1-5-1,子网络计算概率向量:在子网络中通过卷积层和下采样层的交替处理提取输入的图像序列特征,在分类器层中通过Softmax函数处理,得到水平概率向量HPV和垂直概率向量VPV;
[0048] 步骤1-5-2,计算概率预测层输出图像:步骤1-5-1得到的HPV和VPV作为概率预测层的卷积核,将输入图像序列中的最后一幅图像依次与VPV、HPV相卷积,得到前向传播的输出预测图像。
[0049] 本发明步骤1-5-1包括以下步骤:
[0050] 步骤1-5-1-1,判断网络层类型:用l表示当前所处的子网络中的网络层,l初始值为C1,判断网络层l的类型,若l∈{C1,C2,C3,C4,C5},则l为卷积层,执行步骤1-5-1-2,若l∈{S1,S2,S3,S4},则l为下采样层,执行步骤1-5-1-4;
[0051] 步骤1-5-1-2,处理卷积层:此时有l=lC,lC∈{C1,C2,C3,C4,C5},首先计算lC层的第j个输出特征图 将lC层的输入特征图分别与该层的对应卷积核相卷积,将卷积结果求和,求和结果加上lC层的第j个偏置参数 再经过ReLU激活函数处理,得到 计算公式如下所示:
[0052]
[0053] 其中, 为lC层的第i个输入特征图与第j个输出特征图相对应的卷积核,n为当前卷积层的前一下采样层的输出特征图个数, 表示lC层的第i个输入特征图,同时也是lC-1层的第i个输出特征图,*表示矩阵卷积,若lC=C1,则lC-1层为输入层;
[0054] 依次计算所有的输出特征图,得到lC层的输出特征图 将l更新为l+1,并返回步骤1-5-1-1判断网络类型,进行下一个网络层的操作;
[0055] 步骤1-5-1-3,处理下采样层:此时有l=lS,lS∈{S1,S2,S3,S4},将步骤1-5-1-2得到的卷积层的输出特征图分别与 相卷积,再以步长为2进行采样,采样得到lS层的输出特征图 计算公式如下所示:
[0056]
[0057] 上式中,Sample(·)表示步长为2的采样处理,lS-1表示当前下采样层的前一卷积层, 表示lS层的输出特征图 中的第j个输出特征图,得到lS层的输出特征图 后,将l更新为l+1,并返回步骤1-5-1-1判断网络类型,进行下一个网络层的操作;
[0058] 步骤1-5-1-4,计算F1层概率向量:若网络层l为分类器层,即l=F1,通过矩阵变换,将C5的32幅分辨率为4×4的输出特征图以列顺序展开,得到分辨率为512×1的F1层的输出特征向量aF1,分别计算水平权值参数矩阵WH与aF1的外积、垂直权值参数矩阵WV与aF1的外积,将计算结果分别与水平偏置参数BH、垂直偏置参数BV求和,经Softmax函数处理后得到水平概率向量HPV和垂直概率向量VPV,具体计算公式如下:
[0059]
[0060] 将其垂直概率向量VPV转置,得到最终的垂直概率向量;
[0061] 步骤1-5-2包括以下步骤:
[0062] 步骤1-5-2-1,预测DC1层垂直方向:将输入层的最后一幅输入图像与垂直概率向量VPV相卷积,得到分辨率为240×280的DC1层输出特征图aDC1;
[0063] 步骤1-5-2-2,预测DC2层垂直方向:将DC1层输出特征图aDC1与垂直概率向量HPV相卷积,得到前向传播的输出预测图像,其分辨率为240×240。
[0064] 本发明步骤1-6包括以下步骤:
[0065] 步骤1-6-1,计算概率预测层误差项:将步骤1-5-2-2获得的预测图像与输入的训练样本中的对照标签求差,计算DC2层、DC1层的误差项,最终求得水平概率向量的误差项δHPV和垂直概率向量的误差项δVPV;
[0066] 步骤1-6-2,计算子网络误差项:根据水平概率向量的误差项δHPV和垂直概率向量的误差项δVPV,从后至前依次计算分类层F1,卷积层C5、C4、C3、C2、C1和下采样层S4、S3、S2、S1的误差项,求得的任一层误差项矩阵的分辨率与该层的输出特征图的分辨率相一致;
[0067] 步骤1-6-3,计算梯度:根据步骤1-6-2获得的误差项计算子网络各个网络层的误差项对该层权值参数和偏置参数的梯度值;
[0068] 步骤1-6-4,更新参数:将步骤1-6-3获得的各网络层的权值参数和偏置参数的梯度值乘上动态卷积神经网络的学习率,得到各网络层权值参数和偏置参数的更新项,将原权值参数和偏置参数分别与该更新项求差,得到更新后的权值参数和偏置参数。
[0069] 本发明步骤1-6-1包括以下步骤:
[0070] 步骤1-6-1-1,计算动态卷积层DC2误差项:将步骤1-5-2-2获得的预测图像与该组样本的对照标签求差,得到大小为240×240的误差项矩阵δDC2;
[0071] 步骤1-6-1-2,计算动态卷积层DC1误差项:通过零填充将DC2层的误差项矩阵δDC2拓展为240×320,将水平概率向量旋转180度,将拓展后的误差项矩阵与翻转后的水平概率向量相卷积,得到DC1层的误差项矩阵δDC1,其大小为240×280,公式如下所示:
[0072] δDC1=Expand_Zero(δDC2)*rot180(HPV),
[0073] 其中,Expand_Zero(·)表示零扩充函数,rot180(·)表示角度为180°的旋转函数,将2×2的矩阵零扩充为4×4的矩阵,零扩充后的矩阵,中央分辨率为2×2的区域与原矩阵相一致,其余位置用零像素填充;
[0074] 步骤1-6-1-3,计算概率向量误差项:计算水平概率向量HPV的误差项,将DC1层的输出特征图与误差项矩阵δDC2相卷积,卷积后得到1×41的行向量,该向量为HPV的误差项δHPV,公式如下:
[0075] δHPV=aDC1*δDC2,
[0076] 计算垂直概率向量VPV的误差项,将输入层的输入特征图与误差项矩阵δDC1相卷积,卷积后得到41×1的列向量,该向量为VPV的误差项δVPV,公式如下:
[0077]
[0078] 其中, 为训练样本的输入图像序列中的最后一幅图像;
[0079] 步骤1-6-2包括以下步骤:
[0080] 步骤1-6-2-1,计算分类器层F1误差项:将步骤1-6-1-3获得的概率向量的误差项δVPV和δHPV分别与F1层的垂直权值参数矩阵WV和水平权值参数矩阵WH进行矩阵相乘,再将矩阵的外积求和并取平均值,得到F1层的误差项δF1,公式如下:
[0081]
[0082] 其中,×表示矩阵外积,(·)T代表矩阵的转置,得到的δF1的大小为512×1;
[0083] 步骤1-6-2-2,计算卷积层C5误差项:通过矩阵变换,将步骤1-6-2-1中获得的F1层的误差项δF1变换为32个分辨率为4×4的矩阵 得到C5层的误差项δC5, 表示变换后的第32个分辨率为4×4的矩阵;此次矩阵变换与步骤1-5-1-6中的矩阵变换互为逆变换,
[0084] 步骤1-6-2-3,判断网络层类型:用l表示当前所处的子网络中的网络层(l初始值为S4),判断网络层l的类型,若l∈{S4,S3,S2,S1},则l为下采样层,执行步骤1-6-2-4,若l∈{C4,C3,C2,C1},则l为卷积层,执行步骤1-6-2-5;
[0085] 步骤1-6-2-4,计算下采样层误差项:若l层为下采样层,此时有l=lS,lS∈{S1,S2,S3,S4},对于lS层的第i个误差项矩阵 通过零填充分别将lS+1层的各个误差项矩阵拓展至宽度为 其中lS+1层表示当前下采样层的后一卷积层,j表示lS+1层的第j个误差项,并有 再将对应的卷积核 旋转180度,然后将拓展后
的矩阵与翻转后的卷积核相卷积,并将卷积结果求和,得到lS层的第i个误差项矩阵 公式如下所示:
[0086]
[0087] 其中,
[0088] 依次计算所有的误差项矩阵,得到lS层的输出特征图 将l更新为l-1,并返回步骤1-6-2-3判断网络类型,计算上一个网络层的误差项;
[0089] 步骤1-6-2-5,计算卷积层误差项:若l层为卷积层,此时有l=lC,lC∈{C1,C2,C3,C4,C5},由于步骤1-6-2-3中l的初始值为S4,因此并不会出现lC=C5的情况,对于lC层的第i个误差项矩阵 先对lC+1层中的对应的第i个误差项矩阵 进行上采样,上采样时将中每个元素的误差项值平均分至采样区域中,得到分辨率为的上采样矩阵,再计算激活函数在lC层对应特征图处的导数与求得的上采样矩阵的内积,得到lC层的第i个误差项矩阵 公式如下所示:
[0090]
[0091] 其中,·表示矩阵内积,ReLU'(·)表示ReLU激活函数的导数,其形式如下:
[0092]
[0093] UpSample(·)表示上采样函数,上采样后原图像中的每一个像素对应一个上采样区域,原像素值平均分配至采样区域中的每一个像素点中,依次计算所有的误差项矩阵,得到lC层的输出特征图
[0094] 步骤1-6-2-6,此时l层为卷积层,即l=lC,之后分为两种情况:
[0095] 若l≠C1,则将l更新为l-1,并返回步骤1-6-2-3判断网络类型,计算上一个网络层的误差项;
[0096] 若l=C1,则步骤1-6-2子网络误差项计算结束;
[0097] 步骤1-6-3包括以下步骤:
[0098] 步骤1-6-3-1,计算卷积层误差项对卷积核的梯度:用lC表示当前处理的卷积层,lC∈{C1,C2,C3,C4,C5},从C1层开始逐层计算各卷积层误差项对卷积核的梯度,将lC-1层的第i个输出特征图 与第lC层的第j个误差项矩阵 相卷积,卷积结果为对应卷积核的梯度值 公式如下:
[0099]
[0100] 上式中, 与 分别表示第lC层的输出特征图个数与第lC-1层的输出特征图个数,▽k为误差项对卷积核的梯度值;
[0101] 步骤1-6-3-2,计算各卷积层误差项对偏置的梯度:用lC表示当前处理的卷积层,lC∈{C1,C2,C3,C4,C5},从C1层开始逐层计算各卷积层误差项对偏置的梯度,将lC层的第j个误差项矩阵 中的所有元素进行求和,得到该层第j个偏置的梯度值 公式如下所示:
[0102]
[0103] 其中,Sum(·)表示对矩阵的所有元素进行求和;
[0104] 步骤1-6-3-3,计算F1层误差项对权值参数的梯度:分别计算水平概率向量与垂直HPV VPV F1概率向量的误差项δ 、δ 与F1层误差项δ 的内积,计算结果为F1层误差项对权值参数WH、WV的梯度值,公式如下:
[0105] ▽WH=(δHPV)T×(δF1)T,
[0106] ▽WV=δVPV×(δF1)T,
[0107] 上式中,▽WH为误差项对水平权值参数的梯度值,▽WV为误差项对垂直权值参数的梯度值;
[0108] 步骤1-6-3-4,计算F1层误差项对偏置参数的梯度:将水平概率向量与垂直概率向量的误差项δHPV、δVPV分别作为F1层误差项对水平偏置参数BH和垂直偏置参数BV的梯度值,公式如下:
[0109] ▽BH=(δHPV)T,
[0110] ▽BV=δVPV,
[0111] 其中,▽BH为误差项对水平偏置参数的梯度值,▽BV为误差项对垂直偏置参数的梯度值;
[0112] 步骤1-6-4包括以下步骤:
[0113] 步骤1-6-4-1,更新各卷积层权值参数:将步骤1-6-3-1获得的各卷积层误差项对卷积核的梯度乘上动态卷积神经网络的学习率,得到卷积核的修正项,再将原卷积核与该修正项求差,得到更新的卷积核 公式如下:
[0114]
[0115] 其中,λ为步骤1-3中确定的网络学习率,λ=0.0001;
[0116] 步骤1-6-4-2,更新各卷积层偏置参数:将步骤1-6-3-2获得的各卷积层误差项对偏置的梯度乘上动态卷积神经网络的学习率,得到偏置参数的修正项,再将原偏置项与该修正项求差,得到更新的偏置项 公式如下:
[0117]
[0118] 步骤1-6-4-3,更新F1层权值参数:将步骤1-6-3-3获得的F1层误差项对权值参数WH和WV的梯度值乘上动态卷积神经网络的学习率,得到权值参数的修正项,再将原权值参数WH和WV分别与求得的修正项求差,得到更新的WH和WV,公式如下:
[0119] WH=WH-λ▽WH,
[0120] WV=WV-λ▽WV;
[0121] 步骤1-6-4-4,更新F1层偏置参数:将步骤1-6-3-4获得的F1层误差项对偏置参数BH和BV的梯度值乘上动态卷积神经网络的学习率,得到偏置参数的修正项,再将原偏置参数BH和BV分别与求得的修正项求差,得到更新的BH和BV,公式如下:
[0122] BH=BH-λ▽BH,
[0123] BV=BV-λ▽BV。
[0124] 本发明步骤2包括以下步骤:
[0125] 步骤2-1,数据预处理:输入测试图像集,对测试图像集中的每一幅图像进行规范化处理,将每一幅图像转化为280×280的浮点数图像,再对浮点数图像集合进行划分,构造包含TestsetSize组样本的测试样本集;
[0126] 步骤2-2,读取测试样本:将步骤2-1获得的TestsetSize组测试样本输入经过训练的动态卷积神经网络中;
[0127] 步骤2-3,前向传播:在子网络中提取输入的图像序列特征,得到水平概率向量HPVtest和垂直概率向量VPVtest;在概率预测层中,将输入图像序列中的最后一幅图像依次与VPVtest、HPVtest相卷积,得到动态卷积神经网络最终的外推图像。
[0128] 本发明步骤2-1包括以下步骤:
[0129] 步骤2-1-1,采样:测试图像集中的图像按时间顺序排列,并且等时间间隔分布,时间间隔为6分钟,共包含NTest幅图像,通过如下公式确定TestsetSize:
[0130] 如果Mod(NTest,4)=0则
[0131] 如果Mod(NTest,4)≠0则
[0132] 求得TestsetSize后,通过采样保留测试图像集中前4×TestsetSize+1幅图像,采样时通过删除测试图像集中最后的图像使图像数量满足要求;
[0133] 步骤2-1-2,图像规范化:对采样得到的图像进行图像变换,归一化操作,将原始分辨率为2000×2000的彩色图像转换成分辨率为280×280的浮点数图像;
[0134] 步骤2-1-3,构造测试样本集:利用步骤2-1-2获得的浮点数图像集构造测试样本集,将浮点数图像集中每四个相邻的图像,即第{4M+1,4M+2,4M+3,4M+4}幅图像作为一组输入序列,第[4×(M+1)+1]幅图像经过裁剪,保留中央分辨率为240×240的部分作为对应样本的对照标签,其中为正整数,并有M∈[0,TestsetSize-1]得到包含TestsetSize组测试样本的测试样本集;
[0135] 步骤2-1-2包括以下步骤:
[0136] 步骤2-1-2-1,图像转化:为降低卷积神经网络训练的计算复杂度,将彩色的回波强度CAPPI图像转化为灰度图像,再通过裁剪保留原始图像中央分辨率为560×560的部分,将裁剪后的图像分辨率压缩为280×280,得到分辨率为280×280的灰度图;
[0137] 步骤2-1-2-2,数据归一化:将步骤1-1-2-1中获得的灰度图中的每一个像素点的值从[0~255]映射到[0~1],通过归一化之后得到分辨率为280×280的浮点数图像;
[0138] 步骤2-3包括以下步骤:
[0139] 步骤2-3-1,计算子网络概率向量:在子网络中通过卷积层和下采样层的交替处理提取输入的图像序列特征,然后在分类器层中通过Softmax函数处理,得到水平概率向量HPVtest和垂直概率向量VPVtest;
[0140] 步骤2-3-2,计算概率预测层输出图像:步骤2-3-1得到的VPVtest和HPVtest作为概率预测层的卷积核,将输入图像序列中的最后一幅图像依次与VPVtest和HPVtest相卷积,得到动态卷积神经网络最终的外推图像;
[0141] 步骤2-3-1包括以下步骤:
[0142] 步骤2-3-1-1,判断网络层类型:用p表示当前所处的子网络中的网络层,判断网络层p的类型,p初始值为C1,若p∈{C1,C2,C3,C4,C5},则p为卷积层,执行步骤2-3-1-2,若p∈{S1,S2,S3,S4},则p为下采样层,执行步骤2-3-1-4;
[0143] 步骤2-3-1-2,处理卷积层:此时有p=pC,pC∈{C1,C2,C3,C4,C5},首先计算pC层的第v个输出特征图 将pC层的输入特征图分别与该层的对应卷积核相卷积,再将卷积结果求和,求和结果加上pC层的第v个偏置 再经过ReLU激活函数处理,得到pC层的第v个输出特征图 计算公式如下所示:
[0144]
[0145] 其中, 为pC层的第u个输入特征图与第v个输出特征图相对应的卷积核,m为当前卷积层的前一下采样层的输出特征图个数, 表示pC层的第u个输入特征图,同时也是pC-1层的第u个输出特征图,*表示矩阵卷积,当pC=C1时,则pC-1层为输入层。
[0146] 依次计算所有的输出特征图,得到pC层的输出特征图 将p更新为p+1,并返回步骤2-3-1-1判断网络类型,进行下一个网络层的操作;
[0147] 步骤2-3-1-3,处理下采样层:此时有p=pS,pS∈{S1,S2,S3,S4},将步骤2-3-1-2得到的卷积层的输出特征图分别与 相卷积,再以步长为2进行采样,采样得到pS层的输出特征图 计算公式如下所示:
[0148] 其中,Sample(·)表示步长为2的采样处理,pS-1表示当前下采样层的前一卷积层, 表示pS层的输出特征图 中的第j个输出特征图,得到pS层的输出特征图 后,将p更新为p+1,并返回步骤2-3-1-1判断网络类型,进行下一个网络层的操作;
[0149] 步骤2-3-1-4,计算F1层概率向量:若网络层p为分类器层,即p=F1,通过矩阵变换,将C5的32幅分辨率为4×4的输出特征图以列顺序展开,得到分辨率为512×1的F1层的输出特征向量 然后分别计算水平参数矩阵WH、垂直参数矩阵WV与 的外积,将计算结果分别与水平偏置参数BH、垂直偏置参数BV求和,求和结果经Softmax函数处理后得到水平概率向量HPVtest、垂直概率向量VPVtest,计算公式如下:
[0150]
[0151]
[0152] 将其垂直概率向量VPVtest转置,得到最终的垂直概率向量;
[0153] 步骤2-3-2包括以下步骤:
[0154] 步骤2-3-2-1,预测DC1层垂直方向:将输入层的最后一幅输入图像与垂直概率向量VPVtest相卷积,得到分辨率为240×280的DC1层输出特征图
[0155] 步骤2-3-2-2,预测DC2层垂直方向:将步骤2-3-2-1获得的 与水平概率向量HPVtest相卷积,得到动态卷积神经网络最终的外推图像,其分辨率为240×240,将外推图像与对应测试样本的对照标签相对比,判定动态卷积神经网络进行雷达回波外推的准确性。
[0156] 有益效果:基于动态卷积神经网络,在大量的雷达回波图像集上进行训练,并利用训练好的网络进行雷达回波外推,有效提高了雷达回波外推的准确度。
[0157] 具体而言本发明与已有方法相比有以下优点:1.雷达资料的利用率高,与传统雷达回波外推技术只利用少量的雷达资料相比,本发明在大量的雷达回波图像集上训练,数据利用率更高;2.外推时效长,可以通过调整训练样本集中样本之间的时间间隔来提高外推时效。

附图说明

[0158] 下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述或其他方面的优点将会变得更加清楚。
[0159] 图1为本发明流程图。
[0160] 图2为动态卷积神经网络初始化模型结构图。
[0161] 图3为子网络构造图。
[0162] 图4为概率预测层构造图。
[0163] 图5为矩阵零扩充示意图。
[0164] 图6为对2×2的矩阵进行上采样的过程示意图。

具体实施方式

[0165] 下面结合附图及实施例对本发明做进一步说明。
[0166] 如图1所示,本发明包括以下步骤:
[0167] 步骤1,如图2所示,训练离线卷积神经网络:输入训练图像集,对训练图像集进行数据预处理,得到训练样本集,设计动态卷积神经网络结构,并初始化网络训练参数;利用训练样本集训练动态卷积神经网络,输入的有序图像序列经过动态卷积神经网络前向传播得到一幅预测图像,计算预测图像和对照标签之间的误差,通过反向传播更新网络的权值参数和偏置参数,重复此过程直到达到训练结束条件,得到收敛的动态卷积神经网络;
[0168] 步骤2,在线雷达回波外推:输入测试图像集,对测试图像集进行数据预处理,得到测试样本集,然后将测试样本集输入步骤1中获得的动态卷积神经网络中,经过网络前向传播计算概率向量,并将输入图像序列中的最后一幅雷达回波图像与得到的概率向量相卷积,得到预测的雷达回波外推图像。
[0169] 本发明步骤1包括以下步骤:
[0170] 步骤1-1,数据预处理:输入训练图像集,对训练图像集中的每一幅图像进行规范化处理,将每一幅图像转化为280×280的浮点数图像,得到浮点数图像集合,对浮点数图像集合进行划分,构造包含TrainsetSize组样本的训练样本集;
[0171] 步骤1-2,初始化动态卷积神经网络:设计动态卷积神经网络结构,构造用于生成概率向量的子网络,再构造用于图像外推的概率预测层,为离线神经网络训练阶段提供动态卷积神经网络初始化模型;
[0172] 步骤1-3,初始化动态卷积神经网络训练参数:令网络学习率λ=0.0001,训练阶段每次输入的样本数量BatchSize=10 ,训练样本集的最大批训练次数当前批训练次数BatchNum=1,网络训练的最大迭代次数
IterationMax=40,当前迭代次数IterationNum=1;
[0173] 步骤1-4,读取训练样本:采用批训练的方式,每次训练从步骤1-1获得的训练样本集中读取BatchSize组训练样本,每组训练样本为{x1,x2,x3,x4,y},共包含5幅图像,其中{x1,x2,x3,x4}作为输入图像序列,x1表示第一幅图像,y为对应的对照标签;
[0174] 步骤1-5,前向传播:在子网络中提取步骤1-4获得的输入图像序列特征,得到水平概率向量HPV和垂直概率向量VPV;在概率预测层中,将输入图像序列中的最后一幅图像依次与VPV、HPV相卷积,得到前向传播的输出预测图像;
[0175] 步骤1-6,反向传播:在概率预测层中反向求得概率向量的误差项,根据概率向量的误差项从后至前逐层计算子网络层中各个网络层的误差项,进而计算各个网络层中误差项对权值参数和偏置参数的梯度,利用得到的梯度更新动态卷积神经网络的参数;
[0176] 步骤1-7,离线训练阶段控制:对离线神经网络训练阶段进行整体控制,分为以下三种情况:
[0177] 若训练样本集中仍存在未使用过的训练样本,即BatchNum<BatchMax,则返回步骤1-4继续读取BatchSize组训练样本,进行网络训练;
[0178] 若训练样本集中不存在未使用过的训练样本,即BatchNum=BatchMax,且当前网络迭代次数小于最大迭代次数,即IterationNum<IterationMax,则令BatchNum=1,返回步骤1-4继续读取BatchSize组训练样本,进行网络训练;
[0179] 若训练样本集中不存在未使用过的训练样本,即BatchNum=BatchMax,且网络迭代次数达到最大迭代次数,即IterationNum=IterationMax,则结束离线神经网络训练阶段,得到训练好的动态卷积神经网络模型。
[0180] 本发明步骤1-1数据预处理包括以下步骤:
[0181] 步骤1-1-1,采样:训练图像集中的图像按时间顺序排列,并且等时间间隔分布,时间间隔为6分钟,共包含NTrain幅图像,通过如下公式确定TrainsetSize:
[0182]
[0183] 其中,Mod(NTrain,4)表示NTrain对4取模,[N]表示不大于N的最大整数,求得TrainsetSize后,通过采样保留训练图像集中前4×TrainsetSize+1幅图像,采样时通过删除训练图像集中最后的图像使图像数量满足要求;
[0184] 步骤1-1-2,规范化图像:对采样得到的图像进行图像变换,归一化操作,将原始分辨率为2000×2000的彩色图像转换成分辨率为280×280的浮点数图像;
[0185] 步骤1-1-3,构造训练样本集:
[0186] 利用步骤1-1-2获得的浮点数图像集构造训练样本集,将浮点数图像集中每四个相邻的图像,即第{4N+1,4N+2,4N+3,4N+4}幅图像作为一组输入序列,第[4×(N+1)+1]幅图像经过裁剪,保留中央分辨率为240×240的部分作为对应样本的对照标签,对于第N组样本其构造方式如下:
[0187]
[0188] 上式中,G4N+1表示浮点数图像集中的第4N+1幅图像,N为正整数,并有N∈[0,TrainsetSize-1],Crop(·)表示裁剪操作,裁剪后保留原图像中央大小为240×240的部分,最终得到包含TrainsetSize组训练样本的训练样本集;
[0189] 其中,步骤1-1-2包括以下步骤:
[0190] 步骤1-1-2-1,图像转化:为降低卷积神经网络训练的计算复杂度,将步骤1-1-1采样得到的图像转化为灰度图像,通过裁剪保留原始图像中央分辨率为560×560的部分,将裁剪后的图像分辨率压缩为280×280,得到分辨率为280×280的灰度图;
[0191] 步骤1-1-2-2,数据归一化:将步骤1-1-2-1中获得的灰度图中的每一个像素点的值从[0~255]映射到[0~1],通过归一化之后得到分辨率为280×280的浮点数图像。
[0192] 本发明步骤1-2包括以下步骤:
[0193] 步骤1-2-1,构造子网络:将子网络构造为如图3所示结构:
[0194] 子网络由10个网络层构成,从前至后依次为卷积层C1、下采样层S1、卷积层C2、下采样层S2、卷积层C3、下采样层S3、卷积层C4、下采样层S5、卷积层C5以及分类器层F1;
[0195] 步骤1-2-2,构造概率预测层:将概率预测层构造为如图4所示结构:
[0196] 概率预测层中构造动态卷积层DC1和动态卷积层DC2,将子网络输出的垂直概率向量VPV作为动态卷积层DC1的卷积核,水平概率向量HPV作为动态卷积层DC2的卷积核;
[0197] 其中,步骤1-2-1包括以下步骤:
[0198] 步骤1-2-1-1,构造卷积层:确定以下内容:卷积层的输出特征图数量OutputMaps、卷积核k以及偏置参数bias。对于卷积核,需要确定卷积核的宽度KernelSize(卷积核的分辨率为KernelSize×KernelSize),卷积核的数量KernelNumber(该值为该卷积层输入与输出特征图数量的乘积),并根据Xavier初始化方法构造卷积核;对于偏置参数,其数量与该层的输出特征图数量相同。对于卷积层lC,lC∈{C1,C2,C3,C4,C5},该层的输出特征图宽度为 的值由其输入特征图分辨率和卷积核的大小共同决定,即
[0199] 对于卷积层C1,令C1层的输出特征图数量OutputMapsC1=12,输出特征图的宽度OutputSizeC1=272,卷积核宽度KernelSizeC1=9,偏置参数biasC1均初始化为零,C1层的卷积核kC1的数量KernelNumberC1=48,卷积核中每一个参数的初始值为rand(·)用于生成随机数;
[0200] 对于卷积层C2,令该层OutputMapsC2=32,OutputSizeC2=128,KernelSizeC2=9,偏置参数均初始化为零,C2层的卷积核kC2的数量KernelNumberC2=384,卷积核中每一个参数的初始值为
[0201] 对于卷积层C3,令该层OutputMapsC3=32,OutputSizeC3=56,KernelSizeC3=9,偏置参数均初始化为零,C3层的卷积核kC3的数量KernelNumberC3=1024,卷积核中每一个参数的初始值为
[0202] 对于卷积层C4,令该层OutputMapsC4=32,OutputSizeC4=20,KernelSizeC4=9,偏C4 C4置参数均初始化为零,C4层的卷积核k 的数量KernelNumber =1024,卷积核中每一个参数的初始值为
[0203] 对于卷积层C5,令该层OutputMapsC5=32,OutputSizeC5=4,KernelSizeC5=7,偏C5 C5置参数均初始化为零,C5层的卷积核k 的数量KernelNumber =1024,卷积核中每一个参数的初始值为
[0204] 步骤1-2-1-2,构造下采样层:下采样层中不包含需要训练的参数,将下采样层S1、S2、S3和S4的采样核均初始化为 对于下采样层lS,lS∈{S1,S2,S3,S4},其输出特征图数量 与其上一层的卷积层的输出特征图数量保持一致,输出特征图宽度 为其上一层的卷积层的输出特征图宽度的1/2,公式表达如下:
[0205]
[0206] 步骤1-2-1-3,构造分类器层:分类器层由一个全连接层F1构成,F1层的权值参数为水平权值参数矩阵WH和垂直权值参数矩阵WV,大小均为41×512,令权值参数矩阵中的每一个参数的初始值为 偏置参数为水平偏置参数BH和垂直偏置参数BV,均初始化为41×1的一维零向量。
[0207] 本发明步骤1-5包括以下步骤:
[0208] 步骤1-5-1,子网络计算概率向量:在子网络中通过卷积层和下采样层的交替处理提取输入的图像序列特征,在分类器层中通过Softmax函数处理,得到水平概率向量HPV和垂直概率向量VPV;
[0209] 步骤1-5-2,计算概率预测层输出图像:步骤1-5-1得到的HPV和VPV作为概率预测层的卷积核,将输入图像序列中的最后一幅图像依次与VPV、HPV相卷积,得到前向传播的输出预测图像。
[0210] 本发明步骤1-5-1包括以下步骤:
[0211] 步骤1-5-1-1,判断网络层类型:用l表示当前所处的子网络中的网络层,l初始值为C1,判断网络层l的类型,若l∈{C1,C2,C3,C4,C5},则l为卷积层,执行步骤1-5-1-2,若l∈{S1,S2,S3,S4},则l为下采样层,执行步骤1-5-1-4;
[0212] 步骤1-5-1-2,处理卷积层:此时有l=lC,lC∈{C1,C2,C3,C4,C5},首先计算lC层的第j个输出特征图 将lC层的输入特征图分别与该层的对应卷积核相卷积,将卷积结果求和,求和结果加上lC层的第j个偏置参数 再经过ReLU激活函数处理,得到 计算公式如下所示:
[0213]
[0214] 其中, 为lC层的第i个输入特征图与第j个输出特征图相对应的卷积核,n为当前卷积层的前一下采样层的输出特征图个数, 表示lC层的第i个输入特征图,同时也是lC-1层的第i个输出特征图,*表示矩阵卷积,若lC=C1,则lC-1层为输入层;
[0215] 依次计算所有的输出特征图,得到lC层的输出特征图 将l更新为l+1,并返回步骤1-5-1-1判断网络类型,进行下一个网络层的操作;
[0216] 步骤1-5-1-3,处理下采样层:此时有l=lS,lS∈{S1,S2,S3,S4},将步骤1-5-1-2得到的卷积层的输出特征图分别与 相卷积,再以步长为2进行采样,采样得到lS层的输出特征图 计算公式如下所示:
[0217]
[0218] 上式中,Sample(·)表示步长为2的采样处理,lS-1表示当前下采样层的前一卷积层, 表示lS层的输出特征图 中的第j个输出特征图,得到lS层的输出特征图 后,将l更新为l+1,并返回步骤1-5-1-1判断网络类型,进行下一个网络层的操作;
[0219] 步骤1-5-1-4,计算F1层概率向量:若网络层l为分类器层,即l=F1,通过矩阵变换,将C5的32幅分辨率为4×4的输出特征图以列顺序展开,得到分辨率为512×1的F1层的输出特征向量aF1,分别计算水平权值参数矩阵WH与aF1的外积、垂直权值参数矩阵WV与aF1的外积,将计算结果分别与水平偏置参数BH、垂直偏置参数BV求和,经Softmax函数处理后得到水平概率向量HPV和垂直概率向量VPV,具体计算公式如下:
[0220]
[0221] 将其垂直概率向量VPV转置,得到最终的垂直概率向量;
[0222] 步骤1-5-2包括以下步骤:
[0223] 步骤1-5-2-1,预测DC1层垂直方向:将输入层的最后一幅输入图像与垂直概率向量VPV相卷积,得到分辨率为240×280的DC1层输出特征图aDC1;
[0224] 步骤1-5-2-2,预测DC2层垂直方向:将DC1层输出特征图aDC1与垂直概率向量HPV相卷积,得到前向传播的输出预测图像,其分辨率为240×240。
[0225] 本发明步骤1-6包括以下步骤:
[0226] 步骤1-6-1,计算概率预测层误差项:将步骤1-5-2-2获得的预测图像与输入的训练样本中的对照标签求差,计算DC2层、DC1层的误差项,最终求得水平概率向量的误差项δHPV和垂直概率向量的误差项δVPV;
[0227] 步骤1-6-2,计算子网络误差项:根据水平概率向量的误差项δHPV和垂直概率向量的误差项δVPV,从后至前依次计算分类层F1,卷积层C5、C4、C3、C2、C1和下采样层S4、S3、S2、S1的误差项,求得的任一层误差项矩阵的分辨率与该层的输出特征图的分辨率相一致;
[0228] 步骤1-6-3,计算梯度:根据步骤1-6-2获得的误差项计算子网络各个网络层的误差项对该层权值参数和偏置参数的梯度值;
[0229] 步骤1-6-4,更新参数:将步骤1-6-3获得的各网络层的权值参数和偏置参数的梯度值乘上动态卷积神经网络的学习率,得到各网络层权值参数和偏置参数的更新项,将原权值参数和偏置参数分别与该更新项求差,得到更新后的权值参数和偏置参数。
[0230] 本发明步骤1-6-1包括以下步骤:
[0231] 步骤1-6-1-1,计算动态卷积层DC2误差项:将步骤1-5-2-2获得的预测图像与该组样本的对照标签求差,得到大小为240×240的误差项矩阵δDC2;
[0232] 步骤1-6-1-2,计算动态卷积层DC1误差项:通过零填充将DC2层的误差项矩阵δDC2拓展为240×320,将水平概率向量旋转180度,将拓展后的误差项矩阵与翻转后的水平概率向量相卷积,得到DC1层的误差项矩阵δDC1,其大小为240×280,公式如下所示:
[0233] δDC1=Expand_Zero(δDC2)*rot180(HPV),
[0234] 其中,Expand_Zero(·)表示零扩充函数,rot180(·)表示角度为180°的旋转函数,将2×2的矩阵零扩充为4×4的过程如图5所示,零扩充后的矩阵,中央分辨率为2×2的区域与原矩阵相一致,其余位置用零像素填充;
[0235] 步骤1-6-1-3,计算概率向量误差项:计算水平概率向量HPV的误差项,将DC1层的DC2输出特征图与误差项矩阵δ 相卷积,卷积后得到1×41的行向量,该向量为HPV的误差项δHPV,公式如下:
[0236] δHPV=aDC1*δDC2,
[0237] 计算垂直概率向量VPV的误差项,将输入层的输入特征图与误差项矩阵δDC1相卷VPV积,卷积后得到41×1的列向量,该向量为VPV的误差项δ ,公式如下:
[0238]
[0239] 其中, 为训练样本的输入图像序列中的最后一幅图像;
[0240] 步骤1-6-2包括以下步骤:
[0241] 步骤1-6-2-1,计算分类器层F1误差项:将步骤1-6-1-3获得的概率向量的误差项δVPV和δHPV分别与F1层的垂直权值参数矩阵WV和水平权值参数矩阵WH进行矩阵相乘,再将矩F1阵的外积求和并取平均值,得到F1层的误差项δ ,公式如下:
[0242]
[0243] 其中,×表示矩阵外积,(·)T代表矩阵的转置,得到的δF1的大小为512×1;
[0244] 步骤1-6-2-2,计算卷积层C5误差项:通过矩阵变换,将步骤1-6-2-1中获得的F1层的误差项δF1变换为32个分辨率为4×4的矩阵 得到C5层的误差项表示变换后的第32个分辨率为4×4的矩阵;此次矩阵变换与步骤1-5-1-6中的矩阵变换互为逆变换,
[0245] 步骤1-6-2-3,判断网络层类型:用l表示当前所处的子网络中的网络层(l初始值为S4),判断网络层l的类型,若l∈{S4,S3,S2,S1},则l为下采样层,执行步骤1-6-2-4,若l∈{C4,C3,C2,C1},则l为卷积层,执行步骤1-6-2-5;
[0246] 步骤1-6-2-4,计算下采样层误差项:若l层为下采样层,此时有l=lS,lS∈{S1,S2,S3,S4},对于lS层的第i个误差项矩阵 通过零填充分别将lS+1层的各个误差项矩阵拓展至宽度为 其中lS+1层表示当前下采样层的后一卷积层,j表示lS+1层的第j个误差项,并有 再将对应的卷积核 旋转180度,然后将拓展后
的矩阵与翻转后的卷积核相卷积,并将卷积结果求和,得到lS层的第i个误差项矩阵 公式如下所示:
[0247]
[0248] 其中,
[0249] 依次计算所有的误差项矩阵,得到lS层的输出特征图 将l更新为l-1,并返回步骤1-6-2-3判断网络类型,计算上一个网络层的误差项;
[0250] 步骤1-6-2-5,计算卷积层误差项:若l层为卷积层,此时有l=lC,lC∈{C1,C2,C3,C4,C5},由于步骤1-6-2-3中l的初始值为S4,因此并不会出现lC=C5的情况,对于lC层的第i个误差项矩阵 先对lC+1层中的对应的第i个误差项矩阵 进行上采样,上采样时将中每个元素的误差项值平均分至采样区域中,得到分辨率为的上采样矩阵,再计算激活函数在lC层对应特征图处的导数与求得的上采样矩阵的内积,得到lC层的第i个误差项矩阵 公式如下所示:
[0251]
[0252] 其中,·表示矩阵内积,ReLU'(·)表示ReLU激活函数的导数,其形式如下:
[0253]
[0254] UpSample(·)表示上采样函数,图6为对2×2的矩阵进行上采样的过程,上采样后原图像中的每一个像素对应一个上采样区域,原像素值平均分配至采样区域中的每一个像素点中,依次计算所有的误差项矩阵,得到lC层的输出特征图
[0255] 步骤1-6-2-6,此时l层为卷积层,即l=lC,之后分为两种情况:
[0256] 若l≠C1,则将l更新为l-1,并返回步骤1-6-2-3判断网络类型,计算上一个网络层的误差项;
[0257] 若l=C1,则步骤1-6-2子网络误差项计算结束;
[0258] 步骤1-6-3包括以下步骤:
[0259] 步骤1-6-3-1,计算卷积层误差项对卷积核的梯度:用lC表示当前处理的卷积层,lC∈{C1,C2,C3,C4,C5},从C1层开始逐层计算各卷积层误差项对卷积核的梯度,将lC-1层的第i个输出特征图 与第lC层的第j个误差项矩阵 相卷积,卷积结果为对应卷积核的梯度值 公式如下:
[0260]
[0261] 上式中, 与 分别表示第lC层与第lC-1层的输出特征图个数,▽k为误差项对卷积核的梯度值;
[0262] 步骤1-6-3-2,计算各卷积层误差项对偏置的梯度:用lC表示当前处理的卷积层,lC∈{C1,C2,C3,C4,C5},从C1层开始逐层计算各卷积层误差项对偏置的梯度,将lC层的第j个误差项矩阵 中的所有元素进行求和,得到该层第j个偏置的梯度值 公式如下所示:
[0263]
[0264] 其中,Sum(·)表示对矩阵的所有元素进行求和;
[0265] 步骤1-6-3-3,计算F1层误差项对权值参数的梯度:分别计算水平概率向量与垂直概率向量的误差项δHPV、δVPV与F1层误差项δF1的内积,计算结果为F1层误差项对权值参数WH、WV的梯度值,公式如下:
[0266] ▽WH=(δHPV)T×(δF1)T,
[0267] ▽WV=δVPV×(δF1)T,
[0268] 上式中,▽WH为误差项对水平权值参数的梯度值,▽WV为误差项对垂直权值参数的梯度值;
[0269] 步骤1-6-3-4,计算F1层误差项对偏置参数的梯度:将水平概率向量与垂直概率向HPV VPV量的误差项δ 、δ 分别作为F1层误差项对水平偏置参数BH和垂直偏置参数BV的梯度值,公式如下:
[0270] ▽BH=(δHPV)T,
[0271] ▽BV=δVPV,
[0272] 其中,▽BH为误差项对水平偏置参数的梯度值,▽BV为误差项对垂直偏置参数的梯度值;
[0273] 步骤1-6-4包括以下步骤:
[0274] 步骤1-6-4-1,更新各卷积层权值参数:将步骤1-6-3-1获得的各卷积层误差项对卷积核的梯度乘上动态卷积神经网络的学习率,得到卷积核的修正项,再将原卷积核与该修正项求差,得到更新的卷积核 公式如下:
[0275]
[0276] 其中,λ为步骤1-3中确定的网络学习率,λ=0.0001;
[0277] 步骤1-6-4-2,更新各卷积层偏置参数:将步骤1-6-3-2获得的各卷积层误差项对偏置的梯度乘上动态卷积神经网络的学习率,得到偏置参数的修正项,再将原偏置项与该修正项求差,得到更新的偏置项 公式如下:
[0278]
[0279] 步骤1-6-4-3,更新F1层权值参数:将步骤1-6-3-3获得的F1层误差项对权值参数WH和WV的梯度值乘上动态卷积神经网络的学习率,得到权值参数的修正项,再将原权值参数WH和WV分别与求得的修正项求差,得到更新的WH和WV,公式如下:
[0280] WH=WH-λ▽WH,
[0281] WV=WV-λ▽WV;
[0282] 步骤1-6-4-4,更新F1层偏置参数:将步骤1-6-3-4获得的F1层误差项对偏置参数BH和BV的梯度值乘上动态卷积神经网络的学习率,得到偏置参数的修正项,再将原偏置参数BH和BV分别与求得的修正项求差,得到更新的BH和BV,公式如下:
[0283] BH=BH-λ▽BH,
[0284] BV=BV-λ▽BV。
[0285] 本发明步骤2包括以下步骤:
[0286] 步骤2-1,数据预处理:输入测试图像集,对测试图像集中的每一幅图像进行规范化处理,将每一幅图像转化为280×280的浮点数图像,再对浮点数图像集合进行划分,构造包含TestsetSize组样本的测试样本集;
[0287] 步骤2-2,读取测试样本:将步骤2-1获得的TestsetSize组测试样本输入经过训练的动态卷积神经网络中;
[0288] 步骤2-3,前向传播:在子网络中提取输入的图像序列特征,得到水平概率向量HPVtest和垂直概率向量VPVtest;在概率预测层中,将输入图像序列中的最后一幅图像依次与VPVtest、HPVtest相卷积,得到动态卷积神经网络最终的外推图像。
[0289] 本发明步骤2-1包括以下步骤:
[0290] 步骤2-1-1,采样:测试图像集中的图像按时间顺序排列,并且等时间间隔分布,时间间隔为6分钟,共包含NTest幅图像,通过如下公式确定TestsetSize:
[0291] 如果Mod(NTest,4)=0则
[0292] 如果Mod(NTest,4)≠0则
[0293] 求得TestsetSize后,通过采样保留测试图像集中前4×TestsetSize+1幅图像,采样时通过删除测试图像集中最后的图像使图像数量满足要求;
[0294] 步骤2-1-2,图像规范化:对采样得到的图像进行图像变换,归一化操作,将原始分辨率为2000×2000的彩色图像转换成分辨率为280×280的浮点数图像;
[0295] 步骤2-1-3,构造测试样本集:利用步骤2-1-2获得的浮点数图像集构造测试样本集,将浮点数图像集中每四个相邻的图像,即第{4M+1,4M+2,4M+3,4M+4}幅图像作为一组输入序列,第[4×(M+1)+1]幅图像经过裁剪,保留中央分辨率为240×240的部分作为对应样本的对照标签,其中为正整数,并有M∈[0,TestsetSize-1]得到包含TestsetSize组测试样本的测试样本集;
[0296] 步骤2-1-2包括以下步骤:
[0297] 步骤2-1-2-1,图像转化:为降低卷积神经网络训练的计算复杂度,将彩色的回波强度CAPPI图像转化为灰度图像,再通过裁剪保留原始图像中央分辨率为560×560的部分,将裁剪后的图像分辨率压缩为280×280,得到分辨率为280×280的灰度图;
[0298] 步骤2-1-2-2,数据归一化:将步骤1-1-2-1中获得的灰度图中的每一个像素点的值从[0~255]映射到[0~1],通过归一化之后得到分辨率为280×280的浮点数图像;
[0299] 步骤2-3包括以下步骤:
[0300] 步骤2-3-1,计算子网络概率向量:在子网络中通过卷积层和下采样层的交替处理提取输入的图像序列特征,然后在分类器层中通过Softmax函数处理,得到水平概率向量HPVtest和垂直概率向量VPVtest;
[0301] 步骤2-3-2,计算概率预测层输出图像:步骤2-3-1得到的VPVtest和HPVtest作为概率预测层的卷积核,将输入图像序列中的最后一幅图像依次与VPVtest和HPVtest相卷积,得到动态卷积神经网络最终的外推图像;
[0302] 步骤2-3-1包括以下步骤:
[0303] 步骤2-3-1-1,判断网络层类型:用p表示当前所处的子网络中的网络层,判断网络层p的类型,p初始值为C1,若p∈{C1,C2,C3,C4,C5},则p为卷积层,执行步骤2-3-1-2,若p∈{S1,S2,S3,S4},则p为下采样层,执行步骤2-3-1-4;
[0304] 步骤2-3-1-2,处理卷积层:此时有p=pC,pC∈{C1,C2,C3,C4,C5},首先计算pC层的第v个输出特征图 将pC层的输入特征图分别与该层的对应卷积核相卷积,再将卷积结果求和,求和结果加上pC层的第v个偏置 再经过ReLU激活函数处理,得到pC层的第v个输出特征图 计算公式如下所示:
[0305]
[0306] 其中, 为pC层的第u个输入特征图与第v个输出特征图相对应的卷积核,m为当前卷积层的前一下采样层的输出特征图个数, 表示pC层的第u个输入特征图,同时也是pC-1层的第u个输出特征图,*表示矩阵卷积,当pC=C1时,则pC-1层为输入层。
[0307] 依次计算所有的输出特征图,得到pC层的输出特征图 将p更新为p+1,并返回步骤2-3-1-1判断网络类型,进行下一个网络层的操作;
[0308] 步骤2-3-1-3,处理下采样层:此时有p=pS,pS∈{S1,S2,S3,S4},将步骤2-3-1-2得到的卷积层的输出特征图分别与 相卷积,再以步长为2进行采样,采样得到pS层的输出特征图 计算公式如下所示:
[0309]
[0310] 其中,Sample(·)表示步长为2的采样处理,pS-1表示当前下采样层的前一卷积层, 表示pS层的输出特征图 中的第j个输出特征图,得到pS层的输出特征图 后,将p更新为p+1,并返回步骤2-3-1-1判断网络类型,进行下一个网络层的操作;
[0311] 步骤2-3-1-4,计算F1层概率向量:若网络层p为分类器层,即p=F1,通过矩阵变换,将C5的32幅分辨率为4×4的输出特征图以列顺序展开,得到分辨率为512×1的F1层的输出特征向量 然后分别计算水平参数矩阵WH、垂直参数矩阵WV与 的外积,将计算结果分别与水平偏置参数BH、垂直偏置参数BV求和,求和结果经Softmax函数处理后得到水平概率向量HPVtest、垂直概率向量VPVtest,计算公式如下:
[0312]
[0313]
[0314] 将其垂直概率向量VPVtest转置,得到最终的垂直概率向量;
[0315] 步骤2-3-2包括以下步骤:
[0316] 步骤2-3-2-1,预测DC1层垂直方向:将输入层的最后一幅输入图像与垂直概率向量VPVtest相卷积,得到分辨率为240×280的DC1层输出特征图
[0317] 步骤2-3-2-2,预测DC2层垂直方向:将步骤2-3-2-1获得的 与水平概率向量HPVtest相卷积,得到动态卷积神经网络最终的外推图像,其分辨率为240×240,将外推图像与对应测试样本的对照标签相对比,判定动态卷积神经网络进行雷达回波外推的准确性。
[0318] 本发明提供了一种基于动态卷积神经网络的雷达回波外推方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。