飞行重着陆预测方法、装置及存储介质转让专利

申请号 : CN202310149641.2

文献号 : CN116205354B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 郑林江陈浩东尚家兴陈逢文李旭张锐祥

申请人 : 重庆大学

摘要 :

本发明涉及航空安全技术领域,尤其是指一种飞行重着陆预测方法、装置及存储介质。本发明所述的飞行重着陆预测方法,获取了一段时间内不同采样频率的参数数据,其信息获取更加全面;获取数据后,首先对QAR参数序列进行预处理,将高采样频率的序列长度与低采样频率的参数序列统一,并学习参数的高维表示以减少信息损失,然后将所有参数序列输入门控循环单元,捕获参数序列的隐藏表示,利用时间间隔注意力机制自适应地识别包含异常着陆模式的关键时间段,更符合飞行重着陆的实际场景,最后,将隐藏表示嵌入到上下文向量中以表示相应的参数,根据最终得到的参数特征对飞行重着陆进行预测,有效提升了重着陆预测的准确性和可解释性。

权利要求 :

1.一种飞行重着陆预测方法,其特征在于,包括:

获取T秒内的一组快速存取记录仪QAR参数序列,将其输入训练好的飞行重着陆预测模型;

划分其中采样频率f大于预设低采样频率n的QAR参数序列为高采样频率参数序列,划分其中采样频率等于预设低采样频率的QAR参数序列为低采样频率参数序列;

将多个高采样频率参数序列分别通过卷积操作缩短序列长度,得到与低采样频率参数序列长度一致的多个高维高采样频率参数序列;

将所述多个高维高采样频率参数序列和多个低采样频率参数序列分别通过门控循环单元提取参数的时间表示,得到多个参数序列隐藏表示;

将每个参数序列隐藏表示通过卷积核宽度为预设时间间隔长度的卷积层处理,然后将其经过激活函数处理或将其映射到多维上下文矩阵上得到每个参数序列的时间间隔注意力权重或多维上下文矩阵,并将所述每个参数序列的时间间隔注意力权重和其对应的多维上下文矩阵按位点积,得到每个参数序列的上下文向量特征;

根据最终得到的特征对飞行重着陆进行预测。

2.根据权利要求1所述的飞行重着陆预测方法,其特征在于,所述将多个高采样频率参数序列分别通过卷积操作缩短序列长度,得到与低采样频率参数序列长度一致的多个高维高采样频率参数序列包括:将多个高采样频率参数序列分别通过多个卷积核大小为1×f且卷积步长为f/n的一维卷积层处理,得到与低采样频率参数序列长度一致的多个高维高采样频率参数序列。

3.根据权利要求1所述的飞行重着陆预测方法,其特征在于,所述门控循环单元计算的具体公式表示为:t时刻更新门的输出zt=σ(Wzxt+Uzht‑1+bz)t时刻重置门的输出rt=σ(Wrxt+Urht‑1+br)t时刻候选状态

t时刻隐藏状态

其中,W(·),U(·)和b(·)分别是门控循环单元的权重和偏置,σ(·)是sigmoid函数,是逐元素积,xt为t时刻的输入参数,ht‑1为t‑1时刻的隐藏状态,tanh()表示tanh激活函数。

4.根据权利要求1所述的飞行重着陆预测方法,其特征在于,所述将每个参数序列隐藏表示通过卷积核宽度为预设时间间隔长度的卷积层处理,然后将其经过激活函数处理或将其映射到多维上下文矩阵上得到每个参数序列的时间间隔注意力权重或多维上下文矩阵,并将所述每个参数序列的时间间隔注意力权重和其对应的多维上下文矩阵按位点积,得到每个参数序列的上下文向量特征包括:将每个参数序列隐藏表示通过多个卷积核大小为hidden_size×L的一维卷积层处理,将其经过激活函数处理或将其映射到多维上下文矩阵上得到每个参数序列的时间间隔注意力权重αi=[αi,1 ,...,αi,l]或每个参数序列的多维上下文矩阵并将所述每个参数序列的时间间隔注意力权重和其对应的多维上下文矩阵按位点积,得到每个参数序列的上下文向量特征ci,其具体的公式表示为:z 1

αi=σ(Wi(WiZi))

a v

Vi=WiZi

其中, 和 是模型的参数,Ja是卷积核个数,σ(·)是sigmoid激活函数,a是将Zi映射到dcontext维上下文矩阵Vi的投影矩阵。

5.根据权利要求1所述的飞行重着陆预测方法,其特征在于,所述得到每个参数序列的上下文向量特征后还包括:将每个参数序列的上下文向量特征C=[c1,c2,...,cm]通过多头注意力机制处理,得到每个参数序列的编码特征G=[g1,g2,...,gm],其具体公式为:Q K V

Q,K,V=CW ,CW ,CW

其中,headi(·)是第i个采用了缩放点积注意力函数的注意力头,表示串联运算,表示线性组合所有注意力头的输出,M为注意力头个数,dmodel为注意力维度m×m大小,A∈R 是归一化的相似度得分矩阵, 为查询矩阵、 为键矩阵和为值矩阵,dQ=dK=dV分别为查询向量、键向量、值向量的维度大小,Softmax()为softmax激活函数, 和 是线性投影矩阵,dcontext为上下文向量维度大小。

6.根据权利要求5所述的飞行重着陆预测方法,其特征在于,所述得到每个参数序列的编码特征后还包括:将所述每个参数序列的编码特征中的参数向量gi经过多层感知机处理后与其自身相加,并经过标准层归一化操作处理,得到非线性参数向量gi',其具体公式表示为:g′i=LayerNorm(gi+MLP(gi)),i=1,...,m其中,ELU()是指数线性单元激活函数, 和 是多层感知机MLP()的权重和偏置参数,LayerNorm()是标准层归一化操作;

将所述每个参数序列的编码特征G分别进行平均和最大池化操作,在经过分享多层感知机处理后相加,并经过sigmoid激活函数处理,得到全局重要性权重λ,其具体公式表示为:其中,MLPshare()为分享多层感知机,AvgPool()和MaxPool()表示平均和最大池化操m m作,Gavg∈R和Gmax∈R分别表示平均和最大池化后得到的特征图, 表示,Relu()表示relu激活函数,σ(·)表示sigmoid激活函数;

将每个参数序列的编码特征中的非线性参数向量与所述全局重要性权重点积,得到全局上下文嵌入特征p。

7.根据权利要求5所述的飞行重着陆预测方法,其特征在于,所述根据最终得到的特征对飞行重着陆进行预测包括:将所述全局上下文嵌入特征p经过全连接层进行分类预测,其具体公式表示为:其中,f(·)是一个全连接层,W表示其相应的参数权重。

8.根据权利要求1所述的飞行重着陆预测方法,其特征在于,所述飞行重着陆预测模型通过优化以下目标函数来学习模型参数:其中,||θ||F是常用的Frobenius范数,λ′是控制正则化的标量,N是训练样本数,L()是损失函数,Xi表示第i个样本输入,Yi表第i个样本对应的重着陆标签,θ是模型所有待学习参数。

9.根据权利要求1所述的飞行重着陆预测方法,其特征在于,所述飞行重着陆预测模型的训练损失函数为:其中,y为真实值,为预测值。

10.一种飞行重着陆预测装置,其特征在于,包括:

输入模块,用于获取T秒内的一组快速存取记录仪QAR参数序列,将其输入训练好的飞行重着陆预测模型;

数据划分模块,用于划分其中采样频率f大于预设低采样频率n的QAR参数序列为高采样频率参数序列,划分其中采样频率等于预设低采样频率的QAR参数序列为低采样频率参数序列;

数据预处理模块,用于将多个高采样频率参数序列分别通过卷积操作缩短序列长度,得到与低采样频率参数序列长度一致的多个高维高采样频率参数序列;

参数序列隐藏表示获取模块,用于将所述多个高维高采样频率参数序列和多个低采样频率参数序列分别通过门控循环单元提取参数的时间表示,得到多个参数序列隐藏表示;

参数特征提取模块,用于将每个参数序列隐藏表示通过卷积核宽度为预设时间间隔长度的卷积层处理,然后将其经过激活函数处理或将其映射到多维上下文矩阵上得到每个参数序列的时间间隔注意力权重或多维上下文矩阵,并将所述每个参数序列的时间间隔注意力权重和其对应的多维上下文矩阵按位点积,得到每个参数序列的上下文向量特征;

分类预测模块,用于根据最终得到的特征对飞行重着陆进行预测。

11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述一种飞行重着陆预测方法的步骤。

说明书 :

飞行重着陆预测方法、装置及存储介质

技术领域

[0001] 本发明涉及航空安全技术领域,尤其是指一种飞行重着陆预测方法、装置及存储介质。

背景技术

[0002] 航空安全一直以来都是民航业的核心问题,进近和着陆阶段是整个飞行过程中两个最重要的阶段,虽然进近和着陆只占整个飞行时间的一小部分,但由于这两个阶段的飞机状态容易受到外部因素和机组操作的影响,导致大部分事故均发生在这两个阶段。重着陆事件作为着陆阶段飞机非正常接触跑道的事故类型,其可能导致机体部件损伤,严重时甚至威胁乘客生命安全。因此,重着陆事件的预警和其成因分析对于提升飞行安全具有重要的意义和价值。
[0003] 目前,快速存取记录仪(Quick Access Recorder,QAR)作为一种现代化的飞行器数据记录设备,可在整个飞行阶段以不同的采样频率快速记录飞行器状态、飞行员操作和环境信息等多项参数。利用QAR设备,可以通过记录的垂直加速度(VRTG)参数识别重着陆事件。具体来说,重着陆事件被定义为在着陆阶段飞机的最大垂直加速度(也称最大垂直载荷)超过特定阈值的事件。随着航班数量逐年增加,QAR设备为航空公司累积了海量的多变量时间序列飞行参数数据。
[0004] 由于QAR以不同的采样频率记录参数,大多数基于机器学习的方法选择特定时间点的采样值或者固定采样频率的参数作为特征。类似地,一些基于LSTM的方法通过计算每秒内所有采样值的平均值来预处理原始数据,以统一输入序列的长度。然而,这些粗粒度的预处理方法很容易造成细节信息的丢失。
[0005] 由此可见,现有重着陆可解释的研究或发明未能深入结合QAR数据的业务特点,只考虑了手工提取特征或者某个参数在某个时刻对重着陆结果的影响,信息获取不够全面,导致其模型准确性不足;并且,通常情况下,飞行安全状态受飞行员在一定时间段内操作的影响,而不是受某个特定时刻操作的影响,而现有技术未考虑参数在一段时间间隔的变化所带来的影响,导致模型可解释性不足。

发明内容

[0006] 为此,本发明所要解决的技术问题在于克服现有技术中模型准确性和解释性不足的问题。
[0007] 为解决上述技术问题,本发明提供了一种飞行重着陆预测方法,包括:
[0008] 获取T秒内的一组快速存取记录仪QAR参数序列,将其输入训练好的飞行重着陆预测模型;
[0009] 划分其中采样频率f大于预设低采样频率n的QAR参数序列为高采样频率参数序列,划分其中采样频率等于预设低采样频率的QAR参数序列为低采样频率参数序列;
[0010] 将多个高采样频率参数序列分别通过卷积操作缩短序列长度,得到与低采样频率参数序列长度一致的多个高维高采样频率参数序列;
[0011] 将所述多个高维高采样频率参数序列和多个低采样频率参数序列分别通过门控循环单元提取参数的时间表示,得到多个参数序列隐藏表示;
[0012] 将每个参数序列隐藏表示通过卷积核宽度为预设时间间隔长度的卷积层处理,然后将其经过激活函数处理或将其映射到多维上下文矩阵上得到每个参数序列的时间间隔注意力权重或多维上下文矩阵,并将所述每个参数序列的时间间隔注意力权重和其对应的多维上下文矩阵按位点积,得到每个参数序列的上下文向量特征;
[0013] 根据最终得到的特征对飞行重着陆进行预测。
[0014] 优选地,所述将多个高采样频率参数序列分别通过卷积操作缩短序列长度,得到与低采样频率参数序列长度一致的多个高维高采样频率参数序列包括:
[0015] 将多个高采样频率参数序列分别通过多个卷积核大小为1×f且卷积步长为f/n的一维卷积层处理,得到与低采样频率参数序列长度一致的多个高维高采样频率参数序列。
[0016] 优选地,所述门控循环单元计算的具体公式表示为:
[0017] t时刻更新门的输出zt=σ(Wzxt+Uzht‑1+bz)
[0018] t时刻重置门的输出rt=σ(Wrxt+Urht‑1+br)
[0019] t时刻候选状态
[0020] t时刻隐藏状态
[0021] 其中,W(·),U(·)和b(·)分别是门控循环单元的权重和偏置,σ(·)是sigmoid函数,是逐元素积,xt为t时刻的输入参数,ht‑1为t‑1时刻的隐藏状态,tanh()表示tanh激活函数。
[0022] 优选地,所述将每个参数序列隐藏表示通过卷积核宽度为预设时间间隔长度的卷积层处理,然后将其经过激活函数处理或将其映射到多维上下文矩阵上得到每个参数序列的时间间隔注意力权重或多维上下文矩阵,并将所述每个参数序列的时间间隔注意力权重和其对应的多维上下文矩阵按位点积,得到每个参数序列的上下文向量特征包括:
[0023] 将每个参数序列隐藏表示通过多个卷积核大小为hidden_size×L的一维卷积层处理,将其经过激活函数处理或将其映射到多维上下文矩阵上得到每个参数序列的时间间隔注意力权重αi=[αi,1,...,αi,l]或每个参数序列的多维上下文矩阵并将所述每个参数序列的时间间隔注意力权重和其对应的多维上下文矩阵按位点积,得到每个参数序列的上下文向量特征ci,其具体的公式表示为:
[0024]
[0025]
[0026] Via=WivZi
[0027]
[0028] 其中, 和 是模型的参数,Ja是卷积核个数,σ(·)是sigmoid激活a
函数, 是将Zi映射到dcontext维上下文矩阵Vi的投影矩阵。
[0029] 优选地,所述得到每个参数序列的上下文向量特征后还包括:
[0030] 将每个参数序列的上下文向量特征C=[c1,c2,...,cm]通过多头注意力机制处理,得到每个参数序列的编码特征G=[g1,g2,...,gm],其具体公式为:
[0031]
[0032]
[0033]
[0034] 其中,headi(·)是第i个采用了缩放点积注意力函数的注意力头,表示串联运算, 表示线性组合所有注意力头的输出,M为注意力头个数,dmodel为注意力m×m维度大小,A∈R 是归一化的相似度得分矩阵, 为查询矩阵、 为键矩
阵和 为值矩阵,dQ=dK=dV分别为查询向量、键向量、值向量的维度大小,Softmax()为softmax激活函数, 和 是线性投
影矩阵,dcontext为上下文向量维度大小。
[0035] 优选地,所述得到每个参数序列的编码特征后还包括:
[0036] 将所述每个参数序列的编码特征中的参数向量gi经过多层感知机处理后与其自身相加,并经过标准层归一化操作处理,得到非线性参数向量g′i,其具体公式表示为:
[0037] g′i=LayerNorm(gi+MLP(gi)),i=1,...,m
[0038]
[0039] 其中,ELU()是指数线性单元激活函数, 和 是多层感知机MLP()的权重和偏置参数,LayerNorm()是标准层归一化操作;
[0040] 将所述每个参数序列的编码特征G分别进行平均和最大池化操作,在经过分享多层感知机处理后相加,并经过sigmoid激活函数处理,得到全局重要性权重λ,其具体公式表示为:
[0041] λ=σ(MLPshare(AvgPool(G))+MLPshare(MaxPool(G)))
[0042]  =σ(Ws2(Relu(Ws1Gavg))+Ws2(Relu(Ws1Gmax)))
[0043] 其中,MLPshare()为分享多层感知机,AvgPool()和MaxPool()表示平均和最大池m m化操作,Gavg∈R 和Gmax∈R分别表示平均和最大池化后得到的特征图, 表示,Relu()表示relu激活函数,σ(·)表示sigmoid激活函数;
[0044] 将每个参数序列的编码特征中的非线性参数向量与所述全局重要性权重点积,得到全局上下文嵌入特征p。
[0045] 优选地,所述根据最终得到的特征对飞行重着陆进行预测包括:
[0046] 将所述全局上下文嵌入特征p经过全连接层进行分类预测,其具体公式表示为:
[0047]
[0048] 其中,f(·)是一个全连接层,W表示其相应的参数权重。
[0049] 优选地,所述飞行重着陆预测模型通过优化以下目标函数来学习模型参数:
[0050]
[0051] 其中,||θ||F是常用的Frobenius范数,λ′是控制正则化的标量,N是训练样本数,L()是损失函数,Xi表示第i个样本输入,Yi表第i个样本对应的重着陆标签,θ是模型所有待学习参数。
[0052] 优选地,所述飞行重着陆预测模型的训练损失函数为:
[0053]
[0054] 其中,y为真实值,为预测值。
[0055] 本发明还提供了一种飞行重着陆预测装置,包括:
[0056] 输入模块,用于获取T秒内的一组快速存取记录仪QAR参数序列,将其输入训练好的飞行重着陆预测模型;
[0057] 数据划分模块,用于划分其中采样频率f大于预设低采样频率n的QAR参数序列为高采样频率参数序列,划分其中采样频率等于预设低采样频率的QAR参数序列为低采样频率参数序列;
[0058] 数据预处理模块,用于将多个高采样频率参数序列分别通过卷积操作缩短序列长度,得到与低采样频率参数序列长度一致的多个高维高采样频率参数序列;
[0059] 参数序列隐藏表示获取模块,用于将所述多个高维高采样频率参数序列和多个低采样频率参数序列分别通过门控循环单元提取参数的时间表示,得到多个参数序列隐藏表示;
[0060] 参数特征提取模块,用于将每个参数序列隐藏表示通过卷积核宽度为预设时间间隔长度的卷积层处理,然后将其经过激活函数处理或将其映射到多维上下文矩阵上得到每个参数序列的时间间隔注意力权重或多维上下文矩阵,并将所述每个参数序列的时间间隔注意力权重和其对应的多维上下文矩阵按位点积,得到每个参数序列的上下文向量特征;
[0061] 分类预测模块,用于根据最终得到的特征对飞行重着陆进行预测。
[0062] 本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述一种飞行重着陆预测方法的步骤。
[0063] 本发明的上述技术方案相比现有技术具有以下优点:
[0064] 本发明所述的飞行重着陆预测方法,获取了一段时间内不同采样频率的参数数据,其信息获取更加全面;获取数据后,首先对QAR参数序列进行预处理,将高采样频率的参数序列通过一维卷积层进行处理,将其序列长度与低采样频率的参数序列统一,并学习参数的高维表示以减少信息损失,然后将所有参数序列输入门控循环单元GRU,捕获参数序列的隐藏表示,其具有较小的过拟合风险且预测性能与LSTM相当,飞机的安全状态通常取决于飞行状态和飞行员在一定时间段内的操作。因此,过度关注特定时间点,而不考虑时间段内的参数变化模式,将导致无法正确捕捉重着陆航段的特征模式,且不能提供高层次的可解释性。为了捕获每个参数序列中不同时间段对输出的影响,本发明提出了时间间隔注意力机制自适应地识别包含异常着陆模式的关键时间段,与只能为每个时间点学习注意力权重的传统时间步注意力机制不同,时间间隔注意力可以学习可扩展时间间隔的注意力权重,更符合飞行重着陆的实际场景,最后,将隐藏表示嵌入到上下文向量中以表示相应的参数,根据最终得到的参数特征对飞行重着陆进行预测;综上所述,本发明有效提升了重着陆预测的准确性和可解释性。

附图说明

[0065] 为了使本发明的内容更容易被清楚的理解,下面根据本发明的具体实施例并结合附图,对本发明作进一步详细的说明,其中:
[0066] 图1是本发明所提供的一种飞行重着陆预测方法的实现流程图;
[0067] 图2是本发明所提供的一种飞行重着陆预测模型的结构示意图;
[0068] 图3是GRU的结构图;
[0069] 图4为变量选择模块的框架示意图;
[0070] 图5为本发明一种实施例提供的飞行重着陆预测模型的结构示意图;
[0071] 图6时某异常着陆飞行示例图;
[0072] 图7为第一种参数对应的时间间隔注意力权重示意图;
[0073] 图8为第二种参数对应的时间间隔注意力权重示意图;
[0074] 图9为参数之间的依赖关系示意图;
[0075] 图10为参数全局重要性权重示意图;
[0076] 图11为三种类型实验的参数分析示意图。

具体实施方式

[0077] 本发明的核心是提供一种飞行重着陆预测方法、装置、设备及计算机存储介质,有效提升了重着陆预测的准确性和可解释性。
[0078] 为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0079] 请参考图1和图2,图1为本发明所提供的一种飞行重着陆预测方法的实现流程图;图2是本发明所提供的一种飞行重着陆预测模型的结构示意图,即可伸缩的时间粒度(Scalable Temporal Granularity,STG)编码器,由三个部分组成:(1)DownConv用于学习参数的高维表示;(2)门控循环单元(GRU)用于捕获参数的时间表征;(3)时间间隔注意力机制用于识别参数序列中的关键时间间隔。
[0080] 本发明所提供的一种飞行重着陆预测方法具体操作步骤如下:
[0081] S101:获取T秒内的一组快速存取记录仪QAR参数序列,将其输入训练好的飞行重着陆预测模型;
[0082] 所述飞行重着陆预测模型通过优化以下目标函数来学习模型参数:
[0083]
[0084] 其中,||θ||F是常用的Frobenius范数,λ′是控制正则化的标量,N是训练样本数,L()是损失函数,Xi表示第i个样本输入,Yi表第i个样本对应的重着陆标签,θ是模型所有待学习参数;
[0085] 所述飞行重着陆预测模型的训练损失函数为:
[0086]
[0087] 其中,y为真实值,为预测值。
[0088] S102:划分其中采样频率f大于预设低采样频率n的QAR参数序列为高采样频率参数序列,划分其中采样频率等于预设低采样频率的QAR参数序列为低采样频率参数序列;
[0089] S103:将多个高采样频率参数序列分别通过卷积操作缩短序列长度,得到与低采样频率参数序列长度一致的多个高维高采样频率参数序列;
[0090] 对于高采样频率的参数序列,DownConv使用卷积层将序列长度缩短到与低采样频率参数的序列长度T一致,并学习参数的高维表示以减少信息损失,DownConv仅作用于采样频率较高的参数(采样频率大于1Hz的参数),这样选择的一个原因是为了统一不同参数的序列长度。另一个主要原因是防止GRU(Gated Recurrent Unit)由于输入序列过长而无法有效捕获参数的时间表示,从而降低模型分类性能。
[0091] 具体而言,DownConv将多个高采样频率参数序列分别通过多个卷积核大小为1×f且卷积步长为f/n的一维卷积层处理,得到与低采样频率参数序列长度一致的多个高维高采样频率参数序列;在本发明的一种实施例中,预设低采样频率为1HZ,采用带有J个卷积核1×(f×T)
的卷积层,以便为每个高采样频率的参数提取高维特征向量。令X∈R 为某个高采样频率参数的输入序列,DownConv将X作为输入并产生:
[0092] {xt}=CNN(X)
[0093] 其中xt∈RJ,t=1,...,T,这样所有参数的序列长度都被统一为相同的长度T。
[0094] S104:将所述多个高维高采样频率参数序列和多个低采样频率参数序列分别通过门控循环单元提取参数的时间表示,得到多个参数序列隐藏表示;
[0095] 本发明选择使用门控循环单元(GRU)来提取参数的时间表示,因为与LSTM相比较,它具有较小的过拟合风险且预测性能与LSTM相当。GRU的结构如图3所示,其中,GRU通过更新门zt和重置门rt控制时间步t处的隐藏状态ht。所述门控循环单元计算的具体公式表示为:
[0096] t时刻更新门的输出zt=σ(Wzxt+Uzht‑1+bz)
[0097] t时刻重置门的输出rt=σ(Wrxt+Urht‑1+br)
[0098] t时刻候选状态
[0099] t时刻隐藏状态
[0100] 其中,W(·),U(·)和b(·)分别是门控循环单元的权重和偏置,σ(·)是sigmoid函数,是逐元素积,xt为t时刻的输入参数,ht‑1为t‑1时刻的隐藏状态,tanh()表示tanh激活函数;
[0101] 对于每个参数序列,通过GRU提取参数序列的时间表示,如下所示:
[0102] hi,1,...,hi,T=GRUi(xi,1,...,xi,T),i=1,...,m
[0103] 其中,GRUi(·)是应用于第i个参数序列的GRU,m表参数个数,hi,:∈Rhidden_size,hidden_size是隐藏状态下的特征个数。输入到GRU的第i个参数序列记为xi,:=[xi,1,...,xi,T],然后,时间表示在整个T秒跨度内连接起来,得到参数序列隐藏表示Hi=[hi,1,...,hi,T]。
[0104] S105:将每个参数序列隐藏表示通过卷积核宽度为预设时间间隔长度的卷积层处理,然后将其经过激活函数处理或将其映射到多维上下文矩阵上得到每个参数序列的时间间隔注意力权重或多维上下文矩阵,并将所述每个参数序列的时间间隔注意力权重和其对应的多维上下文矩阵按位点积,得到每个参数序列的上下文向量特征;
[0105] 飞机的安全状态通常取决于飞行状态和飞行员在一定时间段内的操作。因此,过度关注特定时间点,而不考虑时间段内的参数变化模式,将导致无法正确捕捉重着陆航段的特征模式,且不能提供高层次的可解释性。为了捕获每个参数序列中不同时间段对输出的影响,本发明提出了时间间隔注意力机制(Time‑Interval attention),与只能为每个时间点学习注意力权重的传统时间步注意力机制[27]Time‑Step attention)不同,时间间隔注意力可以学习可扩展时间间隔的注意力权重。
[0106] 具体来说,将每个参数序列隐藏表示通过多个卷积核大小为hidden_size×L的一维卷积层 处理,将其经过激活函数处理或将其映射到多维上下文矩阵上得到每个参数序列的时间间隔注意力权重αi=[αi,1,...,αi,l]或每个参数序列的多维上下文矩阵并将所述每个参数序列的时间间隔注意力权重和其对应的多维上下文矩阵按位点积,得到每个参数序列的上下文向量特征ci,其具体的公式表示为:
[0107]
[0108] αi=σ(Wi2(Wi1Zi))
[0109] Via=WivZi
[0110]
[0111] 其中, 和 是模型的参数,Ja是卷积核个数, l取决于卷积核宽度L和卷积步长s,σ(·)是sigmoid激活函数, 是将Zi映射到dcontext维a
上下文矩阵Vi的投影矩阵,ci表示在局部视图中由STG编码器编码得到的第i个参数的上下文向量。
[0112] 值得注意的是,本发明中得到时间间隔注意力可以通过手动改变卷积核宽度L的大小来识别每个参数中可扩展时间粒度的时间间隔。
[0113] S106:根据最终得到的特征对飞行重着陆进行预测。
[0114] 本发明所述的飞行重着陆预测方法,获取了一段时间内不同采样频率的参数数据,其信息获取更加全面;获取数据后,首先对QAR参数序列进行预处理,将高采样频率的参数序列通过一维卷积层进行处理,将其序列长度与低采样频率的参数序列统一,并学习参数的高维表示以减少信息损失,然后将所有参数序列输入门控循环单元GRU,捕获参数序列的隐藏表示,其具有较小的过拟合风险且预测性能与LSTM相当,飞机的安全状态通常取决于飞行状态和飞行员在一定时间段内的操作。因此,过度关注特定时间点,而不考虑时间段内的参数变化模式,将导致无法正确捕捉重着陆航段的特征模式,且不能提供高层次的可解释性。为了捕获每个参数序列中不同时间段对输出的影响,本发明提出了时间间隔注意力机制自适应地识别包含异常着陆模式的关键时间段,与只能为每个时间点学习注意力权重的传统时间步注意力机制不同,时间间隔注意力可以学习可扩展时间间隔的注意力权重,更符合飞行重着陆的实际场景,最后,将隐藏表示嵌入到上下文向量中以表示相应的参数,根据最终得到的参数特征对飞行重着陆进行预测;综上所述,本发明有效提升了重着陆预测的准确性和可解释性。
[0115] 由于飞行员的操作在大多数情况下受到多种因素的影响,因此QAR记录的参数之间通常存在相关性。分析参数之间的依赖关系可以为提高飞行员的控制技能并为飞行安全提供重要指导。然而,上述实施例仅从单个参数自身的角度对参数进行编码,忽略了不同参数之间的依赖关系,难以更全面地表达输入数据的特征。因此,基于以上实施例,本发明还提出了变量相关性提取模块,如图4所示,因此,步骤S105后还包括:
[0116] 将每个参数序列的上下文向量特征C=[c1,c2,...,cm]通过多头注意力机制处理,得到每个参数序列的编码特征G=[g1,g2,...,gm],其具体公式为:
[0117]
[0118]
[0119]
[0120] 其中,headi(·)是第i个采用了缩放点积注意力函数的注意力头,表示串联运算, 表示线性组合所有注意力头的输出,M为注意力头个数,dmodel为注意力m×m维度大小,A∈R 是归一化的相似度得分矩阵,它量化了每个参数与其他参数之间的依赖关系。因此,参数的局部表示根据参数之间的依赖关系在全局视图中实现了重新编码;
为查询矩阵、 为键矩阵和 为值矩阵,dQ=dK=dV分别为查询
向量、键向量、值向量的维度大小,Softmax()为softmax激活函数,
和 是线性投影矩阵,dcontext为上下文向量维度大小。
[0121] 变量相关性提取模块采用自注意力(self‑attention)机制来提取参数之间的依赖关系,并进一步重新编码参数的局部表示。当变量相关性提取模块重新编码每个参数上下文向量时,自注意力机制允许它搜索其他参数以获取更多的有用信息,从而更好地对该参数进行编码。此外,多头注意力(multi‑head attention)机制通过多个表示子空间促进了自注意层学习方面的多样性。
[0122] 尽管QAR记录了多个参数,但它们对识别重着陆的具体贡献通常是未知的,因此本发明基于以上实施例,提出了变量选择模块,因此得到每个参数序列的编码特征后还包括:
[0123] 将所述每个参数序列的编码特征中的参数向量gi经过多层感知机处理后与其自身相加,并经过标准层归一化操作处理,得到非线性参数向量g′i,其具体公式表示为:
[0124] g′i=LayerNorm(gi+MLP(gi)),i=1,...,m
[0125]
[0126] 其中,ELU()是指数线性单元激活函数,它将非线性因素引入网络以增强网络的表示能力, 和 是多层感知机MLP()的权重和偏置参数,LayerNorm()是标准层归一化操作;
[0127] 将所述每个参数序列的编码特征G分别进行平均和最大池化操作,在经过分享多层感知机处理后相加,并经过sigmoid激活函数处理,得到全局重要性权重λ,其具体公式表示为:
[0128] λ=σ(MLPshare(AvgPool(G))+MLPshare(MaxPool(G)))
[0129]  =σ(Ws2(Relu(Ws1Gavg))+Ws2(Relu(Ws1Gmax)))
[0130] 其中,MLPshare()为分享多层感知机,AvgPool()和MaxPool()表示平均和最大池m m化操作,Gavg∈R 和Gmax∈R分别表示平均和最大池化后得到的特征图, 表示,被这两个输入共享,Relu()表示relu激活函数,σ(·)表示sigmoid激活函数;
[0131] 将每个参数序列的编码特征中的非线性参数向量与所述全局重要性权重点积,得到用于重着陆预测的全局上下文嵌入特征
[0132] 变量选择模块用于选择重要参数,通过学习参数对模型输出的相对重要性来提供变量选择功能,找到跟重着陆事件强相关的参数。
[0133] 在本发明的一种实施例中,提出了一种名为SDTAN(Scalable Deep Time‑aware Attention Network,可扩展深度时间感知注意网络)的模型,该模型能够提供更加准确的重着陆预测效果,且能为预测结果提供更好的解释。模型总体架构如图5所示,由三个子模块组成:(i)可扩展时间粒度编码器(STG编码器),用于从具有不同采样频率的多元时间序列飞行参数数据中捕获更全面和有用的信息,并从参数序列识别关键时间段并学习参数的局部表示;(ii)变量相关性提取模块,基于自注意力机制提取变量之间的依赖关系,并在全局视图中对局部表示进行重新编码;(iii)变量选择模块,用于选择跟重着陆风险强相关的飞行参数。其中,编码器使用了基于递归神经网络(RNN)的STG编码器,其好处在于可以自适应地学习不同采样频率飞行参数的局部表示,从而减少信息损失,与此同时,通过时间间隔注意力机制(Time‑interval Attention)能够从每个参数序列中识别出包含异常着陆模式的关键时间段,从而支持更高层次的可解释性。基于自注意力机制的变量相关性提取模块可以捕获不同参数之间的依赖关系,并对参数的局部表示进行重新编码,以从全局视角学习深层次的上下文特征。变量选择模块通过学习参数的相对重要性来选择相关的输入参数,并进一步构建用于重着陆预测的全局上下文嵌入向量。
[0134] 基于以上实施例,本实施例对步骤S106进行进一步说明:
[0135] 将所述全局上下文嵌入特征p经过全连接层进行分类预测,其具体公式表示为:
[0136]
[0137] 其中,f(·)是一个全连接层,W表示其相应的参数权重。
[0138] 获取模型中间层输出的特征图,可视化参数重要性为重着陆事件提供全面的可解释性。
[0139] 本发明的实施例还提供了的一种装置;具体装置可以包括:
[0140] 输入模块100,用于获取T秒内的一组快速存取记录仪QAR参数序列,将其输入训练好的飞行重着陆预测模型;
[0141] 数据划分模块200,用于划分其中采样频率f大于预设低采样频率n的QAR参数序列为高采样频率参数序列,划分其中采样频率等于预设低采样频率的QAR参数序列为低采样频率参数序列;
[0142] 数据预处理模块300,用于将多个高采样频率参数序列分别通过卷积操作缩短序列长度,得到与低采样频率参数序列长度一致的多个高维高采样频率参数序列;
[0143] 参数序列隐藏表示获取模块400,用于将所述多个高维高采样频率参数序列和多个低采样频率参数序列分别通过门控循环单元提取参数的时间表示,得到多个参数序列隐藏表示;
[0144] 参数特征提取模块500,用于将每个参数序列隐藏表示通过卷积核宽度为预设时间间隔长度的卷积层处理,然后将其经过激活函数处理或将其映射到多维上下文矩阵上得到每个参数序列的时间间隔注意力权重或多维上下文矩阵,并将所述每个参数序列的时间间隔注意力权重和其对应的多维上下文矩阵按位点积,得到每个参数序列的上下文向量特征;
[0145] 分类预测模块600,用于根据最终得到的特征对飞行重着陆进行预测。
[0146] 本实施例的飞行重着陆预测装置用于实现前述的飞行重着陆预测方法,因此飞行重着陆预测装置中的具体实施方式可见前文飞行重着陆预测方法的实施例部分,例如,输入模块100,数据划分模块200,数据预处理模块300,参数序列隐藏表示获取模块400,参数特征提取模块500,分类预测模块600,分别用于实现上述飞行重着陆预测方法中步骤S101,S102,S103,S104,S105和S106,所以,其具体实施方式可以参照相应的各个部分实施例的描述,在此不再赘述。
[0147] 本发明具体实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述一种飞行重着陆预测方法的步骤。
[0148] 基于以上实施例,为验证本发明的效果,使用来自国内航空公司的空客A320机型的37920个飞行样本作为数据集。其中,重着陆样本282个,正常着陆样本37638个。每个飞行样本记录了飞机从起飞到降落整个飞行阶段多个参数的变化趋势。基于领域知识选择了17个重要QAR参数,包括无线电高度、起落架、飞机加速度和空速、风向、俯仰、横滚、方向舵等。表1总结了所选取参数的物理含义和相应的采样频率:
[0149] 表1QAR参数描述
[0150]
[0151] 不同参数具有不同的采样频率,范围从1到8Hz(1Hz表示每秒采样1次)。在本发明中,将采样频率大于1Hz的参数作为高采样频率的参数,其他则作为低采样频率的参数。针对样本类别不平衡的问题,上采样和降采样是常用的有效方法。为了评估本发明的先进有效性,首先将原始数据集按7:3的比例分层抽样分为训练集和测试集,然后对训练集中的重着陆样本进行重复采样以保持类别平衡,对测试集中的正常着陆样本进行下采样以保持两个类别的样本数量相同。最终,训练集包括26346个重着陆样本和26346个正常着陆样本,测试集包括85个重着陆样本和85个正常着陆样本。
[0152] 本发明所使用的实验环境配置如表2所示:
[0153] 表2实验环境配置
[0154]
[0155] 本发明使用不同时间跨度的输入数据进行三种类型的实验,以回答两个关键问题:(1)SDTAN模型是否能够准确预测重着陆事件?(2)SDTAN模式是否能够有效解释重着陆事件?具体而言,实验类型A使用最大VRTG值对应时间点之前的30秒数据作为模型的输入,而实验类型B和C分别使用上述30秒数据的前28秒和26秒作为模型输入。其中,实验A旨在解释重着陆事件,而实验B和C旨在提前预警重着陆的风险,即在事件发生前2秒和4秒给出预测。至于模型SDTAN的训练,实验使用Adam优化器来训练网络,初始学习率设置为1×10‑4,批量大小为256。同时,实验采用学习率衰减策略以使模型更快速达到最优点,其中学习率每20个epoch衰减到前一阶段的一半。时间间隔注意力机制的卷积核大小L取值范围为1到10,卷积步幅大小s从1到6中选择。本发明重复多次实验并给出平均性能,同时采用四种不同的分类指标以全面评估分类效果,包括准确率Accuracy、精确度Precision、召回率Recall以及F1值。
[0156] 本实验使用近年来常用于预测重着陆且取得良好效果的模型作为基准模型,同时,由于重着陆预测问题属于多元时间序列分类领域,所以,本发明还选用了在诸多多元时间序列分类数据集和任务中取得优异分类效果的模型作为基准模型。具体如下:
[0157] SVM:采用支持向量机来预测重着陆,并采用参数优化方法对模型优化。不同于原始工作中按飞行高度对飞行数据进行切片,本发明将飞行数据以一秒为单位切片为多个切片数据,并使用SVM测试所有切片数据的分类性能并给出最佳结果。
[0158] Random Forest:随机森林(RF)是由多个弱分类器决策树组成的强分类器,被用作重着陆的风险预测模型。本发明将参数的所有观察值作为预测重着陆的特征输入到RF模型中从而得到分类结果。
[0159] LSTM:LSTM被广泛应用于重着陆预测问题,本发明在LSTM之后添加一个全连接层用于重着陆分类。
[0160] MLSTM_FCN:MLSTM FCN是具有Squeeze和Excitation(SE)模块的LSTM FCN。其中Squeeze操作使用全局平均池化生成通道级的特征以充分利用局部感受野之外的上下文信息;然后,Excite操作学习通道之间的依赖关系。因此,该模型可进一步提高时间序列分类性能并高效处理各种复杂的多元时间序列分类任务。
[0161] 由于上述基于LSTM的基准模型需要保证所有输入参数的序列长度一致,因此,本实验计算了高采样频率下参数每秒内观测值的平均值,从而统一所有参数的序列长度。为了公平地比较以上不同的方法,基准模型的超参数将通过交叉验证策略进行微调以此最优化模型的性能表现。
[0162] 表3展示了基准模型和SDTAN模型在三种类型的实验中的性能表现。从表中可以看出,本发明的模型SDTAN明显优于其他基准模型。同时,基于深度学习的模型优于SVM和RF等传统机器学习模型,这表明基于深度学习的序列模型可以有效地从时间序列数据中提取对分类有用的特征。而对于两种基于LSTM的模型,MLSTM_FCN在实验A中的性能优于LSTM。但是,当可用信息较少时,如实验B和C所示,MLSTM_FCN的性能不如LSTM。此外,SDTAN明显优于基于LSTM的模型,这表明SDTAN有效地捕获了QAR数据中跟重着陆相关的时间模式,并有效缓解了MLSTM_FCN和LSTM因细节信息丢失导致的分类性能下降问题。值得注意的是,本发明提出的SDTAN模型在三种类型的实验中的所有评估指标都超过了90%。SDTAN出色的预测性能为其未来的实际应用提供了重要支持。总之,表3中的结果验证了本发明的SDTAN模型在重着陆预测中的有效性。
[0163] 表3三种类型实验中SDTAN和基准模型的分类结果
[0164]
[0165] 为了解释重着陆事件,将测试集中的重着陆样本输入到经过训练的SDTAN模型中,并根据SDTAN的中间输出特征图对飞行记录进行详细分析。具体来说,本发明将时间间隔注意力机制学习到的注意力权重可视化,以便从局部角度分析参数的异常时间模式。然后,根据变量相关提取模块提取的参数之间的依赖关系来分析参数之间的相关性。此外,本发明还根据变量选择模块学习的重要性权重探索参数的全局重要性。
[0166] 图6展示了某异常着陆航段的飞行示例,该航段在接地时刻发生了重着陆,其VRTG峰值为1.82g。该图中所有子图的横轴代表时间,纵轴代表参数值。其中,曲线1表示上述异常飞行的特定关键飞行参数随时间变化的趋势,曲线2表示所有正常着陆飞行的参数平均值,区域3表示正常着陆飞行的时间模式。为了揭示重着陆事件的原因,本发明将具有不同卷积核大小和卷积步幅大小的时间间隔注意力机制自适应学习到的所有参数的注意力权重可视化,如图7和图8所示。
[0167] 可以看出图7和图8较为相似,但是7的超参数设置使本发明SDTAN模型实现了更好的分类性能,图8描述了不同参数在每一秒内观测值的重要性,这比图7选取时间间隔为5秒的设置更加细粒度。从图6可以看出,与无线电高度相关的参数(RADIO_LH,RADIO_RH)和一些与飞行员操作和飞行状态相关的参数,如俯仰(PITCH,PITCH_CMD)和横滚(ROLL_CMD),显著影响了重着陆事件。此外,着陆前的横滚角(ROLL)和指示空速(IAS)也对重着陆事件有一定的影响。从图6具体分析可以看出,该重着陆飞行在着陆阶段保持了较高的空速。当飞机无线电高度降低到50英尺时(通常此时飞机进入跑道入口),飞行员不得不使用更长的拉平操作时间来降低飞机空速,结果导致飞机前起落架(LDGNOS)触及地面的时间比正常降落航班晚。此外,整个着陆过程中飞行员的控制操作(PITCH_CMD、ROLL_CMD)极其不稳定,导致飞机着陆前的俯仰角(PITCH)和横滚角(ROLL)与正常着陆模式存在显着差异,最后,进一步导致了重着陆事件的发生。因此,为避免重着陆事件发生,飞行员需要在着陆前调整飞机的无线电高度,使飞机保持在合理的速度。同时,飞行员必须谨慎地进行控制杆操作,使飞机的横滚角和俯仰角变化平稳。通过本发明所提出的SDTAN模型,可以帮助飞行专家更方便地发现这些因素,因为为提升飞行安全和指导飞行员培训提供重要支撑。
[0168] 图9显示了变量相关提取模块提取到的参数间的相互依赖性。该矩阵表示由自注意力机制计算出的一个头部的注意力权重。其中,方框表示参数上下文向量重新编码时参数对其他参数的响应程度。大多数QAR参数更倾向于对自身做出响应,如矩阵的对角线元素所示。本发明的SDTAN模型指出,俯仰控制(PITCH_CMD)、飞机垂直速度(IVV)和方向舵位置(RUDD)之间存在相对较高的相互依赖性。此外,俯仰角和无线电高度之间也存在一定相关性。通常来讲,方向舵连同升降舵、副翼和飞行员的操纵杆操作一起控制飞机的俯仰角,这进一步影响拉平时间期间的垂直加速度。此外,在200英尺和接地之间的阶段,飞行员通常根据飞机的高度来控制俯仰角,以确保飞机稳定着陆。本发明得出的结果与重着陆事件研究和领域知识高度一致。
[0169] 图10展示了变量选择模块学习到的所有参数的全局重要性权重,从中发现本发明模型SDTAN更关注俯仰角(PITCH)、俯仰控制(PITCH_CMD)、横滚角(ROLL)、高度(ALT_STD)和指示空速(IAS)。其中,俯仰角(PITCH)是最主要影响重着陆事件的特征。拉平操作是着陆阶段最关键的操作,合理的拉平操作可以使飞机平稳地着陆。飞行员在拉平操作期间的操作和飞机接地前的俯仰角是对飞机垂直加速度影响较大的关键因素。此外,合适的进近速度、高度、柔和的油门控制和着陆前稳定的横滚角也是影响飞机以正确姿态着陆的重要因素。因此,图10中的结果再次验证了本发明模型的有效性。
[0170] 为了探索SDTAN中三个子模块对实验结果的相对贡献,进一步开展了消融研究,结果如表4所示。具体来说,SDTANDC‑移除了DownConv模块并直接将高采样频率的参数序列输入到GRU中提取时序表征。SDTANATT‑移除了时间间隔注意力机制,并通过平均每个时间步长的时序表征来获得参数的局部表示。类似地,在SDTANCEB‑模型中,参数的局部表示由于移除了变量相关提取模块不会被重新编码。SDTANSM‑删除了变量选择模块,并通过对重新编码后的参数全局表示进行平均操作来构建全局上下文嵌入以用于重着陆分类。从表3的结果可以看出,删除任何子模块都会降低SDTAN模型的性能。最显著的变化发生在移除DownConv模块时,这表明它对SDTAN模型至关重要。总之,从结果我们可以得出结论,所有三个子模块都有助于提高本发明SDTAN模型的分类性能。
[0171] 表4三种类型实验的消融研究
[0172]
[0173] 最后,分析了超参数,即SDTAN模型中的时间间隔注意力机制的卷积核大小L和卷积步幅大小s如何影响分类性能。图11显示了在三种类型的实验中SDTAN模型具有不同卷积核大小和卷积步长的F1分数。结果表明,时间间隔注意力机制的卷积核大小对分类性能的影响似乎并没有明显的趋势。而对于卷积步幅大小,随着卷积步幅的增加,SDTAN的分类性能逐渐对卷积核大小变得越来越敏感,评价指标F1分数的变化也变得越来越不稳定。当卷积核大小和卷积步幅大小都设置为1时(此时时间间隔注意力机制与传统时间步注意力机制类似),SDTAN在实验类型A中表现出相对较低的F1分数,而在实验类型B和C中表现出相对较高的F1分数。此外,将卷积核大小和卷积步幅大小都设置得太大时,SDTAN模型性能表现不佳,可能是因为关键时序信息被忽略或过度平滑所致。综上所述,虽然时间间隔注意力机制对卷积核大小和卷积步幅大小比较敏感,但合适的设置能够取得优异的结果。
[0174] 本发明充分考虑了飞行安全业务场景下QAR数据的特性,深入探索重着陆事件预测的问题场景,所提出的方法有效解决了现有方法的技术不足,并以可视化的方式直观阐述参数局部和全局的重要性以及参数之间的依赖关系,为航空安全超限事件可解释性研究提供了新的技术借鉴。此外,由于本专利提出的模型能够识别参数序列中重要的时间段,提取参数之间的相关性并进一步在全局视图中重新编码参数的表示,学习对模型输出具有强影响力的参数。因此,一方面,本专利提出的模型为多尺度时间序列分类及可解释性的研究提供参考,同时也可以扩展到更多飞行安全事件的分析任务中。另一方面,模型有效地提高了重着陆的预测准确率,并以量化和可视化参数重要性和参数间相关性的方式强化了重着陆事件的可解释性。此工作不仅为飞行安全可解释性研究提供新颖的研究思路,还为其他航空安全事件检测提供了技术借鉴,具有较好的理论和应用价值。
[0175] 本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。
[0176] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0177] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0178] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0179] 显然,上述实施例仅仅是为清楚地说明所作的举例,并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。