一种军民航机场全自动进近着陆监视方法

摘要

本发明提供了一种军民航机场全自动进近着陆监视方法，用于满足飞机进近着陆阶段的可视化引导和全自动监视的用户需求，包括：1)获取目标的航迹和图像数据；2)根据航迹数据，引导光电设备自动锁定目标，基于图像数据开始实时高精度跟踪；3)建立雷达、广播式自动相关监视系统目标跟踪通道模型；4)判断图像跟踪位置是否处于目标跟踪通道，若处于目标跟踪通道，继续跟踪；否则，返回步骤2；5)根据图像跟踪位置，计算目标区域，利用深度卷积神经网络识别目标起落架收放状态。

权利要求

1.一种军民航机场全自动进近着陆监视方法，其特征在于，包括如下步骤：步骤1：获取目标的航迹数据和图像数据；

步骤2：根据航迹数据，引导光电设备自动锁定目标，基于图像数据开始实时高精度跟踪；

步骤3：建立雷达、广播式自动相关监视系统目标跟踪通道模型；

步骤4：判断图像跟踪位置是否处于目标跟踪通道，如果处于目标跟踪通道，继续跟踪；

否则，返回步骤2；

步骤5：根据图像跟踪位置，计算目标区域，利用深度卷积神经网络检测模型识别目标起落架收放状态；

步骤1包括：

所述目标的航迹数据包括雷达、广播式自动相关监视系统或光电设备提供的方位、俯仰和距离信息；所述图像数据是指光电设备提供的红外和可见光图像；

步骤2包括如下步骤：

步骤2‑1：根据潜在目标的灰度特征、尺寸特征、角点特征，建立目标优先级模型，计算所有目标点的锁定优先级权重，选择锁定优先级权重最高目标进行自动锁定；

步骤2‑2：构建图像特征匹配跟踪模型，对锁定目标进行高精度稳定跟踪；

步骤2‑1包括：

利用canny分割算子计算潜在目标外接矩形框，基于潜在目标的灰度特征、尺寸特征和角点特征建立目标优先级模型，公式如下：潜在目标的灰度特征计算公式如下：其中，wGrayScale为潜在目标的灰度特征系数，G(x2,y2)为像素点灰度值，x2,y2为图像坐标位置，x0、y0为潜在目标区域起始坐标，x1、y1为潜在目标区域结束坐标；

潜在目标的尺寸特征计算公式如下：其中，wsize为所述潜在目标尺寸特征系数，Rratio为默认目标最佳宽高比；

潜在目标的角点特征：基于目标区域寻找ORB角点，基于如下公式计算所述潜在检测目标的角点特征系数值wCornerPoint：其中，Pn为orb角点个数，P max为目标最多有效角点数；

目标优先级模型如下：

w＝w1·wGrayScale+w2·wSize+w3·wCornerPoint其中，w为锁定优先级权重，w1、w2和w3为权重比例，计算所有潜在目标点的锁定优先级权重，选择锁定优先级权重最高，即w最大的潜在目标为锁定目标进行自动锁定。

2.根据权利要求1所述的方法，其特征在于，步骤2‑2包括：在基于锁定优先级权重选定锁定目标后，目标外接矩形为跟踪模板，构建图像多特征匹配跟踪模型，通过跟踪模板逐帧匹配对锁定目标进行跟踪：模板匹配时，计算跟踪模板和匹配区域的相似程度，以最相似位置为匹配点，采用以下的匹配准则作为T(i，j)和f(i，j)的相似性测度：其中，d(xc，yc)为目标跟踪偏差，T(i，j)为跟踪模板中i行j列像素值，f(i，j)为匹配区域像素值，(xc，yc)为跟踪模板在待匹配图像中的偏移值，N为跟踪模板的宽度，M为跟踪模板的长度，T(i，j)、f(i，j)、(xc，yc)三个测度均在d(xc，yc)取最小值时得到最佳匹配位置，目标逐帧跟踪偏差即为d(xc，yc)取最小值时的xc，yc值，依次得到每一帧目标位置(xp，yp)，其中p代表第p帧。

3.根据权利要求2所述的方法，其特征在于，步骤3包括如下步骤：步骤3‑1：分别建立雷达、广播式自动相关监视系统多机型圆柱形跟踪通道模型，通道切面定义为：

2 2 2

(x‑a) +(y‑b) ＝r其中，(x，y)是当前跟踪位置坐标，(a，b)是历史通道中心坐标，r是历史通道半径；

步骤3‑2：基于信号时空强相关特征，通道切面更新为：其中，中间参数a1、b1、r1分别定义为：其中，(a1，b1)是当前通道中心坐标，r1是当前通道半径，Num是相关系数。

4.根据权利要求3所述的方法，其特征在于，步骤4包括如下步骤：步骤4‑1：按照广播式自动相关监视系统、雷达优先级顺序确定目标跟踪通道：a＝a1，

b＝b1，

r＝r1；

步骤4‑2：判断图像跟踪位置是否处于目标跟踪通道，如果是，继续跟踪；否则，返回步骤2：

2 2 2

当(x‑a) +(y‑b) ＞r，则图像跟踪位置在目标跟踪通道外；

2 2 2

当(x‑a) +(y‑b) ＝r，则图像跟踪位置在目标跟踪通道上；

2 2 2

当(x‑a) +(y‑b) ＜r，则图像跟踪位置在目标跟踪通道内。

5.根据权利要求4所述的方法，其特征在于，步骤5包括如下步骤：步骤5‑1：通过目标特征分割算法计算飞机区域；

步骤5‑2：构建起落架训练样本库，建立深度卷积神经网络检测模型，对目标起落架收放状态进行智能识别。

6.根据权利要求5所述的方法，其特征在于，步骤5‑1包括：通过目标区域分割提取出飞机机体，将飞机机体外接矩形部分作为起落架识别的重点区域执行后续处理，目标区域分割是采用canny边缘算子，围绕当前第p帧(xp，yp)周边区域执行边缘提取获取外接矩形框(xb，yb，Widthb，Heightb)，其中xb，yb为外接矩形框左上点坐标，Widthb为矩形框宽度，Heightb为矩形框高度；最终用于起落架待识别区域为(xr，yr，Widthr，Heightr)，其中，xr，yr为所述待识别区域左上角在图像中的坐标位置，Widthr，Heightr分别为所述待识别区域的宽度和长度，通过以下公式计算：Heightr＝Heightb；

步骤5‑2包括：构建起落架训练样本库，基于历史数据对飞机起落架区域进行标注，标注类别为前起落架、左右侧起落架两个类别，标注时包含起落架的外接矩形坐标、宽、高以及类别标签；积累两张以上标注样本形成起落架训练样本库；

采用深度卷积神经网络检测模型，即YOLOV3模型对起落架训练样本库中的样本进行训练，设置类别为2，即前起落架、左右侧起落架两个类别，调整学习率，基于起落架训练样本库进行训练，在模型收敛后停止；最后通过训练得到收敛的YOLOV3模型，将步骤5‑1得到的(xr,yr,Widthr,Heightr)区域对应图片输入YOLOV3模型中，进行起落架检测，从而得到精确的前起落架、左右侧起落架位置，以及外接矩形，并通过起落架检测情况判断飞机起落架收放状态；如果检测到两个左右侧起落架、一个前起落架则认为飞机起落架均放下，否则进行告警或提示。

说明书

一种军民航机场全自动进近着陆监视方法

技术领域

[0001] 本发明属于多源信息处理技术领域，尤其涉及一种军民航机场全自动进近着陆监视方法。

背景技术

[0002] 空中交通管制用于防止飞机与飞机相撞、飞机与障碍物相撞，实现维护和加快空中交通的有序流动的目的，包括塔台管制、进近管制和区域管制。区域管制保障航路飞行安
全；塔台管制和进近管制主要保障飞机起降阶段的飞行安全。

[0003] 目前，军民航机场主要以I类盲降系统进行配置，少数大型民航机场(首都机场、广州白云机场、上海浦东机场等)配置有II类盲降系统，主要包含指点信标、MLS(微波着陆系
统)、ILS(仪表着陆系统)、TACAN(塔康)、着陆雷达(793、794)等。军航机场以国产设备为主，
飞行员根据机载仪表指示(包括方位、下滑角等)进行飞行降落；塔台管制利用着陆雷达回
波、VHF电台等手段进行语音引导指挥，管制员通过望远镜观察飞机降落阶段的飞行姿态、
起落架的收放状态。现有机场进近着陆监视手段及系统存在以下缺点：(1)民航机场依靠广
播式自动相关监视系统设备、军航机场依靠着陆雷达进行降落航线监视，监视手段单一、信
息化和自动化水平不足；(2)管制员通过望远镜目视飞机降落阶段的飞行姿态、起落架的收
放状态，值班压力大，系统显示不直观；(3)在不良天气条件中(例如雾霾、夜晚等能见度天
气)，保障能力受限，增加了飞机的着陆风险。

发明内容

[0004] 发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种军民航机场全自动进近着陆监视方法，全自动监视飞机降落全过程，为塔台指挥员或飞行员提供
精准的飞机着陆信息，最大程度保障飞机降落着陆安全，用于满足军民航机场飞机进近着
陆阶段的可视化引导和全自动监视的用户需求。本发明方法具体包括如下步骤：包括如下
步骤：

[0005] 步骤1：获取目标的航迹数据和图像数据；

[0006] 步骤2：根据航迹数据，引导光电设备自动锁定目标，基于图像数据开始实时高精度跟踪；

[0007] 步骤3：建立雷达、广播式自动相关监视系统目标跟踪通道模型；

[0008] 步骤4：判断图像跟踪位置是否处于目标跟踪通道，如果处于目标跟踪通道，继续跟踪；否则，返回步骤2；

[0009] 步骤5：根据图像跟踪位置，计算目标区域，利用深度卷积神经网络检测模型识别目标起落架收放状态。

[0010] 步骤1包括：

[0011] 所述目标的航迹数据包括雷达、广播式自动相关监视系统或光电设备提供的方位、俯仰和距离信息；所述图像数据是指光电设备提供的红外和可见光图像。

[0012] 步骤2包括如下步骤：

[0013] 步骤2‑1：根据潜在目标的灰度特征、尺寸特征、角点特征，建立目标优先级模型，计算所有目标点的锁定优先级权重，选择锁定优先级权重最高目标进行自动锁定；

[0014] 步骤2‑2：构建图像特征匹配跟踪模型，对锁定目标进行高精度稳定跟踪。

[0015] 步骤2‑1包括：

[0016] 利用canny分割算子计算潜在目标外接矩形框，基于潜在目标的灰度特征、尺寸特征和角点特征建立目标优先级模型，公式如下：

[0017] 潜在目标的灰度特征计算公式如下：

[0018]

[0019] 其中，wGrayScale为潜在目标的灰度特征系数，G(x2,y2)为像素点灰度值，x2,y2为图像坐标位置，x0、y0为潜在目标区域起始坐标，x1、y1为潜在目标区域结束坐标；

[0020] 潜在目标的尺寸特征计算公式如下：

[0021]

[0022] 其中，wsize为尺寸特征系数，Rratio为默认目标最佳宽高比；

[0023] 潜在目标的角点特征：基于目标区域寻找面向快速和旋转的BRIEF即ORB(Oriented FAST and Rotated BRIEF，ORB：An Efficient Alternative to SIFT or 
SURF，http://www.willowgarage.com/sites/default/files/orb_final.pdf)角点，基于
如下公式计算所述潜在检测目标的角点特征系数值wCornerPoint：

[0024] 其中，Pn为ORB角点个数，Pmax为目标最多有效角点数；

[0025] 目标优先级模型如下：

[0026] w＝w1·wGrayScale+w2·wSize+w3·wCornerPoint

[0027] 其中，w为锁定优先级权重，w1、w2和w3为权重比例，计算所有潜在目标点的锁定优先级权重，选择锁定优先级权重最高，即w最大的潜在目标为锁定目标进行自动锁定。

[0028] 步骤2‑2包括：

[0029] 在基于锁定优先级权重选定锁定目标后，目标外接矩形为跟踪模板，构建图像多特征匹配跟踪模型，通过跟踪模板逐帧匹配对锁定目标进行跟踪：

[0030] 模板匹配时，计算跟踪模板和匹配区域的相似程度，以最相似位置为匹配点，采用以下的匹配准则作为T(i,j)和f(i,j)的相似性测度：

[0031]

[0032] 其中，d(xc,yc)为目标跟踪偏差，T(i,j)为跟踪模板中i行j列像素值，f(i,j)为匹配区域像素值，(xc,yc)为跟踪模板在待匹配图像中的偏移值，N为跟踪模板的宽度，M为跟踪
模板的长度，T(i,j)、f(i,j)、(xc,yc)三个测度均在d(xc,yc)取最小值时得到最佳匹配位
置，目标逐帧跟踪偏差即为d(xc,yc)取最小值时的xc,yc值，依次得到每一帧目标位置(xp,
yp)，其中p代表第p帧。

[0033] 步骤3包括如下步骤：

[0034] 步骤3‑1：分别建立雷达、广播式自动相关监视系统多机型圆柱形跟踪通道模型，通道切面定义为：

[0035] (x‑a)2+(y‑b)2＝r2

[0036] 其中，(x,y)是当前跟踪位置坐标，(a,b)是历史通道中心坐标，r是历史通道半径；

[0037] 步骤3‑2：基于信号时空强相关特征，通道切面更新为：

[0038]

[0039] 其中，中间参数a1、b1、r1分别定义为：

[0040]

[0041]

[0042]

[0043] 其中，(a1,b1)是当前通道中心坐标，r1是当前通道半径，Num是相关系数。

[0044] 步骤4包括如下步骤：

[0045] 步骤4‑1：按照广播式自动相关监视系统、雷达优先级顺序确定目标跟踪通道：

[0046] a＝a1，

[0047] b＝b1，

[0048] r＝r1；

[0049] 步骤4‑2：判断图像跟踪位置是否处于目标跟踪通道，如果是，继续跟踪；否则，返回步骤2：

[0050] 当(x‑a)2+(y‑b)2>r2，则图像跟踪位置在目标跟踪通道外。

[0051] 当(x‑a)2+(y‑b)2＝r2，则图像跟踪位置在目标跟踪通道上。

[0052] 当(x‑a)2+(y‑b)2＜r2，则图像跟踪位置在目标跟踪通道内。

[0053] 步骤5包括如下步骤：

[0054] 步骤5‑1：通过目标特征分割算法计算飞机区域；

[0055] 步骤5‑2：构建起落架训练样本库，建立深度卷积神经网络检测模型，对目标起落架收放状态进行智能识别。

[0056] 步骤5‑1包括：

[0057] 通过目标区域分割提取出飞机机体，将飞机机体外接矩形部分作为起落架识别的重点区域执行后续处理，目标区域分割是采用canny边缘算子，围绕当前第p帧(xp,yp)周边
区域执行边缘提取获取外接矩形框(xb,yb,Widthb,Heightb)，其中xb,yb为外接矩形框左上
点坐标，Widthb为矩形框宽度，Heightb为矩形框高度；最终用于起落架识别区域为(xr,yr,
Widthr,Heightr)，其中，xr,yr为所述待识别区域左上角在图像中的坐标位置，Widthr，
Heightr分别为所述待识别区域的宽度和长度，通过以下公式计算：

[0058]

[0059]

[0060]

[0061] Heightr＝Heightb；

[0062] 步骤5‑2包括：构建起落架训练样本库，基于历史数据对飞机起落架区域进行标注，标注类别为前起落架、左右侧起落架两个类别，标注时包含起落架的外接矩形坐标、宽、
高以及类别标签；积累两张以上标注样本形成起落架训练样本库；

[0063] 采用深度卷积神经网络检测模型，即YOLOV3模型对起落架训练样本库中的样本进行训练，设置类别为2，即前起落架、左右侧起落架两个类别，调整学习率，基于起落架训练
样本库进行训练，在模型收敛后停止；最后通过训练得到收敛的YOLOV3模型，将步骤5‑1得
到的(xr,yr,Widthr,Heightr)区域对应图片输入YOLOV3模型中，进行起落架检测，从而得到
精确的前起落架、左右侧起落架位置，以及外接矩形，并通过起落架检测情况判断飞机起落
架收放状态；如果检测到两个左右侧起落架、一个前起落架则认为飞机起落架均放下，否则
进行告警或提示。

[0064] 本发明还提供了军民航机场全自动进近着陆监视系统，包括信息获取设备、数据处理设备和显示控制设备三部分。信息获取设备由雷达、光电、广播式自动相关监视系统、
信号转换与传输设备(含红外SDI图像采集卡、可见光SDI图像采集卡、以太网卡、光纤收发
器)组成，分别获取雷达、光电、广播式自动相关监视系统设备的航迹数据和光电设备的图
像数据，其中，航迹数据通过以太网发生到数据处理设备和显示控制设备；图像数据经光纤
收发器进行光电转换将电信号转换为光信号，发送到数据处理设备和显示控制设备；数据
处理设备由图像处理工作站、数据处理工作站、信号转换与传输设备组成(含SDI图像采集
卡、以太网卡、光纤收发器)，通过以太网接收航迹数据；通过光纤收发器进行光电转换将光
信号转换为电信号，利用SDI图像采集卡接收图像数据；显示控制设备由显示控制工作站、
显示屏、信号转换与传输设备组成(含SDI图像采集卡、以太网卡、光纤收发器)，通过以太网
接收航迹数据；通过光纤收发器进行光电转换将光信号转换为电信号，利用SDI图像采集卡
接收图像数据。

[0065] 本发明与现有技术和系统相比，显著优点是：全自动运行，能够自动引导、自动锁定目标并跟踪、自动计算下滑道偏差和识别起落架收放状态；融合雷达、广播式自动相关监
视系统、光电等多源信息，形成统一的目标态势信息；显示直观和清晰，系统根据目标距离
远近，利用红外热像仪和可见光摄像机进行自动高倍连续变焦，在远近距离均可清晰地看
清飞行姿态、起落架收放状态；在不良天气条件中(例如雾霾、夜晚等能见度天气)，能够清
晰监视飞机降落的全过程。

附图说明

[0066] 下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

[0067] 图1是本发明工作流程图。

[0068] 图2是本发明架构图。

[0069] 图3a是本发明输入的光电图像数据。

[0070] 图3b是经本发明处理后的起落架识别结果。

具体实施方式

[0071] 如图1、图2所示，本发明提供了一种军民航机场全自动进近着陆监视方法，包括如下步骤：

[0072] (1)获取目标的航迹和光电图像数据，如图3a所示；

[0073] 雷达目标的航迹数据具体包括方位、俯仰、距离和二次代码；

[0074] 广播式自动相关监视系统设备输出经度、纬度、高度、二次代码(5707)和目标地址码信息(FF085D91)，通过地理坐标转球坐标，获得目标的航迹数据，具体包括方位、俯仰、距
离信息二次代码5707；

[0075] 光电设备目标的航迹数据具体包括方位、俯仰、距离、尺寸、灰度等信息。

[0076] (2)根据航迹数据，引导光电设备自动锁定目标，基于图像数据开始实时高精度跟踪；

[0077] (a)目标自动锁定

[0078] 自动锁定策略利用canny分割算子计算潜在目标1外接矩形框(120,345,64,28)、潜在目标2外接矩形框(273,254,14,67)两个潜在目标，基于潜在目标灰度、尺寸和角点等
特征建立目标优先级模型，

[0079] 潜在目标灰度特征：

[0080] 潜在目标1灰度特征 潜在目标2灰度特征

[0081] 潜在目标尺寸特征，Rratio为默认目标最佳宽高比，设为2.5：

[0082]

[0083] 潜在目标角点特征，基于潜在目标区域寻找ORB角点，Pmax设置为8，潜在目标1角点数为5，潜在目标2角点数为1，角点特征系数值：

[0084]

[0085] w1、w2和w3为固定值分别设为1,0.5,1.5，优先级计算如下：

[0086] w1＝1·0.324+0.5·5+1.5·0.625＝3.76

[0087] w2＝1·0.107+0.5·1.4+1.5·0.125＝0.99

[0088] 潜在目标1权重高于潜在目标2权重，选定潜在目标1进行自动锁定。

[0089] (b)图像特征匹配跟踪

[0090] 在基于优先级选定锁定目标后，通过潜在目标外接矩形建立跟踪模板，构建图像特征匹配跟踪模型，通过跟踪模板逐帧匹配对锁定目标进行高精度稳定跟踪。依次得到每
一帧目标位置(xp,yp)，其中第2028帧时目标位置为(152,359)。

[0091] (3)建立雷达、广播式自动相关监视系统目标跟踪通道模型；

[0092] (a)分别建立雷达、广播式自动相关监视系统多机型圆柱形跟踪通道模型，通道切面定义为：

[0093] (x‑a)2+(y‑b)2＝r2

[0094] 其中，(x,y)＝(237.6,3.56)是当前跟踪位置，单位是角度，(a,b)＝(237,3)是历史通道中心，单位是角度，r是历史通道半径为0.8度，单位是角度。

[0095] (b)通道切面更新为：

[0096]

[0097] 其中，a1、b1、r1分别定义为：

[0098]

[0099]

[0100]

[0101] 其中，(x,y)＝(237.6,3.56)是当前跟踪位置，单位是角度，(a,b)＝(237,3)是历史通道中心，单位是角度，r是历史通道半径为0.8度，单位是角度，(a1,b1)是当前通道中心，
单位是角度，r1是当前通道半径，单位是角度，Num＝100。

[0102] (4)判断图像跟踪位置是否处于目标跟踪通道，若处于目标跟踪通道，继续跟踪；否则，返回步骤2；

[0103] (a)按照广播式自动相关监视系统、雷达优先级顺序确定目标跟踪通道。

[0104] a＝a1

[0105] b＝b1

[0106] r＝r1

[0107] 其中，(a,b)是历史通道中心，r是历史通道半径，(a1,b1)是当前通道中心，r1是当前通道半径。

[0108] (b)判断图像跟踪位置处于目标跟踪通道，继续跟踪；否则，返回步骤2。

[0109] 当(x‑a)2+(y‑b)2＞r2，则图像跟踪位置在目标跟踪通道外。

[0110] 当(x‑a)2+(y‑b)2＝r2，则图像跟踪位置在目标跟踪通道上。

[0111] 当(x‑a)2+(y‑b)2＜r2，则图像跟踪位置在目标跟踪通道内。

[0112] (5)根据图像跟踪位置，计算目标区域，利用深度卷积神经网络识别目标起落架收放状态。

[0113] (a)确认目标区域

[0114] 确认目标区域主要是通过图像目标分割算法提取出飞机机体，将飞机机体外接矩形部分作为起落架识别的重点区域执行后续处理，目标区域分割主要是采用canny边缘算
子，围绕当前2028帧周边区域执行边缘提取获取外接矩形框为(118,349,60,29)，最终用于
起落架识别区域为(xr,yr,Widthr,Heightr)，通过以下公式计算：

[0115]

[0116]

[0117]

[0118] Heightr＝29

[0119] 得到实际区域为(133,364,30,29)。

[0120] (b)深度学习方法识别起落架

[0121] 构建起落架训练样本库，基于历史数据对飞机起落架区域进行人工标注，标注类别为前起落架、左右侧起落架两个类别，标注时包含起落架的外接矩形坐标、宽、高以及类
别标签。积累2000张以上标注样本形成样本库。采用深度卷积神经网络检测模型YOLOV3模
型对样本进行训练，设置类别为2，即前起落架、左右侧起落架两个类别，调整学习率等参数
基于样本库进行训练，在模型收敛后停止。最后通过训练得到收敛的YOLOV3模型，将5‑1步
中的(133,364,30,29)区域对应图片输入YOLOV3网络模型中，进行起落架检测，从而得到精
确的前起落架、左右侧起落架位置，以及外接矩形，并通过起落架检测情况判断飞机起落架
收放状态，如图3b所示。检测到两个左右侧起落架、一个前起落架，认为飞机起落架均放下。

[0122] 本发明提供了一种军民航机场全自动进近着陆监视方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通
技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润
饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实
现。