一种视频分析与定位信息结合的航空器挂牌方法

摘要

本发明涉及一种视频分析与定位信息结合的航空器挂牌方法，对全景视频图像进行目标检测和跟踪，获得视频图像中的全部分析目标；获取定位信息，通过定位信息获得当前有效的定位目标;进行分析目标和定位目标的匹配，在匹配代价函数中引入历史匹配信息，依据匹配结果挂牌，依据匹配结果更新定位目标列表。本发明主要用于机场的航空器挂牌，能够有效地避免或减少“串牌”现象，并能够在定位信息更新较慢甚至定位系统关闭的情形下较好地实现正确、持续的挂牌效果。

权利要求

1.一种视频分析与定位信息结合的航空器挂牌方法，对全景视频图像进行目标检测和跟踪，获得视频图像中的全部目标，通过视频图像获得的目标称为分析目标，对每个分析目标赋予一个id，同一目标的id保持不变；获取定位信息，通过定位信息获得的目标称为定位目标，所述定位信息包括定位目标的航班号和经纬度坐标，将定位目标的经纬度坐标映射到图像坐标系中，获得定位目标的图像坐标；以当前帧中的分析目标与当前有效的定位目标匹配，以下列公式定义分析目标i与定位目标j的匹配代价函数cost(i，j)：cost(i，j)＝dist(i，j)*k(i，j)其中，

dist(i，j)为分析目标i与定位目标j之间的图像距离，计算公式为：k(i，j)为衰减系数，计算公式为：match_time(i，j)k(i，j)＝α ；

其中，

为分析目标i的中心点的图像坐标；

为定位目标j的定位数据映射到图像上的图像坐标；

H为图像的高度；

match_time(i，j)为分析目标i与定位目标j在本次匹配前已连续匹配的次数，若分析目标i与定位目标j在本次匹配前未连续匹配，则match_time(i，j)＝0；

α为设定的系数，取小于1的正数；

i＝1，...，N，N为分析目标的个数；

j＝1，...，M，M为定位目标的个数，以匹配目标最多且匹配代价之和最小的匹配方式为匹配结果，依据下列方式进行航空器挂牌：

1)若分析目标i与定位目标j匹配，依据该分析目标的位置 宽wi、高hi及该定位目标的航班号flightj挂牌，即以 为输出结果；

2)若分析目标i没有与之匹配的定位目标，依据该分析目标的位置 宽wi、高hi及id挂牌，即以 为输出结果；

3)若定位目标j没有与之匹配的分析目标，用该定位目标的位置 缺省宽default defaultw 、缺省高h 及航班号flightj挂牌，即以为输出结果。

2.如权利要求1所述的方法，其特征在于采用Kuhn‑Munkres算法进行匹配运算，并设置匹配代价阈值，限定任何一对分析目标和定位目标匹配的匹配代价不得大于所述匹配代价阈值。

3.如权利要求2所述的方法，其特征在于对每帧图像都进行分析目标与定位目标的匹配并依据匹配结果更新挂牌，或者每间隔一帧或数帧进行一次分析目标与定位目标的匹配并依据匹配结果更新挂牌。

4.如权利要求1‑3任一项所述的方法，其特征在于建立和维护定位目标列表，记录当前定位信息，定位列表的表项包括定位目标的航班号和经纬度坐标，当得到一条新的定位信息时，通过航班号对定位目标列表进行检索，若存在该航班号则更新其对应的经纬度坐标；

若不存在该航班号则新增一个表项，记录该定位目标的航班号和经纬度坐标；若某个表项超过一定时间一直未得到更新，则删除该表项，进行分析目标与定位目标的匹配时，以当前定位目标列表记录的所有定位信息为定位目标的定位信息，从定位目标列表中获取。

5.如权利要求4所述的方法，其特征在于以匹配结果对定位目标列表进行更新，若分析目标i与定位目标j匹配成功，将匹配结果中的 转换为经纬度坐标若定位目标列表中已存在航班号为flightj的表项，以 更新该表项中的经纬度坐标，否则添加新的表项，记录航班号flightj和经纬度坐标

6.如权利要求5所述的方法，其特征在于对定位目标列表信息进行广播，定位目标列表每更新一次广播一次，或者每隔一定时间广播一次。

说明书

一种视频分析与定位信息结合的航空器挂牌方法

技术领域

[0001] 本发明涉及一种视频分析与定位信息结合的航空器挂牌方法，属计算机视觉技术领域。

背景技术

[0002] 全景视频拼接技术已广泛应用于机场指挥，该技术将多个相机拍摄到的有重叠区域的图像实时拼接成高分辨率的全景图像，直观呈现机场全貌，解决了用户“看得全”的需
求。但仅通过全景视频，机场管制员并不知道视频中航空器的具体信息。如果能在视频中显
示航空器(飞机)的航班信息，无疑会给机场指挥工作带来极大方便。基于此目的，航空器挂
牌技术在“看得全”的基础上进一步解决“是什么”的问题，将航空器的识别信息显示在视频
图像中，即挂牌。

[0003] 现有航空器挂牌的方法主要有两类，一类是使用定位信息，将定位信息中的航空器经纬度坐标直接映射到视频图像坐标系中作为航空器在视频监控图像中的位置，进行航
空器挂牌。目前常用于航空器监控的定位信息系统为广播式自动相关监视(Automatic 
Dependent Surveillance–Broadcast,ADS‑B)系统，该系统会直接获取航空器的航班号和
经纬度等信息，无须人工操作或询问，自动地从相关机载设备获取参数后向地面广播飞机
的位置、高度、速度、航向、识别号等信息，以供机场管制员对飞机状态进行监控。这种挂牌
方法完全依赖定位系统的准确性和实时性，由于定位信息是间隔发出的，映射到视频图像
上的航班位置通常不能十分准确地叠加到视频中对应的航空器目标上，另外会出现挂牌显
示跳跃。

[0004] 另一类将定位信息与视频分析相结合确定航空器在视频图像中的实时位置进行[1]
挂牌 ，在视频中检测、跟踪航空器目标，并与定位信息进行匹配关联，实现挂牌。由于利用
了视频分析结果，航班信息可以较为准确地叠加到视频中的航空器目标，并且能随目标平
滑运动，克服了前一类方法的跳跃问题。

[0005] 然而，尽管将定位信息与视频分析相结合相对于仅仅依赖定位信息具有明显的优点，但仍存在以下问题：

[0006] 1)分析目标较近时的串牌问题：由于视频分析目标与定位信息间的匹配仅基于位置信息，而定位信息本身及其到图像的映射存在误差，因此当有多个分析目标靠近时，航空
标牌不一定能挂到正确目标上。例如：当原本正确挂牌的目标在运动过程中接近另一个目
标时，其定位信息的映射坐标可能因离那个目标更近而与之匹配，发生“串牌”；多个目标靠
近时，标牌在这些目标间还可能随机跳动。

[0007] 2)定位信息更新较慢或缺失时的挂牌问题：定位信息的更新间隔以3秒内为宜，但在实际应用中可能较长，有时达到十几秒甚至几十秒。对于视频中快速运动的分析目标，容
易导致由于与定位信息间的距离过远而无法正确匹配；另外，航空器降落滑行一段时间后
还可能关闭定位信息，导致不能持续挂牌。

发明内容

[0008] 本发明是提供一种视频分析与定位信息结合的航空器挂牌方法，以克服现有技术的上述缺陷，避免或减少在多目标接近时的串牌现象，在不能及时获得定位信息时依然能
够进行较为有效的挂牌。

[0009] 本发明的技术方案是：一种视频分析与定位信息结合的航空器挂牌方法，对全景视频图像进行目标检测和跟踪，获得视频图像中的全部目标，通过视频图像获得的目标称
为分析目标，对每个分析目标赋予一个id(识别码)，同一目标的id保持不变；获取定位信
息，通过定位信息获得的目标称为定位目标，所述定位信息包括定位目标的航班号和经纬
度坐标，将定位目标的经纬度坐标映射到图像坐标系中，获得定位目标的图像坐标；以当前
帧中的分析目标与当前有效的定位目标匹配，以下列公式定义分析目标i与定位目标j的匹
配代价函数cost(i,j)：

[0010] cost(i,j)＝dist(i,j)*k(i,j)

[0011] 其中，

[0012] dist(i,j)为分析目标i与定位目标j之间的图像距离，计算公式为：

[0013]

[0014] k(i,j)为衰减系数，计算公式为：

[0015] k(i,j)＝αmatch_time(i,j)；

[0016] 其中，

[0017] 为分析目标i的中心点的图像坐标；

[0018] 为定位目标j的位置数据映射到图像上的图像坐标；

[0019] H为图像的高度；

[0020] match_time(i,j)为分析目标i与定位目标j在本次匹配前已连续匹配的次数，若分析目标i与定位目标j在本次匹配前未连续匹配，则

[0021] match_time(i,j)＝0；

[0022] α为设定的系数，取小于1的正数；

[0023] i＝1,…,N，N为分析目标的个数；

[0024] i＝1,…,M，M为定位目标的个数，

[0025] 以匹配目标最多且匹配代价(匹配代价函数的计算值)之和最小的匹配方式为匹配结果，依据下列方式进行航空器挂牌：

[0026] 1)若分析目标i与定位目标j匹配，依据该分析目标的位置 宽wi、高hi及该定位目标的航班号flightj挂牌，即以 为输出
结果；

[0027] 2)若分析目标i没有与之匹配的定位目标，依据该分析目标的位置宽wi、高hi及id(idi)挂牌，即以 为输出结
果；

[0028] 3)若定位目标j没有与之匹配的分析目标，用该定位目标的位置 缺default default
省宽w 、缺省高h 及航班号flightj挂牌，即以
为输出结果。

[0029] 通常可以采用Kuhn‑Munkres算法进行匹配运算。

[0030] 优选设置匹配代价阈值，限定任何一对分析目标和定位目标匹配的匹配代价不得大于所述匹配代价阈值。

[0031] 对每帧图像都进行分析目标与定位目标的匹配并依据匹配结果更新挂牌。或者，每间隔一帧或数帧进行一次分析目标与定位目标的匹配并依据匹配结果更新挂牌。

[0032] 优选建立和维护定位目标列表，记录当前定位信息。

[0033] 定位列表的表项包括定位目标的航班号和经纬度坐标。

[0034] 当得到一条新的定位信息时，通过航班号对定位目标列表进行检索，若存在该航班号则更新其对应的经纬度坐标；若不存在该航班号则新增一个表项，记录该定位目标的
航班号和经纬度坐标；若某个表项超过一定时间一直未得到更新，则删除该表项，进行分析
目标与定位目标的匹配时，以当前定位目标列表记录的所有定位信息为定位目标的定位信
息，从定位目标列表中获取。

[0035] 以匹配结果对定位目标列表进行更新，若分析目标i与定位目标j匹配成功，将匹配结果中的 转换为经纬度坐标 若定位目标列表中已存
在航班号为flightj的表项，以 更新该表项中的经纬度坐标，否则添加新的
表项,记录航班号flightj和经纬度坐标

[0036] 对定位目标列表信息进行广播，定位目标列表每更新一次广播一次，或者每隔一定时间广播一次。

[0037] 本发明的有益效果是：由于引入历史匹配信息，优化匹配代价函数，有效地避免或减少了目标较近时的“串牌”现象；由于优化了定位信息的更新方式，使定位信息更新较慢
甚至定位系统关闭的情形下，也能较好地实现挂牌，较好地实现了正确、持续的挂牌效果。

附图说明

[0038] 图1是本发明的整体流程示意图；

[0039] 图2是本发明的挂牌匹配流程示意图；

[0040] 图3是航空器挂牌结果截图。

具体实施方式

[0041] 下面结合附图，先概要地描述视频分析与定位信息相结合的航空器挂牌方法的整体流程，再对本发明的重点挂牌匹配方法的改进加以详细说明。

[0042] 1.整体流程

[0043] 本发明所述方法的整体流程如图1所示。

[0044] 输入是全景视频和定位信息。其中，全景视频通过视频拼接技术得到，用于视频目标分析；定位信息可以来自ADS‑B系统或其他定位信息系统(或称定位系统)，至少包含航空
器的经纬度信息和航班信息(航班号或其他形式的航班识别信息)，将二者匹配关联，可得
到视频中各航空器目标的航班信息，实现航班挂牌。

[0045] 对于全景视频图像，采用目标检测与跟踪技术可以实时分析得到其中的航空器目标，分析结果用目标的外接矩形框(分析框)表示，包含目标的位置与大小信息；为区分不同
目标，每个分析框还带有一个id，利用多目标跟踪技术，可使同一目标在运动过程中保持id
[2] [3]
不变。对视频图像中的目标检测与跟踪可采用目前较为主流的技术，如YOLO 、SORT 等方
法。

[0046] 对于定位信息，需将经纬度映射为图像坐标，以便与视频分析结果进行匹配。对从定位系统接收到的每条定位信息，先判断其是否落于当前全景图像的经纬度范围内，若是
则进行坐标映射，否则忽略该信息。全景经纬度范围及坐标映射均需预先标定。其中，坐标
映射需在全景图像中选定多个参考点，记录它们的图像坐标及相应位置的经纬度。收到新
的定位信息时，利用已知参考点的经纬度(或称经纬度坐标)，可通过最小二乘法估计出定
[1]
位目标的图像坐标 。

[0047] 接下来根据分析结果与定位信息的位置关系进行匹配关联，将航班信息依据一定的规则显示在视频图像中的相应航空器旁，实现航空器挂牌，挂牌效果如图3所示，目标框
旁边的字串表示航班号。如果定位信息中还包含其它信息(如飞机型号、运动速度等)，也可
在结果中显示。

[0048] 2.匹配方法

[0049] 挂牌匹配的整体流程如图2所示。匹配是对每帧图像进行的，输入包括：

[0050] (1)当前图像帧的第i个航空器分析目标，记作

[0051]

[0052] 其中 wi,hi和idi分别代表该分析目标的中心点图像坐标、宽、高及id，N是当前帧分析获得的目标个数。

[0053] 在时间轴上，具有相同id的目标表示同一个目标。

[0054] (2)当前时刻的定位目标，记作

[0055] 其中 flightj表示定位信息中的经纬度坐标映射后的图像坐标及航班号。实际应用中，定位信息的更新频率(3‑5秒更新一次甚至更久)一般远低于视频帧率
(25fps)。

[0056] 系统(用于实施本发明方法的系统)会维护一个定位目标列表，记录当前定位信息，当得到一条新的定位信息(包括航班号和经纬度)时，通过航班号对列表进行检索，若存
在该航班号则更新其对应的经纬度信息；若不存在则新增一个表项；若某个表项超过一定
时间仍未得到更新，则删除该表项。挂牌匹配时，对于每一帧图像，获取定位目标列表中的
所有表项并完成经纬度映射后，便开始与分析目标进行匹配。

[0057] 可以将挂牌匹配抽象为一个二部图最优权重匹配问题。该问题可用图论中的[4]
Kuhn‑Munkres算法 加以解决。给定N个分析目标与M个定位目标，以及它们之间的匹配代
价函数cost(i,j),i＝1,…,N,j＝1,…,M，可求出最优匹配，使得匹配目标最多且匹配代价
之和最小。

[0058] 对于Kuhn‑Munkres算法得到的匹配结果，还需进一步过滤，当匹配目标间的匹配代价超过某个阈值，应解除它们的匹配关系，以滤除那些匹配代价过大的目标对。

[0059] 最终的匹配结果包括下面三种情况：

[0060] 1)分析目标i与定位目标j成功匹配，用分析目标的位置、宽高及定位目标的航班号，即 作为输出结果。

[0061] 2)分析目标i没有与之匹配的定位目标，用分析目标的位置、宽高及id，即作为输出结果。

[0062] 3)定位目标j没有与之匹配的分析目标，用定位目标的位置、缺省宽高及航班号，即 作为输出结果。因为定位目标中并不包含目
标宽高信息，故用预先定义的缺省值

[0063] wdefault,hdefault表示。

[0064] 下面对本发明的重点，即匹配代价函数的定义及定位信息的更新方式作进一步描述。

[0065] (1)匹配代价函数的定义

[0066] 直观而言，分析目标与定位目标离得越近越有可能匹配，但正如前述，由于定位信息本身(经纬度)及其映射过程不可避免地存在一定误差，当某一分析目标在运动过程中接
近其它目标，或多个分析目标距离较近时，匹配可能不够稳定，会导致航班标牌在不同目标
间串动。为使挂牌更为稳定，在匹配代价函数中引入历史挂牌信息：

[0067] cost(i,j)＝dist(i,j)*k(i,j)  公式(1)

[0068] 其中，dist(i,j)表示分析目标i与定位目标j间的距离，k(i,j)是一个衰减系数，由i、j的历史匹配信息所决定，具体可如下定义：

[0069]

[0070] 式中前一项是分析目标与定位目标间的欧式距离；后一项是透视系数，由于近大远小的透视关系，在不同图像位置的相同距离所代表的真实场景中的距离并不相同，在图
像上方(y坐标小)通常较大；而在图像下方(y坐标大)通常较小。因此，采用1减去目标连线
中点的y坐标相对于图像高度H的比值作为透视系数。k(i,j)表示分析目标i与定位目标j间
的匹配代价衰减系数，可如下定义：

[0071] k(i,j)＝αmatch_time(i,j)  公式(3)

[0072] 其中，match_time(i,j)表示分析目标i与定位目标j已经连续匹配的次数，α是小于1的正数(例如0.95)，k(i,j)随i、j间连续匹配次数的增加而减少；若i、j未连续匹配，
match_time(i,j)＝0，则k(i,j)＝1，匹配代价不衰减。这样，匹配关系有利于在已经匹配的
目标间得以继续保持，从而减少“串牌”现象。

[0073] (2)定位信息更新方式的优化

[0074] 在不过多引入额外匹配规则，保持匹配框架简单一致的条件下，通过优化定位信息的更新方式可改善由于定位信息更新较慢或关闭导致的挂牌问题。如前所述，定位信息
保存在定位目标列表中，每个表项包括航班号和经纬度信息。若定位信息更新较慢，会导致
目标与当前实际位置偏差较大，难以正确匹配；若长时间没有更新，还会导致表项被删除，
无法持续挂牌。

[0075] 为及时更新定位信息，对定位目标列表增加一个数据来源，除来自真实的定位系统(如ADS‑B)外，还可来自历史匹配结果。若定位目标j与分析目标i成功匹配，则用匹配信
息 更新定位信息列表，若表中已存在航班号为flightj的表项，
则更新其位置信息；否则添加新的表项。更新前还需对图像坐标 进行反映
射，换算成对应的经纬度坐标。反映射方法与正映射方法完全类似，同样利用若干预先标定
的参考点的图像坐标及其对应的经纬度坐标进行插值计算。这样，在下一帧匹配时，定位信
息即使未被真实定位系统更新，也会随历史匹配结果发生改变，不至与目标真实位置产生
较大偏差。当定位系统关闭时，只要目标能被持续检测跟踪，通过历史匹配结果对定位信息
列表的更新，也可实现持续挂牌。

[0076] 没有采用匹配目标的图像坐标直接更新定位信息列表而是先进行反映射，是考虑到经纬度坐标是具有唯一性的绝对坐标。当对多个存在一定重叠区域的全景视频进行分析
和挂牌时，若对反算出的经纬度信息进行广播，每个全景均能收到，只要其落于当前全景的
经纬度范围内，便可进行坐标映射及匹配。这样，还可实现运动目标的跨全景持续挂牌。

[0077] 本发明公开的各优选和可选的技术手段，除特别说明外及一个优选或可选技术手段为另一技术手段的进一步限定外，均可以任意组合，形成若干不同的技术方案。

[0078] 参考文献

[0079] [1]唐勇等，“一种在机场视频中实现飞机自动挂标牌的新方法”，江苏大学学报(自然科学版)，第34卷，第6期，2013.

[0080] [2]Joseph Redmon and Ali Farhadi,“YOLOv3:An Incremental Improvement”,Technical report,2018.

[0081] [3]Alex Bewley,et al.,“Simple Online and Real‑time Tracking”,International Conference on Image Processing(ICIP),2016.

[0082] [4]高随详，“图论与网络流理论”，高等教育出版社，2009.