一种机场旅客定位方法、装置、电子设备及介质转让专利

申请号 : CN202111132797.7

文献号 : CN113570644B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 党婉丽李本超杜雨弦耿龙王朝郑怀宇潘野

申请人 : 中国民用航空总局第二研究所

摘要 :

本申请提供了一种机场旅客定位方法、装置、电子设备及介质,该方法包括:响应目标旅客满足预设定位条件,从登记的安检信息中,选取与所述目标旅客的出行信息相匹配的目标安检信息,并根据所述目标安检信息从对应的第一柜台图像中,匹配得到所述目标旅客的半身图像;基于所述目标旅客的半身图像和预划定柜台区域的指定区域,通过所述柜台摄像头对所述目标旅客进行跟踪,确定目标安检图像,并从所述目标安检图像中,匹配得到所述目标旅客的全身图像;基于所述目标旅客的全身图像,通过候机摄像头追踪所述目标旅客,得到所述目标旅客的轨迹,并确定所述目标旅客的位置;能够更加准确的定位旅客。

权利要求 :

1.一种机场旅客定位方法,其特征在于,所述机场包括柜台区域、安检口区域、候机区域;旅客在所述柜台区域登记安检信息,并在通过安检口区域后,在候机区域等候乘坐相应航班;所述柜台区域设置有柜台摄像头,所述柜台摄像头用于拍摄柜台图像并记录拍摄时间;所述安检口区域设置有安检摄像头,所述安检摄像头用于拍摄安检图像并记录拍摄时间;所述候机区域设置有候机摄像头,所述候机摄像头用于拍摄候机图像并记录拍摄时间;

出行信息包括第一个人身份数据和第一航班数据;所述安检信息包括第二个人身份数据、第二航班数据、安检时间和安检位置;所述方法包括:响应目标旅客满足预设定位条件,从登记的安检信息中,选取与所述目标旅客的出行信息相匹配的目标安检信息,并根据所述目标安检信息从对应的第一柜台图像中,匹配得到所述目标旅客的半身图像;

基于所述目标旅客的半身图像和预划定柜台区域的指定区域,通过所述柜台摄像头对所述目标旅客进行跟踪,确定目标安检图像,并从所述目标安检图像中,匹配得到所述目标旅客的全身图像;

基于所述目标旅客的全身图像,通过候机摄像头追踪所述目标旅客,得到所述目标旅客的轨迹,并确定所述目标旅客的位置;

所述从登记的安检信息中,选取与所述目标旅客的出行信息相匹配的目标安检信息,并根据所述目标安检信息从对应的第一柜台图像中,匹配得到所述目标旅客的半身图像,包括:

通过所述第一个人身份数据和第一航班数据与所述第二个人身份数据和第二航班数据的匹配,确定所述目标旅客的安检时间和安检位置;

将拍摄所述安检位置的目标柜台摄像头在所述安检时间拍摄的图像作为第一柜台图像,并从所述第一柜台图像中选取所述目标旅客的半身图像。

2.根据权利要求1所述的方法,其特征在于,所述从所述第一柜台图像中选取所述目标旅客的半身图像,包括:

检测所述第一柜台图像中划定检测区域旅客的掩码信息和该旅客的面部遮挡物信息;

根据所述旅客的掩码像素值的大小和该旅客的面部有无遮挡物,确定所述目标旅客,并提取所述目标旅客的半身图像。

3.根据权利要求1所述的方法,其特征在于,所述基于所述目标旅客的半身图像和预划定柜台区域的指定区域,通过所述柜台摄像头对所述目标旅客进行跟踪,确定目标安检图像,包括:

获取所述柜台摄像头在预设时间间隔拍摄的第二柜台图像和该第二柜台图像对应的拍摄时间;

通过所述目标旅客的半身图像与所述第二柜台图像中指定区域的旅客进行匹配,确定所述目标旅客到达所述指定区域的时间;

根据所述目标旅客到达所述指定区域的时间、所述指定区域与所述安检口的距离、目标旅客的行走速度,预测所述目标旅客出现在安检口的时间段;

将所述安检摄像头在预测的时间段拍摄的图像作为目标安检图像。

4.根据权利要求1所述的方法,其特征在于,所述从所述 目标安检图像中匹配得到所述目标旅客的全身图像,包括:

计算目标安检图像中每个旅客的全身图像与所述目标旅客的半身照相似度;

选取大于预设相似度阈值的旅客的全身图像作为目标旅客的全身图像。

5.根据权利要求1所述的方法,其特征在于,所述基于所述目标旅客的全身图像,通过候机摄像头追踪所述目标旅客,得到所述目标旅客的轨迹,并确定所述目标旅客的位置,包括:

若所述候机摄像头拍摄连续帧的候机图像中任意一个旅客对应的两个连续位置满足预设条件,获取所述连续帧的候机图像中每个旅客对应的位置;

根据所述目标旅客的全身图像与所述候机图像中每个旅客的匹配度,从所述候机图像中出现的旅客中确定所述目标旅客;

将所述目标旅客在不同帧的候机图像中的位置为所述目标旅客的轨迹,并根据目标旅客的轨迹,确定目标旅客的位置。

6.根据权利要求5所述的方法,其特征在于,所述两个连续位置包括第一实际位置和第二实际位置,通过如下方式判断所述候机摄像头拍摄连续帧的候机图像中任意一个旅客对应的两个连续位置是否满足预设条件:根据任意一个旅客在所述第一实际位置的运动状态,确定该旅客在下一帧候机图像中的预测位置;

若所述预测位置与所述第二实际位置的距离小于等于距离阈值,该旅客对应的两个连续位置满足预设条件。

7.根据权利要求1所述的方法,其特征在于,所述候机区域为多个,每个候机摄像头分别拍摄对应的候机区域,根据机场的路径规划,确定所述候机摄像头的排列次序;所述基于所述目标旅客的全身图像,通过候机摄像头追踪所述目标旅客,得到所述目标旅客的轨迹,并确定所述目标旅客的位置,包括:基于所述目标旅客的全身图像,每个候机摄像头分别在对应的候机区域追踪所述目标旅客,得到所述目标旅客在该候机区域的轨迹;

将所述目标旅客在每个候机区域的轨迹按照所述排列次序整合为所述目标旅客的整体轨迹;

根据所述目标旅客的整体轨迹,确定所述目标旅客的位置。

8.一种机场旅客定位装置,其特征在于,所述机场包括柜台区域、安检口区域、候机区域;旅客在所述柜台区域登记安检信息,并在通过安检口区域后,在候机区域等候乘坐相应航班;所述柜台区域设置有柜台摄像头,所述柜台摄像头用于拍摄柜台图像并记录拍摄时间;所述安检口区域设置有安检摄像头,所述安检摄像头用于拍摄安检图像并记录拍摄时间;所述候机区域设置有候机摄像头,所述候机摄像头用于拍摄候机图像并记录拍摄时间;

出行信息包括第一个人身份数据和第一航班数据;所述安检信息包括第二个人身份数据、第二航班数据、安检时间和安检位置;所述装置包括:半身图像匹配模块,用于响应目标旅客满足预设定位条件,从登记的安检信息中,选取与所述目标旅客的出行信息相匹配的目标安检信息,并根据所述目标安检信息从对应的第一柜台图像中,匹配得到所述目标旅客的半身图像;

全身图像匹配模块,用于基于所述目标旅客的半身图像和预划定柜台区域的指定区域,通过所述柜台摄像头对所述目标旅客进行跟踪,确定目标安检图像,并从目标安检图像中匹配得到所述目标旅客的全身图像;

位置确定模块,用于基于所述目标旅客的全身图像,通过候机摄像头追踪所述目标旅客,得到所述目标旅客的轨迹,并确定所述目标旅客的位置;

所述半身图像匹配模块,在用于所述从登记的安检信息中,选取与所述目标旅客的出行信息相匹配的目标安检信息,并根据所述目标安检信息从对应的第一柜台图像中,匹配得到所述目标旅客的半身图像时,包括:通过所述第一个人身份数据和第一航班数据与所述第二个人身份数据和第二航班数据的匹配,确定所述目标旅客的安检时间和安检位置;

将拍摄所述安检位置的目标柜台摄像头在所述安检时间拍摄的图像作为第一柜台图像,并从所述第一柜台图像中选取所述目标旅客的半身图像。

9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的机场旅客定位方法的步骤。

10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述的机场旅客定位方法的步骤。

说明书 :

一种机场旅客定位方法、装置、电子设备及介质

技术领域

[0001] 本申请涉及图像处理技术领域,具体而言,涉及一种机场旅客定位方法、装置、电子设备及介质。

背景技术

[0002] 随着科技的飞速发展,人们生活水平的不断提高,可供人们选择的出行方式越来越多。其中,乘坐飞机出行是最为便捷的出行方式之一。
[0003] 在实际情况中,飞机在多种情况下不能按时起飞。例如,旅客不能按时登机。当存在旅客不能按时登机时,机场需要提醒旅客快速登机。
[0004] 目前,寻找旅客的方式有:以安检区域获得人脸图像为基准,通过人脸匹配定位迟登机旅客位置;通过区域广播进行联动寻找迟登机旅客;通过购票电话进行迟登机旅客的
寻找。上述三种方式不能有效、快速、精准定位寻找旅客。

发明内容

[0005] 有鉴于此,本申请的目的在于提供一种机场旅客定位方法、装置、电子设备及介质,基于机场现有的监视环境,可实现精准定位旅客。
[0006] 第一方面,本申请实施例提供了一种机场旅客定位方法,所述机场包括柜台区域、安检口区域、候机区域;旅客在所述柜台区域登记安检信息,并在通过安检口区域后,在候
机区域等候乘坐相应航班;所述柜台区域设置有柜台摄像头,所述柜台摄像头用于拍摄柜
台图像并记录拍摄时间;所述安检口区域设置有安检摄像头,所述安检摄像头用于拍摄安
检图像并记录拍摄时间;所述候机区域设置有候机摄像头,所述候机摄像头用于拍摄候机
图像并记录拍摄时间;所述方法包括:
[0007] 响应目标旅客满足预设定位条件,从登记的安检信息中,选取与所述目标旅客的出行信息相匹配的目标安检信息,并根据所述目标安检信息从对应的第一柜台图像中,匹
配得到所述目标旅客的半身图像;
[0008] 基于所述目标旅客的半身图像和预划定柜台区域的指定区域,通过所述柜台摄像头对所述目标旅客进行跟踪,确定目标安检图像,并从所述目标安检图像中,匹配得到所述
目标旅客的全身图像;
[0009] 基于所述目标旅客的全身图像,通过候机摄像头追踪所述目标旅客,得到所述目标旅客的轨迹,并确定所述目标旅客的位置。
[0010] 在本申请较佳的技术方案中,上述出行信息包括第一个人身份数据和第一航班数据;所述安检信息包括第二个人身份数据、第二航班数据、安检时间和安检位置;所述从登
记的安检信息中,选取与所述目标旅客的出行信息相匹配的目标安检信息,并根据所述目
标安检信息从对应的第一柜台图像中,匹配得到所述目标旅客的半身图像,包括:
[0011] 通过所述第一个人身份数据和第一航班数据与所述第二个人身份数据和第二航班数据的匹配,确定所述目标旅客的安检时间和安检位置;
[0012] 将拍摄所述安检位置的目标柜台摄像头在所述安检时间拍摄的图像作为第一柜台图像,并从所述第一柜台图像中选取所述目标旅客的半身图像。
[0013] 在本申请较佳的技术方案中,上述从所述第一柜台图像中选取所述目标旅客的半身图像,包括:
[0014] 检测所述第一柜台图像中划定检测区域旅客的掩码信息和该旅客的面部遮挡物信息;
[0015] 根据所述旅客的掩码像素值的大小和该旅客的面部有无遮挡物,确定所述目标旅客,并提取所述目标旅客的半身图像。
[0016] 在本申请较佳的技术方案中,上述基于所述目标旅客的半身图像和预划定柜台区域的指定区域,通过所述柜台摄像头对所述目标旅客进行跟踪,确定目标安检图像,包括:
[0017] 获取所述柜台摄像头在预设时间间隔拍摄的第二柜台图像和该第二柜台图像对应的拍摄时间;
[0018] 通过所述目标旅客的半身图像与所述第二柜台图像中指定区域的旅客进行匹配,确定所述目标旅客到达所述指定区域的时间;
[0019] 根据所述目标旅客到达所述指定区域的时间、所述指定区域与所述安检口的距离、目标旅客的行走速度,预测所述目标旅客出现在安检口的时间段;
[0020] 将所述安检摄像头在预测的时间段拍摄的图像作为目标安检图像。
[0021] 在本申请较佳的技术方案中,上述从所述目标安检图像中,匹配得到所述目标旅客的全身图像,包括:
[0022] 计算目标安检图像中每个旅客的全身图像与所述目标旅客的半身照相似度;
[0023] 选取大于预设相似度阈值的旅客的全身图像作为目标旅客的全身图像。
[0024] 在本申请较佳的技术方案中,上述基于所述目标旅客的全身图像,通过候机摄像头追踪所述目标旅客,得到所述目标旅客的轨迹,并确定所述目标旅客的位置,包括:
[0025] 若所述候机摄像头拍摄连续帧的候机图像中任意一个旅客对应的两个连续位置满足预设条件,获取所述连续帧的候机图像中每个旅客对应的位置;
[0026] 根据所述目标旅客的全身图像与所述候机图像中每个旅客的匹配度,从所述候机图像中出现的旅客中确定所述目标旅客;
[0027] 将所述目标旅客在所述不同帧的候机图像中的位置为所述目标旅客的轨迹,并根据目标旅客的轨迹,确定目标旅客的位置。
[0028] 在本申请较佳的技术方案中,上述两个连续位置包括第一实际位置和第二实际位置,通过如下方式判断所述候机摄像头拍摄连续帧的候机图像中任意一个旅客对应的两个
连续位置是否满足预设条件:
[0029] 根据任意一个旅客在所述第一实际位置的运动状态,确定该旅客在下一帧候机图像中的预测位置;
[0030] 若所述预测位置与所述第二实际位置的距离小于等于距离阈值,该旅客对应的两个连续位置满足预设条件。
[0031] 在本申请较佳的技术方案中,上述候机区域为多个,每个候机摄像头分别拍摄对应的候机区域,根据机场的路径规划,确定所述候机摄像头的排列次序;所述基于所述目标
旅客的全身图像,通过候机摄像头追踪所述目标旅客,得到所述目标旅客的轨迹,并确定所
述目标旅客的位置,包括:
[0032] 基于所述目标旅客的全身图像,每个候机摄像头分别在对应的候机区域追踪所述目标旅客,得到所述目标旅客在该候机区域的轨迹;
[0033] 将所述目标旅客在每个候机区域的轨迹按照所述排列次序整合为所述目标旅客的整体轨迹;
[0034] 根据所述目标旅客的整体轨迹,确定所述目标旅客的位置。
[0035] 第二方面,本申请实施例提供了一种机场旅客定位装置,所述机场包括柜台区域、安检口区域、候机区域;旅客在所述柜台区域登记安检信息,并在通过安检口区域后,在候
机区域等候乘坐相应航班;所述柜台区域设置有柜台摄像头,所述柜台摄像头用于拍摄柜
台图像并记录拍摄时间;所述安检口区域设置有安检摄像头,所述安检摄像头用于拍摄安
检图像并记录拍摄时间;所述候机区域设置有候机摄像头,所述候机摄像头用于拍摄候机
图像并记录拍摄时间;所述装置包括:
[0036] 半身图像匹配模块,用于响应目标旅客满足预设定位条件,从登记的安检信息中,选取与所述目标旅客的出行信息相匹配的目标安检信息,并根据所述目标安检信息从对应
的第一柜台图像中,匹配得到所述目标旅客的半身图像;
[0037] 全身图像匹配模块,用于基于所述目标旅客的半身图像和预划定柜台区域的指定区域,通过所述柜台摄像头对所述目标旅客进行跟踪,确定目标安检图像,并从所述目标安
检图像中,匹配得到所述目标旅客的全身图像;
[0038] 位置确定模块,用于基于所述目标旅客的全身图像,通过候机摄像头追踪所述目标旅客,得到所述目标旅客的轨迹,并确定所述目标旅客的位置。
[0039] 第三方面,本申请实施例提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现
上述的机场旅客定位方法的步骤。
[0040] 第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述的机场旅客定位方法
的步骤。
[0041] 本申请的实施例提供的技术方案可以包括以下有益效果:本申请通过响应目标旅客满足预设定位条件,从登记的安检信息中,选取与所述目标旅客的出行信息相匹配的目
标安检信息,并根据所述目标安检信息从对应的第一柜台图像中,匹配得到所述目标旅客
的半身图像;然后基于所述目标旅客的半身图像和预划定柜台区域的指定区域,通过所述
柜台摄像头对所述目标旅客进行跟踪,确定目标安检图像,并从所述目标安检图像中,匹配
得到所述目标旅客的全身图像;最后,基于所述目标旅客的全身图像,通过候机摄像头追踪
所述目标旅客,得到所述目标旅客的轨迹,并确定所述目标旅客的位置;能够更加准确的定
位旅客。
[0042] 为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

[0043] 为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍, 应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是
对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据
这些附图获得其他相关的附图。
[0044] 图1示出了本申请实施例所提供的一种机场旅客定位方法的流程示意图;
[0045] 图2示出了本申请实施例所提供的一种提取半身图像的流程示意图;
[0046] 图3示出了本申请实施例所提供的一种机场旅客定位装置示意图;
[0047] 图4本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

[0048] 为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅
是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实
施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的
实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实
施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所
有其他实施例,都属于本申请保护的范围。
[0049] 迟登机旅客是造成航班延误的原因之一,某大型机场仅一个航站楼每天平均迟登机或未登机旅客约240人。迟登机旅客的主动寻找的方法主要集中以下几点:
[0050] (1)以安检区域获得人脸图像为基准,通过人脸匹配定位迟登机旅客位置;
[0051] (2)通过区域广播进行联动寻找迟登机旅客;
[0052] (3)通过购票电话进行迟登机旅客的寻找。
[0053] 在上述三种主流解决方案中,存在以下问题:
[0054] 第一种方案属于主动寻找,依赖旅客的人脸图像,但机场的候机区域现有的摄像头很难获人脸图像,可以使用人脸摄像头的位置仅限通道、电梯口等,难以精准定位旅客位
置。
[0055] 第二种方案以广播为主,广播区域有限,其往往难以引起迟登机旅客的注意。
[0056] 第三种方案电话通知为主,据统计,旅客购票所留的电话准确率为60%左右,旅客往往收不到提醒信息或电话。
[0057] 上述三种方案在一定程度上可以对部分迟登机旅客做到提醒的作用,但不能有效、快速、精准定位寻找旅客。
[0058] 基于此,本申请实施例提供了一种机场旅客定位方法、装置、电子设备及介质,下面通过实施例进行描述。
[0059] 现有的机场包括柜台区域、安检口区域、候机区域;旅客在柜台区域登记安检信息,并在通过安检口区域后,在候机区域等候乘坐相应航班;柜台区域设置有柜台摄像头,
柜台摄像头用于拍摄柜台图像并记录拍摄时间;安检口区域设置有安检摄像头,安检摄像
头用于拍摄安检图像并记录拍摄时间;候机区域设置有候机摄像头,候机摄像头用于拍摄
候机图像并记录拍摄时间。
[0060] 旅客在购买机票时,需要在服务器上登记自己的出行信息;出行信息包括第一个人身份数据和第一航班数据;第一个人身份数据包括旅客的姓名、身份证号等;第一航班数
据包括旅客要购买的航班日期、该航班日期中的航班号等。
[0061] 到达该航班日期时,旅客携带相关材料前往机场。到达机场后,需要经过柜台区域,在柜台区域登记安检信息,安检信息包括第二个人身份数据、第二航班数据、安检时间、
安检位置;第二个人身份数据包括旅客的姓名、身份证号、大头照片等;第二航班数据包括
旅客要购买的航班日期、该航班日期中的航班号等;安检位置是旅客安检的具体方位,可以
是旅客进入柜台区域时对应的通道号。
[0062] 旅客顺利通过安检之后,进入候机区域等待登机。
[0063] 图1示出了本申请实施例所提供的一种机场旅客定位方法的流程示意图,其中,该方法包括步骤S101‑S103;具体的:
[0064] S101、响应目标旅客满足预设定位条件,从登记的安检信息中,选取与目标旅客的出行信息相匹配的目标安检信息,并根据目标安检信息从对应的第一柜台图像中,匹配得
到目标旅客的半身图像;
[0065] S102、基于目标旅客的半身图像和预划定柜台区域的指定区域,通过柜台摄像头对目标旅客进行跟踪,确定目标安检图像,并从目标安检图像中,匹配得到目标旅客的全身
图像;
[0066] S103、基于目标旅客的全身图像,通过候机摄像头追踪目标旅客,得到目标旅客的轨迹,并确定目标旅客的位置。
[0067] 本申请基于机场现有的监视环境,实现目标旅客在候机区域的轨迹进行跟踪,可实现对目标旅客的精准定位。
[0068] 下面对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
[0069] S101、响应目标旅客满足预设定位条件,从登记的安检信息中,选取与目标旅客的出行信息相匹配的目标安检信息,并根据目标安检信息从对应的第一柜台图像中,匹配得
到目标旅客的半身图像。
[0070] 响应目标旅客满足预设定位条件,预设定位条件包括以下至少之一:当前时间距目标航班起飞时间达到预设范围、接收到针对目标旅客的定位请求。当当前时间距待乘坐
目标航班的实际起飞时间达到预设范围或者需要寻找某个重点旅客时,乘务人员可以向服
务器发送目标航班对应的旅客定位条件。服务器根据目标航班对应的旅客定位条件,从旅
客购票数据库中,获取待乘坐目标航班的目标旅客的出行信息。
[0071] 服务器获取了目标旅客的出行信息之后,从登记的安检信息中选择与目标旅客的出行信息相匹配的目标安检信息,这里的相匹配指的是该目标安检信息和出行信息是同一
个旅客的信息。
[0072] 出行信息包括第一个人身份数据和第一航班数据,安检信息包括第二个人身份数据、第二航班数据、安检时间和安检位置。
[0073] 本申请通过第一个人身份数据和第一航班数据与第二个人身份数据和第二航班数据的匹配,确定该安检信息是目标旅客的目标安检信息,目标安检信息中包括的安检时
间和安检位置,为目标旅客的安检时间和安检位置。
[0074] 为了能够快速获取到包含目标旅客的图像,本申请将拍摄目标旅客所在安检位置的目标柜台摄像头在目标旅客的安检时间拍摄的图像作为第一柜台图像,即该第一柜台图
像中包含了目标旅客,从第一柜台图像中选取目标旅客的半身图像即可。
[0075] 如图2所示,在从第一柜台图像中选取目标旅客的半身图像时,本申请为了提高提取效率,在第一柜台图像中划定有检测区域。
[0076] S201、通过检测第一柜台图像中划定检测区域旅客的掩码信息和该旅客的面部遮挡物信息;
[0077] S202、根据旅客的掩码像素值的大小和该旅客的面部有无遮挡物,确定目标旅客,并提取目标旅客的半身图像。
[0078] 具体实施时,结合机场业务流程,旅客身份信息与半身照的匹配;
[0079] 获取迟登机旅客信息,包括航班号,身份证号,姓名,如下表所示:
[0080] 。
[0081] 获取安检信息,包括下表信息:
[0082] 。
[0083] 通过航班号、航班日期、姓名、身份证号进行匹配,可以得到寻找的迟登机旅客过检时间、过检通道为:过检时间:9:03:50;过检通道:DE06;
[0084] 获取包含迟登机旅客的柜台图像,在柜台图像中划定ROI区域,对ROI区域使用EfficientNet进行行人检测,根据过检时间9:03:50,获取旅客的半身照图像。
[0085] 很多时候,获取的验证柜台ROI区域的半身照图片时,同一时间可检测到2个或者3个人,主要包括抱小孩,或者排队较近的情形,后面排队的行人会进入到ROI区域。
[0086] 针对上述情况,主要提取ROI区域检测框里面的旅客的掩码,以及其是否佩戴口罩进行区分,通常情况下,取掩码所占的像素排名前2的旅客,且检测其未佩戴口罩,则认为其
为要寻找旅客的半身照。若均未佩戴口罩,则取像素占用最大的旅客为所要寻找旅客的半
身照。
[0087] S102、基于目标旅客的半身图像和预划定柜台区域的指定区域,通过柜台摄像头对目标旅客进行跟踪,确定目标安检图像,并从目标安检图像中,匹配得到目标旅客的全身
图像。
[0088] 本申请的目的是为了寻找目标旅客的位置,为了可以能够更加准确的判断目标旅客的位置,本申请使用已经得到的目标旅客半身照,基于跟踪及相似度匹配技术,得到目标
旅客的全身照,使用目标旅客的全身照判断目标旅客的位置。
[0089] 旅客在柜台区域时,由于柜台的遮挡等原因,大部分时间只能采集到旅客的半身图像,当旅客到达安检口区域时,可以完整的采集到旅客的全身图像,所以本申请从安检图
像中,获取目标旅客的全身图像。
[0090] 为了确定包含目标旅客的安检图像,本申请对目标旅客出现在安检图像的时间进行了预测,从而获的包含目标旅客的目标安检图像。
[0091] 本申请通过:获取柜台摄像头在预设时间间隔拍摄的第二柜台图像和该第二柜台图像对应的拍摄时间;
[0092] 通过目标旅客的半身图像与第二柜台图像中指定区域的旅客进行匹配,确定目标旅客到达指定区域的时间;
[0093] 根据目标旅客到达指定区域的时间、指定区域与安检口的距离、目标旅客的行走速度,预测目标旅客出现在安检口的时间段;
[0094] 将安检摄像头在预测的时间段拍摄的图像作为目标安检图像。
[0095] 确定目标旅客确定的目标安检图像之后,需要从目标安检图像中匹配得到目标旅客的全身图像。
[0096] 本申请通过,计算目标安检图像中每个旅客的全身图像与目标旅客的半身照相似度;
[0097] 选取大于预设相似度阈值的旅客的全身图像作为目标旅客的全身图像。
[0098] 具体实施时,以半身照为基础,基于跟踪及相似度匹配技术结合的全身照获取。
[0099] 以获取的半身照位置为跟踪的起始点以及匹配的模板,首先对旅客进行跟踪,主要使用检测及相似度匹配的方法对其进行跟踪。每间隔10帧,对其进行检测,获得行人个数
为N,为消除背景特征的影响,提取行人的掩码特征,使用网络的全连接层特征作为该行人
的匹配特征。
[0100] 即对第T、T+10、……、T+10n帧进行检测以及掩码的获取,直至跟踪其至离开柜台区域为止,并记录其离开柜台区域的时间。
[0101] 跟踪中使用到的相似度匹配算法主要为皮尔逊相关系数,其主要用于度量两个变量之间的线性相关性。计算T、T+10帧所提取特征向量的协方差和标准差的商,其中,T帧每
个行人特征层矩阵向量为X,T+10帧每个行人特征层的矩阵向量为Y,两个向量之间的相似
度 定义为:
[0102]
[0103] 设置对应的阈值,阈值主要是经过大量实验数据实验统计获得,在满足一定阈值的情况下,取相似度最高的,作为跟踪结果。
[0104] 跟踪至离开柜台区域的位置,记录其出现的时间,设寻找旅客最终出现的时间为9:05:10。
[0105] 检测9:05:10之后的安检通道口区域的视频中出现的行人,按照成人一般步行速度,检测的迟登机旅客出现的时间段为:9:05:10‑9:06:10,对安检通道口视频中在此时间
段出现的旅客进行检测。
[0106] 对检测到的行人与获取的半身照进行匹配,相似度最高则为待寻找迟登机旅客的全身照。
[0107] S103、基于目标旅客的全身图像,通过候机摄像头追踪目标旅客,得到目标旅客的轨迹,并确定目标旅客的位置。
[0108] 本申请在基于目标旅客的全身图像,通过候机摄像头对于目标旅客进行跟踪的时候,为了提高匹配效率,通过预设条件,排除一些不相关的候机图像。
[0109] 若候机摄像头拍摄连续帧的候机图像中任意一个旅客对应的两个连续位置满足预设条件,获取连续帧的候机图像中每个旅客对应的位置;
[0110] 根据目标旅客的全身图像与候机图像中每个旅客的匹配度,从候机图像中出现的旅客中确定目标旅客;
[0111] 将目标旅客在不同帧的候机图像中的位置为目标旅客的轨迹,并根据目标旅客的轨迹,确定目标旅客的位置。
[0112] 本申请从满足预设条件的候机图像中,确定目标旅客,将目标旅客在不同帧候机图像中出现的位置组合为目标旅客的轨迹,我们将目标旅客轨迹中最后出现的位置作为目
标旅客的位置。
[0113] 本申请,根据任意一个旅客在第一实际位置的运动状态,确定该旅客在下一帧候机图像中的预测位置;
[0114] 若预测位置与第二实际位置的距离小于等于距离阈值,该旅客对应的两个连续位置满足预设条件。
[0115] 本申请针对机场中候机区域为多个时,每个候机摄像头分别拍摄对应的候机区域,本申请根据机场的路径规划,确定候机摄像头的排列次序;通过如下方式确定目标旅客
的位置:
[0116] 基于目标旅客的全身图像,每个候机摄像头分别在对应的候机区域追踪目标旅客,得到目标旅客在该候机区域的轨迹;
[0117] 将目标旅客在每个候机区域的轨迹按照排列次序整合为目标旅客的整体轨迹;
[0118] 根据目标旅客的整体轨迹,确定目标旅客的位置。
[0119] 具体实施时,获得的旅客全身照的照片是本步骤的输入,对选取的摄像头按照区域,时间顺序进行行人检测,并以重识别基础网络为主,提取所出现旅客特征,并对其进行
跟踪,获取其连续位置的特征。
[0120] 本步骤主要跟踪方式使用了相似度以及空间位置信息即卡尔曼滤波实现跟踪行人多个位置特征获取。
[0121] 设T时刻检测旅客的位置坐标(检测框)为PT,运行速度为VT,加速度为μT,则T+1时刻检测的状态转移表示为:
[0122]
[0123] 上述公式可应用预测检测旅客在下一位置的状态,从而将空间特征应用至追踪中,提高追踪的准确度。
[0124] 同时,加入距离的衡量方式,我们假定检测旅客从T时刻行走至T+1的距离像素点的数量为a,则T时刻旅客的特征向量Xi与T+1时刻旅客的特征向量Yi之间的距离满足下述条
件:
[0125]
[0126] 持续使用皮尔逊相关系数度量T与T+1时刻检测出的行人的特征向量之间的相似度,最终,我们结合状态预测特征、距离特征以及相似度特征实现待检测旅客的跟踪及持续
位置特征的输出,设追踪连续位置的特征表示为:
[0127]
[0128] 在实际使用中,一般取追踪行人的连续出现的10个位置作为匹配对象。
[0129] 使用获取的全身照特征作为模板,同样使用皮尔逊相关系数作为相似度衡量,匹配检测及跟踪出的每一个行人的连续位置的特征Zi,若连续10个位置相似度均在设置的阈
值范围,则认为此人为寻找的迟登机旅客。
[0130] 在实际应用中,为避免摄像头远近或灯光带来的影响造成误检,我们一般只要7个或以上位置相似度达到设置阈值,则认为其为待寻找旅客。
[0131] 与现有技术相比,本发明产生以下有益效果:
[0132] 基于机场现有的监视环境,实现迟登机旅客或者重点关注人员在候机区域的轨迹及位置描述,可实现其位置的精准定位。
[0133] 行人检测的精度可达平均95%,迟登机旅客位置定位的准确率可达平均84%,本方案或方法的提出可扩展至整个航站楼重点关注旅客轨迹及位置的描述。
[0134] 图3示出了本申请实施例所提供的一种机场旅客定位装置的结构示意图,装置包括:
[0135] 半身图像匹配模块,用于响应目标旅客满足预设定位条件,从登记的安检信息中,选取与目标旅客的出行信息相匹配的目标安检信息,并根据目标安检信息从对应的第一柜
台图像中,匹配得到目标旅客的半身图像;
[0136] 全身图像匹配模块,用于基于目标旅客的半身图像和预划定柜台区域的指定区域,通过柜台摄像头对目标旅客进行跟踪,确定目标安检图像,并从目标安检图像中匹配得
到目标旅客的全身图像;
[0137] 位置确定模块,用于基于目标旅客的全身图像,通过候机摄像头追踪目标旅客,得到目标旅客的轨迹,并确定目标旅客的位置。
[0138] 半身图像匹配模块,再用于响应目标旅客满足预设定位条件,从登记的安检信息中,选取与目标旅客的出行信息相匹配的目标安检信息,并根据目标安检信息从对应的第
一柜台图像中,匹配得到目标旅客的半身图像时,包括:
[0139] 出行信息包括第一个人身份数据和第一航班数据;安检信息包括第二个人身份数据、第二航班数据、安检时间和安检位置;从登记的安检信息中,选取与目标旅客的出行信
息相匹配的目标安检信息,并根据目标安检信息从对应的第一柜台图像中,匹配得到目标
旅客的半身图像,包括:
[0140] 通过第一个人身份数据和第一航班数据与第二个人身份数据和第二航班数据的匹配,确定目标旅客的安检时间和安检位置;
[0141] 将拍摄安检位置的目标柜台摄像头在安检时间拍摄的图像作为第一柜台图像,并从第一柜台图像中选取目标旅客的半身图像。
[0142] 从第一柜台图像中选取目标旅客的半身图像,包括:
[0143] 检测第一柜台图像中划定检测区域旅客的掩码信息和该旅客的面部遮挡物信息;
[0144] 根据旅客的掩码像素值的大小和该旅客的面部有无遮挡物,确定目标旅客,并提取目标旅客的半身图像。
[0145] 全身图像匹配模块,在用于基于目标旅客的半身图像和预划定柜台区域的指定区域,通过柜台摄像头对目标旅客进行跟踪,确定目标安检图像,并从目标安检图像中匹配得
到目标旅客的全身图像时,包括:
[0146] 基于目标旅客的半身图像和预划定柜台区域的指定区域,通过柜台摄像头对目标旅客进行跟踪,确定目标安检图像,包括:
[0147] 获取柜台摄像头在预设时间间隔拍摄的第二柜台图像和该第二柜台图像对应的拍摄时间;
[0148] 通过目标旅客的半身图像与第二柜台图像中指定区域的旅客进行匹配,确定目标旅客到达指定区域的时间;
[0149] 根据目标旅客到达指定区域的时间、指定区域与安检口的距离、目标旅客的行走速度,预测目标旅客出现在安检口的时间段;
[0150] 将安检摄像头在预测的时间段拍摄的图像作为目标安检图像。
[0151] 从目标安检图像中匹配得到目标旅客的全身图像,包括:
[0152] 计算目标安检图像中每个旅客的全身图像与目标旅客的半身照相似度;
[0153] 选取大于预设相似度阈值的旅客的全身图像作为目标旅客的全身图像。
[0154] 位置确定模块,在用于基于目标旅客的全身图像,通过候机摄像头追踪目标旅客,得到目标旅客的轨迹,并确定目标旅客的位置时,包括:
[0155] 基于目标旅客的全身图像,通过候机摄像头追踪目标旅客,得到目标旅客的轨迹,并确定目标旅客的位置,包括:
[0156] 若候机摄像头拍摄连续帧的候机图像中任意一个旅客对应的两个连续位置满足预设条件,获取连续帧的候机图像中每个旅客对应的位置;
[0157] 根据目标旅客的全身图像与候机图像中每个旅客的匹配度,从候机图像中出现的旅客中确定目标旅客;
[0158] 将目标旅客在不同帧的候机图像中的位置为目标旅客的轨迹,并根据目标旅客的轨迹,确定目标旅客的位置。
[0159] 两个连续位置包括第一实际位置和第二实际位置,通过如下方式判断候机摄像头拍摄连续帧的候机图像中任意一个旅客对应的两个连续位置是否满足预设条件:
[0160] 根据任意一个旅客在第一实际位置的运动状态,确定该旅客在下一帧候机图像中的预测位置;
[0161] 若预测位置与第二实际位置的距离小于等于距离阈值,该旅客对应的两个连续位置满足预设条件。
[0162] 候机区域为多个,每个候机摄像头分别拍摄对应的候机区域,根据机场的路径规划,确定候机摄像头的排列次序;基于目标旅客的全身图像,通过候机摄像头追踪目标旅
客,得到目标旅客的轨迹,并确定目标旅客的位置,包括:
[0163] 基于目标旅客的全身图像,每个候机摄像头分别在对应的候机区域追踪目标旅客,得到目标旅客在该候机区域的轨迹;
[0164] 将目标旅客在每个候机区域的轨迹按照排列次序整合为目标旅客的整体轨迹;
[0165] 根据目标旅客的整体轨迹,确定目标旅客的位置。
[0166] 如图4所示,本申请实施例提供了一种电子设备,用于执行本申请中的机场旅客定位方法,该设备包括存储器、处理器及存储在该存储器上并可在该处理器上运行的计算机
程序,其中,上述处理器执行上述计算机程序时实现上述的机场旅客定位方法的步骤。
[0167] 具体地,上述存储器和处理器可以为通用的存储器和处理器,这里不做具体限定,当处理器运行存储器存储的计算机程序时,能够执行上述的机场旅客定位方法。
[0168] 对应于本申请中的机场旅客定位方法,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行
上述的机场旅客定位方法的步骤。
[0169] 具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述的机场旅客定位方法。
[0170] 在本申请所提供的实施例中,应该理解到,所揭露系统和方法,可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻
辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可
以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间
的耦合或直接耦合或通信连接包括通过一些通信接口,系统或单元的间接耦合或通信连
接,包括电性,机械或其它的形式。
[0171] 所述作为分离部件说明的单元包括或者也可以不是物理上分开的,作为单元显示的部件包括或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络
单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0172] 另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也包括各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
[0173] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说
对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计
算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(包括个人
计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而
前述的存储介质包括:U盘、移动硬盘、只读存储器(Read‑Only Memory, ROM)、随机存取存
储器(Random Access Memory ,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
[0174] 应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第
一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
[0175] 最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申
请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员
在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻
易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使
相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护
范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。