本发明公开了一种基于卷积神经网络的航显设备故障检测方法及监控装置，包括：一，采集航显设备的界面，并对显示界面进行预分类；二，设计语义理解模型，构建卷积神经网络，对航显设备显示界面进行语义理解；三，对非正常情况下的界面进行分类；四，对于正常显示的航显界面进行语义理解，检测是否出现故障；五，对不能理解的符号、图标进行分析；六，将故障检测图片结合语义理解信息送入卷积神经网络进行特征提取和训练；七，将CNN故障分类器进行优化压缩后植入SOM‑RK3399嵌入式设备，得到航显监控装置；八，监控装置采集航显设备输出信号，形成显示图片送入CNN处理模块，检测航显设备是否处于正常工作状态。
1.一种基于卷积神经网络的航显设备故障检测方法，其特征在于，包括如下步骤：
步骤一，采集航显设备在正常显示和非正常显示情况下的界面，并对显示界面进行预分类，使用基于区域的卷积神经网络提取特征并进行训练，得到基于卷积神经网络的预分类模型；
步骤二，设计语义理解模型，构建卷积神经网络对航显设备显示界面进行语义理解，对显示界面进行描述和语义分析，检测显示界面是否和航显屏功能相匹配，调用OCR外部接口提取显示图像文字信息，将显示信息与后台数据库信息比对，并加上背景知识进行推理和分析；
步骤三，若检测航显设备界面为非正常显示界面，则对非正常情况下的界面进行分类，划分为四类：黑屏、花屏、显示为Windows界面、显示后台崩溃界面；
步骤四，对于正常显示的航显界面进行语义理解，运用模型进行检测，检测是否出现理解歧义或者显示信息与背景知识不一致的故障；
步骤五，对不能理解的符号、图标进行分析，检测是否出现显示内容乱码，或内容格式不正确、或显示信息不完整故障；
步骤六，将步骤三至步骤五的故障检测图片结合语义理解信息送入卷积神经网络进行特征提取和训练，得到CNN故障分类器；
步骤七，将CNN故障分类器进行优化压缩后植入SOM‑RK3399嵌入式设备，得到航显监控装置；
步骤八，监控装置采集航显设备输出信号，形成显示图片送入CNN处理模块，检测航显设备是否处于正常工作状态；实时对检测设备进行状态记录，及时进行故障警报，保存具体错误信息方便技术人员进行处理。
2.根据权利要求1所述的基于卷积神经网络的航显设备故障检测方法，其特征在于，所述背景知识包括航班延误、取消和登机口变动。
3.根据权利要求1所述的基于卷积神经网络的航显设备故障检测方法，其特征在于，步骤一中，检测航显设备是否正常显示是一个不平衡的二分类问题，航显设备正常显示样本远远多余非正常显示样本，对正样本的采集采取运行截图，对负样本进行实地考察和预处理，构建正负样本集并送入卷积神经网络进行故障预分类训练，得到CNN预分类模型，CNN预分类模型检测出航显设备异常显示故障，对正常显示界面则进一步语义理解来检测显示信息和格式是否正确。
4.根据权利要求1所述的基于卷积神经网络的航显设备故障检测方法，其特征在于，步骤二中，建立航站楼语义背景下的语义理解模型，采用OCR技术先对航显屏的显示信息进行提取和校对，结合其他航显设备的显示信息进行推理分析得出符合当前场景的背景知识，检测航显设备的显示信息是否与语义背景相一致。
5.根据权利要求1所述的基于卷积神经网络的航显设备故障检测方法，其特征在于，步骤六中，分类器通过对不同故障情况下的特征进行提取和分析，实现对不同类型的故障进行分类。
6.根据权利要求1所述的基于卷积神经网络的航显设备故障检测方法，其特征在于，步骤七中，根据嵌入式设备的具体性能来评估CNN模型的算法，将模型转变为可以在SOM‑RK3399嵌入式设备中直接运行的底层代码，得到基于CNN故障分类器的航显监控装置。
7.根据权利要求1所述的基于卷积神经网络的航显设备故障检测方法，其特征在于，步骤八中，监控装置通过HDMI‑INPUT端口实时采集航显设备的输出信号，形成设备运行图像，将图像载入模型进行识别与检测，检测结果通过HDMI‑OUTPUT端口输出到显示屏；监控装置通过实时检测航显设备是否处于正常工作状态，对检测设备进行状态记录，如果发现问题及时进行故障警报，保存具体的错误信息，方便技术人员进行处理。
8.一种基于卷积神经网络的航显设备故障监控装置，其特征在于：包括：
模块A，采集航显设备在正常显示和非正常显示情况下的界面，并对显示界面进行预分类，使用基于区域的卷积神经网络提取特征并进行训练，得到基于卷积神经网络的预分类模型；
模块B，设计语义理解模型，构建卷积神经网络对航显设备显示界面进行语义理解，对显示界面进行描述和语义分析，检测显示界面是否和航显屏功能相匹配，调用OCR外部接口提取显示图像文字信息，将显示信息与后台数据库信息比对，并加上背景知识进行推理和分析；
模块C，若检测航显设备界面为非正常显示界面，则对非正常情况下的界面进行分类，划分为四类：黑屏、花屏、显示为Windows界面、显示后台崩溃界面；
模块D，对于正常显示的航显界面进行语义理解，运用模型进行检测，检测是否出现理解歧义或者显示信息与背景知识不一致的故障；
模块E，对不能理解的符号、图标进行分析，检测是否出现显示内容乱码，或内容格式不正确、或显示信息不完整故障；
模块F，将模块C、模块D和模块E的故障检测图片结合语义理解信息送入卷积神经网络进行特征提取和训练，得到CNN故障分类器；
模块G，将CNN故障分类器进行优化压缩后植入SOM‑RK3399嵌入式设备，得到航显监控装置；
模块H，监控装置采集航显设备输出信号，形成显示图片送入CNN处理模块，检测航显设备是否处于正常工作状态；实时对检测设备进行状态记录，及时进行故障警报，保存具体错误信息方便技术人员进行处理。
基于卷积神经网络的航显设备故障检测方法及监控装置
技术领域
[0001] 本发明属于图像处理技术技术领域，特别是涉及一种基于卷积神经网络的航显设备故障检测方法及监控装置。
背景技术
[0002] 随着乘机出行需求的日益增加及出行标准的逐步提高，越来越多的机场开始实施“无纸化”出行，旅客可以通过自助值机、自助行李托运及自助登机等触控显示设备进行全流程自助服务；此外，航站楼显示系统负责为旅客提供全方位的信息指引，用于面向旅客提供航班信息、公告信息、服务信息等等，航显设备分散在航站楼的各个区域，航显设备的增多同时也伴随着显示设备故障等问题。航显设备故障不仅直接影响航显系统提供信息的及时性、准确性，给旅客出行带来极大不便；由于航显屏的可触控性，设备故障还存在极大安全隐患，如后台信息泄露、旅客误操作等等。因此，如何及时发现航显设备的故障成为机场管理方十分重视的问题。
[0003] 传统的航显设备故障检测多采用人工巡检的方式，但是人工巡检存在巡检频率低、巡检效果不佳、人力成本高等缺点。由于技术有限，以往对于航显设备故障问题的智能化检测依赖于建立标准数据库，内容更新慢，维护成本高；采用特征点比对技术对数据库中的标准航显图片和待检测航显图片进行比对来检测显示屏状态，这种检测方式不能适应日益增长的需求和多样化的显示界面用例。基于深度学习的方法能够提取复杂的特征信息，避免了人工确定故障特征的局限性，降低了因特征提取方法的不同而导致的故障检测的不确定性。同时通过批量的数据训练实现不同故障类型的自学习和特征自提取过程，网络模型可以提取到不容易被人工注意到的特征，具有很强的实用性和通用性。同时，通过建立语义模型对航显图片进行理解，可以更好的判断航显屏显示状态和对故障情况分类。
发明内容
[0004] 本发明为解决机场运营中存在的显示设备故障问题而提供一种基于卷积神经网络的航显设备故障检测方法及监控装置；本发明可以对航显设备进行实时信号采集以及故障检测与分类，大大减少了机场的人力资源消耗，提高了故障检测的效率。
[0005] 技术方案
[0006] 本发明的第一目的是提供一种基于卷积神经网络的航显设备故障检测方法，包括：
[0007] 步骤一，采集航显设备在正常显示和非正常显示情况下的界面，并对显示界面进行预分类，使用基于区域的卷积神经网络提取特征并进行训练，得到基于卷积神经网络的预分类模型；
[0008] 步骤二，设计语义理解模型，构建卷积神经网络对航显设备显示界面进行语义理解，对显示界面进行描述和语义分析，检测显示界面是否和航显屏功能相匹配，调用OCR外部接口提取显示图像文字信息，将显示信息与后台数据库信息比对，并加上背景知识进行推理和分析；
[0009] 步骤三，若检测航显设备界面为非正常显示界面，则对非正常情况下的界面进行分类，划分为四类：黑屏、花屏、显示为Windows界面、显示后台崩溃界面；
[0010] 步骤四，对于正常显示的航显界面进行语义理解，运用模型进行检测，检测是否出现理解歧义或者显示信息与背景知识不一致的故障；
[0011] 步骤五，对不能理解的符号、图标进行分析，检测是否出现显示内容乱码，或内容格式不正确、或显示信息不完整故障；
[0012] 步骤六，将步骤三至步骤五的故障检测图片结合语义理解信息送入卷积神经网络进行特征提取和训练，得到CNN故障分类器；
[0013] 步骤七，将CNN故障分类器进行优化压缩后植入SOM‑RK3399嵌入式设备，得到航显监控装置；
[0014] 步骤八，监控装置采集航显设备输出信号，形成显示图片送入CNN处理模块，检测航显设备是否处于正常工作状态；实时对检测设备进行状态记录，及时进行故障警报，保存具体错误信息方便技术人员进行处理。
[0015] 优选地，所述背景知识包括航班延误、取消和登机口变动。
[0016] 优选地，步骤一中，检测航显设备是否正常显示是一个不平衡的二分类问题，航显设备正常显示样本远远多余非正常显示样本，对正样本的采集采取运行截图，对负样本进行实地考察和预处理，构建正负样本集并送入卷积神经网络进行故障预分类训练，得到CNN预分类模型，CNN预分类模型检测出航显设备异常显示故障，对正常显示界面则进一步语义理解来检测显示信息和格式是否正确。
[0017] 优选地，步骤二中，建立航站楼语义背景下的语义理解模型，采用OCR技术先对航显屏的显示信息进行提取和校对，结合其他航显设备的显示信息进行推理分析得出符合当前场景的背景知识，检测航显设备的显示信息是否与语义背景相一致。
[0018] 优选地，步骤六中，分类器通过对不同故障情况下的特征进行提取和分析，实现对不同类型的故障进行分类。
[0019] 优选地，步骤七中，根据嵌入式设备的具体性能来评估CNN模型的算法，将模型转变为可以在SOM‑RK3399嵌入式设备中直接运行的底层代码，得到基于CNN故障分类器的航显监控装置。
[0020] 优选地，步骤八中，监控装置通过HDMI‑INPUT端口实时采集航显设备的输出信号，形成设备运行图像，将图像载入模型进行识别与检测，检测结果通过HDMI‑OUTPUT端口输出到显示屏；监控装置通过实时检测航显设备是否处于正常工作状态，对检测设备进行状态记录，如果发现问题及时进行故障警报，保存具体的错误信息，方便技术人员进行处理。
[0021] 本专利的第二发明目的是提供一种基于卷积神经网络的航显设备故障监控装置，包括：
[0022] 模块A，采集航显设备在正常显示和非正常显示情况下的界面，并对显示界面进行预分类，使用基于区域的卷积神经网络提取特征并进行训练，得到基于卷积神经网络的预分类模型；
[0023] 模块B，设计语义理解模型，构建卷积神经网络对航显设备显示界面进行语义理解，对显示界面进行描述和语义分析，检测显示界面是否和航显屏功能相匹配，调用OCR外部接口提取显示图像文字信息，将显示信息与后台数据库信息比对，并加上背景知识进行推理和分析；
[0024] 模块C，若检测航显设备界面为非正常显示界面，则对非正常情况下的界面进行分类，划分为四类：黑屏、花屏、显示为Windows界面、显示后台崩溃界面；
[0025] 模块D，对于正常显示的航显界面进行语义理解，运用模型进行检测，检测是否出现理解歧义或者显示信息与背景知识不一致的故障；
[0026] 模块E，对不能理解的符号、图标进行分析，检测是否出现显示内容乱码，或内容格式不正确、或显示信息不完整故障；
[0027] 模块F，将模块C、模块D和模块E的故障检测图片结合语义理解信息送入卷积神经网络进行特征提取和训练，得到CNN故障分类器；
[0028] 模块G，将CNN故障分类器进行优化压缩后植入SOM‑RK3399嵌入式设备，得到航显监控装置；
[0029] 模块H，监控装置采集航显设备输出信号，形成显示图片送入CNN处理模块，检测航显设备是否处于正常工作状态；实时对检测设备进行状态记录，及时进行故障警报，保存具体错误信息方便技术人员进行处理。
[0030] 本发明的优点及积极效果为：
[0031] 通过采用上述技术方案，本发明具有如下的技术效果：
[0032] 本发明设计卷积神经网络对航显设备显示界面进行故障检测，并对显示图像进行语义理解，进一步判断具体故障类型。采用CNN对原始图像数据结合语义信息进行特征提取得到CNN故障分类模型，优化模型并植入SOM‑RK3399嵌入式设备得到监控装置。监控装置通过实时采集航显设备输出信号，获取待检测的航显设备运行图像，将待检测图片送入卷积神经网络进行故障检测与语义理解，实时监控显示界面是否处于正常状态；其中语义理解部分利用光学字符识别(OCR)技术对显示信息进行文字提取，使用CNN理解识别出的信息并结合背景知识进行分析，判断航显终端的显示信息是否准确无歧义；如果发现故障，根据故障内容发出报警，提醒技术人员及时处理。本发明实现了对航显设备出现的非正常显示界面、显示信息与背景知识不一致、显示内容格式出错等故障的智能检测，减少了对航显设备故障现象的人工检验；增加了对航显设备显示界面的语义理解，提高了航显设备显示信息的完好性和准确性。
附图说明
[0033] 图1为本发明优选实施例的流程图；
[0034] 图2为OCR识别航显界面文字信息示例图；
[0035] 图3为CNN故障检测分类流程图；
具体实施方式
[0036] 为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。
[0037] 请参阅图1至图3，
[0038] 基于深度学习的设备故障检测实质上是分类问题，通过对不同显示界面的差异进行特征提取和预分类可以检测到航显屏的异常显示状态。对于正常显示情况下的语义错误检测则需要根据背景知识建立语义理解模型，对显示界面进行描述和语义分析。将故障图片以及语义理解信息送入卷积神经网络进行特征提取并训练得到CNN故障分类器，通过预训练得到的CNN故障分类模型可以对不同故障情况下的显示界面进行检测和分类。
[0039] 这里提出的故障检测方法是针对航站楼的航显设备的，航显设备是用于面向旅客提供航班信息、公告信息、服务信息的特定设备。航显设备具有以下几个特点：①航显设备类型比较固定，显示设备功能比较明确；②航显设备之间的联系比较紧密，不同的航显设备提供的信息可以作为语义分析的依据，把其他的航显设备的显示信息作为背景知识进行推理可以更好地理解航显内容的语义信息。③航站楼场景下的逻辑规则较为简单，如航班延误、登机口变动等规则产生的背景知识可以通过简单推理得到。
[0040] 根据航显屏的特征，本发明提出了一种基于卷积神经网络的航显设备故障检测方法及监控装置，这种方法能有效减少对故障检现象的人工检验，增加了对内容的语义理解，提高了航显设备显示信息的完好性和准确性。
[0041] 请参阅图1至图3，
[0042] 由附图1可知，本发明共需要两个实现阶段，分别是卷积神经网络训练阶段和故障监控装置检测阶段。本发明公开了一种基于深度学习的航显设备故障检测方法，该方法包括以下几个步骤：
[0043] 步骤1，采集航显设备正常显示情况下和非正常显示情况下的界面，通过卷积神经网络(CNN)提取特征并进行训练，得到CNN预分类模型。CNN预分类模型可以检测出航显设备异常显示故障，对正常显示界面则需要进一步语义理解来检测显示信息和格式是否正确。
[0044] 步骤2，设计语义理解模型对正常显示界面中的语义错误进行检测。由附图2可知，对图片显示内容进行语义理解首先需要调用OCR外部接口提取显示图像文字信息，将显示信息与后台数据库信息比对，并加上背景知识如航班延误、取消，登机口变动等进行推理和分析，判断航显屏显示信息是否一致、正确。如航班取消后是否还在航班信息中显示，登机口变动信息是否及时更新，是否出现不同航显设备显示内容相矛盾等故障；
[0045] 步骤3，若检测航显设备非正常显示，对非正常情况下的界面进行分类，分为黑屏、花屏、显示为Windows界面、显示后台崩溃界面。
[0046] 步骤4，对于正常显示的航显界面进行语义理解，检测是否出现理解歧义或者显示信息与背景知识不一致的故障。
[0047] 步骤5，对不能理解的符号、图标进行分析，检测是否出现显示内容乱码，内容格式不正确、显示信息不完整等故障。
[0048] 步骤6，由附图3可知，将步骤3‑5中所有的故障图片和辅助的语义信息都作为输入送入CNN故障分类器进行分类，CNN故障分类模型通过提取不同故障情况下显示界面的特征并结合语义理解信息对不同类型的故障界面进行分类。将航显设备显示界面输入CNN故障分类模型进行检测可以得出航显设备是否故障以及故障情况下的具体故障信息。
[0049] 步骤7，将CNN故障分类模型进行优化压缩后植入SOM‑RK3399嵌入式设备，得到航显监控装置，本发明使用SOM‑RK3399嵌入式设备，该硬件设备支持多种嵌入式操作系统，本发明结合机场航显设备系统的现有开发环境，为SOM‑RK3399嵌入式设备搭建Ubuntu 18.04嵌入式操作系统，安装所需的基本软件开发python库，以及相关的开发框架。
[0050] 步骤8，监控装置采集航显设备输出信号，检测航显设备是否处于正常工作状态。本发明使用SOM‑RK3399嵌入式设备，在训练模型阶段，采集到的航显图像训练集直接通过数据线拷贝到硬件模块，嵌入式设备操作系统界面通过HDMI‑OUTPUT输出到显示屏进行模型的训练和开发工作。在检测测试阶段，嵌入式设备通过HDMI‑INPUT端口与航显设备进行连接，采集航显设备运行的待检测图像，将图像通过HDMI‑INPUT端口载入模型进行识别与检测，检测结果通过HDMI‑OUTPUT端口输出到显示屏。实时对检测设备进行状态记录，及时进行故障警报，保存具体错误信息方便技术人员进行处理。
[0051] 一种基于卷积神经网络的航显设备故障监控装置，包括：
[0052] 模块A，采集航显设备在正常显示和非正常显示情况下的界面，并对显示界面进行预分类，使用基于区域的卷积神经网络提取特征并进行训练，得到基于卷积神经网络的预分类模型；
[0053] 模块B，设计语义理解模型，构建卷积神经网络对航显设备显示界面进行语义理解，对显示界面进行描述和语义分析，检测显示界面是否和航显屏功能相匹配，调用OCR外部接口提取显示图像文字信息，将显示信息与后台数据库信息比对，并加上背景知识进行推理和分析；
[0054] 模块C，若检测航显设备界面为非正常显示界面，则对非正常情况下的界面进行分类，划分为四类：黑屏、花屏、显示为Windows界面、显示后台崩溃界面；
[0055] 模块D，对于正常显示的航显界面进行语义理解，运用模型进行检测，检测是否出现理解歧义或者显示信息与背景知识不一致的故障；
[0056] 模块E，对不能理解的符号、图标进行分析，检测是否出现显示内容乱码，或内容格式不正确、或显示信息不完整故障；
[0057] 模块F，将模块C、模块D和模块E的故障检测图片结合语义理解信息送入卷积神经网络进行特征提取和训练，得到CNN故障分类器；
[0058] 模块G，将CNN故障分类器进行优化压缩后植入SOM‑RK3399嵌入式设备，得到航显监控装置；
[0059] 模块H，监控装置采集航显设备输出信号，形成显示图片送入CNN处理模块，检测航显设备是否处于正常工作状态；实时对检测设备进行状态记录，及时进行故障警报，保存具体错误信息方便技术人员进行处理。
[0060] 模块A中，检测航显设备是否正常显示是一个不平衡的二分类问题，航显设备正常显示样本远远多余非正常显示样本，对正样本的采集可以采取运行截图，负样本需要进行实地考察和预处理。构建正负样本集并送入卷积神经网络进行故障预分类训练，得到CNN预分类模型。CNN预分类模型可以检测出航显设备异常显示故障，对正常显示界面则需要进一步语义理解来检测显示信息和格式是否正确。
[0061] 模块B中，建立航站楼语义背景下的语义理解模型，采用OCR技术先对航显屏的显示信息进行提取和校对，还需要结合其他航显设备的显示信息进行推理分析得出符合当前场景的背景知识，检测航显设备的显示信息是否与语义背景相一致。
[0062] 模块C中，若检测航显设备界面为非正常显示界面，则对非正常情况下的界面进行分类，分类结果作为检测故障的依据。
[0063] 模块D中，对于正常显示下的航显界面进行语义理解，运用语义理解模型进行分析，检测是否出现理解歧义或者显示信息与背景知识不一致的故障。
[0064] 模块E中，在语义理解的过程中，对不可理解的部分，检测是否存在内容乱码、格式错误、显示信息不完整等故障。
[0065] 模块F中，将模块C、模块D、模块F得到的故障航显设备显示图片结合语义信息都输入CNN分类器进行分类，分类器通过对不同故障情况下的特征进行提取和分析，实现对不同类型的故障进行分类。
[0066] 模块G中，将模块F经过训练生成的CNN故障分类模型植入到嵌入式设备。根据嵌入式设备的具体性能来评估CNN模型的算法，将模型转变为可以在SOM‑RK3399嵌入式设备中直接运行的底层代码，得到基于CNN故障分类器的航显监控装置。
[0067] 模块H中，监控装置通过HDMI‑INPUT端口实时采集航显设备的输出信号，形成设备运行图像，将图像载入模型进行识别与检测，检测结果通过HDMI‑OUTPUT端口输出到显示屏。监控装置通过实时检测航显设备是否处于正常工作状态，对检测设备进行状态记录，如果发现问题及时进行故障警报，保存具体的错误信息，方便技术人员进行处理。
[0068] 在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
[0069] 以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。
