本发明属于人工智能电梯维保操作规范化指导技术领域，涉及一种基于第一视角视频序列操作评估的电梯维保操作规范化指导装置。该电梯维保操作监测与指导装置包括第一视角视频采集单元、二维码标签生成和张贴校对单元、流程操作评估单元、输出单元和储存单元。本发明设计视频关键帧提取算法，通过提取监测视频的视频关键帧，利用关键帧所构建电梯维保操作间设备的图像组数据库，并且对深度学习训练模块进行正则化，从而获得训练后的电梯维保操作间设备状态模型。在此基础上，依据上下文信息完成流程识别，直接通过该装置即可评估操作规范。本发明有效地减少电梯维修保护过程中的风险，达到真正意义上的智能监测与指导，具有非常高的实用性和可行性。
1.一种基于第一视角视频序列操作评估的电梯维保操作监测与指导装置，其特征在于，包括第一视角视频采集单元、二维码标签生成和张贴校对单元、流程操作评估单元、输出单元和储存单元；
所述的第一视角视频采集单元，包括工业相机和视频编码器，用于获取电梯操作间设备的二维码标签并定位电梯操作间设备的锚定区域；采用头戴式工业相机将第一视角采集到的视频信息通过网线传输到视频解码器，同时经网线传输到存储单元进行数据备份；设计视频关键帧提取算法，提取监测视频的视频关键帧；
所述的二维码标签生成和张贴校对单元，包括三个模块：二维码生成和张贴模块、拓扑信息提取模块以及二维码张贴校对模块，用于生成电梯维保操作间设备在识别过程中所需的二维码标签；采用标签编码器和标签打印机生成电梯维保操作间设备在识别过程中所需的二维码标签，基于二维码识别算法对区域内二维码进行提取识别并构建二维码所代表设备的控件拓扑结构信息；设计校对模型，针对电梯操作间设备拓扑信息计算二维码的准确度，对张贴结果进行测预评估；
所述的流程操作评估单元，包括数据库构建模块、深度学习训练模块、深度学习识别模块、流程分析模块和操作评估模块；流程操作评估单元将电梯维保操作间图像数据库中的设备信息数据传输到深度学习训练模块进行深度学习建模，通过深度学习识别模块识别后，进行流程分析和操作规范评估；其中设备信息包括位置、锚定区域、属性和状态；具体步骤如下：第一步，利用数据库构建模块构建一个用于电梯维保操作间设备的图像组数据库；图像数据库中的所有图像包括：安全手套状态，机柜开、闭状态，电闸的通、断状态，安全锁开、闭状态，仪表所处触点状态，每幅图像包含多种状态，一共5种状态；每类图像的数量通常设置为1000张；所构建的数据库分为两类：训练图像集和测试图像集，其比例为4:1；对每组数据中的每一幅图像进行预处理，过程如下：对每一张图像进行大小归一化，使其分辨率压缩至256×256像素；通过人工手动标注得到训练样本，样本包含图像中二维码标签位置、电梯维保操作间设备锚定区域和电梯维保操作间设备状态、所处流程分类信息、流程操作评估分类信息；
第二步，利用深度学习训练模块对数据进行训练；所述的深度学习训练模块分为三部分：预处理、深度神经网络设计和训练；预处理是对图像分辨率的归一化调整；深度神经网络设计是基于多任务深度神经网络构建，包括激活函数、卷积层和池化层，三者顺次连接；
训练是将输入层、深度神经网络和全连接层顺次连接，对数据进行训练；最终通过全连接层输出所处流程与流程操作信息；
卷积层是特征提取层，前一层的一个或多个输出与一个或多个大小固定的核心进行卷积产生一个或多个输出；
池化层是对卷积层结果进行采样，一方面为后层网络减少输入权重参数的数量以降低计算复杂度，另一方面是使深度神经网络对缩放、移位、旋转具有稳健性；
全连接层位于深度神经网络的最后位置，作用是计算网络的输出结果，分类任务中在全连接层训练一个分类器；
为避免出现过拟合的现象，对深度学习训练模块进行正则化；由于模型过于复杂，在训练时在对损失函数进行最小化的同时，需要让对参数添加限制，即正则化惩罚项；
第三步，深度学习识别模块利用深度学习训练模块建立的模型对二维码标签设备状态的进行位置定位，基于二维码位置完成设备锚定区域获取，进一步识别锚定区域属性和状态信息；
所述深度学习识别模块，用于将计算机自动获取来自第一视角头戴式工业相继实时画面，依据深度学习训练模块的学习规则，提取目标的静态特征信息，判断其属性、状态和位置信息，并进一步确定当前操作员相应的工作流程，对工作进行指导与危险操作报警；
第四步，流程分析模块对锚定区域设备的属性分类和状态分类，识别所处流程与评估流程操作规范性，操作规范评估模块对流程操作规范性进行评估，同时将识别结果进行播报和储存；
所述的输出单元为语音播报，采用终端音箱设备将流程识别结果、操作评估结果、检测报警以及操作说明适时播报；
所述的储存单元包括数据存储模块和结果存储模块，为云盘储存，基于云盘存储设备将实时监测视频、图像以及识别结果进行储存。
一种基于第一视角视频序列操作评估的电梯维保操作监测与
指导装置
技术领域
[0001] 本发明属于人工智能电梯维保操作规范化指导技术领域，涉及一种基于第一视角视频序列操作评估的电梯维保操作规范化指导装置。
背景技术
[0002] 电梯维护与保养是电梯安全运行的根本保障，维护保养的优劣是确保电梯安全高质运行的重要因素。良好的维护保养往往可弥补制造、安装之先天不足。因此，及时进行技术维修保养，确保电梯运行处于最佳技术状态，把故障隐患消除在萌芽状态具有极其重要的意义。
[0003] 由于电梯维护保养工作的特殊性和复杂性，容易发生意外事故。因此，维护人员在作业时，必须充分利用各种安全设施，严格执行安全操作规程，以避免或尽量减少意外事教的发生。如今的维保过程规范化监测更多地依靠维保人员的本身经验，因此设计一套既能够对维保过程进行实时监测又能够辅助指导的装置具有重要的意义。近年来，随着视频图像识别技术的提高，可以实现对视频中物体实时识别与跟踪。如果在图像识别与跟踪的基础上对图像序列中的电梯维保操作流程进行实时分析，再并对比规范化的操作规则，就可以实现电梯维保操作实时监测与辅助指导。
发明内容
[0004] 为了实现维保操作的实时监测与辅助指导，本发明提供一种基于第一视角视频序列操作评估的电梯维保操作监测与指导装置。
[0005] 为解决上述技术问题，本发明采用的技术方案为：
[0006] 一种基于第一视角视频序列操作评估的电梯维保操作监测与指导装置，包括第一视角视频采集单元、二维码标签生成和张贴校对单元、流程操作评估单元、输出单元和储存单元；
[0007] 所述的第一视角视频采集单元，包括工业相机和视频编码器，用于获取电梯操作间设备的二维码标签并定位电梯操作间设备的锚定区域；采用头戴式工业相机将第一视角采集到的视频信息通过网线传输到视频解码器，同时经网线传输到存储单元进行数据备份；设计视频关键帧提取算法，提取监测视频的视频关键帧；
[0008] 所述的二维码标签生成和张贴校对单元，包括三个模块：二维码生成和张贴模块、拓扑信息提取模块以及二维码张贴校对模块，用于生成电梯维保操作间设备在识别过程中所需的二维码标签；采用标签编码器和标签打印机生成电梯维保操作间设备在识别过程中所需的二维码标签，基于二维码识别算法对区域内二维码进行提取识别并构建二维码所代表设备的控件拓扑结构信息；设计校对模型，针对电梯操作间设备拓扑信息计算二维码的准确度，对张贴结果进行测预评估；
[0009] 所述的流程操作评估单元，包括数据库构建模块、深度学习训练模块、深度学习识别模块、流程分析模块和操作评估模块；流程操作评估单元将电梯维保操作间图像数据库中的设备信息数据传输到深度学习训练模块进行深度学习建模，通过深度学习识别模块识别后，进行流程分析和操作规范评估；其中设备信息包括位置、锚定区域、属性和状态；具体步骤如下：
[0010] 第一步，利用数据库构建模块构建一个用于电梯维保操作间设备的图像组数据库；图像数据库中的所有图像包括：安全手套状态，机柜开、闭状态，电闸的通、断状态，安全锁开、闭状态，仪表所处触点状态，每幅图像包含多种状态，一共5种状态；每类图像的数量通常设置为10000张；所构建的数据库分为两类：训练图像集和测试图像集，其比例为4:1；对每组数据中的每一幅图像进行预处理，过程如下：对每一张图像进行大小归一化，使其分辨率压缩至256×256像素；通过人工手动标注得到训练样本，样本包含图像中二维码标签位置、电梯维保操作间设备锚定区域和电梯维保操作间设备状态、所处流程分类信息、流程操作评估分类信息；
[0011] 第二步，利用深度学习训练模块对数据进行训练；所述的深度学习训练模块分为三部分：预处理、深度神经网络设计和训练；预处理是对图像分辨率的归一化调整；深度神经网络设计是基于多任务深度神经网络构建，包括激活函数、卷积层和池化层，三者顺次连接；训练是将输入层、深度神经网络和全连接层顺次连接，对数据进行训练；最终通过全连接层输出所处流程与流程操作信息；
[0012] 其中：
[0013] 激活函数，用于参数的计算和调整；
[0014] 卷积层是特征提取层，前一层的一个或多个输出与一个或多个大小固定的核心进行卷积产生一个或多个输出；
[0015] 池化层是对卷积层结果进行采样，一方面为后层网络减少输入权重参数的数量以降低计算复杂度，另一方面是使深度神经网络对缩放、移位、旋转具有稳健性；
[0016] 全连接层位于深度神经网络的最后位置，作用是计算网络的输出结果，分类任务中在全连接层训练一个分类器；
[0017] 为避免出现过拟合的现象，对深度学习训练模块进行正则化；由于模型过于复杂，在训练时在对损失函数进行最小化的同时，需要让对参数添加限制，即正则化惩罚项；
[0018] 第三步，深度学习识别模块利用深度学习训练模块建立的模型对二维码标签设备状态的进行位置定位，基于二维码位置完成设备锚定区域获取，进一步识别锚定区域属性和状态信息；
[0019] 第四步，流程分析模块对锚定区域设备的属性分类和状态分类，识别所处流程与评估流程操作规范性，操作规范评估模块对流程操作规范性进行评估，同时将识别结果进行播报和储存；
[0020] 所述的输出单元为语音播报，采用终端音箱设备将流程识别结果、操作评估结果、检测报警以及操作说明适时播报；
[0021] 所述的储存单元包括数据存储模块和结果存储模块，为云盘储存，基于云盘存储设备将实时监测视频、图像以及识别结果进行储存。
[0022] 本发明的有益效果：本发明的电梯维保操作监测与指导装置，设计视频关键帧提取算法，通过提取监测视频的视频关键帧，利用关键帧所构建电梯维保操作间设备的图像组数据库，该数据库包括了和各种条件下的电梯维保操作间设备状态的图像，包括安全手套状态，机柜开、闭状态，电闸的通、断状态，安全锁开、闭状态，仪表所处触点状态等状态、所处流程信息和操作规范性信息，所有图像在背景、角度、光照、尺度等方面都具有很大的差异性。并且为避免在规模太小的数据库上训练得到的电梯维保操作间设备状态模型过拟合，所以对深度学习训练模块进行正则化，从而获得训练后的电梯维保操作间设备状态模型。在获取到电梯维保操作间设备状态图像后。在此基础上，依据上下文信息完成流程识别，直接通过该装置即可评估操作规范，可以对操作进行指导校正。有效地减少电梯维修保护过程中的风险，达到真正意义上的智能监测与指导，结果表明本发明提出的基于深度学习的电梯维保操作监测与指导装置具有非常高的实用性和可行性。
附图说明
[0023] 图1是本发明电梯维保操作监测与指导装置的结构示意图。
[0024] 图2是本发明电梯维保操作监测与指导装置实施流程示意图。
具体实施方式
[0025] 下面结合附图和技术方案，进一步说明本发明的具体实施方式。
[0026] 如图1所示，该装置包括第一视角视频采集单元，二维码生成和张贴校对单元，流程操作评估单元，输出单元和储存单元。
[0027] 其中，所述第一视角视频采集单元包括头戴式工业相机和视频编码器，用于获取电梯维保操作间设备属性、状态和位置信息。
[0028] 其中，所述二维码生成和张贴校对单元，用于生成电梯维保操作间设备在识别过程中所需的二维码标签，并对张贴结果进行测预评估。
[0029] 其中，所述流程操作评估单元包括数据库模块、深度学习训练模块、深度学习识别模块、流程识别模块、操作规范性评估模块。
[0030] 其中，所述输出单元采用终端音箱设备，实时危险操作报警与操作指导。
[0031] 其中，所述储存单元为云盘储存，将实时监测视频、图像以及识别结果进行云盘储存。
[0032] 如图2所示，首先，建立一个包含机柜开、闭状态，电闸的通、断状态，安全锁开、闭状态，仪表所处触点状态等图像的电梯维保操作间设备图像数据库，所有图像均来自现实的第一视角监测设备，每一类图像数量为1000张，并且每一类图像的背景、角度、光照、尺度上具有很大的差异性。针对每一幅图像，通过手工标注得到一个标签，表明了该幅图像的识别位置、属性和状态。
[0033] 对建立好的数据库中的每一幅图像都做一些预处理，首先将所有图像随机按照4：1划分为训练图像集和测试图像集，再将每一张图像的大小进行归一化，输入数据为256×
256像素。
[0034] 在对模型进行学习之前，需要解决训练模型参数过多带来的过拟合现象。为此，在CaffeNet图像公开库上预先训练神经网络模型，再使用建立的电梯维保操作间设备数据库继续学习该模型直至收敛。
[0035] 所述的深度学习训练模块分为三部分：预处理、深度神经网络设计和训练。预处理包含数据归一化和手动标签处理。深度神经网络设计包括激活函数、卷基层和池化层。训练包括1个输入层、5个卷积层、5个池化层、1个全连接层。所述卷积层1与池化层1是作用是对输入图片进行滤波处理，卷积层2与池化层2的作用是对滤波所得结果进行欧式绝对值校正，卷积层3与池化层3的作用是对校正所得结果进行均值和方差归一化处理，卷积层4与池化层4的作用是对归一化的所有值进行平均化处理，卷积层5与池化层5的作用是对平均值结果进行最大化处理。其中，激活函数采用Sigmoid激活函数，用于参数的计算和调整。
[0036] 经过卷积层1，将所述电梯维保操作间设备图像与卷积核进行卷积计算，特征层输入的个数是96个，所采用的卷积核为7*7，滑动时所采用的计划步长为2个像素，因此卷积核的参数的个数为96*7*7*3＝14112，经过卷积层1后得到的图像维度是110*110*96＝1161600；
[0037] 经过的池化层1，所设计采样层大小为3*3，滑动时所采用的计划步长为2个像素，经过池化层1后得到的图像维度是55*55*96＝290400；
[0038] 经过卷积层2，将上一层得到输出与卷积核进行卷积计算，卷积核大小为5*5，滑动时每次移动步长为2个像素，输入的特征层个数为256，卷积核的参数的个数为256*5*5*96＝614400，经过卷积层2后得到的结果为26*26*256＝173056；
[0039] 经过池化层2，池化范围大小为3*3，滑动时每次移动步长为2个像素；
[0040] 经过卷积层3，将上一层得到输出与卷积核进行卷积计算，卷积核大小为3*3，滑动时每次移动步长为1个像素，输入的特征层个数为384，卷积核的参数的个数为384*3*3*256＝884736；
[0041] 经过池化层3，池化范围大小为3*3，滑动时每次移动步长为2个像素；
[0042] 经过卷积层4，将上一层得到输出与卷积核进行卷积计算，卷积核大小为3*3，滑动时每次移动步长为1个像素，输入的特征层个数为384，卷积核的参数的个数为384*3*3*384＝1327104；
[0043] 经过池化层4，池化范围大小为3*3，滑动时每次移动步长为2个像素；
[0044] 经过卷积层5，将上一层得到输出与卷积核进行卷积计算，卷积核大小为3*3，滑动时每次移动步长为1个像素，输入的特征层个数为256，卷积核的参数的个数为256*3*3*384＝884736；
[0045] 经过池化层5，池化范围大小为3*3，滑动时每次移动步长为2个像素；
[0046] 经过全连接层，全连接层的节点个数为4096个，涉及的卷积核参数的个数为4096*4096＝16777216；
[0047] 将全连接层上的每个输出节点的数值转化为0到1之间的概率值，对应每一类所处流程识别结果和操作规范性评估结果的概率。
[0048] 将所述电梯维保操作间设备图像作为输入，从输入层到卷积层通过卷积操作，卷积层的每个神经元可以与输入层图像中局部关联，通过卷积后获得了所述电梯维保操作间设备图像的局部特征，卷积层后面经过池化层被称作池化过程。由于过程中节点过多，池化过程的目的在于减少卷积层局部特征的数量，经过卷积层、池化层后经过全连接层，全连接层上的每个输出节点为所述电梯维保操作间设备的属性分类信息、状态分类信息和位置信息，根据所述电梯维保操作间设备各类信息的所得概率确定所述流程识别结果和操作规范性评估结果信息。
[0049] 所述深度学习识别模块，用于将计算机自动获取来自第一视角头戴式工业相机的实时画面，依据深度学习训练模块的学习规则，提取目标的静态特征信息，判断其属性、状态和位置信息，并进一步确定所述当前操作员相应的工作流程，对工作进行指导与危险操作报警。在最终结果基础上，输出识别结果，并将识别结果进行云盘储存。
[0050] 本发明采用的是Caffe深度学习框架，这是一个非常清晰且高效的深度学习框架，该框架能够运行及其优秀的模型以及大规模的数据，对于要解决的问题具有很强的适应性。使用caffe设置的参数包括基础学习率：0.01，学习动量：0.9，权重惩罚系数：0.0005，迭代次数：20000。
