本发明公开了一种基于深度学习的视频监控质量诊断方法及系统，包括，获取目标监控设备的视频流信息，解码提取视频图像帧，根据预设基础评价特征提取预处理后视频图像帧的初级图像特征进行视频图像帧的异常检测，并构建异常分类模型，当视频图像帧为异常视频图像帧时，提取复杂图像特征进行异常类别回归；根据异常类别及复杂图像特征进行异常程度评价，判断是否满足目标监控设备当前监控目的；根据异常类别进行目标监控设备的故障溯源，利用故障溯源结果及异常程度评价结果生成运维优先级。本发明自动分析视频监控网络中前端视频的内容，检测诊断视频故障，有效的降低了人工检测的压力，也确保了视频监控的安全性和准确性。
1.一种基于深度学习的视频监控质量诊断方法，其特征在于，包括以下步骤：
获取目标监控设备的视频流信息，利用所述视频流信息进行解码提取视频图像帧，将所述视频图像帧进行预处理，根据预设基础评价特征提取预处理后视频图像帧的初级图像特征；
根据所述初级图像特征进行视频图像帧的异常检测，并构建异常分类模型，当视频图像帧为异常视频图像帧时，利用异常分类模型提取复杂图像特征，并进行异常类别回归；
获取视频图像帧的异常类别，根据所述异常类别及复杂图像特征进行异常程度评价，通过所述异常程度评价结果判断是否满足目标监控设备当前监控目的；
根据所述异常类别进行目标监控设备的故障溯源，利用故障溯源结果及异常程度评价结果生成运维优先级，并将所述运维优先级通过预设方式进行发送；
获取目标监控设备的视频流信息，利用所述视频流信息进行解码提取视频图像帧，具体为：获取目标视频监控设备的监控目的，基于所述监控目的在所述视频流信息中筛选可能包含监控目标的候选视频段，将所述候选视频段进行预处理，获取候选视频段中相邻两帧的图像的灰度矩阵；
将相邻两帧图像划分为若干子区域，获取各子区域中的灰度均值，并计算不同子区域之间的互信息熵，根据所述互信息熵提取候选视频段中的突变图像帧；
根据所述突变图像帧的灰度值生成特征时序序列，并利用监控目标的特征信息与所述特征时序序列进行特征匹配，选取能够表征目标视频监控设备对应视频流信息的目标特征；
根据所述目标特征在所述视频流信息中计算相邻两帧图像的互信息熵，获取视频流信息中相邻两帧图像的互信息熵标准差，当所述互信息熵标准差大于预设阈值时，则证明相邻两帧图像之间偏差显著，标记为视频图像帧。
2.根据权利要求1所述的一种基于深度学习的视频监控质量诊断方法，其特征在于，根据预设基础评价特征提取预处理后视频图像帧的初级图像特征，具体为：根据大数据方法获取视频质量评价实例，提取对应的图像质量评价指标，利用预设运用频率阈值对所述图像质量评价指标进行筛选，获取预筛选后的图像质量评价指标集合；
根据目标监控设备的监控目的获取影响因素，将影响因素进行量化，通过主成分分析获取影响因素中各个成分的主成分得分，根据所述主成分得分确定主成分对应的影响因素；
计算所述影响因素与所述图像质量评价指标集合中各评价指标的皮尔逊相关系数，根据所述皮尔逊相关系数获取预设数量的图像质量评价指标作为预设基础评价指标；
通过所述基础评价指标获取视频图像帧的指标参数特征，根据所述指标参数特征构建参数特征矩阵，获取视频图像帧的初级图像特征；
根据编码器及注意力机制构建图像质量评价模型，利用含有监控目标的高对比度图像中的指标参数特征对所述图像质量评价模型进行训练，将所述初级图像特征导入图像质量评价模型；
获取初级图像特征的协方差矩阵与高对比度图像对应协方差矩阵之间的偏差，通过所述偏差进行解码获取图像质量分数，根据所述图像质量分数与预设分数阈值对比判断是否为异常视频图像帧。
3.根据权利要求1所述的一种基于深度学习的视频监控质量诊断方法，其特征在于，利用异常分类模型提取复杂图像特征，并进行异常类别回归，具体为：根据深度神经网络构建异常分类模型，将异常视频图像帧进行预处理并作为模型输入，通过DenseBlock单元提取多层特征图，并将所述多层特诊图进行融合处理获取复杂图像特征；
将所述复杂图像特征导入全连接层，在全连接层中获取不同特征图中特征像素的梯度，并将所述梯度进行均值处理；
通过获取的梯度均值进行聚合表征特征图对异常分类的贡献程度，并通过激活函数进行加权求和获取特征图中各特征像素的激活图，根据所述激活图获取各异常类别的热力图；
根据所述热力图获取对应的异常类别，并将激活图恢复至视频图像帧的大小获取异常区域，并利用异常类别对所述异常区域进行标注。
4.根据权利要求1所述的一种基于深度学习的视频监控质量诊断方法，其特征在于，根据所述异常类别及复杂图像特征进行异常程度评价，通过所述异常程度评价结果判断是否满足目标监控设备当前监控目的，具体为：根据目标监控设备的监控目的及监控目标的特征信息筛选影响显著的异常类别进行标记，判断异常视频图像帧中的异常类别是否为标记的异常类别；
若是，将异常视频图像帧的异常程度评价结果标记为最大异常，则判断当前监控设备不能满足目标监控设备当前监控目的；
若不是，则获取异常视频图像帧中异常区域的几何特征，并根据目标监控设备的历史视频信息流判断监控目标在监控画面中的高频出现区域；
判断所述几何特征与高频出现区域的重叠面积，当所述重叠面积进行异常程度评价确定异常等级，若所述重叠面积大于预设面积阈值，则判断当前监控设备不能满足目标监控设备当前监控目的。
5.根据权利要求1所述的一种基于深度学习的视频监控质量诊断方法，其特征在于，根据所述异常类别进行目标监控设备的故障溯源，利用故障溯源结果及异常程度评价结果生成运维优先级，具体为：根据目标监控设备的故障类型、故障原因、异常类别及其表征进行三元组表示，构建监控设备的故障知识图谱，将异常视频图像帧的异常类别映射到知识空间，选取知识节点确定故障知识图谱的目标节点；
获取异常视频图像帧的异常区域特征及异常程度评价结果确定异常表征，根据所述异常表征确定目标节点的附加特征，基于所述附加特征在故障知识图谱中根据节点联系进行相似度计算，筛选符合预设要求的知识节点；
根据筛选的知识节点获取包含目标节点的故障链，根据预设时段中当前异常类别对应不同故障类型的出现频率获取故障类型节点的权重信息，根据所述权重信息对故障链进行排序；
通过故障链排序读取对应的故障原因，根据所述故障原因提取对应元件获取目标监控设备的元件运维优先级，另外，在预设区域中根据不同监控设备对应的异常程度评价结果获取预设区域中的设备运维优先级。
6.一种基于深度学习的视频监控质量诊断系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括基于深度学习的视频监控质量诊断方法程序，所述基于深度学习的视频监控质量诊断方法程序被所述处理器执行时实现如下步骤：获取目标监控设备的视频流信息，利用所述视频流信息进行解码提取视频图像帧，将所述视频图像帧进行预处理，根据预设基础评价特征提取预处理后视频图像帧的初级图像特征；
根据所述初级图像特征进行视频图像帧的异常检测，并构建异常分类模型，当视频图像帧为异常视频图像帧时，利用异常分类模型提取复杂图像特征，并进行异常类别回归；
获取视频图像帧的异常类别，根据所述异常类别及复杂图像特征进行异常程度评价，通过所述异常程度评价结果判断是否满足目标监控设备当前监控目的；
根据所述异常类别进行目标监控设备的故障溯源，利用故障溯源结果及异常程度评价结果生成运维优先级，并将所述运维优先级通过预设方式进行发送；
获取目标监控设备的视频流信息，利用所述视频流信息进行解码提取视频图像帧，具体为：获取目标视频监控设备的监控目的，基于所述监控目的在所述视频流信息中筛选可能包含监控目标的候选视频段，将所述候选视频段进行预处理，获取候选视频段中相邻两帧的图像的灰度矩阵；
将相邻两帧图像划分为若干子区域，获取各子区域中的灰度均值，并计算不同子区域之间的互信息熵，根据所述互信息熵提取候选视频段中的突变图像帧；
根据所述突变图像帧的灰度值生成特征时序序列，并利用监控目标的特征信息与所述特征时序序列进行特征匹配，选取能够表征目标视频监控设备对应视频流信息的目标特征；
根据所述目标特征在所述视频流信息中计算相邻两帧图像的互信息熵，获取视频流信息中相邻两帧图像的互信息熵标准差，当所述互信息熵标准差大于预设阈值时，则证明相邻两帧图像之间偏差显著，标记为视频图像帧。
7.根据权利要求6所述的一种基于深度学习的视频监控质量诊断系统，其特征在于，根据预设基础评价特征提取预处理后视频图像帧的初级图像特征，具体为：根据大数据方法获取视频质量评价实例，提取对应的图像质量评价指标，利用预设运用频率阈值对所述图像质量评价指标进行筛选，获取预筛选后的图像质量评价指标集合；
根据目标监控设备的监控目的获取影响因素，将影响因素进行量化，通过主成分分析获取影响因素中各个成分的主成分得分，根据所述主成分得分确定主成分对应的影响因素；
计算所述影响因素与所述图像质量评价指标集合中各评价指标的皮尔逊相关系数，根据所述皮尔逊相关系数获取预设数量的图像质量评价指标作为预设基础评价指标；
通过所述基础评价指标获取视频图像帧的指标参数特征，根据所述指标参数特征构建参数特征矩阵，获取视频图像帧的初级图像特征；
根据编码器及注意力机制构建图像质量评价模型，利用含有监控目标的高对比度图像中的指标参数特征对所述图像质量评价模型进行训练，将所述初级图像特征导入图像质量评价模型；
获取初级图像特征的协方差矩阵与高对比度图像对应协方差矩阵之间的偏差，通过所述偏差进行解码获取图像质量分数，根据所述图像质量分数与预设分数阈值对比判断是否为异常视频图像帧。
8.根据权利要求6所述的一种基于深度学习的视频监控质量诊断系统，其特征在于，利用异常分类模型提取复杂图像特征，并进行异常类别回归，具体为：根据深度神经网络构建异常分类模型，将异常视频图像帧进行预处理并作为模型输入，通过DenseBlock单元提取多层特征图，并将所述多层特诊图进行融合处理获取复杂图像特征；
将所述复杂图像特征导入全连接层，在全连接层中获取不同特征图中特征像素的梯度，并将所述梯度进行均值处理；
通过获取的梯度均值进行聚合表征特征图对异常分类的贡献程度，并通过激活函数进行加权求和获取特征图中各特征像素的激活图，根据所述激活图获取各异常类别的热力图；
根据所述热力图获取对应的异常类别，并将激活图恢复至视频图像帧的大小获取异常区域，并利用异常类别对所述异常区域进行标注。
9.根据权利要求6所述的一种基于深度学习的视频监控质量诊断系统，其特征在于，根据所述异常类别及复杂图像特征进行异常程度评价，通过所述异常程度评价结果判断是否满足目标监控设备当前监控目的，具体为：根据目标监控设备的监控目的及监控目标的特征信息筛选影响显著的异常类别进行标记，判断异常视频图像帧中的异常类别是否为标记的异常类别；
若是，将异常视频图像帧的异常程度评价结果标记为最大异常，则判断当前监控设备不能满足目标监控设备当前监控目的；
若不是，则获取异常视频图像帧中异常区域的几何特征，并根据目标监控设备的历史视频信息流判断监控目标在监控画面中的高频出现区域；
判断所述几何特征与高频出现区域的重叠面积，当所述重叠面积进行异常程度评价确定异常等级，若所述重叠面积大于预设面积阈值，则判断当前监控设备不能满足目标监控设备当前监控目的。
基于深度学习的视频监控质量诊断方法及系统
技术领域
[0001] 本发明涉及视频监控技术领域，更具体的，涉及一种基于深度学习的视频监控质量诊断方法及系统。
背景技术
[0002] 随着视频监控系统应用场景越来越广、集成规模持续增大、数量不断增加,视频监控系统要求实时在线,在长期运营过程中由于多种原因造成系统环节出现各种各样的故障问题, 由于智能监控对图像质量有一定的要求，如果图像质量异常而不能及时发现和解决，很可能造成智能监控部分功能无法正常工作，进而造成一定的经济损失。为了保证前端系统环节设备正常工作,视频质量诊断研究发展迫切,成为解决这类问题的重要途径。
[0003] 传统视频监控图像质量识别和诊断是依靠人工评测的形式,通过人工定期或不定期的对每个图像进行调阅查验,依靠个人主观来判定是否存在故障或异常情况,并人工记录。利用人工检测故障问题存在很多不足比如人工方式效率低；诊断速度慢，增加公共安全风险；因为故障摄像机不能有效记录该场景的事件信息。因此，面对迅猛发展的公共监控设施，传统人工监测方式已无法满足公众对服务质量要求。因此，如何利用深度学习网络构建有效的视频图像评价诊断模型得到精准的诊断效果是需要解决的问题之一。
发明内容
[0004] 为了解决上述技术问题，本发明提出了一种基于深度学习的视频监控质量诊断方法及系统。
[0005] 本发明第一方面提供了一种基于深度学习的视频监控质量诊断方法，包括：
[0006] 获取目标监控设备的视频流信息，利用所述视频流信息进行解码提取视频图像帧，将所述视频图像帧进行预处理，根据预设基础评价特征提取预处理后视频图像帧的初级图像特征；
[0007] 根据所述初级图像特征进行视频图像帧的异常检测，并构建异常分类模型，当视频图像帧为异常视频图像帧时，利用异常分类模型提取复杂图像特征，并进行异常类别回归；
[0008] 获取视频图像帧的异常类别，根据所述异常类别及复杂图像特征进行异常程度评价，通过所述异常程度评价结果判断是否满足目标监控设备当前监控目的；
[0009] 根据所述异常类别进行目标监控设备的故障溯源，利用故障溯源结果及异常程度评价结果生成运维优先级，并将所述运维优先级通过预设方式进行发送。
[0010] 本方案中，获取目标监控设备的视频流信息，利用所述视频流信息进行解码提取视频图像帧，具体为：
[0011] 获取目标视频监控设备的监控目的，基于所述监控目的在所述视频流信息中筛选可能包含监控目标的候选视频段，将所述候选视频段进行预处理，获取候选视频段中相邻两帧的图像的灰度矩阵；
[0012] 将相邻两帧图像划分为若干子区域，获取各子区域中的灰度均值，并计算不同子区域之间的互信息熵，根据所述互信息熵提取候选视频段中的突变图像帧；
[0013] 根据所述突变图像帧的灰度值生成特征时序序列，并利用监控目标的特征信息与所述特征时序序列进行特征匹配，选取能够表征目标视频监控设备对应视频流信息的目标特征；
[0014] 根据所述目标特征在所述视频流信息中计算相邻两帧图像的互信息熵，获取视频流信息中相邻两帧图像的互信息熵标准差，当所述互信息熵标准差大于预设阈值时，则证明相邻两帧图像之间偏差显著，标记为视频图像帧。
[0015] 本方案中，根据预设基础评价特征提取预处理后视频图像帧的初级图像特征，具体为：
[0016] 根据大数据方法获取视频质量评价实例，提取对应的图像质量评价指标，利用预设运用频率阈值对所述图像质量评价指标进行筛选，获取预筛选后的图像质量评价指标集合；
[0017] 根据目标监控设备的监控目的获取影响因素，将影响因素进行量化，通过主成分分析获取影响因素中各个成分的主成分得分，根据所述主成分得分确定主成分对应的影响因素；
[0018] 计算所述影响因素与所述图像质量评价指标集合中各评价指标的皮尔逊相关系数，根据所述皮尔逊相关系数获取预设数量的图像质量评价指标作为预设基础评价指标；
[0019] 通过所述基础评价指标获取视频图像帧的指标参数特征，根据所述指标参数特征构建参数特征矩阵，获取视频图像帧的初级图像特征；
[0020] 根据编码器及注意力机制构建图像质量评价模型，利用含有监控目标的高对比度图像中的指标参数特征对所述图像质量评价模型进行训练，将所述初级图像特征导入图像质量评价模型；
[0021] 获取初级图像特征的协方差矩阵与高对比度图像对应协方差矩阵之间的偏差，通过所述偏差进行解码获取图像质量分数，根据所述图像质量分数与预设分数阈值对比判断是否为异常视频图像帧。
[0022] 本方案中，利用异常分类模型提取复杂图像特征，并进行异常类别回归，具体为：
[0023] 根据深度神经网络构建异常分类模型，将异常视频图像帧进行预处理并作为模型输入，通过DenseBlock单元提取多层特征图，并将所述多层特诊图进行融合处理获取复杂图像特征；
[0024] 将所述复杂图像特征导入全连接层，在全连接层中获取不同特征图中特征像素的梯度，并将所述梯度进行均值处理；
[0025] 通过获取的梯度均值进行聚合表征特征图对异常分类的贡献程度，并通过激活函数进行加权求和获取特征图中各特征像素的激活图，根据所述激活图获取各异常类别的热力图；
[0026] 根据所述热力图获取对应的异常类别，并将激活图恢复至视频图像帧的大小获取异常区域，并利用异常类别对所述异常区域进行标注。
[0027] 本方案中，根据所述异常类别及复杂图像特征进行异常程度评价，通过所述异常程度评价结果判断是否满足目标监控设备当前监控目的，具体为：
[0028] 根据目标监控设备的监控目的及监控目标的特征信息筛选影响显著的异常类别进行标记，判断异常视频图像帧中的异常类别是否为标记的异常类别；
[0029] 若是，将异常视频图像帧的异常程度评价结果标记为最大异常，则判断当前监控设备不能满足目标监控设备当前监控目的；
[0030] 若不是，则获取异常视频图像帧中异常区域的几何特征，并根据目标监控设备的历史视频信息流判断监控目标在监控画面中的高频出现区域；
[0031] 判断所述几何特征与高频出现区域的重叠面积，当所述重叠面积进行异常程度评价确定异常等级，若所述重叠面积大于预设面积阈值，则判断当前监控设备不能满足目标监控设备当前监控目的。
[0032] 本方案中，根据所述异常类别进行目标监控设备的故障溯源，利用故障溯源结果及异常程度评价结果生成运维优先级，具体为：
[0033] 根据目标监控设备的故障类型、故障原因、异常类别及其表征进行三元组表示，构建监控设备的故障知识图谱，将异常视频图像帧的异常类别映射到知识空间，选取知识节点确定故障知识图谱的目标节点；
[0034] 获取异常视频图像帧的异常区域特征及异常程度评价结果确定异常表征，根据所述异常表征确定目标节点的附加特征，基于所述附加特征在故障知识图谱中根据节点联系进行相似度计算，筛选符合预设要求的知识节点；
[0035] 根据筛选的知识节点获取包含目标节点的故障链，根据预设时段中当前异常类别对应不同故障类型的出现频率获取故障类型节点的权重信息，根据所述权重信息对故障链进行排序；
[0036] 通过故障链排序读取对应的故障原因，根据所述故障原因提取对应元件获取目标监控设备的元件运维优先级，另外，在预设区域中根据不同监控设备对应的异常程度评价结果获取预设区域中的设备运维优先级。
[0037] 本发明第二方面还提供了一种基于深度学习的视频监控质量诊断系统，该系统包括：存储器、处理器，所述存储器中包括基于深度学习的视频监控质量诊断方法程序，所述基于深度学习的视频监控质量诊断方法程序被所述处理器执行时实现如下步骤：
[0038] 获取目标监控设备的视频流信息，利用所述视频流信息进行解码提取视频图像帧，将所述视频图像帧进行预处理，根据预设基础评价特征提取预处理后视频图像帧的初级图像特征；
[0039] 根据所述初级图像特征进行视频图像帧的异常检测，并构建异常分类模型，当视频图像帧为异常视频图像帧时，利用异常分类模型提取复杂图像特征，并进行异常类别回归；
[0040] 获取视频图像帧的异常类别，根据所述异常类别及复杂图像特征进行异常程度评价，通过所述异常程度评价结果判断是否满足目标监控设备当前监控目的；
[0041] 根据所述异常类别进行目标监控设备的故障溯源，利用故障溯源结果及异常程度评价结果生成运维优先级，并将所述运维优先级通过预设方式进行发送。
[0042] 本发明公开了一种基于深度学习的视频监控质量诊断方法及系统，包括，获取目标监控设备的视频流信息，解码提取视频图像帧，根据预设基础评价特征提取预处理后视频图像帧的初级图像特征进行视频图像帧的异常检测，并构建异常分类模型，当视频图像帧为异常视频图像帧时，提取复杂图像特征进行异常类别回归；根据异常类别及复杂图像特征进行异常程度评价，判断是否满足目标监控设备当前监控目的；根据异常类别进行目标监控设备的故障溯源，利用故障溯源结果及异常程度评价结果生成运维优先级。本发明自动分析视频监控网络中前端视频的内容，检测诊断视频故障，有效的降低了人工检测的压力，也确保了视频监控的安全性和准确性。
附图说明
[0043] 图1示出了本发明基于深度学习的视频监控质量诊断方法的流程图；
[0044] 图2示出了本发明获取视频图像帧的初级图像特征的流程图；
[0045] 图3示出了本发明判断异常图像是否满足监控目的的流程图；
[0046] 图4示出了本发明基于深度学习的视频监控质量诊断系统的框图。
具体实施方式
[0047] 为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
[0048] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
[0049] 图1示出了本发明基于深度学习的视频监控质量诊断方法的流程图。
[0050] 如图1所示，本发明第一方面提供了一种基于深度学习的视频监控质量诊断方法，包括：
[0051] S102，获取目标监控设备的视频流信息，利用所述视频流信息进行解码提取视频图像帧，将所述视频图像帧进行预处理，根据预设基础评价特征提取预处理后视频图像帧的初级图像特征；
[0052] S104，根据所述初级图像特征进行视频图像帧的异常检测，并构建异常分类模型，当视频图像帧为异常视频图像帧时，利用异常分类模型提取复杂图像特征，并进行异常类别回归；
[0053] S106，获取视频图像帧的异常类别，根据所述异常类别及复杂图像特征进行异常程度评价，通过所述异常程度评价结果判断是否满足目标监控设备当前监控目的；
[0054] S108，根据所述异常类别进行目标监控设备的故障溯源，利用故障溯源结果及异常程度评价结果生成运维优先级，并将所述运维优先级通过预设方式进行发送。
[0055] 需要说明的是，获取目标视频监控设备的监控目的，如区域警戒、检测异常及调度等，基于所述监控目的在所述视频流信息中筛选可能包含监控目标的候选视频段，将所述候选视频段进行预处理，获取候选视频段中相邻两帧的图像的灰度矩阵，通过灰度矩阵降低了计算量，提高了处理速度；将相邻两帧图像划分为若干子区域，获取各子区域中的灰度均值，并计算不同子区域之间的互信息熵，根据所述互信息熵提取候选视频段中的突变图像帧；根据所述突变图像帧的灰度值生成特征时序序列，并利用监控目标的颜色、纹理、形状、运动等特征信息与所述特征时序序列进行特征匹配，选取能够表征目标视频监控设备对应视频流信息的目标特征；根据所述目标特征在所述视频流信息中计算相邻两帧图像的互信息熵，获取视频流信息中相邻两帧图像的互信息熵标准差，当所述互信息熵标准差大于预设阈值时，则证明相邻两帧图像之间偏差显著，相似度较小，标记为视频图像帧。
[0056] 图2示出了本发明获取视频图像帧的初级图像特征的流程图。
[0057] 根据本发明实施例，根据预设基础评价特征提取预处理后视频图像帧的初级图像特征，具体为：
[0058] S202，根据大数据方法获取视频质量评价实例，提取对应的图像质量评价指标，利用预设运用频率阈值对所述图像质量评价指标进行筛选，获取预筛选后的图像质量评价指标集合；
[0059] S204，根据目标监控设备的监控目的获取影响因素，将影响因素进行量化，通过主成分分析获取影响因素中各个成分的主成分得分，根据所述主成分得分确定主成分对应的影响因素；
[0060] S206，计算所述影响因素与所述图像质量评价指标集合中各评价指标的皮尔逊相关系数，根据所述皮尔逊相关系数获取预设数量的图像质量评价指标作为预设基础评价指标；
[0061] S208，通过所述基础评价指标获取视频图像帧的指标参数特征，根据所述指标参数特征构建参数特征矩阵，获取视频图像帧的初级图像特征；
[0062] S210，根据编码器及注意力机制构建图像质量评价模型，利用含有监控目标的高对比度图像中的指标参数特征对所述图像质量评价模型进行训练，将所述初级图像特征导入图像质量评价模型；
[0063] S212获取初级图像特征的协方差矩阵与高对比度图像对应协方差矩阵之间的偏差，通过所述偏差进行解码获取图像质量分数，根据所述图像质量分数与预设分数阈值对比判断是否为异常视频图像帧。
[0064] 需要说明的是，根据堆叠自编码器构建图像质量评价模型，输入含有监控目标的高对比图像，将高对比图像进行分块，将不同图像块对应的初级图像特征引入注意力机制进行特征提取，对自编码器网络进行参数训练。根据初级图像特征的均值计算初级图像特征的协方差矩阵，对多元高斯模型进行拟合，根据视频图像帧与高对比图像对应基准参数的偏差进行解码获取图像质量分数。
[0065] 图3示出了本发明判断异常图像是否满足监控目的的流程图。
[0066] 根据本发明实施例，根据所述异常类别及复杂图像特征进行异常程度评价，通过所述异常程度评价结果判断是否满足目标监控设备当前监控目的，具体为：
[0067] S302，根据目标监控设备的监控目的及监控目标的特征信息筛选影响显著的异常类别进行标记，判断异常视频图像帧中的异常类别是否为标记的异常类别；
[0068] S304，若是，将异常视频图像帧的异常程度评价结果标记为最大异常，则判断当前监控设备不能满足目标监控设备当前监控目的；
[0069] S306，若不是，则获取异常视频图像帧中异常区域的几何特征，并根据目标监控设备的历史视频信息流判断监控目标在监控画面中的高频出现区域；
[0070] S308，判断所述几何特征与高频出现区域的重叠面积，当所述重叠面积进行异常程度评价确定异常等级，若所述重叠面积大于预设面积阈值，则判断当前监控设备不能满足目标监控设备当前监控目的；
[0071] 需要说明的是，根据深度神经网络构建异常分类模型，将异常视频图像帧进行预处理并作为模型输入，通过DenseBlock单元提取多层特征图，并将所述多层特诊图进行融合处理获取复杂图像特征，通过池化、矩阵变换对特征提取模块得到的多层特征图进行压缩和融合；将所述复杂图像特征导入全连接层，在全连接层中获取不同特征图中特征像素的梯度，并将所述梯度进行均值处理；
[0072] 通过获取的梯度均值进行聚合表征特征图对异常分类的贡献程度，所述贡献程度的计算公式为 ，其中， 表示特征图像素数量， 表示预设异常概率，表示第 张特征图 中的特征向量。根据所述贡献程度 获取权重，并通过激活函数进行加权求和获取特征图中各特征像素的激活图，根据所述激活图获取各异常类别的热力图；根据所述热力图获取对应的异常类别，并将激活图恢复至视频图像帧的大小获取异常区域，并利用异常类别对所述异常区域进行标注。
[0073] 需要说明的是，根据目标监控设备的故障类型、故障原因、异常类别及其表征进行三元组表示，构建监控设备的故障知识图谱，将异常视频图像帧的异常类别映射到知识空间，选取知识节点确定故障知识图谱的目标节点；获取异常视频图像帧的异常区域特征及异常程度评价结果确定异常表征，根据所述异常表征确定目标节点的附加特征，基于所述附加特征在故障知识图谱中根据节点联系进行相似度计算，筛选符合预设要求的知识节点；根据筛选的知识节点获取包含目标节点的故障链，根据预设时段中当前异常类别对应不同故障类型的出现频率获取故障类型节点的权重信息，根据所述权重信息对故障链进行排序；通过故障链排序读取对应的故障原因，根据所述故障原因提取对应元件获取目标监控设备的元件运维优先级，另外，在预设区域中根据不同监控设备对应的异常程度评价结果获取预设区域中的设备运维优先级。
[0074] 根据本发明实施例，获取目标视频监控设备的当前故障类型，并根据目标视频监控设备在预设范围中的位置信息获取所处环境的环境特征；根据环境特征提取能够直接或间接导致故障的环境因素，根据当前故障表征与各环境因素的相关性进行筛选，获取当前故障类型的致损环境因素，获取当前故障的运维记录，根据所述运维记录提取故障因子，将所述故障因子与制损环境因素进行主成分分析，确定主成分方向进行投影，获取故障因子对应的特征散点图，根据特征散点图中致损环境因素与中心点的距离判断是否进行干预，当距离小于预设阈值时，则根据制损环境因素利用大数据获取优化措施，对目标视频监控设备的硬件进行升级。
[0075] 图4示出了本发明基于深度学习的视频监控质量诊断系统的框图。
[0076] 本发明第二方面还提供了一种基于深度学习的视频监控质量诊断系统4，该系统包括：存储器41、处理器42，所述存储器中包括基于深度学习的视频监控质量诊断方法程序，所述基于深度学习的视频监控质量诊断方法程序被所述处理器执行时实现如下步骤：
[0077] 获取目标监控设备的视频流信息，利用所述视频流信息进行解码提取视频图像帧，将所述视频图像帧进行预处理，根据预设基础评价特征提取预处理后视频图像帧的初级图像特征；
[0078] 根据所述初级图像特征进行视频图像帧的异常检测，并构建异常分类模型，当视频图像帧为异常视频图像帧时，利用异常分类模型提取复杂图像特征，并进行异常类别回归；
[0079] 获取视频图像帧的异常类别，根据所述异常类别及复杂图像特征进行异常程度评价，通过所述异常程度评价结果判断是否满足目标监控设备当前监控目的；
[0080] 根据所述异常类别进行目标监控设备的故障溯源，利用故障溯源结果及异常程度评价结果生成运维优先级，并将所述运维优先级通过预设方式进行发送。
[0081] 根据本发明实施例，根据所述异常类别及复杂图像特征进行异常程度评价，通过所述异常程度评价结果判断是否满足目标监控设备当前监控目的，具体为：
[0082] 根据目标监控设备的监控目的及监控目标的特征信息筛选影响显著的异常类别进行标记，判断异常视频图像帧中的异常类别是否为标记的异常类别；
[0083] 若是，将异常视频图像帧的异常程度评价结果标记为最大异常，则判断当前监控设备不能满足目标监控设备当前监控目的；
[0084] 若不是，则获取异常视频图像帧中异常区域的几何特征，并根据目标监控设备的历史视频信息流判断监控目标在监控画面中的高频出现区域；
[0085] 判断所述几何特征与高频出现区域的重叠面积，当所述重叠面积进行异常程度评价确定异常等级，若所述重叠面积大于预设面积阈值，则判断当前监控设备不能满足目标监控设备当前监控目的。
[0086] 需要说明的是，根据深度神经网络构建异常分类模型，将异常视频图像帧进行预处理并作为模型输入，通过DenseBlock单元提取多层特征图，并将所述多层特诊图进行融合处理获取复杂图像特征，通过池化、矩阵变换对特征提取模块得到的多层特征图进行压缩和融合；将所述复杂图像特征导入全连接层，在全连接层中获取不同特征图中特征像素的梯度，并将所述梯度进行均值处理；通过获取的梯度均值进行聚合表征特征图对异常分类的贡献程度，所述贡献程度 的计算公式为 ，其中， 表示特征图像素数量， 表示预设异常概率， 表示第 张特征图 中的特征向量。根据所述贡献程度 获取权重，并通过激活函数进行加权求和获取特征图中各特征像素的激活图，根据所述激活图获取各异常类别的热力图；根据所述热力图获取对应的异常类别，并将激活图恢复至视频图像帧的大小获取异常区域，并利用异常类别对所述异常区域进行标注。
[0087] 本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括基于深度学习的视频监控质量诊断方法程序，所述基于深度学习的视频监控质量诊断方法程序被处理器执行时，实现如上述任一项所述的基于深度学习的视频监控质量诊断方法的步骤。
[0088] 在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0089] 上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0090] 另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0091] 本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read‑Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
[0092] 或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0093] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
