智能多模态融合用电检查方法、装置、系统、设备及介质

摘要

本发明提供一种智能多模态融合用电检查方法、装置、系统、设备及介质，包括：基于用电安全检查请求涉及的用电设备通过上下文感知的隐患识别获取用电设备的安全管理规程；基于安全管理规程对用电设备的电气数据和非电气数据进行分析确定针对所述用电设备的用电安全检查请求结果，本发明可以结合电气量及非电气量因素，查询用电设备安全态势，并对用电设备安全隐患进行有效检测；本发明采用半监督的非电气量隐患识别方法，实现使用少量标注数据结合大量未标注数据进行模型训练的目的，解决用电场景非电气量样本数据不足的问题；本发明应用知识图谱技术，针对当前用电设备状态及安全隐患进行操作推荐，可以安全的指导下一步处理。

权利要求

1.一种智能多模态融合用电检查方法，其特征在于，包括：

当接收到用电安全检查请求时：

基于用电安全检查请求涉及的用电设备通过上下文感知的隐患识别获取所述用电设备的安全管理规程；

根据所述用电安全检查请求涉及的请求类型，基于安全管理规程对所述用电安全检查请求涉及的用电设备的电气数据和非电气数据进行分析确定针对所述用电设备的用电安全检查请求结果；

其中，所述用电安全检查请求包括请求类型、用电设备、所述用电设备的电气数据和非电气数据；

当所述用电安全检查请求涉及的请求类型包括：隐患查询或操作推荐时，所述基于安全管理规程对所述用电安全检查请求涉及的用电设备的电气数据和非电气数据进行分析确定针对所述用电设备的用电安全检查请求结果，包括：基于所述电气数据进行第一隐患识别；基于所述非电气数据，利用预先训练好的隐患识别任务模型进行第二隐患识别；对第一隐患识别结果和第二隐患识别结果进行融合得到所述用电设备的隐患识别结果；

基于所述电气数据、非电气数据、请求类型、所述安全管理规程和隐患识别结果，利用预先构建的知识图谱进行处理得到所述请求类型对应的用电安全检查请求结果；

其中，所述隐患识别任务模型利用半监督检测学习对有标签的历史非电气数据和无标签的历史非电气数据训练得到；

所述标签包括：用电设备的隐患信息；所述隐患信息包括：正常、异常、存在隐患；

所述基于所述电气数据、非电气数据、请求类型、所述安全管理规程和隐患识别结果，利用预先构建的知识图谱进行处理得到所述请求类型对应的用电安全检查请求结果，包括：利用预先构建的知识图谱从所述电气数据、非电气数据、安全管理规程和隐患识别结果进行消岐处理；

基于消岐后的电气数据或非电气数据结合安全规程和隐患识别结果及用电安全逻辑进行规则判断，得到请求类型对应的用电安全检查请求结果。

2.如权利要求1所述的方法，其特征在于，所述隐患识别任务模型的训练，包括：以有标签的历史非电气数据作为训练集进行训练得到隐患识别任务模型；

基于所述隐患识别任务模型对无标签的历史非电气数据利用单阶段目标检测或双阶段目标检测进行预测得到隐患信息及所述隐患信息对应的置信度、有标签的历史非电气数据对应的标记损失和无标签的历史非电气数据对应的无标记损失；

以所述标记损失和无标记损失的加权和作为一致性约束损失；

以最大置信度对应的隐患信息为无标签的历史非电气数据的伪标签并加入训练集对所述任务模型继续训练，直到所述任务模型达到最优；

所述标记损失和无标记损失由半监督目标检测模型计算得到。

3.如权利要求2所述的方法，其特征在于，所述单阶段目标检测过程包括：分别将训练集中的用电设备的图像数据及反转后的图像数据输入单阶段分类器中进行预测得到隐患信息以及所述隐患信息下的置信度；

对有标签的历史非电气数据和无标签的历史非电气数据分别进行目标检测损失计算；

其中，所述历史非电气数据为用电设备对应的图像数据。

4.如权利要求2所述的方法，其特征在于，所述双阶段目标检测过程包括：以训练集中用电设备的图像数据及反转后的图像数据作为输入数据，利用CNN网络进行训练得到隐患信息；并且对有标签的历史非电气数据和无标签的历史非电气数据分别进行目标检测损失计算；其中，所述历史非电气数据为用电设备对应的图像数据。

5.如权利要求1所述的方法，其特征在于，

当请求类型为隐患查询时所述用电安全检查请求结果为隐患查询结果；

当请求类型为操作推荐时，所述用电安全检查请求结果为排除用电隐患相应的推荐操作结果。

6.如权利要求1所述的方法，其特征在于，所述利用预先构建的知识图谱从所述电气数据、非电气数据、安全管理规程和隐患识别结果进行消岐处理，包括：从所述电气数据、非电气数据、安全管理规程和隐患识别结果中提取实体指称；

基于每个实体指称利用预先构建的知识图谱分别进行局部消岐、全局消岐后确定对应的目标实体。

7.如权利要求1所述的方法，其特征在于，所述基于每个实体指称利用预先构建的知识图谱分别进行局部消岐、全局消岐后确定对应的目标实体，包括：基于每个实体指称分别执行如下操作：

基于所述实体指称从预先构建的知识图谱中选择至少一个实体作为候选实体；

利用深度学习的方法得到各实体指称和候选实体的局部相似度概率；

基于所有的实体指称与对应的候选实体之间的关联度确定全局关联度；

将所述候选实体的局部相似度概率与候选实体的全局关联度相乘，取最大值对应的候选实体为目标实体，并将所述实体指称与目标实体链接；

所述知识图谱包括：若干实体及各实体的关联关系。

8.如权利要求1所述的方法，其特征在于，当所述请求类型为状态查询时，所述基于安全管理规程对所述用电安全检查请求涉及的用电设备的电气数据和非电气数据进行分析确定针对所述用电设备的用电安全检查请求结果，包括：采集所述用电设备的电气运行状态和非电气运行状态；

基于所述电气运行状态和非电气运行状态进行及用电安全逻辑进行规则判断得到所述用电设备状态。

9.一种智能多模态融合用电检查装置，其特征在于，包括：上下文感知的隐患识别模块和规程管理模块；

上下文感知的隐患识别模块，用于当接收到用电安全检查请求时：调用所述规程管理模块，并接收所述规程管理模块返回的安全管理规程；还用于基于所述用电安全检查请求涉及的请求类型调用相应的模块以执行：基于安全管理规程对所述用电安全检查请求涉及的用电设备的电气数据和非电气数据进行分析确定针对所述用电设备的用电安全检查请求结果；

所述规程管理模块，用于基于用电安全检查请求涉及的用电设备通过上下文感知的隐患识别获取所述用电设备的安全管理规程；

所述请求类型包括：隐患查询或操作推荐时，调用的模块包括：隐患识别模块和图谱消歧推理模块；

所述隐患识别模块，用于基于所述电气数据进行第一隐患识别；基于所述非电气数据，利用预先训练好的隐患识别任务模型进行第二隐患识别；对第一隐患识别结果和第二隐患识别结果进行融合得到所述用电设备的隐患识别结果；

所述图谱消歧推理模块，用于基于所述电气数据、非电气数据、请求类型、所述安全管理规程和隐患识别结果，利用预先构建的知识图谱进行处理得到所述请求类型对应的用电安全检查请求结果；

其中，所述隐患识别任务模型利用半监督检测学习对有标签的历史非电气数据和无标签的历史非电气数据训练得到；

所述标签包括：用电设备的隐患信息；所述隐患信息包括：正常、异常、存在隐患；

所述基于所述电气数据、非电气数据、请求类型、所述安全管理规程和隐患识别结果，利用预先构建的知识图谱进行处理得到所述请求类型对应的用电安全检查请求结果，包括：利用预先构建的知识图谱从所述电气数据、非电气数据、安全管理规程和隐患识别结果进行消岐处理；

基于消岐后的电气数据或非电气数据结合安全规程和隐患识别结果及用电安全逻辑进行规则判断，得到请求类型对应的用电安全检查请求结果。

10.如权利要求9所述的装置，其特征在于，当所述请求类型为状态查询时，调用的模块具体用于采集所述用电设备的电气运行状态和非电气运行状态；

所述上下文感知的隐患识别模块还用于：基于所述电气运行状态和非电气运行状态进行及用电安全逻辑进行规则判断得到所述用电设备状态。

11.一种智能多模态融合用电检查系统，其特征在于，包括，智能多模态融合用电检查装置、可视化设备和数据管理装置；

所述可视化设备为用电检查现场设备，用于采集用电现场的用电设备的电气数据和非电气数据；同时根据采集的用电设备的电气数据和非电气数据结合用电安全检查请求类型生成用电安全检查请求；

所述智能多模态融合用电检查装置获取所述可视化设备发起的用电安全检查请求，并基于所述数据管理装置提供的管理数据，执行如权利要求1‑8任一项所述的一种智能多模态融合用电检查方法；

所述数据管理装置用于存储并管理多种类型的管理数据。

12.如权利要求11所述的系统，其特征在于，所述可视化设备为移动智能端包括下述中的一种或多种：移动电脑终端、移动手机端和AR采集终端。

13.如权利要求11所述的系统，其特征在于，所述数据管理装置存储并管理的管理数据至少包括下述一种或多种管理数据：电气类数据、非电气类数据、知识图谱；

其中所述电气类数据和非电气类数据为用电设备带标签的历史数据。

14.一种计算机设备，其特征在于，包括：一个或多个处理器；

所述处理器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，实现如权利要求1‑8任一项所述的一种智能多模态融合用电检查方法。

15.一种计算机可读存储介质，其特征在于，其上存有计算机程序，所述计算机程序被执行时，实现如权利要求1‑8任一项所述的一种智能多模态融合用电检查方法。

说明书

智能多模态融合用电检查方法、装置、系统、设备及介质

技术领域

[0001] 本发明涉及供用电安全领域，具体涉及一种智能多模态融合用电检查方法、装置、系统、设备及介质。

背景技术

[0002] 用电安全检查是保障电网正常运行的重要手段，尤其是针对重大活动保电的保障支撑工作要求越发严格，而末端隐患故障始终是威胁总体供用电环境安全运行的重要因素，因此，如何提升电力公司业务人员开展客户侧用电风险隐患的排查工作支撑能力愈发关键。

[0003] 当前有研究是通过对监控对象的属性和状态进行拆解，对告警信息分组，目标是基于监控对象的用电特性与专家知识库，提取告警信息的最小特征值及其与隐患的映射关系；对特征进行分析，集合零散的告警信息推理其传达的隐患；通过让碎片信息表达确切的含义使信息更具价值，提供告警信息监控‑辅助决策‑故障反馈全过程的支撑现，但是该技术仅分析了用电过程中的电气量信息，不能全面诊断用电设备可能存在的安全隐患，具有局限性。

发明内容

[0004] 为了解决现有技术所存在的问题，本发明提供一种智能多模态融合用电检查方法，包括：

[0005] 当接收到用电安全检查请求时：

[0006] 基于用电安全检查请求涉及的用电设备通过上下文感知的隐患识别获取所述用电设备的安全管理规程；

[0007] 根据所述用电安全检查请求涉及的请求类型，基于安全管理规程对所述用电安全检查请求涉及的用电设备的电气数据和非电气数据进行分析确定针对所述用电设备的用电安全检查请求结果；

[0008] 其中，所述用电安全检查请求包括请求类型、用电设备、所述用电设备的电气数据和非电气数据。

[0009] 优选的，当所述用电安全检查请求涉及的请求类型包括：隐患查询或操作推荐时，所述基于安全管理规程对所述用电安全检查请求涉及的用电设备的电气数据和非电气数据进行分析确定针对所述用电设备的用电安全检查请求结果，包括：

[0010] 基于所述电气数据进行第一隐患识别；基于所述非电气数据，利用预先训练好的隐患识别任务模型进行第二隐患识别；对第一隐患识别结果和第二隐患识别结果进行融合得到所述用电设备的隐患识别结果；

[0011] 基于所述电气数据、非电气数据、请求类型、所述安全管理规程和隐患识别结果，利用预先构建的知识图谱进行处理得到所述请求类型对应的用电安全检查请求结果；

[0012] 其中，所述隐患识别任务模型利用半监督检测学习对有标签的历史非电气数据和无标签的历史非电气数据训练得到；

[0013] 所述标签包括：用电设备的隐患信息；所述隐患信息包括：正常、异常、存在隐患。

[0014] 优选的，所述隐患识别任务模型的训练，包括：

[0015] 以有标签的历史非电气数据作为训练集进行训练得到隐患识别任务模型；

[0016] 基于所述隐患识别任务模型对无标签的历史非电气数据利用单阶段目标检测或双阶段目标检测进行预测得到隐患信息及所述隐患信息对应的置信度、有标签的历史非电气数据对应的标记损失和无标签的历史非电气数据对应的无标记损失；

[0017] 以所述标记损失和无标记损失的加权和作为一致性约束损失；

[0018] 以最大置信度对应的隐患信息为无标签的历史非电气数据的伪标签并加入训练集对所述任务模型继续训练，直到所述任务模型达到最优；

[0019] 所述标记损失和无标记损失由半监督目标检测模型计算得到。

[0020] 优选的，所述单阶段目标检测过程包括：

[0021] 分别将训练集中的用电设备的图像数据及反转后的图像数据输入单阶段分类器中进行预测得到隐患信息以及所述隐患信息下的置信度；

[0022] 对有标签的历史非电气数据和无标签的历史非电气数据分别进行目标检测损失计算；

[0023] 其中，所述历史非电气数据为用电设备对应的图像数据。

[0024] 优选的，所述双阶段目标检测过程包括：

[0025] 以训练集中用电设备的图像数据及反转后的图像数据作为输入数据，利用CNN网络进行训练得到隐患信息；并且对有标签的历史非电气数据和无标签的历史非电气数据分别进行目标检测损失计算；其中，所述历史非电气数据为用电设备对应的图像数据。

[0026] 优选的，所述基于所述电气数据、非电气数据、请求类型、所述安全管理规程和隐患识别结果，利用预先构建的知识图谱进行处理得到所述请求类型对应的用电安全检查请求结果，包括：

[0027] 利用预先构建的知识图谱从所述电气数据、非电气数据、安全管理规程和隐患识别结果进行消岐处理；

[0028] 基于消岐后的电气数据或非电气数据结合安全规程和隐患识别结果及用电安全逻辑进行规则判断，得到请求类型对应的用电安全检查请求结果。

[0029] 优选的，当请求类型为隐患查询时所述用电安全检查请求结果为隐患查询结果；

[0030] 当请求类型为操作推荐时，所述用电安全检查请求结果为排除用电隐患相应的推荐操作结果。

[0031] 优选的，所述利用预先构建的知识图谱从所述电气数据、非电气数据、安全管理规程和隐患识别结果进行消岐处理，包括：

[0032] 从所述电气数据、非电气数据、安全管理规程和隐患识别结果中提取实体指称；

[0033] 基于每个实体指称利用预先构建的知识图谱分别进行局部消岐、全局消岐后确定对应的目标实体。

[0034] 优选的，所述基于每个实体指称利用预先构建的知识图谱分别进行局部消岐、全局消岐后确定对应的目标实体，包括：

[0035] 基于每个实体指称分别执行如下操作：

[0036] 基于所述实体指称从预先构建的知识图谱中选择至少一个实体作为候选实体；

[0037] 利用深度学习的方法得到各实体指称和候选实体的局部相似度概率；

[0038] 基于所有的实体指称与对应的候选实体之间的关联度确定全局关联度；

[0039] 将所述候选实体的局部相似度概率与候选实体的全局关联度相乘，取最大值对应的候选实体为目标实体，并将所述实体指称与目标实体链接；

[0040] 所述知识图谱包括：若干实体及各实体的关联关系。

[0041] 优选的，当所述请求类型为状态查询时，所述基于安全管理规程对所述用电安全检查请求涉及的用电设备的电气数据和非电气数据进行分析确定针对所述用电设备的用电安全检查请求结果，包括：

[0042] 采集所述用电设备的电气运行状态和非电气运行状态；

[0043] 基于所述电气运行状态和非电气运行状态进行及用电安全逻辑进行规则判断得到所述用电设备状态。

[0044] 基于同一种发明构思，本发明还提供一种智能多模态融合用电检查装置，包括：上下文感知的隐患识别模块和规程管理模块；

[0045] 上下文感知的隐患识别模块，用于当接收到用电安全检查请求时：调用所述规程管理模块，并接收所述规程管理模块返回的安全管理规程；还用于基于所述用电安全检查请求涉及的请求类型调用相应的模块以执行：基于安全管理规程对所述用电安全检查请求涉及的用电设备的电气数据和非电气数据进行分析确定针对所述用电设备的用电安全检查请求结果；

[0046] 所述规程管理模块，用于基于用电安全检查请求涉及的用电设备通过上下文感知的隐患识别获取所述用电设备的安全管理规程。

[0047] 优选的，当所述请求类型包括：隐患查询或操作推荐时，所述调用模块包括：隐患识别模块和知识图谱模块；

[0048] 所述隐患识别模块，用于基于所述电气数据进行第一隐患识别；基于所述非电气数据，利用预先训练好的隐患识别任务模型进行第二隐患识别；对第一隐患识别结果和第二隐患识别结果进行融合得到所述用电设备的隐患识别结果；

[0049] 所述知识图谱模块，用于基于所述电气数据、非电气数据、请求类型、所述安全管理规程和隐患识别结果，利用预先构建的知识图谱进行处理得到所述请求类型对应的用电安全检查请求结果；

[0050] 其中，所述隐患识别任务模型利用半监督检测学习对有标签的历史非电气数据和无标签的历史非电气数据训练得到；

[0051] 所述标签包括：用电设备的隐患信息；所述隐患信息包括：正常、异常、存在隐患。

[0052] 优选的，当所述请求类型为状态查询时，所述调用模块具体用于采集所述用电设备的电气运行状态和非电气运行状态；

[0053] 所述上下文感知的隐患识别模块还用于：基于所述电气运行状态和非电气运行状态进行及用电安全逻辑进行规则判断得到所述用电设备状态。

[0054] 基于同一种发明构思，本发明还提供一种智能多模态融合用电检查系统，包括，智能多模态融合用电检查装置、可视化设备和数据管理装置；

[0055] 所述可视化设备为用电检查现场设备，用于采集用电现场的用电设备的电气数据和非电气数据；同时根据采集的用电设备的电气数据和非电气数据结合用电安全检查请求类型生成用电安全检查请求；

[0056] 所述智能多模态融合用电检查装置获取所述可视化设备发起的用电安全检查请求，并基于所述数据管理装置提供的管理数据，执行本发明提供的一种智能多模态融合用电检查方法；

[0057] 所述数据管理装置用于存储多种类型的管理数据。

[0058] 优选的，所述可视化设备为移动智能端包括下述中的一种或多种：移动电脑终端、移动手机端和AR采集终端。

[0059] 优选的，所述数据管理装置存储的管理数据至少包括下述一种或多种管理数据：电气类数据、非电气类数据、知识图谱；

[0060] 其中所述电气类数据和非电气类数据为用电设备带标签的历史数据。

[0061] 基于同一种发明构思，本发明还提供一种计算机设备，包括：一个或多个处理器；

[0062] 所述处理器，用于存储一个或多个程序；

[0063] 当所述一个或多个程序被所述一个或多个处理器执行时，实现本发明提供的一种智能多模态融合用电检查方法。

[0064] 基于同一种发明构思，本发明还提供一种计算机可读存储介质，其上存有计算机程序，所述计算机程序被执行时，实现本发明提供的一种智能多模态融合用电检查方法。

[0065] 与现有技术相比，本发明的有益效果为：

[0066] (1)本发明提供一种智能多模态融合用电检查方法、装置、系统，包括：基于用电安全检查请求涉及的用电设备通过上下文感知的隐患识别获取所述用电设备的安全管理规程；根据所述用电安全检查请求涉及的请求类型，基于安全管理规程对所述用电安全检查请求涉及的用电设备的电气数据和非电气数据进行分析确定针对所述用电设备的用电安全检查请求结果，本发明可以结合电气量及非电气量因素，查询用电设备安全态势，并对用电设备安全隐患进行有效检测；

[0067] (2)本发明提供一种智能多模态融合用电检查装置，对多种请求类型，以上下文感知的隐患识别模块为接口实现了统一调用，在上下文感知的隐患识别模块中根据不同的请求类型进行判断返回对应的用电安全检查请求结果，大大简化了程序的开发、并对程序后续的扩展提供了方便的接口。

附图说明

[0068] 图1为本发明的智能多模态融合用电检查方法流程图；

[0069] 图2为本发明的隐患查询典型流程序列图；

[0070] 图3为本发明的状态查询典型流程序列图；

[0071] 图4为本发明的操作推荐典型流程序列图；

[0072] 图5为本发明的隐患识别功能典型流程序列图；

[0073] 图6为本发明的一致性的半监督目标检测模型整体结构图；

[0074] 图7为本发明的伪标签自训练方法示意图；

[0075] 图8为本发明的实体链接流程图；

[0076] 图9为本发明的智能多模态融合用电检查系统结构图。

具体实施方式

[0077] 针对在生产环境中用电设备的安全检测的实际需求，本专利利用用电检查智能化装置在硬件上具有的电气类参数测量能力、可扩充各种非电类信息测量的能力，通过物联网技术为规程感知图谱和多模态信息融合取证提供硬件支持。在安全检查服务方面，服务平台通过规程管理的图谱消歧与推理，结合电气、非电气类隐患识别，实现上下文感知的隐患识别功能。最终，向用户提供包含隐患查询、状态展示、操作推荐等的安全检查业务，并可以通过可视化方式展现。为了更好地理解本发明，下面结合说明书附图和实例对本发明的内容做进一步的说明。

[0078] 实施例1：

[0079] 本发明提供一种智能多模态融合用电检查方法，可以结合电气量及非电气量因素，查询用电设备安全态势，并对用电设备安全隐患进行有效检测，如图1所示，包括：

[0080] S1、当接收到用电安全检查请求时：

[0081] S2、基于用电安全检查请求涉及的用电设备通过上下文感知的隐患识别获取所述用电设备的安全管理规程；

[0082] S3、根据所述用电安全检查请求涉及的请求类型，基于安全管理规程对所述用电安全检查请求涉及的用电设备的电气数据和非电气数据进行分析确定针对所述用电设备的用电安全检查请求结果；

[0083] 其中，所述用电安全检查请求包括请求类型、用电设备、所述用电设备的电气数据和非电气数据。

[0084] 用电设备的电气数据和非电气数据由检查设备和用电场景中的传感器采集，附带在用电安全检查请求中。

[0085] 本发明用电安全检查请求涉及的请求类型包括：隐患查询、操作推荐和状态查询，下面上述三种用电安全检查请求涉及的步骤进行简单介绍。

[0086] 隐患查询：

[0087] 如图2所示，在用电安全检查人员在用电设备检查过程中，利用AR设备或移动终端、移动电脑等具有拍照功能的智能设备，发出隐患查询请求之后，系统服务端首先调用上下文感知的隐患识别模块，向规程管理模块请求该用电设备的相应安全管理规程；结合安全规程，向融合隐患识别发出请求，识别当前可能存在的隐患；向知识图谱管理模块发送融合隐患信息和规程信息，并请求隐患查询，知识图谱管理模块进行消歧、查询、推理等操作后，最终依次返回相应的隐患查询结果。

[0088] 状态查询：

[0089] 如图3所示，在用电安全检查人员在用电设备检查过程中，利用AR设备或移动终端、移动电脑等具有拍照功能的智能设备，发出状态查询请求发出之后，系统服务端依次向规程管理模块发送请求，获取用电设备安全管理规程；向电气数据管理模块发送请求，获取电气运行状况数据；向非电气数据管理模块发送请求，获取非电气运行状况数据，最终完成用电设备状态的查询。

[0090] 操作推荐：

[0091] 如图4所示，在用电安全检查人员在用电设备检查过程中，利用AR设备或移动终端、移动电脑等具有拍照功能的智能设备，发出操作推荐请求发出之后，系统服务端首先调用上下文感知的隐患识别模块，向规程管理模块请求该用电设备的相应安全管理规程；结合安全规程，向融合隐患识别发出请求，识别当前可能存在的隐患；向知识图谱管理模块发送融合隐患信息和规程信息，并请求推荐操作，知识图谱管理模块进行消歧、查询、推理等操作后，最终依次返回在当前场景下，检察人员能够排除用电隐患相应的推荐操作结果。

[0092] 其中针对隐患查询和操作推荐所涉及的隐患识别功能的执行步骤如下：

[0093] 如图5所示，在发出融合隐患识别请求之后，首先调用融合隐患识别模块，分别向电气类隐患识别模块和非电气类隐患识别模块发送识别隐患请求，随后向数据管理模块发送数据请求，获得相应数据，分别进行电气类、非电气类隐患识别后返回融合隐患识别模块，进行融合识别分析，返回结果。

[0094] 因此，当所述用电安全检查请求涉及的请求类型包括：隐患查询或操作推荐时，步骤S3所述基于安全管理规程对所述用电安全检查请求涉及的用电设备的电气数据和非电气数据进行分析确定针对所述用电设备的用电安全检查请求结果，具体包括：

[0095] 基于所述电气数据进行第一隐患识别；基于所述非电气数据，利用预先训练好的隐患识别任务模型进行第二隐患识别；对第一隐患识别结果和第二隐患识别结果进行融合得到所述用电设备的隐患识别结果；

[0096] 基于所述电气数据、非电气数据、请求类型、所述安全管理规程和隐患识别结果，利用预先构建的知识图谱进行处理得到所述请求类型对应的用电安全检查请求结果；

[0097] 其中，所述隐患识别任务模型利用半监督检测学习对有标签的历史非电气数据和无标签的历史非电气数据训练得到；

[0098] 所述标签包括：用电设备的隐患信息；所述隐患信息包括：正常、异常、存在隐患。

[0099] 当所述请求类型为状态查询时，步骤S3所述基于安全管理规程对所述用电安全检查请求涉及的用电设备的电气数据和非电气数据进行分析确定针对所述用电设备的用电安全检查请求结果，具体包括：

[0100] 采集所述用电设备的电气运行状态和非电气运行状态；

[0101] 基于所述电气运行状态和非电气运行状态进行及用电安全逻辑进行规则判断得到所述用电设备状态。

[0102] 下面对隐患查询或操作推荐所涉及的算法进行具体介绍。

[0103] 1、半监督的非电气量隐患识别算法

[0104] 如图6所示，针对用电安全中的安全事故样本较少的实际情况，为了使训练出来的模型的抗干扰能力更强，引入了基于半监督学习的模型训练方法。在非电气量隐患识别流程中，半监督检测模型主要对实际用电场景的电气设备图像信息进行分析识别，样本库中包含少量带有标识的标签的图像和大量无标签的图像数据。这里的标识可以为：是否着火状态、冒烟状态或线路断开状态等等，下面为了使方案更好理解，以是否着火状态为例对本发明的技术方案进行介绍，但是本发明的算法并不局限于着火状态。本发明的带有着火状态的标签是用于判断用电设备着火等故障及用电隐患识别。半监督的监测模型训练方法，通过伪标签迭代训练提升图像非电气量中用电设备异常情况的任务模型效果，在此基础上对无标注图像计算一致性约束损失，将无标注图像与有标注图像一起训练，获得一致性约束损失与目标检测损失的融合结果并使之反向推理，有效提升单阶段模型SSD的检测精度，解决了用电场景视频训练样本不足的问题。

[0105] 1)半监督目标检测模型

[0106] 模型结构结合了半监督学习方法与目标检测方法，为了实现目标对象的一对一对应，使用原始图像及其翻转图像作为输入。一个成对的目标框代表同一个类，它们的定位信息必须保持一致，因此能够根据两个输入图像对的检测结果的一致性来进行约束模型。

[0107] (1)单阶段检测过程，如图6左部：首先将训练集中用电设备的图像I及反转后的图像 输入单阶段分类器中，将图像分成S×S个网格,每个网格要预测B个边框,每个边框除了要回归自身的位置之外,还要预测一个置信度，来表示目标的可信程度及预测位置的准确度。另外对每个网格还要预测C个类型的条件概率,将这些预测结果编码为一个S×S×(B×k5+C)维的张量，分别表示为图中的f(I)以及 最后基于预测结果对于有标签、无标签的用电器图像分别进行损失计算，预测结果为隐患信息包括：正常、异常、存在隐患。

[0108] (2)双阶段检测过程，如图6右部：首先将训练集中用电设备的图像I及反转后的图像 输入CNN网络，提取图片特征获得相应的特征图Φ(I)及 随后在特征图上使用区域建议网络(Region proposal network,RPN)来提取一系列的矩形候选区域，从而提取感兴趣区域(Regions of Interest,RoI)，翻转和未翻转的用电场景图像中的RoI分别表示为和hk；接下来对每个RoI进行映射得到相应的特征图,并送入RoI池化层把特征图统一到相同的大小；最后经过全连接层，通过分类器最终得到输出向量,并对于有标签、无标签的用电器图像分别进行损失计算。

[0109] 针对无标签图像和有标签图像，专利采用构造不同的损失函数对其进行优化。对于无标签数据，通过结合优化一致性分类损失JS散度，以及一致性目标定位损失L2距离，在此基础上叠加有标签图像数据的监督损失(将所有图像数据中的一部分进行打标签操作，标签表示图像数据是否为着火的异常状态)，可得到半监督目标检测模型的全局损失，如下所示：

[0110]

[0111] 式中， 为半监督目标检测模型的全局损失； 为原始目标检测器的分类损失；为原始目标检测器的定位损失；w(t)为一致性损失在整体损失中的权重；t为训练批次；
为无标签数据的一致性损失。

[0112] 其中，为了更好地训练网络，w(t)采用ramp‑up与ramp‑down方法，随着训练批次的变换升降一致性损失在整体损失中的权重，能够使网络更快地收敛。

[0113] 2)半监督自训练Self‑Training方法

[0114] 模型采用半监督自训练Self‑Training方法，如图7所示，自训练过程先利用有标签数据训练得到模型，然后对无标签数据进行预测，置信度高的数据可以用于加入训练集，继续训练，直到模型符合要求。专利采用伪标签训练策略，在有标签和无标签图像上同时训练一个模型，训练流程如下：

[0115] 首先，同时使用有标记和未标记的数据，以有监督的方式训练预训练模型。标记和无标记损失项的加权和作为总损失，如下所示：

[0116]

[0117] 式中：L为总损失；n为是标记数据中的小批量数据量；m为有标签小批量数据中的编号；C为有标签数据量；i为有标签数据中的编号； 为m的样本在有标记数据中的输出单元； 为已标记数据的输出标签；a()为平衡系数；t为训练轮次；n′为无标记数据中的小批量数据量；m′为无标签小批量数据中的编号；i′为无标签数据中的编号； 为无标记数据中的输出单元； 为未标记数据的输出伪标签。

[0118] 然后，用训练好的模型对一批未标记图像进行预测，对图像非电气数据中的用电器是否着火进行识别，用最大置信度作为伪标签。

[0119] 最后，将有标签和伪标签的数据一起进行微调，直到最终得到最优模型。

[0120] 本发明采用半监督的非电气量隐患识别方法，实现使用少量标注数据结合大量未标注数据进行模型训练的目的，解决用电场景非电气量样本数据不足的问题。

[0121] 2、融合实体消歧的图谱构造与推理方法

[0122] 1)图谱实体链接流程

[0123] 在业务规程知识图谱构建过程中，数据来源的海量、复杂信息中存在无结构的、冗余的，甚至是错误的信息，实体链接技术将文本数据源中的实体指称链接至其在给定知识库中的目标实体；例如给定文本“该用电器的电阻为20欧姆”，实体链接系统需要将句子中的实体指称“欧姆”与知识库中代表真实世界中电阻单位的实体“欧姆Ω”正确对应，而不是错误地链接到代表德国物理学家的实体“格奥尔格·欧姆”上。针对用电智能检查场景，需要对业务文本数据源中包含的电气量信息(如电压值，电流值、频率、阻抗、电容等等电气参数)、非电气量(用电设备温度、压力等等非电气参数)中的实体进行消歧处理，使得用户进行用电检测规程搜索或业务规程推荐时，解决实体名称的多样性和歧义性问题，实现对用户需求的真正理解。

[0124] 完成实体链接的流程包括三个步骤，如图8所示，分别是实体指称识别、候选实体生成及候选实体消歧。

[0125] 首先，处理文本的第一步是进行实体指称识别，获取待消歧用电业务文本中所有可能表示命名指称项的词语，如变压器、电缆、电流、电压等等专有名词。本系统采用Stanford NER工具对给定的待消歧文本进行实体识别，模型中定义的特征包括当前词、当前词的前后词、字符n‑gram、词性和上下文词性序列、词形和上下文词形序列等。

[0126] 随后，对本文进行候选实体生成过程，确定文本中的实体指称可能指向的实体集合，例如“该用电器的电阻为20欧姆”中的实体“欧姆”可以指代知识库中的多个实体，如“欧姆(单位)”、“欧姆(物理学家)”。(1)首先对表层名字进行扩展，某些实体指称是缩略词或其全名的一部分(如表示电流的符号“I”)，因此可以通过表层名字扩展技术从实体指称出现的文档中识别可能的扩展变体(如全名“电流”)。采用基于规则的方法进行表层名字扩展，并生成一个实体指称查询列表。给定一个实体指称词m，具体的扩展规则如下：

[0127] 1)将m的表层字符串加入查询列表中；

[0128] 2)在待消歧文本中查询其他词语，其满足m的表层字符串是它的子串，在满足该条件的词语集合中，将最长的词语作为m的扩展名字加入到查询列表中。再将这些扩展形式组成实体指称的候选实体集合。

[0129] 经过上述实体指称名字扩展过程，可以得到一个查询列表，对查询列表中的每个字符串在已构建的指称‑候选实体词典中查找候选实体，即可得到所有实体指称的候选实体集合。实体指称和候选实体的对应关系词典由两列组成，分别是实体指称项和候选实体集，构成了实体查询字典，如下表所示。然后利用实体指称项的上下文信息进行进噪声过滤，以此来解决候选实体生成的数量和召回率问题。

[0130]

[0131] 最后进行候选实体消歧及链接工作，为了充分利用实体指称的上下文信息和同一用电检查领域文档中各实体的全局相关性，将候选实体消歧模型分为局部模型和全局模型，两种模型采用了不同的消歧证据。局部模型使用深度神经网络，衡量候选实体与实体指称项及其上下文之间的语义关联度，关注单一的实体指称‑候选实体对；全局模型则使用知识表示和图模型，衡量了所有实体指称的所有候选实体之间的关联关系强度，关注同一篇文档中的所有实体指称，从而将实体之间的整体关系引入消歧证据信息中，实现更优的实体链接效果。

[0132] 2)联合实体链接算法

[0133] 局部消歧使用深度学习的方法，其核心步骤是先对用电安全检查领域实体指称(如安全规程、用电设备电气故障、电气设备及线路安全隐患等用电安全知识)的上下文文本和候选实体的描述文本进行向量表示，再分别获取实体指称和候选实体的语义向量，并将其作为深度神经网络的输入以获得实体指称和候选实体的相似度概率。

[0134] 全局消歧算法对每个输入的待消岐文本构造一个实体关联图，借助电力领域实体在知识库中的链接关系以及候选实体之间的语义关联性来提高实体链接的准确度。在实体关联图中，将文本中所有实体指称项对应的候选实体集合作为图模型的顶点集合，并在任意两个不同的实体指称的候选实体间建立关联图中的边，边表示实体之间的关系，边的权值便代表了起点候选实体和终点候选实体之间的关联度，计算所有候选实体的全局关联度得到全局关联度。

[0135] 联合实体链接，得到了用电检查领域实体指称、候选实体的局部相似度以及候选实体的全局关联度之后，将局部相似度与全局关联度相乘，取最大值对应的候选实体为目标实体，并以目标实体为链接对象，将局部相似度和全局关联度结合起来，丰富实体消歧的证据信息并提升实体链接的准确度。

[0136] 通过上述图谱实体链接流程，实现了用电安全领域业务文本中实体的识别、生成和消歧过程，将诸如安全规程等安全用电领域的准确实体与知识图谱相联系，使得用户进行用电安全检测或业务操作规程推荐时，实现对用户需求的准确理解和响应。

[0137] 在用电安全领域知识图谱构建过程中，通过数据采集、信息抽取以及实体链接等步骤，将包含领域电气量、非电气量信息的大量业务实体和关系导入到知识图谱当中，提供领域知识库，知识库是领域知识的集合，其形态可以是文本、数据库、或者知识图谱。借助知识图谱的知识推理能力，结合安全规程、用电设备电气故障等领域知识进行规则判断，分析当前用电设备的安全状态，为用电检查中隐患预测等功能提供技术支撑，实现用电安全的智能化检查。

[0138] 本发明应用知识图谱技术，针对当前用电设备状态及安全隐患进行操作推荐，可以安全的指导下一步处理。

[0139] 实施例2：

[0140] 基于同一种发明构思，本发明还提供了一种智能多模态融合用电检查装置，如图9所示，包括：上下文感知的隐患识别模块和规程管理模块；

[0141] 上下文感知的隐患识别模块，用于当接收到用电安全检查请求时：调用所述规程管理模块，并接收所述规程管理模块返回的安全管理规程；还用于基于所述用电安全检查请求涉及的请求类型调用相应的模块以执行：基于安全管理规程对所述用电安全检查请求涉及的用电设备的电气数据和非电气数据进行分析确定针对所述用电设备的用电安全检查请求结果；本发明以上下文感知的隐患识别模块为接口，对多种请求类型实现了统一调用，在上下文感知的隐患识别模块中根据不同的请求类型进行判断返回对应的用电安全检查请求结果，大大简化了程序的开发、并对程序后续的扩展提供了方便的接口；

[0142] 所述规程管理模块，用于基于用电安全检查请求涉及的用电设备通过上下文感知的隐患识别获取所述用电设备的安全管理规程。

[0143] 当所述请求类型包括：隐患查询或操作推荐时，所述调用模块包括：隐患识别模块和图谱消歧推理模块；

[0144] 所述隐患识别模块，用于基于所述电气数据进行第一隐患识别；基于所述非电气数据，利用预先训练好的隐患识别任务模型进行第二隐患识别；对第一隐患识别结果和第二隐患识别结果进行融合得到所述用电设备的隐患识别结果；

[0145] 图谱消歧推理模块，用于基于所述电气数据、非电气数据、请求类型、所述安全管理规程和隐患识别结果，利用预先构建的知识图谱进行处理得到所述请求类型对应的用电安全检查请求结果；这里当请求类型为隐患查询时所述用电安全检查请求结果为隐患查询结果；当请求类型为操作推荐时，所述用电安全检查请求结果为排除用电隐患相应的推荐操作结果。

[0146] 其中，所述隐患识别任务模型利用半监督检测学习对有标签的历史非电气数据和无标签的历史非电气数据训练得到；

[0147] 所述标签包括：用电设备的隐患信息；所述隐患信息包括：正常、异常、存在隐患。

[0148] 当所述请求类型为状态查询时，所述调用模块具体用于采集所述用电设备的电气运行状态和非电气运行状态；

[0149] 所述上下文感知的隐患识别模块还用于：基于所述电气运行状态和非电气运行状态进行及用电安全逻辑进行规则判断得到所述用电设备状态。

[0150] 本实施例中隐患识别任务模型的训练，包括：

[0151] 以有标签的历史非电气数据作为训练集进行训练得到隐患识别任务模型；

[0152] 基于所述隐患识别任务模型对无标签的历史非电气数据利用单阶段目标检测或双阶段目标检测进行预测得到隐患信息及所述隐患信息对应的置信度、有标签的历史非电气数据对应的标记损失和无标签的历史非电气数据对应的无标记损失；

[0153] 以所述标记损失和无标记损失的加权和作为一致性约束损失；

[0154] 以最大置信度对应的隐患信息为无标签的历史非电气数据的伪标签并加入训练集对所述任务模型继续训练，直到所述任务模型达到最优；

[0155] 所述标记损失和无标记损失由半监督目标检测模型计算得到。

[0156] 1)单阶段目标检测过程包括：

[0157] 分别将训练集中的用电设备的图像数据及反转后的图像数据输入单阶段分类器中进行预测得到隐患信息以及所述隐患信息下的置信度；

[0158] 对有标签的历史非电气数据和无标签的历史非电气数据分别进行目标检测损失计算；

[0159] 其中，所述历史非电气数据为用电设备对应的图像数据。

[0160] 2)双阶段目标检测过程包括：

[0161] 以训练集中用电设备的图像数据及反转后的图像数据作为输入数据，利用CNN网络进行训练得到隐患信息；并且对有标签的历史非电气数据和无标签的历史非电气数据分别进行目标检测损失计算；其中，所述历史非电气数据为用电设备对应的图像数据。

[0162] 图谱消歧推理模块，具体用于：

[0163] 1)利用预先构建的知识图谱从所述电气数据、非电气数据、安全管理规程和隐患识别结果进行消岐处理；其具体过程如下：

[0164] 从所述电气数据、非电气数据、安全管理规程和隐患识别结果中提取实体指称；

[0165] 基于每个实体指称利用预先构建的知识图谱分别进行局部消岐、全局消岐后确定对应的目标实体。

[0166] 2)基于消岐后的电气数据或非电气数据结合安全规程和隐患识别结果及用电安全逻辑进行规则判断，得到请求类型对应的用电安全检查请求结果。

[0167] 这里，基于每个实体指称分别执行如下操作：

[0168] 基于所述实体指称从预先构建的知识图谱中选择至少一个实体作为候选实体；

[0169] 利用深度学习的方法得到各实体指称和候选实体的局部相似度概率；

[0170] 基于所有的实体指称与对应的候选实体之间的关联度确定全局关联度；

[0171] 将所述候选实体的局部相似度概率与候选实体的全局关联度相乘，取最大值对应的候选实体为目标实体，并将所述实体指称与目标实体链接；

[0172] 所述知识图谱包括：若干实体及各实体的关联关系。

[0173] 本实施例中的具体算法可参照实施例1，这里不再赘述。

[0174] 实施例3

[0175] 基于同一种发明构思，本发明还提供一种智能多模态融合用电检查系统，该系统为软件平台系统，系统设计为三层架构，如图9所示，包括：智能多模态融合用电检查装置、可视化设备和数据管理装置；

[0176] 所述可视化设备为用电检查现场设备，用于实现安全检查业务可视化功能，如图9最上框图所示，具体为采集用电现场的用电设备的电气数据和非电气数据；同时根据采集的用电设备的电气数据和非电气数据结合用电安全检查请求类型生成用电安全检查请求；

[0177] 所述智能多模态融合用电检查装置用于提供安全检查服务，如图9中间框所示，利用智能多模态融合用电检查装置获取所述可视化设备发起的用电安全检查请求，并基于所述数据管理装置提供的管理数据，执行本发明提供的一种智能多模态融合用电检查方法；

[0178] 所述数据管理装置用于存储多种类型的管理数据如图9最下方框图所示。

[0179] 可视化设备包括：移动端、移动电脑终端或AR采集终端等等可移动的智能采集设备。

[0180] 数据管理装置存储的管理数据至少包括下述一种或多种管理数据：电气类数据、非电气类数据、知识图谱。

[0181] 三层服务具体描述如下：

[0182] ·数据管理：数据管理层为在其之上的安全检查服务提供数据支撑，主要包括电气数据管理、非电气数据管理以及知识图谱管理。电气数据即用电设备的用电情况数据，如从用电设备传感器处采集的电流、电压、功率、频率等模拟量数据；非电气数据种类较多，如用电设备运行时用电场景摄像头采集的视频数据，及各种温度、压力、流量等传感器数据；知识图谱管理指对存储图谱信息的知识库进行管理，完成相应的更新、查询等操作。

[0183] ·安全检查服务：平台系统提供采用安全流程上下文感知的隐患识别，该功能分为两部分实现，一是以用电设备安全规程管理为基础的知识图谱消歧和推理，针对一词多义的词语消除其歧义性，并且完成安全隐患的推理分析；二是使用半监督学习，针对各类电气数据、非电气数据进行采集分析，识别隐患。其具体功能参见实施例2这里不再赘述。

[0184] ·安全检查业务可视化：安全检查业务向用户提供用电设备安全隐患查询、状态展示以及针对当前用电设备的安全隐患和运行状态的操作推荐功能。功能通过AR交互技术呈现，实现多人共享该画面并查看现场实时测量到的数据，可以根据当前实时数据及现场实时画面远程语音指导操作员解决相应问题。本发明通过AR技术实现业务呈现，便利了现场信息的远程实时共享，可以根据当前实时数据及现场实时画面远程语音指导操作员解决相应问题。

[0185] 实施例4：

[0186] 基于同一种发明构思，本发明还提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现成可编程门阵列(Field‑Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能，以实现上述实施例中一种智能多模态融合用电检查方法的步骤。

[0187] 实施例5

[0188] 基于同一种发明构思，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non‑volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中一种智能多模态融合用电检查方法的步骤。

[0189] 显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

[0190] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。

[0191] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0192] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0193] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0194] 以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。