本发明公开了一种基于多核异构并行计算的电力人工智能视觉分析系统，其特征在于，包括以轻量级神经网络为核心，包括一种多核异构并行计算模块和业务应用模块；业务应用模块和多核异构并行计算模块之间通过网络服务接口访问，传输数据；所述多核异构并行计算模块包括GPU计算节点、CPU存储管理节点、CPU计算节点，各节点之间通过交换机连接；业务应用模块包括图像管理模块、图像标注模块、模型训练模块、算法应用模块；本发明基于多核异构并行计算框架，可高效实现在线或离线图像数据训练，形成轻量化快速图像分类模型，实现电力内外网图像业务应用，能最大化发挥图像数据的价值，具备较好的应用前景。
1.一种基于多核异构并行计算的电力人工智能视觉分析系统，其特征在于，以轻量级神经网络为核心，包括多核异构并行计算模块和业务应用模块；业务应用模块和多核异构并行计算模块之间通过网络服务接口访问，传输数据；
所述多核异构并行计算模块包括GPU计算节点、CPU存储管理节点、CPU计算节点，各节点之间通过交换机连接；GPU计算节点用于模型训练和智能任务执行，完成密集计算；CPU存储管理节点用于数据存储，内嵌关系型数据库和非关系型数据库；CPU计算节点用于科学计算，同时辅助GPU计算节点完成部分密集计算；
业务应用模块包括图像管理模块、图像标注模块、模型训练模块、算法应用模块；图像管理模块用于管理电力内外网图像业务；图像标注模块用于为轻量级神经网络提供训练数据集的标注信息；模型训练模块用于在多核异构并行计算模块上训练轻量级神经网络模型；算法应用模块面向电力内外网图像业务，在多核异构并行计算模块上利用轻量级神经网络模型执行智能分析任务；
整个网络包含20层，其中卷积层有17层，池化层有1层，全连接层有1层，卷积层位于网络前端，池化层和全连接层位于网络后端；
采用的卷积核为1×1小卷积核和1×3、3×1的非对称卷积核；
网络具备弃权、批标准化的可选配置参数，引入正则化机制；
网络提供针对输入数据的归一化和增强功能，将所有输入图像归一化为224×224的像素值，并提供镜像反转、裁剪、色调变换多种数据增强手段，扩充了训练数据集；
网络最后的一层即损失函数层具备可适配性，使用softmax函数作为损失函数用单标签分类，使用交叉熵函数作为多标签分类；
第1层为卷积层，步长为2，输入的大小为224×224×3，采用两个级联的卷积核1×3和3×1；
第2层为卷积层，步长为1，输入的大小为112×112×32，采用两个级联的卷积核1×3和
第3层为卷积层，步长为1，输入的大小为112×112×32，采用1×1的卷积核；
第4层为卷积层，步长为2，输入的大小为112×112×64，采用两个级联的卷积核1×3和
第5层为卷积层，步长为1，输入的大小为56×56×64，采用两个级联的卷积核1×3和3×1；
第6层为卷积层，步长为1，输入的大小为56×56×128，采用1×1的卷积核；
第7层为卷积层，步长为2，输入的大小为56×56×128，采用两个级联的卷积核1×3和3×1；
第8层为卷积层，步长为1，输入的大小为28×28×128，采用两个级联的卷积核1×3和3×1；
第9层为卷积层，步长为1，输入的大小为28×28×256，采用1×1卷积核；
第10层为卷积层，步长为2，输入的大小为28×28×256，采用两个级联的卷积核1×3和
第11层为卷积层，步长为1，输入的大小为14×14×256，采用两个级联的卷积核1×3和
第12层为卷积层，步长为1，输入的大小为14×14×512，采用1×1卷积核；
第13层为卷积层，步长为2，输入的大小为14×14×512，采用两个级联的卷积核1×3和
第14层为卷积层，步长为1，输入的大小为7×7×512，采用两个级联的卷积核1×3和3×1；
第15层为卷积层，步长为1，输入的大小为7×7×1024，采用1×1卷积核；
第16层为卷积层，步长为2，输入的大小为7×7×1024，采用两个级联的卷积核1×3和3×1；
第17层为卷积层，步长为1，输入的大小为7×7×1024，采用两个级联的卷积核1×3和3×1；
第18层为平均池化层，步长为1，输入的大小为7×7×1024，池化大小为7×7；
第19层为全连接层，输入的大小为1×1×1024，包含1000个神经元；
第20层为损失函数层，可适配，使用softmax函数作为损失函数用单标签分类，使用交叉熵函数作为多标签分类。
2.根据权利要求1所述的一种基于多核异构并行计算的电力人工智能视觉分析系统，其特征是：所述图像管理模块通过web service与电力行业其他业务平台通信，电力行业其他业务平台获取经系统处理的图像和视频数据及其关联信息；图像管理模块获取电力系统的原始图像和视频数据及其关联信息；图像管理模块也接收本地上传的图像和视频数据；
所述电力行业其他业务平台包括统一视频监控平台以及运检、调度、营销、基建电力信息化平台。
3.根据权利要求2所述的一种基于多核异构并行计算的电力人工智能视觉分析系统，其特征是：所述关联信息包括图像和视频的属性，包括视图类别、设备树、场景树、标签树、缺陷树、专业类型、文件来源；
所述视图类别包括图像和视频两类，所述设备树描述拍摄图像或视频的前端设备地址，所述场景树描述拍摄图像或视频的电力场景，所述标签树描述拍摄图像或视频的具体内容，由系统管理员制定，所述缺陷树是可选项，描述拍摄图像或视频存在的缺陷问题，由系统管理员制定，所述专业类型描述拍摄图像或视频的电力专业名称，所述文件来源描述拍摄图像或视频的手段。
4.根据权利要求1所述的一种基于多核异构并行计算的电力人工智能视觉分析系统，其特征是：所述关系型数据库用于存储图像和视频的属性，所述非关系型数据库用于存储图像和视频数据。
5.根据权利要求1所述的一种基于多核异构并行计算的电力人工智能视觉分析系统，其特征是：所述电力内外网图像业务按如下级别分类：一级任务包括图像通用功能任务和图像业务应用任务；
二级任务包括图像通用功能任务下的图像去重、低质量图像剔除、视频转码、视频压缩、快速浏览，以及图像业务应用任务下面向运检的任务、面向调度的任务、面向基建的任务、面向营销的任务；
三级任务包括面向运检的任务下的作业车辆检测、导线异物检测、树竹生长检测、导线覆冰检测、烟火检测、金具锈蚀检测、金具丢失检测、绝缘子破裂检测、绝缘子丢失检测、绝缘子污闪检测、变电站表计数字识别、变压器油枕漏油检测、变电站人员异常行为检测、变电站人员着装规范检测、变电站人员出入检测、烟火检测；面向调度的任务下的变压器开关状态识别和隔离开关状态识别；面向基建的任务下的进出口车辆检测、进出口车牌识别、进出口人员检测、进出口人员异常行为检测、人员着装规范检测、明火检测；面向营销的任务下的营业环境质量检测、服务人员到岗离岗情况检测、服务人员仪容仪表质量检测、服务人员工作行为质量检测、客户行为分析及异常识别。
6.根据权利要求1所述的一种基于多核异构并行计算的电力人工智能视觉分析系统，其特征是：所述图像标注分为两种，一种是系统自动标注，即输入图像到轻量级神经网络模型，以模型输出的分类结果为标注信息；另一种是用户识图标注，即用户查看图像数据，手动标注出图像内包含的物体类别和所在区域。
7.根据权利要求1所述的一种基于多核异构并行计算的电力人工智能视觉分析系统，其特征是：所述模型训练模块以经过图像标注的图像和视频数据为数据集，面向图像分类、目标检测、图像分割的机器学习任务，在多核异构并行计算模块上开展训练；训练过程中可暂停、撤销、继续训练任务；若训练结果不够理想，则修改网络参数，迭代次数继续训练，直到得到满意的模型，满意的模型存储于GPU计算节点内，可替换原有的模型；支持在线训练和离线训练两种方式；离线训练是指将所有数据一次性输入系统后开启模型训练任务；在线训练指模型训练任务启动后，输入新的数据到系统，加入正在迭代的模型后继续训练。
8.根据权利要求1所述的一种基于多核异构并行计算的电力人工智能视觉分析系统，其特征是：所述算法应用模块的算法模型有两个来源，一是模型训练模块得到的轻量级神经网络模型，二是内置于GPU计算节点的其他成熟模型；任务执行过程中可暂停、撤销、继续训练任务，任务结束之后删除任务；任务执行完毕后，用户可根据结果操作图像和视频数据。
基于多核异构并行计算的电力人工智能视觉分析系统
技术领域
[0001] 本发明涉及信号与信息处理领域，具体涉及一种基于多核异构并行计算的电力人工智能视觉分析系统。
背景技术
[0002] 人工智能和深度学习是先进的自动化领域科学技术手段，目前在图像处理、自然语言识别等领域获得了广泛应用。当前，人工智能分析方法已经开始运用于诸多行业，包括智能交通、智慧医疗、智能家居、自动驾驶、智能硬件等。近年来各种深度卷积神经网络(如Lenet、Alexnet、VGG、Resnet、Xnception等)层出不穷，广泛应用于图像识别、目标检测等计算机视觉领域。在电力行业，变电站、输电线路等业务场景下的前端设备每天都会采集大量图像和视频数据，相关业务部门均存在迫切的图像和视频数据分析识别需求，国内外已经出现了较为成熟的深度学习图像识别技术。但是大部分深度学习图像识别技术计算消耗大，运行速度慢。异构并行计算可以让不同类型的计算设备能够共享计算的过程和结果，同时不断优化和加速计算的过程，使其具备更高的计算效能。异构并行计算在国内外正在迅猛发展，尤其是CPU+GPU异构计算框架近年来成为研究热点。但是，目前尚未见基于多核异构并行计算框架的轻量化神经网络及其在电力图像识别中的应用。
[0003] 为解决现有电力行业采集数据存在的智能化业务应用问题，本专利发明提供了一种新的、有效的解决方法。
发明内容
[0004] 为解决现有技术中的不足，本发明提供一种基于多核异构并行计算的电力人工智能视觉分析系统，面向电力图像数据，以轻量级神经网络为核心，基于多核异构并行计算框架，可高效实现在线或离线图像数据训练，形成轻量化快速图像分类模型，可实现电力内外网图像业务应用。
[0005] 为了实现上述目标，本发明采用如下技术方案：一种基于多核异构并行计算的电力人工智能视觉分析系统，其特征在于，以轻量级神经网络为核心，包括多核异构并行计算模块和业务应用模块；业务应用模块和多核异构并行计算模块之间通过网络服务接口访问，传输数据；
[0006] 所述多核异构并行计算模块包括GPU计算节点、CPU存储管理节点、CPU计算节点，各节点之间通过交换机连接；GPU计算节点用于模型训练和智能任务执行，完成密集计算；CPU存储管理节点用于数据存储，内嵌关系型数据库和非关系型数据库；CPU计算节点用于科学计算，同时辅助GPU计算节点完成部分密集计算；
[0007] 业务应用模块包括图像管理模块、图像标注模块、模型训练模块、算法应用模块；图像管理模块用于管理电力内外网图像业务；图像标注模块用于为轻量级神经网络提供训练数据集的标注信息；模型训练模块用于在多核异构并行计算模块上训练轻量级神经网络模型；算法应用模块面向电力内外网图像业务，在多核异构并行计算模块上利用轻量级神经网络模型执行智能分析任务。
[0008] 前述的一种基于多核异构并行计算的电力人工智能视觉分析系统，其特征是：所述图像管理模块通过web service与电力行业其他业务平台通信，电力行业其他业务平台获取经系统处理的图像和视频数据及其关联信息；图像管理模块获取电力系统的原始图像和视频数据及其关联信息；图像管理模块也接收本地上传的图像和视频数据；所述电力行业其他业务平台包括统一视频监控平台以及运检、调度、营销、基建电力信息化平台。
[0009] 前述的一种基于多核异构并行计算的电力人工智能视觉分析系统，其特征是：所述关联信息包括图像和视频的属性，包括视图类别、设备树、场景树、标签树、缺陷树、专业类型、文件来源；
[0010] 所述视图类别包括图像和视频两类，所述设备树描述拍摄图像或视频的前端设备地址，所述场景树描述拍摄图像或视频的电力场景，所述标签树描述拍摄图像或视频的具体内容，由系统管理员制定，所述缺陷树是可选项，描述拍摄图像或视频存在的缺陷问题，由系统管理员制定，所述专业类型描述拍摄图像或视频的电力专业名称，所述文件来源描述拍摄图像或视频的手段。
[0011] 前述的一种基于多核异构并行计算的电力人工智能视觉分析系统，其特征是：所述关系型数据库用于存储图像和视频的属性，所述非关系型数据库用于存储图像和视频数据。
[0012] 前述的一种基于多核异构并行计算的电力人工智能视觉分析系统，其特征是：所述轻量级神经网络模型，具体包括：
[0013] 整个网络包含20层，其中卷积层有17层，池化层有1层，全连接层有1层，卷积层位于网络前端，池化层和全连接层位于网络后端；
[0014] 采用的卷积核为1×1小卷积核和1×3、3×1的非对称卷积核；
[0015] 具备残差结构，在保持网络深度的同时加速收敛；
[0016] 网络具备弃权、批标准化的可选配置参数，引入正则化机制；
[0017] 网络提供针对输入数据的归一化和增强功能，将所有输入图像归一化为224×224的像素值，并提供镜像反转、裁剪、色调变换多种数据增强手段，扩充了训练数据集；
[0018] 网络最后的一层即损失函数层具备可适配性，使用softmax函数作为损失函数用单标签分类，使用交叉熵函数作为多标签分类。
[0019] 前述的一种基于多核异构并行计算的电力人工智能视觉分析系统，其特征是：所述轻量级神经网络架构为：
[0020] 第1层为卷积层，步长为2，输入的大小为224×224×3，采用两个级联的卷积核1×3和3×1；
[0021] 第2层为卷积层，步长为1，输入的大小为112×112×32，采用两个级联的卷积核1×3和3×1；
[0022] 第3层为卷积层，步长为1，输入的大小为112×112×32，采用1×1的卷积核；
[0023] 第4层为卷积层，步长为2，输入的大小为112×112×64，采用两个级联的卷积核1×3和3×1；
[0024] 第5层为卷积层，步长为1，输入的大小为56×56×64，采用两个级联的卷积核1×3和3×1；
[0025] 第6层为卷积层，步长为1，输入的大小为56×56×128，采用1×1的卷积核；
[0026] 第7层为卷积层，步长为2，输入的大小为56×56×128，采用两个级联的卷积核1×3和3×1；
[0027] 第8层为卷积层，步长为1，输入的大小为28×28×128，采用两个级联的卷积核1×3和3×1；
[0028] 第9层为卷积层，步长为1，输入的大小为28×28×256，采用1×1卷积核；
[0029] 第10层为卷积层，步长为2，输入的大小为28×28×256，采用两个级联的卷积核1×3和3×1；
[0030] 第11层为卷积层，步长为1，输入的大小为14×14×256，采用两个级联的卷积核1×3和3×1；
[0031] 第12层为卷积层，步长为1，输入的大小为14×14×512，采用1×1卷积核；
[0032] 第13层为卷积层，步长为2，输入的大小为14×14×512，采用两个级联的卷积核1×3和3×1；
[0033] 第14层为卷积层，步长为1，输入的大小为7×7×512，采用两个级联的卷积核1×3和3×1；
[0034] 第15层为卷积层，步长为1，输入的大小为7×7×1024，采用1×1卷积核；
[0035] 第16层为卷积层，步长为2，输入的大小为7×7×1024，采用两个级联的卷积核1×3和3×1；
[0036] 第17层为卷积层，步长为1，输入的大小为7×7×1024，采用两个级联的卷积核1×3和3×1；
[0037] 第18层为平均池化层，步长为1，输入的大小为7×7×1024，池化大小为7×7；
[0038] 第19层为全连接层，输入的大小为1×1×1024，包含1000个神经元；
[0039] 第20层为损失函数层，可适配，使用softmax函数作为损失函数用单标签分类，使用交叉熵函数作为多标签分类。
[0040] 前述的一种基于多核异构并行计算的电力人工智能视觉分析系统，其特征是：所述电力内外网图像业务按如下级别分类：
[0041] 一级任务包括图像通用功能任务和图像业务应用任务；
[0042] 二级任务包括图像通用功能任务下的图像去重、低质量图像剔除、视频转码、视频压缩、快速浏览，以及图像业务应用任务下面向运检的任务、面向调度的任务、面向基建的任务、面向营销的任务；
[0043] 三级任务包括面向运检的任务下的作业车辆检测、导线异物检测、树竹生长检测、导线覆冰检测、烟火检测、金具锈蚀检测、金具丢失检测、绝缘子破裂检测、绝缘子丢失检测、绝缘子污闪检测、变电站表计数字识别、变压器油枕漏油检测、变电站人员异常行为检测、变电站人员着装规范检测、变电站人员出入检测、烟火检测；面向调度的任务下的变压器开关状态识别和隔离开关状态识别；面向基建的任务下的进出口车辆检测、进出口车牌识别、进出口人员检测、进出口人员异常行为检测、人员着装规范检测、明火检测；面向营销的任务下的营业环境质量检测、服务人员到岗离岗情况检测、服务人员仪容仪表质量检测、服务人员工作行为质量检测、客户行为分析及异常识别。
[0044] 前述的一种基于多核异构并行计算的电力人工智能视觉分析系统，其特征是：所述图像标注分为两种，一种是系统自动标注，即输入图像到轻量级神经网络模型，以模型输出的分类结果为标注信息；另一种是用户识图标注，即用户查看图像数据，手动标注出图像内包含的物体类别和所在区域。
[0045] 前述的一种基于多核异构并行计算的电力人工智能视觉分析系统，其特征是：所述模型训练模块以经过图像标注的图像和视频数据为数据集，面向图像分类、目标检测、图像分割的机器学习任务，在多核异构并行计算模块上开展训练；训练过程中可暂停、撤销、继续训练任务；若训练结果不够理想，则修改网络参数，迭代次数继续训练，直到得到满意的模型，满意的模型存储于GPU计算节点内，可替换原有的模型；支持在线训练和离线训练两种方式；离线训练是指将所有数据一次性输入系统后开启模型训练任务；在线训练指模型训练任务启动后，可以输入新的数据到系统，加入正在迭代的模型后继续训练。
[0046] 前述的一种基于多核异构并行计算的电力人工智能视觉分析系统，其特征是：所述算法应用模块的算法模型有两个来源，一是模型训练模块得到的轻量级神经网络模型，二是内置于GPU计算节点的其他成熟模型；任务执行过程中可暂停、撤销、继续训练任务，任务结束之后可以删除任务；任务执行完毕后，用户可根据结果操作图像和视频数据[0047] 本发明所达到的有益效果：
[0048] 1.本发明采用了适合本系统的多核异构并行计算框架，其中各节点分工明确，逻辑清晰，交互合理，GPU计算节点承担模型训练和智能任务执行功能，完成密集计算；CPU存储管理结点承担数据存储功能，内嵌一种关系型数据库和一种非关系型数据库，CPU计算节点承担科学计算功能，同时辅助GPU计算节点完成部分密集计算功能；
[0049] 2.提出了一种轻量级神经网络作为系统的算法核心，网络包含20层，采用了小卷积核和非对称卷积核结构、残差结构、弃权机制、批标准化机制，能有效提高分类准确率，同时加速收敛，增强网络泛化能力，保持准确率的同时提升了训练速度和算法执行速度；同时网络提供针对输入数据的归一化和增强功能，能有效扩充数据集；轻量化快速图像分类模型基于现有的电力数据，参数是基于电力数据集训练得到的，并非基于通用的数据集，具备创新性和实用价值；
[0050] 3.系统具备可扩展性和普适性，支持和电力行业其他业务平台的数据传递，支持多核异构的GPU节点和CPU节点并行计算，具备可扩展的算法网络模型，适用电力场景、设备、人员、事件类别的多种电力分析场合。
[0051] 本系统基于多核异构并行计算框架，可高效实现在线或离线图像数据训练，形成轻量化快速图像分类模型，可实现电力内外网图像业务应用，能最大化发挥图像数据的价值，具备较好的应用前景。
附图说明
[0052] 图1是本发明系统逻辑架构框图。
具体实施方式
[0053] 下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0054] 如图1所示，一种基于多核异构并行计算框架的电力人工智能视觉分析系统，以轻量级神经网络为核心，包括一种多核异构并行计算模块和基于该框架的业务应用模块；
[0055] 多核异构并行计算模块包括GPU(Graphic Processing Unit图形处理器)计算节点、CPU(Central Processing Unit中央处理器)存储管理节点、CPU计算节点，各节点之间通过infiniband(一种支持多并发链接的“转换线缆”技术)交换机连接；GPU计算节点用于模型训练和智能任务执行，完成密集计算；CPU存储管理节点用于数据存储，内嵌一种关系型数据库和一种非关系型数据库，CPU计算节点用于科学计算，同时辅助GPU计算节点完成部分密集计算功能。
[0056] 业务应用模块包括图像管理模块、图像标注模块、模型训练模块、算法应用模块；图像管理模块用于管理电力内外网图像业务；图像标注模块用于为轻量级神经网络提供训练数据集的标注信息；模型训练模块用于在多核异构并行计算模块上训练轻量级神经网络模型；算法应用模块面向电力内外网图像业务，在多核异构并行计算模块上利用轻量级神经网络模型执行智能分析任务。
[0057] 业务应用模块和多核异构并行计算模块之间通过web service(网络服务)接口访问，传输数据。
[0058] 电力行业其他业务平台(统一视频监控平台以及运检、调度、营销、基建等电力信息化平台)通过web service与图像管理模块通信，获取经本系统处理的图像和视频数据及其关联信息；图像管理模块通过web service与电力行业其他业务平台通信，获取电力系统的原始图像和视频数据及其关联信息，作为后续分析的数据源；图像管理模块也接收本地上传的图像和视频数据，作为后续分析数据源的有效补充。
[0059] (1)CPU存储管理节点
[0060] CPU存储管理节点内嵌关系型数据库和非关系型数据库。本系统中，图像和视频数据为非结构化数据，图像和视频的关联信息为结构化数据，这些关联信息包括图像和视频的属性。下文提到的非结构化数据等价于图像和视频数据，结构化数据等价于图像和视频的关联信息。关系型数据库用于存储结构化数据，即图像和视频的属性，非关系型数据库用于存储非结构化数据，即图像和视频。本系统内的图像和视频数据大小不一，小则几十KB，大则上百MB，需要一个支持存储单元大小跨越较大区间的数据库，本系统选用HBase数据库(构建在HDFS上的分布式列存储系统)存储。关系型数据库选用mySQL数据库(一个关系型数据库管理系统)。同一图像或视频的关联信息通过唯一ID联系。
[0061] (2)GPU计算节点
[0062] GPU计算节点包含分组的GPU，每组包含2个GPU，以完成并行计算。本系统采用组内GPU做模型并行计算、组间做数据并行计算的方式，组内两GPU各持有轻量级神经网络模型的一半参数，协作完成单个模型的训练。
[0063] (3)CPU计算节点
[0064] CPU计算节点包含分组的CPU，每组包含2个CPU，以完成并行计算。本系统采用2组CPU计算节点完成科学计算，如检索、查找等，另外2组CPU是GPU计算节点的有效补充，用于完成并行计算，采用组内CPU做模型并行计算、组间做数据并行计算的方式，组内两CPU各持有轻量级神经网络模型的一半参数，协作完成单个模型的训练。
[0065] “多核”主要体现在计算框架内的物理节点数量是可扩展的，“异构”主要体现在系统的结点由GPU和CPU两种类别组成，“并行”主要体现在数据并行计算、模型并行计算和任务并行计算。
[0066] 就本系统而言，数据并行计算和模型并行计算可以实现完善高效的数据传输。以模型训练为例，假设有4个GPU计算节点完成模型训练任务，将这4个节点分为两组，分别为组1和组2，组1中包含节点GPU1和GPU2，组2中包含节点GPU3和GPU4。轻量级神经网络的模型并行计算和数据并行计算建立在分组基础上，组内GPU做模型并行计算，组间GPU做数据并行计算。组内两节点各持有轻量级神经网络模型的一半参数，协作完成单个模型的训练，即GPU1和GPU2持有模型的一半参数，GPU3和GPU4持有模型的另一半参数，这一过程叫做模型并行计算。组间数据并行计算按同步随机梯度下降进行训练，采用拓扑完成参数交换，即组1内的GPU1和GPU2与组2内的GPU3和GPU4完成数据交换，这一过程叫做数据并行计算。
[0067] 引入数据并行计算和模型并行计算后，从磁盘读取训练数据，训练数据预处理，轻量级神经网络训练分别占用磁盘、CPU、GPU资源，且均耗时较大。因此引入流水线，使得磁盘、CPU、GPU资源可以同时得到利用，提升整体性能。
[0068] 执行智能任务的并行过程类比模型训练的并行过程。任务并行计算则指在任务管理层面，多个智能任务可以被按需调度、并发执行，具体到各计算节点体现为数据并行计算和模型并行计算。
[0069] 电力图像数据有其自身的专业性，其中的设备、人员、场景等信息类别通常并不存在于ImageNet、Pascal VOC等常见大型数据集中。电力图像业务也具备自身专业性，涉及单标签图像分类、多标签图像分类、目标检测等多种类别，且对系统实时性要求较高。针对以上的业务需求，本系统提出了一种轻量级的神经网络，该网络可以适配多种业务需要的算法，同时模型计算量适中，响应速度快，精度较高，有很强的实用价值。
[0070] 本发明提出一种轻量级神经网络作为系统的算法核心，主要特点和优势有：
[0071] (1)整个网络包含20层，其中卷积层有17层，池化层有1层，全连接层有1层，卷积层位于网络前端，池化层和全连接层位于网络后端。网络结构较深但是层数适中，能有效提高分类准确率。
[0072] (2)采用的卷积核为1×1小卷积核和1×3、3×1的非对称卷积核，其中1×3、3×1的非对称卷积核可以起到3×3卷积核的等价效果，但是参数大大减少，在保持网络深度的同时增加网络的非线性，降低计算量和参数数量。
[0073] (3)具备残差结构，在保持网络深度的同时加速收敛，有效避免了深度神经网络的梯度消失问题。
[0074] (4)网络具备弃权、批标准化的可选配置参数，引入正则化机制，加快训练速度的同时可以减轻过拟合，增强网络泛化能力。
[0075] (5)网络提供针对输入数据的归一化和增强功能，将所有输入图像归一化为224×224的像素值，并提供镜像反转、裁剪、色调变换等多种数据增强手段，扩充了训练数据集，可以减轻过拟合，增强网络泛化能力。
[0076] (6)网络最后的一层即损失函数层具备可适配性，使用softmax函数作为损失函数用单标签分类，使用交叉熵函数作为多标签分类，满足多种电力业务需求。
[0077] 相比于其他的神经网络，本系统提出的网络模型层数适中，保持准确率的同时提升了训练速度和算法执行速度，训练用时和算法执行用时小于ResNet、GoogLeNet等常用卷积神经网络。
[0078] 本系统利用的轻量级神经网络架构如下所示：
[0079]
[0080]
[0081] 本系统利用的轻量级神经网络架构为：
[0082] 第1层为卷积层，步长为2，输入的大小为224×224×3，采用两个级联的卷积核1×3和3×1；
[0083] 第2层为卷积层，步长为1，输入的大小为112×112×32，采用两个级联的卷积核1×3和3×1；
[0084] 第3层为卷积层，步长为1，输入的大小为112×112×32，采用1×1的卷积核；
[0085] 第4层为卷积层，步长为2，输入的大小为112×112×64，采用两个级联的卷积核1×3和3×1；
[0086] 第5层为卷积层，步长为1，输入的大小为56×56×64，采用两个级联的卷积核1×3和3×1；
[0087] 第6层为卷积层，步长为1，输入的大小为56×56×128，采用1×1的卷积核；
[0088] 第7层为卷积层，步长为2，输入的大小为56×56×128，采用两个级联的卷积核1×3和3×1；
[0089] 第8层为卷积层，步长为1，输入的大小为28×28×128，采用两个级联的卷积核1×3和3×1；
[0090] 第9层为卷积层，步长为1，输入的大小为28×28×256，采用1×1卷积核；
[0091] 第10层为卷积层，步长为2，输入的大小为28×28×256，采用两个级联的卷积核1×3和3×1；
[0092] 第11层为卷积层，步长为1，输入的大小为14×14×256，采用两个级联的卷积核1×3和3×1；
[0093] 第12层为卷积层，步长为1，输入的大小为14×14×512，采用1×1卷积核；
[0094] 第13层为卷积层，步长为2，输入的大小为14×14×512，采用两个级联的卷积核1×3和3×1；
[0095] 第14层为卷积层，步长为1，输入的大小为7×7×512，采用两个级联的卷积核1×3和3×1；
[0096] 第15层为卷积层，步长为1，输入的大小为7×7×1024，采用1×1卷积核；
[0097] 第16层为卷积层，步长为2，输入的大小为7×7×1024，采用两个级联的卷积核1×3和3×1；
[0098] 第17层为卷积层，步长为1，输入的大小为7×7×1024，采用两个级联的卷积核1×3和3×1；
[0099] 第18层为平均池化层，步长为1，输入的大小为7×7×1024，池化大小为7×7；
[0100] 第19层为全连接层，输入的大小为1×1×1024，包含1000个神经元；
[0101] 第20层为损失函数层，可适配，使用softmax函数作为损失函数用单标签分类，使用交叉熵函数作为多标签分类。
[0102] 轻量级神经网络的训练采用迁移学习的训练方式，先在大型数据库ImageNet上训练得到预训练模型，然后在基于本系统内部的图像和视频数据进行微调训练，得到轻量化快速图像分类模型。测试训练完毕的图像分类模型分类准确率达93.19％，满足实际电力生产场景的需求。
[0103] 图像管理模块，用于管理电力内外网图像业务，面向业务，提供电力外网文件上传、电力内网文件导入、文件检索、文件下载、统计展示等基本功能。
[0104] 文件上传、导入、检索、下载、展示时会利用文件的属性，即图像和视频的关联信息。文件的属性包括视图类别、设备树、场景树、标签树、缺陷树、专业类型、文件来源等。视图类别包括图像和视频两类，设备树描述拍摄图像或视频的前端设备地址，场景树描述拍摄图像或视频的电力场景，标签树描述拍摄图像或视频的具体内容，由系统管理员制定，缺陷树是可选项，描述拍摄图像或视频存在的缺陷问题，由系统管理员制定，专业类型描述拍摄图像或视频的电力专业名称，如输电线路、变电站、换流站、机房、基建中心、营业厅，文件来源描述拍摄图像或视频的手段，如无人机拍摄、固定摄像头拍摄、机器人拍摄、手持终端拍摄等。
[0105] 本系统处理的电力内外网图像业务按如下级别分类：
[0106] 一级任务包括图像通用功能任务和图像业务应用任务；
[0107] 二级任务包括图像通用功能任务下的图像去重、低质量图像剔除、视频转码、视频压缩、快速浏览，以及图像业务应用任务下面向运检的任务、面向调度的任务、面向基建的任务、面向营销的任务；
[0108] 三级任务包括面向运检的任务下的作业车辆检测、导线异物检测、树竹生长检测、导线覆冰检测、烟火检测、金具锈蚀检测、金具丢失检测、绝缘子破裂检测、绝缘子丢失检测、绝缘子污闪检测、变电站表计数字识别、变压器油枕漏油检测、变电站人员异常行为检测、变电站人员着装规范检测、变电站人员出入检测、烟火检测等；面向调度的任务下的变压器开关状态识别和隔离开关状态识别等；面向基建的任务下的进出口车辆检测、进出口车牌识别、进出口人员检测、进出口人员异常行为检测、人员着装规范检测、明火检测等；面向营销的任务下的营业环境质量检测、服务人员到岗离岗情况检测、服务人员仪容仪表质量检测、服务人员工作行为质量检测、客户行为分析及异常识别等。
[0109] 图像标注模块，提供半自动的图像标注工具，用于为轻量级神经网络提供训练数据集的标注信息。图像标注分为两种，一种是系统自动标注，即输入图像到轻量级神经网络模型，以模型输出的分类结果为标注信息。另一种是用户识图标注，即用户查看图像数据，手动标注出图像内包含的物体类别和所在区域。用户识图标注作为系统自动标注的有效补充，可以过滤掉系统自动标注的不准确信息。
[0110] 模型训练模块，用于在多核异构并行计算模块内的GPU计算节点上训练轻量级神经网络模型。以经过图像标注的图像和视频数据为数据集，面向图像分类、目标检测、图像分割等机器学习任务，在多核异构并行计算模块上开展训练。
[0111] 训练过程中可以暂停、撤销、继续训练任务。若训练结果不够理想，则修改网络参数，迭代次数继续训练，直到得到满意的模型，满意的模型存储于GPU计算节点内，可替换原有的模型。
[0112] 系统支持在线训练和离线训练两种方式。离线训练是指将所有数据一次性输入系统后开启模型训练任务。在线训练指模型训练任务启动后，可以输入新的数据到系统，加入正在迭代的模型后继续训练。
[0113] 算法应用模块，面向电力内外网图像业务，在多核异构并行计算模块内的GPU计算节点上利用轻量级神经网络模型执行智能分析任务。系统提供了面向电力场景、设备、人员、事件类别的多种算法模型，以适配不同的智能分析任务。具体的任务名称见图像管理模块。
[0114] 执行智能分析任务的算法模型有两个来源，一是模型训练模块得到的轻量级神经网络模型，二是内置于GPU计算节点的其他成熟模型。
[0115] 任务执行过程中可以暂停、撤销、继续训练任务，任务结束之后可以删除任务。任务执行完毕后，用户可以根据结果操作图像和视频数据，基于上文提到的功能，包括但不限于，删除重复的图像和低质量图像，压缩长视频，转码不同格式的视频，对图像中的目标分类，检测和分割图像中的目标等。
[0116] 本系统具备可扩展性和普适性：
[0117] 系统的可扩展性体现为：
[0118] 1.系统层面，电力行业其他业务平台(统一视频监控平台以及运检、调度、营销、基建等电力信息化平台)通过web service与图像管理模块通信，获取经本系统处理的图像和视频数据及其关联信息；图像管理模块通过web service与电力行业其他业务平台通信，获取电力系统的原始图像和视频数据及其关联信息，作为后续分析的数据源；图像管理模块也接收本地上传的图像和视频数据，作为后续分析数据源的有效补充。
[0119] 2.硬件层面，系统基于多核异构并行计算框架，不同的CPU节点或GPU节点可接入系统，实现多核并行运算和数据高效存储，完成离线或在线模型训练和智能任务执行功能。
[0120] 3.软件层面，设计了一种轻量级神经网络，算法中的网络模型可扩展，根据不同的任务特性适配不同的神经网络模型。
[0121] 系统的普适性体现为：
[0122] 1.数据适用方面，平台内存储的结构化数据均按照国网标准统一编码格式，数据格式无需转换即可在电力行业业务平台间传输；
[0123] 2.算法适用方面，系统提供了面向电力场景、设备、人员、事件类别的多种算法，可以适用多种电力分析场合。
[0124] 本系统创新性主要体现在：
[0125] 1.采用了适合本系统的多核异构并行计算框架，其中各节点分工明确，逻辑清晰，交互合理。GPU计算节点承担模型训练和智能任务执行功能，完成密集计算。CPU存储管理结点承担数据存储功能，内嵌一种关系型数据库和一种非关系型数据库，CPU计算节点承担科学计算功能，同时辅助GPU计算节点完成部分密集计算功能。
[0126] 2.提出了一种轻量级神经网络作为系统的算法核心，网络包含20层，采用了小卷积核和非对称卷积核结构、残差结构、弃权机制、批标准化机制，能有效提高分类准确率，同时加速收敛，增强网络泛化能力，保持准确率的同时提升了训练速度和算法执行速度。同时网络提供针对输入数据的归一化和增强功能，能有效扩充数据集。轻量化快速图像分类模型基于现有的电力数据，参数是基于电力数据集训练得到的，并非基于通用的数据集，具备创新性和实用价值。
[0127] 3.系统具备可扩展性和普适性，支持和电力行业其他业务平台的数据传递，支持多核异构的GPU节点和CPU节点并行计算，具备可扩展的算法网络模型，适用电力场景、设备、人员、事件类别的多种电力分析场合。
[0128] 本系统基于多核异构并行计算框架，可高效实现在线或离线图像数据训练，形成轻量化快速图像分类模型，可实现电力内外网图像业务应用，能最大化发挥图像数据的价值，具备较好的应用前景。
[0129] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
