一种用于电表终端故障识别的图像训练方法

摘要

本发明公开了一种用于电表终端故障识别的图像训练方法，该方法包括步骤：搭建基于深度学习的网络架构，检测目标类别为5类；使用透视变换技术丰富样本；使用ISP技术调整图像的亮度、对比度和颜色，丰富样本；训练电表终端检测识别网络，用于识别电表终端和表盘四个角点所在区域；使用图像测量的算法，精确定位表盘区域的四个角点坐标；使用透视变换技术获取电表终端表盘区域的“正面”图像；将正面图像和对应的缺陷类别作为标记样本，再送入深度学习网络进行训练。本发明对缺陷样本经过透视变换到正面视角时，人工标记，对于同一类型的缺陷，标记区域限制长宽比后，可以提高缺陷标记的一致性，可以极大提高电表终端故障的识别准确率。

权利要求

1.一种用于电表终端故障识别的图像训练方法，其特征在于：该方法包括以下步骤：(1)搭建基于深度学习的网络架构；

(2)使用透视变换技术丰富样本，在相机只有旋转变化的情况下，所有的图片都由特定的透视变换矩阵得到，透视变换矩阵是3X3的矩阵，除去缩放因子，其有八个自由度，确定了变换前的坐标和变换后的坐标关系：q＝H*p

式中，q表示变换后的坐标(x’,y’,z’)，H表示透视变换矩阵，p表示原坐标(x,y,z)，该公式为标准的透视变换齐次矩阵公式；

(3)使用ISP技术调整图像的亮度、对比度和颜色，丰富样本；

(4)训练电表终端检测识别网络，用于识别电表终端和表盘四个角点所在区域；

(5)使用图像测量的算法，精确定位表盘区域的四个角点坐标；

(6)使用透视变换技术获取电表终端表盘区域的“正面”图像，生成样本时，采用透视变换算法，生成仿真样本，绕3个空间自由度的旋转角度分别为a，范围为‑5～15度，b范围为‑5～5度，v1的范围为‑10～10度；

(7)将正面图像和对应的缺陷类别作为标记样本，根据电表终端特性，电表终端的标记区域算法自动调整标记框的长宽比，R1＝W/H1，R1的范围为1.2‑1.5；送入网路进行训练时，根据标记的区域，如果标记区域长宽比不符合这个规则时，自动修改目标的长度，以便符合这个比例，再送入深度学习网络进行训练；

其中，在对图像进行透视变换时，若已知相机的旋转角度，由如下计算方法得出透视变换矩阵H，利用H矩阵对图像进行变换：在相机坐标系中设点的三维坐标为(xc,yc,zc)，对应的像点的像素坐标为(u,v,1)；

则由小孔成像模型知：

fx表示x轴方向缩放系数，fy表示y轴方向缩放系数，u0，v0表示平移；

在三维坐标系中，旋转用旋转矩阵表示，推导如下：考虑二维坐标系xOy，点p(x,y)绕原点O逆时针旋转角度θ后得到点q(x1,y1)，用矩阵表示如下：

标准公式，θ为绕z轴旋转角度；

则在三维坐标系中，绕z轴的变换用如下旋转矩阵Rz(θ)表示：式中为公式扩展到标准齐次的写法；

同理得，绕x轴变换的Rx(α)：式中为公式扩展到标准齐次的写法；

绕y轴变换的Ry(β):

式中为公式扩展到标准齐次的写法；

所有三维空间的旋转由三个基本旋转矩阵组合得到：R＝Rx(α)*Ry(β)*Rz(θ)*p＝R*p式中为公式扩展到标准齐次的写法；

其中R为旋转矩阵，是单位正交矩阵，表示三维空间中的任一旋转；

在相机成像模型中，当相机旋转后，投影矩阵为：式中是将绕三个轴旋转，小孔成像合并到一起的变换关系；

得到像点坐标为(u1,v1)，则对相机旋转前后的像点进行逆变换得到：式中为对矩阵求逆；

即得到了相机旋转前后的像素点对应关系：A是小孔成像矩阵，R是旋转矩阵；其中H为透视变换矩阵，又称单应性矩阵；

由于透视矩阵具有八个有效参数，而每一对对应点提供了两组约束，则最少需四组对应点，任意三点不共线，即唯一确定一个透视变换；在对图像进行恢复透视变换时，需要被测物体的表面正对相机，与光轴垂直，若不知道相机的旋转矩阵，则最少需要某位置上的四组对应点，利用直接法求出对应的矩阵参数。

说明书

一种用于电表终端故障识别的图像训练方法

技术领域

[0001] 本发明属于电表终端故障识别技术领域，具体涉及一种用于电表终端故障识别的图像训练方法。

背景技术

[0002] 随着国内电力行业的发展，安装的电表终端设备越来越多，在实际运营过程中，电表可能会出现各种故障，故障种类较多，常规的运维模式，不能高效智能的保障其可持续性
的运营，需要通过技术手段来提升电表故障识别的智能化水平，提高运营经济效益。

[0003] 随着计算机科学在各行业中的不断普及和应用，使用计算机视觉技术辅助快速识别电表故障类型，可以简化系统管理，快速提供当前故障的指导性维修方法，提高整个系统
的运行效率。

[0004] 但是实际采集的电表图像可能来自于不同的摄像机，电表箱的安装高度不同等导致获取到的图像，光照、视角、背景(其它电力设备)和分辨率可能都不一样，给电表故障的
识别带来了较高的挑战。

[0005] 当前深度学习取得快速发展，已经在很多行业取得重要的应用，比如手写字符识别、自然语音处理，目标识别、目标费雷、人脸检测识别等，在许多行业中取得非常成功的应
用。

[0006] 实际场景中，一般多个电表终端安装在柜子里面，旁边可能还有一些其他的设备。首选需要从图片中找出电表终端并判断故障类型。由于前面提到的光照，视角，背景的问
题，传统的图像处理方法无法有效解决这个问题，因此本发明使用深度学习技术进行识别。

[0007] 由于电表有明确的外形特征，传统的深度学习方法可以较好的识别到电表终端。电表终端中标记故障灯的区域较小，相对于电表终端整体来说，特征相对较弱，但是故障识
别的准确性要求却非常高。

[0008] 深度学习概念由Hinton于2006年提出，但本质就是人工神经网络，而人工神经网络就是一种对人脑的模仿，通过模拟人脑的生物神经网络，来模仿人的学习能力。而这种模
拟，除了设置大量的神经网络节点(即模仿神经元)，还要通过算法来设计这个神经网络的
模型，最重要的是一定要通过样本数据训练，来使得机器具备某种能力。但是当前的深度学
习的训练存在下面的一些缺点：

[0009] 1、深度学习需要大量标注的训练数据，获取和标注样本的成本代价很高。为了获得好的训练结果，需要采集各种故障的大量样本，同一类故障还需要采集各种角度，姿态下
的图片；

[0010] 2、样本不平衡问题，样本不均衡是指不同故障类别的数据量差别较大(部分电表故障报警种类较难出现)，利用不均衡样本训练出来的模型泛化能力差且很容易发生过拟
合现象，导致识别能力下降；

[0011] 3、深度学习检测目标的能力较强，但是目标的定位精度相对较低，现有的空间变换网络无法“精确”定位电表终端的表盘区域；

[0012] 4、准确率的问题，当样本量达到一定数量后，少量样本的加入不会明显提高结果的准确率，而电表终端的故障识别准确率要求比较高。

发明内容

[0013] 本发明要解决的技术问题是：提供一种用于电表终端故障识别的图像训练方法，以解决现有技术中存在的问题。

[0014] 本发明采取的技术方案为：一种用于电表终端故障识别的图像训练方法，该方法包括以下步骤：

[0015] (1)搭建基于深度学习的网络架构；

[0016] (2)使用透视变换技术丰富样本，在相机只有旋转变化的情况下，所有的图片都由特定的透视变换矩阵得到，透视变换矩阵是3X3的矩阵，除去缩放因子，其有八个自由度，确
定了变换前的坐标和变换后的坐标关系：

[0017] q＝H*p

[0018]

[0019] 式中，q表示变换后的坐标(x’,y’,z’)，H表示透视矩阵，p表示原坐标(x,y,z)，该公式为标准的透视变换齐次矩阵公式；

[0020] (3)使用ISP技术调整图像的亮度、对比度和颜色，丰富样本；

[0021] (4)训练电表终端检测识别网络，用于识别电表终端和表盘四个角点所在区域；

[0022] (5)使用图像测量的算法，精确定位表盘区域的四个角点坐标；

[0023] (6)使用透视变换技术获取电表终端表盘区域的“正面”图像，生成样本时，采用透视变换算法，生成仿真样本，绕3个空间自由度的旋转角度分别为a，范围为‑5～15度，b范围
为‑5～5度，v的范围为‑10～10度；

[0024] (7)将正面图像和对应的缺陷类别作为标记样本，根据电表终端特性，电表终端的标记区域算法自动调整标记框的长宽比，R＝W/H，R的范围为1.2‑1.5；送入网路进行训练
时，根据标记的区域，如果标记区域长宽比不符合这个规则是，自动修改目标的长度，以便
符合这个比例，再送入深度学习网络进行训练。

[0025] 在对图像进行透视变换时，若已知相机的旋转角度，由如下计算方法得出透视矩阵H，利用H矩阵对图像进行变换：

[0026] 在相机坐标系中设点的三维坐标为(xc,yc,zc)，对应的像点的像素坐标为(u,v,1)。

[0027] 则由小孔成像模型知：

[0028]

[0029] fx表示x方向缩放系数，fy表示y方向缩放系数，u0，v0表示平移；

[0030] 在三维坐标系中，旋转用旋转矩阵表示，推导如下：

[0031] 考虑二维坐标系xOy，点p(x,y)绕原点O逆时针旋转角度θ后得到点q(x1,y1)，用矩阵表示如下：

[0032]

[0033] 标准公式，θ为绕z轴旋转角度；

[0034] 则在三维坐标系中，绕z轴的变换用如下旋转矩阵Rz(θ)表示：

[0035]

[0036] 式中为公式扩展到标准齐次的写法；

[0037] 同理得，绕x轴变换的Rx(α)：

[0038]

[0039] 式中为公式扩展到标准齐次的写法；

[0040] 绕y轴变换的Ry(β):

[0041]

[0042] 式中为公式扩展到标准齐次的写法；

[0043] 所有三维空间的旋转由三个基本旋转矩阵组合得到：

[0044] R＝Rx(α)*Ry(β)*Rz(θ)*p＝R*p

[0045] 式中为公式扩展到标准齐次的写法；

[0046] 其中R为旋转矩阵，是单位正交矩阵，表示三维空间中的任一旋转；

[0047] 在相机成像模型中，当相机旋转后，投影矩阵为：

[0048]

[0049] 式中是将绕三个轴旋转，小孔成像合并到一起的变换关系；

[0050] 得到像点坐标为(u1,v1)，则对相机旋转前后的像点进行逆变换得到：

[0051]

[0052] 式中为对矩阵求逆；

[0053] 即得到了相机旋转前后的像素点对应关系：

[0054]

[0055] A是小孔成像矩阵，R是旋转矩阵；其中H为透视变换矩阵，又称单应性矩阵；

[0056] 由于透视矩阵具有八个有效参数，而每一对对应点提供了两组约束，则最少需四组对应点，任意三点不共线，即唯一确定一个透视变换；在对图像进行恢复透视变换时，需
要被测物体的表面正对相机，与光轴垂直，若不知道相机的旋转矩阵，则最少需要某位置上
的四组对应点，利用直接法求出对应的矩阵参数。

[0057] 本发明的有益效果：与现有技术相比，本发明的效果如下：

[0058] (1)本发明的图像训练方法对缺陷样本经过透视变换到正面视角时，具有统一的尺寸。这样每种缺陷的大小和位置都是相对固定的。人工标记采用鼠标绘制的方式，对于同
一类型的缺陷，标记框的大小和长宽多少都会有一些差异，标记区域限制长宽比后，可以提
高缺陷标记的一致性，可以提高训练的效率和检测的准确率，可以极大提高电表终端故障
的识别准确率；

[0059] (2)根据实际采集的一张图片(视角A时拍摄的电表终端图像)，并进行了人工标注，但是获取和标注图片的代价比较大，需要人工手工拍摄并标注，本发明使用步骤(2)中
透视变换技术，模拟多个不同视角下(视角B，视角C…)拍摄的效果，然后自动生成标注信
息，可以极大的丰富样本。同时，对于不同图片进行透视变换时，模拟变换的幅度(视角B，视
角C等)采用“随机数”的形式，变换后形成的样本库中就有各种角度的图片，同时解决了样
本不平衡的问题；

[0060] (3)本发明步骤(3)中使用ISP技术模拟图片在不同的光照条件，不同的对焦状态和色温下的样本，进一步丰富样本数据，是训练出来的深度网络具备广泛的适应能力；

[0061] (4)本发明通过步骤(4)‑(6)的电表终端的所有缺陷被限制到“正面”视角下的缺陷，在“正面”视图下，每种缺陷的位置，状态都不会相差很大。通过此方法，彻底解决了样本
不平衡问题。

附图说明

[0062] 图1为本发明的流程示意图；

[0063] 图2为透视变换示意图；图中把仪表盘显示屏的四个角点透视变换到右边1’2’3’4’的标准位置；

[0064] 图3为表盘区域的四个角点图；

[0065] 图4为沿测量方向的图像灰度分布图(图a)和灰度直方图的梯度图(一阶导数，图b)，梯度图的局部极值点为边缘位置；

[0066] 图5为边缘点测量的边界直线(得到一个边缘点的方法，使用多个边缘点测量，可以得到边界直线)；

[0067] 图6为电表终端表盘区域的“正面”图像图(通过透视矫正的方法，可以将倾斜的字符校正成正方向的，便与后续识别和分类)。

具体实施方式

[0068] 下面结合附图及具体的实施例对本发明进行进一步介绍。

[0069] 实施例1：如图1‑6所示，一种用于电表终端故障识别的图像训练方法，该方法包括以下步骤：

[0070] (1)搭建基于深度学习的网络架构，检测目标类别为电表面板上的故障状态灯(如电源灯、告警灯、通信信号灯等)；

[0071] (2)使用透视变换技术丰富样本：

[0072] 空间中的透视变换本质上是由于相机与待测物体之间的视角不同而产生的，若相机在多次拍摄中没有平移变化而只有旋转变化，则所拍摄的多幅图像在透视变换域内等
价。即任意一张图片在经过一定的透视变换后可以得出其它所有图片，由此可利用透视变
换公式从一张图片中生成无数的变换后图片；

[0073] 在相机只有旋转变化的情况下，所有的图片都由特定的透视变换矩阵得到，透视变换矩阵是3X3的矩阵，除去缩放因子，其有八个自由度，确定了变换前的坐标和变换后的
坐标关系：

[0074] q＝H*p

[0075]

[0076] 式中，q表示变换后的坐标(x’,y’,z’)，H表示透视矩阵，p表示原坐标(x,y,z)，该公式为标准的透视变换齐次矩阵公式；

[0077] (3)使用ISP技术调整图像的亮度、对比度和颜色，丰富样本；

[0078] (4)训练电表终端检测识别网络，用于识别电表终端和表盘四个角点所在区域；

[0079] (5)使用图像测量的算法，精确定位表盘区域的四个角点坐标；

[0080] (6)进行训练和识别使用透视变换技术获取电表终端表盘区域的“正面”图像(输入图像每个像素坐标都使用透视变换的计算方法，输出结果为“正面”图像)，生成样本时，
采用透视变换算法，生成仿真样本，绕3个空间自由度的旋转角度分别为a，范围为‑5～15
度，b范围为‑5～5度，v的范围为‑10～10度；根据步骤(5)中测量多个边缘点，形成液晶屏的
直线然后根据四边的直线，计算图像中1，2，3，4的角点坐标，由于已经知道1，2，3，4的坐标
和1’,2’,3’,4’的坐标，计算前面提到的齐次矩阵，然后将齐次矩阵作用与全图，得到图6的
右边校正图，使用图6右边的校正图；

[0081] (7)将正面图像和对应的缺陷(就是要是别的缺陷，比如电源灯不亮，液晶屏显示故障码等)类别作为标记样本，根据电表终端特性，电表终端的标记区域算法自动调整标记
框的长宽比，R＝W/H，R的范围为1.2‑1.5；送入网路进行训练时，根据标记的区域，如果标记
区域长宽比不符合这个规则是，自动修改目标的长度，以便符合这个比例，再送入深度学习
网络进行训练。

[0082] 在对图像进行透视变换时，若已知相机的旋转角度，由如下计算方法得出透视矩阵H，利用H矩阵对图像进行变换：

[0083] 在相机坐标系中设点的三维坐标为(xc,yc,zc)，对应的像点的像素坐标为(u,v,1)。

[0084] 则由小孔成像模型知：

[0085]

[0086] fx表示x方向缩放系数，fy表示y方向缩放系数，u0，v0表示平移；

[0087] 在三维坐标系中，旋转用旋转矩阵表示，推导如下：

[0088] 考虑二维坐标系xOy，点p(x,y)绕原点O逆时针旋转角度θ后得到点q(x1,y1)，用矩阵表示如下：

[0089]

[0090] 标准公式，θ为绕z轴旋转角度；

[0091] 则在三维坐标系中，绕z轴的变换用如下旋转矩阵Rz(θ)表示：

[0092]

[0093] 式中为公式扩展到标准齐次的写法；

[0094] 同理得，绕x轴变换的Rx(α)：

[0095]

[0096] 式中为公式扩展到标准齐次的写法；

[0097] 绕y轴变换的Ry(β):

[0098]

[0099] 式中为公式扩展到标准齐次的写法；

[0100] 所有三维空间的旋转由三个基本旋转矩阵组合得到：

[0101] R＝Rx(α)*Ry(β)*Rz(θ)*p＝R*p

[0102] 式中为公式扩展到标准齐次的写法；

[0103] 其中R为旋转矩阵，是单位正交矩阵，表示三维空间中的任一旋转；

[0104] 在相机成像模型中，当相机旋转后，投影矩阵为：

[0105]

[0106] 式中是将绕三个轴旋转，小孔成像合并到一起的变换关系；

[0107] 得到像点坐标为(u1,v1)，则对相机旋转前后的像点进行逆变换得到：

[0108]

[0109] 式中为对矩阵求逆；

[0110] 即得到了相机旋转前后的像素点对应关系：

[0111]

[0112] A是小孔成像矩阵，R是旋转矩阵；其中H为透视变换矩阵，又称单应性矩阵；

[0113] 由于透视矩阵具有八个有效参数，而每一对对应点提供了两组约束，则最少需四组对应点，任意三点不共线，即唯一确定一个透视变换；在对图像进行恢复透视变换时，需
要被测物体的表面正对相机，与光轴垂直，若不知道相机的旋转矩阵，则最少需要某位置上
的四组对应点，利用直接法求出对应的矩阵参数。

[0114] 本发明的图像训练方法具有如下优点：

[0115] (1)本发明的图像训练方法对缺陷样本经过透视变换到正面视角时，具有统一的尺寸。这样每种缺陷的大小和位置都是相对固定的。人工标记采用鼠标绘制的方式，对于同
一类型的缺陷，标记框的大小和长宽多少都会有一些差异，标记区域限制长宽比后，可以提
高缺陷标记的一致性，可以提高训练的效率和检测的准确率，可以极大提高电表终端故障
的识别准确率；

[0116] (2)根据实际采集的一张图片(视角A时拍摄的电表终端图像)，并进行了人工标注，但是获取和标注图片的代价比较大，需要人工手工拍摄并标注，本发明使用步骤(2)中
透视变换技术，模拟多个不同视角下(视角B，视角C…)拍摄的效果，然后自动生成标注信
息，可以极大的丰富样本。同时，对于不同图片进行透视变换时，模拟变换的幅度(视角B，视
角C等)采用“随机数”的形式，变换后形成的样本库中就有各种角度的图片，同时解决了样
本不平衡的问题；

[0117] (3)本发明步骤(3)中使用ISP技术模拟图片在不同的光照条件，不同的对焦状态和色温下的样本，进一步丰富样本数据，是训练出来的深度网络具备广泛的适应能力；

[0118] (4)本发明通过步骤(4)‑(6)的电表终端的所有缺陷被限制到“正面”视角下的缺陷，在“正面”视图下，每种缺陷的位置，状态都不会相差很大。通过此方法，彻底解决了样本
不平衡问题；比如，100张标记缺陷样本库中，有60张A视角下的标记数据，35张B视角的标记
数据，5张C视角下的标记数据。如果训练后发现C视角下的效果不好，那么添加5张C角度的
数据，但是添加后的C视角也只有10张，训练结果还是更倾向于A，B视角(数量多，全重大)，
导致C角度的效果不好。

[0119] 采用本专利的方法是60张A视角的转为正面视角参与训练

[0120] 35张B视角的转为正面视角参与训练

[0121] 5张C视角的转为正面视角参与训练；

[0122] 实际送入训练网络的缺陷样本都是正面视角，从根源上解决样本不平衡问题。

[0123] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵
盖在本发明的保护范围之内，因此，本发明的保护范围应以所述权利要求的保护范围为准。