一种基于图像语义分割的门开关状态检测方法及系统

摘要

本发明公开了一种基于图像语义分割的门开关状态检测方法及系统，属于图像语义分割技术领域，包括以下步骤：S1：图像采集；S2：像素分类；S3：计算门面积；S4：判断门开关状态。本发明采用语义分割方式，只关注变电站大门本身，不对分割器产生影响，相比目标检测能大幅提高检测性能；其次，语义分割是通过分割出的大门的区域大小占正常关闭情况下的比例来判断大门的开关状态的，如果比例低于某个阈值，则判断大门为开的状态，相比目标检测器只有两种状态，得到的信息更详细，判断依据也更加充分，值得被推广使用。

权利要求

1.一种基于图像语义分割的门开关状态检测方法，其特征在于，包括以下步骤：S1：图像采集

从关于门的视频流中采集一张图像；

S2：像素分类

将步骤S1中采集的图像输入训练后的语义分割网络，对图像像素信息进行分类；

S3：计算门面积

利用轮廓检测计算门区域面积S；

S4：判断门开关状态

通过比较I值与预设阈值R的大小对门的开关状态进行判断，其中I＝St/Smax，St为本轮采集图像中门的面积，Smax为门正常闭合时门区域面积S的最大值，当I

在所述步骤S2中，语义分割即对图片中每个像素点进行分类，属于同一类的像素赋予一个相同的标签数字，可视化时为每种类别赋予一个颜色；

所述步骤S2中的语义分割网络的训练过程如下：S21：使用标注工具，将门的图片数据中的门区域采用多边形工具进行标注；

S22：根据标注信息，生成一张与原图一样大小的空白图片，在此图片上，将多边形包围的门区域像素值置为1，非门区域值置为0；

S23：采用原始图片和步骤S22生成的标注图片，训练并保存语义分割网络；

所述步骤S3的具体过程如下：

S31：对输出为1的语义分割的结果进行腐蚀、膨胀操作，消除细小的分割噪声，得到一系列相对连续的分割区域；

S32：对步骤S31中相对连续的分割区域进行轮廓检测，找到轮廓面积最大的区域，计算该区域内点的横纵坐标的最小值和最大值，获得最大区域的外接矩形框；

S33：将步骤S32中的外接矩形框记为门区域面积S。

2.根据权利要求1所述的一种基于图像语义分割的门开关状态检测方法，其特征在于：在所述步骤S1中，首次采集时该图像中为门正常关闭状态图像，且整个门均处于该图像中。

3.根据权利要求1所述的一种基于图像语义分割的门开关状态检测方法，其特征在于：在所述步骤S2中，所述语义分割网络结构为deeplab v3网络或Unet网络。

4.根据权利要求1所述的一种基于图像语义分割的门开关状态检测方法，其特征在于：在初次求取I值时，经过步骤S1～S3所获得的门区域面积为S1，I＝S1/Smax，S1即为门区域面积的最大值Smax，需先对Smax进行赋值，Smax＝S1，再求取I值，此时I＝1，大于R，门为闭合状态。

5.一种基于图像语义分割门开关状态检测系统，其特征在于，利用如权利要求1～4任一项所述的检测方法对门开关状态进行检测，包括：图像采集模块，用于从关于门的视频流中采集一张图像；

像素分类模块，用于将步骤S1中采集的图像输入训练后的语义分割网络，对图像像素信息进行分类；

面积计算模块，用于利用轮廓检测计算门区域面积S；

状态判断模块，用于通过比较I值与预设阈值R的大小对门的开关状态进行判断；

中央处理模块，用于向其他模块发出指令，完成相关动作；

所述图像采集模块、像素分类模块、面积计算模块、状态判断模块均与中央处理模块电连接。

说明书

一种基于图像语义分割的门开关状态检测方法及系统

技术领域

[0001] 本发明涉及图像语义分割技术领域，具体涉及一种基于图像语义分割的门开关状态检测方法及系统。

背景技术

[0002] 由于变电站的设备是高压，强电磁环境，设备价值较高，一旦发生非法人员入侵等情况，极有可能造成设备损坏和人员伤亡，进而导致设备停电，影响城市正常用电，后果十分严重。目前大多数变电站大门都是自动门，可能由于工作人员离站时忘记关门，导致处于半开或者全开的状态。而变电站又多处在城市的郊区，大型动物可直接进出变电站，存在相当大的危险隐患。

[0003] 现有基于深度学习的方案将变电站大门开关状态当做两类目标检测方案来做，可获得两种状态下变电站大门的包围框。基于深度学习的目标检测方案，将变电站大门进行包围框标注，然后训练一个两类检测器。但当变电站大门处于完全开的情况下，大门后的背景就会进入到检测区域中，而不同大门后的背景又是多种多样的，这会严重影响检测器的性能。另外，当大门处于快关闭状态而未关闭状态时，检测器又容易将大门直接识别为关闭状态，造成一定程度的误检。为此，提出一种基于图像语义分割的门开关状态检测方法及系统。

发明内容

[0004] 本发明所要解决的技术问题在于：如何解决现有基于深度学习的门开关状态方案存在的检测性能差、易误检等问题，提供了一种基于图像语义分割的门开关状态检测方法。

[0005] 本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：

[0006] S1：图像采集

[0007] 从关于门的视频流中采集一张图像；

[0008] S2：像素分类

[0009] 将步骤S1中采集的图像输入训练后的语义分割网络，对图像像素信息进行分类；

[0010] S3：计算门面积

[0011] 利用轮廓检测计算门区域面积S；

[0012] S4：判断门开关状态

[0013] 通过比较I值与预设阈值R的大小对门的开关状态进行判断，其中I＝St/Smax，St为本轮采集图像中门的面积，Smax为门正常闭合时门区域面积S的最大值，当I

[0014] 更进一步地，在所述步骤S1中，首次采集时该图像中为门正常关闭状态图像，且整个门均处于该图像中。

[0015] 更进一步地，在所述步骤S2中，语义分割即对图片中每个像素点进行分类，属于同一类的像素赋予一个相同的标签数字，可视化时为每种类别赋予一个颜色。

[0016] 更进一步地，在所述步骤S2中，所述语义分割网络结构为deeplab v3网络或Unet网络。

[0017] 更进一步地，所述步骤S2中的语义分割网络的训练过程如下：

[0018] S21：使用标注工具，将门的图片数据中的门区域采用多边形工具进行标注；

[0019] S22：根据标注信息，生成一张与原图一样大小的空白图片，在此图片上，将多边形包围的门区域像素值置为1，非门区域值置为0；

[0020] S23：采用原始图片和步骤S22生成的标注图片，训练并保存语义分割网络。

[0021] 更进一步地，所述步骤S3的具体过程如下：

[0022] S31：对输出为1的语义分割的结果进行腐蚀、膨胀操作，消除细小的分割噪声，得到一系列相对连续的分割区域；

[0023] S32：对步骤S31中相对连续的分割区域进行轮廓检测，找到轮廓面积最大的区域，计算该区域内点的横纵坐标的最小值和最大值，获得最大区域的外接矩形框；

[0024] S33：将步骤S32中的外接矩形框记为门区域面积S。

[0025] 更进一步地，在初次求取I值时，经过步骤S1～S3所获得的门区域面积为S1，I＝S1/Smax，S1即为门区域面积的最大值Smax，需先对Smax进行赋值，Smax＝S1，再求取I值，此时I＝1，大于R，门为闭合状态。

[0026] 本发明还提供了一种基于图像语义分割门开关状态检测系统，利用上述的检测方法对门开关状态进行检测，包括：

[0027] 图像采集模块，用于从关于门的视频流中采集一张图像；

[0028] 像素分类模块，用于将步骤S1中采集的图像输入训练后的语义分割网络，对图像像素信息进行分类；

[0029] 面积计算模块，用于利用轮廓检测计算门区域面积S；

[0030] 状态判断模块，用于通过比较I值与预设阈值R的大小对门的开关状态进行判断；

[0031] 中央处理模块，用于向其他模块发出指令，完成相关动作；

[0032] 所述图像采集模块、像素分类模块、面积计算模块、状态判断模块均与中央处理模块电连接。

[0033] 本发明相比现有技术具有以下优点：该一种基于图像语义分割的门开关状态检测方法，采用语义分割方式，只关注变电站大门本身，不对分割器产生影响，相比目标检测能大幅提高检测性能；其次，语义分割是通过分割出的大门的区域大小占正常关闭情况下的比例来判断大门的开关状态的，如果比例低于某个阈值，则判断大门为开的状态，相比目标检测器只有两种状态，得到的信息更详细，判断依据也更加充分，值得被推广使用。

附图说明

[0034] 图1是本发明实施例一中的流程示意图；

[0035] 图2a是本发明实施例二中大门正常关闭时的图片；

[0036] 图2b是本发明实施例二中对大门关闭图片进行分类的结果图；

[0037] 图2c是本发明实施例二中大门打开时的图片；

[0038] 图2d是图2c经语义分割网络后的图片。

具体实施方式

[0039] 下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

[0040] 实施例一

[0041] 如图1所示，本实施例提供一种技术方案：一种基于图像语义分割的门开关状态检测方法，包括以下步骤：

[0042] 步骤S1：图像采集

[0043] 算法启动时，从视频流中采集一张图像，首次采集时该图像为大门正常关闭状态图像；步骤S2：像素分类

[0044] 将步骤S1中采集的图像输入训练后的语义分割网络，对图像像素信息进行分类；

[0045] 在本步骤S2中，语义分割：是对图片中每个像素点进行分类，属于同一类的像素赋予一个相同的标签数字，如0,1,…,255。可视化时，为每种类别赋予一个颜色。本实施例所采用的语义分割网络结构有deeplab v3、Unet等，通过训练可以完成对变电站大门的语义分割。

[0046] 具体训练过程如下：

[0047] S21：使用标注工具，将变电站大门图片数据中的大门区域采用多边形工具进行标注；

[0048] S22：根据标注信息(标注信息为由包围大门的多边形点集包围的多边形区域)，生成一张与原图一样大小的空白图片，在此图片上，将多边形包围的大门区域像素值置为“1”，非大门区域像素值置为“0”；

[0049] S23：采用原始图片和步骤S22生成的标注图片，训练语义分割网络；

[0050] 将采集的图像输入训练后的语义分割网络，输出每个像素的分类信息，如果是大门则像素点值为“1”，背景像素点值为“0”。

[0051] 步骤S3：计算门面积

[0052] 计算大门区域面积S；

[0053] 步骤S3的具体过程如下：

[0054] S31：对输出为“1”的语义分割的结果进行腐蚀、膨胀操作，消除细小的分割噪声，得到一系列相对连续的分割区域；

[0055] 腐蚀、膨胀操作都是在二进制图像上进行的图像形态学操作，通过将像素添加到图像中的对象的感知边界——膨胀，或沿着物体边界移除像素，缩小物体的边界——腐蚀。一般采用opencv中的dilate(膨胀)和erode(腐蚀)进行处理。

[0056] S32：对这些区域进行轮廓检测，找到轮廓面积最大的区域，计算此区域内点的横纵坐标的最小值和最大值，获得最大区域的外接矩形框；

[0057] 在本实施例中，轮廓检测是通过opencv中的findContours函数进行处理。轮廓是由一系列边界点集构成的，点集包围的点的数量计算为轮廓的面积。

[0058] S33：将上述外接矩形框记为变电站大门区域面积S；

[0059] 步骤4：判断大门开关状态

[0060] 大门的开关状态是通过比较I值与预设阈值R的大小进行判断的，其中I＝St/Smax，St为本轮采集图像中大门的面积，Smax为大门正常闭合时大门区域面积的最大值，R值一般大于0小于1。当I

[0061] 经过步骤S1～S3所获得的大门区域面积为S1，I＝S1/Smax，但因为是初次求取I值，Smax此时还未赋值，显然步骤S1～S3所获得的大门区域面积为S1即为大门区域面积的最大值Smax，因此初次求取I值时，首先对Smax进行赋值，Smax＝S1，再求取I值，此时I＝1，大于R，大门为闭合状态。从流程图可以看出，判断结果为“否”时，将重新从视频流采集一张图像送入语义分割网络，进行步骤循环。后续求取I值时，除算法重启，无需重新赋值。

[0062] 需要说明的是，在所述步骤S1中，用于采集视频流的摄像机的光轴所在直线与变电站大门所在平面的夹角90°，原则上摄像机的光轴所在直线与变电站大门所在平面的夹角大小在60°～120°之间。

[0063] 实施例二

[0064] 如图2所示，算法启动时，初次采集图片应为大门正常关闭时的图片，如图2a所示，将采集到的图片送入训练后的语义分割网络，对图像像素进行分类，训练后的语义分割网络可以对平移、推拉类大门进行语义分割，分类结果如图2b所示，图中背景区域为空白区域像素值为“0”，大门区域为阴影区域像素值为“1”，计算像素值为“1”的区域的面积，通过计算该区域内点的横纵坐标的最小值和最大值，获得最大区域的外接矩形框，如图2b中阴影区域外接矩形框，以矩形框面积为大门面积。判断大门开关状态，因为这是算法启动后首次采集图片，求取I值时，应首先对Smax进行赋值，本次计算所得大门面积S1即为大门最大面积Smax，因此Smax＝S1，再求取I值，此时I＝1，大于R，大门为闭合状态。

[0065] 图2c为大门打开时采集的图片，图2d为图2c经语义分割网络后的图片。通过本方法可以判断大门为打开状态。

[0066] 综上所述，上述实施例的一种基于图像语义分割的门开关状态检测方法，采用语义分割方式，只关注变电站大门本身，不对分割器产生影响，相比目标检测能大幅提高检测性能；其次，语义分割是通过分割出的大门的区域大小占正常关闭情况下的比例来判断大门的开关状态的，如果比例低于某个阈值，则判断大门为开的状态，相比目标检测器只有两种状态，得到的信息更详细，判断依据也更加充分，值得被推广使用。

[0067] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。