本发明涉及仪表读数检测技术领域，特别涉及一种基于多尺度特征信息融合的MS‑YOLOv3工业仪表读数检测方法。其包括根据MobilenetV3网络结构与SPPNet结构重新构建MS‑YOLOv3检测网络模型，并对其先验框及FPN进行优化；对MS‑YOLOv3检测网络模型进行训练；将待检测仪表盘图像输入至经训练的MS‑YOLOv3检测网络模型中，得到待检测仪表盘图像中的仪表盘关键点并进行图像矫正；对矫正后的仪表盘图像进行预处理；根据预处理后的仪表盘图像确定指针位置方向及示数。通过对网络结构进行重新构造，可以有效提高巡检机器人检测效率，增强了对仪表图像特征的提取能力以及算法检测的稳定性，满足客户关闭柜门下进行检测的需求。
1.一种基于多尺度特征信息融合的MS‑YOLOv3工业仪表读数检测方法，其特征在于：包括如下步骤：S1：根据MobilenetV3网络结构与SPPNet结构重新构建MS‑YOLOv3检测网络模型，并对其先验框及FPN进行优化；
S2:对MS‑YOLOv3检测网络模型进行训练，得到经训练的MS‑YOLOv3检测网络模型；
S3.获取待检测仪表盘图像，将待检测仪表盘图像输入至经训练的MS‑YOLOv3检测网络模型中，得到待检测仪表盘图像中的仪表盘关键点，根据仪表盘关键点对待检测仪表盘图像进行倾斜矫正，得到矫正后的仪表盘图像；
S4:对矫正后的仪表盘图像进行预处理，获得预处理后的仪表盘图像；
S5:根据预处理后的仪表盘图像确定指针位置方向及示数；
步骤S1中，采用有序加权几何算子对原网络K‑means产生的n组先验框进行优化，从而获得一组最优先验框，利用K‑means方法在原始标签数据集上产生n组先验框，利用正态分布公式产生n个用于加权的权重值；
其中， 表示加权的权重值，m的取值范围为：m=1，2，...，n；
n表示产生的n组先验证框,任意 ；OWG为有序加权几何均值；
步骤S1中，采用ASPPNet对原始FPN结构进行修改，并且ASPPNet结构插入到FPN网络结构上采样过程中。
2.根据权利要求1所述一种基于多尺度特征信息融合的MS‑YOLOv3工业仪表读数检测方法，其特征在于：步骤S1中，MobilenetV3网络结构与SPPNet结构构成MS‑YOLOv3的主干检测网络，MS‑YOLOv3中由3x3和1x1组成的卷积块替换为MobilenetV3网络结构，SPPNet网络结构添加到主干网络的最后三层间。
3.根据权利要求1所述一种基于多尺度特征信息融合的MS‑YOLOv3工业仪表读数检测方法，其特征在于：步骤S3中的仪表关键点包括仪表指针中心关键点O（X0，Y0）、仪表盘数字中心点、量程起始关键点A（X1，Y1）、量程结束关键点B（X2，Y2）、指针针尖关键点Z（1 X3，Y3）以及指针针尾关键点Z（2 X4，Y4）。
4.根据权利要求3所述一种基于多尺度特征信息融合的MS‑YOLOv3工业仪表读数检测方法，其特征在于：步骤S3中，包括第一次倾斜矫正和第二次倾斜畸变矫正，第一次倾斜矫正为利用五点拟合法结合关键点进行椭圆拟合，通过椭圆与圆之间标准变换方程，将拟合的椭圆变为标准圆，并结合透视变换对仪表图像进行倾斜矫正，得到第一次矫正仪表盘图像；第二次倾斜畸变矫正为利用Hough算子对第一次矫正仪表盘图像进行倾斜畸变矫正，获得第二次矫正仪表盘图像。
5.根据权利要求4所述一种基于多尺度特征信息融合的MS‑YOLOv3工业仪表读数检测方法，其特征在于：步骤S4中，对第二次矫正仪表盘图像同时用中值滤波加高斯滤波进行处理，获得预处理后的仪表盘图像。
6.根据权利要求5所述一种基于多尺度特征信息融合的MS‑YOLOv3工业仪表读数检测方法，其特征在于：步骤S5中，根据指针针尖关键点Z（1 X3，Y3）以及指针针尾关键点Z（2 X4，Y4）判断指针位置方向，若X3>X4，则指针偏右；若X3
一种基于多尺度特征信息融合的MS‑YOLOv3工业仪表读数检
测方法
技术领域
[0001] 本发明涉及仪表读数检测技术领域，特别涉及一种基于多尺度特征信息融合的MS‑YOLOv3工业仪表读数检测方法。
背景技术
[0002] 随着人力成本提升与信息化管理的需要，设备巡检对智能化、信息化的需求日益强烈。智能巡检机器人被越来越多的应用在设备日常巡检中，其中基于视觉的非接触式的工业仪表示数检测又是智能巡检机器人的重要检测内容。由于设备表面线缆遮挡、污渍遮挡或者玻璃表盘存在反光等情况，导致已有的仪表检测算法常常出现误检漏检等情况。
[0003] 为了解决上述问题，中国专利CN111062282A《基于改进YOLOV3模型的变电站指针式仪表识别方法》、中国专利CN 111291691A《一种基于深度学习的变电站二次设备仪表盘读数检测方法》上述方法均利用深度学习中的YOLOv3或者改进的YOLOv3检测方法对仪表进行识别，没有针对性的对先验证框及FPN网络结构进行优化，虽然网络参数大大减少，但是也降低了模型检测的准确性。
发明内容
[0004] 为克服现有技术中的不足，本发明提供一种参数里量少，识别效果准确的基于多尺度特征信息融合的MS‑YOLOv3工业仪表读数检测方法。
[0005] 为实现上述目的，本发明采用的技术方案如下：一种基于多尺度特征信息融合的MS‑YOLOv3工业仪表读数检测方法，其特征在于：包括如下步骤：
[0006] S1：根据MobilenetV3网络结构与SPPNet结构重新构建MS‑YOLOv3检测网络模型，并对其先验框及FPN进行优化；
[0007] S2:对MS‑YOLOv3检测网络模型进行训练，得到经训练的MS‑YOLOv3检测网络模型；
[0008] S3.获取待检测仪表盘图像，将待检测仪表盘图像输入至经训练的MS‑YOLOv3检测网络模型中，得到待检测仪表盘图像中的仪表盘关键点，根据仪表盘关键点对待检测仪表盘图像进行倾斜矫正，得到矫正后的仪表盘图像；
[0009] S4:对矫正后的仪表盘图像进行预处理，获得预处理后的仪表盘图像；
[0010] S5:根据预处理后的仪表盘图像确定指针位置方向及示数。
[0011] 进一步的，步骤S1中，MobilenetV3网络结构与SPPNet结构构成MS‑YOLOv3的主干检测网络，MS‑YOLOv3中由3x3和1x1组成的卷积块替换为MobilenetV3网络结构，SPPNet网络结构添加到主干网络的最后三层间。
[0012] 进一步的，步骤S1中，采用有序加权几何算子对原网络K‑means产生的n组先验框进行优化，从而获得一组最优先验框。
[0013] 进一步的，所述有序加权几何算子计算步骤如下：利用K‑means方法再原始标签数据集上产生n组先验框，利用正态分布公式产生n个用于加权的权重值；
[0014]
[0015] 其中， 表示加权的权重值，m的取值范围有为：m=1，2，...，n;
[0016] k的取值范围与k的取值范围一样；
[0017]
[0018] 其中 表示方差，表示由k‑means产生的组数
[0019]
[0020] 最终加权结果为：
[0021]
[0022] n表示产生的n组先验证框，任意 ；OWG为有序加权几何均值；
[0023] 把 n个 或 按 照行 排 列成 一个 新的 矩阵或 ， 表示组成矩阵的其中一列。
[0024] 进一步的，步骤S1中，采用ASPPNet对原始FPN结构进行修改，并且ASPPNet结构插入到FPN网络结构上采样过程中。
[0025] 进一步的，步骤S3中的仪表关键点包括仪表指针中心关键点O（X0，Y0）、仪表盘数字中心点、量程起始关键点A（X1，Y1）、量程结束关键点B（X2，Y2）、指针针尖关键点Z（1 X3，Y3）以及指针针尾关键点Z（2 X4，Y4）。
[0026] 进一步的，步骤S3中，包括第一次倾斜矫正和第二次倾斜畸变矫正，第一次倾斜矫正为利用五点拟合法结合关键点进行椭圆拟合，通过椭圆与圆之间标准变换方程，将拟合的椭圆变为标准圆，并结合透视变换对仪表图像进行倾斜矫正，得到第一次矫正仪表盘图像；第二次倾斜畸变矫正为利用Hough算子对第一次矫正仪表盘图像进行倾斜畸变矫正，获得第二次矫正仪表盘图像。
[0027] 进一步的，步骤S4中，对第二次矫正仪表盘图像同时用中值滤波加高斯滤波进行处理，获得预处理后的仪表盘图像。
[0028] 进一步的，步骤S5中，根据指针针尖关键点Z（1 X3，Y3）以及指针针尾关键点Z（2 X4，Y4）判断指针位置方向，若X3>X4，则指针偏右；若X3
[0029] 示数读取步骤如下：
[0030] 计算预处理后的仪表盘图像中非读数区域占比大小θ：
[0031]
[0032] 若指针偏左时，则指针与 夹角θ1：
[0033]
[0034] 若指针偏右时，则指针与 夹角θ2：
[0035]
[0036] 仪表示数I：
[0037]
[0038] 其中p为仪表满量程读数。
[0039] 由上述对本发明的描述可知，与现有技术相比，本发明提供的一种基于多尺度特征信息融合的MS‑YOLOv3工业仪表读数检测方法，具有如下优点：
[0040] 通过对网络结构进行重新构造，可以有效提高巡检机器人检测效率，同时，增强了对仪表图像特征的提取能力以及算法检测的稳定性，满足客户关闭柜门下进行检测的需求。
[0041] 基于MobilenetV3网络结构与SPPNet结构重新构建的超轻量级检测网络MS‑YOLOv3检测网络：该网络结构参数量仅为原始网络1/3，能够轻易部署到边缘计算机上，实现巡检机器人对仪表快速、高效、准确的获取仪表示数。通过在主干网络最后三层添加SPPNet网络结构，可以有效的增加网络感受野，增强主干特征网络的特征提取能力。
[0042] 基于有序加权几何算子优化的先验框，能够克服K‑means方法产生先验框时容易陷入局部最优缺点。通过对K‑mean产生的n组先验框进行加权优化，获得最终获得一组最优先验框用于模型训练。在一定程度上，先验框越接近真实框，越有助于模型的收敛，提高模型的检测精度。
[0043] 基于ASPPNet图像特征融合的FPN，利用ASPPNet网络结构的多个空洞卷积探索更多上层特征语义信息，再将获得的不同语义信息进行特征图的融合，有助于降低下层语义信息再上采样过程中带来的不同层间语义差异。有助于提升模型识别精度。
[0044] 通过MS‑YOLOv3检测网络，能够快读高效的对仪表及仪表上关键点左检测，通过关键点，快速拟合椭圆并对仪表图做第一次倾斜矫正和第二次倾斜畸变矫正，有助于降低遮挡和反光对后续指示仪表示数识别的干扰。
[0045] 通过MobilenetV3网络结构与SPPNet结构重新构建一个超轻量级检测网络MS‑YOLOv3检测网络，对先验框及FPN的优化，及检测仪表图像的处理。本算法能够有效的检测处在部分遮挡及背光条件下工业仪表示数的读取。
[0046] 本算法相比GAN算法，本发明能都轻松部署到边缘计算机设备上，能都使巡检人达到实时检测需求，提搞检测效率及检测精度。算法开发难度小，开发周期短；相比计算运动矢量、物体层次和亮度聚类的算法，本发明算法计算简单。
附图说明
[0047] 图1为本发明一种基于多尺度特征信息融合的MS‑YOLOv3工业仪表读数检测方法流程框图。
[0048] 图2为本发明MobilenetV3与SPPNet改进的主干检测网络。
[0049] 图3为本发明改进的FPN网络。
具体实施方式
[0050] 以下通过具体实施方式对本发明作进一步的描述。
[0051] 控制柜内设备上的仪表容易被线缆遮挡，柜门常采用的网状柜门会存在局部遮挡，玻璃柜门产生的反光也会造成遮挡。导致已有的仪表读数测算法常常出现误检漏检等情况。
[0052] 本发明提出一种基于多尺度特征信息融合的MS‑YOLOv3工业仪表读数检测方法，包括如下步骤：
[0053] S1：根据MobilenetV3网络结构与SPPNet结构重新构建MS‑YOLOv3检测网络模型，通过MobilenetV3网络结构与SPPNet结构构成MS‑YOLOv3的主干检测网络。MS‑YOLOv3主干网络保留了原始网络残差次数，即每个残差块次数分别为1、2、8、8、4，且网络采样通道数与原网络保持一致，MS‑YOLOv3中由3x3和1x1组成的卷积块替换为MobilenetV3网络结构，SPPNet网络结构添加到主干网络的最后三层间。
[0054] 对重构后的网络结构MS‑YOLOv3的先验框进行优化；采用有序加权几何算子对原网络K‑means产生的n组先验框进行优化，从而获得一组最优先验框。所述有序加权几何算子计算步骤如下：
[0055] 首先利用K‑means方法再原始标签数据集上产生n（n=15）组先验框,每组先验框包括九个长和九个宽，分别表示为 （从左到右按大到小进行排列），（从左到右按大到小进行排列）。
[0056] 利用正态分布公式产生n个用于加权的权重值；
[0057]
[0058] 其中， 表示加权的权重值，m的取值范围有为：m=1，2，...，n;
[0059] k的取值范围与k的取值范围一样;
[0060]
[0061] 其中 表示方差，表示由k‑means产生的组数
[0062]
[0063] 最终加权结果为：
[0064]
[0065] n表示产生的n组先验证框，n=15为例，任意 ；OWG为有序加权几何均值；
[0066] 把15个 或 按照行排列成一个新的矩阵 或表示组成矩阵的其中一列；
[0067] 并且其中任意 。
[0068] 加权聚合方式为按列进行加权聚合。即组成新的矩阵以后，按照每一列进行加权。（以 为例第一列的加权为 其中 取值为第一列的数
值，即，对第二列进行加权时， 取值为第二列的数值，以此类推。
[0069] 对重构后的网络结构MS‑YOLOv3的FPN进行优化；采用ASPPNet对原始FPN结构进行修改，并且ASPPNet结构插入到FPN网络结构上采样过程中。
[0070] S2:对MS‑YOLOv3检测网络模型进行训练，得到经训练的MS‑YOLOv3检测网络模型。
[0071] S3.获取待检测仪表盘图像，将待检测仪表盘图像输入至经训练的MS‑YOLOv3检测网络模型中，得到待检测仪表盘图像中的仪表盘关键点，仪表关键点包括仪表指针中心关键点O（X0，Y0）、仪表盘数字中心点、量程起始关键点A（X1，Y1）、量程结束关键点B（X2，Y2）、指针针尖关键点Z（1 X3，Y3）以及指针针尾关键点Z（2 X4，Y4）。
[0072] 根据仪表盘关键点对待检测仪表盘图像进行第一次倾斜矫正和第二次倾斜畸变矫正：第一次倾斜矫正为利用五点拟合法结合关键点进行椭圆拟合，通过椭圆与圆之间标准变换方程，将拟合的椭圆变为标准圆，并结合透视变换对仪表图像进行倾斜矫正，得到第一次矫正仪表盘图像；第二次倾斜畸变矫正为利用Hough算子对第一次矫正仪表盘图像进行倾斜畸变矫正，获得第二次矫正仪表盘图像。
[0073] S4: 对第二次矫正仪表盘图像同时用中值滤波加高斯滤波进行处理，获得预处理后的仪表盘图像。
[0074] S5:根据预处理后的仪表盘图像确定指针位置方向及示数。具体为根据指针针尖关键点Z（1 X3，Y3）以及指针针尾关键点Z（2 X4，Y4）判断指针位置方向，若X3>X4，则指针偏右；若X3
[0075] 示数读取步骤如下：
[0076] 计算预处理后的仪表盘图像中非读数区域占比大小θ：
[0077]
[0078] 若指针偏左时，则指针与 夹角θ1：
[0079]
[0080] 若指针偏右时，则指针与 夹角θ2：
[0081]
[0082] 仪表示数I：
[0083]
[0084] 其中p为仪表满量程读数。
[0085] 本算法相比GAN算法，本发明能都轻松部署到边缘计算机设备上，能都使巡检人达到实时检测需求，提高检测效率及检测精度。算法开发难度小，开发周期短；相比计算运动矢量、物体层次和亮度聚类的算法，本发明算法计算简单。
[0086] 上述仅为本发明的一种具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。
