本发明公开了一种基于深度特征点的表计识别二次定位方法，属于图像识别技术领域，具体包括以下步骤：从后台数据库拿出表计的模板图片，并通过ROS从云台得到实际拍摄图片；采用backbone网络提取两张图片的高维特征，并进行下采样，将两张图片进行缩放；将缩放之后的两张图片输入至基于SegNet的特征点提取网络中来压缩backbone网络输出的矩阵深度，并进行上采样，将两张图片进行还原，同时也将缩放之后的两张图片输入至基于SegNet的特征点描述子提取网络中来固定backbone网络输出的矩阵深度。该种基于深度特征点的表计识别二次定位方法，运用深度学习方法，提取图像的高维特征点，进而增强了二次定位匹配在光照变换、低纹理场景下的稳定性和鲁棒性。
1.一种基于深度特征点的表计识别二次定位方法，该方法具体步骤如下：
步骤一：从后台数据库拿出表计的模板图片，并通过ROS从变电站巡检机器人上的云台得到实际拍摄图片；
步骤二：采用backbone网络提取两张图片的高维特征，并进行下采样，将两张图片进行缩放；
步骤三：将缩放之后的两张图片输入至基于SegNet的特征点提取网络中来压缩backbone网络输出的矩阵深度，并进行上采样，将两张图片进行还原，同时也将缩放之后的两张图片输入至基于SegNet的特征点描述子提取网络中来固定backbone网络输出的矩阵深度，并进行上采样，将两张图片进行还原，以得到两张图片的深度特征点与描述子；
步骤四：根据两张图片中的深度特征点与描述子，对深度特征点进行匹配，并计算图片坐标系的变换矩阵；
步骤五：变电站巡检机器人上的云台根据计算出的图片坐标系的变换矩阵进行焦距与角度的变换，使得云台图片的坐标系与模板坐标系重合。
2.如权利要求1所述的一种基于深度特征点的表计识别二次定位方法，其特征在于：步骤二中，backbone网络为SOTA的基于efficientnet的backbone特征提取网络，其中SOTA指state of the art。
3.如权利要求1所述的一种基于深度特征点的表计识别二次定位方法，其特征在于：步骤二中，两张图片的宽和高均被缩放至原始大小的三十二分之一。
4.如权利要求1所述的一种基于深度特征点的表计识别二次定位方法，其特征在于：步骤三中，基于SegNet的特征点提取网络中穿插有Residual Block，并运用channel-wise的softmax来压缩backbone网络输出的矩阵深度。
5.如权利要求1所述的一种基于深度特征点的表计识别二次定位方法，其特征在于：步骤三中，输入至基于SegNet的特征点提取网络中被还原之后的两张图片得到宽*高*1的图像矩阵，其中为1的像素点为选出的深度特征点。
6.如权利要求1所述的一种基于深度特征点的表计识别二次定位方法，其特征在于：步骤三中，在基于SegNet的特征点描述子提取网络中穿插Residual Block，并运用Bi-cubic interpolation来固定backbone网络输出的矩阵深度。
7.如权利要求1所述的一种基于深度特征点的表计识别二次定位方法，其特征在于：步骤三中，输入至基于SegNet的特征点描述子提取网络中被还原之后的两张图片得到宽*高*
256的图像矩阵，其中每一个像素中的256位为该像素的描述子。
8.如权利要求1所述的一种基于深度特征点的表计识别二次定位方法，其特征在于：步骤四中，深度特征点的匹配与两张图像坐标系变换矩阵的计算采用SIFT匹配与矩阵计算，并采用Ransac去除离群值。
一种基于深度特征点的表计识别二次定位方法
技术领域
[0001] 本发明涉及图像识别技术领域，具体为一种基于深度特征点的表计识别二次定位方法。
背景技术
[0002] 在变电站巡检机器人识别表计的过程中，由于原始视角过大，云台摄像头需要调整位姿与焦距，对表计进行二次定位，将表计放大并定位到图像的正中央。现阶段，各家二次定位算法都基于传统的ORB，SIFT特征点检测与Ransac匹配方法，将实际拍摄的图像与模板图像进行匹配，得到两张图片的变换矩阵，继而云台根据变换矩阵进行相应的调整。但是传统特征点检测对光照变换、低纹理场景缺乏稳定性和鲁棒性，并且由于传统特征点只代表了局部的特征，无法提取图像的高维特征，因此在实际运用中，存在模板与实际拍摄图像匹配不上的情况。
发明内容
[0003] 本发明的目的是提供一种基于深度特征点的表计识别二次定位方法，以解决上述提到的问题。
[0004] 本发明具体采用如下技术方案：
[0005] 一种基于深度特征点的表计识别二次定位方法，其流程如图1所示，具体包括以下步骤：
[0006] 步骤一：从后台数据库拿出表计的模板图片，并通过ROS从变电站巡检机器人上的云台得到实际拍摄图片；
[0007] 步骤二：采用backbone网络提取两张图片的高维特征，并进行下采样，将两张图片进行缩放；
[0008] 步骤三：将缩放之后的两张图片输入至基于SegNet的特征点提取网络中来压缩backbone网络输出的矩阵深度，并进行上采样，将两张图片进行还原，同时也将缩放之后的两张图片输入至基于SegNet的特征点描述子提取网络中来固定backbone网络输出的矩阵深度，并进行上采样，将两张图片进行还原，以得到两张图片的深度特征点与描述子；
[0009] 步骤四：根据两张图片中的深度特征点与描述子，对深度特征点进行匹配，并计算图片坐标系的变换矩阵；
[0010] 步骤五：变电站巡检机器人上的云台根据计算出的图片坐标系的变换矩阵进行焦距与角度的变换，使得云台图片的坐标系与模板坐标系重合。
[0011] 进一步的，步骤二中，backbone网络为SOTA的基于efficientnet的backbone特征提取网络。
[0012] 进一步的，步骤二中，两张图片的宽和高均被缩放至原始大小的三十二分之一。
[0013] 进一步的，步骤三中，基于SegNet的特征点提取网络中穿插有Residual Block，并运用channel-wise的softmax来压缩backbone网络输出的矩阵深度。
[0014] 进一步的，步骤三中，输入至基于SegNet的特征点提取网络中被还原之后的两张图片得到宽*高*1的图像矩阵，其中为1的像素点为选出的深度特征点。
[0015] 进一步的，步骤三中，在基于SegNet的特征点描述子提取网络中穿插Residual Block，并运用Bi-cubic interpolation来固定backbone网络输出的矩阵深度。
[0016] 进一步的，步骤三中，输入至基于SegNet的特征点描述子提取网络中被还原之后的两张图片得到宽*高*256的图像矩阵，其中每一个像素中的256位为该像素的描述子。
[0017] 进一步的，步骤四中，深度特征点的匹配与两张图像坐标系变换矩阵的计算采用SIFT匹配与矩阵计算，并采用Ransac去除离群值。
[0018] 综上所述，本发明具有以下有益效果：
[0019] 该种基于深度特征点的表计识别二次定位方法，运用深度学习方法，提取图像的高维特征点，进而增强了二次定位匹配在光照变换、低纹理场景下的稳定性和鲁棒性。
附图说明
[0020] 图1为本发明的流程图。
具体实施方式
[0021] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0022] 请参阅图1，一种基于深度特征点的表计识别二次定位方法，具体包括以下步骤：
[0023] 步骤一：从后台数据库拿出表计的模板图片，并通过ROS从变电站巡检机器人上的云台得到实际拍摄图片；
[0024] 步骤二：采用SOTA（state of the art）的基于efficientnet的backbone特征提取网络提取两张图片的高维特征作为接下来特征点提取网络与描述子提取网络的输入，并进行下采样，将两张图片进行缩放，两张图片的宽（W）和高（H）均被缩放至原始大小的三十二分之一，其中基于efficientnet的backbone特征提取网络具有网络参数小，速度快，易于训练的优点；
[0025] 步骤三：将缩放之后的两张图片输入至基于SegNet的特征点提取网络中，基于SegNet的特征点提取网络中穿插有Residual Block，并且其网络结构与SegNet的Decoder部分类似，运用channel-wise的softmax来压缩backbone网络输出的矩阵深度，并进行上采样，将两张图片进行还原，被还原之后的两张图片得到宽（W）*高（H）*1的图像矩阵，其中为1的像素点为选出的深度特征点；同时也将缩放之后的两张图片输入至基于SegNet的特征点描述子提取网络中，基于SegNet的特征点描述子提取网络中穿插Residual Block，并运用Bi-cubic interpolation来固定backbone网络输出的矩阵深度，并且进行上采样，将两张图片进行还原，被还原之后的两张图片得到宽（W）*高（H）*256的图像矩阵，其中每一个像素中的256位为该像素的描述子；通过上述步骤以得到两张图片的深度特征点与描述子；
[0026] 步骤四：根据两张图片中的深度特征点与描述子，对深度特征点进行匹配，并计算图片坐标系的变换矩阵，深度特征点的匹配与两张图像坐标系变换矩阵的计算采用SIFT匹配与矩阵计算，并采用Ransac去除离群值；
[0027] 步骤五：变电站巡检机器人上的云台根据计算出的图片坐标系的变换矩阵进行焦距与角度的变换，使得云台图片的坐标系与模板坐标系重合，从而达到表计识别二次定位效果。
[0028] 本发明运用深度学习中的深度特征点替换了传统的特征点来进行表计的二次定位，运用深度学习方法，提取图像的高维特征点，进而增强了二次定位匹配在光照变换、低纹理场景下的稳定性和鲁棒性。
[0029] 本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
