端子连接状态检测方法及装置

摘要

本申请涉及图像识别技术领域，提供一种端子连接状态检测方法及装置，该方法包括：基于端子连接图像确定多个第一插接件和多个第二插接件的位置坐标；基于多个第一插接件和多个第二插接件的位置坐标，将每个第一插接件与距离最近的第二插接件匹配得到匹配结果；对多个匹配结果的第一插接件与第二插接件的距离求和，得到目标距离，基于目标距离和距离阈值确定端子嵌合状态；若端子嵌合状态为已嵌合，基于端子连接图像确定每个匹配结果所对应的第一插接件和第二插接件的接线颜色，若每个匹配结果的第一插接件和第二插接件的接线颜色均匹配，确认端子连接状态为正常。本申请的端子连接状态检测方法及装置，能降低人工成本，提高检测的准确率和效率。

权利要求

1.一种端子连接状态检测方法，其特征在于，包括：基于摄像头采集的端子连接图像，确定多个第一插接件和多个第二插接件对应的位置坐标；

基于所述多个第一插接件和多个第二插接件对应的位置坐标，将每个所述第一插接件与距离最近的所述第二插接件进行匹配，得到匹配结果；

对多个所述匹配结果所对应的第一插接件与第二插接件的距离进行求和，得到目标距离，并基于所述目标距离和距离阈值，确定端子嵌合状态；

若所述端子嵌合状态为已嵌合，基于所述端子连接图像，确定每个所述匹配结果所对应的第一插接件和第二插接件的接线颜色，若每个所述匹配结果所对应的第一插接件和第二插接件的接线颜色均匹配，确认端子连接状态为正常。

2.根据权利要求1所述的端子连接状态检测方法，其特征在于，所述基于摄像头采集的端子连接图像，确定多个第一插接件和多个第二插接件对应的位置坐标，包括：将所述端子连接图像输入至位置识别模型，输出多个第一插接件和多个第二插接件对应的位置坐标；

所述位置识别模型为，以端子连接图像样本数据为样本，所述端子连接图像样本数据对应的多个第一插接件和多个第二插接件对应的位置坐标样本数据为样本标签进行训练得到。

3.根据权利要求2所述的端子连接状态检测方法，其特征在于，所述位置识别模型在训练时采用添加了Quant‑Noise的乘积量化算法和/或Int8量化算法。

4.根据权利要求1‑3中任一项所述的端子连接状态检测方法，其特征在于，所述基于摄像头采集的端子连接图像，确定多个第一插接件和多个第二插接件对应的位置坐标，包括：通过摄像头采集所述端子连接图像；

从所述端子连接图像中截取目标区域图像；

对所述目标区域图像进行预处理，得到参考图像；

基于所述参考图像，确定所述多个第一插接件和多个第二插接件对应的位置坐标。

5.根据权利要求4所述的端子连接状态检测方法，其特征在于，所述对所述目标区域图像进行预处理，得到参考图像，包括：对所述目标区域图像进行矩阵化处理和/或颜色处理，得到参考图像。

6.根据权利要求1‑3中任一项所述的端子连接状态检测方法，其特征在于，所述摄像头采集的端子连接图像为：通过摄像头在漫反射环境下连续曲面打光以采集原始图像，并基于邻域聚类算法对所述原始图像进行滤波得到。

7.根据权利要求1‑3中任一项所述的端子连接状态检测方法，其特征在于，所述基于所述多个第一插接件和多个第二插接件对应的位置坐标，将每个所述第一插接件与距离最近的所述第二插接件进行匹配，得到匹配结果，包括：基于匈牙利算法以及所述多个第一插接件和多个第二插接件对应的位置坐标，将每个所述第一插接件与距离最近的所述第二插接件进行匹配，得到匹配结果。

8.一种端子连接状态检测装置，其特征在于，包括：第一确定模块，用于基于摄像头采集的端子连接图像，确定多个第一插接件和多个第二插接件对应的位置坐标；

匹配模块，用于基于所述多个第一插接件和多个第二插接件对应的位置坐标，将每个所述第一插接件与距离最近的所述第二插接件进行匹配，得到匹配结果；

第二确定模块，用于对多个所述匹配结果所对应的第一插接件与第二插接件的距离进行求和，得到目标距离，并基于所述目标距离和距离阈值，确定端子嵌合状态；

第三确定模块，用于若所述端子嵌合状态为已嵌合，基于所述端子连接图像，确定每个所述匹配结果所对应的第一插接件和第二插接件的接线颜色，若每个所述匹配结果所对应的第一插接件和第二插接件的接线颜色均匹配，确认端子连接状态为正常。

9.根据权利要求8所述的端子连接状态检测装置，其特征在于，所述第一确定模块还用于将所述端子连接图像输入至位置识别模型，输出多个第一插接件和多个第二插接件对应的位置坐标；

所述位置识别模型为，以端子连接图像样本数据为样本，所述端子连接图像样本数据对应的多个第一插接件和多个第二插接件对应的位置坐标样本数据为样本标签进行训练得到。

10.根据权利要求8所述的端子连接状态检测装置，其特征在于，所述第一确定模块包括：

采集子模块，用于通过摄像头采集所述端子连接图像；

截取子模块，用于从所述端子连接图像中截取目标区域图像；

预处理子模块，用于对所述目标区域图像进行预处理，得到参考图像；

位置坐标确定子模块，用于基于所述参考图像，确定所述多个第一插接件和多个第二插接件对应的位置坐标。

11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述端子连接状态检测方法的步骤。

12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述端子连接状态检测方法的步骤。

说明书

端子连接状态检测方法及装置

技术领域

[0001] 本申请涉及图像识别技术领域，尤其涉及一种端子连接状态检测 方法及装置。

背景技术

[0002] 随着用电设备的日益发展，电信号的传递需要通过接线终端来实 现，接线终端又称接线端子或端子，端子一般由接头和接口构成，端 子的连接状态直接决定了电信号传递
的稳定性和准确性，因此需要对 端子的连接状态进行检测。

[0003] 目前对于端子的连接状态进行检测的方式主要为人工目检，在大 型生产线上对用电设备的端子的连接状态进行人工目检，消耗的人力 成本较大，且容易出错，检测效率
较低。

发明内容

[0004] 本申请提供一种端子连接状态检测方法及装置，以降低人工成本， 提高检测的准确率和效率。

[0005] 本申请提供一种端子连接状态检测方法，包括：基于摄像头采集 的端子连接图像，确定多个第一插接件和多个第二插接件对应的位置 坐标；基于所述多个第一插接件和
多个第二插接件对应的位置坐标， 将每个所述第一插接件与距离最近的所述第二插接件
进行匹配，得到 匹配结果；对多个所述匹配结果所对应的第一插接件与第二插接件的 距
离进行求和，得到目标距离，并基于所述目标距离和距离阈值，确 定端子嵌合状态；若所述
端子嵌合状态为已嵌合，基于所述端子连接 图像，确定每个所述匹配结果所对应的第一插
接件和第二插接件的接 线颜色，若每个所述匹配结果所对应的第一插接件和第二插接件
的接 线颜色均匹配，确认端子连接状态为正常。

[0006] 根据本申请提供的一种端子连接状态检测方法，所述基于摄像头 采集的端子连接图像，确定多个第一插接件和多个第二插接件对应的 位置坐标，包括：将所述端子连接
图像输入至位置识别模型，输出多 个第一插接件和多个第二插接件对应的位置坐标；所述
位置识别模型 为，以端子连接图像样本数据为样本，所述端子连接图像样本数据对 应的
多个第一插接件和多个第二插接件对应的位置坐标样本数据为 样本标签进行训练得到。

[0007] 根据本申请提供的一种端子连接状态检测方法，所述位置识别模 型在训练时采用添加了Quant‑Noise的乘积量化算法和/或Int8量化算 法。

[0008] 根据本申请提供的一种端子连接状态检测方法，所述基于摄像头 采集的端子连接图像，确定多个第一插接件和多个第二插接件对应的 位置坐标，包括：通过摄像头采集
所述端子连接图像；从所述端子连 接图像中截取目标区域图像；对所述目标区域图像进行
预处理，得到 参考图像；基于所述参考图像，确定所述多个第一插接件和多个第二 插接件
对应的位置坐标。

[0009] 根据本申请提供的一种端子连接状态检测方法，所述对所述目标 区域图像进行预处理，得到参考图像，包括：对所述目标区域图像进 行矩阵化处理和/或颜色处理，得到
参考图像。

[0010] 根据本申请提供的一种端子连接状态检测方法，所述摄像头采集 的端子连接图像为：通过摄像头在漫反射环境下连续曲面打光以采集 原始图像，并基于邻域聚类算法对
所述原始图像进行滤波得到。

[0011] 根据本申请提供的一种端子连接状态检测方法，所述基于所述多 个第一插接件和多个第二插接件对应的位置坐标，将每个所述第一插 接件与距离最近的所述第二插接
件进行匹配，得到匹配结果，包括： 基于匈牙利算法以及所述多个第一插接件和多个第二
插接件对应的 位置坐标，将每个所述第一插接件与距离最近的所述第二插接件进行 匹
配，得到匹配结果。

[0012] 本申请还提供一种端子连接状态检测装置，所述端子连接状态检 测装置包括：第一确定模块，用于基于摄像头采集的端子连接图像， 确定多个第一插接件和多个第二插接
件对应的位置坐标；匹配模块， 用于基于所述多个第一插接件和多个第二插接件对应的位
置坐标，将 每个所述第一插接件与距离最近的所述第二插接件进行匹配，得到匹 配结果；
第二确定模块，用于对多个所述匹配结果所对应的第一插接 件与第二插接件的距离进行
求和，得到目标距离，并基于所述目标距 离和距离阈值，确定端子嵌合状态；第三确定模
块，用于若所述端子 嵌合状态为已嵌合，基于所述端子连接图像，确定每个所述匹配结果 
所对应的第一插接件和第二插接件的接线颜色，若每个所述匹配结果 所对应的第一插接
件和第二插接件的接线颜色均匹配，确认端子连接 状态为正常。

[0013] 根据本申请提供的一种端子连接状态检测装置，所述第一确定模 块还用于将所述端子连接图像输入至位置识别模型，输出多个第一插 接件和多个第二插接件对应的位
置坐标；所述位置识别模型为，以端 子连接图像样本数据为样本，所述端子连接图像样本
数据对应的多个 第一插接件和多个第二插接件对应的位置坐标样本数据为样本标签 进
行训练得到。

[0014] 根据本申请提供的一种端子连接状态检测装置，所述第一确定模 块包括：采集子模块，用于通过摄像头采集所述端子连接图像；截取 子模块，用于从所述端子连接图像中
截取目标区域图像；预处理子模 块，用于对所述目标区域图像进行预处理，得到参考图像；
位置坐标 确定子模块，用于基于所述参考图像，确定所述多个第一插接件和多 个第二插
接件对应的位置坐标。

[0015] 本申请还提供一种电子设备，包括存储器、处理器及存储在所述 存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所 述计算机程序时实现如上述任一种
所述端子连接状态检测方法的步 骤。

[0016] 本申请还提供一种非暂态计算机可读存储介质，其上存储有计算 机程序，所述计算机程序被处理器执行时实现如上述任一种所述端子 连接状态检测方法的步骤。

[0017] 本申请实施例提供的端子连接状态检测方法及装置，根据第一插 接件和第二插接件的位置坐标来判断端子嵌合状态，当端子嵌合状态 为已嵌合时，根据第一插接件和第
二插接件的颜色判断第二插接件和 第一插接件的对应关系是否正确，从而检测出端子连
接状态，能够降 低人工成本，提高检测的准确率和效率。

附图说明

[0018] 为了更清楚地说明本申请或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见 地，下面描述中的附图是本申请的
一些实施例，对于本领域普通技术 人员来讲，在不付出创造性劳动的前提下，还可以根据
这些附图获得 其他的附图。

[0019] 图1是本申请提供的端子连接状态检测方法的流程示意图；

[0020] 图2是本申请提供的端子连接状态检测方法中的步骤110的实施 方式的流程示意图；

[0021] 图3是本申请提供的端子连接状态检测装置的结构示意图；

[0022] 图4是本申请提供的端子连接状态检测装置的第一确定模块的 结构示意图；

[0023] 图5是本申请提供的电子设备的结构示意图。

具体实施方式

[0024] 为使本申请的目的、技术方案和优点更加清楚，下面将结合本申 请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本申请一部分实施
例，而不是全部的实施例。基于 本申请中的实施例，本领域普通技术人员在没有作出创造
性劳动前提 下所获得的所有其他实施例，都属于本申请保护的范围。

[0025] 下面结合图1‑图5描述本申请的端子连接状态检测方法及装置。

[0026] 如图1所示，本申请提供一种端子连接状态检测方法，该端子连 接状态检测方法包括如下步骤110‑步骤140。

[0027] 其中，步骤110、基于摄像头采集的端子连接图像，确定多个第 一插接件和多个第二插接件对应的位置坐标。

[0028] 可以理解的是，用电设备的端子在连接过程中，往往需要将端子 的多个第一插接件和多个第二插接件对应连接，也就是将第一插接件 嵌入到对应的第二插接件中，但是由
于装配时可能存在误差，使得第 一插接件不一定和对应的第二插接件嵌合，需要对第一插
接件和第二 插接件的连接状态进行检测。

[0029] 当第一插接件为接头时，第二插接件就为接口；当第一插接件为 接口时，第二插接件就为接头。

[0030] 本申请实施例提供的端子连接状态检测方法可以基于硬件系统 实现，硬件系统包括摄像头、光源、信号连接卡件和分析主机，分析 主机可以包括内存、显卡、处理器、硬盘
和主板等电子元件，分析主 机上可以运行linux或者Windows10系统，摄像头可以为工业相
机。

[0031] 此处通过摄像头拍摄端子的连接处，能够得到端子连接图像，可 以根据端子连接图像中第一插接件和第二插接件的相对位置关系，建 立坐标系，得到多个第一插接件的位
置坐标和多个第二插接件的位置 坐标。

[0032] 步骤120、基于多个第一插接件和多个第二插接件对应的位置坐 标，将每个第一插接件与距离最近的第二插接件进行匹配，得到匹配 结果。

[0033] 可以理解的是，当端子连接状态为正常时，第一插接件和第二插 接件是紧密嵌合的，每个第一插接件对应和一个第二插接件嵌合，此 处根据第一插接件和第二插接件的位
置坐标，计算每个第一插接件与 每个第二插接件的距离，找到每个第一插接件与其本身距
离最近的第 二插接件，将每个第一插接件都和与其距离最近的那个第二插接件进 行匹
配，得到匹配结果，也就是说，多个第一插接件和多个第二插接 件对应匹配，得到了多个匹
配结果，每个匹配结果中包含一个第一插 接件和一个第二插接件。

[0034] 值得注意的是，在对接头和接口进行匹配时，可以找到每个接头 与其本身距离最近的接口进行匹配，得到匹配结果，也可以找到每个 接口与其本身距离最近的接头进行匹
配，得到匹配结果。

[0035] 步骤130、对多个匹配结果所对应的第一插接件与第二插接件的 距离进行求和，得到目标距离，并基于目标距离和距离阈值，确定端 子嵌合状态。

[0036] 可以理解的是，每个匹配结果对应有一个第一插接件和一个第二 插接件，可以求得每个匹配结果中对应的第一插接件和第二插接件的 距离，将所有匹配结果对应的第一
插接件和第二插接件的距离相加， 将求和结果作为目标距离，并预设距离阈值，基于目标
距离和距离阈 值的比较，来确定端子嵌合状态，端子嵌合状态可以为已嵌合和未嵌 合。

[0037] 若端子嵌合状态为已嵌合，说明该端子的所有第一插接件和第二 插接件都一一对接并嵌合紧实了，若端子嵌合状态为未嵌合，说明该 端子的第一插接件和第二插接件并
未全部嵌合紧实，存在松脱的情况。

[0038] 比如若目标距离大于距离阈值时，确定第一插接件第二插接件的 嵌合状态为未嵌合，若目标距离小于或等于距离阈值时，确定第一插 接件第二插接件的嵌合状态为已嵌
合，距离阈值可以为0mm‑2mm， 比如可以为1mm。

[0039] 步骤140、若端子嵌合状态为已嵌合，基于端子连接图像，确定 每个匹配结果所对应的第一插接件和第二插接件的接线颜色，若每个 匹配结果所对应的第一插接件和第二
插接件的接线颜色均匹配，确认 端子连接状态为正常。

[0040] 可以理解的是，当确认端子嵌合状态为已嵌合，也就是说该端子 的所有第一插接件和第二插接件都一一对接并嵌合紧实了，此时需要 判断每个匹配结果中的第一插接件
和第二插接件的对应关系是否正 确，是否存在插错的情况。

[0041] 此处根据端子连接图像，来获取每个匹配结果中的第一插接件的 接线颜色以及第二插接件的接线颜色，判断第一插接件的接线颜色和 第二插接件的接线颜色是否匹配，
比如在第一插接件的接线颜色和第 二插接件的接线颜色相同时，确定匹配结果中的第一
插接件和第二插 接件的对应关系正确。

[0042] 如果所有匹配结果对应的第一插接件和第二插接件的接线颜色 都匹配，说明所有匹配结果中的第一插接件和第二插接件的对应关系 都正确，那么端子连接状态就是正
常的。

[0043] 在判断端子嵌合状态时由于不需要考虑端子的接线颜色，运算较 简单，因此先判断第一插接件和第二插接件是否嵌合紧实，在端子嵌 合状态为已嵌合的情况下再根据端
子的接线颜色判断第一插接件和 第二插接件的对应是否正确，采用的是先易后难的处理
顺序，能够提 高运算速度。

[0044] 本申请实施例提供的端子连接状态检测方法，根据第一插接件和 第二插接件的位置坐标来判断端子嵌合状态，当端子嵌合状态为已嵌 合时，根据第一插接件和第二插接
件的颜色判断第二插接件和第一插 接件的对应关系是否正确，从而检测出端子连接状态，
能够降低人工 成本，提高检测的准确率和效率。

[0045] 在一些实施例中，上述步骤110、基于摄像头采集的端子连接图 像，确定多个第一插接件和多个第二插接件对应的位置坐标，包括： 将端子连接图像输入至位置识别模型，
输出多个第一插接件和多个第 二插接件对应的位置坐标。

[0046] 可以理解的是，位置识别模型可以为深度学习神经网络，比如可 以为卷积神经网络，位置识别模型的输入为端子连接图像，输出为多 个第一插接件和多个第二插接件对应
的位置坐标。

[0047] 位置识别模型为，以端子连接图像样本数据为样本，端子连接图 像样本数据对应的多个第一插接件和多个第二插接件对应的位置坐 标样本数据为样本标签进行训练得
到。

[0048] 可以理解的是，位置识别模型可以通过大量的端子连接图像样本 数据以及预先标记的多个第一插接件和多个第二插接件对应的位置 坐标样本数据来进行训练，可以通
过有监督学习的方式确保位置识别 模型的训练准确度。

[0049] 位置识别模型所使用的深度学习神经网络能够对输入的端子连 接图像样本数据中的特征进行挑拣，将每个特征用于得到一个输出结 果，将每个输出结果都和样本标签进
行比对，经过比对符合要求的特 征可以保留下来，而经过比对不符合要求的特征通过Loss
参数进行 忽略，经过对输入的大量端子连接图像的不断迭代训练，可以最终学 会那些需
要记忆的核心特征，并将不同的核心特征进行分类，最终可 以根据这些核心特征来对新输
入的端子连接图像进行判别。

[0050] 在对位置识别模型进行训练之前，深度学习神经网络的卷积层的 滤波器是完全随机的，其不会对任何特征激活，也就是不能检测到任 何特征，在训练的过程中，对空白的
滤波器修改权重以使其能够检测 特定的场景，这正是一种有监督学习方式，基于这种有监
督学习方式， 深度学习神经网络能够自行学习需要出核心特征，以根据这些核心特 征来
对新输入的端子连接图像进行判别。

[0051] 如表1所示，在对位置识别模型进行训练时，若输入的端子连接 图像样本数据的数据量越大时，训练得到的位置识别模型检测准确率 越大。

[0052] 表1位置识别模型的检测准确率和端子连接图像样本数据的关 系图

[0053]端子连接图像样本数据数量 位置识别模型的检测准确率
200 98.0％
300 99.0％
1000 99.9％

[0054] 经过实验检验，本申请实施例在实际检测端子连接状态时，如果 基础数据量足够大且背景数据足够复杂，就可以忽略不同光源以及待 检测端子的摆放角度和阴影情况等
和核心特征无关的外界因素，能够 检测到以任意角度摆放的端子，在复杂环境以及经常变
动的环境中检 测时相比人工目检泛用性和准确性都有较大提升。

[0055] 在一些实施例中，位置识别模型在训练时采用添加了 Quant‑Noise的乘积量化算法和/或Int8量化算法。

[0056] 可以理解的是，在训练位置识别模型时，采用添加了Quant‑Noise 的乘积量化(Product Quantizer，PQ)算法，能够结合乘积量化算法 和Int8量化算法来量化网络的权
重和Activation，能够在确保位置识 别模型的精度下，得到极致压缩效果。

[0057] 以实矩阵W为例，在训练位置识别模型时，Quant‑Noise的运行 方式如下：先预设一个实矩阵(fixed real matrix)W，W∈R^n×p， 并假设此实矩阵W被拆分为m×q个块(b_
kl)：首先，计算与目标 量化方法相关的块(b_kl)；然后在每个前向传播过程中，随机选择 
这些块(b_kl)的子集，并添加一些失真；在反向传播过程中，使用 STE逼近失真的权重，进
而计算所有权重的梯度值。

[0058] 换言之，给定索引元组 其中1≤k≤m，1≤l≤q，同时 将失真或噪声函数φ作用在块上，定义算子ψ(〃|J)，对每个块(b_kl) 均应用以下转换公式：

[0059]

[0060] 采用添加了Quant‑Noise的乘积量化算法和/或Int8量化算法可以 将位置识别模型的判断时间缩短一半以上，即在416*416的图像判别 上，可以从0.2s缩短为50ms，以此来
满足端子连接状态检测的应用 场景。

[0061] 如图2所示，在一些实施例中，上述步骤110、基于摄像头采集 的端子连接图像，确定多个第一插接件和多个第二插接件对应的位置 坐标，包括：如下步骤111‑步骤114。

[0062] 步骤111、通过摄像头采集端子连接图像。

[0063] 可以理解的是，将摄像头的镜头对准端子的第一插接件和第二插 接件连接处，通过摄像头能够采集到端子连接图像。

[0064] 步骤112、从端子连接图像中截取目标区域图像。

[0065] 可以理解的是，可以通过模板匹配的方法从端子连接图像中截取 目标区域图像，目标区域图像包含了端子的所有第一插接件和对应的 第二插接件，目标区域图像相比于
端子连接图像去除了与端子连接状 态检测无关的背景内容。

[0066] 步骤113、对目标区域图像进行预处理，得到参考图像。

[0067] 可以理解的是，对目标区域图像进行预处理，预处理可以包括： 去噪处理、矩阵化处理、颜色处理、平滑处理以及图像增强处理中的 至少一种，得到参考图像，通过预处理能
够提高目标区域图像中的关 键特征的辨识度，降低无关特征的辨识度。

[0068] 步骤114、基于参考图像，确定多个第一插接件和多个第二插接 件对应的位置坐标。

[0069] 可以理解的是，在参考图像的基础上，可以采用上述实施例中的 方法得到多个第一插接件和多个第二插接件对应的位置坐标。

[0070] 在一些实施例中，上述步骤113、对目标区域图像进行预处理， 得到参考图像，包括：对目标区域图像进行矩阵化处理和/或颜色处 理，得到参考图像。

[0071] 可以理解的是，矩阵化处理为采用矩阵理论和矩阵算法对目标区 域图像进行分析和处理，将目标区域图像表示为矩阵的形式，可以用 二维数组来表示目标区域图像，二
维数组的行对应目标区域图像的高， 二维数组的列对应目标区域图像的宽，二维数组的元
素对应目标区域 图像的像素，二维数组元素的值就是像素的灰度，用二维数组来表示 目
标区域图像，符合二维图像的行列特性，能够提高图像识别的效率。

[0072] 颜色处理为对目标区域图像进行灰度化处理，目标区域图像可以 为彩色图像，彩色图像中的每个像素的颜色由R、G、B三个分量决 定，而每个分量中可以从255个值确定一
个，那么一个像素点就有约 1600万的颜色变化范围，此处将目标区域图像进行颜色处理，
就能 够将彩色图像变为灰度图像，能够使得后续的计算量变小，灰度图像 和彩色图像均
反映了整幅图像的整体和局部的色度和亮度等级的分 布和特征，在端子嵌合状态检测的
应用场景中，并不会影响特征提取 的准确度，并且会提升检测的速度。

[0073] 在一些实施例中，上述步骤110中的摄像头采集的端子连接图像 为：通过摄像头在漫反射环境下连续曲面打光以采集原始图像，并基 于邻域聚类算法对所述原始图像进
行滤波得到。

[0074] 可以理解的是，利用非接触视觉检测技术进行目标检测的过程中， 不可避免会受到环境光以及被测物表面强反射光等因素的干扰，从而 造成测量数据出现噪声点，严重影
响到点云分割、特征提取、曲面重 建和误差分析等后续图像处理过程，通常噪声点会使光
线边缘产生毛 刺，会在主体点云外产生小的局部亮点，会导致光线条纹像素识别错 误，因
此必须对图像的点云噪声进行滤除。

[0075] 此处将摄像头放置于漫反射环境下，进行连续曲面打光，能够减 少摄像头采集的原始图像中的噪声点。

[0076] 可以利用邻域聚类算法对自然光像素点进行分类，以去除原始图 像中的噪声点，从而实现滤波，能够提高后续图像识别的准确性。

[0077] 在一些实施例中，上述步骤120、基于多个第一插接件和多个第 二插接件对应的位置坐标，将每个第一插接件与距离最近的第二插接 件进行匹配，得到匹配结果，包括：基
于匈牙利算法以及多个第一插 接件和多个第二插接件对应的位置坐标，将每个第一插接
件与距离最 近的第二插接件进行匹配，得到匹配结果。

[0078] 可以理解的是，匈牙利算法是一种在多项式时间内求解任务分配 问题的组合优化算法，匈牙利算法作为一种成熟的匹配算法，能够实 现对多个第一插接件和多个第二插
接件一一对应快速匹配，能够快速 将每个第一插接件与距离最近的第二插接件进行匹配，
得到匹配结果。

[0079] 下面对本申请提供的端子连接状态检测装置进行描述，下文描述 的端子连接状态检测装置与上文描述的端子连接状态检测方法可相 互对应参照。

[0080] 如图3所示，本申请还提供一种端子连接状态检测装置，端子连 接状态检测装置包括：第一确定模块310、匹配模块320、第二确定 模块330和第三确定模块340。

[0081] 第一确定模块310，用于基于摄像头采集的端子连接图像，确定 多个第一插接件和多个第二插接件对应的位置坐标。

[0082] 匹配模块320，用于基于多个第一插接件和多个第二插接件对应 的位置坐标，将每个第一插接件与距离最近的第二插接件进行匹配， 得到匹配结果。

[0083] 第二确定模块330，用于对多个匹配结果所对应的第一插接件与 第二插接件的距离进行求和，得到目标距离，并基于目标距离和距离 阈值，确定端子嵌合状态。

[0084] 第三确定模块340，用于若端子嵌合状态为嵌合，基于端子连接 图像，确定每个匹配结果所对应的第一插接件和第二插接件的接线颜 色，若每个匹配结果所对应的第一插
接件和第二插接件的接线颜色均 匹配，确认端子连接状态为正常。

[0085] 在一些实施例中，第一确定模块还用于将端子连接图像输入至位 置识别模型，输出多个第一插接件和多个第二插接件对应的位置坐标； 位置识别模型为，以端子连接图像
样本数据为样本，端子连接图像样 本数据对应的多个第一插接件和多个第二插接件对应
的位置坐标样 本数据为样本标签进行训练得到。

[0086] 在一些实施例中，位置识别模型在训练时采用添加了 Quant‑Noise的乘积量化算法和/或Int8量化算法。

[0087] 如图4所示，在一些实施例中，第一确定模块包括：采集子模块 410、截取子模块420、预处理子模块430和位置坐标确定子模块440。

[0088] 采集子模块410，用于通过摄像头采集端子连接图像。

[0089] 截取子模块420，用于从端子连接图像中截取目标区域图像。

[0090] 预处理子模块430，用于对目标区域图像进行预处理，得到参考 图像。

[0091] 位置坐标确定子模块440，用于基于参考图像，确定多个第一插 接件和多个第二插接件对应的位置坐标。

[0092] 在一些实施例中，预处理子模块430，还用于对所述目标区域图 像进行矩阵化处理和/或颜色处理，得到参考图像。

[0093] 在一些实施例中，所述摄像头采集的端子连接图像为：通过摄像 头在漫反射环境下连续曲面打光以采集原始图像，并基于邻域聚类算 法对所述原始图像进行滤波得到。

[0094] 在一些实施例中，匹配模块320，还用于基于匈牙利算法以及所 述多个第一插接件和多个第二插接件对应的位置坐标，将每个所述第 一插接件与距离最近的所述第二插
接件进行匹配，得到匹配结果。

[0095] 本申请实施例提供的端子连接状态检测装置用于执行上述端子 连接状态检测方法，其实施方式与本申请提供的端子连接状态检测方 法的实施方式一致，且可以达到相同
的有益效果，此处不再赘述。

[0096] 图5示例了一种电子设备的实体结构示意图，如图5所示，该电 子设备可以包括：处理器(processor)510、通信第二插接件 (Communications Interface)520、存储器
(memory)530和通信总线540， 其中，处理器510，通信第二插接件520，存储器530通过通信
总线 540完成相互间的通信。处理器510可以调用存储器530中的逻辑指 令，以执行端子连
接状态检测方法，该方法包括：基于摄像头采集的 端子连接图像，确定多个第一插接件和
多个第二插接件对应的位置坐 标；基于多个第一插接件和多个第二插接件对应的位置坐
标，将每个 第一插接件与距离最近的第二插接件进行匹配，得到匹配结果；对多 个匹配结
果所对应的第一插接件与第二插接件的距离进行求和，得到 目标距离，并基于目标距离和
距离阈值，确定端子嵌合状态；若端子 嵌合状态为已嵌合，基于端子连接图像，确定每个匹
配结果所对应的 第一插接件和第二插接件的接线颜色，若每个匹配结果所对应的第一 插
接件和第二插接件的接线颜色均匹配，确认端子连接状态为正常。

[0097] 此外，上述的存储器530中的逻辑指令可以通过软件功能单元的 形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可 读取存储介质中。基于这样的理解，
本申请的技术方案本质上或者说 对现有技术做出贡献的部分或者该技术方案的部分可以
以软件产品 的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若 干指令
用以使得一台计算机设备(可以是个人计算机，服务器，或者 网络设备等)执行本申请各个
实施例所述方法的全部或部分步骤。而 前述的存储介质包括：U盘、移动硬盘、只读存储器
(ROM，Read‑Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟 或者光盘
等各种可以存储程序代码的介质。

[0098] 本申请实施例提供的电子设备中的处理器510可以调用存储器 530中的逻辑指令，实现上述端子连接状态检测方法，其实施方式与 本申请提供的端子连接状态检测方法
的实施方式一致，且可以达到相 同的有益效果，此处不再赘述。

[0099] 另一方面，本申请还提供一种计算机程序产品，下面对本申请提 供的计算机程序产品进行描述，下文描述的计算机程序产品与上文描 述的端子连接状态检测方法可相互
对应参照。

[0100] 所述计算机程序产品包括存储在非暂态计算机可读存储介质上 的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计 算机执行时，计算机能够执行上述各
方法所提供的端子连接状态检测 方法，该方法包括：基于摄像头采集的端子连接图像，确
定多个第一 插接件和多个第二插接件对应的位置坐标；基于多个第一插接件和多 个第二
插接件对应的位置坐标，将每个第一插接件与距离最近的第二 插接件进行匹配，得到匹配
结果；对多个匹配结果所对应的第一插接 件与第二插接件的距离进行求和，得到目标距
离，并基于目标距离和 距离阈值，确定端子嵌合状态；若端子嵌合状态为已嵌合，基于端子 
连接图像，确定每个匹配结果所对应的第一插接件和第二插接件的接 线颜色，若每个匹配
结果所对应的第一插接件和第二插接件的接线颜 色均匹配，确认端子连接状态为正常。

[0101] 本申请实施例提供的计算机程序产品被执行时，实现上述端子连 接状态检测方法，其实施方式与本申请提供的端子连接状态检测方法 的实施方式一致，且可以达到相同
的有益效果，此处不再赘述。

[0102] 又一方面，本申请还提供一种非暂态计算机可读存储介质，下面 对本申请提供的非暂态计算机可读存储介质进行描述，下文描述的非 暂态计算机可读存储介质与上文描
述的端子连接状态检测方法可相 互对应参照。

[0103] 本申请还提供一种非暂态计算机可读存储介质，其上存储有计算 机程序，该计算机程序被处理器执行时实现以执行上述各提供的端子 连接状态检测方法，该方法包括：基
于摄像头采集的端子连接图像， 确定多个第一插接件和多个第二插接件对应的位置坐标；
基于多个第 一插接件和多个第二插接件对应的位置坐标，将每个第一插接件与距 离最近
的第二插接件进行匹配，得到匹配结果；对多个匹配结果所对 应的第一插接件与第二插接
件的距离进行求和，得到目标距离，并基 于目标距离和距离阈值，确定端子嵌合状态；若端
子嵌合状态为已嵌 合，基于端子连接图像，确定每个匹配结果所对应的第一插接件和第 
二插接件的接线颜色，若每个匹配结果所对应的第一插接件和第二插 接件的接线颜色均
匹配，确认端子连接状态为正常。

[0104] 本申请实施例提供的非暂态计算机可读存储介质上存储的计算 机程序被执行时，实现上述端子连接状态检测方法，其实施方式与本 申请提供的端子连接状态检测方法
的实施方式一致，且可以达到相同 的有益效果，此处不再赘述。

[0105] 以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部 件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的 部件可以是或者也可以不是物理
单元，即可以位于一个地方，或者也 可以分布到多个网络单元上。可以根据实际的需要选
择其中的部分或 者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付 出
创造性的劳动的情况下，即可以理解并实施。

[0106] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解 到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然 也可以通过硬件。基于这样的理
解，上述技术方案本质上或者说对现 有技术做出贡献的部分可以以软件产品的形式体现
出来，该计算机软 件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光 盘等，
包括若干指令用以使得一台计算机设备(可以是个人计算机， 服务器，或者网络设备等)执
行各个实施例或者实施例的某些部分所 述的方法。

[0107] 最后应说明的是：以上实施例仅用以说明本申请的技术方案，而 非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领 域的普通技术人员应当理解：其依然
可以对前述各实施例所记载的技 术方案进行修改，或者对其中部分技术特征进行等同替
换；而这些修 改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方 案的
精神和范围。