多用途的接线自动插拔系统及控制方法

摘要

本发明提供了一种多用途的接线自动插拔系统及控制方法，包括单目相机、末端执行器、机械臂、移动平台；末端执行器均安装在机械臂的末端，并随机械臂一起运动；单目相机安装在末端执行器上；机械臂设置在移动平台上。本发明通过手眼系统，能够用安装在机械臂末端的单目相机识别并定位接插口，用机械臂抓取接插件，以插拔位置不固定、朝向不固定各种插口，如网线口、USB插口、电源线插口、电源插座等。通过相机识别接口，可以准确找到需要插拔的接口。通过对接口形状尺寸建立简单模型，可以准确定位接口的位置，以便完成精确的插拔工作。不同的接线可固定于外形尺寸一致的外壳中，成为统一的接插件，便于机械臂抓取和插拔。

权利要求

1.一种多用途的接线自动插拔系统的控制方法，多用途的接线自动插拔系统，包括单目相机、末端执行器、机械臂、移动平台；

末端执行器均安装在机械臂的末端，并随机械臂一起运动；

单目相机安装在末端执行器上；

机械臂设置在移动平台上；

其特征在于，多用途的接线自动插拔系统的控制方法包括：第一步，令移动平台向接插件固定平台移动；

第二步，令末端执行器的夹爪抓取接插件；

第三步，令单目相机拍摄需要进行插拔作业的目标，识别定位需要进行插拔作业的插座或接口，得到机械臂与插座或接口的相对位置关系，判断接插件能否插入到插座或接口中；如果能够插入，则进入步骤4继续执行；若不能够插入，则调整移动平台的位置，直到插件插入到插座或接口中；

第四步，根据机械臂与插座或接口的相对位置关系，得到机械臂的末端移动策略；根据所述移动策略，令机械臂进行运动，直到机械臂到达能够进行插拔作业的位置姿态；

第五步，令机械臂向垂直于插座或接口所在平面的方向进行插拔作业；

所述识别定位的方法包括：

步骤A：找到单目相机的拍摄图像与模板中尺度不变的特征点；

步骤B：根据特征点获得匹配点，并计算拍摄图像与模板的单应性变换矩阵；

步骤C：将模板上的五个以上的已知实际尺寸的直角顶点映射到拍摄图像上，得到映射点，将映射点所在的区域定义为感兴趣区域；

步骤D：在感兴趣区域中寻找与直角顶点对应的图像直角顶点；

步骤E：由拍摄图像上的二维坐标与已知实际尺寸的直角顶点的三维坐标，得到单目相机的相机平面与目标平面的坐标系变换矩阵；

步骤F：将相机平面与目标平面的坐标系变换矩阵，作为机械臂末端的姿态变换矩阵。

2.根据权利要求1所述的多用途的接线自动插拔系统的控制方法，其特征在于，在所述第二步中，令单目相机拍摄接插件固定平台上的标记点，识别定位标记点，得到机械臂与接插件固定平台上的接插件的相对位置关系，判断末端执行器的夹爪是否能抓取到接插件；

若能抓取到接插件，则令夹爪进行抓取；否则，则调整移动平台的位置，直到夹爪能够抓取到接插件。

3.根据权利要求1所述的多用途的接线自动插拔系统的控制方法，其特征在于，在第一步之前，先人工将机械臂抓取的接插件垂直于插口表面，在接插件的插头相对于插入插口的位置为设定位置时，用单目相机拍摄一幅图作为模板。

说明书

多用途的接线自动插拔系统及控制方法

技术领域

[0001] 本发明涉及一种多用途的精密接插件技术，尤其涉及一种可用于生产线上的能够实现自动控制的适用于多种不同接线的插拔技术方案。

背景技术

[0002] 随着工业机器人的发展和机器人智能化水平提高，机器人工业中的应用范围越来越广。在工业产品的质检方面，比如交换机需要加入电源线、网线、USB数据线等进行质检，有很大的工作量要求。如果采用人工进行插拔，费时费力且降低了效率，因此，需要一种多用途的精密接插件技术来提供技术支持。

[0003] 公告号为CN203339402U的中国实用新型专利公开了一种预制件生产线用的运动状态下电源自动插拔机构，该机构包括了接线插头体和接线固定插接件，接线插头体在驱动装置的推动下在导轨上往复运动来完成插拔。公告号为CN204497552U的中国实用新型专利公开了一种气动式机顶盒自动插拔装置，能够一次性将测试所需的各种插线自动接在待测机顶盒线路板上，其使用滑轨来保证对接的精度。这两项专利文献公开的技术方案都没有考虑到接线插头与接口的相对位置不确定性，直接插拔的对准精度较低，会造成插拔失败或磨损产品。

[0004] 公告号为CN104377502A的中国发明专利公开了一种自动插拔装置，该装置包括了固定活动插接件的固定座，推杆和导向结构，固定座与推杆驱动机构浮动连接，在导向结构的对准辅助下，由具有磁性轨道的伸缩气缸驱动进行插拔。这种装置有一定的误差冗余，但是对于误差较大的对接也有插拔失败的可能，且精度不可控。

[0005] 此外机器人的自动充电，给目标插上电源插头等都需要一种精密的接插件技术。

发明内容

[0006] 针对现有技术中的缺陷，本发明的目的是提供一种多用途的接线自动插拔系统及控制方法。

[0007] 根据本发明提供的一种多用途的接线自动插拔系统，包括单目相机、末端执行器、机械臂、移动平台；

[0008] 末端执行器均安装在机械臂的末端，并随机械臂一起运动；

[0009] 单目相机安装在末端执行器上；

[0010] 机械臂设置在移动平台上。

[0011] 优选地，单目相机与末端执行器的朝向一致，末端执行器包括抓取接插件的夹爪；机械臂为多自由度的机械臂；接插件具有长方体的盒子，盒子将接线包裹在内；接插件上设置有与夹爪匹配的导向凹槽。

[0012] 根据本发明提供的一种上述的多用途的接线自动插拔系统的控制方法，包括：

[0013] 第一步，令移动平台向接插件固定平台移动；

[0014] 第二步，令末端执行器的夹爪抓取接插件；

[0015] 第三步，令单目相机拍摄需要进行插拔作业的目标，识别定位需要进行插拔作业的插座或接口，得到机械臂与插座或接口的相对位置关系，判断接插件能否插入到插座或接口中；如果能够插入，则进步步骤4继续执行；若不能够插入，则调整移动平台的位置，直到插件能否插入到插座或接口中；

[0016] 第四步，根据机械臂与插座或接口的相对位置关系，得到机械臂的末端移动策略；根据所述移动策略，令机械臂进行运动，直到机械臂到达能够进行插拔作业的位置姿态；

[0017] 第五步，令机械臂向垂直于插座或接口所在平面的方向进行插拔作业。

[0018] 优选地，在所述第二步中，令单目相机拍摄接插件固定平台上的标记点，识别定位标记点，得到机械臂与接插件固定平台上的接插件的相对位置关系，判断末端执行器的夹爪是否能抓取到接插件；若能抓取到接插件，则令夹爪进行抓取；否则，则调整移动平台的位置，直到夹爪能够抓取到接插件。

[0019] 优选地，所述识别定位的方法包括：

[0020] 步骤A：找到单目相机的拍摄图像与模板中尺度不变的特征点；

[0021] 步骤B：根据特征点获得匹配点，并计算拍摄图像与模板的单应性变换矩阵；

[0022] 步骤C：将模板上的五个以上的已知实际尺寸的直角顶点映射到拍摄图像上，得到映射点，将映射点所在的区域定义为感兴趣区域；

[0023] 步骤D：在感兴趣区域中寻找与直角顶点对应的图像直角顶点；

[0024] 步骤E：由拍摄图像上的二维坐标与已知实际尺寸的直角顶点的三维坐标，得到单相相机的相机平面与目标平面的坐标系变换矩阵；

[0025] 步骤F：将相机平面与目标平面的坐标系变换矩阵，作为机械臂末端的姿态变换矩阵。

[0026] 优选地，在第一步之前，先人工将机械臂抓取的接插件垂直于插口表面，在接插件的插头相对于插入插口的位置为设定位置时，用单相相机拍摄一幅图作为模板。

[0027] 与现有技术相比，本发明具有如下的有益效果：

[0028] 本发明通过手眼系统，能够用安装在机械臂末端的单目相机识别并定位接插口，用机械臂抓取接插件，以插拔位置不固定、朝向不固定各种插口，如网线口、USB插口、电源线插口、电源插座等。通过相机识别接口，可以准确找到需要插拔的接口。通过对接口形状尺寸建立简单模型，可以准确定位接口的位置，以便完成精确的插拔工作。不同的接线可固定于外形尺寸一致的外壳中，成为统一的接插件，便于机械臂抓取和插拔。

附图说明

[0029] 通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

[0030] 图1是本发明提供的一种多用途的接线自动插拔系统中，放置接插件的接插件固定平台与待插入插头的对应结构示意图。

[0031] 图2是本发明提供的一种多用途的接线自动插拔系统的控制方法的步骤流程图。

[0032] 图3是本发明提供的一种多用途的接线自动插拔系统的控制方法中初始化的步骤流程图。

[0033] 图4是本发明提供的一种多用途的接线自动插拔系统的控制方法中识别定位的步骤流程图。

[0034] 图中：

[0035] 1-接插件的正面；2-接插件的背面；3-接插件固定平台；4-需要进行插拔作业的目标；5-插座或接口；6-标记点。

具体实施方式

[0036] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

[0037] 本发明能自动抓取接线，自动插拔，完成测试质检工序或充电等工作。本发明一方面不局限于单一种类的接线，能够在同一工序中插拔不同的接线，另一方面能够通过单个单目相机，定位接口的位置，自动修正插拔的误差，实现高精度的插拔工作。

[0038] 根据本发明提供的一种多用途的接线自动插拔系统，包括单目相机、末端执行器、机械臂、移动平台；末端执行器均安装在机械臂的末端，并随机械臂一起运动；单目相机安装在末端执行器上；机械臂设置在移动平台上。单目相机与末端执行器的朝向一致，末端执行器包括抓取接插件的夹爪；机械臂为多自由度的机械臂；接插件具有长方体的盒子，盒子将接线包裹在内；接插件上设置有与夹爪匹配的导向凹槽。

[0039] 具体地，末端执行器包括可以牢固地抓取接插件的夹爪，夹爪上方可以安装固定一个与夹爪方向一致的单目相机，不妨碍插拔且能看清插拔目标的位置，用于定位插口。所述机械臂是6自由度机械臂，接插件与插口的对准和插拔由机械臂完成。所述接插件是硬质轻便材料制成，呈长方体，两侧有导向凹槽，便于机械臂末端执行器抓取且抓取在同一位置。接插件内部用多个螺丝把接线牢牢固定，使得接线只有插头部分暴露在外，且与外壳朝向一致，相对位置不变，不同的接线都可以被固定于统一外形的外壳中，成为接插件。各种接线的外壳形状尺寸一致，方便机械臂抓取；机械臂安装在一个可以自由移动的移动平台上；使用模式识别技术识别并定位各种插口。末端执行器包括可以牢固地抓取接插件的夹爪，夹爪上方可以安装固定一个与夹爪方向一致的单目相机，不妨碍插拔且能看清插拔目标的位置，用于定位插口。

[0040] 单目相机固定在机械臂末端执行器上，形成手眼系统，它通过图像识别并定位接口的位置，调整机械臂末端相对于接口的姿态和位置，进行接插件操作。单目相机是视觉系统。接插件是由硬塑料或金属制成轻便方形的外壳包裹各种接线而成，两侧有导向凹槽，便于机械臂末端执行器夹取且夹取在固定位置。接插件把接线包裹在内，形成一个长方体盒子，露出前端的接线头和末端的接线，接插件用多个螺丝把接线牢牢固定，使接线和接插件的相对位置不变，且不同的接线都可以被固定于统一外形的接插件中。机械臂可以安装在移动平台上用于多工位的任务，也可以安装在固定位置，执行单工位的任务。移动平台能装载移动机械臂在不同工位执行任务。

[0041] 更为具体地，如图1所示，接插两侧有导向凹槽，与末端执行器的夹爪尺寸匹配，便于末端执行器牢固地夹取。接插件把各种接头插头固定起来，形成统一的外壳，只留出插头和线，方便统一设计和使用。接插件固定平台有凹槽，可以放置接插件，使接插件在插件固定平台上处于相对固定的位置。标记点贴在插件固定平台上，单目相机识别标记点后，即可确定单目相机与标记点的相对位姿关系，由于接插件和插件固定平台的位置相对固定，标记点和插件固定平台的位置相对固定，单目相机和末端执行器的位置相对固定，我们可以得到末端执行器、单目相机、接插件、插件固定平台之间的相对位置关系。由末端执行器和接插件的相对位置，可以方便地抓取接插件。其中识别标记点的方法可以使用识别圆形标记点或棋盘格角点，确定单目相机与标记点的相对位姿关系的方法使用透视多个平面三维点的方法。需要进行插拔作业的目标，如交换机等由流水线运送到插件固定平台附近。

[0042] 根据本发明提供的一种上述的多用途的接线自动插拔系统的控制方法，包括：

[0043] 第一步，令移动平台向接插件固定平台移动；

[0044] 第二步，令末端执行器的夹爪抓取接插件；

[0045] 第三步，令单目相机拍摄需要进行插拔作业的目标，识别定位需要进行插拔作业的插座或接口，得到机械臂与插座或接口的相对位置关系，判断接插件能否插入到插座或接口中；如果能够插入，则进步步骤4继续执行；若不能够插入，则调整移动平台的位置，直到插件能否插入到插座或接口中；

[0046] 第四步，根据机械臂与插座或接口的相对位置关系，得到机械臂的末端移动策略；根据所述移动策略，令机械臂进行运动，直到机械臂到达能够进行插拔作业的位置姿态；

[0047] 第五步，令机械臂向垂直于插座或接口所在平面的方向进行插拔作业。

[0048] 在所述第二步中，令单目相机拍摄接插件固定平台上的标记点，识别定位标记点，得到机械臂与接插件固定平台上的接插件的相对位置关系，判断末端执行器的夹爪是否能抓取到接插件；若能抓取到接插件，则令夹爪进行抓取；否则，则调整移动平台的位置，直到夹爪能够抓取到接插件。或者，也可以人工将接插件安装在夹爪上。

[0049] 进一步地，所述识别定位的方法包括：

[0050] 步骤A：找到单目相机的拍摄图像与模板中尺度不变的特征点；

[0051] 步骤B：根据特征点获得匹配点，并计算拍摄图像与模板的单应性变换矩阵；

[0052] 步骤C：将模板上的五个以上的已知实际尺寸的直角顶点映射到拍摄图像上，得到映射点，将映射点所在的区域定义为感兴趣区域；

[0053] 步骤D：在感兴趣区域中寻找与直角顶点对应的图像直角顶点；

[0054] 步骤E：由拍摄图像上的二维坐标与已知实际尺寸的直角顶点的三维坐标，得到单相相机的相机平面与目标平面的坐标系变换矩阵；

[0055] 步骤F：将相机平面与目标平面的坐标系变换矩阵，作为机械臂末端的姿态变换矩阵。

[0056] 在第一步之前，先人工将机械臂抓取的接插件垂直于插口表面，在接插件的插头相对于插入插口的位置为设定位置时，用单相相机拍摄一幅图作为模板。

[0057] 具体地，如图2所示，本发明提供的控制方法，包括：第一步，移动平台移动到接插件固定平台的前方。对于需要抓取接插件的情况，第二步，拍摄标记点照片，识别并定位标记点，计算多自由度机械臂到接插件的相对位置关系，判断是否能抓取到接插件，能则抓取，不能则调整移动平台的位置，再次执行第二步。对于不需要抓取接插件的情况，即接插件已经固定在末端执行器3上，跳过第二步，直接执行第三步。第三步，拍摄需要进行插拔作业的目标，识别并定位需要进行插拔作业的各种插座或接口，计算多自由度机械臂到各种插座或接口的相对位置关系，判断接插件能否插入到各种插座或接口，如果不能，则调整移动平台的位置，再次执行第三步。第四步，由第三步计算得到的多自由度机械臂到各种插座或接口的相对位置关系，得到多自由度机械臂的末端移动策略，多自由度机械臂运动，并判断多自由度机械臂是否达到了可以直接进行插拔作业的位置姿态，如果没达到，则重复执行第四步。第五步，多自由度机械臂向垂直于各种插座或接口的平面进行插拔作业。

[0058] 接下来，结合图4所示模式识别处理的工作流程图介绍模式识别定位技术。第一步，用SURF等特征点检测方法找到图像与模板中足够多的稳定的尺度不变的特征点。第二步，用KNN等最近邻算法获得匹配点，并计算图像与模板的单应性变换矩阵。第三步，把模板上的已知实际尺寸的较为明显的直角点(直角点数量要大于四个)映射到图像上，在图像的这些映射点周围划为感兴趣区域。第四步，在图像感兴趣区域中运用基于概率的灰度加权法寻找与模板角点对应的图像直角点。第五步，由图像上的二维坐标与已知实际尺寸直角点的三维坐标得到相机平面与目标平面的坐标系变换矩阵。第六步，计算出机械臂末端的姿态变换。计算得到的姿态变换矩阵是相机平面所在坐标系到目标平面所在坐标系的变换矩阵。

[0059] 以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。