本发明提供一种基于视觉测速定位的机械臂引导系统和方法，其系统包括机械臂、传送带、摄像机和上位机控制器，所述传送带放置在机械臂活动范围内，所述摄像机安装在传送带上方，所述上位机控制器连接摄像机和机械臂，用于接收摄像机获取的图像数据，并通过视觉软件测速定位后，发送控制指令给机械臂，引导机械臂抓取传送带上的工件。该机械臂引导系统相比单独的机械臂来说，设置更灵活，能够抓取不同位置的工件，可应用范围更广；相比视觉伺服系统来说，效率更高，成本更低，其能配合不同生产线，完成不同工序，且对现有生产线改动少，投资低。
1.一种基于视觉测速定位的机械臂引导系统，其特征在于：包括机械臂、传送带、摄像机和上位机控制器，所述传送带放置在机械臂活动范围内，所述摄像机安装在传送带上方，所述上位机控制器连接摄像机和机械臂，用于接收摄像机获取的图像数据，并通过视觉软件测速定位后，发送控制指令给机械臂，引导机械臂抓取传送带上的工件；所述上位机控制器包括视觉标定模块、视觉识别定位模块、视觉测速模块和视觉引导机械臂模块；
所述视觉标定模块，用于建立坐标系，并记录机械臂的初始坐标，完成工件视觉坐标到机械臂的坐标的转换；
所述视觉识别定位模块，用于获得目标工件的位置以及摆放角度；
所述视觉测速模块，用于确定目标工件位于传送带的位置以及运动速度；
所述视觉识别定位模块和视觉测速模块将摄像机的视野分成定位部分以及测速部分，所述定位部分位于传送带前端，所述测速部分位于传送带后端，在定位部分获得目标工件的位置以及摆放角度，在确定目标工件位于传送带的位置以及运动速度；
所述视觉引导机械臂模块，用于根据视觉标定模块、视觉识别定位模块和视觉测速模块所得到的数据引导机械臂前去抓取目标工件。
2.一种基于视觉测速定位的机械臂引导方法，其特征在于：包括机械臂、传送带和摄像机，传送带放置在机械臂活动范围内，摄像机安装在传送带上方；
步骤S1、在摄像机的视野内标出原点、x轴、y轴，建立坐标系，在摄像机的视野内设定定位部分和测速部分，定位部分位于传送带前端，测速部分位于传送带后端；
步骤S2、记录机械臂的初始坐标，完成工件视觉坐标到机械臂的坐标的转换；
步骤S4、在目标工件出现在定位部分时，通过对比模板工件的原图模板和缩放图模板，获得目标工件的位置以及摆放角度；
步骤S5、在目标工件出现在测速部分时，确定目标工件位于传送带的位置以及运动速度，在定位部分获取到目标工件中心位置，并记录此时时间，再在测速部分获取到目标工件中心位置，并记录此时时间，通过计算获得距离差和传送速度；
步骤S6、根据机械臂的位置与目标工件位置、摆放角度和运动速度引导机械臂抓取目标工件。
3.根据权利要求2所述的一种基于视觉测速定位的机械臂引导方法，其特征在于：步骤S2中，控制机械臂运动到坐标系对应的坐标位置，该位置作为机械臂的初始位置，并记录当前位置的机械臂的坐标，通过计算获得坐标系到机械臂的坐标的转换矩阵。
4.根据权利要求2所述的一种基于视觉测速定位的机械臂引导方法，其特征在于：步骤S3中，对待抓取模板工件进行拍照，并对原图进行缩放处理，再对原图及缩放图做Sobel梯度处理，求出模板中X方向的梯度方向图之和与Y方向的梯度方向图之和，再分别求出不同角度的梯度图之和，累加作为最终的原图模板和缩放图模板。
5.根据权利要求4所述的一种基于视觉测速定位的机械臂引导方法，其特征在于：步骤S4中，获取目标工件的图像，获得该图像的缩放图，计算该缩放图的特征与缩放图模板的差异，获取目标区域，将目标区域映射至原图模板，提取原图模板的相应区域的图像特征与待检测工件的图像特征作比对,如果差异在规定阈值内，则选择差异最小的目标区域作为最终位置，如果差异超出规定阈值，则判定为非目标，重新获取目标区域，在最终区域，将目标工件的图像与原图模板进行360°旋转匹配，选择匹配值最高的角度及位置作为最终位置，提取该位置中心及角度。
一种基于视觉测速定位的机械臂引导系统和方法
技术领域
[0001] 本发明涉及机械臂设备技术领域，尤其涉及一种基于视觉测速定位的机械臂引导系统和方法。
背景技术
[0002] 随着现代工业的快速发展，无人化、智能化正成为制造业的发展潮流与趋势，机械臂作为一种灵活，高效，高精的载体正得到越来越多地应用。但常规机械臂是通过预先编程
来完成任务的，智能程度低，受限条件多，尤其对于动态工件无法准确定位。而采用视觉伺
服机械臂的话，成本太高，操作复杂。
发明内容
[0003] 本发明的目的就在于为了解决上述问题而提供了一种基于视觉测速定位的机械臂引导系统和方法，能够在简单的机械结构下，精准的对动态工件进行定位。
[0004] 本发明解决其技术问题所采用的技术方案是：
[0005] 一种基于视觉测速定位的机械臂引导系统，包括机械臂、传送带、摄像机和上位机控制器，所述传送带放置在机械臂活动范围内，所述摄像机安装在传送带上方，所述上位机
控制器连接摄像机和机械臂，用于接收摄像机获取的图像数据，并通过视觉软件测速定位
后，发送控制指令给机械臂，引导机械臂抓取传送带上的工件。
[0006] 进一步的，所述上位机控制器包括视觉标定模块、视觉识别定位模块、视觉测速模块和视觉引导机械臂模块；
[0007] 所述视觉标定模块，用于建立坐标系，并记录机械臂的初始坐标，完成工件视觉坐标到机械臂的坐标的转换；
[0008] 所述视觉识别定位模块，用于获得目标工件的位置以及摆放角度；
[0009] 所述视觉测速模块，用于确定目标工件位于传送带的位置以及运动速度；
[0010] 所述视觉引导机械臂模块，用于根据视觉标定模块、视觉识别定位模块和视觉测速模块所得到的数据引导机械臂前去抓取目标工件。
[0011] 一种基于视觉测速定位的机械臂引导方法，包括机械臂、传送带和摄像机，传送带放置在机械臂活动范围内，摄像机安装在传送带上方；
[0012] 该方法包括以下步骤：
[0013] 步骤S1、在摄像机的视野内标出原点、x轴、y轴，建立坐标系；
[0014] 步骤S2、记录机械臂的初始坐标，完成工件视觉坐标到机械臂的坐标的转换；
[0015] 步骤S3、获得模板工件的原图模板和缩放图模板；
[0016] 步骤S4、通过对比模板工件的原图模板和缩放图模板，获得目标工件的位置以及摆放角度；
[0017] 步骤S5、确定目标工件位于传送带的位置以及运动速度；
[0018] 步骤S6、根据机械臂的位置与目标工件位置、摆放角度和运动速度引导机械臂抓取目标工件。
[0019] 优选的，步骤S2中，控制机械臂运动到坐标系对应的坐标位置，该位置作为机械臂的初始位置，并记录当前位置的机械臂的坐标，通过计算获得坐标系到机械臂的坐标的转
换矩阵。
[0020] 优选的，步骤S3中，对待抓取模板工件进行拍照，并对原图进行缩放处理，再对原图及缩放图做Sobel梯度处理，求出模板中X方向的梯度方向图之和与Y方向的梯度方向图
之和，再分别求出不同角度的梯度图之和，累加作为最终的原图模板和缩放图模板。
[0021] 优选的，步骤S4中，获取目标工件的图像，获得该图像的缩放图，计算该缩放图的特征与缩放图模板的差异，获取目标区域，将目标区域映射至原图模板，提取原图模板的相
应区域的图像特征与待检测工件的图像特征作比对,如果差异在规定阈值内，则选择差异
最小的目标区域作为最终位置，如果差异超出规定阈值，则判定为非目标，重新获取目标区
域，在最终区域，将目标工件的图像与原图模板进行360°旋转匹配，选择匹配值最高的角度
及位置作为最终位置，提取该位置中心及角度。
[0022] 优选的，步骤S5中，在传送带前端区域获取到目标工件中心位置，并记录此时时间，再在传送带后端区域获取到目标工件中心位置，并记录此时时间，通过计算获得距离差
和传送速度。
[0023] 本发明的有益效果是：
[0024] 通过采用上述技术方案，本发明相比单独的机械臂来说，设置更灵活，能够抓取不同位置的工件，可应用范围更广；相比视觉伺服系统来说，效率更高，成本更低，其能配合不
同生产线，完成不同工序，且对现有生产线改动少，投资低。
附图说明
[0025] 下面结合附图和实施例对本发明进一步说明。
[0026] 图1是本发明机械臂引导系统的实施结构示意图。
[0027] 附图标记：1、机械臂；2、传送带；3、摄像机；4、上位机控制器。
具体实施方式
[0028] 下面结合附图和具体实施例对本发明作进一步说明，以使本领域技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
[0029] 本实例提供一种基于视觉测速定位的机械臂引导系统，如图1所示，整体装置连接示意图，包括机械臂(四轴、六轴等皆可)、传送带、摄像机和上位机控制器，传送带放置在机
械臂活动范围内，摄像机安装在传送带上方，上位机控制器连接摄像机和机械臂，用于接收
摄像机获取的图像数据，并通过视觉软件测速定位后，发送控制指令给机械臂，引导机械臂
抓取传送带上的工件。
[0030] 具体的，整个系统分为视觉标定模块、视觉识别定位模块、视觉测速模块、视觉引导机械臂模块。
[0031] 视觉标定模块，在将机械臂以及传送带、摄像机等安装好后，首先通过标定法，在摄像机的视野内标出原点、x轴、y轴，建立坐标系，然后控制机械臂的末端分别运动到坐标
系对应的坐标位置，并记录当前位置的机械臂的坐标。通过仿射变换，计算出摄像机坐标系
到机械臂的坐标的转换矩阵M。然后，记录摄像机中心点到机械臂的初始状态时机械臂的末
端的中心点的直线距离L0。
[0032] 视觉识别定位模块，为了满足传送带的高速传输，同时尽可能提升精度，本发明通过两次搜索一次校正的方法，提高定位识别速度及精度。具体步骤如下：
[0033] 模板获取，对待抓取工件取样进行拍照，获取原图S，S为W*H，W为宽，H为高，获得原图模板。
[0034] 模板缩放，对原图模板进行缩放处理得到缩放图S0，S0为W0*H0,W0为宽，H0为高，获得模板图模板。
[0035] 模板特征提取，对原图模板及缩放图模板做Sobel梯度处理，求出模板中x方向的梯度方向图之和与y方向的梯度方向图之和(Gx0,Gy0)，考虑到工件形状的多样性，需要加
强不同角度的梯度方向值，再分别求出90°、180°、270°的梯度方向图之和(Gx1,Gy1),(Gx2,
Gy2),(Gx3,Gy3)累加作为最终的模板特征(Gx,Gy)；
[0036]
[0037]
[0038] Gx＝Gx0+Gx1+Gx2+Gx3
[0039] Gy＝Gy0+Gy1+Gy2+Gy3
[0040] 粗搜索，获取待检测工件的图像，从缩放后的待检测图S0的左上角开始搜索，搜索窗口大小为缩放图模板大小W0*H0，计算每个窗口内的特征(Gx',Gy')与模板值(Gx,Gy)的差
异是否在规定阈值T0，在规定阈值内获取最有可能的三个目标区域A1,A2,A3。
[0041] 细搜索，将A1,A2,A3三个目标区域映射至原图，提取原图的相应区域的图像特征与模板特征作比对,如果差异在规定阈值T1内，则选择差异最小的作为最终位置A，如果差
异超出规定阈值T1，则判定为非目标，重新进入粗搜索步骤。
[0042] 角度匹配，为了获取工件的最合适角度，在最终区域A，将模板按照固定角度(可选则1°至30°，度数越小精度越高，时间越长；反之亦然)进行360°旋转匹配，选择匹配值最高
的角度及位置作为最终位置，提取该位置中心P(xfinal,yfinal)及角度θ。
[0043] 视觉测速模块，分为两部分，定位部分以及测速部分；定位部分Q1位于传送带前端，在该区域主要调用视觉识别定位模块，获取到中心位置P1(xfinal,yfinal)，并记下此时时
间t1，测速部分Q2位于摄像机视野内，传送带运行方向后端，该区域首先通过视觉识别定位
模块获取到中心位置P2(xfinal,yfinal)，同时记下此时时间t2，然后计算出此时距离差Pdif，
传送速度V，转换关系如下：
[0044] Pdif＝P1(xfinal,yfinal)‑P2(xfinal,yfinal)
[0045] V＝Pdif*M/(t2‑t1)
[0046] Pm＝L0‑P2*Mx
[0047] ym＝yfinal*My
[0048] tleft＝Pm/V
[0049] 其中，Pm表示机械臂初始位置距离测速区域的工件距离，M为摄像机坐标到机械臂坐标的转换矩阵，Mx表示M矩阵在x方向，也就是传送带运动方向的转换矩阵，My则是沿y方向
的转转矩阵。ym是机械臂沿y需要运动的坐标值。tleft则是工件运动到机械臂位置所需的时
间。
[0050] 视觉引导机械臂模块，通过上位机系统发送延迟tleft的坐标指令P3(0,ym,θ)引导机械臂前去抓取工件。
[0051] 本发明的上述实施例并不是对本发明保护范围的限定，本发明的实施方式不限于此，凡此种种根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本
发明上述基本技术思想前提下，对本发明上述结构做出的其它多种形式的修改、替换或变
更，均应落在本发明的保护范围之内。
