本发明公开了一种结合视觉识别并针对茶具抓取的机械臂装置及使用方法。包括机械臂及控制系统、机械臂末端执行器、视觉装置和抓取辅助结构。机械臂末端执行器包括法兰基座、第一撑脚、第二撑脚、第一气动手指、第二气动手指、第一夹具、第二夹具和相机托架，抓取辅助结构加装于待抓取物处，设有视觉识别特征点，第一夹具与抓取辅助结构可机械配合进行抓取，视觉装置安装在相机托架上，内部安装图像处理软件，7个控制信号与机械臂控制系统连接，对第一夹具与抓取辅助结构相对位置进行补正，能够实现对不规则物体的抓取。本发明的对不规则物体适应性强、可扩展，视觉识别反馈精准抓取，计算量小，并且降低了成本。
1.一种结合视觉识别并针对茶具抓取的机械臂装置，其特征在于：包括机械臂、机械臂控制系统、机械臂末端执行器、视觉装置(9)和抓取辅助结构(10)；机械臂控制系统用于控制机械臂完成作业；
机械臂末端执行器包括法兰基座(1)、第一撑脚(4)、第二撑脚(5)、第一气动手指(2)、第二气动手指(3)、第一夹具(6)、第二夹具(7)和相机托架(8)；法兰基座(1)通过螺栓固定于机械臂末端，法兰基座(1)底部两侧分别通过第一撑脚(4)和第二撑脚(5)的外侧面安装有第一气动手指(2)和第二气动手指(3)，第一气动手指(2)末端夹爪安装有夹取抓取辅助结构(10)的第一夹具(6)，第二气动手指(3)末端夹爪安装有第二夹具(7)；第二撑脚(5)内侧面通过相机托架(8)固定有视觉装置(9)，视觉装置(9)远离第二气动手指(3)的一面安装有摄像头，视觉装置(9)内部安装有图像处理软件，视觉装置(9)在机械臂抓取过程中拍摄待抓取物；
第二夹具(7)由两根长条状夹取棒组成，两根夹取棒通过第二气动手指(3)末端夹爪控制闭合和分离以实现第二夹具(7)的抓取功能；
抓取辅助结构(10)一端开有嵌装固定茶壶(11)手柄的通槽，另一端设有便于第一夹具(6)夹取的把手，抓取辅助结构另一端上端面涂覆有两块对称的识别框(12)，两块识别框(12)的颜色为抓取辅助结构(10)整体颜色的互补色。
2.根据权利要求1所述的一种结合视觉识别并针对茶具抓取的机械臂装置，其特征在于：第一气动手指(2)和第二气动手指(3)型号为MHZ2-20D，机械臂采用三菱RV-2F-D垂直多关节型工业机器人，机械臂控制系统采用CR751-D型机器人控制器。
3.根据权利要求1所述的一种结合视觉识别并针对茶具抓取的机械臂装置，其特征在于：视觉装置(9)具体型号采用OpenMV3模块；机械臂控制系统的输出OUT1通过信号线经继电器与OpenMV3模块的P1端口连接，机械臂控制系统的输入IN1～IN6通过信号线经光耦模块分别与OpenMV3模块的P2～P7端口连接，机械臂控制系统的24V电源和GND经24V转5V模块为OpenMV3模块供电。
4.采用权利要求1-3任一所述机械臂装置的一种结合视觉识别并针对茶具抓取的机械臂使用方法，其特征在于，包括茶壶(11)的抓取与茶水倾倒：具体步骤如下：
步骤1)：标定视觉装置(9)拍摄画面：机械臂控制系统控制第一夹具(6)处于第一夹具(6)的抓取准备位姿，将此时视觉装置(9)拍摄画面中抓取辅助结构(10)的抓取中心和抓取轴线标定为视觉装置(9)拍摄画面的标定中心、标定线；
所述第一夹具的抓取准备位姿为第一夹具沿第一夹具中心轴轴向插补24mm后能夹取抓取辅助结构(10)把手的位置；抓取准备位姿包括抓取准备位置和抓取准备姿态；
步骤2)：通过示教获取第一夹具(6)的抓取准备位置在世界坐标系下的三维坐标点，将三维坐标点输入机械臂控制系统获得机械臂的运动轨迹，机械臂按规定运动轨迹运动至抓取第一夹具的抓取准备位置；
步骤3)：机械臂控制系统输出图像处理开启信号至视觉装置(9)，视觉装置(9)拍摄到含有抓取辅助结构(10)的画面，视觉装置(9)根据抓取辅助结构(10)中识别框(12)位置调整第一夹具抓取准备姿态，调整结束后发出完全补正信号至机械臂控制系统；
步骤4)：机械臂控制系统接收到完全补正信号后，控制第一夹具(6)沿第一夹具(6)中心轴轴向直线插补24mm，闭合抓手，完成抓取辅助结构(10)的夹取；
步骤5)：通过示教获取茶壶(11)壶嘴到达茶杯上方时壶嘴的位姿一，将壶嘴的位姿一输入机械臂控制系统后获得机械臂的运动轨迹，机械臂根据运动轨迹运动的同时带动茶壶(11)运动至壶嘴的位姿一，此时茶壶(11)处于水平位置；
步骤6)：通过示教获取茶壶(11)内茶水倾倒于茶杯内时壶嘴的位姿二，对壶嘴的位姿一与壶嘴的位姿二进行直线插补获得机械臂带动茶壶(11)倾倒茶水的运动轨迹，机械臂根据运动轨迹运动的同时带动茶壶(11)运动至壶嘴的位姿二，停留设定时间T，完成茶水倾倒。
5.根据权利要求4所述的一种结合视觉识别并针对茶具抓取的机械臂使用方法，其特征在于，所述步骤1)中抓取辅助结构(10)的抓取中心为两个识别框(12)质心连线的中点，抓取辅助结构(10)的抓取轴为两个识别框(12)的质心连线，识别框(12)的质心为识别框(12)的中心点。
6.根据权利要求4所述的一种结合视觉识别并针对茶具抓取的机械臂使用方法，其特征在于，所述步骤3)中视觉装置(9)根据抓取辅助结构(10)中识别框(12)位置调整第一夹具抓取准备姿态的具体过程如下：
3.1)视觉装置(9)将抓取辅助结构(10)的抓取中心与拍摄画面的标定中心进行比较得到直线偏差值，视觉装置(9)根据直线偏差值向机械臂控制系统发出X正方向/X负方向/Y正方向/Y负方向的信号，机械臂根据信号进行机械臂的微小位移插补，当抓取中心与标定中心偏差小于±0.1mm时，发出位置补正信号；
3.2)视觉装置将抓取辅助结构(10)的抓取轴线与拍摄画面的标定线进行比较得到旋转偏差值，视觉装置(9)根据旋转偏差值向机械臂控制系统发出顺时针旋转/逆时针旋转信号，机械臂根据信号以标定中心为中心进行微小角度旋转，当抓取轴线与标定线角度偏差小于±0.5°时，发出完全补正信号。
7.根据权利要求4所述的一种结合视觉识别并针对茶具抓取的机械臂使用方法，其特征在于，还包括茶杯抓取：通过示教获取第二夹具(7)抓取茶杯边沿时第二夹具(7)的位姿，将第二夹具(7)的位姿输入机械臂控制系统，机械臂控制系统获得机械臂带动第二夹具(7)运动的运动轨迹，机械臂根据运动轨迹运动，使第二夹具(7)到达茶杯边沿时，茶杯边沿位于第二夹具(7)两根夹取棒之间且第二夹具(7)中心轴轴向保持竖直；然后沿竖直方向向下运动10mm，闭合第二气动手指(3)，完成茶杯抓取。
8.根据权利要求4所述的一种结合视觉识别并针对茶具抓取的机械臂使用方法，其特征在于，还包括茶叶抓取：通过示教获取第二夹具(7)位于茶叶罐中心时第二夹具(7)的位姿，将第二夹具(7)的位姿输入机械臂控制系统，机械臂控制系统获得机械臂带动第二夹具(7)的运动轨迹，机械臂根据运动轨迹运动，使第二夹具(7)到达茶叶罐中心时，第二夹具(7)中心轴轴向保持竖直；然后沿竖直方向向下运动10mm～20mm，闭合第二气动手指(3)，完成茶叶抓取。
结合视觉识别并针对茶具抓取的机械臂装置及使用方法
技术领域
[0001] 本发明属于机械臂应用领域，具体是涉及一种结合视觉识别并针对茶具抓取的机械臂装置及使用方法。
背景技术
[0002] 机械臂是指高精度，多输入多输出、高度非线性、强耦合的复杂系统。因其独特的操作灵活性，在各种工业生产过程中都有广泛应用，随着机器人产业的发展，机械臂也应用在个人/家庭服务机器人及特种服务机器人中。
[0003] 在工业分拣装配等场合下，机械臂常对同种规则零件单次抓取，机械臂末端机构采用单一夹具。采取位置固定的视觉装置，可以与机器人进行其他作业期间并行地进行视觉测量，具有缩短总体周期时间的优点，但由于图像畸变需采用硬件或软件校正，计算量大、成本较高。
[0004] 服务机器人抓取物体的特点与工业不同，机械臂常对单一不规则物体多次抓取，因此机械臂末端机构需采用高适应性夹具。
发明内容
[0005] 为了解决背景技术中的问题，本发明提供了一种结合视觉识别并针对茶具抓取的机械臂装置及使用方法，采取固定于机械臂的视觉装置，在机械臂本体移动时也可进行视觉引导，对不规则物体适应性强、可扩展，视觉识别反馈精准抓取，计算量小，并且降低了成本。
[0006] 本发明采用的技术方案如下：
[0007] 一、一种结合视觉识别并针对茶具抓取的机械臂装置
[0008] 包括机械臂、机械臂控制系统、机械臂末端执行器、视觉装置和抓取辅助结构；机械臂控制系统用于控制机械臂完成作业；
[0009] 机械臂末端执行器包括法兰基座、第一撑脚、第二撑脚、第一气动手指、第二气动手指、第一夹具、第二夹具和相机托架；法兰基座通过螺栓固定于机械臂末端，法兰基座底部两侧分别通过第一撑脚和第二撑脚的外侧面安装有第一气动手指和第二气动手指，第一气动手指末端夹爪安装有夹取抓取辅助结构的第一夹具，第二气动手指末端夹爪安装有第二夹具；第二撑脚内侧面通过相机托架固定有视觉装置，视觉装置远离第二气动手指的一面安装有摄像头，视觉装置内部安装有图像处理软件，视觉装置在机械臂抓取过程中拍摄待抓取物；
[0010] 第二夹具由两根长条状夹取棒组成，两根夹取棒通过第二气动手指末端夹爪控制闭合和分离以实现第二夹具的抓取功能；
[0011] 抓取辅助结构一端开有嵌装固定茶壶手柄的通槽，另一端设有便于第一夹具夹取的把手，抓取辅助结构另一端上端面涂覆有两块对称的识别框，两块识别框的颜色为抓取辅助结构整体颜色的互补色；通槽内径配合茶壶手柄外径设计，防止抓取时茶壶手柄滑落。
[0012] 第一气动手指和第二气动手指型号为MHZ2-20D，机械臂采用三菱RV-2F-D垂直多关节型工业机器人，机械臂控制系统采用CR751-D型机器人控制器。
[0013] 视觉装置具体型号采用OpenMV3模块。机械臂控制系统的输出OUT1通过信号线经继电器与OpenMV3模块的P1端口连接，机械臂控制系统的输入IN1～IN6通过信号线经光耦模块分别与OpenMV3模块的P2～P7端口连接，机械臂控制系统的24V电源和GND经24V转5V模块LM2596S为OpenMV3模块供电。
[0014] 二、采用上述任一装置的一种结合视觉识别并针对茶具抓取的机械臂使用方法[0015] 包括茶壶的抓取与茶水倾倒，具体步骤如下：
[0016] 步骤1)：标定视觉装置拍摄画面：机械臂控制系统控制第一夹具处于第一夹具的抓取准备位姿，将此时视觉装置拍摄画面中抓取辅助结构的抓取中心和抓取轴线标定为视觉装置拍摄画面的标定中心、标定线；
[0017] 所述第一夹具的抓取准备位姿为第一夹具沿第一夹具中心轴轴向插补24mm后能夹取抓取辅助结构把手的位置；抓取准备位姿包括抓取准备位置和抓取准备姿态；
[0018] 步骤2)：通过示教获取第一夹具的抓取准备位置在世界坐标系下的三维坐标点，将三维坐标点输入机械臂控制系统获得机械臂的运动轨迹，机械臂按规定运动轨迹运动至抓取第一夹具的抓取准备位置；
[0019] 步骤3)：机械臂控制系统输出图像处理开启信号至视觉装置，视觉装置拍摄到含有抓取辅助结构的画面，视觉装置根据抓取辅助结构中识别框位置调整第一夹具抓取准备姿态，调整结束后发出完全补正信号至机械臂控制系统；
[0020] 步骤4)：机械臂控制系统接收到完全补正信号后，控制第一夹具沿第一夹具中心轴轴向直线插补24mm，闭合抓手，完成抓取辅助结构的精准夹取；
[0021] 步骤5)：通过示教获取茶壶壶嘴到达茶杯上方时壶嘴的位姿一，将壶嘴的位姿一输入机械臂控制系统后获得机械臂的运动轨迹，机械臂根据运动轨迹运动的同时带动茶壶运动至壶嘴的位姿一，此时茶壶处于水平位置；
[0022] 步骤6)：通过示教获取茶壶内茶水倾倒于茶杯内时壶嘴的位姿二，对壶嘴的位姿一与壶嘴的位姿二进行直线插补获得机械臂带动茶壶倾倒茶水的运动轨迹，机械臂根据运动轨迹运动的同时带动茶壶运动至壶嘴的位姿二，停留设定时间T，完成茶水倾倒；
[0023] 所述步骤1)中抓取辅助结构的抓取中心为两个识别框质心连线的中点，抓取辅助结构的抓取轴为两个识别框的质心连线，识别框的质心为识别框的中心点；
[0024] 所述步骤3)中视觉装置根据抓取辅助结构中识别框位置调整第一夹具抓取准备姿态的具体过程如下：
[0025] 3.1)视觉装置将抓取辅助结构的抓取中心与拍摄画面的标定中心进行比较得到直线偏差值，视觉装置根据直线偏差值向机械臂控制系统发出X正方向/X负方向/Y正方向/Y负方向的信号，机械臂根据信号进行机械臂的微小位移插补，当抓取中心与标定中心偏差小于±0.1mm时，发出位置补正信号；
[0026] 3.2)视觉装置将抓取辅助结构的抓取轴线与拍摄画面的标定线进行比较得到旋转偏差值，视觉装置根据旋转偏差值向机械臂控制系统发出顺时针旋转/逆时针旋转信号，机械臂根据信号以标定中心为中心进行微小角度旋转，当抓取轴线与标定线角度偏差小于±0.5°时，发出完全补正信号。
[0027] 机械臂控制系统的OUT1输出信号为图像处理开启信号；视觉装置的P2～P7输出信号为图像处理输出信号，步骤3.1)中，P2的输出信号为X正方向信号、P3为X负方向信号、P4为Y正方向信号、P5为Y负方向信号，P2～P5输出高电平且P6～P7输出低电平为位置补正信号，步骤3.2)中，P6为顺时针旋转、P7为逆时针旋转，P2～P7输出高电平为完全补正信号。
[0028] 还包括茶杯抓取：通过示教获取第二夹具抓取茶杯边沿时第二夹具的位姿，将第二夹具的位姿输入机械臂控制系统，机械臂控制系统获得机械臂带动第二夹具运动的运动轨迹，机械臂根据运动轨迹运动，使第二夹具到达茶杯边沿时，茶杯边沿位于第二夹具两根夹取棒之间且第二夹具中心轴轴向保持竖直；然后沿竖直方向向下运动10mm，闭合第二气动手指，完成茶杯抓取。
[0029] 还包括茶叶抓取：通过示教获取第二夹具位于茶叶罐中心时第二夹具的位姿，将第二夹具的位姿输入机械臂控制系统，机械臂控制系统获得机械臂带动第二夹具的运动轨迹，机械臂根据运动轨迹运动，使第二夹具到达茶叶罐中心时，第二夹具中心轴轴向保持竖直；然后沿竖直方向向下运动10mm～20mm，此时第二夹具已经伸入茶叶中，闭合第二气动手指，完成茶叶抓取。
[0030] 本发明的有益效果是：
[0031] 本发明能够实现对多个不规则待抓取物的多次、准确抓取，适应性强，抓取辅助结构可扩展性强。视觉装置固定于机械臂末端，拍摄图像无畸变，视觉识别特征点明显，图像处理计算量小，使用OpenMV3视觉模块作为视觉装置，电路简单、控制方便，成本较低，具有广泛的应用前景。
附图说明
[0032] 图1为机械臂末端支架、第一夹具、第二夹具轴测图。
[0033] 图2为抓取辅助结构轴测图。
[0034] 图3为控制系统连接图。
[0035] 图4为抓取辅助结构俯视图。
[0036] 图5为本发明第一夹具打开时工作状态图。
[0037] 图6为本发明第一夹具关闭时工作状态图。
[0038] 图中：1、法兰基座，2、第一气动手指，3、第二气动手指，4、第一撑脚，5、第二撑脚，6、第一夹具，7、第二夹具，8、相机托架，9、视觉装置，10、抓取辅助结构，11、茶壶，12、识别框。
具体实施方式
[0039] 下面结合附图和实施例对本发明进一步说明。
[0040] 如图1所示，本发明包括机械臂、机械臂控制系统、机械臂末端执行器、视觉装置9；机械臂末端执行器包括法兰基座1、第一撑脚4、第二撑脚5、第一气动手指2、第二气动手指
3、第一夹具6、第二夹具7和相机托架8；法兰基座1通过螺栓固定于机械臂末端，法兰基座1底部两侧分别通过第一撑脚4和第二撑脚5的外侧面安装有第一气动手指2和第二气动手指
3，第一气动手指2末端夹爪安装有夹取抓取辅助结构10的第一夹具6，第二气动手指3末端夹爪安装有第二夹具7；第二撑脚5内侧面通过相机托架8固定有视觉装置9，视觉装置9远离第二气动手指3的一面安装有摄像头，视觉装置9内部安装有图像处理软件，视觉装置9在机械臂抓取过程中拍摄待抓取物；
[0041] 第一夹具6、第二夹具7是可拆卸的。第一夹具6对称分为两片，第一夹具6打开时可平移靠近抓取辅助结构10，第一夹具6闭合时可与抓取辅助结构10把手配合。
[0042] 第二夹具7由两根长条状夹取棒组成，两根夹取棒通过第二气动手指3末端夹爪控制闭合和分离以实现第二夹具7的抓取功能。
[0043] 如图2和图4所示，还包括抓取辅助结构10，抓取辅助结构10一端开有嵌装固定茶壶手柄的通槽，另一端设有便于第一夹具6夹取的把手，抓取辅助结构另一端上端面涂覆有两块对称的识别框12，两块识别框12的颜色为抓取辅助结构整体颜色的互补色；通槽内径配合茶壶手柄外径设计，防止抓取时茶壶手柄滑落。
[0044] 第一气动手指2和第二气动手指3型号为MHZ2-20D，机械臂采用三菱RV-2F-D垂直多关节型工业机器人，机械臂控制系统采用CR751-D型机器人控制器。
[0045] 具体实施例：
[0046] 茶壶的抓取与茶水倾倒：
[0047] 步骤1)：标定视觉装置9拍摄画面：机械臂控制系统控制第一夹具6处于第一夹具6的抓取准备位姿，将此时视觉装置9拍摄画面中抓取辅助结构10的抓取中心和抓取轴线标定为视觉装置9拍摄画面的标定中心、标定线；
[0048] 所述第一夹具的抓取准备位姿为第一夹具沿第一夹具中心轴轴向插补24mm后能夹取抓取辅助结构10把手的位置，工作状态如图5所示；抓取准备位姿包括抓取准备位置和抓取准备姿态；
[0049] 抓取辅助结构10的抓取中心为两个识别框12质心连线的中点，抓取辅助结构10的抓取轴为两个识别框12的质心连线，识别框12的质心为识别框12的中心点。
[0050] 步骤2)：通过示教获取第一夹具6的抓取准备位置在世界坐标系下的三维坐标点，将三维坐标点输入机械臂控制系统获得机械臂的运动轨迹，机械臂按规定运动轨迹运动至抓取第一夹具的抓取准备位置。
[0051] 步骤3)：机械臂控制系统输出图像处理开启信号至视觉装置9，视觉装置9拍摄到含有抓取辅助结构10的画面，视觉装置9根据抓取辅助结构10中识别框12位置调整第一夹具抓取准备姿态，调整结束后发出完全补正信号至机械臂控制系统。
[0052] 视觉装置9根据抓取辅助结构10中识别框12位置调整第一夹具抓取准备姿态的具体过程如下：
[0053] 3.1)视觉装置9将抓取辅助结构10的抓取中心与拍摄画面的标定中心进行比较得到直线偏差值，视觉装置9根据直线偏差值向机械臂控制系统发出X正方向/X负方向/Y正方向/Y负方向的信号，机械臂根据信号进行机械臂的微小位移插补，当抓取中心与标定中心偏差小于±0.1mm时，发出位置补正信号；
[0054] 3.2)视觉装置将抓取辅助结构10的抓取轴线与拍摄画面的标定线进行比较得到旋转偏差值，视觉装置9根据旋转偏差值向机械臂控制系统发出顺时针旋转/逆时针旋转信号，机械臂根据信号以标定中心为中心进行微小角度旋转，当抓取轴线与标定线角度偏差小于±0.5°时，发出完全补正信号。
[0055] 步骤4：如图6所示，机械臂控制系统接收到完全补正信号后，控制第一夹具6沿第一夹具6中心轴轴向直线插补24mm，闭合抓手，完成抓取辅助结构10的精准夹取。
[0056] 步骤5)：通过示教获取茶壶壶嘴到达茶杯上方时壶嘴的位姿一，将壶嘴的位姿一输入机械臂控制系统后获得机械臂的运动轨迹，机械臂根据运动轨迹运动的同时带动茶壶运动至壶嘴的位姿一，此时茶壶处于水平位置。
[0057] 步骤6)：通过示教获取茶壶内茶水倾倒于茶杯内时壶嘴的位姿二，对壶嘴的位姿一与壶嘴的位姿二进行直线插补获得机械臂带动茶壶倾倒茶水的运动轨迹，机械臂根据运动轨迹运动的同时带动茶壶运动至壶嘴的位姿二，停留设定时间T，完成茶水倾倒。
[0058] 茶杯抓取：
[0059] 通过示教获取第二夹具7抓取茶杯边沿时第二夹具7的位姿，将第二夹具7的位姿输入机械臂控制系统，机械臂控制系统获得机械臂带动第二夹具7运动的运动轨迹，机械臂根据运动轨迹运动，使第二夹具7到达茶杯边沿时，茶杯边沿位于第二夹具7两根夹取棒之间且第二夹具7中心轴轴向保持竖直；然后沿竖直方向向下运动10mm，闭合第二气动手指3，完成茶杯抓取。
[0060] 茶叶抓取：
[0061] 通过示教获取第二夹具7位于茶叶罐中心时第二夹具7的位姿，将第二夹具7的位姿输入机械臂控制系统，机械臂控制系统获得机械臂带动第二夹具7的运动轨迹，机械臂根据运动轨迹运动，使第二夹具7到达茶叶罐中心时，第二夹具7中心轴轴向保持竖直；然后沿竖直方向向下运动10mm～20mm，此时第二夹具7已经伸入茶叶中，闭合第二气动手指3，完成茶叶抓取。
[0062] 如图3所示，视觉装置9具体型号采用OpenMV3模块。机械臂控制系统的输出OUT1通过信号线经继电器与OpenMV3模块的P1端口连接，机械臂控制系统的输入IN1～IN6通过信号线经光耦模块分别与OpenMV3模块的P2～P7端口连接，机械臂控制系统的24V电源和GND经24V转5V模块LM2596S为OpenMV3模块供电。
[0063] 机械臂控制系统的OUT1输出信号为图像处理开启信号；视觉装置9的P2～P7输出信号为图像处理输出信号；步骤3.1)中，P2的输出信号为X正方向信号、P3为X负方向信号、P4为Y正方向信号、P5为Y负方向信号，P2～P5输出高电平且P6～P7输出低电平即发出位置补正信号；步骤3.2)中，P6为顺时针旋转、P7为逆时针旋转，P2～P7输出高电平即发出完全补正信号。
