指尖视觉棱线识别自适应机器人手装置

摘要

指尖视觉棱线识别自适应机器人手装置，属于机器人手视觉技术领域，包括基座、三个电机、传动机构、第一关节轴、手掌、两个平行夹持手指、两个摄像机、图像处理模块和控制器等。该装置实现了机器人手抓取方位自调整和可适应物体不居中等情况的平行夹持功能；该装置具有平行夹持抓取模式，通过视觉检测对待抓物体进行棱线识别，根据棱线识别的结果自动调整手掌与手指的抓取方位；并根据是否接触待抓物体的视觉反馈，自动控制不同手指的运动，从而满足不居中物体的良好抓取。

权利要求

1.一种指尖视觉棱线识别自适应机器人手装置，包括基座、第一电机、第一传动机构、第一关节轴、手掌、第一手指和第二手指；所述第一电机固接在基座上，所述第一电机的输出轴与第一传动机构的输入端相连，所述第一传动机构的输出端与第一关节轴相连，所述第一关节轴套设在基座中，所述手掌套固在第一关节轴上；所述手掌分别与第一手指、第二手指相连；所述第一手指与第二手指对称布置，其对称轴为第一关节轴的中心线；所述第一手指、第二手指分别具有至少一个平动关节；抓取物体时，所述第一手指、第二手指分别沿着第一关节轴垂直方向移动，所述第二手指和第一手指相向运动；其特征在于：该指尖视觉棱线识别自适应机器人手装置还包括第一摄像机、第二摄像机、第一图像处理模块、第二图像处理模块、控制器、第一驱动模块、第二驱动模块和第三驱动模块；所述第一手指包括第一手指基座、第二电机、第一手指末端指段、第一远关节轴和第二传动机构；所述第二手指包括第二手指基座、第三电机、第二手指末端指段、第二远关节轴和第三传动机构；所述第二电机固接在第一手指基座上，所述第二电机的输出轴与第二传动机构的输入端相连，所述第二传动机构的输出端与第一远关节轴相连，所述第一远关节轴套设在第一手指基座上，所述第一手指末端指段套接在第一远关节轴上；所述第一手指基座固接在手掌上，所述第一摄像机安装在第一手指末端指段上，设第一手指末端指段与物体接触的表面为Q1，第一摄像机的镜头光轴垂直于Q1；所述第三电机固接在第二手指基座上，所述第三电机的输出轴与第三传动机构的输入端相连，所述第三传动机构的输出端与第二远关节轴相连，所述第二远关节轴套设在第二手指基座上，所述第二手指末端指段套接在第二远关节轴上；

所述第二手指基座固接在手掌上，所述第二摄像机安装在第二手指末端指段上，设第二手指末端指段与物体接触的表面为Q2，第二摄像机的镜头光轴垂直于Q2；所述控制器分别与第一图像处理模块、第二图像处理模块相连；所述控制器分别与第一驱动模块、第二驱动模块和第三驱动模块相连；所述第一摄像机的信号引出端与第一图像处理模块的信号输入端连接，所述第二摄像机的信号引出端与第二图像处理模块的信号输入端连接；所述第一摄像机采集待抓物体的一侧图像，所述第二摄像机采集待抓物体的另一侧图像；所述控制器接收到抓取信号后执行抓取方法；所述第一图像处理模块运行第一图像处理程序，所述第二图像处理模块运行第二图像处理程序；

所述第一图像处理程序包括顺序执行如下步骤：

a1：拍摄得到图像I11，对I11进行图像边缘提取，获取含有边缘点的结果图像I12；

b1：针对I12，进行棱线检测，获取待抓物体棱线K1在图像上的位置和方向，则进行下一步；若在I12中未发现棱线K1，则设定标志位P1＝0，执行d1步骤；

c1：当I12中棱线K1穿过预设的可抓区域H1，设定标志位P1＝1；否则，设定标志位P1＝

0；

d1：计算I11的平均灰度值T1，当T1低于预设阈值T，则设定标志位S1＝1，否则设定标志位S1＝0，第一图像处理程序结束；

所述第二图像处理程序包括顺序执行如下步骤：

a2：拍摄得到图像I21，对I21进行图像边缘提取，获取含有边缘点的结果图像I22；

b2：针对I22，进行棱线检测，获取待抓物体棱线K2在图像上的位置和方向，则进行下一步；若在I22中未发现棱线K2，则设定标志位P2＝0，执行d2步骤；

c2：当I22中棱线K2穿过预设的可抓区域H2，设定标志位P2＝1；否则，设定标志位P2＝

0；

d2：计算I21的平均灰度值T2，当T2低于预设阈值T，则设定标志位S2＝1，否则设定标志位S2＝0，第二图像处理程序结束；

所述抓取方法包括顺序执行如下步骤：

a3：执行第一图像处理程序和第二图像处理程序，获取P1、P2、S1和S2；

b3：若P1＝0且P2＝0，执行步骤d3，否则执行下一步；

c3：发出指令驱动第一电机转动小角度，返回步骤a3；

d3：驱动第一电机停转，驱动第二电机、第三电机转动；

e3：若S1＝1，执行下一步，否则执行步骤g3；

f3：发出指令驱动第二电机停转；

g3：若S2＝1，执行下一步，否则执行步骤i3；

h3：发出指令驱动第三电机停转；

i3：若S1＝1，S2＝1，执行步骤k3，否则执行下一步；

j3：返回步骤a3；

k3：抓取结束。

2.如权利要求1所述的指尖视觉棱线识别自适应机器人手装置，其特征在于：所述第二传动机构和第三传动机构均为杆轮式直线平夹机构；所述杆轮式直线平夹机构包括第一连杆、第二连杆、第三连杆、第一轴、第二轴、第三轴、第四轴、第一传动轮、第一柔性传动件、第二传动轮、第三传动轮、第二柔性传动件、第四传动轮；所述第一轴、第二轴、第三轴、第四轴的中心线与第一远关节轴的中心线平行；在第二传动机构中，所述第一远关节轴套设在第三连杆中；在第三传动机构中，所述第二远关节轴套设在第三连杆中；所述远关节轴套设在第三连杆中；所述第三连杆套接在第四轴上；所述第二电机的输出轴与第一轴相连，所述第一轴套设在手掌中；所述第一连杆套固在第一轴上；所述第二轴套设在第一连杆上，所述第三连杆的一端套接在第二轴上；所述第三轴套设在手掌中，所述第二连杆的一端套接在第三轴上，第二连杆的另一端套接在第四轴上；所述第四轴套设在第三连杆的中部；设第一轴的中心为点A，第二轴的中心为点B，第四轴的中心为点C，在第二传动机构中，第一远关节轴的中心为点D，在第三传动机构中，第二远关节轴的中心为点D，第三轴的中心为点E，线段BC的长度、线段CD的长度和线段CE的长度三者相等，线段AE的长度等于线段AB的长度的2倍，线段CE的长度是线段AB的长度的2.5倍；所述第一传动轮套接在第三轴上，所述第一传动轮固接在手掌上，所述第一柔性传动件分别连接第一传动轮、第二传动轮，所述第一柔性传动件呈“O”字形，所述第一柔性传动件、第一传动轮、第二传动轮三者构成传动关系，所述第二传动轮套接在第四轴上；所述第三传动轮套接在第四轴上，所述第二传动轮与第三传动轮固接，所述第二柔性传动件分别连接第三传动轮、第四传动轮，所述第二柔性传动件呈“O”字形，所述第二柔性传动件、第三传动轮、第四传动轮三者构成传动关系，在第二传动机构中，所述第四传动轮套固在第一远关节轴上，在第三传动机构中，所述第四传动轮套固在第二远关节轴上。

3.如权利要求2所述的指尖视觉棱线识别自适应机器人手装置，其特征在于：所述第一柔性传动件采用传动带、链条或绳，所述第一传动轮采用带轮、链轮或绳轮，所述第二传动轮采用带轮、链轮或绳轮，所述第一柔性传动件、第一传动轮、第二传动轮三者构成带轮传动关系、链轮传动关系或绳轮传动关系。

4.如权利要求2所述的指尖视觉棱线识别自适应机器人手装置，其特征在于：所述第二柔性传动件采用传动带、链条或绳，所述第三传动轮采用带轮、链轮或绳轮，所述第四传动轮采用带轮、链轮或绳轮，所述第二柔性传动件、第三传动轮、第四传动轮三者构成带轮传动关系、链轮传动关系或绳轮传动关系。

说明书

指尖视觉棱线识别自适应机器人手装置

技术领域

[0001] 本发明属于机器人手视觉技术领域，特别涉及一种指尖视觉棱线识别自适应机器人手装置的结构设计。

背景技术

[0002] 视觉作为人机交互的重要手段已经得到广泛应用，成为目前的研究热点。但是由于视觉技术信息量大、实时处理要求高、视觉特征提取与识别困难等原因，导致视觉在机器人应用方面还有许多有待开发的空间。

[0003] 机器人手在抓取上常常要针对物体来调整姿态，以有利于稳定抓取。物体上存在许多棱角和棱线，并不适合抓取，即当手指接触棱角或棱线时，难以稳定施加抓持力而导致抓取失败。传统的机器人手不具备对棱角或棱线自动识别的能力，难以做出合适的调整。

[0004] 在机器人抓取物体时，物体摆放位置往往事先未知，存在大致的抓取范围，但是没有精确的摆放位置，也没有必要要求操作人员将上个工序完成的物体摆放在合理的位置，传统的机器人手往往要求物体的摆放在精确的位置，如果物体偏离较大，则导致抓取失败。

[0005] 除了磁性吸附、气压吸附或静电吸附等特种机器人之外，机器人手主要是带有两个或多个手指的多指机器人手，包括工业夹持器、欠驱动机器人手和仿人型灵巧手。工业夹持器广泛应用于各种生产制造领域，是目前最为成熟的机器人手，一般都具有两个手指，对称布置，抓取时两个手指平行移动，称为平行夹持抓取模式，该机器人手称为平行夹持机器人手。传统的平行移动的机器人手仅仅是一个部件，没有对环境和物体具有良好感知的能
力，部分具有感知能力的机器人手主要是利用触觉来实现，以及利用多个传感器检测各关
节的位置，从而达到手指各关节位置或速度的闭环反馈的稳定控制和控制精度。

[0006] 视觉图像是一种信息量很大的传感媒介，快速从图像中提取特征角点、直线或曲线的技术已经被开发出来，辅之以色彩或先验知识的方式，可以帮助机器人提高在抓取工
作中的智能性。为了更好地抓取物体，传统的物体识别技术需要对物体进行复杂的图像处
理，包括视觉不变量图像处理算法(SIFT等)、特征角点检测方法(Harris等)、边缘点提取方法(Sobel、Canney、Robert、Prewits等)、直线检测方法(最小二乘拟合、Hough、GPI等)、侵蚀或膨胀等等。复杂的算法在不同的光照环境下，往往可靠性不高，成功率比较低，难以适用于更广泛的物体集合。

发明内容

[0007] 本发明的目的是为了克服已有技术的不足之处，提供一种指尖视觉棱线识别自适应机器人手装置。该装置具有平行夹持抓取模式，对待抓物体进行视觉检测，根据视觉检测结果自动调整抓取方位，并能够满足不居中物体的良好平行抓取。

[0008] 本发明的技术方案如下：

[0009] 本发明设计的一种指尖视觉棱线识别自适应机器人手装置，包括基座、第一电机、第一传动机构、第一关节轴、手掌、第一手指和第二手指；所述第一电机固接在基座上，所述第一电机的输出轴与第一传动机构的输入端相连，所述第一传动机构的输出端与第一关节轴相连，所述第一关节轴套设在基座中，所述手掌套固在第一关节轴上；所述手掌分别与第一手指、第二手指相连；所述第一手指与第二手指对称布置，其对称轴为第一关节轴的中心线；所述第一手指、第二手指分别具有至少一个平动关节；抓取物体时，所述第一手指、第二手指分别沿着第一关节轴垂直方向移动，所述第二手指和第一手指相向运动；其特征在于：
该指尖视觉棱线识别自适应机器人手装置还包括第一摄像机、第二摄像机、第一图像处理
模块、第二图像处理模块、控制器、第一驱动模块、第二驱动模块和第三驱动模块；所述第一手指包括第一手指基座、第二电机、第一手指末端指段、第一远关节轴和第二传动机构；所述第二手指包括第二手指基座、第三电机、第二手指末端指段、第二远关节轴和第三传动机构；所述第二电机固接在第一手指基座上，所述第二电机的输出轴与第二传动机构的输入
端相连，所述第二传动机构的输出端与第一远关节轴相连，所述第一远关节轴套设在第一
手指基座上，所述第一手指末端指段套接在第一远关节轴上；所述第一手指基座固接在手
掌上，所述第一摄像机安装在第一手指末端指段上，设第一手指末端指段与物体接触的表
面为Q1，第一摄像机的镜头光轴垂直于Q1；所述第三电机固接在第二手指基座上，所述第三电机的输出轴与第三传动机构的输入端相连，所述第三传动机构的输出端与第二远关节轴
相连，所述第二远关节轴套设在第二手指基座上，所述第二手指末端指段套接在第二远关
节轴上；所述第二手指基座固接在手掌上，所述第二摄像机安装在第二手指末端指段上，设第二手指末端指段与物体接触的表面为Q2，第二摄像机的镜头光轴垂直于Q2；所述控制器
分别与第一图像处理模块、第二图像处理模块相连，所述控制器分别与第一驱动模块、第二驱动模块和第三驱动模块相连；所述第一摄像机的信号引出端与第一图像处理模块的信号
输入端连接，所述第二摄像机的信号引出端与第二图像处理模块的信号输入端连接；所述
第一摄像机采集待抓物体的一侧图像，所述第二摄像机采集待抓物体的另一侧图像；所述
控制器接收到抓取信号后执行抓取方法；所述第一图像处理模块运行第一图像处理程序，
所述第二图像处理模块运行第二图像处理程序；

[0010] 所述第一图像处理程序包括顺序执行如下步骤：

[0011] a1：拍摄得到图像I11，对I11进行图像边缘提取，获取含有边缘点的结果图像I12；

[0012] b1：针对I12，进行棱线检测，获取待抓物体棱线K1在图像上的位置和方向，则进行下一步；若在I12中未发现棱线K1，则设定标志位P1＝0，执行d1步骤；

[0013] c1：当I12中棱线K1穿过预设的可抓区域H1，设定标志位P1＝1；否则，设定标志位P1＝0；

[0014] d1：计算I11的平均灰度值T1，当T1低于预设阈值T，则设定标志位S1＝1，否则设定标志位S1＝0，第一图像处理程序结束；

[0015] 所述第二图像处理程序包括顺序执行如下步骤：

[0016] a2：拍摄得到图像I21，对I21进行图像边缘提取，获取含有边缘点的结果图像I22；

[0017] b2：针对I22，进行棱线检测，获取待抓物体棱线K2在图像上的位置和方向，则进行下一步；若在I22中未发现棱线K2，则设定标志位P2＝0，执行d2步骤；

[0018] c2：当I22中棱线K2穿过预设的可抓区域H2，设定标志位P2＝1；否则，设定标志位P2＝0；

[0019] d2：计算I21的平均灰度值T2，当T2低于预设阈值T，则设定标志位S2＝1，否则设定标志位S2＝0，第二图像处理程序结束；

[0020] 所述抓取方法包括顺序执行如下步骤：

[0021] a3：执行第一图像处理程序和第二图像处理程序，获取P1、P2、S1和S2；

[0022] b3：若P1＝0且P2＝0，执行步骤d3，否则执行下一步；

[0023] c3：发出指令驱动第一电机转动小角度，返回步骤a3；

[0024] d3：驱动第一电机停转，驱动第二电机、第三电机转动；

[0025] e3：若S1＝1，执行下一步，否则执行步骤g3；

[0026] f3：发出指令驱动第二电机停转；

[0027] g3：若S2＝1，执行下一步，否则执行步骤i3；

[0028] h3：发出指令驱动第三电机停转；

[0029] i3：若S1＝1，S2＝1，执行步骤k3，否则执行下一步；

[0030] j3：返回步骤a3；

[0031] k3：抓取结束。

[0032] 本发明所述的指尖视觉棱线识别自适应机器人手装置，其特征在于：所述第二传动机构和第三传动机构均为杆轮式直线平夹机构；所述杆轮式直线平夹机构包括第一连
杆、第二连杆、第三连杆、第一轴、第二轴、第三轴、第四轴、第一传动轮、第一柔性传动件、第二传动轮、第三传动轮、第二柔性传动件、第四传动轮；所述第一轴、第二轴、第三轴、第四轴的中心线与第一远关节轴的中心线平行；在第二传动机构中，所述第一远关节轴套设在第
三连杆中；在第三传动机构中，所述第二远关节轴套设在第三连杆中；所述远关节轴套设在第三连杆中；所述第三连杆套接在第四轴上；所述第二电机的输出轴与第一轴相连，所述第一轴套设在手掌中；所述第一连杆套固在第一轴上；所述第二轴套设在第一连杆上，所述第三连杆的一端套接在第二轴上；所述第三轴套设在手掌中，所述第二连杆的一端套接在第
三轴上，第二连杆的另一端套接在第四轴上；所述第四轴套设在第三连杆的中部；设第一轴的中心为点A，第二轴的中心为点B，第四轴的中心为点C，在第二传动机构中，第一远关节轴的中心为点D，在第三传动机构中，第二远关节轴的中心为点D，第三轴的中心为点E，线段BC的长度、线段CD的长度和线段CE的长度三者相等，线段AE的长度等于线段AB的长度的2倍，线段CE的长度是线段AB的长度的2.5倍；所述第一传动轮套接在第三轴上，所述第一传动轮固接在手掌上，所述第一柔性传动件分别连接第一传动轮、第二传动轮，所述第一柔性传动件呈“O”字形，所述第一柔性传动件、第一传动轮、第二传动轮三者构成传动关系，所述第二传动轮套接在第四轴上；所述第三传动轮套接在第四轴上，所述第二传动轮与第三传动轮
固接，所述第二柔性传动件分别连接第三传动轮、第四传动轮，所述第二柔性传动件呈“O”字形，所述第二柔性传动件、第三传动轮、第四传动轮三者构成传动关系，在第二传动机构中，所述第四传动轮套固在第一远关节轴上，在第三传动机构中，所述第四传动轮套固在第二远关节轴上。

[0033] 本发明所述的指尖视觉棱线识别自适应机器人手装置，其特征在于：所述第一柔性传动件采用传动带、链条或绳，所述第一传动轮采用带轮、链轮或绳轮，所述第二传动轮采用带轮、链轮或绳轮，所述第一柔性传动件、第一传动轮、第二传动轮三者构成带轮传动关系、链轮传动关系或绳轮传动关系。

[0034] 本发明所述的指尖视觉棱线识别自适应机器人手装置，其特征在于：所述第二柔性传动件采用传动带、链条或绳，所述第三传动轮采用带轮、链轮或绳轮，所述第四传动轮采用带轮、链轮或绳轮，所述第二柔性传动件、第三传动轮、第四传动轮三者构成带轮传动关系、链轮传动关系或绳轮传动关系。

[0035] 本发明与现有技术相比，具有以下优点和突出性效果：

[0036] 本发明装置利用三个电机、两个平行夹持手指、两个摄像机、图像处理模块和控制器等综合实现了机器人手指抓取方位自调整和可适应物体不居中等情况的平行夹持功能；该装置具有平行夹持抓取模式，通过视觉检测对待抓物体进行棱线识别，根据棱线识别的
结果自动调整手掌与手指的抓取方位；并根据是否接触的视觉反馈，自动控制不同手指的
运动，从而满足不居中物体的良好抓取。

附图说明

[0037] 图1是本发明设计的指尖视觉棱线识别自适应机器人手装置的一种实施例的立体外观图。

[0038] 图2是图1所示实施例的正视图。

[0039] 图3是图1所示实施例的正视图(未画出部分零件)。

[0040] 图4是图1所示实施例的立体外观图(未画出部分零件)。

[0041] 图5是图1所示实施例的侧视图(未画出部分零件)。

[0042] 图6是图1所示实施例的爆炸图。

[0043] 图7是图1所示实施例的单个手指侧面外观(未画出部分零件)，显示出点A、B、C、D和E的位置。

[0044] 图8是图6所示的AB、BC、CD、CE及基座连杆AE的多个连杆机构简图，显示出在主动转动连杆AB时点D的移动轨迹，该轨迹中有一段直线轨迹就是本实施例的第二指段直线平行夹持阶段的移动轨迹。

[0045] 图9是图1所示实施例显示了机器人手张开到最大以及合拢状态(双点划线)示意图。

[0046] 图10是图1所示实施例的电气连接图。

[0047] 图11是图1所示实施例的第一图像处理程序的流程图。

[0048] 图12是图1所示实施例的第二图像处理程序的流程图。

[0049] 图13是图1所示实施例的抓取方法流程图。

[0050] 图14至图17是图1所示实施例的手掌的动作过程图。

[0051] 图18至图20是图1所示实施例的抓取物体的三种抓取模式：居中、偏左、偏右。

[0052] 图21至图23是图1所示实施例的识别棱线正确抓取物体的动作过程图。

[0053] 图24是图1所示实施例的物体在不可抓取位置的第一摄像机或第二摄像机所拍图像示意图。

[0054] 图25是图1所示实施例的物体在可抓取位置的第一摄像机或第二摄像机所拍图像示意图。

[0055] 在图1至图25中：

[0056] 1－基座， 11－第一电机， 12－第一传动机构， 13－第一关节轴，[0057] 14－手掌， 2－第一手指， 21－第一手指基座， 22－第一手指末端指段，[0058] 23－第一远关节轴， 24－第二电机， 25－第二传动机构， 211－第一轴，[0059] 212－第二轴， 213－第三轴， 214－第四轴， 221－第一连杆，[0060] 222－第二连杆， 223－第三连杆， 231－第一传动轮， 232－第二传动轮，[0061] 233－第三传动轮， 234－第四传动轮， 241－第一柔性传动件， 242－第二柔性传动件[0062] 3－第二手指， 31－第二手指基座， 32－第二手指末端指段，33－第二远关节轴，[0063] 34－第三电机， 41－第一摄像机， 42－第二摄像机，

[0064] 51－第一图像处理模块， 52－第二图像处理模块， 6－控制器， 71－第一驱动模块，[0065] 72－第二驱动模块， 73－第三驱动模块， 8－物体， H－图像上的可抓区域，[0066] K－物体的棱线， J－观察区域。

具体实施方式

[0067] 下面结合附图及实施例进一步详细介绍本发明的具体结构、工作原理的内容。

[0068] 本发明设计的指尖视觉棱线识别自适应机器人手装置的一种实施例，如图1至图2所示，包括基座1、第一电机11、第一传动机构12、第一关节轴13、手掌14、第一手指2和第二手指3；所述第一电机11固接在基座1上，所述第一电机11的输出轴与第一传动机构12的输
入端相连，所述第一传动机构12的输出端与第一关节轴13相连，所述第一关节轴13套设在
基座1中，所述手掌14套固在第一关节轴13上；所述手掌14分别与第一手指2、第二手指3相连；所述第一手指2与第二手指3对称布置，其对称轴为第一关节轴13的中心线；所述第一手指2、第二手指3分别具有至少一个平动关节；抓取物体8时，所述第一手指2、第二手指3分别沿着第一关节轴13垂直方向移动，所述第二手指3和第一手指2相向运动；该指尖视觉棱线
识别自适应机器人手装置还包括第一摄像机41、第二摄像机42、第一图像处理模块51、第二图像处理模块52、控制器6、第一驱动模块71、第二驱动模块72和第三驱动模块73；所述第一手指2包括第一手指基座21、第二电机24、第一手指末端指段22、第一远关节轴23和第二传动机构25；所述第二手指3包括第二手指基座31、第三电机34、第二手指末端指段32、第二远关节轴33和第三传动机构；所述第二电机24固接在第一手指基座21上，所述第二电机24的
输出轴与第二传动机构25的输入端相连，所述第二传动机构25的输出端与第一远关节轴23
相连，所述第一远关节轴23套设在第一手指基座21上，所述第一手指末端指段22套接在第
一远关节轴23上；所述第一手指基座21固接在手掌14上，所述第一摄像机41安装在第一手
指末端指段22上，设第一手指末端指段22与物体8接触的表面为Q1，第一摄像机41的镜头光轴垂直于Q1；所述第三电机34固接在第二手指基座31上，所述第三电机34的输出轴与第三
传动机构的输入端相连，所述第三传动机构的输出端与第二远关节轴33相连，所述第二远
关节轴33套设在第二手指基座31上，所述第二手指末端指段32套接在第二远关节轴33上；
所述第二手指基座31固接在手掌14上，所述第二摄像机42安装在第二手指末端指段32上，
设第二手指末端指段32与物体8接触的表面为Q2，第二摄像机42的镜头光轴垂直于Q2；所述控制器6分别与第一图像处理模块51、第二图像处理模块52相连，如图10所示，所述控制器6分别与第一驱动模块71、第二驱动模块72和第三驱动模块73相连；所述第一摄像机41的信
号引出端与第一图像处理模块51的信号输入端连接，所述第二摄像机42的信号引出端与第
二图像处理模块52的信号输入端连接；所述第一摄像机41采集待抓物体8的一侧图像，所述第二摄像机42采集待抓物体8的另一侧图像；所述控制器6接收到抓取信号后执行抓取方
法；所述第一图像处理模块51运行第一图像处理程序，所述第二图像处理模块52运行第二
图像处理程序；

[0069] 所述第一图像处理程序包括顺序执行如下步骤：

[0070] (a1)拍摄得到图像I11，对I11进行图像边缘提取，获取含有边缘点的结果图像I12；

[0071] (b1)针对I12，进行棱线检测，获取待抓物体8棱线K1在图像上的位置和方向，则进行下一步；若在I12中未发现棱线K1，则设定标志位P1＝0，执行(d1)步骤；

[0072] (c1)当I12中棱线K1穿过预设的可抓区域H1，设定标志位P1＝1；否则，设定标志位P1＝0；

[0073] (d1)计算I11的平均灰度值T1，当T1低于预设阈值T，则设定标志位S1＝1，否则设定标志位S1＝0，第一图像处理程序结束；

[0074] 所述第二图像处理程序包括顺序执行如下步骤：

[0075] (a2)拍摄得到图像I21，对I21进行图像边缘提取，获取含有边缘点的结果图像I22；

[0076] (b2)针对I22，进行棱线检测，获取待抓物体8棱线K2在图像上的位置和方向，则进行下一步；若在I22中未发现棱线K2，则设定标志位P2＝0，执行(d2)步骤；

[0077] (c2)当I22中棱线K2穿过预设的可抓区域H2，设定标志位P2＝1；否则，设定标志位P2＝0；

[0078] (d2)计算I21的平均灰度值T2，当T2低于预设阈值T，则设定标志位S2＝1，否则设定标志位S2＝0，第二图像处理程序结束；

[0079] 所述抓取方法包括顺序执行如下步骤：

[0080] (a3)执行第一图像处理程序和第二图像处理程序，获取P1、P2、S1和S2；

[0081] (b3)若P1＝0且P2＝0，执行步骤(d3)，否则执行下一步；

[0082] (c3)发出指令驱动第一电机11转动小角度，返回步骤(a3)；

[0083] (d3)驱动第一电机11停转，驱动第二电机24、第三电机34转动；

[0084] (e3)若S1＝1，执行下一步，否则执行步骤(g3)；

[0085] (f3)发出指令驱动第二电机24停转；

[0086] (g3)若S2＝1，执行下一步，否则执行步骤(i3)；

[0087] (h3)发出指令驱动第三电机34停转；

[0088] (i3)若S1＝1，S2＝1，执行步骤(k3)，否则执行下一步；

[0089] (j3)返回步骤(a3)；

[0090] (k3)抓取结束。

[0091] 本实施例中，所述第二传动机构25和第三传动机构均为杆轮式直线平夹机构；所述杆轮式直线平夹机构包括第一连杆221、第二连杆222、第三连杆223、第一轴211、第二轴
212、第三轴213、第四轴214、第一传动轮231、第一柔性传动件241、第二传动轮232、第三传动轮233、第二柔性传动件242、第四传动轮234；所述第一轴211、第二轴212、第三轴213、第四轴214的中心线与第一远关节轴23的中心线平行；在第二传动机构中，所述第一远关节轴套设在第三连杆223中；在第三传动机构中，所述第二远关节轴套设在第三连杆223中；所述第三连杆223套接在第四轴214上；所述第二电机24的输出轴与第一轴211相连，所述第一轴
211套设在手掌14中；所述第一连杆221套固在第一轴211上；所述第二轴212套设在第一连
杆221上，所述第三连杆223的一端套接在第二轴212上；所述第三轴213套设在手掌14中，所述第二连杆222的一端套接在第三轴213上，第二连杆222的另一端套接在第四轴214上；所
述第四轴214套设在第三连杆223的中部；设第一轴211的中心为点A，第二轴212的中心为点B，第四轴214的中心为点C，在第二传动机构中，第一远关节轴的中心为点D，在第三传动机构中，第二远关节轴的中心为点D，第三轴213的中心为点E，如图7和图8所示，线段BC的长度、线段CD的长度和线段CE的长度三者相等，线段AE的长度等于线段AB的长度的2倍，线段CE的长度是线段AB的长度的2.5倍；所述第一传动轮231套接在第三轴213上，所述第一传动轮231固接在手掌14上，所述第一柔性传动件241分别连接第一传动轮231、第二传动轮232，所述第一柔性传动件241呈“O”字形，所述第一柔性传动件241、第一传动轮231、第二传动轮
232三者构成传动关系，所述第二传动轮232套接在第四轴214上；所述第三传动轮233套接
在第四轴214上，所述第二传动轮232与第三传动轮233固接，所述第二柔性传动件242分别
连接第三传动轮233、第四传动轮234，所述第二柔性传动件242呈“O”字形，所述第二柔性传动件242、第三传动轮233、第四传动轮234三者构成传动关系；在第二传动机构中，所述第四传动轮234套固在第一远关节轴上；在第三传动机构中，所述第四传动轮234套固在第二远
关节轴上；如图3至图8所示。图9是本实施例平行夹持的初始状态和终止状态(双点划线)。

[0092] 本发明所述的指尖视觉棱线识别自适应机器人手装置，其特征在于：所述第一柔性传动件241采用传动带、链条或绳，所述第一传动轮231采用带轮、链轮或绳轮，所述第二传动轮232采用带轮、链轮或绳轮，所述第一柔性传动件241、第一传动轮231、第二传动轮
232三者构成带轮传动关系、链轮传动关系或绳轮传动关系。本实施例中，所述第一柔性传动件241采用传动带，所述第一传动轮231采用带轮，所述第二传动轮232采用带轮，所述第一柔性传动件241、第一传动轮231、第二传动轮232三者构成带轮传动关系。

[0093] 本发明所述的指尖视觉棱线识别自适应机器人手装置，其特征在于：所述第二柔性传动件242采用传动带、链条或绳，所述第三传动轮233采用带轮、链轮或绳轮，所述第四传动轮234采用带轮、链轮或绳轮，所述第二柔性传动件242、第三传动轮233、第四传动轮
234三者构成带轮传动关系、链轮传动关系或绳轮传动关系。本实施例中，所述第二柔性传动件242采用传动带，所述第三传动轮233采用带轮，所述第四传动轮234采用带轮，所述第二柔性传动件242、第三传动轮233、第四传动轮234三者构成带轮传动关系。

[0094] 本实施例转动第一关节轴时的动作过程如图14至图17所示。

[0095] 当物体放置在偏左、偏右或者正中间时抓取的情形如图18至图20所示。

[0096] 物体抓取时，棱线在所观察的可抓取区域H时的情形如图21所示。

[0097] 物体抓取时，根据棱线图像识别情况转动了第一关节轴之后达到可以抓取的方位时如图22所示，抓取后如图23所示。

[0098] 本实施例的工作原理，结合附图叙述如下：

[0099] 将待抓物体8放置在抓取工作台上，控制器6执行抓取方法的程序，如图11至图13所示，第一摄像机41拍图，反馈给第一图像处理模块51，执行第一图像处理程序，获取第一手指2末端指段对应物体8的抓取面是否存在棱线，若存在棱线且棱线处于可抓区域H1，则
驱动第一电机11转动一小角度，再拍摄图像；第二摄像机42拍图与第一摄像机41拍图处理
程序相似。直到第一摄像机41和第二摄像机42反馈的图像都未在各自的可抓区域存在棱
线，则进入下一环节；

[0100] 分别驱动第二电机24和第三电机34转动；

[0101] 第一摄像机41拍图，反馈给第一图像处理模块51，执行第一图像处理程序，检测该图像的平均灰度值T1，若T1低于预设阈值T，则停止第二电机24；

[0102] 第二摄像机42拍图，反馈给第二图像处理模块52，执行第二图像处理程序，检测该图像的平均灰度值T2，若T2低于预设阈值T，则停止第三电机34；

[0103] 若T1低于预设阈值T且T2低于预设阈值T，抓取结束。

[0104] 当控制器6接受到释放信号，执行释放程序，释放程序为分别驱动第二电机24、第三电机34反转到初始位置。

[0105] 所观察的区域为J，如图1所示，拍到的图像如图24、25所示，其中，图像上观察到棱线在可抓取区域时如图24所示，当棱线不在可抓取区域时如图25所示。

[0106] 所述边缘提取方法采用Sobel方法，为机器人手视觉领域的公知技术，不再赘述。

[0107] 所述棱线检测方法采用直线检测方法，即检测边缘提取得到的边缘点结果图像中经过点最多的一根直线，可以采用公知的直线检测方法，如Hough方法或灰度投影积分
(GPI)方法，参考文献为：

[0108] [1]郑哲伟，张文增等.图像焊缝检测的圆形子窗口多步GPI方法.焊接学报.2007,28(8):77-80.

[0109] [2]张文增,陈强等.直线检测的灰度投影积分方法.清华大学学报.2005,45(11):1446-1449.

[0110] 本发明装置仅针对单一背景环境的物体抓取，所抓取的物体存在棱线或者不存在棱线均适用。图像上的所述可抓取区域H是根据摄像机的镜头焦距、抓取范围等参数预先设定的固定区域。所述图像平均灰度值T也是预先设定的固定值。

[0111] 本发明装置利用三个电机、两个平行夹持手指、两个摄像机、图像处理模块和控制器等综合实现了机器人手指抓取方位自调整和可适应物体不居中等情况的平行夹持功能；该装置具有平行夹持抓取模式，通过视觉检测对待抓物体进行棱线识别，根据棱线识别的
结果自动调整手掌与手指的抓取方位；并根据是否接触的视觉反馈，自动控制不同手指的
运动，从而满足不居中物体的良好抓取。