一种基于特征匹配的机械臂抓取系统与方法

摘要

本发明公开了一种基于特征匹配的机械臂抓取系统与方法，其技术方案为：包括图像获取模块、特征匹配模块、位姿生成模块、立体位姿获取模块、抓取模块，图像获取模块用于获取目标物体色彩图片和景深图像；特征匹配模块用于接收色彩图片并进行处理，输出特征匹配结果；位姿生成模块用于接收特征匹配结果，并输出平面位姿；立体位姿获取模块用于将平面位姿与景深图像融合，生成目标立体位姿；抓取模块用于根据目标立体位姿抓取目标物体。本发明解决了传统特征点检测中特征点分配不均的问题，提高了匹配的精度；使用二值特征描述子和汉明距离匹配，减少了运算量；使用基于快速扩展随机树的路径规划算法，解决高维空间和复杂约束的路径规划问题。

权利要求

1.一种基于特征匹配的机械臂抓取方法，其特征在于，包括：

获取图像信息，采用基于色彩空间的方式进行预处理，获取目标物体可能出现的区域；

根据预处理的结果进行基于图像区域划分的特征点检测；

基于区域划分的特征点检测过程为：在构造高斯金字塔尺度空间时，将图像均匀分割成M×N个大小相同的区域，其中M为分割的行数，N为分割的列数；对每个区域分别进行surf特征点检测，将检测到的特征点数量与每个区域的阈值进行比较；若数量大于阈值则舍弃部分特征点，使其数量等于阈值，若数量小于阈值，则提高特征点的数量上限重新进行检测；

对检测出的特征点进行计算得到特征描述子，并将场景图像的特征描述子与数据集中的特征描述子进行汉明距离匹配；获得目标物体在像素平面的位姿；

构建特征描述子进行特征匹配的过程为：首先对图像进行高斯滤波，然后以特征点为中心的邻域选取N对像素点进行计算，比较灰度值的大小，进行二进制赋值；再使用灰度质心法计算特征点的主方向，根据特征点方向设置特征点描述子方向，使特征点描述子具有旋转不变性；接着使用汉明距离进行图像与数据集中特征点描述子的特征匹配；

使用姿态变换矩阵进行坐标转换，得到目标物体在世界坐标系下的位姿；

进行运动规划，控制机械臂进行目标物体的抓取。

2.根据权利要求1所述的一种基于特征匹配的机械臂抓取方法，其特征在于，根据目标与背景的色彩差异设置R、G、B阈值，在x轴与y轴方向上对图片的像素值进行投影计算，求其三通道上的像素值加权平均；得到投影结果后，根据设置的阈值进行比较得到目标区域。

3.根据权利要求1所述的一种基于特征匹配的机械臂抓取方法，其特征在于，特征点在匹配时会存在误匹配的情况，采用RANSAC算法进行误匹配点的消除。

4.根据权利要求1所述的一种基于特征匹配的机械臂抓取方法，其特征在于，采用基于快速扩展随机树的路径规划算法，在状态空间中选取采样点进行碰撞点检测。

5.一种基于特征匹配的机械臂抓取系统，执行权利要求1～4任一项权利要求所述的一种基于特征匹配的机械臂抓取方法，其特征在于，包括：图像获取模块，用于获取目标物体色彩图片和景深图像；

特征匹配模块，用于接收色彩图片并进行处理，输出特征匹配结果；

位姿生成模块，用于接收特征匹配结果，并输出平面位姿；

立体位姿获取模块，用于将平面位姿与景深图像融合，生成目标立体位姿；

抓取模块，用于根据目标立体位姿抓取目标物体。

6.根据权利要求5所述的一种基于特征匹配的机械臂抓取系统，其特征在于，所述图像获取模块采用深度摄像机。

7.根据权利要求5所述的一种基于特征匹配的机械臂抓取系统，其特征在于，所述抓取模块包括抓取机构、机械臂驱动模块、机械臂控制模块，所述机械臂控制模块通过机械臂驱动模块连接抓取机构，机械臂控制模块连接立体位姿获取模块。

8.根据权利要求7所述的一种基于特征匹配的机械臂抓取系统，其特征在于，所述机械臂控制模块连接电源模块。

说明书

一种基于特征匹配的机械臂抓取系统与方法

技术领域

[0001] 本发明涉及机器人技术领域，尤其涉及一种基于特征匹配的机械臂抓取系统与方法。

背景技术

[0002] 使用机械臂对目标物体进行抓取有着重要的意义。比如使用机器人完成生产线上的零件抓取，物流分拣线上的包裹分拣，档案馆的档案抓取等工作环境，可以快速高效地完成任务，相比较于人工作业既减少了成本又提高了效率。

[0003] 发明人发现，目前的机器人抓取操作大多数是使用示教的方式进行控制，功能单一、智能化不足，无法根据环境的变化改变运行的策略。现在也出现了一些基于视觉的机器人控制技术，但是仍然存在着对于目标物体的识别精度不够、计算量大等问题。

发明内容

[0004] 针对现有技术存在的不足，本发明的目的是提供一种基于特征匹配的机械臂抓取系统与方法，解决了传统特征点检测中特征点分配不均的问题，同时增加目标区域的特征点数量，提高了匹配的精度；使用二值特征描述子和汉明距离匹配，减少了运算量，提高了匹配速度；使用基于快速扩展随机树的路径规划算法有效地解决高维空间和复杂约束的路径规划问题。

[0005] 为了实现上述目的，本发明是通过如下的技术方案来实现：

[0006] 第一方面，本发明的实施例提供了一种基于特征匹配的机械臂抓取系统，包括：

[0007] 图像获取模块，用于获取目标物体色彩图片和景深图像；

[0008] 特征匹配模块，用于接收色彩图片并进行处理，输出特征匹配结果；

[0009] 位姿生成模块，用于接收特征匹配结果，并输出平面位姿；

[0010] 立体位姿获取模块，用于将平面位姿与景深图像融合，生成目标立体位姿；

[0011] 抓取模块，用于根据目标立体位姿抓取目标物体。

[0012] 作为进一步的实现方式，所述图像获取模块采用深度摄像机。

[0013] 作为进一步的实现方式，所述抓取模块包括抓取机构、机械臂驱动模块、机械臂控制模块，所述机械臂控制模块通过机械臂驱动模块连接抓取机构，机械臂控制模块连接立体位姿获取模块。

[0014] 作为进一步的实现方式，所述机械臂控制模块连接电源模块。

[0015] 第二方面，本发明实施例还提供了一种基于特征匹配的机械臂抓取方法，包括：

[0016] 获取图像信息，采用基于色彩空间的方式进行预处理，获取目标物体可能出现的区域；

[0017] 根据预处理的结果进行基于图像区域划分的特征点检测；

[0018] 对检测出的特征点进行计算得到特征描述子，并将场景图像的特征描述子与数据集中的特征描述子进行汉明距离匹配，获取目标物体在像素平面的位姿；

[0019] 使用姿态变换矩阵进行坐标转换，得到目标物体在世界坐标系下的位姿；

[0020] 进行运动规划，控制机械臂进行目标物体的抓取。

[0021] 作为进一步的实现方式，根据目标与背景的色彩差异设置R、G、B阈值，在x轴与y轴方向上对图片的像素值进行投影计算，求其三通道上的像素值加权平均；得到投影结果后，根据设置的阈值进行比较得到目标区域。

[0022] 作为进一步的实现方式，基于区域划分的特征点检测过程为：

[0023] 在构造高斯金字塔尺度空间时，将图像均匀分割成I×J个大小相同的区域，其中I为分割的行数，J为分割的列数；对每个区域分别进行surf特征点检测，将检测到的特征点数量与每个区域的阈值进行比较。

[0024] 作为进一步的实现方式，构建特征描述子进行特征匹配的过程为：

[0025] 首先对图像进行高斯滤波，然后以特征点为中心的邻域选取N对像素点进行计算，比较灰度值的大小，进行二进制赋值；再使用灰度质心法计算特征点的主方向，根据特征点方向设置特征点描述子方向，使特征点描述子具有旋转不变性；接着使用汉明距离进行图像与数据集中特征点描述子的特征匹配。

[0026] 作为进一步的实现方式，特征点在匹配时会存在误匹配的情况，采用RANSAC算法进行误匹配点的消除；

[0027] 作为进一步的实现方式，去除误匹配点后得到目标物体在像素平面的位姿。接着进行位姿变换得到目标物体在世界坐标系下的位置，再结合目标在像素坐标系中的旋转变换，得出目标物体在世界坐标系下的位姿。

[0028] 作为进一步的实现方式，采用基于快速扩展随机树的路径规划算法，在状态空间中选取采样点进行碰撞点检测。

[0029] 上述本发明的实施例的有益效果如下：

[0030] (1)本发明的一个或多个实施方式使用基于色彩空间的区域检测以及区域划分的特征点检测，解决了传统特征点检测中特征点分配不均的问题，同时增加目标区域的特征点数量，提高了匹配的精度。

[0031] (2)本发明的一个或多个实施方式使用二值特征描述子和汉明距离匹配，相比于传统的SURF描述子和欧氏距离的匹配方式，减少了运算量，提高了匹配速度。

[0032] (3)本发明的一个或多个实施方式使用基于快速扩展随机树(RRT/rapidly exploring random tree)的路径规划算法有效地解决高维空间和复杂约束的路径规划问题。

附图说明

[0033] 构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

[0034] 图1是本发明根据一个或多个实施方式的系统结构示意图；

[0035] 图2是本发明根据一个或多个实施方式的方法流程图。

具体实施方式

[0036] 应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

[0037] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合；

[0038] 实施例一：

[0039] 本实施例提供了一种基于特征匹配的机械臂抓取系统，如图1所示，包括图像获取模块、特征匹配模块、位姿生成模块、立体位姿获取模块、抓取模块，图像获取模块用于获取目标物体色彩图片和景深图像，并输出色彩图片到特征匹配模块；特征匹配模块用于接收色彩图片并进行处理，将特征匹配结果输入位姿生成模块；位姿生成模块用于接收特征匹配结果，并输出平面位姿到立体位姿获取模块；立体位姿获取模块用于将平面位姿与景深图像融合，生成目标立体位姿，并输入抓取模块。

[0040] 进一步的，所述抓取模块包括抓取机构、机械臂驱动模块、机械臂控制模块，所述机械臂控制模块通过机械臂驱动模块连接抓取机构，机械臂控制模块连接立体位姿获取模块，所述机械臂控制模块连接电源模块。

[0041] 立体位姿获取模块将目标立体位姿输入机械臂控制模块，机械臂控制模块输入控制信号到机械臂驱动模块，机械臂驱动模块驱动抓取机构抓取目标物体。

[0042] 在本实施例中，所述图像获取模块采用深度摄像机；机械臂控制模块、机械臂驱动模块、抓取机构均采用现有机械臂配套结构，此处不再赘述。

[0043] 实施例二：

[0044] 本实施例提供了一种基于特征匹配的机械臂抓取方法，如图2所示，包括：

[0045] 获取图像信息，采用基于色彩空间的方式进行预处理，获取目标物体可能出现的区域；

[0046] 根据预处理的结果进行基于图像区域划分的特征点检测；

[0047] 对检测出的特征点进行计算得到特征描述子，将场景图像的特征描述子与数据集中的特征描述子进行汉明距离匹配，获取目标相对于数据集的姿态变换矩阵；

[0048] 对姿态变换矩阵进行坐标转换，得到目标物体在世界坐标系下的位姿；

[0049] 进行运动规划，控制机械臂进行目标物体的抓取。

[0050] 进一步的，基于色彩空间的预处理方法为：

[0051] 当目标物体的颜色与背景相差较大时，基于像素点R、G、B三通道值的不同对场景图片进行，预先划分出目标物体所在的区域。根据目标与背景的色彩差异设置R、G、B阈值，在x轴与y轴方向上，对图片的像素值进行投影计算，求其三通道上的像素值加权平均，如下述公式：

[0052]

[0053]

[0054]

[0055] 其中，n代表图片的列数，代表R通道在x轴方向的投影，是一个m维的列向量，m代表图片的行数，表示第j列的R通道的像素，以此类推立刻得到RGB三通道的像素值在x轴与y轴上的投影。

[0056] 当得到投影结果后，便可根据设置的阈值进行比较，投影结果小于(或大于)所设阈值的部分所在下标，即为所得到的目标区域。

[0057] 进一步的，一般的特征点检测方法，从图片的整体出发对整个图片进行检测，这样会导致特征点的分布不均，从而影响图像的匹配精度。基于区域划分的特征点检测方法首先将整个图片分成不同的区域，并根据上一步的结果设定每个区域的阈值，从而保证特征点的合理分布，提高了匹配的精度。

[0058] 在构造高斯金字塔尺度空间时，将图像均匀分割成I×J个大小相同的区域，I为分割的行数，J为分割的列数，在这些区域中，特征点会随机分布。设置每个普通区域特征点的数量为M，第一步所得到的目标所在区域的特征点数为1.5M。如此，可实现特征点的均匀分布，增加匹配的精度。

[0059] 对每个区域分别进行surf特征点检测，将检测到的特征点数量与每个区域的阈值进行比较，若数量大于阈值则舍弃部分特征点，使其数量等于阈值，若数量小于阈值，则提高特征点的数量上限重新进行检测。

[0060] 进一步的，构建特征描述子进行特征匹配的方法为：

[0061] 检测特征点后，需要对特征点进行描述，生成特征点描述子。首先对图像进行高斯滤波以减少噪声的干扰。接着再以特征点为中心的邻域(邻域范围为S×S)中选取N对像素点进行计算，比较灰度值的大小，进行二进制赋值。所采用的像素点对选取方法一般为高斯随机取样。

[0062]

[0063] 式中：x、y为选取的像素点对，x、y都呈高斯分布， 准则采用服从各向同性的同一高斯分布。p(x)，p(y)分别为点对的像素值，每对特征点通过上述方式比较完成后构成一个N维二进制特征向量。

[0064] 构建N维特征点描述子规则为：

[0065]

[0066] 式中fn(p)为N维特征向量。

[0067] 再使用灰度质心法计算特征点的主方向。建立以特征点为中心的邻域，邻域矩为：

[0068]

[0069] 式中，x、y为像素坐标，I(x,y)为此像素坐标的灰度值。

[0070] 邻域矩的灰度质心为：

[0071]

[0072] 则特征点与质心的夹角即特征点主方向为：

[0073]

[0074] 将场景图片生成的特征点描述子与数据集中的初始特征点描述子进行匹配，若匹配成功，则可以得到场景中的目标相对于数据集中初始姿态的旋转矩阵。相比于传统的基于欧氏距离的特征匹配方法，本实施例的方法简化了计算量，提高了特征匹配的效率。

[0075] 计算两幅图像各特征点描述子间的汉明距离，汉明距离越小说明特征向量相似性越高。

[0076] 假设两个N维的特征描述向量为：

[0077] d1＝(x1x2…xN)d2＝(y1y2…yN)

[0078] 则汉明距离为：

[0079]

[0080] 其中N代表特征描述向量的维数。设置阈值为T，当计算的距离小于T时，代表特征点匹配成功。

[0081] 进一步的，特征点在匹配的时候会存在误匹配的情况，采用RANSAC算法进行误匹配点的消除，首先选出4个匹配点对，计算初始的拟合模型，然后计算所有匹配点与拟合模型的投影误差，误差小于阈值的匹配点即为内点，不满足模型的即为外点，统计内点的个数。之后更换匹配点对重复进行以上步骤K次，选取内点数量最多的模型为最优模型，满足此模型的匹配点即为所求。

[0082] 进一步的，去除误匹配点后得到目标物体在像素平面的位姿。接着进行位姿变换得到目标物体在世界坐标系下的位置，再结合目标在像素坐标系中的旋转变换，得出目标物体在世界坐标系下的位姿。

[0083] 所用公式为：

[0084]

[0085] 其中，ZC为物体的深度信息，u、v为像素坐标系中的位置，dx为x轴方向一个像素的宽度，dy为y轴方向一个像素的宽度，(u0,v0)为图像平面的主点，f为相机焦距，X、Y、Z为物体在世界坐标系下的坐标，R为3X3阶的旋转矩阵，t为3X1的位移向量。

[0086] 进一步的，运动规划是在给定的两个位置之间寻找约束符合条件的路径。首先进行正、逆运动学分析，将目标位姿从笛卡尔空间内转换到机械臂关节空间中，然后通过运动规划算法计算，初始位姿到末端位姿的连接轨迹。本实施例采用基于快速扩展随机树(RRT/rapidly exploring random tree)的路径规划算法，在状态空间中选取采样点进行碰撞点检测，保证了机械臂抓取过程中，不会发生碰撞问题。

[0087] 更进一步的，基于快速扩展随机树的步骤如下：

[0088] 首先定义初始状态为Xinit，规划的终点为Xgoal，将Xinit设置为快速随机搜索树的根节点，然后在可行空间中随机选取一个状态点Xrand作为探索方向点，遍历当前的快速随机搜索树T，当找到T上距离最近的节点Xnear，在Xrand与Xnear的连线上选取新节点Xnew，将新节点Xnew加入快速随机搜索树T，通过随机采样不断地增加叶子节点，直到最终到达终点Xgoal。

[0089] 以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。