本发明提供一种用于机器人三维不规则物体自动识别及抓取的方法，其具体操作方法为：前期数据收集、数据测试、数据分析、机器人运动到抓取点位姿，实现对锁具的抓取。本发明增加了对三维不规则类型物体的自动识别及抓取，通过线激光3D相机获取三维不规则物体的表面信息，相机安装在机器人末端法兰盘，当工件到达机器人扫描区域，机器人携带相机做直线运动扫描产品表面，以获取产品表面信息，对不同规格的产品一一进行扫描获取整个产品的点云库，对于每一种规格类型的产品，通过机器人示教抓取点并记录该示教点，再通过公式2‑5，将当前扫描工件信息转换为当前机器人抓取位置点，从而实现对工件抓取。
1.一种用于机器人三维不规则物体自动识别及抓取的方法，其操作方法为：一、前期数据收集：由于客户锁具规格多样，各个产品形状和姿态各异，针对于此，客户端软件首先通过采集各个锁具图像，提取锁具中关键特征，同时建立各个产品的点云库，并存储在客户端软件中；
二、数据测试：将相机安装在机器人末端法兰盘上，确定相机安装在指定位置，将工件放置在工作台上，当工件到达机器人扫描区域，机器人携带相机做直线运动扫描产品表面，以获取产品表面信息,所述指定位置确定方法为：机器人相机标定确认相机坐标系和机器人末端法兰盘位置的关系即获取
Step2:将标定板置于平整开阔的位置，且保证机器人位姿可达；
Step3:通过在机器人末端安装针尖工具，并示教该针尖工具，确立工具坐标系与机器人世界坐标系的关系 该针尖工具用于标定板的标定；
Step4:通过使用机器人末端安装针尖工具，示教出标定板的工件坐标系，其中坐标轴的中心点为工件坐标系的原点，记当前工件坐标系为Step5:移动相机至标定板正上方，使得相机打出的激光线与标定板的X轴对齐，沿着激光线的方向相机到标定板的距离一致，沿着相机长度方向即与激光线垂直的方向，相机到标定板的距离也一致，实现了相机坐标系与标定板坐标系方向对齐；
Step6:记Step5中对齐后的机器人法兰盘的点位在工件坐标系 下的点位为pAlignMiddle，从而计算出接下来相机移动的预起始位置、终止位置；
Step7:将机器人的相机激光线移动至预起始位置点；并启动机器人从预起始位置点向终止位置点的直线移动，速度为100mm/s；机器人从静止到移动达到100mm/s的匀速会有加减速过程，我们使得机器人在直线运行50mm后发出信号触发相机取图，此时信号的触发点即为采集图像的Y坐标起始位，记该点法兰盘的位置为pAlignStart，则pAlignStart.y＝pAlignMiddle.y–200；将相机的Y向取图长度设置为350mm；
Step8:取图完毕后，将在通过相机提供的软件查看所扫描的图像多个任意位置的Z值大小是否一致，从而确认相机采图平面是否与标定板平面平行；记录此时标定板坐标原点在图像坐标系中的点，并记录其坐标值为X,Y,Z，由于取图时我们保证相机与标定板坐标在方向上是对齐的，因此其绕X,Y,Z轴的旋转欧拉角均为0，从而得到Step9:将以上点位及坐标系分别以齐次坐标系的方式表达为如下形式：表示标定板中心点与机器人世界坐标系的关系；
所述 即为相机的工具坐标系，也就是相机坐标系到法兰盘中心点坐标系的转换关系；
三、数据分析：当机器人开始识别和抓取锁具时，机器人通过末端夹持的相机从指定位置开始扫描锁具，获得锁具的图像，该图像存储于客户端软件中，客户端软件通过该图像与自身存储的点云库进行匹配，确立产品型号，如果该型号产品存在，则客户端软件通过该图像中的关键特征与点云库进行匹配，通过确立锁具抓取点位姿，客户端通过Socket通信，将该位姿发送给机器人；
2.按照权利要求1所述的一种用于机器人三维不规则物体自动识别及抓取的方法，其特征在于，抓取点位姿是通过获取图像抓取点与模板抓取点的转换矩阵，将机器人在模板下的抓取点转换为机器人在当前扫描图像下的抓取点，机器人通过扫描目标工件，获得所需图像目标特征，并根据所述所需图像目标特征与模板中特征对比给出转换矩阵H，以及示教模板位置的抓取点 确立当前图像机器人抓取点 计算如下所示：Step1：求取相机原点到基坐标的位姿，求取公式如下所示：
Step2：求取位置2机器人抓取位姿，联立如下公式2-1、2-2、2-3、2-4得公式2-5，即为所求机器人在位置2的抓取点：
一种用于机器人三维不规则物体自动识别及抓取的方法
技术领域
[0001] 本发明涉及工业自动化领域，尤其涉及一种用于机器人三维不规则物体自动识别及抓取的方法。
背景技术
[0002] 在国家智能制造大战略背景下，特别是近年来物流领域的飞速发展，对物体进行自动化分拣、识别及抓取的需求越来越多，目前市场上主流的自动识别及抓取机器人系统，主要是通过提取物体表面即二维平面特征并针对该特征进行模板匹配，因此当前的自动识别及抓取机器人系统只能完成对规则类型物体进行自动识别和抓取，如快递箱的识别及抓取，但该类型产品无法实现对不规则三维物体进行识别和抓取。基于此我司针对客户提出的不规则类型物体(如集装箱用锁具)自动识别和抓取的需求，提出了一种适用于机器人三维不规则物体自动识别及抓取方法。
发明内容
[0003] 根据以上技术问题，本发明提供一种用于机器人三维不规则物体自动识别及抓取的方法，其具体操作方法为：
[0004] 一、前期数据收集：由于客户锁具规格多样，各个产品形状和姿态各异，针对于此，客户端软件首先通过采集各个锁具图像，提取锁具中关键特征，同时建立各个产品的点云库，并存储在客户端软件中；
[0005] 二、数据测试：将相机安装在机器人末端法兰盘上，确定相机安装在指定位置，将被工件放置在工作台的上，当工件到达机器人扫描区域，机器人携带相机做直线运动扫描产品表面，以获取产品表面信息；
[0006] 三、数据分析：当机器人开始识别和抓取锁具时，机器人通过末端夹持的线激光3维相机从指定位置开始扫描锁具，获得锁具的图像，该图像存储于客户端软件中，客户端软件通过该图像与自身存储的点云库进行匹配，确立产品型号，如果该型号产品存在，则客户端软件通过该图像中的关键特征与点云库进行匹配，通过确立锁具抓取点位姿，客户端通过Socket通信，将该位姿发送给机器人；
[0007] 四、机器人运动到抓取点位姿，实现对锁具的抓取。
[0008] 所述相机为线激光3维相机。
[0009] 所述相机指定位置确定方法为：
[0010] 机器人相机标定主要用于确认相机坐标系和机器人末端法兰盘位置的关系即获取
[0011] Step1:打印视觉标定版，标定版一般由相机厂商给出，按其使用要求进行打印即可；
[0012] Step2:将标定板置于平整开阔的位置，且保证机器人位姿可达；
[0013] Step3:通过在机器人末端安装针尖工具，并示教该工具，确立工具坐标系与机器人世界坐标系的关系 该工具主要用于标定板的标定；
[0014] Step4:通过使用机器人末端安装针尖，示教出标定板的工件坐标系，其中坐标轴的中心点为工件坐标系的原点，坐标系的方向如下图1所示，记当前工件坐标系为[0015] Step5:移动相机至标定板正上方，使得相机打出的激光线与标定板的X轴对齐，沿着激光线的方向相机到标定板的距离一致，沿着相机长度方向即与激光线垂直的方向，相机到标定板的距离也一致，换句话说，相机上的安装平面与标定板平面平行，此时实现了相机坐标系与标定板坐标系方向对齐；
[0016] Step6:记Step5中对齐后的机器人法兰盘(tool0)的点位在工件坐标系 下的点位为pAlignMiddle，从而计算出接下来相机移动的预起始位置pAlignPreStart(pAlignPreStart.x＝pAlignMiddle.x，pAlignPreStart.y＝pAlignMiddle.y-250)，终止位置pAlignEnd(pAlignEnd.x＝pAlignMiddle.x，pAlignEnd.y＝pAlignMiddle.y+250)；
[0017] Step7:将机器人的相机激光线移动至pAlignPreStart点(以 为参照，下同)；并启动机器人从pAlignPreStart点向pAlignEnd点的直线移动，速度为100mm/s；需要注意的是，机器人从静止到移动达到100mm/s的匀速会有加减速过程，我们使得机器人在直线运行50mm后(此时机器人已经加速完成)发出信号触发Trispector相机取图，此时信号的触发点即为采集图像的Y坐标起始位，记该点法兰盘(tool0)的位置为pAlignStart，则pAlignStart.y＝pAlignMiddle.y–200；注意，将Trispector的Y向取图长度设置为350mm即可，如图2所示；Step8:取图完毕后，将在通过线激光相机提供的软件查看所扫描的图像多个任意位置的Z值大小是否一致，从而确认相机采图平面是否与标定板平面平行(如相差太多，比如近1mm或者更多，需要调整至平行后，从上述Step5重新操作)；记录此时标定板坐标原点在图像坐标系中的点，并记录其坐标值为X,Y,Z，由于取图时我们保证相机camera与标定板board坐标在方向上是对齐的，因此其绕x，y，z轴的旋转欧拉角均为0，从而得到[0018] Step9:将以上点位及坐标系分别以齐次坐标系的方式表达为如下形式：
[0019] 表示标定板中心点与机器人世界坐标系的关系；
[0020] 表示机器人末端法兰盘到标定板中心点的关系；
[0021] 表示标定板与视觉相机之间的关系；
[0022]
[0023] 上述 即为相机的工具坐标系，也就是相机坐标系到法兰盘中心点坐标系的转换关系。
[0024] 所述确立机器人抓取点位姿方法主要是通过获取图像抓取点与模板抓取点的转换矩阵，将机器人在模板下的抓取点转换为机器人在当前扫描图像下的抓取点，机器人通过扫描目标工件，获得所需图像目标特征，并根据该特征与模板中特征对比给出转换矩阵H，以及示教模板位置的抓取点 确立当前图像机器人抓取点 计算示意图如下所示：
[0025] Step1：求取相机原点到基坐标的位姿，求取公式如下所示：
[0026]
[0027] 为相机起始拍照点，也就是相机的原点。
[0028] 为标定的相机原点与工具末端法兰的坐标系；
[0029] Step2：求取位置2机器人抓取位姿，联立如下公式(2-1)、(2-2)、(2-3)即可得公式(2-5)，即为所求机器人在位置2的抓取点：
[0030]
[0031]
[0032]
[0033]
[0034]
[0035] 本发明的有益效果为：本发明不同于现有市场上机器人对二维平面物体自动识别及抓取技术，增加了对三维不规则类型物体的自动识别及抓取，通过线激光3D相机获取三维不规则物体的表面信息，相机安装在机器人末端法兰盘，当工件到达机器人扫描区域，机器人携带相机做直线运动扫描产品表面，以获取产品表面信息，对不同规格的产品一一进行扫描获取整个产品的点云库，对于每一种规格类型的产品，通过机器人示教抓取点并记录该示教点，再通过公式2-5，将当前扫描工件信息转换为当前机器人抓取位置点，从而实现对工件抓取。
附图说明
[0036] 图1为本发明机器人三维不规则物体自动识别及抓取架构图。
[0037] 图2为本发明标定板工件坐标系设定。
[0038] 图3为本发明相机标定示意图。
[0039] 图4为本发明确立机器人抓取点示意图。
[0040] 图5为本发明流程示意图。
[0041] 图6为本发明几种锁具图像及特征。
具体实施方式
[0042] 根据图所示，对本发明进行进一步说明：
[0043] 实施例1
[0044] 一种用于机器人三维不规则物体自动识别及抓取的方法，其具体操作方法为：
[0045] 1、前期数据收集：由于客户锁具规格多样，各个产品形状和姿态各异，针对于此，客户端软件首先通过采集各个锁具图像，提取锁具中关键特征，同时建立各个产品的点云库，并存储在客户端软件中；
[0046] 2、数据测试：将相机安装在机器人末端法兰盘上，确定相机安装在指定位置，将被工件放置在工作台的上，当工件到达机器人扫描区域，机器人携带相机做直线运动扫描产品表面，以获取产品表面信息；
[0047] 3、数据分析：当机器人开始识别和抓取锁具时，机器人通过末端夹持的线激光3维相机从指定位置开始扫描锁具，获得锁具的图像，该图像存储于客户端软件中，客户端软件通过该图像与自身存储的点云库进行匹配，确立产品型号，如果该型号产品存在，则客户端软件通过该图像中的关键特征与点云库进行匹配，通过确立锁具抓取点位姿，客户端通过Socket通信，将该位姿发送给机器人；
[0048] 4、机器人运动到抓取点位姿，实现对锁具的抓取。
[0049] 实施例2
[0050] 机器人相机标定主要用于确认相机坐标系和机器人末端法兰盘位置的关系即获取
[0051] Step1:打印视觉标定版，标定版一般由相机厂商给出，按其使用要求进行打印即可；
[0052] Step2:将标定板置于平整开阔的位置，且保证机器人位姿可达；
[0053] Step3:通过在机器人末端安装针尖工具，并示教该工具，确立工具坐标系与机器人世界坐标系的关系 该工具主要用于标定板的标定；
[0054] Step4:通过使用机器人末端安装针尖，示教出标定板的工件坐标系，其中坐标轴的中心点为工件坐标系的原点，坐标系的方向如下图1所示，记当前工件坐标系为[0055] Step5:移动相机至标定板正上方，使得相机打出的激光线与标定板的X轴对齐，沿着激光线的方向相机到标定板的距离一致，沿着相机长度方向即与激光线垂直的方向，相机到标定板的距离也一致，换句话说，相机上的安装平面与标定板平面平行，此时实现了相机坐标系与标定板坐标系方向对齐；
[0056] Step6:记Step5中对齐后的机器人法兰盘(tool0)的点位在工件坐标系 下的点位为pAlignMiddle，从而计算出接下来相机移动的预起始位置pAlignPreStart(pAlignPreStart.x＝pAlignMiddle.x，pAlignPreStart.y＝pAlignMiddle.y-250)，终止位置pAlignEnd(pAlignEnd.x＝pAlignMiddle.x，pAlignEnd.y＝pAlignMiddle.y+250)；
[0057] Step7:将机器人的相机激光线移动至pAlignPreStart点(以 为参照，下同)；并启动机器人从pAlignPreStart点向pAlignEnd点的直线移动，速度为100mm/s；需要注意的是，机器人从静止到移动达到100mm/s的匀速会有加减速过程，我们使得机器人在直线运行50mm后(此时机器人已经加速完成)发出信号触发Trispector相机取图，此时信号的触发点即为采集图像的Y坐标起始位，记该点法兰盘(tool0)的位置为pAlignStart，则pAlignStart.y＝pAlignMiddle.y–200；注意，将Trispector的Y向取图长度设置为350mm即可，如图2所示；Step8:取图完毕后，将在通过线激光相机提供的软件查看所扫描的图像多个任意位置的Z值大小是否一致，从而确认相机采图平面是否与标定板平面平行(如相差太多，比如近1mm或者更多，需要调整至平行后，从上述Step5重新操作)；记录此时标定板坐标原点在图像坐标系中的点，并记录其坐标值为X,Y,Z，由于取图时我们保证相机camera与标定板board坐标在方向上是对齐的，因此其绕x，y，z轴的旋转欧拉角均为0，从而得到[0058] Step9:将以上点位及坐标系分别以齐次坐标系的方式表达为如下形式：
[0059] 表示标定板中心点与机器人世界坐标系的关系；
[0060] 表示机器人末端法兰盘到标定板中心点的关系；
[0061] 表示标定板与视觉相机之间的关系；
[0062]
[0063] 上述 即为相机的工具坐标系，也就是相机坐标系到法兰盘中心点坐标系的转换关系。
[0064] 实施例3
[0065] 确立机器人抓取点位姿方法主要是通过获取图像抓取点与模板抓取点的转换矩阵，将机器人在模板下的抓取点转换为机器人在当前扫描图像下的抓取点，机器人通过扫描目标工件，获得所需图像目标特征，并根据该特征与模板中特征对比给出转换矩阵H，以及示教模板位置的抓取点 确立当前图像机器人抓取点 计算示意图如下所示：
[0066] Step1：求取相机原点到基坐标的位姿，求取公式如下所示：
[0067]
[0068] 为相机起始拍照点，也就是相机的原点。
[0069] 为标定的相机原点与工具末端法兰的坐标系；
[0070] Step2：求取位置2机器人抓取位姿，联立如下公式(2-1)、(2-2)、(2-3)即可得公式(2-5)，即为所求机器人在位置2的抓取点：
[0071]
[0072]
[0073]
[0074]
[0075]
[0076] 实施例4
[0077] 当对集装箱用锁为例进行本发明使用时，具详细赘述具体操作步骤如下：
[0078] Step1:准备工作1：
[0079] 准备工作1主要是用于标定相机坐标系与机器人末端法兰盘位置的关系，该算法使用及操作步骤在算法1中有详细叙述。
[0080] Step2:准备工作2：
[0081] 准备工作2主要用于获取各个产品的表面信息，从而形成不规则类型产品表面信息模板库及机器人抓取点表。具体操作过程如下：
[0082] 传送带将不规则类型产品运送到指定工作区，并将到位信号发送给机器人，机器人接收到产品到料信息后，携带相机运动到指定位置，机器人通过直线运动对指定工作区进行扫描以获取产品表面信息，根据产品表面特点，对其表面中的特征线及特征线中点进行提取，形成产品模板，同时用于确立机器人抓取位置。将机器人运动到产品表面特征线中点，同时保证机器人夹具姿态与特征线方向一致，确立机器人对当前产品的抓取点，并记录该点。对不同规格类型的产品重复上述步骤从而建立不规则类型产品表面信息模板库及机器人抓取点表。用于算法2中机器人抓取点计算。
[0083] Step3:
[0084] 在Step1和Step2操作完成后，当新产品运动到指定工作区，并将到位信号发送给机器人，机器人接收到产品到料信息后，携带相机运动到指定位置，机器人通过直线运动对指定工作区进行扫描以获取产品表面信息，通过与产品表面信息模板库进行模板匹配，确立当前产品是否存在库中，如果当前产品库不存在，则通知用户人为增加新产品模板到产品模板库中，同时增加机器人抓取点信息。如果当前产品已经存在产品模板库中，则将该产品与产品模板库中的产品进行匹配从而确立产品类型，待产品类型确认完毕后，提取该型产品表面特征线并将该特征线与模板进行匹配，从而确立当前产品抓取点的转换矩阵。
[0085] Step4:根据算法2确立当前图像下机器人抓取点位姿。
[0086] 以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进也应视为本发明的保护范围。
