基于视觉识别的生产线机器人轨迹补偿方法、装置和系统

摘要

本发明公开了一种基于视觉识别的生产线机器人轨迹补偿方法、装置和系统，属于机器人控制技术领域。所述方法包括：本发明通过包含的姿态信息的待抓取物品图像，实现对机器人抓取过程中的运动轨迹进行调整和设置，可以实现生产线机器人在待抓取物品不同姿态下的抓取任务，从而提高了生产线机器人的抓取效率和准确性。

权利要求

1.一种基于视觉识别的生产线机器人轨迹补偿方法，其特征在于，所述方法应用于一种生产线机器人，所述生产线机器人至少包括相机和至少一个夹爪，所述方法包括：获取所述相机所采集的待抓取物品图像；

获取所述相机相对于所述夹爪的第二位置；

根据所述待抓取物品图像，识别所述待抓取物品图像中所述待抓取物品的深度信息，根据所述深度信息，计算待抓取物品相对于相机的第三位置；

根据所述第二位置和所述第三位置，计算待抓取物品的第一位置；

根据所述第一位置，生成抓取点；

根据所述抓取点，设置所述夹爪的运动轨迹，以使所述夹爪按照所述运动轨迹进行运动，完成对所述待抓取物品的抓取；

其中，设置所述夹爪的运动轨迹包括：根据深度信息，调整夹爪的运动轨迹，设置夹爪的机械臂各个关节的速度限制为cvm，加速度限制为cam，m＝1,2,…,N，N为串联机械臂的关节个数；

T

式中：x＝[x0,x1,…,xn‑1] ,xi＝△ti＝ti+1‑ti,i＝0,1,…,n‑1； 为第m个关节的B样条速度曲线的第j个控制点， 为第m个关节的加速度曲线的第j个控制点；△ti是存在下T

界，即TL＝[△tl0,△tl1,…,△tl(n‑l)]的每个元素满足：令：

2.一种基于视觉识别的生产线机器人轨迹补偿装置，其特征在于，所述装置包括相机和至少一个夹爪，所述装置还包括：获取模块，用于获取所述相机所采集的待抓取物品图像；

计算模块，用于根据所述待抓取物品图像，计算所述待抓取物品的第一位置；

所述计算模块还用于根据所述第一位置，生成抓取点；

设置模块，用于根据所述抓取点，设置所述夹爪的运动轨迹，以使所述夹爪按照所述运动轨迹进行运动，完成对所述待抓取物品的抓取；

所述计算模块具体用于：获取所述相机相对于所述夹爪的第二位置；

根据所述待抓取物品图像，识别所述待抓取物品图像中所述待抓取物品的深度信息，根据所述深度信息，计算待抓取物品相对于相机的第三位置；

根据所述第二位置和所述第三位置，计算待抓取物品的第一位置；

所述设置模块还用于：

根据所述深度信息，调整所述夹爪的运动轨迹；

其中，设置所述夹爪的运动轨迹包括：根据深度信息，调整夹爪的运动轨迹，设置夹爪的机械臂各个关节的速度限制为cvm，加速度限制为cam，m＝1,2,…,N，N为串联机械臂的关节个数；

T

式中：x＝[x0,x1,…,xn‑1] ,xi＝△ti＝ti+1‑ti,i＝0,1,…,n‑1； 为第m个关节的B样条速度曲线的第j个控制点， 为第m个关节的加速度曲线的第j个控制点；△ti是存在下T

界，即TL＝[△tl0,△tl1,…,△tl(n‑l)]的每个元素满足：令：

3.一种基于视觉识别的生产线机器人轨迹补偿系统，其特征在于，所述系统包括生产线机器人，所述生产线机器人至少包括相机和至少一个夹爪，所述系统还包括：获取装置，用于获取所述相机所采集的待抓取物品图像；

计算装置，用于根据所述待抓取物品图像，计算所述待抓取物品的第一位置；

所述计算装置还用于根据所述第一位置，生成抓取点；

设置装置，用于根据所述抓取点，设置所述夹爪的运动轨迹，以使所述夹爪按照所述运动轨迹进行运动，完成对所述待抓取物品的抓取；

所述计算装置具体用于：获取所述相机相对于所述夹爪的第二位置；

根据所述待抓取物品图像，识别所述待抓取物品图像中所述待抓取物品的深度信息，根据所述深度信息，计算待抓取物品相对于相机的第三位置；

根据所述第二位置和所述第三位置，计算待抓取物品的第一位置；

所述设置装置还用于：

根据所述深度信息，调整所述夹爪的运动轨迹；

其中，设置所述夹爪的运动轨迹包括：根据深度信息，调整夹爪的运动轨迹，设置夹爪的机械臂各个关节的速度限制为cvm，加速度限制为cam，m＝1,2,…,N，N为串联机械臂的关节个数；

T

式中：x＝[x0,x1,…,xn‑1] ,xi＝△ti＝ti+1‑ti,i＝0,1,…,n‑1； 为第m个关节的B样条速度曲线的第j个控制点， 为第m个关节的加速度曲线的第j个控制点；△ti是存在下T

界，即TL＝[△tl0,△tl1,…,△tl(n‑l)]的每个元素满足：令：

4.一种基于视觉识别的生产线机器人轨迹补偿装置，所述装置包括存储器以及与所述存储器连接的处理器，其中，所述存储器用于存储一组程序代码，所述处理器调用所述存储器所存储的程序代码用于执行权利要求1所述的方法。

说明书

基于视觉识别的生产线机器人轨迹补偿方法、装置和系统

技术领域

[0001] 本发明涉及机器人控制技术领域，特别涉及一种基于视觉识别的生产线机器人轨迹补偿方法、装置和系统。

背景技术

[0002] 为了提高工作效率，越来越多的生产线引入了机器人进行无序分拣。由于机器人编程的门槛相对较高，生产线上的机器人往往是通过示教点来完成固定的点对点运动。

[0003] 相关技术所提供的机器人仅仅可以用来抓取一些长方体模具或者非正圆球类的模具，这些模具由于放置或者一些其他因素导致的姿态不同（例如从原来的站立姿态到躺
倒姿态），那么机器人运动到原来示教好的抓取点，将不能完成预设的抓取任务，从而降低
了生产线机器人的抓取效率和准确性。

发明内容

[0004] 为了提高生产线机器人的抓取效率和准确性，本发明实施例提供了一种基于视觉识别的生产线机器人轨迹补偿方法、装置和系统。所述技术方案如下：

[0005] 一方面，提供了一种基于视觉识别的生产线机器人轨迹补偿方法，所述方法应用一种生产线机器人，所述生产线机器人至少包括至少一个夹爪和相机，所述方法包括：

[0006] 获取所述相机所采集的待抓取物品图像；

[0007] 根据所述待抓取物品图像，计算所述待抓取物品的第一位置；

[0008] 根据所述第一位置，生成所述抓取点；

[0009] 根据所述抓取点，设置所述夹爪的运动轨迹，以使所述夹爪按照所述运动轨迹进行运动，完成对所述待抓取物品的抓取。

[0010] 可选的，所述根据所述待抓取物品图像，计算所述待抓取物品的位置包括：

[0011] 获取所述相机相对于所述夹爪的第二位置；

[0012] 根据所述待抓取物品图像，识别所述待抓取物品相对于所述相机的第三位置；

[0013] 根据所述第二位置和所述第三位置，计算所述第一位置。

[0014] 可选的，所述根据所述待抓取物品图像，识别所述待抓取物品相对于所述相机的第三位置包括：

[0015] 识别所述待抓取物品图像中所述待抓取物品的深度信息；

[0016] 根据所述深度信息，计算所述第三位置。

[0017] 可选的，所述根据所述抓取点，设置所述夹爪的运动轨迹还包括：

[0018] 根据所述深度信息，调整所述夹爪的运动轨迹。

[0019] 另一方面，提供了一种基于视觉识别的生产线机器人轨迹补偿装置，所述装置包括至少一个夹爪和相机，所述装置还包括：

[0020] 获取模块，用于获取所述相机所采集的待抓取物品图像；

[0021] 计算模块，用于根据所述待抓取物品图像，计算所述待抓取物品的第一位置；

[0022] 所述计算模块还用于根据所述第一位置，生成所述抓取点；

[0023] 设置模块，用于根据所述抓取点，设置所述夹爪的运动轨迹，以使所述夹爪按照所述运动轨迹进行运动，完成对所述待抓取物品的抓取。

[0024] 可选的，所述计算模块具体用于：

[0025] 获取所述相机相对于所述夹爪的第二位置；

[0026] 根据所述待抓取物品图像，识别所述待抓取物品相对于所述相机的第三位置；

[0027] 根据所述第二位置和所述第三位置，计算所述第一位置。

[0028] 可选的，所述计算模块还具体用于：

[0029] 识别所述待抓取物品图像中所述待抓取物品的深度信息；

[0030] 根据所述深度信息，计算所述第三位置。

[0031] 可选的，所述设置模块还用于：

[0032] 根据所述深度信息，调整所述夹爪的运动轨迹。

[0033] 另一方面，提供了一种基于视觉识别的生产线机器人轨迹补偿装置，所述装置包括存储器以及与所述存储器连接的处理器，其中，所述存储器用于存储一组程序代码，所述
处理器调用所述存储器所存储的程序代码用于执行第一方面任一所述的方法。

[0034] 另一方面，提供了一种基于视觉识别的生产线机器人轨迹补偿系统，所述系统包括生产线机器人，所述生产线机器人至少包括至少一个夹爪和相机，所述系统还包括：

[0035] 获取装置，用于获取所述相机所采集的待抓取物品图像；

[0036] 计算装置，用于根据所述待抓取物品图像，计算所述待抓取物品的第一位置；

[0037] 所述计算装置还用于根据所述第一位置，生成所述抓取点；

[0038] 设置装置，用于根据所述抓取点，设置所述夹爪的运动轨迹，以使所述夹爪按照所述运动轨迹进行运动，完成对所述待抓取物品的抓取。

[0039] 可选的，所述计算装置具体用于：

[0040] 获取所述相机相对于所述夹爪的第二位置；

[0041] 根据所述待抓取物品图像，识别所述待抓取物品相对于所述相机的第三位置；

[0042] 根据所述第二位置和所述第三位置，计算所述第一位置。

[0043] 可选的，所述计算装置还具体用于：

[0044] 识别所述待抓取物品图像中所述待抓取物品的深度信息；

[0045] 根据所述深度信息，计算所述第三位置。

[0046] 本发明实施例提供了一种基于视觉识别的生产线机器人轨迹补偿方法、装置和系统，包括：获取所述相机所采集的待抓取物品图像；根据所述待抓取物品图像，计算所述待
抓取物品的第一位置；根据所述第一位置，生成所述抓取点；根据所述抓取点，设置所述夹
爪的运动轨迹，以使所述夹爪按照所述运动轨迹进行运动，完成对所述待抓取物品的抓取。

[0047] 本发明实施例提供的技术方案带来的有益效果是：

[0048] 由于待抓取物品图像中的待抓取物品包含姿态信息，使得通过待抓取物品图像，实现对机器人抓取过程中的运动轨迹进行调整和设置，可以实现生产线机器人在待抓取物
品不同姿态下的抓取任务，从而提高了生产线机器人的抓取效率和准确性。

附图说明

[0049] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于
本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他
的附图。

[0050] 图1是本发明实施例提供的一种基于视觉识别的生产线机器人轨迹补偿方法流程图；

[0051] 图2是本发明实施例提供的一种基于视觉识别的生产线机器人轨迹补偿方法流程图；

[0052] 图3是本发明实施例提供的一种基于视觉识别的生产线机器人轨迹补偿装置结构示意图；

[0053] 图4是本发明实施例提供的一种基于视觉识别的生产线机器人轨迹补偿系统示意图。

具体实施方式

[0054] 为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本
发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在
没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0055] 实施例一

[0056] 本发明实施例提供了一种基于视觉识别的生产线机器人轨迹补偿方法，该方法应用一种生产线机器人，生产线机器人至少包括至少一个夹爪和相机，参照图1所示，该方法
包括：

[0057] 101、获取相机所采集的待抓取物品图像。

[0058] 102、根据待抓取物品图像，计算待抓取物品的第一位置。

[0059] 具体的，获取相机相对于夹爪的第二位置；

[0060] 根据待抓取物品图像，识别待抓取物品相对于相机的第三位置；

[0061] 根据第二位置和第三位置，计算第一位置。

[0062] 其中，根据待抓取物品图像，识别待抓取物品相对于相机的第三位置可以为：

[0063] 识别待抓取物品图像中待抓取物品的深度信息；

[0064] 根据深度信息，计算第三位置。

[0065] 103、根据第一位置，生成抓取点。

[0066] 104、根据抓取点，设置夹爪的运动轨迹，以使夹爪按照运动轨迹进行运动，完成对待抓取物品的抓取。

[0067] 具体的，根据深度信息，调整夹爪的运动轨迹。

[0068] 实施例二

[0069] 本发明实施例提供了一种基于视觉识别的生产线机器人轨迹补偿方法，参照图2所示，该方法包括：

[0070] 201、获取相机所采集的待抓取物品图像。

[0071] 具体的，该相机可以为深度相机，本发明实施例对具体的采集方式不加以限定。

[0072] 通过该深度相机，可以实现对待抓取物品的色彩信息进行识别且实现对待抓取物体进行三维重构。

[0073] 202、获取相机相对于夹爪的第二位置。

[0074] 具体的，设置相机外参数矩阵，该相机外参数矩阵为基坐标系中的点到相机坐标系的点的转换矩阵（景物坐标系到相机坐标系的变换矩阵），该过程可以为具体为：

[0075] 设置相机坐标系相对于世界坐标系的位姿为 （在本文剩余部分，定义 和 ）；

[0076] 设置相机坐标系位姿为 ，其中， 和 为相机的外参数。

[0077] 通过相机与夹爪之间的平移参数 和旋转参数 ，结合基本变换矩阵，可以得出机器人末端坐标系到相机坐标系的变换矩阵：

[0078] (1)

[0079] 设置机器人末端相对于基底坐标系的变换矩阵 ，并根据末端到相机坐标系的变换矩阵 ，得到相机坐标系相对于基底坐标系的变换矩阵 ；

[0080] 根据该变换矩阵。计算基底坐标系相对于相机坐标系的变换 ，即相机的外参数矩阵，该相机的外参数矩阵即为相机相对于夹爪的第二位置。

[0081] 假设p 为图像坐标系中的点，点B为点P在 平面上垂线的交点，点C为点p在图像平面x轴上的垂线交点，得到相机坐标系的点到图像平面的点的转换为：

[0082](2)

[0083] 上式中的右侧系数矩阵即为投影成像矩阵，f表示相机焦距，左侧的 表示点的深度值，即相机坐标系中该点的Z坐标。

[0084] x‑y为图像坐标系，u‑v为像素坐标系， 为图像坐标系的原点在像素坐标系中的表示，从而得到投影离散化矩阵。图像坐标系中的任意一点转换到到像素坐标系的表
示为：

[0085] (3)

[0086] 上式中右侧的系数矩阵即为投影离散化矩阵，dx，dy分别表示像素平面水平和竖直方向的总像素值， 为点p在像素坐标系中的坐标值。

[0087] 基座标系的点通过相机外参数的转换，得到像素坐标，其具体转换如下式：

[0088](4)

[0089] 式中，z为点在相机坐标系中的深度值。

[0090] 203、识别待抓取物品图像中待抓取物品的深度信息。

[0091] 具体的，通过深度学习算法进行特征识别，该过程之前，还可以执行以下步骤：

[0092] 采集多个样本图像；

[0093] 对样本图像中的待抓取物体进行标注，为每一张样本图像得到标签；

[0094] 设置样本图像（JPG）以及其对应的标签文件（XML）为深度学习算法的输入数据，该深度学习算法的输出数据至少包括待抓取物体的深度信息；

[0095] 根据该输入数据对深度学习算法进行训练。

[0096] 在执行为上述步骤之后，通过深度学习算法进行特征识别的过程可以为：

[0097] 将待抓取物品图像输入该深度学习算法，输出待抓取物体的深度信息，进一步的，该深度信息可以为该深度值。

[0098] 204、根据深度信息，计算第三位置。

[0099] 具体的，根据公式（3），得到该待抓取物体的在像素坐标系中的坐标值。

[0100] 值得注意的是，步骤203至步骤204是实现根据待抓取物品图像，识别待抓取物品相对于相机的第三位置的过程，除了上述步骤所述的方式之外，还可以通过其他方式实现
该过程，本发明实施例对具体的方式不加以限定。

[0101] 205、根据第二位置和第三位置，计算第一位置。

[0102] 具体的，通过公式（4）和深度值，将该待抓取物体的在像素坐标系中的坐标值转化为基座标系中的坐标，该坐标即为第三位置。

[0103] 值得注意的是，步骤202至步骤205是实现根据待抓取物品图像，计算待抓取物品的第一位置的过程，除了上述步骤所述的方式之外，还可以通过其他方式实现该过程，本发
明实施例对具体的方式不加以限定。

[0104] 206、根据第一位置，生成抓取点。

[0105] 具体的，获取待抓取物品的多个点的第一位置；

[0106] 根据该多个点的第一位置，估计该待抓取物品的重心点的第一位置，该重心点的第一位置即为抓取点；

[0107] 207、根据抓取点，设置夹爪的运动轨迹，以使夹爪按照运动轨迹进行运动，完成对待抓取物品的抓取。

[0108] 具体的，根据深度信息，调整夹爪的运动轨迹，该过程可以为：

[0109] 从夹爪的起始点以及深度信息，对给定的关节变量进行规划；

[0110] 由若干关节角规划出整条轨迹的关节角，规划出的关节角可直接提供给机器人的控制器；

[0111] 可选的，在进行时间最优轨迹规划时，除了要考虑机器人本身的性能参数，如各个关节所允许的最大速度、 加速度， 加加速度等， 还要考虑机械臂在运行过程中的平滑性
与稳定性，即规划出来的轨迹没有速度和加速度突变，以免损坏机械臂的机械结构。为此，
设置夹爪的运动轨迹的过程还可以为：

[0112] 设置夹爪的机械臂各个关节的速度限制为 ，加速度限制为 ，为串联机械臂的关节个数。：

[0113] (5)

[0114] 式中： 。 , 为第 个关节的B样条速度、加速度曲线的第个控制点。 是存在下界，即 的每个
元素满足：

[0115](6)

[0116] 令：

[0117] (7)

[0118] 由 ， 的值确定时间向量的初始值可以提高优化算法的搜索效率：

[0119] (8)

[0120] 采用序列二次规划(SQP)求解非线性约束优化问题构造拉格朗日函数，将非线性约束线性化：

[0121](9)

[0122] 式中， 是拉格朗日乘子，。

[0123] 通过对拉格朗日函数求极值，当 时， 是非线性优化问题的解，也即时间优化问题的解。通过牛顿‑拉夫森方法，得到SQP问题的第 个子
问题：

[0124] (10)

[0125] 式中：

[0126]

[0127]  为拉格朗日函数Hessian矩阵的近似。记序列二次规划的第k个子问题的解为 ，因此存在K‑T方程：

[0128] (11)

[0129] 实施例三

[0130] 本发明实施例提供了一种基于视觉识别的生产线机器人轨迹补偿装置3，参照图3所示，该装置3包括至少一个夹爪和相机，装置3还包括：

[0131] 获取模块31，用于获取相机所采集的待抓取物品图像；

[0132] 计算模块32，用于根据待抓取物品图像，计算待抓取物品的第一位置；

[0133] 计算模块32还用于根据第一位置，生成抓取点；

[0134] 设置模块33，用于根据抓取点，设置夹爪的运动轨迹，以使夹爪按照运动轨迹进行运动，完成对待抓取物品的抓取。

[0135] 可选的，计算模块32具体用于：

[0136] 获取相机相对于夹爪的第二位置；

[0137] 根据待抓取物品图像，识别待抓取物品相对于相机的第三位置；

[0138] 根据第二位置和第三位置，计算第一位置。

[0139] 可选的，计算模块32还具体用于：

[0140] 识别待抓取物品图像中待抓取物品的深度信息；

[0141] 根据深度信息，计算第三位置。

[0142] 可选的，设置模块33还用于：

[0143] 根据深度信息，调整夹爪的运动轨迹。

[0144] 实施例四

[0145] 本发明实施例提供了一种基于视觉识别的生产线机器人轨迹补偿系统，参照图4所示，该系统包括生产线机器人，生产线机器人至少包括至少一个夹爪和相机，系统还包
括：

[0146] 获取装置41，用于获取相机所采集的待抓取物品图像；

[0147] 计算装置42，用于根据待抓取物品图像，计算待抓取物品的第一位置；

[0148] 计算装置42还用于根据第一位置，生成抓取点；

[0149] 设置装置43，用于根据抓取点，设置夹爪的运动轨迹，以使夹爪按照运动轨迹进行运动，完成对待抓取物品的抓取。

[0150] 可选的，计算装置42具体用于：

[0151] 获取相机相对于夹爪的第二位置；

[0152] 根据待抓取物品图像，识别待抓取物品相对于相机的第三位置；

[0153] 根据第二位置和第三位置，计算第一位置。

[0154] 可选的，计算装置42还具体用于：

[0155] 识别待抓取物品图像中待抓取物品的深度信息；

[0156] 根据深度信息，计算第三位置。

[0157] 实施例五

[0158] 本发明实施例提供了一种基于视觉识别的生产线机器人轨迹补偿装置，该装置包括存储器以及与存储器连接的处理器，其中，存储器用于存储一组程序代码，处理器调用存
储器所存储的程序代码用于执行实施例一和/或所述的方法。

[0159] 本发明实施例提供了一种基于视觉识别的生产线机器人轨迹补偿方法、装置和系统，通过包含的姿态信息的待抓取物品图像，实现对机器人抓取过程中的运动轨迹进行调
整和设置，可以实现生产线机器人在待抓取物品不同姿态下的抓取任务，从而提高了生产
线机器人的抓取效率和准确性。

[0160] 上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

[0161] 需要说明的是：上述实施例提供的基于视觉识别的生产线机器人轨迹补偿装置和系统在执行基于视觉识别的生产线机器人轨迹补偿方法时，仅以上述各功能模块的划分进
行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装
置和系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，
上述实施例提供的基于视觉识别的生产线机器人轨迹补偿方法、装置和系统实施例属于同
一构思，其具体实现过程详见方法实施例，这里不再赘述。

[0162] 本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读
存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

[0163] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。