一种并联机器人快速分拣瑕疵工件的方法转让专利
申请号 : CN202110382250.6
文献号 : CN113102297B
文献日 : 2022-03-08
发明人 : 温宇翔 , 宋伟铭 , 周中亚 , 刘敏 , 高晓阳
申请人 : 中国大恒(集团)有限公司北京图像视觉技术分公司 , 北京大恒图像视觉有限公司
摘要 :
权利要求 :
1.一种并联机器人快速分拣瑕疵工件的方法,其特征在于,所述方法包括:步骤1,根据待检测图像生成图像金字塔,并确定最高层金字塔图像的参考点,其中,所述图像金字塔中包含多层金字塔图像,所述待检测图像为待检工件的图像;
步骤2,依据所述最高层金字塔图像的参考点,确定下一层金字塔图像的预计参考点,以所述预计参考点为中心,在本层金字塔图像中确定第一区域,并计算所述第一区域中各像素点与标准图像中对应像素点的第一匹配得分,并将所述第一匹配得分中最大值对应的像素点记作中间参考点;
步骤3,当判定所述中间参考点位于所述第一区域的边缘时,以所述中间参考点为中心,在所述本层金字塔图像中确定第二区域,并计算所述第二区域中各像素点与所述标准图像中对应像素点的第二匹配得分,将所述第二匹配得分中最大值对应的像素点记作本层金字塔图像的参考点,重新执行步骤2,以逐层确定所述金字塔图像的参考点;
步骤4,基于最底层金字塔图像的参考点与所述标准图像中对应像素点的底层匹配得分,计算所述待检工件为瑕疵件的可信度,以判断是否抓取所述待检工件。
2.如权利要求1所述的并联机器人快速分拣瑕疵工件的方法,其特征在于,所述步骤1中,生成所述图像金字塔的过程,具体包括:步骤11,根据所述待检测图像的高度和宽度,确定所述待检测图像中有效灰度信息个数,并根据所述有效灰度信息个数,确定拟定金字塔层数;
步骤12,基于NCC模板匹配算法,根据所述待检测图像和所述拟定金字塔层数,生成所述图像金字塔。
3.如权利要求2所述的并联机器人快速分拣瑕疵工件的方法,其特征在于,所述拟定金字塔层数的计算公式为:
NLevel=NPixel+2
NPixel=log2(MIN(W,H))式中,NLevel为所述拟定金字塔层数,NPixel为所述有效灰度信息个数,W为所述待检测图像的宽度,H为所述待检测图像的高度。
4.如权利要求1所述的并联机器人快速分拣瑕疵工件的方法,其特征在于,所述方法,还包括:
步骤31,当判定所述中间参考点为所述第一区域的中心像素点时,将所述中间参考点记作本层金字塔图像的参考点,重新执行步骤2,以逐层确定所述金字塔图像的参考点。
5.如权利要求1所述的并联机器人快速分拣瑕疵工件的方法,其特征在于,所述第一区域为以所述预计参考点为中心的3*3区域。
6.如权利要求1所述的并联机器人快速分拣瑕疵工件的方法,其特征在于,所述第二区域为以所述中间参考点为中心的四联通区域。
7.如权利要求1所述的并联机器人快速分拣瑕疵工件的方法,其特征在于,所述步骤4中,所述最底层金字塔图像的参考点与所述标准图像中对应像素点的底层匹配得分的计算过程,具体包括:
步骤41,以所述最底层金字塔图像的预计参考点为中心,在所述最底层金字塔图像中确定第三区域,并计算所述第三区域中各像素点与所述标准图像中对应像素点的第三匹配得分;
步骤42,采用迭代算法,根据所述第三匹配得分和所述第三区域中各像素点的坐标,拟合多项式曲面,并计算所述第三区域中各像素点的灰度值与所述多项式曲面间的距离;
步骤43,根据所述第三区域中所述距离小于距离阈值的像素点,组成内点集,根据所述内点集中各像素点的坐标和对应的第三匹配得分,拟合多项式曲面,执行步骤42;
步骤44,当判定满足迭代结束条件时,选取包含像素点数量最多的内点集,记作最佳数据集,并根据所述最佳数据集,拟合高斯曲面;
步骤45,将所述高斯曲面的局部最大值对应的像素点记作最佳匹配点,计算所述最佳匹配点与所述标准图像中对应像素点的匹配得分,记作所述底层匹配得分。
8.如权利要求7所述的并联机器人快速分拣瑕疵工件的方法,其特征在于,所述步骤42中,计算所述第三区域中各像素点的灰度值与所述多项式曲面间的距离,所述距离的计算公式为:
t(xi,yi)=|f(xi,yi)‑s(xi,yi)|式中,(xi,yi)为所述第三区域中各像素点的坐标,f(xi,yi)为所述灰度值,由所述多项式曲面确定,A为曲面峰值,(x0,y0)为所述曲面峰值A在所述多项式曲面中的坐标,δx为所述多项式曲面x方向的方差,δy为所述多项式曲面y方向的方差,s(xi,yi)为所述第三匹配得分。
9.如权利要求1所述的并联机器人快速分拣瑕疵工件的方法,其特征在于,所述方法还包括:
步骤5,当所述可信度大于瑕疵阈值时,判定抓取所述待检工件,并根据机械臂末端在传送带上的第一投影位置和机械臂移动速度,确定所述机械臂到达所述第一投影位置的第一时间;
步骤6,根据所述待检测图像中所述待检工件的位置,确定所述待检工件在所述传送带上的第二投影位置,结合所述第一投影位置、所述传送带速度,计算所述待检工件到达所述第一投影位置的第二时间;
步骤7,根据所述第二时间与所述第一时间的时间差,计算所述机械臂的抓取时间,当判定到达所述抓取时间时,启动所述机械臂,以抓取所述待检工件。
10.一种并联机器人快速分拣瑕疵工件的系统,其特征在于,所述系统包括传送带、工业相机、光源、机械臂以及机械臂控制系统,所述机械臂控制系统根据如权利要求1‑9中任一项所述的并联机器人快速分拣瑕疵工件的方法,控制所述机械臂对传送带上的待检工件进行分拣。
说明书 :
一种并联机器人快速分拣瑕疵工件的方法
技术领域
背景技术
子、汽车、食品和药品等领域,并联机器人分拣已 经成为产品装配线上的重要组成部分。
检测机构包括5个成像相机和5个光源,5个 所述成像相机的焦距和5个所述光源的光线皆
相交于所述输送机构上的冲 压件,且5个成像相机和5个光源分别在所述冲压件上方呈
180°圆弧状分 布。一方面,该方案使用多个相机和光源搭配,大大增加了分拣系统的成
本。另一方面,该方案的分拣速度受限于传送带速度、图像处理速度以及 排次品机构的速
度,且该方案的定位机构上游以及排次品机构的下游,皆 需要通过人工收放冲压件,限制
了分拣速度。
利用改进的OTSU法对图像进行二值化,依靠连 续不断迭代的方式选取阈值,使得图像阈值
分割后的效果优于常规OTSU 算法。该方案对于具有双峰特征的图像具有良好的分割效果,
但是对于具 有单峰特征的图像来说,该方案并不适用,因此造成该方案的适用范围较 窄,
且分拣准确率较低。其次,该阈值选取方式需要依靠大量的、连续不 断的迭代去筛选最佳
阈值,而阈值筛选期间耗时巨大,不利于现场实时作 业,大大降低生产效率,导致该系统前
期的分拣效率较低。
件、食品、药品等的搬运和分拣,具有使 用方便、集成化控制、多终端同步性强、控制准确性
高和成本低廉的特点。 该方案使用Canny算子进行图像分割,将目标图像从背景图像中提
取出来, 虽然Canny算子可以很好的标识弱边缘,但与此同时,Canny算子容易受 到噪声的
干扰,会将部分噪声也归结为边缘,造成定位精度缺失,继而影 响机器人分拣的准确性。
发明内容
准确率。并且还可以提供瑕疵件的位置信息、 角度信息,以供并联机器人准确抓取识别出
的瑕疵件。
考点,其中,图像金字塔中包含多层金字塔图像, 待检测图像为待检工件的图像;步骤2,依
据最高层金字塔图像的参考点, 确定下一层金字塔图像的预计参考点,以预计参考点为中
心,在本层金字 塔图像中确定第一区域,并计算第一区域中各像素点与标准图像中对应像
素点的第一匹配得分,并将第一匹配得分中最大值对应的像素点记作中间 参考点;步骤3,
当判定中间参考点位于第一区域的边缘时,以中间参考点 为中心,在本层金字塔图像中确
定第二区域,并计算第二区域中各像素点 与标准图像中对应像素点的第二匹配得分,将第
二匹配得分中最大值对应 的像素点记作本层金字塔图像的参考点,重新执行步骤2,以逐
层确定金字 塔图像的参考点;步骤4,基于最底层金字塔图像的参考点与标准图像中对 应
像素点的底层匹配得分,计算待检工件为瑕疵件的可信度,以判断是否 抓取待检工件。
效灰度信息个数,确定拟定金字塔层数; 步骤12,基于NCC模板匹配算法,根据待检测图像
和拟定金字塔层数,生 成图像金字塔。
以逐层确定金字塔图像的参考点。
的预计参考点为中心,在最底层金字塔图像 中确定第三区域,并计算第三区域中各像素点
与标准图像中对应像素点的 第三匹配得分;步骤42,采用迭代算法,根据第三匹配得分和
第三区域中 各像素点的坐标,拟合多项式曲面,并计算第三区域中各像素点的灰度值 与
多项式曲面间的距离;步骤43,根据第三区域中距离小于距离阈值的像 素点,组成内点集,
根据内点集中各像素点的坐标和对应的第三匹配得分, 拟合多项式曲面,执行步骤42;步
骤44,当判定满足迭代结束条件时,选 取包含像素点数量最多的内点集,记作最佳数据集,
并根据最佳数据集, 拟合高斯曲面;步骤45,将高斯曲面的局部最大值对应的像素点记作
最佳 匹配点,计算最佳匹配点与标准图像中对应像素点的匹配得分,记作底层 匹配得分。
方差,δy为多项式曲面y方向的方差,s(xi,yi)为 第三匹配得分。
度,确定机械臂到达第一投影位置的第一时间; 步骤6,根据待检测图像中待检工件的位
置,确定待检工件在传送带上的第 二投影位置,结合第一投影位置、传送带速度,计算待检
工件到达第一投 影位置的第二时间;步骤7,根据第二时间与第一时间的时间差,计算机械
臂的抓取时间,当判定到达抓取时间时,启动机械臂,以抓取待检工件。
统根据如第一方面技术方案中任一项所述的 并联机器人快速分拣瑕疵工件的方法,控制
所述机械臂对传送带上的待检 工件进行分拣。
程中计算量,降低了硬件性能需求,提高运行效率。 本申请中的技术方案,将定位精度从像
素级别提升至亚像素级别,对于500 万像素的工业相机而言,精度误差控制在0.329个像素
内,解决了当前工业 机器人分拣系统存在缺陷检测速度慢、定位精度低、错误率高的问题。
对最佳匹配点定位的影响,保证了重构多项式 曲面的准确性,从而提高了最佳匹配点定位
的精度。
塔层级最高,保证分拣的准确度。
附图说明
具体实施方式
施例及实施例中的特征可以相互结合。
开的具体实施例的限制。
疵检测的分拣系统,该方法包括:
的图像;
息也在减少,虽然检测速度则会相应得增 加,但检测的准确率会随之降低。并且,传统NCC
模板匹配针对目标旋转 的情况无法进行定位。由于待检工件是随机放置在传送带上的,因
此,其 方向不一定与工业相机平行,导致传统NCC模板匹配,定位准确率低。
字塔层数的联系关系,在保证准确率的前提 下,使得金字塔层级最高。该步骤1中,生成图
像金字塔的过程,具体包 括:
图像进行旋转,设定待检工件为冲压件,该过 程具体方法包括:
摄冲压件与标准件的相似程度越低,则说明 该冲压件表面存在缺陷。
件)是否为瑕疵件。本实施例中,将最底层金字 塔图像中参考点的匹配得分记作底层匹配
得分。
索,即以该参考点的5*5区域内进行定位。
标准图像中对应像素点的第一匹配得分,并将 第一匹配得分中最大值对应的像素点记作
中间参考点,其中,第一区域为 以预计参考点为中心的3*3区域。
提高匹配速度,在传统NCC模板匹配算法 中5*5的候选区域内,优先计算以预计参考点为中
心的3*3区域(第一区 域)内的匹配得分值。
作为本层金字塔图像的参考点,并根据该 参考点确定下一层金字塔图像的预计参考点,重
新执行步骤2,计算下一层 金字塔图像的参考点。
二匹配得分,将第二匹配得分中最大值对应的像 素点记作本层金字塔图像的参考点,重新
执行步骤2,以逐层确定金字塔图 像的参考点。
该4联通邻域内进行二次匹配得分计算,更 精确的计算出最高匹配得分对应像素点的位
置,并减小了匹配得分计算过 程中的运算量。经测试,通过本实施例中金字塔各层优化后
的参考点搜索 算法,可以降低匹配耗时56%~64%。
耗时占比约为整个金字塔匹配耗时的 78.45%。为了进一步降低NCC模板匹配算法的耗时,
本实施例对最底层金 字塔图像的参考点与标准图像中对应像素点的底层匹配得分的计算
过程进 行了优化,该过程具体包括:
第三区域为3*3区域;
(xi,yi)的计算公式为:
方差,δy为多项式曲面y方向的方差,s(xi,yi)为 第三匹配得分。
标,通过曲面拟合的方式,计算出曲面峰值A与 曲面峰值A在多项式曲面中的坐标(x0,y0)、
多项式曲面xy方向的方差δx和 δy,对应的拟合多项式曲面计算公式为:
vecin。
利用最小二乘法拟合出一张方向向下的随机抽样 一致性高斯曲面f(x,y),接着计算3*3区
域所有像素点(xi,yi)的灰度值 f(xi,yi),进而得出灰度值与多项式曲面间的距离t(xi,
yi)。如果该距离 t(xi,yi)小于距离阈值DistThre,则将该像素点设定为内点集vecin中的一
个 点。
进行筛选,可以有效剔除得分突变点,保证了 重构多项式曲面的准确性,从而提高了最佳
匹配点定位的精度。
再根据该距离重新筛选内点集vecin,进行多次 迭代,当满足迭代终止条件时,如迭代次数
达到50次,结束迭代运算,根 据迭代过程中每一次得到的内点集,选取内点集中包含像素
点数量最多的 内点集作为最佳数据集。利用最佳数据集重新拟合高斯曲面,并求解出该
曲面的局部最大值,局部最大值所在的图像亚像素坐标(x0,y0)即为最底层 金字塔图像的
最佳匹匹配点,进而计算最佳匹配点与标准图像的匹配得分。
匹配耗时则降低为原来的36.862%。
信度。
臂末端在传送带上的第一投影位置和机械 臂移动速度,确定机械臂到达第一投影位置的
第一时间;
Vro,则末端到制定目标点所需时间Tro可以通过位置差与机 械臂速度计算得出。
手眼标定结果,完成路径规划,当瑕疵冲压件到达 预定位置时,并联机器人完成抓取操作。
实施例中任一项的并联机器人快速分拣瑕疵工 件的方法,控制机械臂对传送带上的待检
工件进行分拣。
理步骤,减少检测时间的同时降低了环境对于检 测的影响。接着,将采集到的图像传入PC
端进行图像通道转换操作,将多 通道图像转换为单通道图像,减少图像信息处理量,提高
瑕疵检测的整体 效率。
果当前相机视野内存在冲压件,即该图像为待 检测图像,则进一步判断该图像中的冲压件
表面是否存在缺陷,并给出存 在缺陷可信度,具体计算过程不再赘述。
则可进行手眼标定,计算出并联机器人抓取坐标, 当缺陷冲压件到达预期位置时,机械臂
末端完成抓取动作,实现缺陷冲压 件的分拣任务。
约了并联机器人的分拣效率。二本实施例 中的匹配算法,平均定位耗时为9.359ms,每秒平
均处理106帧图像,将并 联机器人抓取效率提升为原来的2.718倍,显著提升了并联机器人
效拣功率。
字塔图像的参考点,其中,图像金字塔中包含多 层金字塔图像,待检测图像为待检工件的
图像;步骤2,依据最高层金字塔 图像的参考点,确定下一层金字塔图像的预计参考点,以
预计参考点为中 心,在本层金字塔图像中确定第一区域,并计算第一区域中各像素点与标
准图像中对应像素点的第一匹配得分,并将第一匹配得分中最大值对应的 像素点记作中
间参考点;步骤3,当判定中间参考点位于第一区域的边缘时, 以中间参考点为中心,在本
层金字塔图像中确定第二区域,并计算第二区 域中各像素点与标准图像中对应像素点的
第二匹配得分,将第二匹配得分 中最大值对应的像素点记作本层金字塔图像的参考点,重
新执行步骤2,以 逐层确定金字塔图像的参考点;步骤4,基于最底层金字塔图像的参考点
与 标准图像中对应像素点的底层匹配得分,计算待检工件为瑕疵件的可信度, 以判断是
否抓取待检工件。通过本申请中的技术方案,解决了当前工业机 器人分拣系统存在缺陷检
测速度慢、错误率高的问题。
申请保护范围和精神的情况下针对发明所作的 各种变型、改型及等效方案。