一种单目视觉的一维二维测量方法转让专利

申请号 : CN202211044387.1

文献号 : CN115112098B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 冀伟彭彩彤曲东升李长峰张继储开斌

申请人 : 常州铭赛机器人科技股份有限公司

摘要 :

本发明公开了一种单目视觉的一维二维测量方法,依赖于OpenCV开源视觉库,包括以下步骤:第1步骤、图像采集,相机标定;第2步骤、自定义ROI区域图像;第3步骤、图像预处理;第4步骤、标准特征圆提取;第5步骤、标准特征直线提取;第6步骤、配置标准检测文件;第7步骤、更新轮廓特征点;第8步骤、多目标间的位置关系描述;第9步骤、全自动点胶路径规划。该单目视觉的一维二维测量方法,通过机器视觉对待测工件进行特征提取,自动化程度高,测量精度高,且成本低。

权利要求 :

1.一种单目视觉的一维二维测量方法,依赖于OpenCV开源视觉库,其特征在于,包括以下步骤:第1步骤、图像采集,相机标定:利用单目相机对工件进行图像采集;对单目相机进行标定,得到单目相机内参矩阵和单目相机外参矩阵;

第2步骤、自定义ROI区域图像:基于第1步骤中采集到的图像,对图像中的单目标特征区域进行ROI框定,标记单目标ROI区域图像并编号,建立自定义的每个ROI区域图像与原图像的坐标映射关系;

第3步骤、图像预处理:基于第2步骤中生成的单目标ROI区域图像,对每个ROI区域图像进行预处理;在所述第3步骤中,预处理包括二值化、自适应阈值分割、Canny边缘检测和高斯滤波降噪;所述二值化采用的是OpenCV开源视觉库中的OTSU算法;所述自适应阈值分割采用的是OpenCV开源视觉库中的OTSU算法;

第4步骤、标准特征圆提取:提取轮廓特征点,通过最小包围圆迭代优化算法拟合标准特征圆,并输出标准特征圆参数信息,标准特征圆参数信息中包含标准特征圆圆心坐标和圆半径;

第5步骤、标准特征直线提取:根据第4步骤提取到的标准特征圆圆心坐标,自定义直线的起点与终点,确定特征点的采样域,在水平方向和垂直方向上进行双向特征点扫描采样,利用RANSAC迭代算法拟合标准特征直线,记录特征点位置信息并拟合直线方程;

第6步骤、配置标准检测文件:将ROI区域图像编号、对应标准特征圆或标准特征直线点位置坐标保存至标准检测文件;

第7步骤、更新轮廓特征点:基于第4步骤的标准特征圆和第5步骤的标准特征直线,当需要对标准特征圆和标准特征直线进行修改时,调整ROI区域图像位置和大小,重新提取轮廓特征点,更新后的轮廓特征点坐标和ROI区域图像编号将自动保存至标准检测文件中;

第8步骤、多目标间的位置关系描述:读取标准检测文件,对待测图像进行特征匹配,并根据第2步骤得到的每个ROI区域图像与原图像的坐标映射关系,得到目标特征圆的位置坐标信息和目标特征直线的位置坐标信息,获得圆心到圆心的距离和圆心到直线的距离,由此对多目标间的位置关系进行描述;

第9步骤、全自动点胶路径规划:根据第1步骤得到的单目相机内外参矩阵和第8步骤得到的特征点位置信息及特征点间的像素距离,将图像坐标系中的坐标转化为现实世界坐标系中的坐标,实现全自动点胶路径规划并计算定位精度和重复测量精度。

2.根据权利要求1所述的一种单目视觉的一维二维测量方法,其特征在于:在所述第4步骤中,标准特征圆的参数信息包括两个圆心坐标、两个圆半径和圆心距。

3.根据权利要求2所述的一种单目视觉的一维二维测量方法,其特征在于:在所述第5步骤中,标准特征直线的提取过程是:自定义直线的起点与终点,基于两个圆心坐标位置,确定工件上边框直线特征点采样域,在采样域内进行水平和垂直双向特征点采样并将其送入采样队列,通过RANSAC迭代算法迭代优化,得到标准特征直线。

4.根据权利要求1所述的一种单目视觉的一维二维测量方法,其特征在于:所述Canny边缘检测利用Canny边缘检测算法获取ROI区域图像上的边缘特征。

5.根据权利要求1所述的一种单目视觉的一维二维测量方法,其特征在于:利用轮廓提取算法来提取轮廓特征点。

6.根据权利要求5所述的一种单目视觉的一维二维测量方法,其特征在于:标准特征圆基于OpenCV中的findcontour函数来提取轮廓特征点。

7.根据权利要求5所述的一种单目视觉的一维二维测量方法,其特征在于:标准特征直线通过双向采样融合与标准特征圆的相对位置关系得到轮廓特征点。

说明书 :

一种单目视觉的一维二维测量方法

技术领域

[0001] 本发明涉及单目视觉测量方法的技术领域,尤其是一种单目视觉的一维二维测量方法。

背景技术

[0002] 传统的在线点胶设备,通常通过摄像头传输图像,人工标点定位,进而进行轨迹规划,这种方法的智能化程度和精度均较低,产品的不良率高,生产效率低,已不能满足高质量产品生产的指标要求,导致企业缺乏竞争性和灵活性。
[0003] 机器视觉技术发展迅速,与人类视觉相比,能够适应高要求、高精度的定位与尺寸测量需求,视觉技术与机器人的结合大大提高生产效率,最大限度的保证生产过程中的人身安全,对工业自动化发展具有重要意义。
[0004] 点胶设备中常使用的基于Halcon商业视觉库的标定方式可以保证高精度和稳定性的标定,但成本较高,并且技术由国外公司掌握,底层不开放,并且在技术上有被卡脖子的风险。

发明内容

[0005] 本发明旨在至少解决现有技术中存在的技术问题之一。
[0006] 为此,本发明提出一种单目视觉的一维二维测量方法,依赖于OpenCV开源视觉库,通过机器视觉对待测工件进行特征提取,自动化程度高,测量精度高,且成本低。
[0007] 根据本发明实施例的单目视觉的一维二维测量方法,依赖于OpenCV开源视觉库,包括以下步骤:
[0008] 第1步骤、图像采集,相机标定:利用单目相机对工件进行图像采集;对单目相机进行标定,得到单目相机内参矩阵和单目相机外参矩阵;
[0009] 第2步骤、自定义ROI区域图像:基于第1步骤中采集到的图像,对图像中的单目标特征区域进行ROI框定,标记单目标ROI区域图像并编号,建立自定义的每个ROI区域图像与原图像的坐标映射关系;
[0010] 第3步骤、图像预处理:基于第2步骤中生成的单目标ROI区域图像,对每个ROI区域图像进行预处理;
[0011] 第4步骤、标准特征圆提取:提取轮廓特征点,通过最小包围圆迭代优化算法拟合标准特征圆,并输出标准特征圆参数信息,标准特征圆参数信息中包含标准特征圆圆心坐标和圆半径;
[0012] 第5步骤、标准特征直线提取:根据第4步骤提取到的标准特征圆圆心坐标,自定义直线的起点与终点,确定特征点的采样域,在水平方向和垂直方向上进行双向特征点扫描采样,利用RANSAC迭代算法拟合标准特征直线,记录特征点位置信息并拟合直线方程;
[0013] 第6步骤、配置标准检测文件:将ROI区域图像编号、对应标准特征圆或标准特征直线点位置坐标保存至标准检测文件;
[0014] 第7步骤、更新轮廓特征点:基于第4步骤的标准特征圆和第5步骤的标准特征直线,当需要对标准特征圆和标准特征直线进行修改时,调整ROI区域图像位置和大小,重新提取轮廓特征点,更新后的轮廓特征点坐标和ROI区域图像编号将自动保存至标准检测文件中;
[0015] 第8步骤、多目标间的位置关系描述:读取标准检测文件,对待测图像进行特征匹配,并根据第2步骤得到的每个ROI区域图像与原图像的坐标映射关系,得到目标特征圆的位置坐标信息和目标特征直线的位置坐标信息,获得圆心到圆心的距离和圆心到直线的距离,由此对多目标间的位置关系进行描述;
[0016] 第9步骤、全自动点胶路径规划:根据第1步骤得到的单目相机内外参矩阵和第8步骤得到的特征点位置信息及特征点间的像素距离,可以将图像坐标系中的坐标转化为现实世界坐标系中的坐标,实现全自动点胶路径规划并计算定位精度和重复测量精度。
[0017] 本发明的有益效果是,(1)通过机器视觉对待测工件进行特征提取,达到像素级的定位测量精度,大大降低产品的不良率,并且自动化程度高,生产效率高,由此增加企业的竞争性和灵活性;(2)通过自适应阈值分割等处理提取目标轮廓特征点,和多目标位置关系的融合方法解决了全自动点胶定位问题;(3)自定义单目标ROI区域并编号,利用OpenCV开源视觉库对每个ROI区域进行自适应阈值分割、Canny边缘检测等处理,并建立自定义ROI区域与原图像的坐标映射关系,减少了运算数据量;(4)设计了相对位置关系的特征提取方法,解决了由于工件摆放位置差异造成的定位精度问题,可描述多目标特征间的位置关系,提升了软件系统通用性和定位测量精准度。
[0018] 根据本发明一个实施例,在所述第4步骤中,标准特征圆的参数信息包括两个圆心坐标、两个圆半径和圆心距。
[0019] 根据本发明一个实施例,在所述第5步骤中,标准特征直线的提取过程是:自定义直线的起点与终点,基于两个圆心坐标位置,确定工件上边框直线特征点采样域,在采样域内进行水平和垂直双向特征点采样并将其送入采样队列,通过RANSAC迭代算法迭代优化,得到标准特征直线。
[0020] 根据本发明一个实施例,在所述第3步骤中,预处理包括二值化、自适应阈值分割、Canny边缘检测和高斯滤波降噪。
[0021] 根据本发明一个实施例,所述二值化采用的是OpenCV开源视觉库中的OTSU算法。
[0022] 根据本发明一个实施例,所述自适应阈值分割采用的是OpenCV开源视觉库中的OTSU算法。
[0023] 根据本发明一个实施例,所述Canny边缘检测利用Canny边缘检测算法获取ROI区域图像上的边缘特征。
[0024] 根据本发明一个实施例,利用轮廓提取算法来提取轮廓特征点。
[0025] 根据本发明一个实施例,标准特征圆基于OpenCV中的findcontour函数来提取轮廓特征点。
[0026] 根据本发明一个实施例,标准特征直线通过双向采样融合与标准特征圆的相对位置关系得到轮廓特征点。
[0027] 本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
[0028] 为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

[0029] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0030] 图1是本发明单目视觉的一维二维测量方法流程图;
[0031] 图2是自定义ROI区域图;
[0032] 图3是自适应阈值分割效果图;
[0033] 图4是直线识别描述图;
[0034] 图5是特征圆测量结果图;
[0035] 图6是多目标相对位置关系图。
[0036] 图中的标号为:ID0、左光心;ID1、右光心;ID2、上边框直线;L0、基准线;L1、直线。

具体实施方式

[0037] 为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0038] 下面参考附图具体描述本发明实施例的单目视觉的一维二维测量方法。
[0039] 本发明适用于各种通过机器视觉识别和定位的行业,如:点胶行业等。
[0040] 本发明的一种单目视觉的一维二维测量方法,依赖于OpenCV开源视觉库,包括以下步骤:
[0041] 第1步骤、图像采集,相机标定:利用单目相机对工件进行图像采集;对单目相机进行标定,得到单目相机内参矩阵和单目相机外参矩阵。
[0042] 单目相机内参矩阵和单目相机外参矩阵,用于计算坐标转换(将现实世界的三维场景经过单目相机转换为二维的图像);其中,单目相机内参矩阵用于描述摄像机坐标系上的一点经过摄像机的镜头和小孔成像转变成为像素点。单目相机外参矩阵用于描述现实世界坐标系中的任意一点经过旋转和平移映射到摄像机坐标系上的一点。
[0043] 设某点 从世界坐标到相机坐标系的转换,过程如下所示:
[0044] 点 在相机坐标系中的坐标是 :
[0045]     (1)
[0046] 其中,公式(1)中的各个符号所表示的含义具体如下所示:
[0047] 表示点P的世界坐标;
[0048] 表示点P在相机坐标系中的坐标;
[0049] 表示旋转矩阵;
[0050] 表示平移向量。
[0051] 公式(1)可变形成公式(2),如下所示:
[0052]        (2)
[0053] 从相机三维坐标系映射到二维图像坐标系,过程如下所示:
[0054] 依据相似三角形原理,可得到比例关系如下:
[0055]     (3)
[0056] 其中,公式(3)中的各个符号所表示的含义具体如下所示:
[0057] 表示焦距;
[0058] 表示成像平面的二维坐标;
[0059] 表示点P的世界坐标;
[0060] 进而得出点 对应的成像平面的二维坐标 :
[0061]    (4)
[0062] 从二维图像坐标系映射到像素坐标系,过程如下所示:
[0063] 该过程不涉及旋转变换,只改变了坐标原点位置,所以只涉及平移和伸缩变换,由于二者原点不重合,设原点在像素坐标系下的坐标为 ,在图像坐标系下的坐标为,分别为该像素点沿x轴,y轴方向上的微元;
[0064] 两个像素点的坐标关系为:
[0065]       (5)
[0066] 其中,公式(5)中的各个符号所表示的含义具体如下所示:
[0067] 表示成像平面的二维坐标;
[0068] 表示像素坐标系中坐标;
[0069] 表示在 方向上缩放了 倍;
[0070] 表示在 方向上缩放了 倍。
[0071] 即可得到矩阵变换关系:
[0072]         (6)
[0073] 综上得到相机几何模型的参数:
[0074]    (7)
[0075] 其中,公式(7)中的各个符号所表示的含义具体如下所示:
[0076] , 表示传感器在x方向上的焦距;
[0077] , 表示传感器在y方向上的焦距。
[0078] 第2步骤、自定义ROI区域图像:基于第1步骤中采集到的图像,对图像中的单目标特征区域进行ROI框定,标记单目标ROI区域图像并编号,建立自定义的每个ROI区域图像与原图像的坐标映射关系。
[0079] 第3步骤、图像预处理:基于第2步骤中生成的单目标ROI区域图像,对每个ROI区域图像进行预处理。
[0080] 第4步骤、标准特征圆提取:提取轮廓特征点,通过最小包围圆迭代优化算法拟合标准特征圆,并输出标准特征圆参数信息,标准特征圆参数信息中包含标准特征圆圆心坐标和圆半径。
[0081] 其中,需要说明的是,为进一步优化目标识别效果,提高圆心定位精度,通过轮廓查找来筛选工件(摄像头模组)的两个镜头位置,根据最小包围圆函数提取出图像中包围所有2D点集,拟合最小面积的圆,并求圆心坐标。最小包围圆函数算法通过输入识别出的轮廓点集,输出圆的圆心和半径,具体步骤进行如下说明:
[0082] 首先需要遍历该圆的所有像素点,根据位置坐标确定四个边界点,即最上边界点H,最下边界点D,最左边界点L,最右边界点R的四个点,根据图像中四点的相对位置关系,来求得这组四点的最小包围圆,输出该圆的圆心和半径,四个点确定最小包围圆的具体情况如下:
[0083] 第一种情况:当四点均位于同一直线上时,则以最远的两个点作为该圆直径的两个端点,此时即为这四点的最小覆盖圆。
[0084] 第二种情况:当只有其中的三个点在同一直线上时,则找出处于同一直线上的距离最远的两点,与另一非共线点组成的三个角点所在的外接圆即为是这一组点的最小覆盖圆。
[0085] 第三种情况:当这四点中其中任意三个点都不处于同一直线上时,并且这组点中其中有三个点构成三角形,而另一个点落在该三角形内侧,那么该三角形的外接圆即是这组点的最小覆盖圆。
[0086] 第四种情况:当这四点中不存在其中任意三个点处于同一共线的情况时,且四点连接起来构成一个凸四边形,若有对角互补,那么这四点一定在同一圆上,此时该圆就是这组点的最小覆盖圆。
[0087] 第五种情况:当这四点中不存在其中任意三个点处于同一共线的情况时,且四点连接起来构成一个凸四边形,但不存在任何一组对角互补,那么一定存在有一组对角和大于180°,若这两个角都是钝角,则剩下的其余两角和一定小于180°,以这两点为直径两端点,此时这个圆为这组点的最小覆盖圆。
[0088] 第六种情况:当这四点中不存在其中任意三个点处于同一共线的情况时,且四点连接起来构成一个凸四边形,但不存在任何一组对角互补,那么一定存在有一组对角和大于180°,若这两个角其中有一个是锐角,另一个是钝角,则以锐角的顶点与另一组对角的两点构成三角形,此时这个三角形的外接圆为这组点的最小覆盖圆。
[0089] 之后进行迭代,初始状态下设K=0(此处的K为变量,表示第几次迭代),遍历检测到的轮廓上所有像素点,若未检测到圆边界外的像素点,则该圆为最终所求的这组点的最小包围圆。若检测到有圆边界外的像素点,则进行如下操作:找出距离该圆圆心最远的边界外的点,并将构成该圆的四个点依次挑选三个点与界外点进行组合,依次检测每次组合时另外一点此时是否在圆外,若此时另外一点在圆外,则继续判断下一个组合点。若此时另外一点不在圆外,则将该点淘汰,记录这种情况下该圆的圆心和半径,并放入候选队列。
[0090] 进行第二次迭代,K=1,遍历候选队列中上一次记录的圆的所有像素点,若未检测到圆边界外的像素点,若为有边界外的点,则该圆为最终最小包围圆。否则,设此时距离该圆心距离最远的边界外最远点Q,并依次将四点中的三个点组合,与点Q构成新的组合,再按顺序依次处理这四个组合,分别求出各个组合中四点的最小包围圆,若另外一点不在圆边界外,则记录该圆的圆心和半径,放入候选队列。
[0091] 进行下一次迭代,重复上述步骤,直到遍历所有轮廓上的所有像素点,找到所有点结果都是在最新求出来的圆内,则结束迭代,此时找到的圆则为最终所求。
[0092] 第5步骤、标准特征直线提取:根据第4步骤提取到的标准特征圆圆心坐标,自定义直线的起点与终点,确定特征点的采样域,在水平方向和垂直方向上进行双向特征点扫描采样,利用RANSAC迭代算法拟合标准特征直线,记录特征点位置信息并拟合直线方程。
[0093] 其中,需要说明的是,RANSAC(随机样本一致性),是一种通用的参数估计方法,使用尽可能小的集合然后用一致的数据点放大这个集合。通过对图像中的特征点进行随机采样,剔除离群点,近而得出较为平均结果的方法。离群值是指远离其他数据点的数据。这些数据点可以在两端找到。这意味着,异常值可能远低于某个点,这个点可以被称为最小值,也可能远高于其他点,这个点可以被称为最大值,工作原理是识别数据集中的异常值并建立模型。这种重采样技术,通过使用生成候选解估计基础数据所需的最小观测数(数据点)模型参数。RANSAC是通过以下步骤完成:
[0094] 第 步骤、给定一个数据集S,随机选择确定模型所需的最小点数参数,记选择数据集为S1。
[0095] 第 步骤、将模型拟合到选定的子集,即将选择的数据集S1构建一个数学模型M并求解该模型。
[0096] 第 步骤、用计算出的 M模型的数据集的其余点,若在错误容许的限度之内,则将此点判为内点,反之则判定为外点,并将由全部内部点构成的资料集S1,S1’称为S1的相容性集。
[0097] 第 步骤、通过对比,将具有最大“内点”数量的模型记录下来。
[0098] 重复上述几步,直到迭代结束或当前模型已经效果较为良好,选择的迭代次数N足够高,以保证概率。
[0099] 迭代次数推导:假设“内点”在数据中的占比为t,那么每次计算模型使用N个点的情况下,选取的点至少有一个外点的情况就是 ,也就是说,在迭代k次的情况下,就是k次迭代计算模型会采到“外点”去计算模型的概率。那么能采样到正确的N个点去计算出正确模型的概率就是 。通过上式,可以得到迭代次数公式:
[0100]     (8)
[0101] 其中,公式(8)中的各个符号所表示的含义具体如下所示:
[0102] 表示迭代次数;
[0103] 表示“内点”在数据中的占比, ;
[0104] 为变量,表示适用于模型的数据最少个数;
[0105] 表示选择的n个点中至少有一个不是内点的概率;
[0106] 表示期望RANSAC得到的正确模型的概率。
[0107] 拟合直线的过程是:首先,在给定的集合中,任意选取两个点,分别求出其组成的直线的参数,并将其全部残余的点与这条线之间的位置相对应,若距离小于给定的临界点,则称为内点,并进行相应的计算;然后,在两个点之间进行一次相似的运算,得到了一个最大相容的集合,并在此基础上拟合出一条直线。
[0108] RANSAC具有很好的鲁棒性,可以很好地估算出多个离群值,即便有很多的离群值, RANSAC也可以很好地估算出这些参量。
[0109] 第6步骤、配置json标准检测文件:将ROI区域图像编号、对应标准特征圆或标准特征直线点位置坐标保存至标准检测文件。
[0110] 第7步骤、更新轮廓特征点:基于第4步骤的标准特征圆和第5步骤的标准特征直线,当需要对标准特征圆和标准特征直线进行修改时,调整ROI区域图像位置和大小,重新提取轮廓特征点,更新后的轮廓特征点坐标和ROI区域图像编号将自动保存至标准检测文件中。
[0111] 第8步骤、多目标间的位置关系描述:读取标准检测文件,对待测图像进行特征匹配,并根据第2步骤得到的每个ROI区域图像与原图像的坐标映射关系,得到目标特征圆的位置坐标信息和目标特征直线的位置坐标信息,获得圆心到圆心的距离和圆心到直线的距离,由此对多目标间的位置关系进行描述。
[0112] 第9步骤、全自动点胶路径规划:根据第1步骤得到的单目相机内外参矩阵和第8步骤得到的特征点位置信息(圆心到直线的距离)及特征点间的像素距离(圆心距),可以将图像坐标系中的坐标转化为现实世界坐标系中的坐标,实现全自动点胶路径规划并计算定位精度和重复测量精度。
[0113] 在第4步骤中,标准特征圆的参数信息包括两个圆心坐标、两个圆半径和圆心距。
[0114] 在第5步骤中,标准特征直线的提取过程是:自定义直线的起点与终点,基于两个圆心坐标位置,确定工件上边框直线特征点采样域,在采样域内进行水平和垂直双向特征点采样并将其送入采样队列,通过RANSAC迭代算法迭代优化,得到标准特征直线。
[0115] 在第3步骤中,预处理包括二值化、自适应阈值分割、Canny边缘检测、高斯滤波降噪和透视变换。
[0116] 其中,高斯滤波降噪是将图像中的各个像素点和它们的邻近区域与高斯矩阵相乘,用加权平均法得到最后的灰度。高斯函数是一个中间大两边都比正态分布小的函数。在二值化的图像中,一个像素点位置坐标为 的点在该图上的灰度是 。那么,在高斯滤波之后,它的灰度就会变成:
[0117]     (9)
[0118] 其中,公式(9)中的各个符号所表示的含义具体如下所示:
[0119] 表示经高斯滤波后的灰度值;
[0120] 表示标准差;
[0121] 表示常数 2.71…。
[0122] 其中,由于在拍摄时存在角度偏差,可以通过透视变换对图像进行校准,即将图像投影到一个新的视平面。利用透视中心、像点、目标点三点共线的条件,按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度,破坏原有的投影光线束,仍能保持承影面上投影几何图形不变的变换。透视变换的变换公式是:
[0123]   (10)
[0124] 其中,公式(10)中的各个符号所表示的含义具体如下所示:
[0125] 表示变换后矩阵;
[0126] 表示原始矩阵,且 为参数1;
[0127] 表示透视矩阵。
[0128] 通过透视变换后得到的图片坐标为 ,其中, ,,上式中的变换矩阵,可以将其拆成四个部分,第一部分表示线性变换
,这部分矩阵主要用于图像的缩放、旋转操作,透视变换矩阵一共有8个参数,所以需要4个坐标对(8个方程)才能求解,所以变换后 和 的表达式为:
[0129]       (11)
[0130] 因此,对图片中工件(摄像头模组)边框四周区域进行霍夫直线检测(基于OpenCV开源视觉库),并通过直线两个端点的坐标来计算求出四个角点,并按照计算透视变换矩阵之前对元素图像的编号对角点进行排序,然后计算变换矩阵得到透视变换结果。
[0131] 二值化采用的是OpenCV开源视觉库中的OTSU算法。
[0132] 自适应阈值分割采用的是OpenCV开源视觉库中的OTSU算法。
[0133] Canny边缘检测利用Canny边缘检测算法获取ROI区域图像上的边缘特征。Canny边缘检测算法是从不同视觉对象中提取有用的结构信息并大大减少要处理的数据量的一种技术,目前已广泛应用于各种计算机视觉系统,该Canny边缘检测算法以低的错误率检测边缘,是边缘检测最流行的算法之一。
[0134] 利用轮廓提取算法来提取轮廓特征点;标准特征圆基于OpenCV中的findcontour函数来提取轮廓特征点;标准特征直线通过双向采样融合与标准特征圆的相对位置关系得到轮廓特征点。
[0135] 实施例:为方便说明本发明流程,以对摄像头模组的定位测量为例。
[0136] 在工业生产中,待测工件(摄像头模组)经流水线被送至加工平台,单目相机对工件(摄像头模组)进行图像采集,对单目标进行ROI区域框选,如图2所示,ID0:左光心,ID1:右光心,ID2:上边框直线。
[0137] 对每一个ROI区域,利用自适应阈值分割算法(即大津法,也被称为Otsu算法),自适应阈值分割算法是对全局阈值进行分割的一种方法,它的优点在于完全以在一幅图像的直方图上执行为基础,而直方图是很容易得到的一维阵列。它的思路是将图像直方图的灰度像素基于某一阈值分为两类,计算两类的类间方差,通过不断迭代,使得类间方差达到极小值,从而得到阈值。工件(摄像头模组)的光心经自适应阈值分割效果如图3所示。
[0138] 对于工件上边框直线的提取过程如图4所示,以两圆心所在直线作为基准线L0,确定上边框ROI区域,并在其中选取一条平行于L0的直线L1,在以左圆心P0处作垂直于L0的直线与L1相交于点M0,以M0为起点,沿x方向逐一扫描像素点,对于每一个扫描到的像素点沿垂直于x轴方向上下逐一比较其灰度值,若查找到该方向上两相邻灰度值不同,则将其中两个像素点中上面的像素点作为采样点放入采样队列;若在上下各10个像素点的限度内未搜索到相异像素值的一组目标,则停止继续搜索,向x轴方向下一个像素点扫描,直至扫描到M1点,即在右圆心P1处作垂直于L0的直线与L1的交点。将以上采样点依次放入采样队列,利用RANSAC迭代算法进行迭代优化。
[0139] 建立自定义的每个ROI区域图像与原图像的坐标映射关系,分别为圆和直线,对于圆来说,提取轮廓特征点,利用最小包围圆算法迭代优化,得到圆心坐标、圆半径和圆心距。在此基础上,对直线进行特征点采样,利用RANSAC算法进行迭代优化,计算圆心到直线的距离。标记左圆为编号0,右圆为编号1,根据输入的ID编号,可得到单目标的圆心坐标、圆半径、两圆的像素距离和转换后的世界坐标系中的距离,测试效果及结果如图5所示。
[0140] 根据更改ROI区域编号得到多目标相对位置关系,设置ID编号为1和2,即可得到点线间的距离,结果输出如图6所示。
[0141] 针对用户的特定需求,基于OpenCV开源视觉库对工件进行特征提取,开发定位与测量算法,并保证定位精度和重复测量精度均小于1像素的指标。本发明提出的一种基于特征提取单目视觉的一维二维测量方法,旨在提高在线点胶机的自动化程度,解决不同用户对工件装配的不同需求,在满足精度的条件下,可以进一步降低企业的生产成本。
[0142] 在工业生产时,每个工件通过流水线的方式被送至加工区域,需要解决由于工件摆放位置的差异造成的定位精度问题。本发明主要通过提取直线、圆等标准轮廓进行一维、二维测量,通过自定义ROI区域和多目标位置关系的融合方法解决了全自动点胶定位问题。
[0143] 本发明基于OpenCV中的OTSU算法、Canny边缘检测算法、轮廓提取算法、最小包围圆迭代优化算法等进行特征定位,并且通过多目标相对位置关系显著提升了定位与测量的精确率。
[0144] 对单目标区域进行框选,编号并建立自定义ROI区域图像与原图像的坐标映射关系,通过自适应阈值分割等处理提取目标轮廓特征点,拟合目标形状,描述多目标特征间的位置关系,减少了运算的数据量,提升软件系统通用性和运算效率。
[0145] 本发明采用自定义ROI区域图像,配置检测文件和多目标相对位置关系的方式,解决了由于工件摆放位置差异造成的定位精度问题。
[0146] 以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。