一种视觉识别方法和视觉识别系统及存储介质

IPRDB

API 数据接口

专利申请

使用指引 chat嘟嘟

会员体验

联系我们

交流群

现在联系顾问~

一种视觉识别方法和视觉识别系统及存储介质
申请号	CN202211056751.6	申请日	2022-08-31	公开(公告)号	CN115346211A	公开(公告)日	2022-11-15
申请人	中电科机器人有限公司; 普天物流技术有限公司;			发明人	王兆广; 何春来; 王卫军; 孙嘉彬; 尚正新; 陈琳;
摘要	本发明属于自动化装卸技术领域，具体而言，本发明涉及一种视觉识别方法和视觉识别系统及存储介质。所述视觉识别方法包括获取物体的二维平面位置信息和三维点云信息；由所述三维点云信息中筛选出与所述二维平面位置信息对应的点云；由所述点云识别出物体的六维姿态信息。所述存储介质存储有可被计算机执行的计算机程序，所述计算机程序被执行时实现所述视觉识别方法。所述视觉识别系统包括支架、转动机构、相机、处理器和所述存储介质。本发明提供了一种视觉识别方法和视觉识别系统及存储介质，在工业应用中可应用于自动化装卸领域，实现卸货工作的自动化，不需要人工参与即可完成工作，节省人工成本并提高装卸效率。
权利要求	1.一种视觉识别方法，其特征在于，包括：获取物体的二维平面位置信息和三维点云信息；由所述三维点云信息中筛选出与所述二维平面位置信息对应的点云；由所述点云识别出物体的六维姿态信息。 2.根据权利要求1所述的视觉识别方法，其特征在于：在获取多个物体的二维平面位置信息和三维点云信息时，通过多次拍摄获取多个拍摄视野；相邻两个所述拍摄视野留有重叠区域，所述重叠区域的尺寸大于一个物体的尺寸；通过设置阈值去除所述重叠区域后，得出多个物体的所述二维平面位置信息和所述三维点云信息。 3.根据权利要求1所述的视觉识别方法，其特征在于：还包括模型训练，在所述模型训练中，通过图像标注工具实现对物体的标注，通过卷积神经网络对物体的平面图像进行训练，得到训练模型；在视觉识别时，获取物体的平面图像后，通过对比所述平面图像与所述训练模型得出物体的所述二维平面位置信息。 4.根据权利要求3所述的视觉识别方法，其特征在于：获取物体的所述平面图像后，通过边缘检测算法完成对所述平面图像的分割，得到多个子图像；通过对比所述子图像与所述训练模型，得出多个物体的所述二维平面位置信息。 5.根据权利要求1所述的视觉识别方法，其特征在于：由所述点云识别物体的六维姿态信息时，通过所述点云获取物体的深度信息和旋转信息；所述深度信息和所述二维平面位置信息构成物体的平移信息；所述平移信息和所述旋转信息构成物体的所述六维姿态信息。 6.一种存储介质，存储有可被计算机执行的计算机程序，其特征在于：所述计算机程序被执行时实现权利要求1至5任一项所述的视觉识别方法。 7.一种视觉识别系统，其特征在于，包括：支架、转动机构、相机、处理器和权利要求6所述的存储介质；所述转动机构安装在所述支架上，所述相机安装在所述转动机构上，所述转动机构用于带动所述相机转动；所述处理器分别与所述转动机构、所述相机、所述存储介质相连。 8.根据权利要求7所述的视觉识别系统，其特征在于：所述转动机构包括底座、驱动块和连接架；所述底座安装在所述支架上，所述驱动块与所述底座可转动的相连，所述连接架与所述驱动块可转动的相连，所述相机安装在所述连接架上；所述驱动块上安装有第一电机和第二电机，所述第一电机用于带动所述驱动块转动，所述第二电机用于带动所述连接架转动；所述第一电机的转动轴线和所述第二电机的转动轴线垂直，所述第一电机的转动轴线与所述支架的高度方向平行。 9.根据权利要求8所述的视觉识别系统，其特征在于：所述相机与所述转动机构之间设有连接件，所述连接件安装在所述连接架上，所述相机安装在所述连接件上；所述连接件上设有安装槽，所述相机安装在所述安装槽上；所述安装槽为条形槽，长度方向与所述第二电机的转动轴线平行，用于供所述相机调节安装位置。 10.根据权利要求7所述的视觉识别系统，其特征在于：所述相机包括2D相机和3D相机，所述2D相机和所述3D相机分别与所述处理器相连；所述2D相机用于获取物体的二维平面位置信息，所述3D相机用于获取物体的深度信息和旋转信息。
说明书全文	一种视觉识别方法和视觉识别系统及存储介质技术领域 [0001] 本发明属于自动化装卸技术领域，具体而言，本发明涉及一种视觉识别方法和视觉识别系统及存储介质。背景技术 [0002] 在物流运输行业中，装卸货是一个非常重要的环节。目前，在装卸货过程中，大部分都是采用人工进行卸货。在卸货时，人工将货物放到传送带上，由传送带将货物送到运输工具(例如火车)内部。采用人工卸货的方法卸货效率低、物流时间成本增加，并且人工成本高。因此，如何实现自动化卸货成为物流运输行业重点研究的问题，而实现机械自动卸货时，对货物的识别尤为关键，如何能够自动识别货物位置，成为本领域技术人员亟待解决的问题。发明内容 [0003] 为了解决上述问题，本发明提供了一种视觉识别方法和视觉识别系统及存储介质，其技术方案如下： [0004] 一种视觉识别方法，包括：获取物体的二维平面位置信息和三维点云信息；由所述三维点云信息中筛选出与所述二维平面位置信息对应的点云；由所述点云识别出物体的六维姿态信息。 [0005] 如上所述的视觉识别方法，进一步优选为：在获取多个物体的二维平面位置信息和三维点云信息时，通过多次拍摄获取多个拍摄视野；相邻两个所述拍摄视野留有重叠区域，所述重叠区域的尺寸大于一个物体的尺寸；通过设置阈值去除所述重叠区域后，得出多个物体的所述二维平面位置信息和所述三维点云信息。 [0006] 如上所述的视觉识别方法，进一步优选为：还包括模型训练，在所述模型训练中，通过图像标注工具实现对物体的标注，通过卷积神经网络对物体的平面图像进行训练，得到训练模型；在视觉识别时，获取物体的平面图像后，通过对比所述平面图像与所述训练模型得出物体的所述二维平面位置信息。 [0007] 如上所述的视觉识别方法，进一步优选为：获取物体的所述平面图像后，通过边缘检测算法完成对所述平面图像的分割，得到多个子图像；通过对比所述子图像与所述训练模型，得出多个物体的所述二维平面位置信息。 [0008] 如上所述的视觉识别方法，进一步优选为：由所述点云识别物体的六维姿态信息时，通过所述点云获取物体的深度信息和旋转信息；所述深度信息和所述二维平面位置信息构成物体的平移信息；所述平移信息和所述旋转信息构成物体的所述六维姿态信息。 [0009] 一种存储介质，存储有可被计算机执行的计算机程序，所述计算机程序被执行时实现所述视觉识别方法。 [0010] 一种视觉识别系统，包括：支架、转动机构、相机、处理器和所述存储介质；所述转动机构安装在所述支架上，所述相机安装在所述转动机构上，所述转动机构用于带动所述相机转动；所述处理器分别与所述转动机构、所述相机、所述存储介质相连。 [0011] 如上所述的视觉识别系统，进一步优选为：所述转动机构包括底座、驱动块和连接架；所述底座安装在所述支架上，所述驱动块与所述底座可转动的相连，所述连接架与所述驱动块可转动的相连，所述相机安装在所述连接架上；所述驱动块上安装有第一电机和第二电机，所述第一电机用于带动所述驱动块转动，所述第二电机用于带动所述连接架转动。 [0012] 如上所述的视觉识别系统，进一步优选为：所述第一电机的转动轴线和所述第二电机的转动轴线垂直，所述第一电机的转动轴线与所述支架的高度方向平行。 [0013] 如上所述的视觉识别系统，进一步优选为：所述相机与所述转动机构之间设有连接件，所述连接件安装在所述连接架上，所述相机安装在所述连接件上；所述连接件上设有安装槽，所述相机安装在所述安装槽上。 [0014] 如上所述的视觉识别系统，进一步优选为：所述安装槽为条形槽，长度方向与所述第二电机的转动轴线平行，用于供所述相机调节安装位置。 [0015] 如上所述的视觉识别系统，进一步优选为：所述相机包括2D相机和3D相机，所述2D相机和所述3D相机分别与所述处理器相连；所述2D相机用于获取物体的二维平面位置信息，所述3D相机用于获取物体的深度信息和旋转信息。 [0016] 分析可知，与现有技术相比，本发明的优点和有益效果在于： [0017] 本发明提供了一种视觉识别方法和视觉识别系统及存储介质，在工业应用中可应用于自动化装卸领域，实现卸货工作的自动化，不需要人工参与即可完成工作，节省人工成本并提高装卸效率。附图说明 [0018] 图1为本发明的视觉识别方法的流程图； [0019] 图2为本发明的视觉识别系统的连接示意图； [0020] 图3为本发明的转动机构与连接件的结构示意图。 [0021] 图中：1‑支架；2‑转动机构；3‑相机；4‑连接件；5‑底座；6‑驱动块；7‑连接架；8‑安装槽。具体实施方式 [0022] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 [0023] 在本发明的描述中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不能理解为对本发明的限制。本发明中使用的术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接；可以是直接相连，也可以通过中间部件间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。 [0024] 请参考图1至图3，其中，图1为本发明的视觉识别方法的流程图；图2为本发明的视觉识别系统的连接示意图；图3为本发明的转动机构与连接件的结构示意图。 [0025] 如图1所示，在本发明的一个实施例中，提供了一种视觉识别方法，视觉识别方法在识别物体之前需要进行模型训练。其中，在模型训练时，通过图像标注工具实现对物体的标注，然后通过卷积神经网络对物体的平面图像进行训练，从而得到训练模型。完成训练模型后，主要通过以下步骤来识别物体的六维姿态信息。 [0026] 步骤一，获取物体的二维平面位置信息和三维点云信息。 [0027] 在步骤一中，获取多个物体的二维平面位置信息和三维点云信息时，首先通过多次拍摄获取多个拍摄视野。在拍摄时，相邻两个拍摄视野留有重叠区域，重叠区域的尺寸设定为大于一个物体(例如纸箱)的尺寸，从而确保在相邻两个拍摄视野中能够将中间的物体 (例如纸箱)拍摄完整。获取多个留有重叠区域的拍摄视野后，需要将重叠区域去除，在去除重叠区域时，可以通过设置阈值的方式将重叠区域筛选去除，例如，可根据重叠区域所包含的相邻物体(例如纸箱)灰度值的最大者来设置阈值，从而获取物体的平面图像和三维点云信息。获取物体的平面图像后，通过边缘检测算法完成对平面图像的分割，得到多个子图像。通过对比子图像与训练模型，可以获得多个物体的二维平面位置信息，进而得到多个物体的二维平面位置信息和三维点云信息。 [0028] 步骤二，由三维点云信息中筛选出与二维平面位置信息对应的点云。 [0029] 其中，获取物体的二维平面位置信息后，将二维平面位置信息生成的点云与三维点云信息中的点云进行对比，在三维点云信息中找到二维平面位置信息对应的点云。 [0030] 步骤三，由点云识别出物体的六维姿态信息。 [0031] 在步骤二找到物体的二维平面信息与对应的点云后，即可由这两个要素(二维平面信息、对应点云)识别出物体的六维姿态信息。具体的，二维平面信息即包括两个维度的信息，筛选出与二维平面位置信息对应的点云时，即可通过点云获得物体的深度信息(第三维信息)，进而得到物体的平移信息(视觉识别时从相机坐标系原点开始沿着X轴、Y轴、Z轴移动到所识别物体的坐标系原点之间的距离)。另外，通过与二维平面位置信息对应的点云可以直接获取物体的旋转信息(从相机坐标系到所识别物体的坐标系分别绕着X轴、Y轴、Z 轴所旋转的角度)。通过平移信息和旋转信息即可识别出物体的六维姿态信息。 [0032] 在工业应用中，本发明的视觉识别方法可应用于自动化装卸领域，例如使用在AGV(Automated Guided Vehicle的缩写，中文名为无人搬运车)上，实现卸货工作的自动化，不需要人工参与即可完成工作，节省人工成本并提高装卸效率。其中，在卸货时，识别出物体的六维姿态信息后，即可发送给机器人对物体进行抓取。在抓取时，优选从上到下，从左到右抓取。 [0033] 在本发明的一个实施例中，还提供了一种存储介质，存储介质存储有可被计算机执行的计算机程序，计算机程序被执行时实现视觉识别方法。其中，存储介质可以为便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件的任一种或其组合。 [0034] 如图2所示，在本发明的一个实施例中，还提供了一种视觉识别系统。具体的，视觉识别系统包括支架1、转动机构2、相机3、处理器和存储介质。其中，转动机构2安装在支架1上，相机3安装在转动机构2上，处理器分别与转动机构2、相机3、存储介质相连。 [0035] 在本实施例中，支架1可以安装在AGV上，将转动机构2、相机3固定于预定高度，避免相机3的视野被AGV上的机器人遮挡；转动机构2安装在支架1的顶端，能够带动相机3转动，进而增大相机3的视野；相机3能够拍摄需要识别的物体的平面图像和三维点云信息；存储介质内存储有视觉识别方法的计算机程序；处理器能够执行存储介质中的计算机程序，通过物体的平面图像和三维点云信息识别物体的六维姿态信息，将六维姿态信息发送给机器人，由机器人抓取物体。本实施例的视觉识别系统可应用于自动化装卸领域，实现卸货工作的自动化，不需要人工参与即可完成工作，节省人工成本并提高装卸效率。 [0036] 如图3所示，在本发明的一个实施例中，转动机构2包括底座5、驱动块6和连接架7。具体的，底座5安装在支架1上，驱动块6与底座5可转动的相连，连接架7与驱动块6可转动的相连，相机3安装在连接架7上。其中，驱动块6上安装有第一电机和第二电机，第一电机能够带动驱动块6转动，第二电机能够带动连接架7转动，进而使安装在连接架7上的相机3具有两个转动自由度，视野范围得以扩大。 [0037] 进一步的，在本实施例中，第一电机的转动轴线和第二电机的转动轴线垂直，第一电机的转动轴线与支架1的高度方向平行，支架1的高度方向为竖直方向，进而相机3能够沿水平轴转动和/或沿竖直轴转动，相机3的视野可以在水平方向和竖直方向根据需求进行增大，满足大场景下的拍摄视野需求。 [0038] 如图3所示，在本发明的一个实施例中，相机3与转动机构2之间设有连接件4，连接件4安装在连接架7上，相机3安装在连接件4上，相机3与转动机构2通过连接件4固定为一体，能够提高连接强度。 [0039] 进一步的，在本实施例中，连接件4上设有安装槽8，安装槽8作为连接相机3的位置，供相机3安装在安装槽8上。安装槽8为条形槽，长度方向与第二电机的转动轴线平行，能够供相机3调节安装位置，方便对相机3的位置进行调校。 [0040] 如图2所示，在本发明的一个实施例中，相机3包括2D相机和3D相机，2D相机和3D相机分别与处理器相连。具体的，2D相机能够拍摄物体的平面图像，进而用来获取物体的二维平面位置信息，3D相机能够扫描物体，获取物体的三维点云信息，进而用来获取物体的深度信息和旋转信息。 [0041] 由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。