一种产品型号视觉识别方法及视觉识别系统

IPRDB

API 数据接口

专利申请

使用指引 chat嘟嘟

会员体验

联系我们

交流群

现在联系顾问~

一种产品型号视觉识别方法及视觉识别系统
申请号	CN202110397807.3	申请日	2021-04-13	公开(公告)号	CN113220924A	公开(公告)日	2021-08-06
申请人	广东汇博机器人技术有限公司;			发明人	成锐; 林泽钦; 王志锋; 胡海燕; 陈健林; 沈乔特; 梁天鸿; 董祖君;
摘要	本发明涉及视觉识别技术领域，具体为一种产品型号视觉识别方法及视觉识别系统，包括以下步骤：S1，采集产品的侧视和斜视图像并将两个视图的图像输入图像处理系统；S2，图像处理系统根据侧视图检测识别以获取产品的种类特征，图像处理系统根据斜视图检测识别以获取产品的型号特征A；S3，将种类特征和型号特征A进行组合以获得产品特征组合；S4，判断产品数据库是否有与产品特征组合对应的型号产品，如果有，则向控制系统输出对应产品型号。本发明可节省人工，提高识别准确度，保证产品型号录入的准确度；通过同时比对种类特征和型号特征A，使产品与型号的对比更加准确。
权利要求	1.一种产品型号视觉识别方法，其特征在于，包括以下步骤：S1，采集产品的侧视和斜视图像并将两个视图的图像输入图像处理系统； S2，图像处理系统根据侧视图检测识别以获取产品的种类特征，图像处理系统根据斜视图检测识别以获取产品的型号特征A； S3，将种类特征和型号特征A进行组合以获得产品特征组合； S4，判断产品数据库是否有与产品特征组合对应的型号产品，如果有，则向控制系统输出对应产品型号。 2.根据权利要求1所述的一种产品型号视觉识别方法，其特征在于，步骤S1中，还同时采集产品的俯视图像并将图像输入至图像处理系统中；步骤S2中，图像处理系统根据俯视图检测识别以获取产品的型号特征B；步骤S3中，将种类特征、型号特征A和型号特征B进行组合以获得产品特征组合。 3.根据权利要求2所述的一种产品型号视觉识别方法，其特征在于，所述型号特征B包括第一部件特征和第二部件特征。 4.根据权利要求1所述的一种产品型号视觉识别方法，其特征在于，步骤S2中，所述种类特征包括类型特征、高度特征和长度特征。 5.根据权利要求1所述的一种产品型号视觉识别方法，其特征在于，步骤S2中，图像处理系统根据所获得的图像进行产品颜色识别以获得产品颜色特征；步骤S3中，产品特征组合还包括产品颜色特征。 6.根据权利要求1所述的一种产品型号视觉识别方法，其特征在于，步骤S2中，图像处理系统根据所获得的图像进行识别以获取代号纹理特征；步骤S3中，产品特征组合还包括代号纹理特征。 7.根据权利要求6所述的一种产品型号视觉识别方法，其特征在于，所述代号纹理特征包括文字、数字、字母、符号、图像中的至少一个；所述代号纹理的形成方式为注浆成型、粘贴标签、钢印印刷中的至少一个。 8.根据权利要求1所述的一种产品型号视觉识别方法，其特征在于，将各种产品放置在视觉识别工位上，导入产品模型或采集产品特征图像，建立深度学习网络、建立产品型号与特征组合的对应关系、建立产品数据库，并储存至图像处理系统中。 9.根据权利要求1所述的一种产品型号视觉识别方法，其特征在于，所述图像处理系统包括图像二值化处理模块、条纹增强模块、Sobel边缘检测模块、Canny边缘检测模块、查找轮廓模块、单体测量模块和关系测量模块中的至少一种图像处理算子。 10.一种产品型号视觉识别系统，其特征在于，使用如权利要求1至9所述的任意一项视觉识别方法，视觉识别系统包括工业相机、图像采集卡、工业控制计算机和所述图像处理系统；所述图像处理系统安装在所述工业控制计算机上，所述工业相机与图像采集卡数据连接，所述图像采集卡与所述工业控制计算机数据连接。
说明书全文	一种产品型号视觉识别方法及视觉识别系统技术领域 [0001] 本发明涉及视觉识别技术领域，具体为一种产品型号视觉识别方法及视觉识别系统。背景技术 [0002] 对于一条可加工多种类型或型号产品的生产线，在生产加工过程中都需要对每件产品进行识别，以判断具体型号，进而输入相应型号，完成对应的加工步骤。现阶段，更多的是采用人工对照产品手册和产品外观、判断产品型号，然后手动将型号输入到控制系统中；这种传统的方式，工作重复且效率低，同时还存在工作人员判断错误、输入错误的问题，造成准确度较低，影响加工效率和成品率。比如在卫浴洁具生产过程中，不同型号的产品在进行打磨、喷釉、搬运等工序时，自动化设备需根据不同产品型号，调用相应的配方；而卫浴行业现阶段采用人工输入型号，依靠工人对照产品手册和产品外观，手动向控制系统输入产品型号，工作重复且效率低，容易出错。发明内容 [0003] 本发明的目的在于提出一种产品型号视觉识别方法及视觉识别系统，旨在解决现有技术中产品型号识别依赖人工，造成生产效率低、错误率高、成品率低的技术问题。 [0004] 为实现上述目的，本发明提出一种产品型号视觉识别方法，包括以下步骤： [0005] S1，采集产品的侧视和斜视图像并将两个视图的图像输入图像处理系统； [0006] S2，图像处理系统根据侧视图检测识别以获取产品的种类特征，图像处理系统根据斜视图检测识别以获取产品的型号特征A； [0007] S3，将种类特征和型号特征A进行组合以获得产品特征组合； [0008] S4，判断产品数据库是否有与产品特征组合对应的型号产品，如果有，则向控制系统输出对应产品型号。 [0009] 优选地，步骤S1中，还同时采集产品的俯视图像并将图像输入至图像处理系统中； [0010] 步骤S2中，图像处理系统根据俯视图检测识别以获取产品的型号特征B； [0011] 步骤S3中，将种类特征、型号特征A和型号特征B进行组合以获得产品特征组合。 [0012] 优选地，所述型号特征B包括第一部件特征和第二部件特征。 [0013] 优选地，步骤S2中，所述种类特征包括类型特征、高度特征和长度特征。 [0014] 优选地，步骤S2中，图像处理系统根据所获得的图像进行产品颜色识别以获得产品颜色特征；步骤S3中，产品特征组合还包括产品颜色特征。 [0015] 优选地，步骤S2中，图像处理系统根据所获得的图像进行识别以获取代号纹理特征；步骤S3中，产品特征组合还包括代号纹理特征。 [0016] 优选地，所述代号纹理特征包括文字、数字、字母、符号、图像中的至少一个；所述代号纹理的形成方式为注浆成型、粘贴标签、钢印印刷中的至少一个。 [0017] 优选地，将各种产品放置在视觉识别工位上，导入产品模型或采集产品特征图像，建立深度学习网络、建立产品型号与特征组合的对应关系、建立产品数据库，并储存至图像处理系统中。 [0018] 优选地，所述图像处理系统包括图像二值化处理模块、条纹增强模块、Sobel边缘检测模块、Canny边缘检测模块、查找轮廓模块、单体测量模块和关系测量模块中的至少一种图像处理算子。 [0019] 另一方面，本发明还提出一种产品型号视觉识别系统，使用如上所述的任意一项视觉识别方法，视觉识别系统包括工业相机、图像采集卡、工业控制计算机和所述图像处理系统；所述图像处理系统安装在所述工业控制计算机上，所述工业相机与图像采集卡数据连接，所述图像采集卡数与所述工业控制计算机数据连接。 [0020] 本发明一种产品型号视觉识别方法及视觉识别系统，至少具有以下有益效果：采用本视觉识别方法，省去了人工重复该单一性的工作，提高了识别准确度，保证了产品型号录入的准确度；通过同时比对种类特征和型号特征A，使产品与型号的对比更加准确，对于型号多且复杂的产品生产线，同样能保证产品识别准确性。附图说明 [0021] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。 [0022] 图1为本发明视觉识别方法的步骤流程图。 [0023] 本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式 [0024] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 [0025] 需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。 [0026] 另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。 [0027] 如图1所示，一种产品型号视觉识别方法，包括以下步骤： [0028] S1，采集产品的侧视和斜视图像并将两个视图的图像输入图像处理系统； [0029] S2，图像处理系统根据侧视图检测识别以获取产品的种类特征，图像处理系统根据斜视图检测识别以获取产品的型号特征A； [0030] S3，将种类特征和型号特征A进行组合以获得产品特征组合； [0031] S4，判断产品数据库是否有与产品特征组合对应的型号产品，如果有，则向控制系统输出对应产品型号；如果没有，则向控制系统输出报警信号。 [0032] 产品在生产加工过程中，需先识别到该产品的具体型号，以便生产系统对产品进行对应的加工。产品在生产线上流通以运输至视觉识别工位，工业相机对产品进行拍照，其中一个工业相机拍摄产品的侧视图(左视图或右视图)，另一个工业相机拍摄产品的斜视图；所拍摄的照片输入到图像处理系统中；图像处理系统对侧视图进行检测识别得出种类特征，图像处理系统对斜视图进行识别得出产品的型号特征A；将种类特征和型号特征A组合在一起形成该产品的特征组合；根据特征组合在产品数据库中进行搜索，判断产品数据库中是否有对应的产品的特征组合与该产品的特征组合对应，如果有，则向控制系统输出对应产品型号，以告知控制系统该产品的具体型号是什么，方便控制系统控制加工工位对该产品进行加工；如果没有，则向控制系统输出报警信号，告知工作人员该产品没有对应的型号，无法进行加工，需要工作人员确认具体原因(是产品数据库没有存储到该产品的型号还是该产品特征识别错误)。 [0033] 本技术方案，图像处理系统通过采集到的侧视图和斜视图，识别获取到种类特征和产品型号特征A，通过组合形成产品特征组合，再将产品特征组合在产品数据库里搜索，以获得该产品的具体型号；采用本视觉识别方法，省去了人工重复该单一性的工作，提高了识别准确度，保证了产品型号录入的准确度；通过同时比对种类特征和型号特征A，使产品与型号的对比更加准确，对于型号多且复杂的产品生产线，同样能保证产品识别准确性。 [0034] 进一步地，步骤S1中，还同时采集产品的俯视图像并将图像输入至图像处理系统中； [0035] 步骤S2中，图像处理系统根据俯视图检测识别以获取产品的型号特征B； [0036] 步骤S3中，将种类特征、型号特征A和型号特征B进行组合以获得产品特征组合。 [0037] 步骤S2中，工业相机同时拍摄产品的俯视图并将拍摄的照片输入到图像处理系统中；图像处理系统对俯视图进行检测识别得出型号特征B；型号特征B和种类特征、型号特征 A组合成产品特征组合。通过增加拍摄产品的俯视图，使图像识别系统能检测识别出型号特征B，使产品特征组合更加完善，产品型号识别精度更高，能满足型号更多、更加复杂的产品加工生产线。 [0038] 进一步地，所述型号特征B包括第一部件特征和第二部件特征。 [0039] 通过所拍摄的俯视图，图像处理系统可检测识别第一部件特征和第二部件特征，将两者组合成型号特征B；比如，当视觉识别方法用于识别卫浴洁具产品时，第一部件特征可以为座圈特征，第二部件特征可以为水箱特征；识别出不同的座圈和水箱，得出不同的型号特征B，以匹配出不同的产品型号。通过拍摄俯视图即可使图像处理系统检测识别第一部件特征和第二部件特征，所需拍摄的照片更少，能检测的特征更多，识别对应的准确度更高。 [0040] 进一步地，步骤S2中，所述种类特征包括类型特征、高度特征和长度特征。 [0041] 图像处理系统根据侧视图对产品进行特征检测以获取产品的类型特征、高度特征和长度特征；将所获取的类型特征、高度特征和长度特征进行组合获得种类特征。比如，在卫浴洁具生产过程中，类型特征可以是连体马桶、分体马桶、挂墙式马桶、台盆、水箱、小便器、浴缸等卫浴洁具产品的产品外观特征；高度特征和长度特征则为产品的外形尺寸特征。种类特征所包含的细分特征更多，检测精度更高，型号匹配更准确。 [0042] 进一步地，步骤S2中，图像处理系统根据所获得的图像进行产品颜色识别以获得产品颜色特征；步骤S3中，产品特征组合还包括产品颜色特征。 [0043] 现有产品多种多样，且个性化较高，部分产品的种类、尺寸、纹理、轮廓一直，仅在颜色上存在差异，因此通过增加检测识别产品的颜色获得产品颜色特征，使视觉识别方法适用于检测识别其他参数一致、仅颜色存在差异的产品，使用范围更广。 [0044] 进一步地，步骤S2中，图像处理系统根据所获得的图像进行识别以获取代号纹理特征；步骤S3中，产品特征组合还包括代号纹理特征。 [0045] 有些产品在生产加工过程中会在产品上增加代号纹理，相当于是给产品一个身份编号；图像处理系统根据所获得的图像进行识别以获得代号纹理特征，该代号纹理特征同样属于产品特征组合的一部分，使得产品特征组合的细分特征更完善，可识别匹配出具体某一个产品，适用于生产个性化产品的生产线。 [0046] 进一步地，所述代号纹理特征包括文字、数字、字母、符号、图像中的至少一个；所述代号纹理的形成方式为注浆成型、粘贴标签、钢印印刷中的至少一个。 [0047] 具体地，代号纹理可以是文字、数字、字母、符号、图像或者其结合，如单单一个或多个文字，或文字和数字组合，或数字、字母和符号组合等等。代号纹理的形成方式也有多种，可以是注浆成型，卫浴洁具的生产大部分都是注浆成型，因此可在成型过程中同步生产代号纹理；代号纹理还可以是粘贴标签，即将独特的标签粘接在产品上，这种方式不会对产品造成影响，适用于对产品表面要求较高的加工过程中；代号纹理还可以是钢印印刷，钢印印刷主要是用印鉴在产品上印出凸起的文字、数字等印记。代号纹理特征多种多样，可根据产品的种类、采集的图像清晰度以及图像处理系统的处理精度来制定代号纹理特征，且代号纹理特征的生产方式也可根据产品的类型以及对产品外观的要求等进行选择。 [0048] 进一步地，将各种产品放置在视觉识别工位上，导入产品模型或采集产品特征图像，建立深度学习网络、建立产品型号与特征组合的对应关系、建立产品数据库，并储存至图像处理系统中。 [0049] 可通过拍照、识别的方式采集产品的特征图像，或者直接制作产品的模型，标注特性信息，进行特征归类，建立深度学习网络；建立产品的型号与特征组合的关系，如：产品型号1的特征组合为1号类型特征+1号长度特征+1号高度特征，产品型号2特征组合为2号类型特征+1号背部特征+1号水箱特征等；通过信息的采集、特征的归类、型号与特征的匹配建立产品数据库，产品数据库里储存有各种型号产品以及每一个型号产品的各个特征。 [0050] 进一步地，所述图像处理系统包括图像二值化处理模块、条纹增强模块、Sobel边缘检测模块、Canny边缘检测模块、查找轮廓模块、单体测量模块和关系测量模块中的至少一种图像处理算子。 [0051] 图像处理算子是对图像进行处理时所用到的算子，包括全局特征描述算子和局部特征描述算子。在图像处理系统中至少包括图像二值化处理模块、条纹增强模块、Sobel边缘检测模块、Canny边缘检测模块、查找轮廓模块和单体测量模块中的一种。图像二值化处理模块将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果；图像二值化处理模块可使图像中数据量大为减少，从而能凸显出目标的轮廓。条纹增强模块可对所拍摄的图片进行处理，强化图像中有条纹的部分。边缘是像素值发生跃迁的地方(变化率最大处、导数最大处)，是图像的显著特征之一，在图像特征提取、对象检测、模式识别等方面都有重要的作用；Sobel边缘检测模块实际应用中效率比canny边缘检测效率要高，常用于对效率要求较高、而对细纹理精度要求较低的时候；Soble边缘检测通常带有方向性，可以只检测竖直边缘或垂直边缘或都检测。Canny边缘检测模块不容易受噪声干扰，能够检测到真正的弱边缘，使用两种不同的阈值分别检测强边缘和弱边缘，并且当弱边缘和强边缘相连时，才将弱边缘包含在输出图像中。查找轮廓模块可从所拍摄的图像中查找出产品轮廓，识别出产品的形状。单体测量模块可对所拍摄的图像进行测量，测量轮廓或形状的面积、宽度、高度、周长、倾斜角度等参数信息，所测量的信息为产品的特征信息。关系测量模块可对所拍摄的图像进行测量，测量轮廓或形状之间的中心距离、最短距离、直线夹角等参数信息，所测量的信息为产品的特征信息。图像处理系统可包含上述的一种或多种模块，在实际应用中可根据产品的识别特征与识别流程搭配选用。 [0052] 另一方面，一种产品型号视觉识别系统，使用如上所述的任意一项视觉识别方法，视觉识别系统包括工业相机、图像采集卡、工业控制计算机和所述图像处理系统；所述图像处理系统安装在所述工业控制计算机上，所述工业相机与图像采集卡数据连接，所述图像采集卡数与所述工业控制计算机数据连接 [0053] 工业相机用于采集产品的图像；图像采集卡用于获取图像信息；工业控制计算机是图像处理系统数据处理的硬件基础，是图像处理系统调试、修改、监控的交互平台；图像处理系统用于处理图像信息以获得产品特征。工业相机和图像采集卡负责图像的采集，工业控制计算机与图像处理系统负责图像处理和结果输出。视觉识别系统使用如上所述的视觉识别方法，故包含了上述视觉识别方法的有益效果，在此不一一赘述。 [0054] 视觉识别系统具体还包括固定支架、补光灯、背景板等，固定支架用于固定工业相机，每个工业相机对应安装固定在一个固定支架上，固定支架的设置位置需保证工业相机能拍到产品的对应角度的照片；补光灯用于对产品进行补光，使工业相机能清晰拍摄出产品的外观、轮廓等，具体可在产品的水平或顶部安装补光灯，保证补光效果；背景板用于衬托产品，使产品在所拍摄的照片中能更清楚地显示出来，避免拍出的照片上包含有较多不相关的物体，背景板具体放置在拍摄产品的另一侧，背景板一般选用纯色背景板，且背景板的颜色可根据产品的颜色来选择，主要原则是产品与背景板的颜色差较大，保证能清楚地显示出产品的外形、轮廓。 [0055] 为了便于理解，接下来将本视觉识别方法应用在卫浴洁具型号识别中进行详细介绍。 [0056] 首先，将视觉识别系统安装在生产线上，即在视觉识别工位上安装好三个固定支架，然后在三个固定支架上分别安装用于拍摄侧视图、斜视图和俯视图的三个工业相机，接着安装水平及顶部的补光灯，在拍摄产品的另一侧安装背景板(由于卫浴洁具产品的颜色一般为白色或米黄色，因此可选用纯黑色的背景板)；根据拍摄图像调整工业相机的参数、位置，以及调整补光灯的位置、朝向、亮度。 [0057] 其次，根据产品的特点，如产品尺寸、纹理、外观轮廓及特征，于图像处理软件平台(包含图像处理系统)中编写识别流程，即制定具体的识别过程；将各种产品放置在视觉识别工位上，导入产品模型或采集产品特征图像，标注特征信息，进行特征归类，建立深度学习网络、建立产品型号与特征组合的对应关系、建立产品数据库；产品的型号与特征组合的关系如：产品型号1组合特征为1号类型特征+1号长度特征+1号高度特征，产品型号2组合特征为2号类型特征+1号背部特征+1号水箱特征。 [0058] 接着，将该视觉识别系统和视觉识别方法正式应用到生产过程中。卫浴洁具产品经输送线运送至视觉识别工位上，三个工业相机对卫浴洁具产品进行拍照，得出产品的侧视图、斜视图和俯视图；三张图片输入至图像处理系统中。图像处理系统对侧视图进行检测识别，根据侧视图获取的类型特征、高度特征和长度特征(三者统一为种类特征)，将产品分类至相应产品种类，即分类为连体马桶、分体马桶、挂墙式马桶、台盆、水箱、小便器、浴缸等某种具体的卫浴洁具产品，高度特征和长度特征则表示产品外形尺寸。图像处理系统对斜视图进行检测识别，根据斜视图获取产品的背部特征(即型号特征A)，背部特征包括背部形状弧度、排污管形状、排污口位置、排污管是否外露等。图像处理系统对俯视图进行检测识别，根据俯视图获取产品的座圈特征(即第一部件特征)和水箱特征(即第二部件特征)，座圈特征包括座圈外形弧度和内圈形状、尺寸等，水箱特征包括水箱形状、尺寸、设置的位置等。更进一步地，图像处理系统根据侧视图、斜视图和俯视图获取产品颜色特征和/或代号纹理特征。 [0059] 将上面获得的特征进行组合形成产品特征组合，根据产品特征组合在产品数据库中检索出相应的产品型号，并向控制系统输入对应产品型号；如果检索不出相应的产品型号，则向控制系统输出报警信号。控制系统如果接收到了具体的产品型号，则表示进行视觉识别的产品是生产线上需要加工的，因此在打磨工位、喷釉工位、搬运工位等工位上，自动化设备根据产品型号进行型号相应的工艺加工。 [0060] 以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。