一种基于图像识别的输送物料异常识别方法、装置及系统转让专利

申请号 : CN202110144098.8

文献号 : CN112507984B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 李政德刘霞武杰戴冬冬霍英杰

申请人 : 苏州澳昆智能机器人技术有限公司

摘要 :

本发明实施例涉及图像识别,公开了一种基于图像识别的输送物料异常识别方法,其特征在于,包括:S1:采集第一物料的第一视频;S2:解析所述第一视频,获得第一图像,计算第一物料与输送带第一夹角;其中,分别为x轴,y轴,z轴方向与输送带的夹角;S3:校正所述第一夹角,获得第二夹角;S4:调取第一物料的标准图像,根据所述第二夹角校正第一物料的标准图像,获得校正后的校正图像;S5:比较第一图像及校正图像,若第一图像与校正图像差异超过预设条件,判定为物料异常。本发明规避了滑动造成的角度变化对输送带上的物料识别的影响,实现了基于图像识别的快速准确的识别输送物料的异常检测。

权利要求 :

1.一种基于图像识别的输送物料异常识别方法,其特征在于,包括:S1:采集第一物料的第一视频;

S2:解析所述第一视频,获得第一图像,计算第一物料与输送带第一夹角 ;

其中, 分别为x轴,y轴,z轴方向与输送带的夹角;

S3:校正所述第一夹角 ,获得第二夹角  ;

S4:调取第一物料的标准图像,根据所述第二夹角 校正第一物料的标准图像,获得校正后的校正图像;

S5:比较第一图像及校正图像,若第一图像与校正图像差异超过预设条件,判定为物料异常;

所述S3具体包括:

S3.1解析所述第一视频获得在第一图像在先时间节点的i个第二图像,解析i个第二图像,计算获得夹角 ;其中,i为大于2的整数;

S3.2解析所述第一视频获得在第一图像在后时间节点的j第三图像,解析j个第三图像,计算获得夹角 ;其中,j为大于2的整数;

S3 .3利 用最 小二乘 法 ,拟合 ,及所对应的时间节点t,获得拟合后的函数f(t);

S3.4若 小于第一阈值,则将 , 的平均值作为校正夹角,采用所述校正夹角校正输送带所述第一夹角 ,获得第二夹角;

若 大于等于第一阈值,则重新选择时刻作为第一图像,解析获得第一夹角,并重复S3.1‑S3.3;所述S5包括:

S5.1计算所述第一图像的长宽比例、长高比例、宽高比例,校正图像的长宽比例、长高比例、宽高比例;

S5.2比较第一图像的长宽比例与校正图像的长宽比例、比较第一图像的长高比例与校正图像的长高比例、比较第一图像的宽高比例与校正图像的宽高比例;

若任一一组比例的差值超过第四阈值,则判定物料异常。

2.根据权利要求1所述的基于图像识别的输送物料异常识别方法,其特征在于,所述S2具体包括:

S2.1:解析获得第一图像的顶点坐标;

S2.2:基于顶点坐标与输送带的夹角获得所述第一夹角 。

3.根据权利要求1所述的基于图像识别的输送物料异常识别方法,其特征在于,所述S3.4采用所述校正夹角校正输送带所述第一夹角 ,获得第二夹角包括:

若第一夹角 与校正夹角的标准差小于第二阈值,则采用校正夹角作为第二夹角 ;若第一夹角 与校正夹角的标准差大于等于第二阈值,小于第三阈值,则将第一夹角 与校正夹角的平均值作为第二夹角 ;

若第一夹角 与校正夹角的标准差大于等于第三阈值,则重新选择时刻作为第一图像,解析获得第一夹角 ,并重复S3.1‑S3.3。

4.一种基于图像识别的输送物料异常识别装置,其特征在于,包括:视频采集模块,用于采集物料的第一视频;

图像解析模块,用于解析所述第一视频,获得第一图像计算第一物料与输送带第一夹角 ;其中, 分别为x轴,y轴,z轴方向与输送带的夹角;

校正模块,用于校正所述第一夹角 ,获得第二夹角 ;并调取第一物料的标准图像,根据所述第二夹角 校正第一物料的标准图像,获得校正后的校正图像;

判断模块,比较第一图像及校正图像,若第一图像与校正图像差异超过预设条件,判定为物料异常;所述校正模块第二夹角 的计算方式为:解析所述第一视频获得在第一图像在先时间节点的i个第二图像,解析i个第二图像,计算获得夹角 ;其中,i为大于2的整数;

解析所述第一视频获得在第一图像在后时间节点的j第三图像,解析j个第三图像,计算获得夹角 ;其中,j为大于2的整数;

利用最小二乘法,拟合 ,

及所对应的时间节点t,获得拟合后的函数f(t);

若 小于第一阈值,则将 , 的平均值作为校正夹角,采用所述校正夹角校正输送带所述第一夹角 ,获得第二夹角;

若 大于等于第一阈值,则重新选择时刻作为第一图像,解析获得第一夹角;

所述判断模块执行:计算所述第一图像的长宽比例、长高比例、宽高比例,校正图像的长宽比例、长高比例、宽高比例;比较第一图像的长宽比例与校正图像的长宽比例、比较第一图像的长高比例与校正图像的长高比例、比较第一图像的宽高比例与校正图像的宽高比例;

若任一一组比例的差值超过第四阈值,则判定物料异常。

5.一种基于图像识别的输送物料异常识别系统,其特征在于,所述基于图像识别的输送物料异常识别系统包括一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行权利要求1‑3中任一方法的指令。

说明书 :

一种基于图像识别的输送物料异常识别方法、装置及系统

技术领域

[0001] 本发明实施例涉及图像识别领域,特别涉及物料异常检测。

背景技术

[0002] 随着装车装置的广泛应用,多种物料的准确识别和自动输送成为自动装车、运输领域的关键问题。装车过程中,异常的物料运送至车内,或与库中计划的货物不同规格的物
料运送至车内进行码放,均可能导致车内货物的码放不均匀,进而在装车后的货物运输途
中造成滑落的危险。货物在装车前的输送带过程中,由于与输送带存在不同程度的滑动,运
输过程中存在货物与输送带存在时时的角度变化,如何规避滑动造成的角度变化对异常识
别的影响,进而能够快速识别判断运输在输送带上的物料是否与库中应输送的物料相符,
成为本领域的难题。

发明内容

[0003] 为解决上述技术问题,本发明的实施方式提供了一种基于图像识别的输送物料异常识别方法,包括:
[0004] S1:采集第一物料的第一视频;
[0005] S2:解析所述第一视频,获得第一图像,计算第一物料与输送带第一夹角;其中, 分别为x轴,y轴,z轴方向与输送带的夹角;
[0006] S3:校正所述第一夹角 ,获得第二夹角  ;
[0007] S4:调取第一物料的标准图像,根据所述第二夹角 校正第一物料的标准图像,获得校正后的校正图像;
[0008] S5:比较第一图像及校正图像,若第一图像与校正图像差异超过预设条件,判定为物料异常。
[0009] 优选的,所述S2具体包括:
[0010] S2.1:解析获得第一图像的顶点坐标;
[0011] S2.2:基于顶点坐标与输送带的夹角获得所述第一夹角 。
[0012] 优选的,所述S3具体包括:
[0013] S3.1解析所述第一视频获得在第一图像在先时间节点的i个第二图像,解析i个第二图像,计算获得夹角 ;其中,i为大于2的整数;
[0014] S3.2解析所述第一视频获得在第一图像在后时间节点的j第三图像,解析j个第三图像,计算获得夹角 ;其中,j为大于2的整数;
[0015] S3.3利用最小二乘法,拟合,
及所对应的时间节点t,
获得拟合后的函数f(t);
[0016] S3.4若 小于第一阈值,则将 , 的平均值作为校正夹角,采用所述校正夹角校正输送带所述第一夹角 ,获得第二夹角

[0017] 若 大于等于第一阈值,则重新选择时刻作为第一图像,解析获得第一夹角,并重复S3.1‑S3.3。
[0018] 优选的,所述S3.4采用所述校正夹角校正输送带所述第一夹角 ,获得第二夹角 包括:
[0019] 若第一夹角 与校正夹角的标准差小于第二阈值,则采用校正夹角作为第二夹角 ;若第一夹角 与校正夹角的标准差大于等于第二阈
值,小于第三阈值,则将第一夹角 与校正夹角的平均值作为第二夹角
;若第一夹角 与校正夹角的标准差大于等于第三阈值,则重新选
择时刻作为第一图像,解析获得第一夹角 ,并重复S3.1‑S3.3。
[0020] 优选的,所述S5包括:
[0021] S5.1计算所述第一图像的长宽比例、长高比例、宽高比例,校正图像的长宽比例、长高比例、宽高比例;
[0022] S5.2比较第一图像的长宽比例与校正图像的长宽比例、比较第一图像的长高比例与校正图像的长高比例、比较第一图像的宽高比例与校正图像的宽高比例;
[0023] 若任一一组比例的差值超过第四阈值,则判定物料异常。
[0024] 一种基于图像识别的输送物料异常识别装置,包括:
[0025] 视频采集模块,用于采集物料的第一视频;
[0026] 图像解析模块,用于解析所述第一视频,获得第一图像计算第一物料与输送带第一夹角 ;其中, 分别为x轴,y轴,z轴方向与输送带的夹角;
[0027] 校正模块,用于校正所述第一夹角 ,获得第二夹角 ;并调取第一物料的标准图像,根据所述第二夹角 校正第一物料的标准图像,获得
校正后的校正图像;
[0028] 判断模块,比较第一图像及校正图像,若第一图像与校正图像差异超过预设条件,判定为物料异常。
[0029] 优选的,所述校正模块第二夹角 的计算方式为:
[0030] 解析所述第一视频获得在第一图像在先时间节点的i个第二图像,解析i个第二图像,计算获得夹角 ;其中,i为大于2的整数;
[0031] 解析所述第一视频获得在第一图像在后时间节点的j第三图像,解析j个第三图像,计算获得夹角 ;其中,j为大于2的整数;
[0032] 利用最小二乘法,拟合 ,及所对应的时间节点t,
获得拟合后的函数f(t);
[0033] 若 小于第一阈值,则将 , 的平均值作为校正夹角,采用所述校正夹角校正输送带所述第一夹角 ,获得第二夹角

[0034] 若 大于等于第一阈值,则重新选择时刻作为第一图像,解析获得第一夹角。
[0035] 一种基于图像识别的输送物料异常识别系统,所述基于图像识别的输送物料异常识别系统包括一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序
存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包
括用于执行上述基于图像识别的输送物料异常识别方法中任一方法的指令。
[0036] 本发明通过随时间变化的角度校正,定位适当的时间节点进行角度计算和校正,规避了物料与输送带滑动过程中的不准确角度校正导致的识别误差;在物料异常识别中,
以对运输较为关键的长宽比、宽高比、长高比代替图像比对识别,不考虑颜色等其他对物料
码放无影响的因素,提高了异常识别效率。综上,本发明实现了基于图像识别的快速准确的
识别输送物料的异常检测。
[0037] 上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够
更明显易懂,以下特举本发明的具体实施方式。

具体实施方式

[0038] 为使本发明实施例的目的、技术方案和优点更加清楚,下面将对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为
了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于
以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。以下各个
实施例的划分是为了描述方便,不应对本发明的具体实现方式构成任何限定,各个实施例
在不矛盾的前提下可以相互结合相互引用。
[0039] 实施例一
[0040] 本实施例提供一种基于图像识别的输送物料异常识别方法,包括:
[0041] S1:采集第一物料的第一视频;
[0042] S2:解析所述第一视频,获得第一图像,计算第一物料与输送带第一夹角 ;其中, 分别为x轴,y轴,z轴方向与输送带的夹角;
[0043] S2.1:解析获得第一图像的顶点坐标;
[0044] S2.2:基于顶点坐标与输送带的夹角获得所述第一夹角 。
[0045] S3:校正所述第一夹角 ,获得第二夹角  ;
[0046] S3.1解析所述第一视频获得在第一图像在先时间节点的i个第二图像,解析i个第二图像,计算获得夹角 ;其中,i为大于2的整数;
[0047] S3.2解析所述第一视频获得在第一图像在后时间节点的j第三图像,解析j个第三图像,计算获得夹角 ;其中,j为大于2的整数;
[0048] S3.3利用最小二乘法,拟合,
及所对应的时间节点t,
获得拟合后的函数f(t);
[0049] S3.4若 小于第一阈值,则将 , 的平均值作为校正夹角,采用所述校正夹角校正输送带所述第一夹角 ,获得第二夹角

[0050] 若 大于等于第一阈值,则重新选择时刻作为第一图像,解析获得第一夹角,并重复S3.1‑S3.3。
[0051] 上述步骤通过采集特定时刻第一夹角前后时间段内的偏角,并采用最小二乘法拟合为函数的方式,获得某时刻前后的夹角偏差。进而通过上述拟合函数来判断上述时间段
内是否存在滑动。若上述拟合函数计算后的值小于阈值,则认为该时间段内物料与输送带
间不存在滑动,该特定时刻前后时间段内的夹角可用;若上述拟合函数计算后的值大于等
于阈值,则认为该时间段内物料与输送带间存在明显滑动,上述特定时刻的夹角可能存在
误差,应重新选择时刻,判断不存在明显滑动后再行采用该时间段内的角度进行校正。本实
施例提供的特定时刻前后时间段内的角度校正算法,有效避免了采集图片时恰好物料与输
送带间存在滑动带来的误识别,提高了异常物料识别的准确率。
[0052] 所述S3.4采用所述校正夹角校正输送带所述第一夹角 ,获得第二夹角 包括:
[0053] 若第一夹角 与校正夹角的标准差小于第二阈值,则采用校正夹角作为第二夹角 ;若第一夹角 与校正夹角的标准差大于等于第二阈
值,小于第三阈值,则将第一夹角 与校正夹角的平均值作为第二夹角
;若第一夹角 与校正夹角的标准差大于等于第三阈值,则重新选
择时刻作为第一图像,解析获得第一夹角 ,并重复S3.1‑S3.3。
[0054] S4:调取第一物料的标准图像,根据所述第二夹角 校正第一物料的标准图像,获得校正后的校正图像;
[0055] S5:比较第一图像及校正图像,若第一图像与校正图像差异超过预设条件,判定为物料异常。
[0056] S5.1计算所述第一图像的长宽比例、长高比例、宽高比例,校正图像的长宽比例、长高比例、宽高比例;
[0057] S5.2比较第一图像的长宽比例与校正图像的长宽比例、比较第一图像的长高比例与校正图像的长高比例、比较第一图像的宽高比例与校正图像的宽高比例;
[0058] 若任一一组比例的差值超过第四阈值,则判定物料异常。
[0059] 传统的基于图像对比的物料异常输送方法,将图像直接进行一一比对,计算量大,异常物料识别效率低。实际上,在物料输送及后续码放至车内时,颜色、图案等信息对物料
的码放并无作用,其长宽高的比例是防止后续码放至车中,尤其是车在运行过程中急刹可
能导致跌落的重要因素。因此,本实施例提供的基于图像的异常物料识别方法,不对比颜
色、图案等信息,仅聚焦在关键因素:长宽比、宽高比、长高比,有效提高了异常识别效率,且
不影响后续的码料及装车。
[0060] 实施例二
[0061] 一种基于图像识别的输送物料异常识别装置,包括:
[0062] 视频采集模块,用于采集物料的第一视频;
[0063] 图像解析模块,用于解析所述第一视频,获得第一图像计算第一物料与输送带第一夹角 ;其中, 分别为x轴,y轴,z轴方向与输送带的夹角;
[0064] 校正模块,用于校正所述第一夹角 ,获得第二夹角 ;并调取第一物料的标准图像,根据所述第二夹角 校正第一物料的标准图像,获得
校正后的校正图像;
[0065] 判断模块,比较第一图像及校正图像,若第一图像与校正图像差异超过预设条件,判定为物料异常。
[0066] 优选的,所述校正模块第二夹角 的计算方式为:
[0067] 解析所述第一视频获得在第一图像在先时间节点的i个第二图像,解析i个第二图像,计算获得夹角 ;其中,i为大于2的整数;
[0068] 解析所述第一视频获得在第一图像在后时间节点的j第三图像,解析j个第三图像,计算获得夹角 ;其中,j为大于2的整数;
[0069] 利用最小二乘法,拟合 ,及所对应的时间节点t,
获得拟合后的函数f(t);
[0070] 若 小于第一阈值,则将 , 的平均值作为校正夹角,采用所述校正夹角校正输送带所述第一夹角 ,获得第二夹角

[0071] 若 大于等于第一阈值,则重新选择时刻作为第一图像,解析获得第一夹角。
[0072] 本实施例还提供一种基于图像识别的输送物料异常识别系统,所述基于图像识别的输送物料异常识别系统包括一个或多个处理器;存储器;以及一个或多个程序,其中所述
一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一
个或多个程序包括用于执行上述基于图像识别的输送物料异常识别方法中任一方法的指
令。
[0073] 本实施例通过随时间变化的角度校正,定位适当的时间节点进行角度计算和校正,规避了物料与输送带滑动过程中的不准确角度校正导致的识别误差;在物料异常识别
中,以对运输较为关键的长宽比、宽高比、长高比代替图像比对识别,不考虑颜色等其他对
物料码放无影响的因素,提高了异常识别效率。综上,本实施例实现了基于图像识别的快速
准确的识别输送物料的异常检测。
[0074] 本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。