一种基于图像识别的成堆型材计数系统转让专利
申请号 : CN202110448801.4
文献号 : CN113160182B
文献日 : 2022-04-08
发明人 : 刘黎明 , 龚京忠 , 杨亦 , 刘淑芳 , 黎宇 , 张浩 , 苏晨嘉
申请人 : 湖南九九智能环保股份有限公司
摘要 :
权利要求 :
1.一种基于图像识别的成堆型材计数系统,其特征在于,包括:摄像模块,用于对堆场型材成像,获取计数图像,其中,成堆型材中每一根型材的端部均位于摄像模块的视场内;
标记模块,用于标记型材端部标准轮廓的主特征轮廓、辅特征轮廓以及主特征轮廓与辅特征轮廓之间的位置关系,其中,主特征轮廓为型材端部仅出现一次、且能唯一标识型材的轮廓图形;
预处理模块,与摄像模块通信相连,用于对计数图像进行预处理,得到二值化图像;
轮廓提取模块,与预处理模块通信相连,用于对二值化图像中的型材端面进行检测与轮廓提取,并对轮廓特征进行曲线逼近与拟合,得到具有若干拟合曲线的成堆型材端面的第一轮廓图像;
第一计数模块,与标记模块、轮廓提取模块通信相连,用于提取出第一轮廓图像中具有完整的主特征轮廓,定义为第一主特征轮廓,将第一主特征轮廓的包络区域与型材标准主特征轮廓的包络区域进行相似度比对,筛选出相似度超过阈值的第一主特征轮廓,并对其进行计数,得到第一数值;
第二计数模块,与标记模块、轮廓提取模块、第一计数模块通信相连,将第一主特征轮廓以及各第一主特征轮廓对应的辅特征轮廓从第一轮廓图像中剔除,得到第二轮廓图像,并基于第二轮廓图像中非完整的第二主特征轮廓与各辅特征轮廓之间位置关系进行型材识别,得到第二数值;
累加模块,与第一计数模块、第二计数模块通信相连,用于将第一数值与第二数值相加,得到型材的计数值;
滤波去噪子模块,与摄像模块通信相连,用于对计数图像进行滤波、去噪处理;
直方图分析子模块,与滤波去噪子模块通信相连,以基于直方图分析计数图像中的感兴趣区域的像素点灰度值,确定型材区域与背景之间的第一二值化阈值,以及型材与型材之间边界的第二二值化阈值的取值范围;
图像分割子模块,与直方图分析子模块通信相连,以基于第一二值化阈值,对计数图像进行型材区域与背景的图像分割,得到仅具有型材区域特征的预处理图像;
二值化子模块,与直方图分析子模块、图像分割子模块通信相连,以基于第二二值化阈值的取值范围,对预处理图像进行二值化处理,得到二值化图像;
所述二值化子模块包括:
图像分割单元,与图像分割子模块通信相连,将预处理图像划分为若干子图像;
图像处理单元,与图像分割单元通信相连,用于在第二二值化阈值的取值范围中任取一值对子图像进行二值化处理,得到临时二值化子图像;
判断单元,与图像处理单元通信相连,用于判断临时二值化子图像是否有清晰的轮廓,若没有,则通过图像处理单元在二值化阈值的取值范围内重新选取二值化阈值后进行二值化处理,直到输出具有清晰轮廓的二值化子图像;
图像拼接单元,与图像处理单元通信相连,用于拼接各具有清晰轮廓的二值化子图像,得到二值化图像。
2.根据权利要求1所述基于图像识别的成堆型材计数系统,其特征在于,所述第一计数模块中将第一主特征轮廓的包络区域与型材标准主特征轮廓的包络区域进行相似度比对的具体过程为:
旋转第一主特征轮廓,使第一主特征轮廓上的拟合线与型材标准轮廓上对应的线的角度一致,然后对旋转后的第一主特征轮廓的包络区域与型材标准端部主特征轮廓的包络区域进行相似度比对。
3.根据权利要求2所述基于图像识别的成堆型材计数系统,其特征在于,所述相似度具体为:
式中,Sim‑degi为图像中第i个第一主特征轮廓的包络区域与型材标准主特征轮廓的包络区域之间的相似度;Si为图像中第i个第一主特征轮廓的包络区域的面积,Hi为图像中第i个第一主特征轮廓的包络区域的高度,Wi为第i个第一主特征轮廓的包络区域的宽度;S0为型材标准主特征轮廓的包络区域的面积,H0为型材标准主特征轮廓的包络区域的高度,W0为型材标准主特征轮廓的包络区域的宽度;v1为面积的权重,v2为高度的权重,v3为宽度的权重。
4.根据权利要求1所述基于图像识别的成堆型材计数系统,其特征在于,所述摄像模块包括多个摄像装置,且各摄像装置的拍摄角度不尽相同。
5.根据权利要求4所述基于图像识别的成堆型材计数系统,其特征在于,还包括:结果输出模块,与累加模块通信相连,用于筛选出所有计数图像中出现频次最高的计数值作为型材数目的最终计数值并输出。
说明书 :
一种基于图像识别的成堆型材计数系统
技术领域
背景技术
素影响较大,误差难免,且效率较低,给产品销售带来麻烦。把计数人员从长期枯燥的事务
中解脱出来,研制自动化程度较高的计数系统成为型材生产、储运、销售的现实需要。
发明内容
型材的轮廓图形;
面的第一轮廓图像;
准主特征轮廓的包络区域进行相似度比对,筛选出相似度超过阈值的第一主特征轮廓,并
对其进行计数,得到第一数值;
像,并基于第二轮廓图像中非完整的第二主特征轮廓与各辅特征轮廓之间位置关系进行型
材识别,得到第二数值;
材与型材之间边界的第二二值化阈值的取值范围;
行二值化处理,直到输出具有清晰轮廓的二值化子图像;
络区域进行相似度比对。
像中第i个第一主特征轮廓的包络区域的高度,Wi为第i个第一主特征轮廓的包络区域的宽
度;S0为型材标准主特征轮廓的包络区域的面积,H0为型材标准主特征轮廓的包络区域的高
度,W0为型材标准主特征轮廓的包络区域的宽度;v1为面积的权重,v2为高度的权重,v3为宽
度的权重。
白边界进行曲线逼近与拟合,得到能够体现型材端部轮廓特征的第一轮廓图像,并通过主
特征轮廓对计数图像中具有端部的完整主特征轮廓的一部分型材进行计数,并通过主特征
轮廓与辅特征轮廓对计数图像中仅具有端部的局部主特征轮廓的另一部分型材进行计数,
最终实现成堆型材的计数,不仅使得计数结果更加精确,还能把计数人员从长期枯燥的事
务型工作中解脱出来,节约劳动力,提高计数效率。
附图说明
发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以
根据这些附图示出的结构获得其他的附图。
具体实施方式
于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其
他实施例,都属于本发明保护的范围。
特定姿态发生改变时,则该方向性指示也相应地随之改变。
“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含
义是至少两个,例如两个,三个等,除非另有明确具体的限定。
电连接,还可以是物理连接或无线通信连接;可以是直接相连,也可以通过中间媒介间接相
连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本
领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
技术方案的结合不存在,也不在本发明要求的保护范围之内。
为因素影响较大,误差难免,给产品销售带来麻烦。把计数人员从长期枯燥的事务中解脱出
来,研制自动化程度较高的计数系统成为生产、储运、销售的现实需要。近年来,随着科学技
术的迅猛发展,计算机运算速度越来越快,高质量图像获取设备的价格日益下降,加之高效
的图像处理算法不断涌现,图像处理技术在过程控制领域应用越来越多。由于图像文件数
据量庞大,以前受处理能力的限制,数字图像处理技术在工业现场并未得到广泛应用。
端部仅出现一次、且能唯一标识型材的轮廓图形,例如方形、圆形或其它特征图像。以图1所
示的型材端部轮廓为例,将图1中标识部分A的区域标记为该型材的主特征轮廓,即图2所
示;而将图1中标识部分B的区域标记为该型材的辅特征轮廓,至于主特征轮廓与辅特征轮
廓之间的位置关系则可以定义为:辅特征轮廓的数量为四个,且四个辅特征轮廓呈正方形
结构分布在主特征轮廓的周围,进一步地,还可将主特征轮廓与辅特征轮廓之间的距离或
比例,以及不同辅特征轮廓之间的距离长度或比例作为主特征轮廓与辅特征轮廓之间的位
置关系一起进行定义并标记。
对成堆型材进行至少一次成像,得到计数图像,通过获取成堆型材的端部图像作为计数图
像,并进一步得到计数图像的二值化图像,通过对二值化图像中的黑白边型材界进行曲线
逼近与拟合,得到能够体现型材端部轮廓特征的第一轮廓图像,由于拍摄角度的问题,以及
型材摆放时前后不对齐的问题,计数图像中的型材主要分为两类,第一类的型材的整个主
特征轮廓都出现在计数图像中,第二类的型材由于第一类型材的遮挡,仅具有局部或没有
主特征轮廓出现在计数图像中,基于这一问题,本实施例并通过主特征轮廓完成对计数图
像中的第一类型材进行计数,并通过局部主特征轮廓与辅特征轮廓之间的位置关系、辅特
征轮廓与辅特征轮廓之间位置关系完成对计数图像中第二类型材进行计数,最终型材完成
成堆型材的计数,不仅使得计数结果更加精确,还能把计数人员从长期枯燥的事务型工作
中解脱出来,节约劳动力,同时提高计数效率。
中,标记模块用于标记型材端部标准轮廓的主特征轮廓、辅特征轮廓以及主特征轮廓与辅
特征轮廓之间的位置关系、辅特征轮廓与辅特征轮廓之间位置关系;轮廓提取模块用于对
二值化图像中的型材端面进行检测与轮廓提取,并对轮廓特征进行曲线逼近与拟合,得到
具有若干拟合曲线的成堆型材端面的第一轮廓图像;第一计数模块用于提取出第一轮廓图
像中具有完整的主特征轮廓,定义为第一主特征轮廓,将第一主特征轮廓的包络区域与型
材标准主特征轮廓的包络区域进行相似度比对,筛选出相似度超过阈值的第一主特征轮
廓,并对其进行计数,得到第一数值;第二计数模块用于将相似度超过阈值的第一主特征轮
廓以及该部分第一主特征轮廓对应的辅特征轮廓从第一轮廓图像中剔除,得到第二轮廓图
像,将第二轮廓图像中剩余的、非完整的主特征轮廓定义为第二主特征轮廓,并基于第二轮
廓图像中第二主特征轮廓与各辅特征轮廓之间位置关系、辅特征轮廓与辅特征轮廓之间位
置关系进行型材识别,得到第二数值;累加模块用于将第一数值与第二数值相加,得到型材
的计数值。
次最高的计数值作为型材数目的最终计数值并输出。由于在某一拍摄角度上由于存在第一
类型材可能完全遮挡第二类型材的问题,因此作为优选地实施方式为,在设置摄像模块时,
采用两个以上的摄像装置作为摄像模块,且各摄像装置的拍摄角度均不相同,且每一摄像
装置均拍摄多张原始图像,并得到原始图像的边界灰度梯度值,将边界灰度梯度值大于梯
度阈值的原始图像作为计数图像,以剔除成像模糊的图像。对每一计数图像都进行计数运
算处理,得到每一计数图像对应的计数值,再通过结果输出模块将所有计数值中出现频次
最高的值作为型材的最终计数值,进而保障计数的准确性。
进方向,并在货车的行进过程中对货车进行连续成像,得到若干的原始图像,再将边界灰度
梯度值大于梯度阈值的原始图像作为计数图像。
声,在尽量保留图像细节特征前提下,对原始图像进行滤波、去噪处理,可采用空间域滤波
的方法。空间域滤波能够实现图像平滑,有效降低或减弱干扰,对于图像的每一点,以该点
为中心的邻域内的像素进行运算,得到的结果作为该点的新像素值,如中值滤波对环境产
生的随机噪声有非常理想的去噪能力,该方法将邻域内所有像素值进行排序,选择序列中
间像素值来替代当前坐标的原有像素值。
化阈值的取值范围。型材端面与背景分界较明显、灰度梯度较大,基于直方图分析,采用双
峰法确定型材区域与背景图像分割的第一二值化阈值;受光照、视角的影响,型材之间分界
线与型材之间可能存在模糊、灰度梯度较小情况,采用直方图均衡化,增强型材与其分界线
图像的对比度,确定型材与其分界线的第二二值化阈值的取值范围。
之间、型材端面与背景分界较明显、梯度较大,因此基于直方图分析计数图像中的感兴趣区
域的像素点灰度值,得到第二二值化阈值,即可以通过直方图分析确定适应不同图像区域
的第二二值化阈值或其取值范围。
像处理单元、判断单元与图像拼接单元,其具体处理过程为:
处理,得到临时二值化子图像;然后通过判断单元判断临时二值化子图像是否有清晰的轮
廓,若没有,则通过图像处理单元在二值化阈值的取值范围内重新选取二值化阈值后进行
二值化处理后重复判断,直到输出具有清晰轮廓的二值化子图像;最终通过图像拼接单元
拼接各具有清晰轮廓的子图像的二值化子图像,即得到二值化图像。
值化阈值的取值范围为(a,b),则在图像处理单元第一次进行处理时以[(a+b)/2]作为二值
化阈值对子图像进行二值化处理,得到临时二值化子图像。若得到的临时二值化子图像中
具有清晰的轮廓,则输出该临时二值化子图像,完成这一子图像的二值化处理。若得到的临
时二值化子图像中不具有清晰的轮廓,则说明所选取的二值化阈值不合适,并根据当前临
时二值化子图像的黑白颜色判断当前选取的二值化阈值是过高还是过低,并基于判断结果
进行二值化阈值的取值范围更新后再次取中值进行二值化处理,其过程为:
([(a+b)/2],b)后再次以取中值的方式重复图像处理单元的处理过程;
[(a+b)/2])后再次以取中值的方式重复图像处理单元的处理过程。
廓上的拟合线与型材标准轮廓上对应的线的角度一致,然后对旋转后的第一主特征轮廓的
包络区域与型材标准端部主特征轮廓的包络区域进行相似度比对。本实施例中,基于轮廓
包络区域的面积、高度、宽度得到图像中第一主特征轮廓与型材标准主特征轮廓之间的相
似度,具体为:
像中第i个第一主特征轮廓的包络区域的高度,Wi为第i个第一主特征轮廓的包络区域的宽
度;S0为型材标准主特征轮廓的包络区域的面积,H0为型材标准主特征轮廓的包络区域的高
度,W0为型材标准主特征轮廓的包络区域的宽度;v1为面积的权重,v2为高度的权重,v3为宽
度的权重。
在其他相关的技术领域均包括在本发明的专利保护范围内。