成捆圆钢多目视觉识别系统及计数方法

摘要

成捆圆钢多目视觉识别系统及计数方法，所述系统包括：光源（1），主相机（2），主相机及光源支架（3），辅相机（4），辅相机支架（5），计算机（6）和标定板（7）；所述方法能够获取成捆圆钢端面的多个角度的图像信息，有效解决因端面不平齐度导致的图像遮挡问题，系统会综合视觉识别结果和企业信息库中的计算结果，结论可靠性更高。

权利要求

1.采用多目视觉系统的成捆圆钢识别、空间定位及计数方法，该方法使用成捆圆钢多目视觉识别系统，用于成捆圆钢端面的识别、空间定位及计数，所述系统包括：光源（1），主相机（2），主相机及光源支架（3），辅相机（4），辅相机支架（5），计算机（6）和标定板（7），光源（1）为环形光源，主相机（2）在环形光源（1）的环形孔内和光源（1）同轴布置，光源（1）和主相机（2）通过主相机及光源支架（3）安装并固定，辅相机（4）通过辅相机支架（5）安装并固定，多个辅相机（4）和相机支架（5）环绕着主相机（2）的轴线径向均布，主相机（2）和多个辅相机（4）形成多目视觉图像采集装置，安装时，通过调节主相机及光源支架（3）使光源（1）和主相机（2）的轴线垂直于成捆圆钢的整体端面的中心位置，通过调节多个辅相机支架（5）使多个辅相机（4）的轴线和主相机（2）的轴线相交于一点，并使该点位于成捆圆钢整体端面的理论中心位置，光源（1）、主相机（2）、多个辅相机（4）和计算机（6）通过线缆连接，计算机（6）安装有视觉识别与处理程序，并且接入企业内网，能够在线实时读取生产信息，标定板（7）用于主相机（2）和多个辅相机（4）的视觉标定，标定过程在本系统正确安装后只需进行一次；

所述方法包括如下步骤：

（1）安装调试好成捆圆钢多目视觉识别系统；

（2）布置标定板；

（3）对主相机和辅相机采用Delaunay剖分三角形内插值标定法进行单目标定，完成后撤离标定板；

（4）对主相机和辅相机分别进行图像采集、图像增强处理和图像二值化处理；

（5）对主相机和辅相机分别进行图像圆形识别、中心空间定位，对主相机和辅相机分别进行图像圆形识别、中心定位采用Hough变换，在MATLAB中函数imfindcircles的返回值centers中包含所有拟合出来的圆形的中心坐标，利用size函数读出centers中所包含的圆形个数即为圆钢的数量；

（6）在线实时读取企业信息库中成捆圆钢的根数和直径信息；

（7）根据圆钢的直径信息对主相机和辅相机得到的圆钢端面中心点进行综合判断，确定成捆圆钢视觉识别出的根数及可靠性并进行中心点距离校验，具体为：根据所有主相机和辅相机识别的圆钢端面中心点聚集的圆的直径与圆钢直径的关系，设定可靠性等级，得到识别的圆钢的根数及可靠性；对所有主相机和辅相机识别的圆钢端面中心点坐标进行加权求和得到所有圆钢中心点的综合识别坐标，对所有的综合识别坐标两两求距离，如果所有的距离值均大于设定值，则通过校验，如果所有的距离值均小于设定值，则相关的两个中心点可能有误，完成中心点距离校验；

（8）比较成捆圆钢根数的视觉识别结果和企业信息库中的计算结果，综合判断，得出结论，具体为：如果通过了中心点距离校验，识别根数和企业信息库中的根数一致，则识别正确；如果所有的中心点识别可靠性中存在可靠性小于设定值的情况、未通过中心点距离校验，识别根数和企业信息库中的根数不一致，则识别错误，以企业信息库为准；如果所有的中心点识别可靠性中存在可靠性为小于设定值的情况、通过了中心点距离校验，识别根数和企业信息库中的根数不一致，则识别结果必须由人工介入，修正识别结果或企业信息库的根数信息。

说明书

成捆圆钢多目视觉识别系统及计数方法

技术领域

[0001] 本发明涉及一种物体视觉识别系统及计数的方法，尤其是涉及一种成捆圆钢多目视觉识别系统及计数方法。

背景技术

[0002] 圆钢是当前钢铁行业的主要产品，更是工业领域重要的生产加工原材料。在不同行业对于特种圆钢要求也是不同的，钢铁生产企业所生产并提供给下游企业的圆钢往往以成捆的形式出现。为了便于特种圆钢的管控，需要对成捆圆钢的总重量和根数进行统计和标识。根据对国内某特钢生产企业的调研，目前国内成捆圆钢的生产和管理中普遍采用对成捆圆钢称重得到捆重量、单根圆钢通过型号信息（包括材质、密度、直径和长度）计算出单根圆钢的根重量，然后用捆重量除以根重量得到成捆圆钢的根数。由此可见，现有技术成捆圆钢的根数信息是“计算”得到的，一般对于直径较大的大棒不会出现计算错误，而对于直径较小的小棒此方法可能会出现根数统计错误。

[0003] 在专利[CN201610193685.5]中，提出了一种基于视觉的成捆圆钢端面中心坐标的获取系统和方法，以单目视觉对成捆圆钢的端面进行识别并进行平面定位。在专利[CN201710878572.3]中，提出了一种基于主辅眼的圆钢端面双目视觉定位方法，以双目视觉系统对成捆圆钢的端面进行识别并进行空间定位，而且还可以记录圆钢的数量，实现计数功能。但以上两个专利中提到的方法主要用于成捆大棒贴标时对圆钢的端面进行识别和定位，不适用于小棒。目前，圆钢打捆时虽然有整理工位，但成捆圆钢的端面仍然有一定的不平齐度，这样对于小棒来说用视觉成像时会产生遮挡从而导致视觉识别失败，从而产生计数错误。因此，发明一种能够有效解决图像遮挡导致成捆圆钢计数错误的视觉系统和计数方法对于解决生产实际问题尤为重要。

发明内容

[0004] 基于以上原因，本发明旨在提出一种成捆圆钢多目视觉识别系统及计数方法。

[0005] 本发明的成捆圆钢多目视觉识别系统包括：光源1，主相机2，主相机及光源支架3，辅相机4，辅相机支架5，计算机6和标定板7。光源1为环形光源，主相机2在环形光源1的环形孔内和光源1同轴布置，光源1和主相机2通过主相机及光源支架3安装并固定。辅相机4通过辅相机支架5安装并固定。多个辅相机4和相机支架5环绕着主相机2的轴线径向均布。主相机2和多个辅相机4形成多目视觉图像采集装置。安装时，通过调节主相机及光源支架3使光源1和主相机2的轴线垂直于成捆圆钢的端面的中心位置，通过调节多个辅相机支架5使多个辅相机4的轴线和主相机2的轴线相交于一点，并使该焦点位于成捆圆钢整体端面的理论中心位置。光源1、主相机2、多个辅相机4和计算机6通过线缆连接。计算机6安装有视觉识别与处理程序，并且接入企业内网，能够在线实时读取生产信息。标定板7用于主相机2和多个辅相机4的视觉标定，标定过程在本系统正确安装后只需进行一次。

[0006] 采用本发明的成捆圆钢多目视觉系统的成捆圆钢识别及计数方法包括如下步骤：

[0007] （1）安装调试好成捆圆钢多目视觉识别系统；

[0008] （2）布置标定板；

[0009] （3）对主相机和辅相机进行单目标定，完成后撤离标定板；

[0010] （4）对主相机和辅相机分别进行图像采集、图像增强处理和图像二值化处理；

[0011] （5）对主相机和辅相机分别进行图像圆形识别、中心定位；

[0012] （6）在线实时读取企业信息库中成捆圆钢的根数和直径信息；

[0013] （7）根据圆钢的直径信息对主相机和辅相机得到的圆钢端面中心点进行综合判断，确定成捆圆钢视觉识别出的根数及可靠性并进行中心点距离校验；

[0014] （8）比较成捆圆钢根数的视觉识别结果和企业信息库中的计算结果，综合判断。

[0015] 本发明的有益技术效果包括：

[0016] （1）能够获取成捆圆钢端面的多个角度的图像信息，有效解决因端面不平齐度导致的图像遮挡问题；

[0017] （2）系统会综合视觉识别结果和企业信息库中的计算结果，结论可靠性更高。

附图说明

[0018] 图1是本发明成捆圆钢多目视觉识别系统的结构示意图；

[0019] 图2是本发明成捆圆钢多目视觉识别系统主相机2和多个辅相机4径向布置示意图；

[0020] 图3是本发明成捆圆钢多目视觉识别系统主相机2和多个辅相机4轴线方向布置示意图。

[0021] 具体实施例：

[0022] 结合附图1-3来介绍本发明系统的结构和具体操作。

[0023] 本发明的成捆圆钢多目视觉识别系统包括：光源1，主相机2，主相机及光源支架3，辅相机4，辅相机支架5，计算机6和标定板7。光源1为环形LED光源，主相机2在环形光源1的环形孔内和光源1同轴布置，光源1和主相机2通过主相机及光源支架3安装并固定。辅相机4通过辅相机支架5安装并固定。3个辅相机4和相机支架5环绕着主相机2的轴线径向均布，夹角为120°。主相机2和3个辅相机4形成多目视觉图像采集装置。安装时，通过调节主相机及光源支架3使光源1和主相机2的轴线垂直于成捆圆钢的端面的中心位置，通过调节3个辅相机支架5使3个辅相机4的轴线和主相机2的轴线相交于一点，并使该焦点位于成捆圆钢整体端面的理论中心位置。光源1、主相机2、3个辅相机4和计算机6通过线缆连接。计算机6安装有视觉识别与处理程序，并且接入企业内网，能够在线实时读取生产信息。标定板7用于主相机2和3个辅相机4的视觉标定，标定过程在本系统正确安装后只需进行一次。

[0024] 采用本发明的成捆圆钢多目视觉系统的成捆圆钢识别及计数方法包括如下步骤：

[0025] （1）安装调试好成捆圆钢多目视觉识别系统；

[0026] （2）布置标定板；

[0027] （3）对主相机和辅相机进行单目标定，完成后撤离标定板；

[0028] （4）对主相机和辅相机分别进行图像采集、图像增强处理和图像二值化处理；

[0029] （5）对主相机和辅相机分别进行图像圆形识别、中心定位；

[0030] （6）在线实时读取企业信息库中成捆圆钢的根数和直径信息；

[0031] （7）根据圆钢的直径信息对主相机和辅相机得到的圆钢端面中心点进行综合判断，确定成捆圆钢视觉识别出的根数及可靠性并进行中心点距离校验；

[0032] （8）比较成捆圆钢根数的视觉识别结果和企业信息库中的计算结果，综合判断。

[0033] 如某特钢生产企业的成捆圆钢端面直径大约是300mm，设定位置测量精度0.5mm，相机与圆钢端面距离约1000mm。首先估算像素，被测物是Ø300mm的圆形，而相机靶面通常为4:3的矩形，为了将物体全部摄入靶面应该以靶面最短边长度为参考，像素应大于300/0.5=
600，根据估算的像素可以选择大恒CCD相机MER-125-30UM靶面尺寸1/3英寸（4.8×3.6mm），分辨率为1292×964，像元尺寸为u=3.75μm的相机，验证精度T，可根据公式T=u/β计算，其中β=3.6/300为镜头放大率，经计算T=0.31mm满足精度要求；焦距f可以通过公式f=L/（1+1/β）计算，其中L=1000mm，经计算f=11.8mm，可选焦距为12mm的镜头，如大恒TG4Z2816FCS镜头。
光源选择上海方千光电科技有限公司生产的型号VR144-B的LED环形光源，与光源配套的电源型号为VPD-24S。考虑到过滤杂光，光源配置为蓝色光、相机配套选用蓝色滤镜，型号为BP470-30.5。主相机和3个辅相机均采用相同的工业相机配蓝色滤光镜，照明采用环形LED蓝色光源，以工控机作为系统控制单元。

[0034] 1、安装调试好成捆圆钢多目视觉识别系统

[0035] 成捆圆钢置于视觉识别及计数工位上，水平放置，整体圆钢端面保证不平齐度20mm。系统使用时，将成捆圆钢多目视觉识别系统置于成捆圆钢整体端面的正前方，使主相机2的轴线和成捆圆钢的理想轴线重合、主相机2和3个辅相机4的轴线交点位于成捆圆钢整体端面的中心位置。3个辅相机的阵列圆直径设定为钢捆直径，即300mm。

[0036] 2、布置标定板

[0037] 布置标定板7位于成捆圆钢整体端面的理想平面上，并使主相机2和3个辅相机4的轴线聚焦于标定板7的中心位置。

[0038] 3、对主相机和辅相机进行单目标定，完成后撤离标定板

[0039] Delaunay剖分三角形内插值标定法即是一种二维标定的方法，用来确定世界坐标系与图像坐标系之间的转换关系。选择圆点阵列型靶标作为标定板，采用每个圆形区域中心作为特征点，标定精度比其他类型标定板更高。

[0040] Delaunay剖分三角形内插值标定法的步骤：

[0041] 1）将平面靶标垂直于地面放置，靶标上下两边平行于水平面且保证平面靶标和圆钢端面位于同一平面内，相机的光心垂直于靶标面放置且保证摄像机位置和平面靶标的位置固定不变；

[0042] 2）定义平面靶标左上角圆点的中心点为世界坐标的原点，且世界坐标的Z面在平面靶标上，Z轴垂直于左上角圆点的圆心；

[0043] 3）采集靶标图像，经图像处理得到所有特征点的圆心的像素坐标（xi，yi）；

[0044] 4）因为平面靶标为精密仪器，所以靶标上下左右相邻两特征点的绝对位置已知，因此可得每个靶标特征点所对应的世界坐标(Xwi,Ywi)；

[0045] 5）当得到圆钢端面中心点的像素坐标(x,y)后，依据上述标定得到的像素坐标和世界坐标的转换关系，即可求得所对应的圆钢端面中心点的世界坐标(XW,YW)。

[0046] 质心法求取特征点的像面坐标值：

[0047] 本过程中最重要的是确定靶标各靶标点中心点的像素坐标和世界坐标值。特征点像素坐标的获取：应用去除不相干区域的面积等，最后运用高斯加权质心法获取靶标特征点的位置。提取出靶标上所有特征点的像面坐标后，已知各特征点的世界坐标以及各圆钢端面中心点的像面坐标，运用Delaunay剖分三角形内插值摄像机标定法即可获得圆钢端面中心点的世界坐标。

[0048] 应用Delaunay剖分三角形内插值摄像机标定法时，要求靶标的特征点的像素坐标值和世界坐标值是一一对应的关系，然而应用质心法获取的靶标特征点的像素坐标是按列排列的，然而每一列的坐标是没有规律的，因此采用数据处理方法，使特征点的像素坐标按列有小到大的排列。

[0049] 特征点世界坐标值的获取：

[0050] 标定板上下左右相邻两特征点的绝对位置已知，设靶标参数行数为m；列数为n；行间距为dm；列间距为dn。特征点圆心所对应的世界坐标（Xwi,Ywi）。

[0051] 将特征点三角剖分后组成很多个三角形，圆钢端面中心点像素坐标都包含在组成的三角形内。由特征点世界坐标和图像坐标的对应关系和目标点的图像坐标值即可求得其世界坐标值。

[0052] 4、对主相机和辅相机分别进行图像采集、图像增强处理和图像二值化处理[0053] 视觉系统首先对主相机和辅相机分别进行图像采集，获取成捆圆钢端面的原始图像。

[0054] 图像增强采用灰度变换增强法，在MATLAB中利用函数imadjust进行立体图像对增强，该函数中原图像中要变换的灰度范围可以通过函数stretchlim自动获得，也可采用固定值，在图像采集环境不变的情况下采用固定值可以使系统运行速度更快，本系统采用固定值，经验证在[0.5;1]时最优。图像变换后的灰度范围设置为默认值即0-255。

[0055] 图像二值化在MATLAB中是通过im2bw函数将灰度图像转换为二值图像的，在使用im2bw函数时必须首先设置阈值参数，可以通过graythresh函数自动获取阈值，也可以采用固定阈值。由于本系统图像提取是在光照情况下进行的，获取的图像稳定，采用固定阈值不仅可以提高图像质量，而且还可以提高系统运行速度，因此本系统采用固定阈值，经验证阈值为0.6时最优。

[0056] 5、对主相机和辅相机分别进行图像进行圆形识别、中心定位

[0057] 在图像处理中Hough变换是识别几何形状的基本方法之一，在MATLAB中函数imfindcircles就是运用Hough变换进行圆形识别的。imfindcircles函数使用时需确定几个参数：一是需检测圆的半径范围，经验证本系统的半径范围设置为[50 90]为佳；二为和别的背景，有‘bright’与‘dark’之分，本系统设置为‘bright’；三为参数‘Sensitivity’灵敏度，灵敏度范围在[0,1]之间，灵敏度越大能检测到的圆越多，则错误检测的风险也随之增大，经验证灵敏度为0.95是效果较好；最后一个参数是‘EdgeThreshold’边缘梯度阈值，其范围在[0,1]之间，边缘梯度阈值越小能检测到的圆越多，随之错误检测也越大，当边缘梯度阈值为0.7时效果最好。

[0058] 将圆形识别中拟合出来的圆进行计数，记录下拟合出来的圆的总数即为圆钢的根数。在函数imfindcircles的返回值centers中包含所有拟合出来的圆形的中心坐标，利用size函数即可读出centers中所包含的圆形个数，此数值即为圆钢的数量，记录次数从而达到计数的功能。

[0059] 6、在线实时读取企业信息库中成捆圆钢的根数和直径信息

[0060] 通过系统的计算机连接企业内网，在线实时读取企业信息库中的生产信息，最关键的是当前成捆圆钢的根数和直径信息。其中，成捆圆钢的总重量为实际称重得到、单根圆钢的重量通过材质、直径和长度信息计算得到，而成捆圆钢的根数是用成捆圆钢的总重量除以单根圆钢的理论计算重量得到的一个估算结果，对于不同规格的小棒可能会存在1-2根的误差。

[0061] 7、根据圆钢的直径信息对主相机和辅相机得到的圆钢端面中心点进行综合判断，确定成捆圆钢视觉识别出的根数及可靠性并进行中心点距离校验

[0062] 通过前述步骤的图像识别操作可以得到1个主相机和3个辅相机的图像识别结果。其中，主相机正对成捆圆钢的中心、3个辅相机和成捆圆钢的轴线呈一定的夹角，也就是说4个相机分别得到了不同视角的成捆圆钢端面的图像并进行了识别和定位。如果所有视角都没有遮挡，则所有的圆钢都能够识别并定位，这些圆钢的端面中心点应该具有一致性。如果某个视角存在遮挡，则该图像上无法识别和定位有遮挡的圆钢。经过多次试验表明，各个相机采用前述图像识别与中心点定位方法的误差范围小于0.6mm，此精度对于确定圆钢的根数足够。根据圆钢的直径信息，可以判断哪些点对应同一根圆钢，也可以判断识别结果的可靠性。

[0063] 例如：在线的成捆圆钢的规格为直径20mm，如果1个主相机和3个辅相机识别的4个中心点聚集在一个较小直径的圆内（可以设定大于0.6mm且远小于圆钢直径的某个值，一般可以设置为直径的10%，这里就是2mm），则可以认为对应同一根圆钢的中心点，此时识别的可靠性为最高，可以定为1。如果有3个相机识别的中心点聚集在一个较小直径的圆内，则可以认为对应同一根圆钢的中心点，此时识别的可靠性为次高，可以定为0.8。以此类推，得到识别的圆钢的根数及可靠性。

[0064] 所有4个相机识别的出来的中心点进行加权求和得到所有圆钢中心点的综合识别坐标，对所有的综合识别坐标两两求距离，所有的距离值均应该大于圆钢直径，如果满足则通过校验。考虑到识别的位置误差，所有的距离值均大于直径的90%（这里就是18mm），也具备较高的可靠性，可以通过校验。如果所有的距离值存在小于直径的90%（这里就是18mm）的情况，则相关的两个中心点可能有误。

[0065] 8、比较成捆圆钢根数的视觉识别结果和企业信息库中的计算结果，综合判断[0066] 综合判断时需要结合生产现场的实际测试运行情况具体分类，得出结论，如：

[0067] （1）通过了中心点距离校验，识别根数和企业信息库中的根数一致，则识别正确；

[0068] （2）所有的中心点识别可靠性中存在可靠性为0.2的情况、未通过中心点距离校验，识别根数和企业信息库中的根数不一致，则识别错误，以企业信息库为准；

[0069] （3）所有的中心点识别可靠性中存在可靠性为0.2的情况、通过了中心点距离校验，识别根数和企业信息库中的根数不一致，则识别结果必须由人工介入，修正识别结果或企业信息库的根数信息。