本发明公开了一种基于计算机视觉的煤码头带式输送机自适应控制方法，其包括：离线预训练阶段，通过录制输送带运行视频，提取图片，制作输送量训练数据集、输送量测试数据集、异常状态训练数据集和异常状态测试数据集，训练基于卷积神经网络的带式输送机输送量检测模型和带式输送机异常状态的检测模型；在线监控阶段，使用训练好的带式输送机输送量检测模型和异常状态检测模型对输送带进行实时监测，根据带式输送机的输送量自适应控制带式输送机的传输速度，同时检测输送带的多种异常状态，发现异常状态后可以立即停止运行，并发出对应异常状态的警报，极大的降低了带式输送机的运行成本的，提高了带式送机检修维护的效率，降低了维护成本，提高了安全性，使用了卷积神经网络进行检测模型的建立，提高了检测精度，减小了识别的错误率。
1.基于计算机视觉的煤码头带式输送机自适应控制方法，其特征在于，所述方法包括
离线预训练阶段和在线监控阶段；所述离线预训练阶段包括制作输送量训练数据集和输送量测试数据集、训练带式输送机输送量检测模型、制作异常状态训练数据集和异常状态测试数据集、训练带式输送机异常状态检测模型；所述在线监控阶段功能在于使用训练好的输送量检测模型和异常状态检测模型对带式输送机进行实时的在线输送量检测和异常状态检测，根据带式输送机输送量的大小和有无异常状态自适应的控制带式输送机传输速度；
所述制作输送量训练数据集和输送量测试数据集的步骤如下：
(1)获取输送量视频数据,在输送带上方安装网络摄像机1并对输送带进行长时期不间
断录像，获得在不同输送量、不同时间段、不同光照强度和不同温湿度环境下的输送带视频数据；
(3)从获取的图片中选取输送带“无输送量”、“少输送量”、“中输送量”和“大输送量”共
4种输送量的图片各N张，N≥10000，组成输送量图片样本集；其中，每种输送量的输送带图片要将在不同时间段、不同光照强度和不同温湿度环境的各种情况都包含在内；
(4)为了消除摄像机在成像和传输过程中带来的噪声干扰，并能最大程度的保留原始
图片信息，对选取的4种输送量的各N张图片，使用g(c,d)＝median{f(c-e,d-f)},(e,f)∈H进行中值滤波，其中(c,d)表示原始图片的某一像素的位置坐标，g(c,d)表示对原始图片(c,d)位置的像素滤波后的像素值，f(c-e,d-f),(e,f)∈H表示滤波模板窗口H在原始图片(c,d)像素上的各个像素值，median{}表示选取{}里所有像素值的中间值；
(5)为输送带建立4种输送量的标签(Label)值表：“无输送量”＝0，“少输送量”＝1，“中输送量”＝2，“大输送量”＝3；
(6)为输送量图片样本集中每一张图片设置对应的输送量标签值；
(7)将输送量图片样本集划分为输送量训练数据集和输送量测试数据集,从输送量图
片样本集中选取“无输送量”、“少输送量”、“中输送量”和“大输送量”共4种输送量的图片样本各5000张，在选取每种输送量的5000张图片样本时，要充分包含不同时间段、不同光照强度和不同温湿度环境的各种情况，再将选取的这4种输送量共20000张输送量图片样本按照随机顺序进行摆放，并按照摆放的顺序将每张输送量图片样本的图片名和对应的输送量标签值保存到train_label1.txt文件中，这20000张输送量图片样本和train_label1.txt文件构成了输送量训练数据集；按同样的方法，从输送量图片样本集剩余的图片样本中随机选各种状态共5000张，按照随机顺序进行摆放，并将此5000张输送量图片样本的图片名和对应的输送量标签值按照摆放顺序保存到test_label1.txt文件中，将此5000张输送量图片样本和test_label1.txt文件作为输送量测试数据集；
所述制作异常状态训练数据集和异常状态测试数据集的步骤如下：
(1)获取异常状态视频数据,在输送带下方安装网络摄像机2并对输送带进行长时期不
间断录像，获得在不同运行状态、不同时间段、不同光照强度和不同温湿度环境下的输送带视频数据；
(3)从获取的图片中选取输送带“无异常”、“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”共
6种状态的图片各N张，N≥10000，组成异常状态图片样本集；其中，每种异常状态的图片都要将输送带在不同运行状态、不同时间段、不同光照强度和不同温湿度环境的各种情况都包含在内；
(4)为了消除摄像机在成像和传输过程中带来的噪声干扰，并能最大程度的保留原始
图片信息，对选取的6种状态的各N张图片，使用g(c,d)＝median{f(c-e,d-f)},(e,f)∈H进行中值滤波，其中(c,d)表示原始图片的某一像素的位置坐标，g(c,d)表示对原始图片(c,d)位置的像素滤波后的像素值，f(c-e,d-f),(e,f)∈H表示滤波模板窗口H在原始图片(c,d)像素上的各个像素值，median{}表示选取{}里所有像素值的中间值；
(5)为输送带建立6种状态的异常状态标签(Label)值表：“无异常”＝0，“跑偏”＝1，“撕裂”＝2，“划伤”＝3，“削边”＝4，“坑洞”＝5；
(6)为异常状态图片样本集中每一张图片设置对应的异常状态标签值；
(7)将异常状态图片样本集划分为异常状态训练数据集和异常状态测试数据集,从异
常状态图片样本集中选取“无异常”、“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”共6种状态图片样本各5000张，在选取每种状态的5000张图片样本时，要充分包含不同运行状态、不同时间段、不同光照强度和不同温湿度环境的各种情况，再将选取的这6种状态的共30000张异常状态图片样本按照随机顺序进行摆放，并按照摆放的顺序将每张异常状态图片样本的图片名和对应的异常状态标签值保存到train_label2.txt文件中，这30000张异常状态图片样本和train_label2.txt文件构成了异常状态训练数据集；按同样的方法，从异常状态图片样本集剩余的图片样本中随机选各种状态共5000张，按照随机顺序进行摆放，并将此
5000张异常状态图片样本的图片名和对应的异常状态标签值按照摆放顺序保存到test_label2.txt文件中，将此5000张异常状态图片样本和test_label2.txt文件作为异常状态测试数据集；
所述训练带式输送机输送量检测模型，带式输送机输送量检测模型是一个由计算机软
件实现的卷积神经网络，其结构为输送量样本输入层a[0]，卷积层1，激活层1，最大池化层1，卷积层2，激活层2，最大池化层2，全连接层1，全连接层2和Sofmax层；输送量图片样本通过输送量样本输入层a[0]输入到卷积神经网络中，经过卷积层1输出为z[1]＝w[1]a[0]+b[1]，经过激活层1输出为a[1]＝g(z[1])，经过最大池化层1输出为a[2]＝Max(a[1])，经过卷积层2输出为z[3]＝w[3]a[2]+b[3]，经过激活层2输出为a[3]＝g(z[3])，经过最大池化层2输出为a[4]＝Max(a[3])，经过全连接层1输出为a[5]＝g(w[5]a[4]+b[5])，经过全连接层2输出为a[6]＝g(w[6]a[5]+b[6] [0] [1])，经过Softmax层输出值为 其中，卷积神经网络中a 是已知的输送量图片样本，w ，w[3]，w[5]，w[6]和b[1]，b[3]，b[5]，b[6]为未知矩阵参数，需要经过训练之后确定，z[1]，z[3]和a[1]～a[5]为中间计算出的值，Max(a)函数用于计算a中每个2×2的区域中，取像素值最大的一个值组成的输出矩阵，g(k)＝max(0,k)，max()函数的值为()中较大的一个参数值，Softmax层输出的是计算得到的带式输送机4种输送量可能出现的概率选择概率最大的作为最终判断出的输送量大小 计算交叉熵损失函数
其中 y分别表示对当前输送量图片样本卷积神经网络计算得到的
估计值和真实值，的值是通过卷积神经网络计算输出得到，y的值是从train_label1.txt中获取；卷积神经网络构建完成后，使用输送量训练数据集对卷积神经网络训练，训练步骤如下：(1)初始化卷积神经网络中各层所有未知矩阵参数w[i],b[i],i∈(1,3,5,6)为随机值，设置迭代次数为s，学习率为lr，设置输入aj为输送量训练数据集中第1个样本aj＝a0，其中下标j表示第j个图片样本，a0表示输送量训练数据集中第1个图片样本；
(2)向卷积神经网络输送量样本输入层a[0]中输入图片样本aj；
(3)通过卷积神经网络进行逐步计算得到输出的输送量估计值
(4)使用输入图片样本aj对应的真实值y和估计值 计算输出交叉熵损失函数L( y)；
(5)计算出卷积神经网络各层中每个参数w[i]和b[i]的变化值Δw[i]和Δb[i]，其中i∈(1,3,5,6)；
(6)使用lr、Δw[i]和Δb[i]的值更新卷积神经网络中所有参数w[i]和b[i]的值，w[i]＝w[i]-lr*Δw[i]，b[i]＝b[i]-lr*Δb[i]，其中i∈(1,3,5,6)；
(7)判断是否为输送量训练数据集中最后1个样本，如果不是最后1个样本，则将选择下一个样本作为aj即aj＝aj+1，则跳转到(2)；若是最后1个样本，则跳转到(8)；
(8)判断迭代是否结束(s＝0)，如果没有结束(s≠0)，则重新选择输送量训练数据集第
1个样本作为aj即aj＝a0，迭代次数s＝s-1，跳到(2)，如果迭代结束(s＝0)，则跳转到(9)；
(9)设定带式输送机输送量检测模型检测正确率阈值t，将输送量测试数据集中的所有
图片样本依次输入到卷积神经网络中，计算出每个输送量图片样本的输送量估计值 并和test_label1.txt中保存的对应输送量真实值y比较，计算带式输送机输送量检测的正确率 其中 表示输送量测试数据集中估计值和真实值相同的个数，∑Num(y)表示输送量测试数据集中所有样本的个数，若acc＜t，则转到(1)，若acc≥t，则转到(10)；
(10)将卷积神经网络中的所有参数w[i]和b[i]固定且保存，其中i∈(1,3,5,6)，带式输送机输送量检测模型训练完成；
所述训练带式输送机异常状态检测模型，带式输送机异常状态检测模型是一个由计算
机软件实现的卷积神经网络，其结构为异常样本输入层A[0]，卷积层1，激活层1，最大池化层
1，卷积层2，激活层2，最大池化层2，全连接层1，全连接层2和Sofmax层；异常状态图片样本通过异常样本输入层A[0]输入到卷积神经网络中，经过卷积层1输出为Z[1]＝W[1]A[0]+B[1]，经[1] [1] [2] [1]过激活层1输出为A ＝g(Z )，经过最大池化层1输出为A ＝Max(A )，经过卷积层2输出为Z[3]＝W[3]A[2]+B[3]，经过激活层2输出为A[3]＝g(Z[3])，经过最大池化层2输出为A[4]＝Max(A[3])，经过全连接层1输出为A[5]＝g(W[5]A[4]+B[5])，经过全连接层2输出为A[6]＝g(W[6]A[5]+B[6])，经过Softmax层输出值为 其中，卷积神经网络中A[0]是已知的异常状态图片样本，W[1]，W[3]，W[5]，W[6]和B[1]，B[3]，B[5]，B[6]为未知矩阵参数，需要经过训练之后确定，Z[1]，Z[3]和A[1]～A[5]为中间计算出的值，Max(A)函数用于计算A中每个2×2的区域中，取像素值最大的一个值组成的输出矩阵值，g(k)＝max(0,k)，max()函数的值为()中较大的一个参数值，So f tm a x 层输 出的 是 计 算得 到 的 输送 带 6 种状 态可 能 出现 的 概 率选择概率最大状态的作为最终判断出的输送带异常状态结果 计算交叉熵损失函数 Y分别表示对当前
异常状态图片样本卷积神经网络计算出的估计值和真实值，的值是通过卷积神经网络计算输出得到，Y的值从train_label2.txt中获取；卷积神经网络构建完成后，使用异常状态训练数据集进行卷积神经网络训练，训练步骤如下：(1)初始化卷积神经网络中各层所有参数W[i],B[i],i∈(1,3,5,6)为随机值，设置迭代次数为S，学习率为LR，设置输入Aj为异常状态训练数据集中第1个样本Aj＝A0，其中下标j表示第j个图片样本，A0表示异常状态训练数据集中第1个图片样本；
(2)向卷积神经网络异常样本输入层A[0]中输入图片样本Aj；
(3)通过卷积神经网络进行逐步计算得到输出异常状态估计值
(4)使用输入图片样本Aj对应的真实值Y和估计值 计算输出交叉熵损失函数L( Y)；
(5)计算出卷积神经网络各层中每个参数W[i]和B[i]的变化值ΔW[i]和ΔB[i]，其中i∈(1,3,5,6)；
(6)使用LR、ΔW[i]和ΔB[i]的值更新卷积神经网络中所有参数W[i]和B[i]的值，W[i]＝W[i] [i] [i] [i] [i]-LR*ΔW ，B ＝B -LR*ΔB ，其中i∈(1,3,5,6)；
(7)判断是否为异常状态训练数据集中最后1个样本，如果不是最后1个样本，则将选择下一个样本作为Aj即Aj＝Aj+1，则跳转到(2)；若是最后1个样本，则跳转到(8)；
(8)判断迭代是否结束(S＝0)，如果没有结束(S≠0)，则重新选择异常状态训练数据集第1个样本作为Aj即Aj＝A0，迭代次数S＝S-1，跳到(2)，如果迭代结束(S＝0)，则跳转到(9)；
(9)设定带式输送机异常状态检测模型检测正确率阈值T，将异常状态测试数据集中的
所有图片样本依次输入到卷积神经网络中，计算出每个图片样本的异常状态估计值 并和test_label2.txt中保存的对应异常状态真实值Y比较，计算出带式输送机异常状态检测的正确率 其中 表示异常状态测试数据集中估计值和真实值相同的个数，∑Num(Y)表示异常状态测试数据集中所有样本的个数，若ACC＜T，则转到(1)，若ACC≥T，则转到(10)；
(10)将卷积神经网络中的所有参数W[i]和B[i]固定且保存，其中i∈(1,3,5,6)，带式输送机异常状态检测模型训练完成；
(1)获取网络摄像机2拍摄到的带式输送机的图片，输入到带式输送机异常状态检测模
型中，计算检测结果，如果出现“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”任何一种异常，则停止输送带运行，并发出对应异常状态的警报提示；如果检测结果为“无异常”，则转入步骤(2)；
(2)获取网络摄像机1拍摄到的带式输送机的图片，输入到带式输送机输送量检测模型
中，计算检测结果，如果结果为“无输送量”，则调节带式输送机的传输速度为停止状态，如果结果为“少输送量”，则调节传输速度为慢速状态，如果结果为“中输送量”，则调节传输速度为中速状态，如果结果为“大输送量”，则调节传输速度为快速状态，完成后转到步骤(1)，如此循环执行,不断地对带式输送机输送带进行检测并控制。
基于计算机视觉的煤码头带式输送机自适应控制方法
技术领域
[0001] 本发明涉及一种用于煤码头的基于计算机视觉的带式输送机根据输送量和异常状态情况进行自适应控制的方法。
背景技术
[0002] 带式输送机是我国煤炭生产和运输的重要工具，其优点在于，可以进行长距离的传送运输，运送量大，运输速度快，并且可以在较为恶劣的环境中进行长时间的连续作业，因此被广泛的应用于煤矿生产和煤炭运输领域。由于带式输送机的运行主要依靠大功率电动机带动，耗电量巨大，而我国大多数煤矿的带式输送机都是以最大负载量的恒定速度运行，但是煤矿的生产无法实现煤炭最大负荷的生产，因此带式输送机不可避免的出现大部分时间处于小负载运行的状态，甚至空载运行，这不仅使得设备产生无必要损耗、减小使用寿命，而且还造成了能源的极大浪费。在如今迫切需要节能减排、保护环境的环境下，如何根据带式输送机负载量进行自适应转速调节意义重大，要进行根据负载的自适应调速控制，带式输送机输送量的实时准确的检测又称为解决问题的关键。
[0003] 目前，煤矿带式输送机煤量检测方式可分为接触式检测和非接触式检测。接触式检测有电子胶带秤检测、核子秤检测等；非接触检测有视频检测和激光仪器检测等。其中，电子胶带秤应用广泛，但是由其“胶带效应”的影响，实际使用过程中容易受到称重误差、胶带速度误差、校准误差和各种外界环境的影响产生较大误差，且误差难以修正，这严重影响了带式输送机输煤量的检测。随着近年来图像处理技术的不断发展成熟，越来越多的人开始研究采用激光或视频图像对带式输送机的输煤量进行实时检测。
[0004] 另外，由于带式输送机上的输送带经常会在运输使用过程中不可避免的产生“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”等异常状态，这些异常状态如果不能及时发现并得到修补，会严重影响输送带的使用寿命，造成严重的经济损失和安全事故。现有的一些学者专家更多的是针对于输送带纵向撕裂所设计的一些解决办法，对输送带常见的“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”异常状态同时进行检测的研究还较少，需要针对不同的种类的损伤检测安装不同的检测设备，这就造成了使用的传感器数量大，安装繁琐，系统复杂度高，成本巨大，效果不够理想。
发明内容
[0005] 针对上述问题，本发明的目的是为了提供一种用于煤码头的基于计算机视觉的带式输送机根据输送量和异常状态情况进行自适应控制的方法。避免安装各种大量传感器监测设备的同时，实现了对带式输送机输送量和异常情况进行实时检测，并根据输送量和异常情况对带式输送机进行自适应控制的一种方法，降低了输送带的使用运行成本，避免了安全事故。
[0006] 为了达到上述目的，本发明所采用的技术方案为：
[0007] 基于计算机视觉的煤码头带式输送机自适应控制方法，其特征在于，所述方法包括离线预训练阶段和在线监控阶段：所述离线预训练阶段包括制作输送量训练数据集和输送量测试数据集、训练带式输送机输送量检测模型、制作异常状训练数据集和异常状态测试数据集、训练带式输送机异常状态检测模型；所述在线监控阶段功能在于使用训练好的输送量检测模型和异常状态检测模型对带式输送机进行实时的在线输送量检测和异常状态检测，根据带式输送机输送量的大小和有无异常状态自适应的控制带式输送机传输速度；
[0008] 所述制作输送量训练数据集和输送量测试数据集的步骤如下：
[0009] (1)获取输送量视频数据,在输送带上方安装网络摄像机1并对输送带进行长时期不间断录像，获得在不同输送量、不同时间段、不同光照强度和不同温湿度环境下的输送带视频数据；
[0010] (2)对录制的视频逐帧提取图片；
[0011] (3)从获取的图片中选取输送带“无输送量”、“少输送量”、“中输送量”和“大输送量”共4种输送量的图片各N张(N≥10000)，组成输送量图片样本集；其中，每种输送量的输送带图片要将在不同时间段、不同光照强度和不同温湿度环境的各种情况都包含在内；
[0012] (4)为了消除摄像机在成像和传输过程中带来的噪声干扰，并能最大程度的保留原始图片信息，对选取的4种输送量的各N张图片，使用g(c,d)＝median{f(c-e,d-f)},(e,f)∈H进行中值滤波，其中(c,d)表示原始图片的某一像素的位置坐标，g(c,d)表示对原始图片(c,d)位置的像素滤波后的像素值，f(c-e,d-f),(e,f)∈H表示滤波模板窗口H在原始图片(c,d)像素上的各个像素值，median{}表示选取{}里所有像素值的中间值；
[0013] (5)为输送带建立4种输送量的标签(Label)值表：“无输送量”＝0，“少输送量”＝1，“中输送量”＝2，“大输送量”＝3；
[0014] (6)为输送量图片样本集中每一张图片设置对应的输送量标签值；
[0015] (7)将输送量图片样本集划分为输送量训练数据集和输送量测试数据集,从输送量图片样本集中选取“无输送量”、“少输送量”、“中输送量”和“大输送量”共4种输送量的图片样本各5000张，在选取每种输送量的5000张图片样本时，要充分包含不同时间段、不同光照强度和不同温湿度环境的各种情况，再将选取的这4种输送量共20000张输送量图片样本按照随机顺序进行摆放，并按照摆放的顺序将每张输送量图片样本的图片名和对应的输送量标签值保存到train_label1.txt文件中，这20000张输送量图片样本和train_label1.txt文件构成了输送量训练数据集；按同样的方法，从输送量图片样本集剩余的图片样本中随机选各种状态共5000张，按照随机顺序进行摆放，并将此5000张输送量图片样本的图片名和对应的输送量标签值按照摆放顺序保存到test_label1.txt文件中，将此
5000张输送量图片样本和test_label1.txt文件作为输送量测试数据集；
[0016] 所述制作异常状态训练数据集和异常状态测试数据集的步骤如下：
[0017] (1)获取异常状态视频数据,在输送带下方安装网络摄像机2并对输送带进行长时期不间断录像，获得在不同运行状态、不同时间段、不同光照强度和不同温湿度环境下的输送带视频数据；
[0018] (2)对录制的视频逐帧提取图片；
[0019] (3)从获取的图片中选取输送带“无异常”、“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”共6种状态的图片各N张(N≥10000)，组成异常状态图片样本集；其中，每种异常状态的图片都要将输送带在不同运行状态、不同时间段、不同光照强度和不同温湿度环境的各种情况都包含在内；
[0020] (4)为了消除摄像机在成像和传输过程中带来的噪声干扰，并能最大程度的保留原始图片信息，对选取的6种状态的各N张图片，使用g(c,d)＝median{f(c-e,d-f)},(e,f)∈H进行中值滤波，其中(c,d)表示原始图片的某一像素的位置坐标，g(c,d)表示对原始图片(c,d)位置的像素滤波后的像素值，f(c-e,d-f),(e,f)∈H表示滤波模板窗口H在原始图片(c,d)像素上的各个像素值，median{}表示选取{}里所有像素值的中间值；
[0021] (5)为输送带建立6种状态的异常状态标签(Label)值表：“无异常”＝0，“跑偏”＝1，“撕裂”＝2，“划伤”＝3，“削边”＝4，“坑洞”＝5；
[0022] (6)为异常状态图片样本集中每一张图片设置对应的异常状态标签值；
[0023] (7)将异常状态图片样本集划分为异常状态训练数据集和异常状态测试数据集,从异常状态图片样本集中选取“无异常”、“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”共6种状态图片样本各5000张，在选取每种状态的5000张图片样本时，要充分包含不同运行状态、不同时间段、不同光照强度和不同温湿度环境的各种情况，再将选取的这6种状态的共30000张异常状态图片样本按照随机顺序进行摆放，并按照摆放的顺序将每张异常状态图片样本的图片名和对应的异常状态标签值保存到train_label2.txt文件中，这30000张异常状态图片样本和train_label2.txt文件构成了异常状态训练数据集；按同样的方法，从异常状态图片样本集剩余的图片样本中随机选各种状态共5000张，按照随机顺序进行摆放，并将此5000张异常状态图片样本的图片名和对应的异常状态标签值按照摆放顺序保存到test_label2.txt文件中，将此5000张异常状态图片样本和test_label2.txt文件作为异常状态测试数据集；
[0024] 所述训练带式输送机输送量检测模型，带式输送机输送量检测模型是一个由计算机软件实现的卷积神经网络，其结构为输送量样本输入层a[0]，卷积层1，激活层1，最大池化层1，卷积层2，激活层2，最大池化层2，全连接层1，全连接层2和Sofmax层；输送量图片样本通过输送量样本输入层a[0]输入到卷积神经网络中，经过卷积层1输出为z[1]＝w[1]a[0]+b[1]，经过激活层1输出为a[1]＝g(z[1])，经过最大池化层1输出为a[2]＝Max(a[1])，经过卷积层2输出为z[3]＝w[3]a[2]+b[3]，经过激活层2输出为a[3]＝g(z[3])，经过最大池化层2输出为a[4]＝Max(a[3])，经过全连接层1输出为a[5]＝g(w[5]a[4]+b[5])，经过全连接层2输出为a[6]＝g(w[6]a[5]+b[6])，经过Softmax层输出值为 其中，卷积神经网络中a[0]是已知的输送量图片样本，w[1]，w[3]，w[5]，w[6]和b[1]，b[3]，b[5]，b[6]为未知矩阵参数，需要经过训练之后确定，z[1]，z[3]和a[1]～a[5]为中间计算出的值，Max(a)函数用于计算a中每个2×2的区域中，取像素值最大的一个值组成的输出矩阵，g(k)＝max(0,k)，max()函数的值为()中较大的一个参数值，Softmax层输出的是计算得到的带式输送机4种输送量可能出现的概率选择概率最大的作为最终判断出的输送量大小
计算交叉熵损失函数 其中 y分别表示对当前输送量
图片样本卷积神经网络计算得到的估计值和真实值，的值是通过卷积神经网络计算输出得到，y的值是从train_label1.txt中获取；卷积神经网络构建完成后，使用输送量训练数据集对卷积神经网络训练，训练步骤如下：
[0025] (1)初始化卷积神经网络中各层所有未知矩阵参数w[i],b[i],i∈(1,3,5,6)为随机值，设置迭代次数为s，学习率为lr，设置输入aj为输送量训练数据集中第1个样本aj＝a0，其中下标j表示第j个图片样本，a0表示输送量训练数据集中第1个图片样本；
[0026] (2)向卷积神经网络输送量样本输入层a[0]中输入图片样本aj；
[0027] (3)通过卷积神经网络进行逐步计算得到输出的输送量估计值
[0028] (4)使用输入图片样本aj对应的真实值y和估计值 计算输出交叉熵损失函数
[0029] (5)计算出卷积神经网络各层中每个参数w[i]和b[i]的变化值Δw[i]和Δb[i]，其中i∈(1,3,5,6)；
[0030] (6)使用lr、Δw[i]和Δb[i]的值更新卷积神经网络中所有参数w[i]和b[i]的值，w[i]＝w[i]-lr*Δw[i]，b[i]＝b[i]-lr*Δb[i]，其中i∈(1,3,5,6)；
[0031] (7)判断是否为输送量训练数据集中最后1个样本，如果不是最后1个样本，则将选择下1个样本作为aj即aj＝aj+1，则跳转到(2)；若是最后1个样本，则跳转到(8)；
[0032] (8)判断迭代是否结束(s＝0)，如果没有结束(s≠0)，则重新选择输送量训练数据集第1个样本作为aj即aj＝a0，迭代次数s＝s-1，跳到(2)，如果迭代结束(s＝0)，则跳转到(9)；
[0033] (9)设定带式输送机输送量检测模型检测正确率阈值t，将输送量测试数据集中的所有图片样本依次输入到卷积神经网络中，计算出每个输送量图片样本的输送量估计值并和test_label1.txt中保存的对应输送量真实值y比较，计算带式输送机输送量检测的正确率 其中 表示输送量测试数据集中估计值和真实值相
同的个数，∑Num(y)表示输送量测试数据集中所有样本的个数，若acc＜t，则转到(1)，若acc≥t，则转到(10)；
[0034] (10)将卷积神经网络中的所有参数w[i]和b[i]固定且保存，其中i∈(1,3,5,6)，带式输送机输送量检测模型训练完成；
[0035] 所述训练带式输送机异常状态检测模型，带式输送机异常状态检测模型是一个由计算机软件实现的卷积神经网络，其结构为异常样本输入层A[0]，卷积层1，激活层1，最大池化层1，卷积层2，激活层2，最大池化层2，全连接层1，全连接层2和Sofmax层；异常状态图片样本通过异常样本输入层A[0]输入到卷积神经网络中，经过卷积层1输出为Z[1]＝W[1]A[0]+B[1]，经过激活层1输出为A[1]＝g(Z[1])，经过最大池化层1输出为A[2]＝Max(A[1])，经过卷积层[3] [3] [2] [3] [3] [3] [4]2输出为Z ＝W A +B ，经过激活层2输出为A ＝g(Z )，经过最大池化层2输出为A
＝Max(A[3])，经过全连接层1输出为A[5]＝g(W[5]A[4]+B[5])，经过全连接层2输出为A[6]＝g(W[6]A[5]+B[6])，经过Softmax层输出值为 其中，卷积神经网络中A[0]是已知的异常状态图片样本，W[1]，W[3]，W[5]，W[6]和B[1]，B[3]，B[5]，B[6]为未知矩阵参数，需要经过训练之后确定，Z[1]，Z[3]和A[1]～A[5]为中间计算出的值，Max(A)函数用于计算A中每个2×2的区域中，取像素值最大的一个值组成的输出矩阵值，g(k)＝max(0,k)，max()函数的值为()中较大的一个参数值，Softmax层输出的是计算得到的输送带6种状态可能出现的概率
选择概率最大状态的作为最终判断出的输送带异
常状态结果 计算交叉熵损失函数 Y分别表示对当前
异常状态图片样本卷积神经网络计算出的估计值和真实值， 的值是通过卷积神经网络计算输出得到，Y的值从train_label2.txt中获取；卷积神经网络构建完成后，使用异常状态训练数据集进行卷积神经网络训练，训练步骤如下：
[0036] (1)初始化卷积神经网络中各层所有参数W[i],B[i],i∈(1,3,5,6)为随机值，设置迭代次数为S，学习率为LR，设置输入Aj为异常状态训练数据集中第1个样本Aj＝A0，其中下标j表示第j个图片样本，A0表示异常状态训练数据集中第1个图片样本；
[0037] (2)向卷积神经网络异常样本输入层A[0]中输入图片样本Aj；
[0038] (3)通过卷积神经网络进行逐步计算得到输出异常状态估计值
[0039] (4)使用输入图片样本Aj对应的真实值Y和估计值 计算输出交叉熵损失函数
[0040] (5)计算出卷积神经网络各层中每个参数W[i]和B[i]的变化值ΔW[i]和ΔB[i]，其中i∈(1,3,5,6)；
[0041] (6)使用LR、ΔW[i]和ΔB[i]的值更新卷积神经网络中所有参数W[i]和B[i]的值，W[i]＝W[i]-LR*ΔW[i]，B[i]＝B[i]-LR*ΔB[i]，其中i∈(1,3,5,6)；
[0042] (7)判断是否为异常状态训练数据集中最后1个样本，如果不是最后1个样本，则将选择下1个样本作为Aj即Aj＝Aj+1，则跳转到(2)；若是最后1个样本，则跳转到(8)；
[0043] (8)判断迭代是否结束(S＝0)，如果没有结束(S≠0)，则重新选择异常状态训练数据集第1个样本作为Aj即Aj＝A0，迭代次数S＝S-1，跳到(2)，如果迭代结束(S＝0)，则跳转到(9)；
[0044] (9)设定带式输送机异常状态检测模型检测正确率阈值T，将异常状态测试数据集中的所有图片样本依次输入到卷积神经网络中，计算出每个图片样本的异常状态估计值并和test_label2.txt中保存的对应异常状态真实值Y比较，计算出带式输送机异常状态检测的正确率 其中 表示异常状态测试数据集中估计值和
真实值相同的个数，∑Num(Y)表示异常状态测试数据集中所有样本的个数，若ACC＜T，则转到(1)，若ACC≥T，则转到(10)；
[0045] (10)将卷积神经网络中的所有参数W[i]和B[i]固定且保存，其中i∈(1,3,5,6)，带式输送机异常状态检测模型训练完成；
[0046] 所述在线监控阶段执行步骤如下：
[0047] (1)获取网络摄像机2拍摄到的带式输送机的图片，输入到带式输送机异常状态检测模型中，计算检测结果，如果出现“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”任何一种异常，则停止输送带运行，并发出对应异常状态的警报提示；如果检测结果为“无异常”，则转入步骤(2)；
[0048] (2)获取网络摄像机1拍摄到的带式输送机的图片，输入到带式输送机输送量检测模型中，计算检测结果，如果结果为“无输送量”，则调节带式输送机的传输速度为停止状态，如果结果为“少输送量”，则调节传输速度为慢速状态，如果结果为“中输送量”，则调节传输速度为中速状态，如果结果为“大输送量”，则调节传输速度为快速状态，完成后转到步骤(1)，如此循环执行,不断地对带式输送机输送带进行检测并控制。
[0049] 本发明有益效果体现在：
[0050] 本发明用于煤码头根据输送量和输送带异常情况对带式输送机进行自适应控制。实现了用计算机视觉对输送带输送量的实时检测并根据输送量大小自动控制带式输送机的输送速度，所用到的设备少，安装简单，不再需要带式输送机始终满负荷运行，极大的节省了设备购买成本、安装成本和运行成本。本发明在没增加额外设备的情况下同时实现了对输送带的各种损伤的异常状态检测，一旦发现输送带发生异常状态，能及时停止带式输送机运行，并发出对应的异常提示，增加了生产的安全性，加快了异常状态检修过程，提高了生产效率。
附图说明
[0051] 图1为本发明方法的整体框图。
[0052] 图2为本发明方法的制作输送量图片样本集的流程图。
[0053] 图3为本发明方法的制作异常状态图片样本及的流程图。
[0054] 图4为本发明方法的制作输送量训练数据集和输送量测试数据集的示意图。
[0055] 图5为本发明方法的制作异常状态训练数据集和异常状态测试数据集的示意图。
[0056] 图6为本发明方法的带式输送机输送量检测模型结构框图。
[0057] 图7为本发明方法的带式输送机异常状态检测模型结构框图。
[0058] 图8为本发明方法的训练带式输送机输送量检测模型的流程图。
[0059] 图9为本发明方法的训练带式输送机异常状态检测模型的流程图。
[0060] 图10为本发明方法的带式输送机在线监控阶段的工作流程图。
具体实施方式
[0061] 如图1所示，基于计算机视觉的煤码头带式输送机自适应控制方法总体过程为：
[0062] 所述方法包括离线预训练阶段和在线监控阶段：所述离线预训练阶段包括制作输送量训练数据集和输送量测试数据集、训练带式输送机输送量检测模型、制作异常状训练数据集和异常状态测试数据集、训练带式输送机异常状态检测模型；所述在线监控阶段功能在于使用训练好的输送量检测模型和异常状态检测模型对带式输送机进行实时的在线输送量检测和异常状态检测，根据带式输送机输送量的大小和有无异常状态自适应的控制带式输送机传输速度；
[0063] 如图2所示，本发明方法制作输送量图片样本集的过程为：
[0064] (1)获取输送量视频数据,在输送带上方安装网络摄像机1并对输送带进行长时期不间断录像，获得在不同输送量、不同时间段、不同光照强度和不同温湿度环境下的输送带视频数据；
[0065] (2)对录制的视频逐帧提取图片；
[0066] (3)从获取的图片中选取输送带“无输送量”、“少输送量”、“中输送量”和“大输送量”共4种输送量的图片各N张(N≥10000)，组成输送量图片样本集；其中，每种输送量的输送带图片要将在不同时间段、不同光照强度和不同温湿度环境的各种情况都包含在内；
[0067] (4)为了消除摄像机在成像和传输过程中带来的噪声干扰，并能最大程度的保留原始图片信息，对选取的4种输送量的各N张图片，使用g(c,d)＝median{f(c-e,d-f)},(e,f)∈H进行中值滤波，其中(c,d)表示原始图片的某一像素的位置坐标，g(c,d)表示对原始图片(c,d)位置的像素滤波后的像素值，f(c-e,d-f),(e,f)∈H表示滤波模板窗口H在原始图片(c,d)像素上的各个像素值，median{}表示选取{}里所有像素值的中间值；
[0068] (5)为输送带建立4种输送量的标签(Label)值表：“无输送量”＝0，“少输送量”＝1，“中输送量”＝2，“大输送量”＝3；
[0069] (6)为输送量图片样本集中每一张图片设置对应的输送量标签值；
[0070] (7)将输送量图片样本集划分为输送量训练数据集和输送量测试数据集；
[0071] 如图3所示，本发明方法制作异常状态图片样本集的过程为：
[0072] (1)获取异常状态视频数据,在输送带下方安装网络摄像机2并对输送带进行长时期不间断录像，获得在不同运行状态、不同时间段、不同光照强度和不同温湿度环境下的输送带视频数据；
[0073] (2)对录制的视频逐帧提取图片；
[0074] (3)从获取的图片中选取输送带“无异常”、“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”共6种状态的图片各N张(N≥10000)，组成异常状态图片样本集；其中，每种异常状态的图片都要将输送带在不同运行状态、不同时间段、不同光照强度和不同温湿度环境的各种情况都包含在内；
[0075] (4)为了消除摄像机在成像和传输过程中带来的噪声干扰，并能最大程度的保留原始图片信息，对选取的6种状态的各N张图片，使用g(c,d)＝median{f(c-e,d-f)},(e,f)∈H进行中值滤波，其中(c,d)表示原始图片的某一像素的位置坐标，g(c,d)表示对原始图片(c,d)位置的像素滤波后的像素值，f(c-e,d-f),(e,f)∈H表示滤波模板窗口H在原始图片(c,d)像素上的各个像素值，median{}表示选取{}里所有像素值的中间值；
[0076] (5)为输送带建立6种状态的异常状态标签(Label)值表：“无异常”＝0，“跑偏”＝1，“撕裂”＝2，“划伤”＝3，“削边”＝4，“坑洞”＝5；
[0077] (6)为异常状态图片样本集中每一张图片设置对应的异常状态标签值；
[0078] (7)将异常状态图片样本集划分为异常状态训练数据集和异常状态测试数据集；
[0079] 如图4所示，本发明方法的制作输送量训练数据集和输送量测试数据集的方法为：从输送量图片样本集中选取“无输送量”、“少输送量”、“中输送量”和“大输送量”共4种输送量的图片样本各5000张，在选取每种输送量的5000张图片样本时，要充分包含不同时间段、不同光照强度和不同温湿度环境的各种情况，再将选取的这4种输送量共20000张输送量图片样本按照随机顺序进行摆放，并按照摆放的顺序将每张输送量图片样本的图片名和对应的输送量标签值保存到train_label1.txt文件中，这20000张输送量图片样本和train_label1.txt文件构成了输送量训练数据集；按同样的方法，从输送量图片样本集剩余的图片样本中随机选各种状态共5000张，按照随机顺序进行摆放，并将此5000张输送量图片样本的图片名和对应的输送量标签值按照摆放顺序保存到test_label1.txt文件中，将此
5000张输送量图片样本和test_label1.txt文件作为输送量测试数据集；
[0080] 如图5所示，本发明方法的制作异常状态训练数据集和异常状态测试数据集的方法为：从异常状态图片样本集中选取“无异常”、“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”共6种状态图片样本各5000张，在选取每种状态的5000张图片样本时，要充分包含不同运行状态、不同时间段、不同光照强度和不同温湿度环境的各种情况，再将选取的这6种状态的共
30000张异常状态图片样本按照随机顺序进行摆放，并按照摆放的顺序将每张异常状态图片样本的图片名和对应的异常状态标签值保存到train_label2.txt文件中，这30000张异常状态图片样本和train_label2.txt文件构成了异常状态训练数据集；按同样的方法，从异常状态图片样本集剩余的图片样本中随机选各种状态共5000张，按照随机顺序进行摆放，并将此5000张异常状态图片样本的图片名和对应的异常状态标签值按照摆放顺序保存到test_label2.txt文件中，将此5000张异常状态图片样本和test_label2.txt文件作为异常状态测试数据集；
[0081] 如图6所示，本发明方法的带式输送机输送量检测模型的结构，带式输送机输送量检测模型是一个由计算机软件实现的卷积神经网络，其结构为输送量样本输入层a[0]，卷积层1，激活层1，最大池化层1，卷积层2，激活层2，最大池化层2，全连接层1，全连接层2和Sofmax层；输送量图片样本通过输送量样本输入层a[0]输入到卷积神经网络中，经过卷积层1输出为z[1]＝w[1]a[0]+b[1]，经过激活层1输出为a[1]＝g(z[1])，经过最大池化层1输出为a[2]＝Max(a[1])，经过卷积层2输出为z[3]＝w[3]a[2]+b[3]，经过激活层2输出为a[3]＝g(z[3])，经过最大池化层2输出为a[4]＝Max(a[3])，经过全连接层1输出为a[5]＝g(w[5]a[4]+b[5])，经过全连接层2输出为a[6]＝g(w[6]a[5]+b[6])，经过Softmax层输出值为 其中，卷积神经网络中a[0][1] [3] [5] [6] [1] [3] [5] [6]
是已知的输送量图片样本，w ，w ，w ，w 和b ，b ，b ，b 为未知矩阵参数，需要经过训练之后确定，z[1]，z[3]和a[1]～a[5]为中间计算出的值，Max(a)函数用于计算a中每个2×
2的区域中，取像素值最大的一个值组成的输出矩阵，g(k)＝max(0,k)，max()函数的值为()中较大的一个参数值，Softmax层输出的是计算得到的带式输送机4种输送量可能出现的概率 选择概率最大的作为最终判断出的输送量大小
计算交叉熵损失函数 其中 y分别表示对当前输送量
图片样本卷积神经网络计算得到的估计值和真实值， 的值是通过卷积神经网络计算输出得到，y的值是从train_label1.txt中获取；
[0082] 如图7所示，本发明方法的带式输送机异常状态检测模型的构成，带式输送机异常状态检测模型是一个由计算机软件实现的卷积神经网络，其结构为异常样本输入层A[0]，卷积层1，激活层1，最大池化层1，卷积层2，激活层2，最大池化层2，全连接层1，全连接层2和Sofmax层；异常状态图片样本通过异常样本输入层A[0]输入到卷积神经网络中，经过卷积层1输出为Z[1]＝W[1]A[0]+B[1]，经过激活层1输出为A[1]＝g(Z[1])，经过最大池化层1输出为A[2]＝Max(A[1])，经过卷积层2输出为Z[3]＝W[3]A[2]+B[3]，经过激活层2输出为A[3]＝g(Z[3])，经过最大池化层2输出为A[4]＝Max(A[3])，经过全连接层1输出为A[5]＝g(W[5]A[4]+B[5])，经过全连接层2输出为A[6]＝g(W[6]A[5]+B[6])，经过Softmax层输出值为 其中，卷积神经网络中A[0]是已知的异常状态图片样本，W[1]，W[3]，W[5]，W[6]和B[1]，B[3]，B[5]，B[6]为未知矩阵参数，需要经过训练之后确定，Z[1]，Z[3]和A[1]～A[5]为中间计算出的值，Max(A)函数用于计算A中每个2×2的区域中，取像素值最大的一个值组成的输出矩阵值，g(k)＝max(0,k)，max()函数的值为()中较大的一个参数值，Softmax层输出的是计算得到的输送带6种状态可能出现的概率 选择概率最大状态的作为最终判断出的输送
带异常状态结果 计算交叉熵损失函数 Y分别表示对
当前异常状态图片样本卷积神经网络计算出的估计值和真实值，的值是通过卷积神经网络计算输出得到，Y的值从train_label2.txt中获取；
[0083] 如图8所示，本发明方法的带式输送机输送量检测模型训练过程为：
[0084] (1)初始化卷积神经网络中各层所有未知矩阵参数w[i],b[i],i∈(1,3,5,6)为随机值，设置迭代次数为s，学习率为lr，设置输入aj为输送量训练数据集中第1个样本aj＝a0，其中下标j表示第j个图片样本，a0表示输送量训练数据集中第1个图片样本；
[0085] (2)向卷积神经网络输送量样本输入层a[0]中输入图片样本aj；
[0086] (3)通过卷积神经网络进行逐步计算得到输出的输送量估计值
[0087] (4)使用输入图片样本aj对应的真实值y和估计值 计算输出交叉熵损失函数
[0088] (5)计算出卷积神经网络各层中每个参数w[i]和b[i]的变化值Δw[i]和Δb[i]，其中i∈(1,3,5,6)；
[0089] (6)使用lr、Δw[i]和Δb[i]的值更新卷积神经网络中所有参数w[i]和b[i]的值，w[i]＝w[i]-lr*Δw[i]，b[i]＝b[i]-lr*Δb[i]，其中i∈(1,3,5,6)；
[0090] (7)判断是否为输送量训练数据集中最后1个样本，如果不是最后1个样本，则将选择下1个样本作为aj即aj＝aj+1，则跳转到(2)；若是最后1个样本，则跳转到(8)；
[0091] (8)判断迭代是否结束(s＝0)，如果没有结束(s≠0)，则重新选择输送量训练数据集第1个样本作为aj即aj＝a0，迭代次数s＝s-1，跳到(2)，如果迭代结束(s＝0)，则跳转到(9)；
[0092] (9)设定带式输送机输送量检测模型检测正确率阈值t，将输送量测试数据集中的所有图片样本依次输入到卷积神经网络中，计算出每个输送量图片样本的输送量估计值并和test_label1.txt中保存的对应输送量真实值y比较，计算带式输送机输送量检测的正确率 其中 表示输送量测试数据集中估计值和真实值相
同的个数，∑Num(y)表示输送量测试数据集中所有样本的个数，若acc＜t，则转到(1)，若acc≥t，则转到(10)；
[0093] (10)将卷积神经网络中的所有参数w[i]和b[i]固定且保存，其中i∈(1,3,5,6)，带式输送机输送量检测模型训练完成；
[0094] 如图9所示，本发明方法的带式输送机异常状态检测模型训练过程为：
[0095] (1)初始化卷积神经网络中各层所有参数W[i],B[i],i∈(1,3,5,6)为随机值，设置迭代次数为S，学习率为LR，设置输入Aj为异常状态训练数据集中第1个样本Aj＝A0，其中下标j表示第j个图片样本，A0表示异常状态训练数据集中第1个图片样本；
[0096] (2)向卷积神经网络异常样本输入层A[0]中输入图片样本Aj；
[0097] (3)通过卷积神经网络进行逐步计算得到输出异常状态估计值
[0098] (4)使用输入图片样本Aj对应的真实值Y和估计值 计算输出交叉熵损失函数
[0099] (5)计算出卷积神经网络各层中每个参数W[i]和B[i]的变化值ΔW[i]和ΔB[i]，其中i∈(1,3,5,6)；
[0100] (6)使用LR、ΔW[i]和ΔB[i]的值更新卷积神经网络中所有参数W[i]和B[i]的值，W[i]＝W[i]-LR*ΔW[i]，B[i]＝B[i]-LR*ΔB[i]，其中i∈(1,3,5,6)；
[0101] (7)判断是否为异常状态训练数据集中最后1个样本，如果不是最后1个样本，则将选择下1个样本作为Aj即Aj＝Aj+1，则跳转到(2)；若是最后1个样本，则跳转到(8)；
[0102] (8)判断迭代是否结束(S＝0)，如果没有结束(S≠0)，则重新选择异常状态训练数据集第1个样本作为Aj即Aj＝A0，迭代次数S＝S-1，跳到(2)，如果迭代结束(S＝0)，则跳转到(9)；
[0103] (9)设定带式输送机异常状态检测模型检测正确率阈值T，将异常状态测试数据集中的所有图片样本依次输入到卷积神经网络中，计算出每个图片样本的异常状态估计值并和test_label2.txt中保存的对应异常状态真实值Y比较，计算出带式输送机异常状态检测的正确率 其中 表示异常状态测试数据集中估计值和
真实值相同的个数，∑Num(Y)表示异常状态测试数据集中所有样本的个数，若ACC＜T，则转到(1)，若ACC≥T，则转到(10)；
[0104] (10)将卷积神经网络中的所有参数W[i]和B[i]固定且保存，其中i∈(1,3,5,6)，带式输送机异常状态检测模型训练完成；
[0105] 如图10所示，本发明方法对带式输送机进行实时在线监控的过程为：
[0106] (1)获取网络摄像机2拍摄到的带式输送机的图片，输入到带式输送机异常状态检测模型中，计算检测结果，如果出现“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”任何一种异常，则停止输送带运行，并发出对应异常状态的警报提示；如果检测结果为“无异常”，则转入步骤(2)；
[0107] (2)获取网络摄像机1拍摄到的带式输送机的图片，输入到带式输送机输送量检测模型中，计算检测结果，如果结果为“无输送量”，则调节带式输送机的传输速度为停止状态，如果结果为“少输送量”，则调节传输速度为慢速状态，如果结果为“中输送量”，则调节传输速度为中速状态，如果结果为“大输送量”，则调节传输速度为快速状态，完成后转到步骤(1)，如此循环执行,不断地对带式输送机输送带进行检测并控制。
