本申请公开了一种运输皮带表面检测方法应用于安装在运输系统上的检测设备中，一种基于机器视觉的运输皮带表面检测方法及系统,所述运输皮带表面检测方法包括：获取所述运输系统皮带的目标区域图像，所述目标区域图像是通过安装在所述运输系统上的皮带图像采集设备采集得到的；利用已训练的RCNN模型对所述目标区域图像进行图像识别，确定所述目标区域图像中的缺陷特征和运输系统工作信息；基于所述目标区域图像中的缺陷特征和运输系统工作信息确定皮带状态，可避免人工巡检时的不同人使用不同主观标准，同时可以替代人工巡检，减少人工及人工在危险区域作业，提高作业效率。
1.一种运输皮带表面检测方法，其特征在于，应用于安装在运输系统上的检测设备中，所述运输皮带表面检测方法包括：获取所述运输系统皮带的目标区域图像，所述目标区域图像是通过安装在所述运输系统上的皮带图像采集设备采集得到的；
利用已训练的RCNN模型对所述目标区域图像进行图像识别，确定所述目标区域图像中的缺陷特征和运输系统工作信息，所述RCNN模型是利用进行了数据标注和数据增强后的图像样本数据训练得到的，所述数据标注包括标注缺陷特征和运输系统工作信息；
其中，所述缺陷特征包括运输系统运行中出现的皮带表面、物体状态以及物体接触情况中的一个或多个，所述物体状态包括物体本身属性信息或物体与皮带接触信息；
其中，所述运输系统工作信息包括与运输系统本身相关的信息，且所述运输系统工作信息包括运输系统类型；
基于所述目标区域图像中的缺陷特征和运输系统工作信息，确定所述目标区域图像存在满足预设警示条件时，通过核心网向预设终端发送缺陷预警信息，所述缺陷预警信息至少包括所述目标区域图像；
其中，所述预设警示条件包括皮带运行特征、运输物体特征、皮带物体接触状态、皮带周边环境中的一个或多个，且所述预设警示条件与所述运输系统类型对应；
其中，所述缺陷预警信息包括满足预设警示条件的运输系统的皮带状态信息、运输系统类型、运输接触位置以及运输接触频率中的一个或多个；
其中，所述基于所述目标区域图像中的缺陷特征和运输系统工作信息，确定所述目标区域图像存在满足预设警示条件时，具体包括：从服务器获取激光点云数据，确定缺陷特征的具体参数，进而基于缺陷特征和运输系统工作信息，判断目标区域图像中是否存在满足预设警示条件的运输系统，其中待检测运输系统为目标区域图像中的运输系统；
所述 RCNN模型的训练方式包括：利用所述图像样本数据对基于深度学习创建的RCNN模型进行训练，得到训练后的RCNN模型，用深度卷积层替换所述训练后的RCNN模型中的在先卷积层，针对所述训练后的RCNN模型中的任意一个卷积内核，执行以下操作：确定所述一个卷积内核去除前后，所述训练后的RCNN 模型的 LOSS值差值或 LOSS值比值，并将所述 LOSS值差值或所述 LOSS值比值，作为所述一个卷积内核的丢失的影响信息量；
基于所述训练后的RCNN模型中各卷积内核参数的丢失的影响信息量，去除所述训练后的RCNN模型中丢失的影响信息量小于影响度阈值的卷积内核，得到第一RCNN模型，其中所述丢失的影响信息量表征卷积内核参数对所述训练后的RCNN模型的丢失函数的影响度，对所述第一RCNN模型中各卷积内核参数的参数值进行参数值量化处理，得到所述已训练的RCNN模型；
所述深度卷积层包括深度卷积内核和分离卷积，且设定数量的深度卷积层用于对所述目标区域图像进行多次卷积运算，得到所述目标区域图像中的缺陷特征和运输系统工作信息；
所述已训练的RCNN模型包括第一RCNN模型和第二RCNN 模型，其中：所述第一RCNN模型用于对所述目标区域图像进行目标检测，确定所述目标区域图像中的运输系统工作信息和所述皮带内的缺陷特征；所述第二RCNN模型用于对所述目标区域图像进行皮带表面检测，确定所述目标区域图像中的缺陷点位；
其中，所述第二RCNN模型包括分割网络分支和嵌入网络分支，所述分割网络分支用于确定目标区域图像中每个像素是否属于皮带表面像素，所述嵌入网络分支用语对属于皮带表面像素的像素进行特征映射，以在检测出皮带表面位置的同时区分出皮带表面像素；
还包括：对运行所述已训练的RCNN模型的代码进行运算提速，以使利用所述已训练的RCNN模型对所述目标区域图像进行图像识别时，支持通过指令数据流对所述已训练的RCNN 模型中同一个卷积层的卷积运算进行并行处理。
图像采集单元，用于获取所述运输系统皮带的目标区域图像，所述目标区域图像是通过安装在所述运输系统上的皮带图像采集设备采集得到的；
图像识别单元，用于利用已训练的RCNN模型对所述目标区域图像进行图像识别，确定所述目标区域图像中的缺陷特征和运输系统工作信息，所述RCNN模型是利用进行了数据标注和数据增强后的图像样本数据训练得到的，所述数据标注包括标注缺陷特征和运输系统工作信息；其中，所述缺陷特征包括运输系统运行中出现的皮带表面、物体状态以及物体接触情况中的一个或多个，所述物体状态包括物体本身属性信息或物体与皮带接触信息；
其中，所述运输系统工作信息包括与运输系统本身相关的信息，且所述运输系统工作信息包括运输系统类型；
缺陷特征确定单元，用于基于所述目标区域图像中的缺陷特征和运输系统工作信息，确定所述目标区域图像存在满足预设警示条件的运输系统时，通过核心网向预设终端发送缺陷预警信息，所述缺陷预警信息至少包括所述目标区域图像；
其中，所述预设警示条件包括皮带运行特征、运输物体特征、皮带物体接触状态、皮带周边环境中的一个或多个，且所述预设警示条件与所述运输系统类型对应；
其中，所述缺陷预警信息包括满足预设警示条件的运输系统的皮带状态信息、运输系统类型、运输接触位置以及运输接触频率中的一个或多个；
其中，所述基于所述目标区域图像中的缺陷特征和运输系统工作信息，确定所述目标区域图像存在满足预设警示条件时，具体包括：从服务器获取激光点云数据，确定缺陷特征的具体参数，进而基于缺陷特征和运输系统工作信息，判断目标区域图像中是否存在满足预设警示条件的运输系统，其中待检测运输系统为目标区域图像中的运输系统；
利用所述图像样本数据对基于深度学习创建的RCNN模型进行训练，得到训练后的 RCNN模型；用深度卷积层替换所述训练后的RCNN模型中的在先卷积层；针对所述训练后的RCNN模型中的任意一个卷积内核，执行以下操作：确定所述一个卷积内核去除前后，所述训练后的RCNN模型的LOSS值差值或LOSS值比值，并将所述LOSS值差值或所述LOSS值比值，作为所述一个卷积内核的丢失的影响信息量；
基于所述训练后的RCNN模型中各卷积内核参数的丢失的影响信息量，去除所述训练后的RCNN模型中丢失的影响信息量小于影响度阈值的卷积内核，得到第一RCNN模型，其中所述丢失的影响信息量表征卷积内核参数对所述训练后的RCNN模型的丢失函数的影响度，对所述第一RCNN模型中各卷积内核参数的参数值进行参数值量化处理，得到所述已训练的RCNN模型；
所述深度卷积层包括深度卷积内核和分离卷积，且设定数量的深度卷积层用于对所述目标区域图像进行多次卷积运算，得到所述目标区域图像中的缺陷特征和运输系统工作信息；
所述已训练的RCNN模型包括第一RCNN模型和第二RCNN 模型，其中：所述第一RCNN模型用于对所述目标区域图像进行目标检测，确定所述目标区域图像中的运输系统工作信息和除所述皮带内的缺陷特征；所述第二RCNN模型用于对所述目标区域图像进行皮带表面检测，确定所述目标区域图像中的缺陷点位；
其中，所述第二RCNN模型包括分割网络分支和嵌入网络分支，所述分割网络分支用于确定目标区域图像中每个像素是否属于皮带表面像素，所述嵌入网络分支用语对属于皮带表面像素的像素进行特征映射，以在检测出皮带表面位置的同时区分出皮带表面像素；
还包括：对运行所述已训练的RCNN模型的代码进行运算提速，以使利用所述已训练的RCNN模型对所述目标区域图像进行图像识别时，支持通过指令数据流对所述已训练的RCNN 模型中同一个卷积层的卷积运算进行并行处理。
3.如权利要求2所述的系统，其特征在于，所述系统还包括：
除尘单元，所述除尘单元包括阀门装置，高压气/液喷射装置及清洁雨刮装置，所述除尘单元设置于所述图像采集单元上，并依据 RCNN模型指令执行除尘操作。
一种基于机器视觉的运输皮带表面检测方法及系统
技术领域
[0001] 本申请涉及皮带表面检测领域，尤其涉及一种基于机器视觉的运输皮带表面检测方法及系统。
背景技术
[0002] 随着社会的高速发展，运输物料已经成为企业生产必不可少的一环，在一些场合下使用运输皮带具有低成本、高效等优点。但是对于运输皮带的缺陷识别却一直需要人工巡检，造成安全隐患和人员浪费。为解决这个问题，有使用光栅感应检测皮带撕裂的，也有使用接触式硬件（如轧辊等）检测的，但是这些方法都是对大规模的缺陷进行的，当发生大规模缺陷的时候，报警已经有点晚了。部分人使用3D相机，通过对皮带表面点云数据的高度信息进行判断来识别皮带撕裂。
发明内容
[0003] 为解决上述现有问题，本申请提供一种基于机器视觉的运输皮带表面检测方法，包括：获取所述运输系统皮带的目标区域图像，所述目标区域图像是通过安装在所述运输系统上的皮带图像采集设备采集得到的；利用已训练的RCNN模型对所述目标区域图像进行图像识别，确定所述目标区域图像中的缺陷特征和运输系统工作信息，所述RCNN模型是利用进行了数据标注和数据增强后的图像样本数据训练得到的，所述数据标注包括标注缺陷特征和运输系统工作信息；基于所述目标区域图像中的缺陷特征和运输系统工作信息，确定所述目标区域图像存在满足预设警示条件时，通过核心网向预设终端发送缺陷预警信息，所述缺陷预警信息至少包括所述目标区域图像。
[0004] 在某些实施例中，所述RCNN模型的训练方式包括：利用所述图像样本数据对基于深度学习创建的RCNN模型进行训练，得到训练后的RCNN模型，用深度卷积层替换所述训练后的RCNN模型中的在先卷积层，针对所述训练后的RCNN模型中的任意一个卷积内核，执行以下操作：确定所述一个卷积内核去除前后，所述训练后的RCNN模型的LOSS值差值或LOSS值比值，并将所述LOSS值差值或所述LOSS值比值，作为所述一个卷积内核的丢失的影响信息量。
[0005] 在某些实施例中，基于所述训练后的RCNN模型中各卷积内核参数的丢失的影响信息量，去除所述训练后的RCNN模型中丢失的影响信息量小于影响度阈值的卷积内核，得到第一RCNN模型，其中所述丢失的影响信息量表征卷积内核参数对所述训练后的RCNN模型的丢失函数的影响度，对所述第一RCNN模型中各卷积内核参数的参数值进行参数值量化处理，得到所述已训练的RCNN模型。
[0006] 在某些实施例中，所述深度卷积层包括深度卷积内核和分离卷积，且设定数量的深度卷积层用于对所述目标区域图像进行多次卷积运算，得到所述目标区域图像中的缺陷特征和运输系统工作信息。
[0007] 在某些实施例中，所述缺陷特征包括皮带撕裂、堆叠、划痕、坑洼、起皮等任一种情况中的一个或多个，所述已训练的RCNN模型包括第一RCNN模型，或所述已训练的RCNN模型包括第一RCNN模型和第二RCNN模型，其中：所述第一RCNN模型用于对所述目标区域图像进行目标检测，确定所述目标区域图像中的运输系统工作信息和除所述皮带内的缺陷特征；所述第二RCNN模型用于对所述目标区域图像进行皮带表面检测，确定所述目标区域图像中的缺陷点位。在某些实施例中，还包括：对运行所述已训练的RCNN模型的代码进行运算提速，以使利用所述已训练的RCNN模型对所述目标区域图像进行图像识别时，支持通过指令数据流对所述已训练的RCNN模型中同一个卷积层的卷积运算进行并行处理。
[0008] 在某些实施例中，所述预设警示条件还包括运输物体特征、皮带物体接触状态、皮带周边环境中的一个条件或多个条件。
[0009] 本申请另一方面还公开一种运输皮带表面检测系统，包括：
[0010] 图像采集单元，用于获取所述运输系统皮带的目标区域图像，所述目标区域图像是通过安装在所述运输系统上的皮带图像采集设备采集得到的；
[0011] 图像识别单元，用于利用已训练的RCNN模型对所述目标区域图像进行图像识别，确定所述目标区域图像中的缺陷特征和运输系统工作信息，所述RCNN模型是利用进行了数据标注和数据增强后的图像样本数据训练得到的，所述数据标注包括标注缺陷特征和运输系统工作信息；
[0012] 缺陷特征确定单元，用于基于所述目标区域图像中的缺陷特征和运输系统工作信息，确定所述目标区域图像存在满足预设警示条件的运输系统时，通过核心网向预设终端发送缺陷预警信息，所述缺陷预警信息至少包括所述目标区域图像。
[0013] 在某些实施例中，所述RCNN模型的训练方式包括：利用所述图像样本数据对基于深度学习创建的RCNN模型进行训练，得到训练后的RCNN模型；用深度卷积层替换所述训练后的RCNN模型中的在先卷积层；针对所述训练后的RCNN模型中的任意一个卷积内核，执行以下操作：确定所述一个卷积内核去除前后，所述训练后的RCNN模型的LOSS值差值或LOSS值比值，并将所述LOSS值差值或所述LOSS值比值，作为所述一个卷积内核的丢失的影响信息量。基于所述训练后的RCNN模型中各卷积内核参数的丢失的影响信息量，去除所述训练后的RCNN模型中丢失的影响信息量小于影响度阈值的卷积内核，得到第一RCNN模型，其中所述丢失的影响信息量表征卷积内核参数对所述训练后的RCNN模型的丢失函数的影响度；对所述第一RCNN模型中各卷积内核参数的参数值进行参数值量化处理，得到所述已训练的RCNN模型
[0014] 在某些实施例中，还包括除尘单元，所述除尘单元包括阀门装置，高压气/液喷射装置及清洁雨刮装置，所述除尘单元设置于所述图像采集单元上，并依据RCNN模型指令执行除尘操作。
[0015] 从以上技术方案可以看出，本申请具有以下优点：
[0016] 本方法及系统检测标准统一，避免人工巡检时的不同人使用不同主观标准。同时自带除尘装置，避免煤矿的高粉尘环境污染摄像机，对检测结果造成干扰。同时不直接接触输送皮带或者其它东西，不会对煤矿造成可能的灾害或损失。同时无需使用人员设置繁杂的参数，可以快速切换使用场景。本系统的识别准确率高，不会对使用人员造成额外负担。可以替代人工巡检，减少人工及人工在危险区域作业。可以在皮带高速运行的时候检测，避免人工巡检时使用低速模式浪费生产时间。同时检测标准统一，避免人工巡检时的不同人使用不同主观标准。
[0017] 本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0018] 本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
[0019] 图1为本申请提供的一种实施例的流程示意图；
[0020] 图2为本申请提供的另一种实施例的流程示意图；
[0021] 图3为本申请提供的一种实施例的系统示意图。
具体实施方式
[0022] 下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
[0023] 在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0024] 下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本申请提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
[0025] 为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0026] RCNN模型是一类包含卷积计算且具有深度结构的前馈神经网络，可通过标注的训练数据进行监督学习，从而完成视觉图像识别及目标检测等任务。
[0027] 目前随着社会的高速发展，运输物料已经成为企业生产必不可少的一环，在一些场合下使用运输皮带具有低成本、高效等优点。但是对于运输皮带的缺陷识别却一直需要人工巡检，造成安全隐患和人员浪费。为解决这个问题，有使用光栅感应检测皮带撕裂的，也有使用接触式硬件（如轧辊等）检测的，但是这些方法都是对大规模的缺陷进行的，当发生大规模缺陷的时候，报警已经有点晚了。部分人使用3D相机，通过对皮带表面点云数据的高度信息进行判断来识别皮带撕裂。
[0028] 鉴于此，发明人设计了一种运输皮带表面检测方法及系统，本申请实施例中检测设备利用计算机视觉技术对皮带图像采集设备获取的当前运输系统皮带的目标区域图形进行图像识别，基于图像识别的结果确定当前运输系统皮带的运行情况，进而基于识别出的当前运输系统皮带的运行情况判断是否存在满足预设警示条件。
[0029] 目前常通过基于深度学习创建用于图像识别的RCNN模型，RCNN模型可以通过学习图像样本数据的特征，实现对目标区域图像的特征的识别，以使已训练的RCNN模型能够运行在检测设备中，从而可以在检测设备上利用已训练的RCNN模型对目标区域图像进行图像识别，进而判断目标区域图像中是否存在满足预设警示条件的运输系统。
[0030] 进一步地，为了减少向预设终端发送目标区域图像的流量消耗，可以将检测出存在满足预设警示条件的运输系统所相关的目标区域图像发送给服务器，而不必向服务器发送获取的每一帧目标区域图像。
[0031] 为此本申请公开了一种基于机器视觉的运输皮带检测方法，请参见图2，具体包括如下步骤：
[0032] 步骤S101，获取运输系统皮带的目标区域图像，该目标区域图像是通过安装在上述运输系统上的皮带图像采集单元得到的。
[0033] 上述目标区域图像是皮带图像采集设备对运输系统皮带的目标区域进行拍摄获得的，上述目标区域可以是皮带图像采集设备所在的水平线向下围城的垂直拍摄范围，以及皮带图像采集设备的正前方向右和向左围城的水平拍摄范围共同组成的区域，或者目标区域是根据皮带图像采集设备预配置好的拍摄范围，本领域的技术人员可根据实际需求设置。
[0034] 步骤S102，利用已训练的RCNN模型对上述目标区域图像进行图像识别，确定上述目标区域图像中的缺陷特征和运输系统工作信息，上述RCNN模型是利用进行了数据标注和数据增强后的图像样本数据训练得到的，上述数据标注包括标注缺陷特征和运输系统工作信息。
[0035] 作为一种实施例，上述已训练的RCNN模型，可以通过在创建RCNN模型时对RCNN模型的卷积层进行结构优化处理，或对训练后的RCNN模型进行优化处理，或对训练后的RCNN模型进行参数值量化处理中的至少一种处理简化RCNN模型得到，其中上述RCNN模型是基于深度学习创建的且用于对目标区域图像进行图像识别，确定目标区域图像中的缺陷特征和运输系统工作信息。
[0036] 运输系统工作信息包括与运输系统本身相关的信息，如皮带使用信息、维修信息、历史缺陷信息等中的一个或多个信息。
[0037] 作为一种实施例，本申请实施例中的缺陷特征可以但不局限于包括运输系统运行中出现的皮带表面、物体状态或物体接触情况中的一个或多个，上述物体状态可以包括物体本身属性信息或物体与皮带接触信息等。
[0038] 考虑到进一步提升运输系统缺陷检测的效率，可以考虑在检测设备上部署运行已训练的RCNN模型的代码时，通过一定的部署方法提升已训练的RCNN模型在进行图像识别时的卷积运算的处理效率，进而提升已训练的RCNN模型的处理能力。
[0039] 具体地，可以在检测设备部署运行已训练的RCNN模型的代码时，对运行已训练的RCNN模型的代码进行运算提速，以使利用已训练的RCNN模型对目标区域图像进行图像识别时，支持通过指令数据流对已训练的RCNN模型中同一个卷积层的卷积运算进行并行处理，即对上述代码进行运算提速后，不会改变已训练的RCNN模型中各卷积层的输入数据和输出数据的依赖关系，只是将已训练的RCNN模型中同一个卷积层中大量卷积运算进行并行处理，以减少各卷积层在进行图像识别时的卷积运算的耗时，缩短了利用已训练的RCNN模型对目标区域图像进行图像识别的整体时间，进一步提升图像识别的效率，进而提升了运输系统缺陷检测的效率。
[0040] 步骤S103，基于上述目标区域图像中的缺陷特征和运输系统工作信息，确定上述目标区域图像存在满足预设警示条件的运输系统时，通过核心网向预设终端发送缺陷预警信息，上述缺陷预警信息至少包括上述目标区域图像。
[0041] 作为一种实施例，本申请实施例中的预设警示条件包括皮带运行特征、运输物体特征、皮带物体接触状态、皮带周边环境中的一个条件或多个条件，上述预设警示条件也可以包括其他的情况，本领域的技术人员可根据实际需求设置。
[0042] 作为一种实施例，本申请实施例中的运输系统工作信息包括运输系统类型，上述预设警示条件与上述运输系统类型对应；如运输系统类型包括重型货物运输系统时，对应的预设警示条件可以是重型货物运输系统的疲劳强度；运输系统类型包括轻型货物时，则对应的预设警示条件可以但不局限于运行时长，接触频路等。
[0043] 进一步地，在确定目标区域图像存在满足预设警示条件的运输系统之后，通过核心网向预设终端发送缺陷预警信息之前，还可以先将上述缺陷预警信息显示在系统显示设备上，若操作员确认存在满足预设警示条件的运输系统后，可通过系统显示设备触发向预设终端发送缺陷预警信息，如将缺陷预警信息发送给预设终端。
[0044] 作为一种实施例，上述缺陷预警信息中还可以包括满足预设警示条件的运输系统的皮带状态信息、运输系统类型、运输接触位置以及运输接触频率等一个或多个运输系统工作信息，以便对满足预设警示条件的运输系统进行追踪等。
[0045] 作为一种实施例，在步骤S103基于缺陷特征和运输系统工作信息，确定目标区域图像是否存在满足预设警示条件的运输系统时，还可以基于从服务器获取的激光的点云数据，确定缺陷特征中的具体参数，进而基于缺陷特征、运输系统工作信息，进一步判断目标区域图像中是否存在满足预设警示条件的运输系统，其中待检测运输系统为目标区域图像中的运输系统。
[0046] 本申请实施例以下内容对步骤S102中已训练的RCNN模型的训练过程进行说明，下述已训练的RCNN模型可以包括上述第一RCNN模型和第二RCNN模型中的一个网络或多个网络。
[0047] 第一种训练方式：对RCNN模型的卷积层进行结构优化。
[0048] 目前RCNN模型中每个卷积层的计算量较高，可以考虑简化RCNN模型的每个卷积层的结构，通过减少每个卷积层的计算量以提高RCNN模型的效率，因此本申请实施例中使用深度卷积层替代RCNN模型中在先卷积层。
[0049] 具体地，基于深度学习创建RCNN模型，其中上述RCNN模型用于对图像进行图像识别，确定图像中的缺陷特征和运输系统工作信息，上述RCNN模型包括第一设定数量的深度卷积层，深度卷积层包括深度卷积和分离卷积，其中对上述第一设定数量不做限定，本领域的技术人员可根据实际需求设置。
[0050] 进而利用进行数据标注、数据增强后的图像样本数据对上述RCNN模型进行训练，得到已训练的RCNN模型。上述数据标注包括标注缺陷特征和运输系统工作信息，对具体如何进行数据标注的方式不做限定，本领域的技术人员可根据实际需求设置。
[0051] 对于在先卷积层而言，不同输入通道采用不同卷积内核，一个卷积内核与一个输入通道对应。将RCNN模型中的在先卷积层替换为深度卷积层后，能明显减少RCNN模型的计算量，进而提升RCNN模型的处理效率。
[0052] 深度卷积层的计算量与在先卷积层的计算量的比值如下：
[0053] 且通常情况下N的取值较大，因此如果采用5×5的卷积内核，则深度卷积层的计算量相较于在先卷积层的计算量而言，可以降低约25倍的计算量，故而采用深度卷积层替代在先卷积层，能明显提升RCNN模型的处理效率。
[0054] 第二种训练方式：对RCNN模型进行优化处理。
[0055] 具体地，利用进行数据标注、数据增强后的图像样本数据，对基于深度学习创建的RCNN模型进行训练，得到训练后的RCNN模型，其中上述RCNN模型用于对图像进行图像识别，确定图像中的缺陷特征和运输系统工作信息；
[0056] 确定训练后的RCNN模型中各卷积内核参数丢失的影响信息量，去除上述训练后的RCNN模型中丢失的影响信息量小于影响度阈值的卷积内核，得到上述已训练的RCNN模型，其中上述丢失的影响信息量表征卷积内核参数对上述训练后的RCNN模型的丢失函数的影响度。上述数据标注包括标注缺陷特征和运输系统工作信息，对具体如何进行数据标注的方式不做限定，本领域的技术人员可根据实际需求设置。丢失函数是对丢失信息进行计算的函数，被配置用于计算丢失影响信息量，是计算影响信息真实值与预测值之间差异用的。
[0057] 步骤S201，利用进行数据标注、数据增强后的图像样本数据对创建的RCNN模型进行训练，得到训练后的RCNN模型。
[0058] 步骤S202，确定训练后的RCNN模型中各卷积内核参数丢失的影响信息量，去除训练后的RCNN模型中丢失的影响信息量小于影响度阈值的卷积内核，得到进行优化处理后的RCNN模型。
[0059] 步骤S203，对进行优化处理后的RCNN模型中各卷积内核参数的参数值进行参数值量化处理，得到已训练的RCNN模型。
[0060] 作为一种实施例，步骤S102中已训练的RCNN模型包括第一RCNN模型，或已训练的RCNN模型包括第一RCNN模型和第二RCNN模型；其中第一RCNN模型用于对目标区域图像进行目标检测，确定目标区域图像中的运输系统工作信息和皮带内的缺陷特征；第二RCNN模型用于对目标区域图像进行皮带表面检测，确定目标区域图像中的缺陷点位。具体地，上述第一RCNN模型可以是目标检测网络。
[0061] 上述第二RCNN模型可以是皮带表面检测网络，若步骤S103中的预设警示条件涉及皮带表面，则在运输系统缺陷检测过程中，需利用皮带表面检测网络识别目标区域图像中的缺陷点位，且需利用目标检测网络识别目标区域图像中的运输系统工作信息或识别运输系统工作信息和皮带内的缺陷特征。
[0062] 进一步的，本申请实施例中的皮带表面检测网络可以包括两个网络分支，嵌入网络分支和分割网络分支，其中分割网络分支用于确定目标区域图像中每一个像素是否是皮带表面像素，嵌入网络分支对属于皮带表面像素的像素进行特征映射，从而在检测出皮带表面的位置的同时将每一条皮带表面像素区分开。
[0063] 上述分割网络分支确定各像素是非车道像素、皮带表面实线表面像素和虚线皮带表面像素后，嵌入网络分支可以对属于皮带表面像素的像素进行特征映射；在对像素进行特征映射时，嵌入网络分支能够通过训练做到对属于同一条皮带表面的像素提取的特征非常相近，而对不同的皮带表面的像素提取的特征差异较大，这样即可以利用提取的像素的特征的差异，通过聚类将属于同一条皮带表面的像素进行拟合，得到皮带表面分割结果中的一条皮带表面。
[0064] 在本申请实施例中，非车道像素为运输机动车道路以外区域的图像像素，皮带表面实线像素表示为皮带两侧物理边界实际存在的实际边界线像素，虚线表面皮带像素表示为在图像系统中虚拟标记的分隔线的像素，用于确定传送物品大致的区位。
[0065] 本申请实施例中，也可以根据连续获取的至少两帧目标区域图像，确定至少两帧目标区域图像中是否存在满足皮带运行特征的运输系统，具体地，可以将至少两帧目标区域图像中，边界框底边中心点从皮带表面实线表面的一边跨至另一边的待检测运输系统，确定为满足皮带运行特征的运输系统。其中，边界框为皮带传送物品中识别的物品图相框。
[0066] 对上述至少两帧目标区域图像中目标区域图像的具体数量不做限定，本领域的技术人员可根据实际需求设置，如将第一设定时长内采集的目标区域图像确定为上述至少两帧目标区域图像，或将当前处理的目标区域图像之前采集的第二设定数量的目标区域图像和当前处理的目标区域图像确定为上述至少两帧目标区域图像等。
[0067] 进一步的，该示例中主要包括RCNN模型的训练过程，以及利用已训练的RCNN模型进行运输系统缺陷检测两个过程，其中RCNN模型的训练过程主要包括如下步骤：
[0068] 步骤S301，基于深度学习创建包含深度卷积层的RCNN模型。
[0069] 步骤S302，对图像样本数据进行数据标注以及数据增强处理。
[0070] 步骤S303，利用处理后的图像样本数据对创建的RCNN模型进行训练。
[0071] 步骤S304，对训练后的RCNN模型进行优化处理。
[0072] 步骤S305，对进行优化处理后的RCNN模型进行参数值量化处理，得到已训练的RCNN模型。
[0073] 步骤S306，在检测设备上部署运行已训练的RCNN模型的代码，并对运行已训练的RCNN模型的代码进行运算提速。
[0074] 上述利用已训练的RCNN模型进行运输系统缺陷检测的过程主要包括如下步骤：
[0075] 步骤S307，将皮带图像采集设备当前获取的一帧目标区域图像，或者设定时长内连续获取的至少两帧目标区域图像输入已训练的RCNN模型，利用目标检测网络检测目标区域图像中的缺陷特征，利用皮带表面检测网络检测目标区域图像中的缺陷点位。
[0076] 步骤S308，基于检测出的运输系统工作信息和缺陷特征，判断输入的目标区域图像中是否存在满足预设警示条件的运输系统，若存在，则进入步骤S309，否则进入步骤S307。
[0077] 步骤S309，截取上述输入的目标区域图像，并将截取的目标区域图像显示在系统显示设备中，由运输系统的操作员判断截取的目标区域图像中是否存在满足预设警示条件的运输系统，若存在，则操作员可触发由检测设备向预设终端发送缺陷预警信息，该缺陷预警信息中至少包括截取的目标区域图像。
[0078] 本申请实施例中通过对RCNN模型进行处理得到已训练的RCNN模型，进而能使得检测设备运行已训练的RCNN模型，各运输系统的检测设备可直接通过已训练的RCNN模型进行图像识别，直接在各运输系统的检测设备上识别满足预设警示条件的运输系统，而不必将目标区域图像集中到预设终端进行处理，一方面提升了运输系统缺陷检测的效率，另一方面也节省了发送目标区域图像消耗的流量。且本申请实施例中采用的是已训练的RCNN模型，由于已训练的RCNN模型的规模尺寸较一般的RCNN模型小，因此已训练的RCNN模型的处理效率优于一般的RCNN模型，进一步提升了运输系统缺陷检测的效率。
[0079] 请参照图3，基于同一发明构思，本申请实施例提供一种运输皮带表面检测系统，包括：
[0080] 图像采集单元401，用于获取上述运输系统皮带的目标区域图像，上述目标区域图像是通过安装在上述运输系统上的皮带图像采集得到的；
[0081] 图像识别单元402，用于利用已训练的RCNN模型对上述目标区域图像进行图像识别，确定上述目标区域图像中的缺陷特征和运输系统工作信息，上述RCNN模型是利用进行了数据标注和数据增强后的图像样本数据训练得到的，上述数据标注包括标注缺陷特征和运输系统工作信息；
[0082] 缺陷特征确定单元403，基于上述目标区域图像中的缺陷特征和运输系统工作信息，确定上述目标区域图像存在满足预设警示条件的运输系统时，通过核心网向预设终端发送缺陷预警信息，上述缺陷预警信息至少包括上述目标区域图像；
[0083] 除尘单元404，所述除尘单元包括阀门装置，高压气/液喷射装置及清洁雨刮装置，所述除尘单元设置于所述图像采集单元上，并依据RCNN模型指令执行除尘操作。
[0084] 作为一种实施例，上述已训练的RCNN模型包括设定数量的深度卷积层；上述深度卷积层包括可分离卷积层，且上述设定数量的深度卷积层用于对上述目标区域图像进行多次卷积运算，得到上述目标区域图像中的缺陷特征和运输系统工作信息。
[0085] 作为一种实施例，上述图像识别单元具体用于通过如下方式获得上述已训练的RCNN模型：利用上述图像样本数据对基于深度学习创建的RCNN模型进行训练，得到训练后的RCNN模型；确定上述训练后的RCNN模型中各卷积内核参数的丢失的影响信息量，去除上述训练后的RCNN模型中丢失的影响信息量小于影响度阈值的卷积内核，得到上述已训练的RCNN模型，其中上述丢失的影响信息量表征卷积内核参数对上述训练后的RCNN模型的丢失函数的影响度。
[0086] 作为一种实施例，上述图像识别单元具体用于通过如下方式获得上述已训练的RCNN模型：利用上述图像样本数据，对基于深度学习创建的RCNN模型进行训练，得到训练后的RCNN模型；对上述训练后的RCNN模型中各卷积内核参数的参数值进行参数值量化处理，得到上述已训练的RCNN模型。
[0087] 作为一种实施例，上述缺陷特征包括皮带表面、物体状态中的一个或多个，上述已训练的RCNN模型包括第一RCNN模型，或上述已训练的RCNN模型包括第一RCNN模型和第二RCNN模型，其中：上述第一RCNN模型用于对上述目标区域图像进行目标检测，确定上述目标区域图像中的运输系统工作信息和除上述皮带内的缺陷特征；上述第二RCNN模型用于对上述目标区域图像进行皮带表面检测，确定上述目标区域图像中的缺陷点位。
[0088] 作为一种实施例，上述运输皮带表面检测系统还包括：
[0089] 图像识别加速单元405，用于对运行上述已训练的RCNN模型的代码进行运算提速，以使利用上述已训练的RCNN模型对上述目标区域图像进行图像识别时，支持通过指令数据流对上述已训练的RCNN模型中同一个卷积层的卷积运算进行并行处理。
[0090] 作为一种实施例，上述预设警示条件包括皮带运行特征、运输物体特征、皮带物体接触状态、皮带周边环境中的一个条件或多个条件。上述运输系统工作信息包括运输系统类型，上述预设警示条件与上述运输系统类型对应。
[0091] 所述系统还包括至少一个运输系统和预设终端，每个运输系统上安装有检测设备和皮带图像采集设备，检测设备和皮带图像采集设备之间相互通信，其中：
[0092] 皮带图像采集设备用于采集运输系统周边的目标区域图像，并将采集的目标区域图像传递到检测设备中进行处理。
[0093] 检测设备用于利用已训练的RCNN模型对目标区域图像进行图像识别，以及根据图像识别的结果确定目标区域图像存在满足预设警示条件的运输系统时，通过核心网向预设终端发送缺陷预警信息，该缺陷预警信息至少包括目标区域图像。
[0094] 在本说明书的描述中，参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
[0095] 尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
