一种基于视频分析的堵塞检测及自动破碎处理系统

摘要

本发明提供一种基于视频分析的堵塞检测及自动破碎处理系统，涉及图像数据处理领域，包括：图像获取模块，用于获取溜井口格筛的视频；堵塞检测模块，用于基于溜井口格筛的视频，确定溜井口格筛的堵塞信息；自动破碎模块，用于基于溜井口格筛的堵塞信息进行破碎操作，具有可以进行自动化堵塞检测及破碎工作，解放人力的同时提高生产效率的优点。

权利要求

1.一种基于视频分析的堵塞检测及自动破碎处理系统，其特征在于，包括：图像获取模块，用于获取溜井口格筛的视频；

堵塞检测模块，用于基于所述溜井口格筛的视频，确定所述溜井口格筛的堵塞信息；

自动破碎模块，用于基于所述溜井口格筛的堵塞信息进行破碎操作；

所述图像获取模块包括图像采集单元及位姿调整单元，其中，所述位姿调整单元用于调整所述图像采集单元的位姿；

所述图像获取模块获取溜井口格筛的视频，包括：

在所述溜井口格筛设置多个标记物；

所述图像采集单元在初始位姿下获取包含所述多个标记物的溜井口格筛的图像信息；

基于所述图像采集单元在初始位姿下获取的包含所述多个标记物的溜井口格筛的图像信息，判断是否需要进行位姿调整；

当判断需要进行位姿调整时，基于所述图像采集单元在初始位姿下获取的溜井口格筛的图像信息，重复执行控制所述位姿调整单元调整所述图像采集单元的位姿，所述图像采集单元在调整后的位姿下获取包含所述多个标记物的溜井口格筛的图像信息，直至所述图像采集单元在调整后的位姿下获取的包含所述多个标记物的溜井口格筛的图像信息满足预设条件，将所述调整后的位姿标记为目标位姿；

所述图像采集单元在所述目标位姿获取溜井口格筛的视频；

所述图像获取模块基于图像采集单元在初始位姿下获取的溜井口格筛的图像信息，判断是否需要调整图像采集单元的位姿，包括：对图像采集单元在初始位姿下获取的溜井口格筛的图像信息进行预处理，获取第一图像信息，具体的，使用滤波处理算法对图像采集单元在初始位姿下获取的溜井口格筛的图像信息进行处理，剔除噪点、离群点及空洞；

对第一图像信息进行特征提取，确定多个标记物的位置信息；

基于多个标记物的位置信息，确定至少一个格筛孔的形状信息及尺寸信息，具体的，基于一个格筛孔包括的四个标记物的位置信息，确定格筛孔的四条格筛孔边缘线，格筛孔的形状信息包括相邻两条格筛孔边缘线的夹角，尺寸信息包括格筛孔的长度及宽度；

基于至少一个格筛孔的形状信息及尺寸信息，判断是否需要调整图像采集单元的位姿；

所述堵塞检测模块基于所述溜井口格筛的视频，确定所述溜井口格筛的堵塞信息，包括：所述图像采集单元在所述目标位姿获取所述溜井口格筛的堵塞对比图像，其中，所述溜井口格筛的堵塞对比图像为所述图像采集单元在目标位姿获取的溜井口格筛未发生堵塞时的图像；

基于所述溜井口格筛的堵塞对比图像，生成所述溜井口格筛的第一格筛孔分布特征；

基于所述溜井口格筛的视频，获取所述溜井口格筛的实时图像；

基于所述溜井口格筛的实时图像，生成所述溜井口格筛的第二格筛孔分布特征；

基于所述溜井口格筛的第一格筛孔分布特征及第二格筛孔分布特征，确定所述溜井口格筛的堵塞区域，其中，所述溜井口格筛的堵塞信息包括所述溜井口格筛的堵塞区域。

2.根据权利要求1所述的一种基于视频分析的堵塞检测及自动破碎处理系统，其特征在于，所述堵塞检测模块包括点云获取单元及超声波检测单元，其中，所述点云获取单元用于获取所述溜井口格筛的点云信息；

所述堵塞检测模块基于所述溜井口格筛的视频，确定所述溜井口格筛的堵塞信息，还包括：所述点云获取单元获取所述溜井口格筛的点云信息；

基于所述溜井口格筛的堵塞区域，从所述溜井口格筛的点云信息中提取所述堵塞区域的点云信息；

基于所述堵塞区域的点云信息，确定至少一个堵塞物的位置信息、形状信息及尺寸信息，其中，所述溜井口格筛的堵塞信息包括所述至少一个堵塞物的位置信息、形状信息及尺寸信息；

对于每个所述堵塞物，基于所述堵塞物的位置信息、形状信息及尺寸信息，确定所述堵塞物对应的超声波检测位姿，所述超声波检测单元在超声波检测位姿获取所述堵塞物的超声波检测信息，其中，所述溜井口格筛的堵塞信息包括所述堵塞物的超声波检测信息。

3.根据权利要求2所述的一种基于视频分析的堵塞检测及自动破碎处理系统，其特征在于，所述自动破碎模块基于所述溜井口格筛的堵塞信息进行破碎操作，包括：基于所述至少一个堵塞物的位置信息、形状信息、尺寸信息和超声波检测信息，进行破碎操作。

4.根据权利要求3所述的一种基于视频分析的堵塞检测及自动破碎处理系统，其特征在于，所述自动破碎模块基于所述至少一个堵塞物的位置信息、形状信息、尺寸信息和超声波检测信息，进行破碎操作，包括：对于每个所述堵塞物，基于所述堵塞物的位置信息、形状信息、尺寸信息和超声波检测信息，确定所述堵塞物对应的破碎参数及破碎位置；

基于每个所述堵塞物对应的破碎参数及破碎位置，进行破碎操作。

5.根据权利要求4所述的一种基于视频分析的堵塞检测及自动破碎处理系统，其特征在于，所述自动破碎模块基于每个所述堵塞物对应的破碎参数及破碎位置，进行破碎操作，包括：基于每个所述堵塞物对应的破碎参数及破碎位置，生成多个候选破碎路径；

通过路径长度指标及参数变化指标，对所述多个候选破碎路径进行筛选，生成最优破碎路径；

基于所述最优破碎路径，进行破碎操作。

6.根据权利要求5所述的一种基于视频分析的堵塞检测及自动破碎处理系统，其特征在于，所述自动破碎模块包括破碎机；

所述自动破碎模块基于所述溜井口格筛的堵塞信息进行破碎操作，包括：通过轨迹确定模型基于所述最优破碎路径、所述至少一个堵塞物的位置信息、形状信息及尺寸信息，确定最优破碎轨迹，其中，最优破碎轨迹为破碎机的各个组件的运动轨迹；

控制所述破碎机按照所述最优破碎轨迹，进行破碎操作。

7.根据权利要求6所述的一种基于视频分析的堵塞检测及自动破碎处理系统，其特征在于，所述自动破碎模块控制所述破碎机按照所述最优破碎轨迹，进行破碎操作，包括：在所述破碎机按照所述最优破碎轨迹，进行破碎操作中，基于图像获取模块获取的溜井口格筛的视频，获取破碎机的实时图像，基于破碎机的实时图像确定破碎机各个组件的实时坐标信息，计算破碎机各个组件的实时坐标信息与最优破碎轨迹中对应的各个组件的坐标信息的差值，作为破碎机的位姿偏差；

基于所述破碎机的位姿偏差，对所述破碎机的位姿进行实时校准。

说明书

一种基于视频分析的堵塞检测及自动破碎处理系统

技术领域

[0001] 本发明涉及图像数据处理领域，特别涉及一种基于视频分析的堵塞检测及自动破碎处理系统。

背景技术

[0002] 大块矿石对后续流程的主溜井放矿机、颚式破碎机和运输皮带都带来潜在的危害，因此需要设置格筛来降低大块矿石的冲击伤害。受到溜井口格筛口的尺寸限制，经常出现大块矿石卡滞、卡堵现象，造成格筛口出料不畅的问题，因此需要利用破碎机械臂对堵塞溜井口格筛的矿石进行二次破碎或疏通。现有技术中，通常使用人工操作破碎机械臂进行二次破碎或疏通工作，由于堵塞频发，每日清堵工作量较大，专职人员不足，工人一天下来操作强度大，工作时间长，严重影响生产效率。

[0003] 因此，需要提供一种基于视频分析的堵塞检测及自动破碎处理系统，用于进行自动化堵塞检测及破碎工作，解放人力的同时提高生产效率，并保证自动化安全防范，提升现代化矿山智能化水平。

发明内容

[0004] 本发明提供一种基于视频分析的堵塞检测及自动破碎处理系统，包括：图像获取模块，用于获取溜井口格筛的视频；堵塞检测模块，用于基于所述溜井口格筛的视频，确定所述溜井口格筛的堵塞信息；自动破碎模块，用于基于所述溜井口格筛的堵塞信息进行破碎操作。

[0005] 进一步地，所述图像获取模块包括图像采集单元及位姿调整单元，其中，所述位姿调整单元用于调整所述图像采集单元的位姿；所述图像获取模块获取溜井口格筛的视频，包括：在所述溜井口格筛设置多个标记物； 所述图像采集单元在初始位姿下获取包含所述多个标记物的溜井口格筛的图像信息；基于所述图像采集单元在初始位姿下获取的包含所述多个标记物的溜井口格筛的图像信息，判断是否需要进行位姿调整；当判断需要进行位姿调整时，基于所述图像采集单元在初始位姿下获取的溜井口格筛的图像信息，重复执行控制所述位姿调整单元调整所述图像采集单元的位姿，所述图像采集单元在调整后的位姿下获取包含所述多个标记物的溜井口格筛的图像信息，直至所述图像采集单元在调整后的位姿下获取的包含所述多个标记物的溜井口格筛的图像信息满足预设条件，将所述调整后的位姿标记为目标位姿；所述图像采集单元在所述目标位姿获取溜井口格筛的视频。

[0006] 进一步地，所述图像获取模块基于所述图像采集单元在初始位姿下获取的溜井口格筛的图像信息，判断是否需要调整所述图像采集单元的位姿，包括：对所述图像采集单元在初始位姿下获取的溜井口格筛的图像信息进行预处理，获取第一图像信息；对所述第一图像信息进行特征提取，确定所述多个标记物的位置信息；基于所述多个标记物的位置信息，确定至少一个格筛孔的形状信息及尺寸信息；基于所述至少一个格筛孔的形状信息及尺寸信息，判断是否需要调整所述图像采集单元的位姿。

[0007] 进一步地，所述堵塞检测模块基于所述溜井口格筛的视频，确定所述溜井口格筛的堵塞信息，包括：所述图像采集单元在所述目标位姿获取所述溜井口格筛的堵塞对比图像；基于所述溜井口格筛的堵塞对比图像，其中，所述溜井口格筛的堵塞对比图像为所述图像采集单元在目标位姿获取的溜井口格筛未发生堵塞时的图像，生成所述溜井口格筛的第一格筛孔分布特征；基于所述溜井口格筛的视频，获取所述溜井口格筛的实时图像；基于所述溜井口格筛的实时图像，生成所述溜井口格筛的第二格筛孔分布特征；基于所述溜井口格筛的第一格筛孔分布特征及第二格筛孔分布特征，确定所述溜井口格筛的堵塞区域，其中，所述溜井口格筛的堵塞信息包括所述溜井口格筛的堵塞区域。

[0008] 进一步地，所述堵塞检测模块包括点云获取单元及超声波检测单元，其中，所述点云获取单元用于获取所述溜井口格筛的点云信息；所述堵塞检测模块基于所述溜井口格筛的视频，确定所述溜井口格筛的堵塞信息，还包括：所述点云获取单元获取所述溜井口格筛的点云信息；基于所述溜井口格筛的堵塞区域，从所述溜井口格筛的点云信息中提取所述堵塞区域的点云信息；基于所述堵塞区域的点云信息，确定至少一个堵塞物的位置信息、形状信息及尺寸信息，其中，所述溜井口格筛的堵塞信息包括所述至少一个堵塞物的位置信息、形状信息及尺寸信息；对于每个所述堵塞物，基于所述堵塞物的位置信息、形状信息及尺寸信息，确定所述堵塞物对应的超声波检测位姿，所述超声波检测单元在超声波检测位姿获取所述堵塞物的超声波检测信息，其中，所述溜井口格筛的堵塞信息包括所述堵塞物的超声波检测信息。

[0009] 进一步地，所述自动破碎模块基于所述溜井口格筛的堵塞信息进行破碎操作，包括：基于所述至少一个堵塞物的位置信息、形状信息、尺寸信息和超声波检测信息，进行破碎操作。

[0010] 进一步地，所述自动破碎模块基于所述至少一个堵塞物的位置信息、形状信息、尺寸信息和超声波检测信息，进行破碎操作，包括：对于每个所述堵塞物，基于所述堵塞物的位置信息、形状信息、尺寸信息和超声波检测信息，确定所述堵塞物对应的破碎参数及破碎位置；基于每个所述堵塞物对应的破碎参数及破碎位置，进行破碎操作。

[0011] 进一步地，所述自动破碎模块基于每个所述堵塞物对应的破碎参数及破碎位置，进行破碎操作，包括：基于每个所述堵塞物对应的破碎参数及破碎位置，生成多个候选破碎路径；通过路径长度指标及参数变化指标，对所述多个候选破碎路径进行筛选，生成最优破碎路径；基于所述最优破碎路径，进行破碎操作。

[0012] 进一步地，所述自动破碎模块包括破碎机；所述自动破碎模块基于所述溜井口格筛的堵塞信息进行破碎操作，包括：通过轨迹确定模型基于所述最优破碎路径、所述至少一个堵塞物的位置信息、形状信息及尺寸信息，确定最优破碎轨迹；控制所述破碎机按照所述最优破碎轨迹，进行破碎操作。

[0013] 进一步地，所述自动破碎模块控制所述破碎机按照所述最优破碎轨迹，进行破碎操作，包括：在所述破碎机按照所述最优破碎轨迹，进行破碎操作中，基于图像获取模块获取的溜井口格筛的视频，获取破碎机的实时图像，基于破碎机的实时图像确定破碎机各个组件的实时坐标信息，计算破碎机各个组件的实时坐标信息与最优破碎轨迹中对应的各个组件的坐标信息的差值，作为破碎机的位姿偏差；基于所述破碎机的位姿偏差，对所述破碎机的位姿进行实时校准。

[0014] 相比于现有技术，本发明提供的一种基于视频分析的堵塞检测及自动破碎处理系统，至少具备以下有益效果：

[0015] 1、通过获取溜井口格筛的视频，实现定位堵塞的格筛孔并联动破碎机进行自动化清堵工作，解放人力的同时提高生产效率，提升现代化矿山智能化水平。

[0016] 2、通过重复执行控制位姿调整单元调整图像采集单元的位姿，图像采集单元在调整后的位姿下获取包含多个标记物的溜井口格筛的图像信息，直至图像采集单元在调整后的位姿下获取的包含多个标记物的溜井口格筛的图像信息满足预设条件，使得图像采集单元获取的溜井口格筛的视频的格筛孔的畸变更小，提高后续堵塞检测及自动破碎的准确度及效率。

[0017] 3、通过先基于溜井口格筛的堵塞对比图像，生成溜井口格筛的第一格筛孔分布特征，再基于溜井口格筛的实时图像，生成溜井口格筛的第二格筛孔分布特征，实现较为快速且准确地确定溜井口格筛的堵塞区域。

[0018] 4、通过获取至少一个堵塞物的位置信息、形状信息、尺寸信息和超声波检测信息，实现堵塞物对应的破碎参数的确定，并且，可以确定破碎效果更好的破碎位置，保证堵塞物破碎的有效进行，进一步地，通过对多个候选破碎路径进行筛选进行筛选，确定最优破碎路径，使得较为快速地完成多个堵塞物破碎工作的同时，使得多个破碎位置的破碎参数进行平缓过渡，提高破碎机的寿命，并且保证了多个破碎位置连续破碎的效果。

附图说明

[0019] 本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

[0020] 图1是根据本说明书一些实施例所示的一种基于视频分析的堵塞检测及自动破碎处理系统的模块示意图；

[0021] 图2是根据本说明书一些实施例所示的获取溜井口格筛的视频的流程示意图；

[0022] 图3是根据本说明书一些实施例所示的判断是否需要调整图像采集单元的位姿的流程示意图；

[0023] 图4是根据本说明书一些实施例所示的确定溜井口格筛的堵塞信息的流程示意图。

具体实施方式

[0024] 为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

[0025] 图1是根据本说明书一些实施例所示的一种基于视频分析的堵塞检测及自动破碎处理系统的模块示意图。如图1所示，一种基于视频分析的堵塞检测及自动破碎处理系统包括图像获取模块、堵塞检测模块及自动破碎模块。

[0026] 图像获取模块可以用于获取溜井口格筛的视频。

[0027] 在一些实施例中，图像获取模块包括图像采集单元及位姿调整单元，其中，位姿调整单元用于调整图像采集单元的位姿。

[0028] 图2是根据本说明书一些实施例所示的获取溜井口格筛的视频的流程示意图，如图2所示，在一些实施例中，图像获取模块获取溜井口格筛的视频，包括：

[0029] 在溜井口格筛设置多个标记物，其中，标记物可以可以是有源发光点、反光球等，具体的，可以在溜井口格筛的每个格筛孔的四个角均放置一个标记物；

[0030] 图像采集单元在初始位姿下获取包含多个标记物的溜井口格筛的图像信息，其中，初始位姿可以为预设的一个位姿；

[0031] 基于图像采集单元在初始位姿下获取的包含多个标记物的溜井口格筛的图像信息，判断是否需要进行位姿调整；

[0032] 当判断需要进行位姿调整时，基于图像采集单元在初始位姿下获取的溜井口格筛的图像信息，重复执行控制位姿调整单元调整图像采集单元的位姿，图像采集单元在调整后的位姿下获取包含多个标记物的溜井口格筛的图像信息，直至图像采集单元在调整后的位姿下获取的包含多个标记物的溜井口格筛的图像信息满足预设条件，将调整后的位姿标记为目标位姿；

[0033] 图像采集单元在目标位姿获取溜井口格筛的视频。

[0034] 图3是根据本说明书一些实施例所示的判断是否需要调整图像采集单元的位姿的流程示意图，如图3所示，在一些实施例中，图像获取模块基于图像采集单元在初始位姿下获取的溜井口格筛的图像信息，判断是否需要调整图像采集单元的位姿，包括：

[0035] 对图像采集单元在初始位姿下获取的溜井口格筛的图像信息进行预处理，获取第一图像信息，具体的，可以使用滤波处理算法对图像采集单元在初始位姿下获取的溜井口格筛的图像信息进行处理，剔除噪点、离群点、空洞等冗余无用信息；

[0036] 对第一图像信息进行特征提取，确定多个标记物的位置信息；

[0037] 基于多个标记物的位置信息，确定至少一个格筛孔的形状信息及尺寸信息，其中，可以基于一个格筛孔包括的四个标记物的位置信息，确定格筛孔的四条格筛孔边缘线，格筛孔的形状信息可以包括相邻两条格筛孔边缘线的夹角，尺寸信息可以包括格筛孔的长度及宽度；

[0038] 基于至少一个格筛孔的形状信息及尺寸信息，判断是否需要调整图像采集单元的位姿。

[0039] 具体的，图像获取模块可以基于至少一个格筛孔的形状信息及尺寸信息，确定畸变分值，并基于畸变分值判断是否需要调整图像采集单元的位姿。

[0040] 例如，图像获取模块可以基于以下公式计算畸变分值：

[0041]

[0042] 其中， 为畸变分值， 为第i个格筛孔的第一个夹角的大小， 为第i个格筛孔的第二个夹角的大小， 为第i个格筛孔的第三个夹角的大小， 为第i个格筛孔的第四个夹角的大小，I为格筛孔的数量， 为第i个格筛孔的长度， 为预设格筛孔长度， 为第i个格筛孔的宽度， 为预设格筛孔宽度， 及 均为预设参数。

[0043] 当畸变分值大于预设畸变分值阈值时，判断需要调整图像采集单元的位姿。

[0044] 在一些实施例中，图像获取模块可以通过位置调整模型辅助进行图像采集单元的位姿调整操作，具体的，位置调整模型的输入可以包括初始位姿对应的畸变分值及每个调整后的位姿对应的畸变分值，位置调整模型的输出可以包括下一次调整至的位姿，位置调整模型输出的下一次调整至的位姿可以为位置调整模型预测的对应的畸变分值较小的位姿，以提高将图像采集单元调整至目标位姿的效率。其中，位置调整模型可以为人工神经网络(Artificial Neural Network，ANN)模型、循环神经网络(Recurrent Neural Networks，RNN)模型、长短时记忆网络(Long Short‑Term Memory，LSTM)模型、双向循环神经网络(BRNN)模型等机器学习模型。预设条件可以为基于图像采集单元在调整后的位姿下获取的包含多个标记物的溜井口格筛的图像信息确定的畸变分值小于或等于预设畸变分值阈值。

[0045] 可以理解的，通过重复执行控制位姿调整单元调整图像采集单元的位姿，图像采集单元在调整后的位姿下获取包含多个标记物的溜井口格筛的图像信息，直至图像采集单元在调整后的位姿下获取的包含多个标记物的溜井口格筛的图像信息满足预设条件，使得图像采集单元获取的溜井口格筛的视频的格筛孔的畸变更小，提高后续堵塞检测及自动破碎的准确度及效率。

[0046] 堵塞检测模块可以用于基于溜井口格筛的视频，确定溜井口格筛的堵塞信息。

[0047] 图4是根据本说明书一些实施例所示的确定溜井口格筛的堵塞信息的流程示意图，如图4所示，在一些实施例中，堵塞检测模块基于溜井口格筛的视频，确定溜井口格筛的堵塞信息，包括：

[0048] 图像采集单元在目标位姿获取溜井口格筛的堵塞对比图像，其中，堵塞对比图像可以为图像采集单元在目标位姿获取的溜井口格筛未发生堵塞时的图像；

[0049] 基于溜井口格筛的堵塞对比图像，生成溜井口格筛的第一格筛孔分布特征，其中，第一格筛孔分布特征可以包括基于溜井口格筛的堵塞对比图像确定的溜井口格筛的每个格筛孔的位置信息；

[0050] 基于溜井口格筛的视频，获取溜井口格筛的实时图像，具体的，图像采集单元可以从溜井口格筛的视频中截取一帧清晰度大于预设清晰度阈值的溜井口格筛的实时图像；

[0051] 基于溜井口格筛的实时图像，生成溜井口格筛的第二格筛孔分布特征，其中，第二格筛孔分布特征可以包括基于溜井口格筛的实时图像确定的溜井口格筛的每个格筛孔的位置信息；

[0052] 基于溜井口格筛的第一格筛孔分布特征及第二格筛孔分布特征，确定溜井口格筛的堵塞区域，其中，溜井口格筛的堵塞信息包括溜井口格筛的堵塞区域。

[0053] 具体的，图像坐标到世界转换：计算机3D图形学中，三维投影是将三维空间中的点映射到二维平面上的方法。常用三维投影有正交投影和透视投影。正交投影通常用于对现实物品的三维建模，而透视投影与人的视觉系统类似，常用于在二维平面呈现三维世界。这里面会涉及到4个坐标系：

[0054] 世界坐标系：其坐标原点可视情况而定，可以表示空间的物体，单位为长度单位，比如mm，用矩阵 表示；

[0055] 相机坐标系：以摄像机光心为原点（在针孔模型中也就是针孔为中心），z轴与光轴重合，也就是z轴指向相机的前方（与成像平面垂直），x轴与y轴的正方向与世界坐标系平行，单位为长度单位，比如mm，用矩阵 表示；

[0056] 图像物理坐标系（也叫成像平面坐标系）：用物理长度单位表示像素的位置，坐标原点为摄像机光轴与图像物理坐标系的交点位置。坐标系为图上o‑xy，单位为长度单位，比如mm，用矩阵 表示。

[0057] 像素坐标系：坐标原点在左上角，以像素为单位，有明显的范围限制，即用于表示全画面的像素长和像素长宽，矩阵表示。

[0058] 以下公式描述了 、 、 和 之间的转换关系。

[0059]

[0060] 以上公式中， 和 表示1个像素有多少长度，即用传感器的尺寸除以像素数量，比如2928.384umx2205.216um的传感的分辨率为2592x1944，每个像素的大小即约1.12um， 为转换矩阵， 和 表示中心点在像素坐标系中的位置。

[0061] 表示焦距，在上图中根据相似三角形，P点和p点具有以下关系：

[0062] 即：

[0063] 可见： 越大， 和 越大， 越大， 和 越小。

[0064] 要求像素坐标系中某像素点对应在世界坐标系中的位置，需要知道相机的内参、外参，相机的内参可以通过标定获得，外参可以人为设定。第一步，将像素坐标变换到相机坐标系：

[0065]

[0066] 两边乘以K的逆后推导出：

[0067]

[0068] 第二步，从相机坐标系变换到世界坐标系：

[0069]

[0070] 将方程乘以 ，可以推导出：

[0071]

[0072] 其中，R为旋转矩阵，t为相机坐标与世界坐标间的平移向量。

[0073] 堵塞检测模块可以通过堵塞识别模型基于溜井口格筛的第一格筛孔分布特征及第二格筛孔分布特征，确定溜井口格筛的实时图像未被识别到的格筛孔，进而确定溜井口格筛的堵塞区域。其中，堵塞识别模型可以为人工神经网络(Artificial Neural Network，ANN)模型、循环神经网络(Recurrent Neural Networks，RNN)模型、长短时记忆网络(Long Short‑Term Memory，LSTM)模型、双向循环神经网络(BRNN)模型等机器学习模型。

[0074] 可以理解的，通过先基于溜井口格筛的堵塞对比图像，生成溜井口格筛的第一格筛孔分布特征，再基于溜井口格筛的实时图像，生成溜井口格筛的第二格筛孔分布特征，实现较为快速且准确地确定溜井口格筛的堵塞区域。

[0075] 在一些实施例中，堵塞检测模块包括点云获取单元及超声波检测单元，其中，点云获取单元用于获取溜井口格筛的点云信息。

[0076] 如图4所示，在一些实施例中，堵塞检测模块基于溜井口格筛的视频，确定溜井口格筛的堵塞信息，还包括：

[0077] 点云获取单元获取溜井口格筛的点云信息；

[0078] 基于溜井口格筛的堵塞区域，从溜井口格筛的点云信息中提取堵塞区域的点云信息；

[0079] 基于堵塞区域的点云信息，确定至少一个堵塞物的位置信息、形状信息及尺寸信息，其中，溜井口格筛的堵塞信息包括至少一个堵塞物的位置信息、形状信息及尺寸信息；

[0080] 对于每个堵塞物，基于堵塞物的位置信息、形状信息及尺寸信息，确定堵塞物对应的超声波检测位姿，超声波检测单元在超声波检测位姿获取堵塞物的超声波检测信息，其中，溜井口格筛的堵塞信息包括堵塞物的超声波检测信息。

[0081] 具体的，堵塞检测模块可以通过位姿确定模型基于堵塞物的位置信息、形状信息及尺寸信息，确定堵塞物对应的超声波检测位姿，其中，位姿确定模型可以为人工神经网络(Artificial Neural Network，ANN)模型、循环神经网络(Recurrent Neural Networks，RNN)模型、长短时记忆网络(Long Short‑Term Memory，LSTM)模型、双向循环神经网络(BRNN)模型等机器学习模型。

[0082] 自动破碎模块可以用于基于溜井口格筛的堵塞信息进行破碎操作。

[0083] 自动破碎模块可以包括破碎机及破碎机控制单元，破碎机控制单元可以包含数据传输接口、运算处理组件、I/O驱动控制组件，破碎机控制算法及嵌入式软件。

[0084] 破碎机控制单元可以基于溜井口格筛的堵塞信息进行解析和计算，规划出破碎机的控制命令，驱动破碎机的行程泵、比例阀、离合器等设备动作，控制破碎机的大臂升降、转锤升降、二臂升降、左右回转等动作，实现破碎机自动追踪堵塞物进行连续冲击，精确破碎，将堵塞物震落到溜井口格筛下面。

[0085] 在一些实施例中，自动破碎模块基于溜井口格筛的堵塞信息进行破碎操作，包括：基于至少一个堵塞物的位置信息、形状信息、尺寸信息和超声波检测信息，进行破碎操作。

[0086] 在一些实施例中，自动破碎模块基于至少一个堵塞物的位置信息、形状信息、尺寸信息和超声波检测信息，进行破碎操作，包括：

[0087] 对于每个堵塞物，基于堵塞物的位置信息、形状信息、尺寸信息和超声波检测信息，确定堵塞物对应的破碎参数及破碎位置，其中，破碎参数可以至少包括破碎电机的功率及转速等，破碎位置可以为堵塞物上的某个位置；

[0088] 基于每个堵塞物对应的破碎参数及破碎位置，进行破碎操作。

[0089] 具体的，自动破碎模块可以基于参数确定模型基于堵塞物的位置信息、形状信息、尺寸信息和超声波检测信息，确定堵塞物对应的破碎参数及破碎位置。其中，参数确定模型可以为人工神经网络(Artificial Neural Network，ANN)模型、循环神经网络(Recurrent Neural Networks，RNN)模型、长短时记忆网络(Long Short‑Term Memory，LSTM)模型、双向循环神经网络(BRNN)模型等机器学习模型。

[0090] 在一些实施例中，自动破碎模块基于每个堵塞物对应的破碎参数及破碎位置，进行破碎操作，包括：

[0091] 基于每个堵塞物对应的破碎参数及破碎位置，生成多个候选破碎路径；

[0092] 通过多个路径筛选指标，对多个候选破碎路径进行筛选，生成最优破碎路径；

[0093] 基于最优破碎路径，进行破碎操作。

[0094] 具体的，自动破碎模块可以基于每个堵塞物对应的破碎位置按照任意先后顺序进行排序，生成多个候选破碎路径。多个路径筛选指标可以至少包括路径长度指标及参数变化指标。候选破碎路径的路径长度越短，候选破碎路径在路径长度指标的得分越高，候选破碎路径中相邻两个破碎位置的破碎参数变化越小，候选破碎路径在参数变化指标的得分越高。基于候选破碎路径在路径长度指标及参数变化指标的得分，确定候选破碎路径的优先分值，将优先分值最大的候选破碎路径作为最优破碎路径。

[0095] 例如，自动破碎模块可以基于以下公式确定候选破碎路径的优先分值：

[0096]

[0097] 其中， 为候选破碎路径的优先分值， 及 均为预设参数， 为候选破碎路径的路径长度， 为候选破碎路径的第j个破碎位置的破碎参数与第j‑1个破碎位置的破碎参数之间的变化参数，J为破碎位置的总数， 为候选破碎路径的第j个破碎位置对应的破碎电机的功率， 为候选破碎路径的第j‑1个破碎位置对应的破碎电机的功率， 为候选破碎路径的第j个破碎位置对应的破碎电机的转速， 为候选破碎路径的第j‑1个破碎位置对应的破碎电机的转速， 及 均为预设权重。

[0098] 在一些实施例中，自动破碎模块包括破碎机；

[0099] 自动破碎模块基于溜井口格筛的堵塞信息进行破碎操作，包括：

[0100] 基于最优破碎路径、至少一个堵塞物的位置信息、形状信息及尺寸信息，确定最优破碎轨迹，其中，最优破碎轨迹可以为破碎机的各个组件（例如，回转座、大臂、二臂及末端等）的运动轨迹，具体的，可以通过轨迹确定模型基于最优破碎路径、至少一个堵塞物的位置信息、形状信息及尺寸信息，确定最优破碎轨迹，轨迹确定模型可以为人工神经网络(Artificial Neural Network，ANN)模型、循环神经网络(Recurrent Neural Networks，RNN)模型、长短时记忆网络(Long Short‑Term Memory，LSTM)模型、双向循环神经网络(BRNN)模型等机器学习模型；

[0101] 控制破碎机按照最优破碎轨迹，进行破碎操作。

[0102] 可以理解的，通过获取至少一个堵塞物的位置信息、形状信息、尺寸信息和超声波检测信息，实现堵塞物对应的破碎参数的确定，并且，可以确定破碎效果更好的破碎位置，保证堵塞物破碎的有效进行，进一步地，通过对多个候选破碎路径进行筛选进行筛选，确定最优破碎路径，使得较为快速地完成多个堵塞物破碎工作的同时，使得多个破碎位置的破碎参数进行平缓过渡，提高破碎机的寿命，并且保证了多个破碎位置连续破碎的效果。

[0103] 在一些实施例中，自动破碎模块控制破碎机按照最优破碎轨迹，进行破碎操作，包括：

[0104] 在破碎机按照最优破碎轨迹，进行破碎操作中，基于图像获取模块获取的溜井口格筛的视频，确定破碎机的位姿偏差；

[0105] 基于破碎机的位姿偏差，对破碎机的位姿进行实时校准。

[0106] 具体的，由于破碎机的机械臂的移动包含回转座、大臂和二臂控制，在三维坐标系中会有XYZ三个方向的变化，这会使运动可能被障碍物阻断，导致液压锤不能移动到指定位置，不能有效清除阻塞。因此，需要在破碎机按照最优破碎轨迹，进行破碎操作中，基于图像获取模块获取的溜井口格筛的视频，确定破碎机的位姿偏差，生成补偿参数，对破碎机的位姿进行实时校准，保证堵塞破碎的准确度。具体的，在破碎机按照最优破碎轨迹，进行破碎操作中，基于图像获取模块获取的溜井口格筛的视频，获取破碎机的实时图像，基于破碎机的实时图像确定破碎机各个组件的实时坐标信息，计算破碎机各个组件的实时坐标信息与最优破碎轨迹中对应的各个组件的坐标信息的差值，作为破碎机的位姿偏差。

[0107] 在一些实施例中，一种基于视频分析的堵塞检测及自动破碎处理系统的作业流程可以包括以下步骤：

[0108] S1、识别车辆到达卸货位置，识别车辆卸货作业的完成情况。

[0109] S2、卸货完成，延迟一定时间之后，获取溜井口格筛的视频，基于溜井口格筛的视频，确定溜井口格筛上的至少一个堵塞物的位置信息、形状信息、尺寸信息和超声波检测信息，确定最优破碎轨迹。

[0110] S3、根据最优破碎轨迹，编排任务序列并下发任务控制指令到破碎机控制单元，且在平台页面提示用户打击作业开始。

[0111] S4、破碎机控制单元控制破碎机的机械臂从安全姿态进入作业姿态，根据任务控制指令列表控制破碎机的机械臂完成打击任务，破碎锤移动和打击过程中，均以固定高度作业。

[0112] S5、若破碎机的机械臂在破碎堵塞物的过程中，检测到有新的车辆进入卸货区域，则发送停止指令到破碎机控制单元，破碎机控制单元控制机械臂回到安全姿态，等待车辆卸货作业完成。

[0113] S6、堵塞物的破碎工作完成之后，破碎机控制单元控制机械臂回到安全姿态等待下一次作业。

[0114] 在一些实施例中，一种基于视频分析的堵塞检测及自动破碎处理系统还可以包括（2） 视频融合平台，用于提供监控视频接入的统一入口，实现监控视频统一查看，实时预览，历史视频查看，下载保存等功能。基于实时流传输协议（Real Time  Streaming Protocol，RTSP）从网络摄像仪或网络硬盘录像机中获取实时视频并进行转码，使实时视频可以直接在支持mp4的设备或软件中直接播放。系统支持使用rtsp和onvif ONVIF(Open Network Video Interface Forum)协议接入视频设备。

[0115] 最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。