一种基于视频技术的综采工作面直线度基线交互调直方法

摘要

本发明公开了一种基于视频技术的综采工作面直线度基线交互调直方法，包括以下步骤：在综采工作面液压支架顶部安装多个摄像头，保证线缆槽挡杆在摄像范围内，且清晰可见；在线缆槽挡杆上贴反光标识物，并通过摄像头视频采集标识物图像样本，训练智能识别模型；利用图像融合技术将所有摄像头图像拼接形成一张无缝拼接的图片并矫正为俯视图；同时将所有识别到的反光标识物用直线连接并绘制出来形成线缆槽档杆矢量线图形；将矢量线图形和拼接后的大图一并发送到地表控制中心；地表控制中心操作员查看线缆槽档杆各段是否在一条直线上，发送推溜指令；重复操作直到满足图像中线缆槽档杆各段在一条直线的要求。为井下少人、无人开采提供技术保障。

权利要求

1.一种基于视频技术的综采工作面直线度基线交互调直方法，其特征在于，所述方法包括：

(1)在综采工作面液压支架顶部安装多个摄像头，所述摄像头位置在所述液压支架顶部，保证线缆槽挡杆在摄像范围内，且清晰可见；相邻所述摄像头照射范围具有重合区域；

所述摄像头可利用现有摄像头设备或新增、改造部分摄像头设备；所述摄像头可自由旋转，地表控制中心可以远程控制所述摄像头角度并实时获取拍摄图像；

(2)在所述线缆槽挡杆两端张贴反光标识物；各个所述线缆槽挡杆张贴的所述反光标识物为两个，分别为第一反光标识物和第二反光标识物；所述第一反光标识物张贴在所述线缆槽挡杆起点，所述第二反光标识物张贴在所述线缆槽挡杆的终点；井下光线昏暗、粉尘较多，使用所述反光标识物作为识别目标可以减少工作面照明产生的逆光、工作面粉尘等影响，提高识别准确率，所述线缆槽挡杆两端张贴所述反光标识物，用于反算所述液压支架架号；

(3)采集图像样本训练智能识别模型，包括：采集所述多个摄像头的图像，以所述多个摄像头的图像为图像样本，利用深度学习技术进行训练，将训练得到的模型作为识别所述反光标识物的所述智能识别模型；

(4)无缝图片拼接，利用透视变换生成俯视图；

利用图像融合技术，将所有摄像头的实时图像按所述液压支架的架号依次进行拼接，其中，相邻所述摄像头的实时图像以重叠区域作为相同特征进行融合，使所有所述摄像头的实时图像拼接为一幅无缝拼接的图片，并利用透视变换矫正无缝拼接的图像生成所述俯视图；

(5)矢量线提取；

利用所述识别反光标识物的所述智能识别模型识别所述反光标识物，将识别到的区域左右边中心用直线连接并生成多条线段的矢量线图形，并将所述液压支架架号标记出来，作为所述线缆槽挡杆实时情况的示意图，使所述线缆槽挡杆位置信息更醒目、直观；所述反光标识物张贴在所述线缆槽挡杆两端，因此从第一个所述反光标识物开始，每相邻两个所述反光标识物代表一个线缆槽挡杆，所述液压支架架号递增；

(6)将所述俯视图及所述矢量线图形发送到地表控制中心；

将所述矢量线图形及所述俯视图，通过网络实时发送到所述地表控制中心；

(7)所述地表控制中心的操控员根据实时情况，决定是否推溜拉架；

所述地表控制中心通过查看所述矢量线图形的实时情况，查看所述多个线缆槽挡杆是否在一条直线上，如果通过所述矢量线图形确定所述多个线缆槽挡杆不在一条直线上，则通过对比，对所述液压支架进行远程推溜拉架操作。

2.根据权利要求1所述的基于视频技术的综采工作面直线度基线交互调直方法，其特征在于，所述摄像头可自由旋转，同时所述摄像头具有远程控制所述摄像头角度的开发接口；所述地表控制中心通过开放协议，能够实时获取图像和控制所述摄像头角度；

相邻所述摄像头照射范围具有的重合区域大于15％。

3.根据权利要求2所述的基于视频技术的综采工作面直线度基线交互调直方法，其特征在于，采集所述多个摄像头的图像，以所述多个摄像头的图像为图像样本，包括：通过调用所述开发接口定时读取所述摄像头的图像，在定时读取所述摄像头的图像的过程中，随机旋转所述摄像头角度、随机调整所述摄像头的焦距。

4.根据权利要求1所述的基于视频技术的综采工作面直线度基线交互调直方法，其特征在于，所述第一反光标识物为红白红间隔样式；所述第二反光标识物为白红白间隔样式。

5.根据权利要求1所述的基于视频技术的综采工作面直线度基线交互调直方法，其特征在于，将所述无缝拼接的图片发送至所述地表控制中心，所述地表控制中心显示所述无缝拼接的图片，并利用透视变换矫正无缝拼接的图像生成俯视图，以显示井下全景。

6.根据权利要求1所述的基于视频技术的综采工作面直线度基线交互调直方法，其特征在于，将识别到的区域左右边中心用直线连接并生成多条线段的矢量线图形，包括：对识别到的区域左右边中心用有颜色的直线连接，并生成所述多条线段的矢量图形，以在所述矢量线图形中醒目显示所述多条线段。

说明书

一种基于视频技术的综采工作面直线度基线交互调直方法

技术领域

[0001] 本发明涉及煤矿智能开采领域，特别是涉及一种基于视频技术的综采工作面直线度基线交互调直方法。

背景技术

[0002] 采煤机、液压支架和刮板输送机为综采工作面的核心设备，采煤机以刮板输送机为运行轨道往返运行，切割煤壁落煤，并把落下的煤装入刮板输送机。液压支架用于支护截
割工作面顶板，维持一定的工作空间。

[0003] 随着煤矿综采自动化的发展，电液控制系统跟机自动化被越来越多的在综采工作面使用。电液控制系统在跟机自动化过程中如何能够保证移架后达到“三直二平”的标准，
即煤壁、刮板输送机和液压支架分别成直线状。根据距离参数实现自动推溜拉架，而且确保
位置精准，是智能综采的重要保障。由于受行程传感器误差和工作面地面形态、粗糙度等复
杂性的影响，往往自动推溜拉架达不到预期的效果，需要井下人员的人为现场交互式干预，
这与减少井下人员的目标相违背。

发明内容

[0004] 鉴于上述问题，提出了一种基于视频技术的综采工作面直线度基线交互调直方法，通过摄像头图像实时拼接，并实时传输到地表控制中心，结合摄像头图像和矢量线图
形，在地面远程交互式操作，实现自动推溜拉架有关的动作，实现“千里眼”，就如在地下现
场交互式操作一样，解决了需要井下人员的人为交互式干预进行工作面调直，与减少井下
人员的目标相违背的问题。

[0005] 依据本发明的一个方面，提供了一种基于视频技术的综采工作面直线度基线交互调直方法，所述方法包括：

[0006] (1)在综采工作面液压支架顶部安装多个摄像头，所述摄像头位置在所述液压支架顶部，保证线缆槽挡杆在摄像范围内，且清晰可见；相邻所述摄像头照射范围具有重合区
域；

[0007] (2)在所述线缆槽挡杆两端张贴反光标识物；井下光线昏暗、粉尘较多，使用所述反光标识物作为识别目标可以减少工作面照明产生的逆光、工作面粉尘等影响，提高识别
准确率，所述线缆槽挡杆两端张贴所述反光标识物，用来反算所述液压支架架号；

[0008] (3)采集图像样本训练智能识别模型，包括：采集所述多个摄像头的图像，以所述多个摄像头的图像为图像样本，利用深度学习技术进行训练，将训练得到的模型作为识别
所述反光标识物的所述智能识别模型；

[0009] (4)无缝图片拼接，利用透视变换生成俯视图；

[0010] 利用图像融合技术，将所有摄像头的实时图像按所述液压支架的架号依次进行拼接，其中，相邻所述摄像头的实时图像以重叠区域作为相同特征进行融合，使所有所述摄像
头的实时图像拼接为一幅无缝拼接的图片，并利用透视变换矫正无缝拼接的图像生成俯视
图；

[0011] (5)矢量线提取；

[0012] 利用所述识别反光标识物的所述智能识别模型识别所述反光标识物，将识别到的区域左右边中心用直线连接并生成多条线段的矢量线图形，并将所述液压支架架号标记出
来，作为所述线缆槽挡杆实时情况的示意图，使所述线缆槽挡杆位置信息更醒目、直观；所
述反光标识物张贴在所述线缆槽挡杆两端，因此从第一个所述反光标志物开始，每相邻两
个所述反光标识物代表一个线缆槽挡杆，所述液压支架架号递增；

[0013] (6)将所述俯视图及所述矢量线图形发送到地表控制中心；

[0014] 将所述矢量线图形及所述俯视图，通过网络实时发送到所述地表控制中心；

[0015] (7)所述地表控制中心的操控员根据实时情况，决定是否推溜拉架；

[0016] 所述地表控制中心通过查看所述矢量线图形的实时情况，查看所述多个线缆槽挡杆是否在一条直线上，如果通过所述矢量线图形确定所述多个线缆槽挡杆不在一条直线
上，则通过对比，对所述液压支架进行远程推溜拉架操作。

[0017] 可选地，所述摄像头可自由旋转，同时所述摄像头具有远程控制所述摄像头角度的开发接口；所述地表控制中心通过开放协议，能够实时获取图像和控制所述摄像头角度；

[0018] 相邻所述摄像头照射范围具有的重合区域大于15％。

[0019] 可选地，采集所述多个摄像头的图像，以所述多个摄像头的图像为图像样本，包括：通过调用所述开发接口定时读取所述摄像头的图像，在定时读取所述摄像头的图像的
过程中，随机旋转所述摄像头角度、随机调整所述摄像头的焦距。

[0020] 可选地，各个所述线缆槽挡杆张贴的所述反光标识物为两个，分别为第一反光标识物和第二反光标识物；所述第一反光标识物张贴在所述线缆槽挡杆起点，为红白红间隔
样式；所述第二反光标识物张贴在所述线缆槽挡杆的终点，为白红白间隔样式。

[0021] 可选地，将所述无缝拼接的图片发送至所述地表控制中心，所述地表控制中心显示所述无缝拼接的图片，并利用透视变换矫正无缝拼接的图像生成俯视图，以显示井下全
景。

[0022] 可选地，将识别到的区域左右边中心用直线连接并生成多条线段的矢量线图形，包括：对识别到的区域左右边中心用有颜色的直线连接，并生成所述多条线段的矢量图形，
以在所述矢量线图形中醒目显示所述多条线段。

[0023] 有益效果：

[0024] 本发明提供的基于视频技术的综采工作面直线度基线交互调直方法，通过在综采工作面液压支架顶部安装多个摄像头，保证线缆槽挡杆在摄像范围内，且清晰可见；在线缆
槽挡杆上贴反光标识物，并通过摄像头视频采集标识物图像样本，训练智能识别模型；利用
图像融合技术将所有摄像头图像拼接形成一张无缝拼接的图片，并利用透视变换矫正无缝
拼接的图像生成俯视图；同时将所有识别到的反光标识物用直线连接并绘制出来形成线缆
槽档杆矢量线图形；将矢量线图形和无缝拼接的图片一并发送到地表控制中心；地表控制
中心操作员查看线缆槽档杆各段是否在一条直线上，当所述矢量线图形反映所述液压支架
不在一条直线上时，发送推溜拉架的指令，重复操作直到满足图像中线缆槽档杆各段在一
条直线的要求；由于所述线缆槽挡杆与所述液压支架平行并有连接，在推溜拉架的过程中，
所述线缆槽挡杆与所述液压支架联动，即所述矢量线图形同时也反映了所述液压支架是否
在一条直线上，当线缆槽档杆各段满足在一条直线的要求，即液压支架也满足在一条直线
的要求；解决了需要井下人员的人为交互式干预进行工作面调直，与减少井下人员的目标
相违背的问题。

附图说明

[0025] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明
的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

[0026] 图1示出了本发明实施例一的一种基于视频技术的综采工作面直线度基线交互调直方法的工作流程示意图；

[0027] 图2示出了本发明实施例一的一种基于视频技术的综采工作面直线度基线交互调直方法的摄像头布置示意图；

[0028] 图3示出了本发明实施例一的一种基于视频技术的综采工作面直线度基线交互调直方法的矢量线抽取示意图。

具体实施方式

[0029] 下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例
所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本发明的范围
完整的传达给本领域的技术人员。

[0030] 相关技术中，随着煤矿综采自动化的发展，电液控制系统跟机自动化被越来越多的在综采工作面使用。电液控制系统在跟机自动化过程中如何能够保证移架后达到“三直
二平”的标准，即煤壁、刮板输送机和液压支架分别成直线状。根据距离参数实现自动推溜
拉架，而且确保位置精准，是智能综采的重要保障。由于受行程传感器误差和工作面地面形
态、粗糙度等复杂性的影响，往往自动推溜拉架达不到预期的效果，需要井下人员的人为交
互式干预，这与减少井下人员的目标相违背。

[0031] 有鉴于此，本发明提出了如下技术构思：基于矿山5G应用背景，通过摄像头图像实时拼接，并实时传输到地表控制中心，结合摄像头图像和矢量线图形，在地面远程交互式操
作，实现自动推溜拉架有关的动作，实现“千里眼”，就如在地下现场交互式操作一样，解决
了需要井下人员的人为交互式干预进行工作面调直，与减少井下人员的目标相违背的问
题。

[0032] 实施例一

[0033] 参照图1，示出了本申请一种基于视频技术的综采工作面直线度基线交互调直方法的工作流程示意图，如图1所示，一种基于视频技术的综采工作面直线度基线交互调直方
法，包括：

[0034] (1)在综采工作面液压支架顶部安装多个摄像头，参照图2，示出了本申请一种基于视频技术的综采工作面直线度基线交互调直方法的摄像头布置示意图，如图2所示，所述
摄像头位置在所述液压支架顶部，保证线缆槽挡杆在摄像范围内，且清晰可见；相邻所述摄
像头照射范围具有重合区域；所述重合区域用于将重叠区域作为相同特征进行图片融合，
能够使所有所述摄像头的实时图像图像拼接为一幅无缝拼接的图片，并利用透视变换矫正
无缝拼接的图像生成俯视图。

[0035] 为了实时监控工作面生产情况，综采工作面一般已安装摄像头，本申请可利用现有摄像头设备或新增、改造部分摄像头设备，成本较低。

[0036] (2)在所述线缆槽挡杆两端张贴反光标识物；

[0037] 井下光线昏暗、粉尘较多，使用所述反光标识物作为识别目标可以减少工作面照明产生的逆光、工作面粉尘等影响，提高识别准确率，所述线缆槽挡杆两端张贴所述反光标
识物，所述线缆槽挡杆设置于采煤机与液压支架之间，所述线缆槽挡杆与所述液压支架平
行并有连接，在推溜拉架的过程中，所述线缆槽挡杆与所述液压支架联动，所述线缆槽挡杆
如果能够成直线，所述液压支架就能成直线，同时，所述线缆槽挡杆与所述液压支架一一对
应，每一个所述线缆槽挡杆两端张贴所述反光标识物，则可以通过所述反光标识物反算所
述液压支架的架号；即每2个相邻反光标识物代表一个所述液压支架。

[0038] (3)采集图像样本训练智能识别模型，包括：

[0039] 采集所述多个摄像头的图像，以所述多个摄像头的图像为图像样本，利用深度学习技术进行训练，将训练得到的模型作为识别所述反光标识物的所述智能识别模型。

[0040] (4)无缝图片拼接，利用透视变换矫正无缝拼接的图像生成俯视图；

[0041] 如图1所示，图中的步骤(3)即：利用图像融合技术，将所有摄像头的实时图像按所述液压支架的架号依次进行拼接，其中，相邻所述摄像头的实时图像以重叠区域作为相同
特征进行融合，使所有所述摄像头的实时图像拼接为一幅无缝拼接的图片，并利用透视变
换矫正无缝拼接的图像生成俯视图；所述无缝拼接的图片用于显示综采工作面全景。

[0042] (5)矢量线提取；

[0043] 参照图3，示出了本申请一种基于视频技术的综采工作面直线度基线交互调直方法的矢量线抽取示意图，如图3所示，利用所述识别反光标识物的所述智能识别模型识别所
述反光标识物，如图1所示，图中的步骤(4)即：将识别到的区域左右边中心用直线连接并生
成多条线段的矢量线图形，并将所述液压支架架号标记出来，作为所述线缆槽挡杆实时情
况的示意图，使所述线缆槽挡杆位置信息更醒目、直观。所述反光标识物张贴在所述线缆槽
挡杆两端，因此从第一个所述反光标志物开始，每相邻两个所述反光标识物代表一个线缆
槽挡杆，因所述线缆槽挡杆与所述液压支架一一对应，每相邻两个所述反光标识物同时代
表一个液压支架，每增加两个所述反光标识物，所述液压支架架号递增。

[0044] (6)将所述俯视图及所述矢量线图形发送到地表控制中心；

[0045] 将所述矢量线图形及所述俯视图，通过网络实时发送到所述地表控制中心。

[0046] (7)所述地表控制中心的操控员根据实时情况，决定是否推溜拉架；

[0047] 所述地表控制中心通过查看所述矢量线图形的实时情况，查看所述多个线缆槽挡杆是否在一条直线上，所述线缆槽挡杆与所述液压支架平行并有连接，在推溜拉架的过程
中，所述线缆槽挡杆与所述液压支架联动，即所述矢量线图形反映了所述液压支架是否在
一条直线上，如果通过所述矢量线图形确定所述多个线缆槽挡杆不在一条直线上，即所述
液压支架也不在一条直线上，然后根据几何算法得出各液压支架需要移动的距离，对所述
液压支架进行远程推溜拉架操作。

[0048] 本发明实施方式中，通过在综采工作面液压支架顶部安装多个摄像头，保证线缆槽挡杆在摄像范围内，且清晰可见；在线缆槽挡杆上贴反光标识物，并通过摄像头视频采集
标识物图像样本，训练智能识别模型；利用图像融合技术将所有摄像头图像拼接形成一张
无缝拼接的图片，并利用透视变换矫正无缝拼接的图像生成所述俯视图；同时将所有识别
到的反光标识物用直线连接并绘制出来形成线缆槽档杆矢量线图形；将矢量线图形和无缝
拼接的图片一并发送到地表控制中心；地表控制中心操作员查看线缆槽档杆各段是否在一
条直线上，发送推溜拉架的指令，重复操作直到满足图像中线缆槽档杆各段在一条直线的
要求；由于所述线缆槽挡杆与所述液压支架平行并有连接，在推溜拉架的过程中，所述线缆
槽挡杆与所述液压支架联动，即所述矢量线图形同时也反映了所述液压支架是否在一条直
线上，当线缆槽档杆各段满足在一条直线的要求，即液压支架也满足在一条直线的要求；解
决了需要井下人员的人为交互式干预进行工作面调直，与减人目标相违背的问题。

[0049] 基于上述基于视频技术的综采工作面直线度基线交互调直方法，本发明提供以下一些具体可实施方式的示例，在互不抵触的前提下，各个示例之间可任意组合，以形成一种
新的基于视频技术的综采工作面直线度基线交互调直方法，应当理解的，对于由任意示例
所组合形成的新的一种基于视频技术的综采工作面直线度基线交互调直方法，均应落入本
发明的保护范围。

[0050] 在本发明实施例中，如图2所示，所述摄像头可自由旋转，可以根据需求调节摄像头摄像范围，同时所述摄像头具有远程控制所述摄像头角度的开发接口，所述地表控制中
心通过开放协议，能够实时获取图像和控制所述摄像头角度；即地表控制中心可以远程控
制摄像头角度并实时获取拍摄图像，不需要井下人员进行人为干预，达到了减少井下工作
人员的目的；同时相邻所述摄像头照射范围具有的重合区域大于15％，所述重合区域用于
将重叠区域作为相同特征进行图片融合，能够使所有所述摄像头的实时图像拼接为一幅无
缝拼接的图片。

[0051] 在本发明实施例中，采集所述多个摄像头的图像，以所述多个摄像头的图像为图像样本，包括：通过调用所述开发接口定时读取所述摄像头的图像，在定时读取所述摄像头
的图像的过程中，随机旋转所述摄像头角度、随机调整所述摄像头的焦距；即可以实现远程
控制摄像头角度并实时获取拍摄图像，不需要井下人员进行人为干预，达到了减少井下工
作人员的目的。

[0052] 在本发明实施例中，各个所述线缆槽挡杆张贴的所述反光标识物为两个，分别为第一反光标识物和第二反光标识物；所述第一反光标识物张贴在所述线缆槽挡杆起点，为
红白红间隔样式；所述第二反光标识物张贴在所述线缆槽挡杆的终点，为白红白间隔样式；
所述线缆槽挡杆起点和终点张贴不同样式的反光标识物，更加易于反算所述液压支架的架
号，即一个红白红间隔样式的反光标识物代表一个线缆槽挡杆，代表一个液压支架；每增加
一个红白红间隔样式的反光标识物，所述液压支架架号递增；同理，一个白红白间隔样式反
光标识物也可以代表一个线缆槽挡杆，代表一个液压支架；每增加一个白红白间隔样式的
反光标识物，所述液压支架架号递增。

[0053] 在本发明实施例中，将所述无缝拼接的图片发送至所述地表控制中心，所述地表控制中心显示所述无缝拼接的图片，并利用透视变换矫正无缝拼接的图像生成俯视图，以
显示井下全景，所述地表控制中心能够对井下进行实时监控，便于查看综采工作面全景，为
智能综采提供保障，达到了减少井下工作人员的目的。

[0054] 在本发明实施例中，将识别到的区域左右边中心用直线连接并生成多条线段的矢量线图形，包括：对识别到的区域左右边中心用有颜色的直线连接，并生成所述多条线段的
矢量图形，以在所述矢量线图形中醒目显示所述多条线段；通过用有颜色的直线连接矢量
线图形，能够清晰的显示各段矢量线图形连接而成的线段是否成一条直线，即能够清晰直
观的显示线缆槽档杆各段是否在一条直线上。

[0055] 根据以上实施例，对本申请的操作流程总结如下，具体可以包括：

[0056] (1)综采工作面液压支架上方安装或改造摄像头。

[0057] (2)在综采工作面线缆槽挡杆张贴反光标识物。

[0058] (3)采集摄像头图像，训练反光标识物的智能识别模型。

[0059] (4)利用图像融合技术，对所有摄像头实时图像进行拼接，并利用透视变换矫正无缝拼接的图像生成俯视图。

[0060] (5)识别对拼接完的图像中的反光标识物，将识别区域进行矢量线抽取。

[0061] (6)将拼接后的实时图像和抽取的矢量线发送到地表控制中心。

[0062] (7)地表控制中心操作员根据图像中线缆槽挡杆情况进行推溜操作。

[0063] 应当理解地，本发明说明书尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所
以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修
改。

[0064] 最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作
之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意
在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包
括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品
或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要
素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

[0065] 以上对本发明所提供的一种基于视频技术的综采工作面直线度基线交互调直方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上
实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技
术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本
说明书内容不应理解为对本发明的限制。