一种基于图像识别和深度信息的井下人员定位方法与装置

摘要

本发明提出一种基于图像识别和深度信息的井下人员定位方法，包括：采集井下设备的图像；根据图像识别井下设备的设备编号；根据设备编号，获取井下设备在井下的绝对位置信息；测量井下设备相对井下人员的深度信息；根据深度信息，计算得到井下人员与井下设备的相对位置信息；根据井下人员与井下设备的相对位置信息和井下设备在井下的绝对位置信息，获得井下人员当前在井下的绝对位置信息。本发明方法不受井下高煤尘、低照度的影响，能够获得井下人员的位置信息。本发明还提出一种基于图像识别和深度信息的井下人员定位装置。

权利要求

1.一种基于图像识别和深度信息的井下人员定位方法，其特征在于，包括：采集井下设备的图像；

根据图像识别井下设备的设备编号；

根据设备编号，获取井下设备在井下的绝对位置信息；

测量井下设备相对井下人员的深度信息；

根据深度信息，计算得到井下人员与井下设备的相对位置信息；

根据井下人员与井下设备的相对位置信息和井下设备在井下的绝对位置信息，获得井下人员当前在井下的绝对位置信息；

所述采集井下设备的图像包括：

获取靶面的彩色图像，其中，靶面安装在井工煤矿的设备上，靶面上具有若干个第一凸起和第二凸起，第一凸起与第二凸起不同形，第一凸起与第二凸起组合在一起形成设备编号；所述第一凸起和所述第二凸起高出所述靶面，所述第一凸起和所述第二凸起分别表示二进制的基本数字0和1；

所述第一凸起为圆状物，所述第二凸起为条状物；

所述根据图像识别井下设备的设备编号包括：将靶面的彩色图像转换为灰度图像；

对靶面的灰度图像进行滤波，滤除存在于图像中的噪声信息；

对去噪后的灰度图进行模板匹配，获取靶面在图像中的位置信息；

根据位置信息提取出包括靶面的矩形图块，旋转矩形图块中的所有像素；

对旋转后的矩形图块进行边缘检测；

根据梯度信息对旋转后的矩形图块进行二值化；

对二值化的矩形图块进行解码，获得设备编号的二进制数；

所述对二值化的矩形图块进行解码，获得设备编号的二进制数包括：根据矩形图块的宽度，将该图块按宽度方向均分为等份子图块，每一子图块包含一个第一凸起或第二凸起，对子图块按序编号；

根据每个子图块的分辨率，创建两个具有相同分辨率的子图块模板，分别代表0和1，对子图块模板按序编号；

对子图块和模板子图块进行聚类，获得设备编号的二进制数。

2.根据权利要求1所述的一种基于图像识别和深度信息的井下人员定位方法，其特征在于，所述根据设备编号，确定井下设备在井下的绝对位置信息包括：将设备编号的二进制数转换为十进制数；

根据设备编号的十进制数，查询预置的设备数据库，确定设备在井下的绝对位置信息，其中，设备数据库中内容具有设备编号和对应的井下绝对位置信息。

3.根据权利要求1所述的一种基于图像识别和深度信息的井下人员定位方法，其特征在于，所述测量井下设备相对井下人员的深度信息包括：摄像终端测量井下设备相对井下人员的深度信息，其中摄像终端具有ToF摄像头和/或激光雷达，摄像终端安装在所述井下人员上。

4.根据权利要求1所述的一种基于图像识别和深度信息的井下人员定位方法，其特征在于，所述根据深度信息，计算得到井下人员与井下设备的相对位置信息包括：深度信息包括所检测到的井下设备各个点的三维坐标信息，根据三维坐标信息得到井下人员与井下设备的距离和角度。

5.一种基于图像识别和深度信息的井下人员定位装置，其特征在于，包括：采集单元，用于采集井下设备的图像；

识别单元，用于根据图像识别井下设备的设备编号；

绝对位置获取单元，用于根据设备编号，获取井下设备在井下的绝对位置信息；

深度信息测量单元，用于测量井下人员与井下设备的深度信息；

相对位置计算单元，用于根据深度信息，计算得到井下人员与井下设备的相对位置信息；

绝对位置计算单元，用于根据井下人员与井下设备的相对位置信息和井下设备在井下的绝对位置信息，获得井下人员当前在井下的绝对位置信息；

所述识别单元具体包括：

转换单元，用于将靶面的彩色图像转换为灰度图像；

滤波单元，用于对靶面的灰度图像进行滤波，滤除存在于图像中的噪声信息；

模板匹配单元，用于对去噪后的灰度图进行模板匹配，获取靶面在图像中的位置信息；

提取和旋转单元，用于根据位置信息提取出包括靶面的矩形图块，旋转矩形图块中的所有像素；

边缘检测单元，用于对旋转后的矩形图块进行边缘检测；

二值化单元，用于根据梯度信息对旋转后的矩形图块进行二值化；

设备编号获取单元，用于对二值化的矩形图块进行解码，获得设备编号的二进制数；

所述对二值化的矩形图块进行解码，获得设备编号的二进制数包括：根据矩形图块的宽度，将该图块按宽度方向均分为等份子图块，每一子图块包含一个第一凸起或第二凸起，对子图块按序编号；

根据每个子图块的分辨率，创建两个具有相同分辨率的子图块模板，分别代表0和1，对子图块模板按序编号；

对子图块和模板子图块进行聚类，获得设备编号的二进制数；

所述采集井下设备的图像包括：

获取靶面的彩色图像，其中，靶面安装在井工煤矿的设备上，靶面上具有若干个第一凸起和第二凸起，第一凸起与第二凸起不同形，第一凸起与第二凸起组合在一起形成设备编号；所述第一凸起和所述第二凸起高出所述靶面，所述第一凸起和所述第二凸起分别表示二进制的基本数字0和1；

所述第一凸起为圆状物，所述第二凸起为条状物。

说明书

一种基于图像识别和深度信息的井下人员定位方法与装置

技术领域

[0001] 本发明涉及煤矿井下定位技术领域，尤其涉及一种基于图像识别和深度信息的井下人员定位方法与装置。

背景技术

[0002] 目前在井下应用的人员定位技术主要有两种。一种是下井人员佩戴人员定位卡，井下每隔一段距离设置定位卡检测器，当下井人员佩戴人员定位卡经过检测器时，检测器即可检测到定位卡，并将定位卡所关联的人员信息上传至调度中心。

[0003] 另一种是超宽频带（Ultra Wide Band，UWB）定位技术。下井人员携带UWB移动端进入矿井，在矿井中每隔一段距离设置固定的UWB固定端，每个UWB固定端的位置信息和编号均固定且已知。UWB移动端会周期性地向外发射无线载波信号，UWB固定端在接收到无线载波信号后会立即发射一个UWB信号作为回应，该信号会包含UWB固定端的位置信息。UWB移动端会接收到达速度最快的前4个UWB信号，并根据发射‑接收时间差来计算与这4个UWB固定端的距离，从而利用四点测距原理计算出移动端的实时位置。

[0004] 在实现本发明过程中，发明人发现现有技术中至少存在以下问题：人员定位卡定位方法的主要缺点是定位精度低。使用这种方式时，因为检测器只能检测定位卡是否在自身探测范围内，若检测到，则认为井下人员就在检测器附近，上传给调度中心的位置信息即为检测器自身位置信息，因此精度相对很低。而且要做到对井下的全覆盖，需要在矿区布设许多检测器。UWB定位法的主要缺点是井下需布设许多UWB固定端，且每一条具有拐角的巷道内均需要进行UWB固定端的布置。

发明内容

[0005] 本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

[0006] 为此，本发明的目的在于提出一种基于图像识别和深度信息的井下人员定位方法与装置。

[0007] 为达到上述目的，本发明的第一方面提出了一种基于图像识别和深度信息的井下人员定位方法，包括：

[0008] 采集井下设备的图像；

[0009] 根据图像识别井下设备的设备编号；

[0010] 根据设备编号，获取井下设备在井下的绝对位置信息；

[0011] 测量井下设备相对井下人员的深度信息；

[0012] 根据深度信息，计算得到井下人员与井下设备的相对位置信息；

[0013] 根据井下人员与井下设备的相对位置信息和井下设备在井下的绝对位置信息，获得井下人员当前在井下的绝对位置信息。

[0014] 根据本发明实施例的基于图像识别和深度信息的井下人员定位方法，解决了在煤矿井下高煤尘、低照度的条件下，以及井下没有GPS信号的情况下，井下人员的实时定位问题。本发明方法定位精度高，使用井下恶劣的作业环境。

[0015] 根据本发明的一个实施例，所述采集井下设备的图像包括：

[0016] 获取靶面的彩色图像，其中，靶面安装在井工煤矿的设备上，靶面上具有若干个第一凸起和第二凸起，第一凸起与第二凸起不同形，第一凸起与第二凸起组合在一起形成设备编号。

[0017] 根据本发明的一个实施例，所述根据图像识别井下设备的设备编号包括：

[0018] 将靶面的彩色图像转换为灰度图像；

[0019] 对靶面的灰度图像进行滤波，滤除存在于图像中的噪声信息；

[0020] 对去噪后的灰度图进行模板匹配，获取靶面在图像中的位置信息；

[0021] 根据位置信息提取出包括靶面的矩形图块，旋转矩形图块中的所有像素；

[0022] 对旋转后的矩形图块进行边缘检测；

[0023] 根据梯度信息对旋转后的矩形图块进行二值化；

[0024] 对二值化的矩形图块进行解码，获得设备编号的二进制数。

[0025] 根据本发明的一个实施例，所述根据设备编号，确定井下设备在井下的绝对位置信息包括：

[0026] 将设备编号的二进制数转换为十进制数；

[0027] 根据设备编号的十进制数，查询预置的设备数据库，确定设备在井下的绝对位置信息，其中，设备数据库中内容具有设备编号和对应的井下绝对位置信息。

[0028] 根据本发明的一个实施例，所述测量井下设备相对井下人员的深度信息包括：

[0029] 摄像终端测量井下设备相对井下人员的深度信息，其中摄像终端具有ToF摄像头和/或激光雷达，摄像终端安装在所述井下人员上。

[0030] 根据本发明的一个实施例，所述根据深度信息，计算得到井下人员与井下设备的相对位置信息包括：

[0031] 深度信息包括所检测到的井下设备各个点的三维坐标信息，根据三维坐标信息得到井下人员与井下设备的距离和角度。

[0032] 根据本发明的一个实施例，所述第一凸起为圆状物，所述第二凸起为条状物。

[0033] 本发明的第二方面提供一种基于图像识别和深度信息的井下人员定位装置，包括：

[0034] 采集单元，用于采集井下设备的图像；

[0035] 识别单元，用于根据图像识别井下设备的设备编号；

[0036] 绝对位置获取单元，用于根据设备编号，获取井下设备在井下的绝对位置信息；

[0037] 深度信息测量单元，用于测量井下人员与井下设备的深度信息；

[0038] 相对位置计算单元，用于根据深度信息，计算得到井下人员与井下设备的相对位置信息；

[0039] 绝对位置计算单元，用于根据井下人员与井下设备的相对位置信息和井下设备在井下的绝对位置信息，获得井下人员当前在井下的绝对位置信息。

[0040] 根据本发明的一个实施例，所述识别单元具体包括：

[0041] 转换单元，用于将靶面的彩色图像转换为灰度图像；

[0042] 滤波单元，用于对靶面的灰度图像进行滤波，滤除存在于图像中的噪声信息；

[0043] 模板匹配单元，用于对去噪后的灰度图进行模板匹配，获取靶面在图像中的位置信息；

[0044] 提取和旋转单元，用于根据位置信息提取出包括靶面的矩形图块，旋转矩形图块中的所有像素；

[0045] 边缘检测单元，用于对旋转后的矩形图块进行边缘检测；

[0046] 二值化单元，用于根据梯度信息对旋转后的矩形图块进行二值化；

[0047] 设备编号获取单元，用于对二值化的矩形图块进行解码，获得设备编号的二进制数。

[0048] 本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

[0049] 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

[0050] 图1是本发明一实施例提出的基于图像识别和深度信息的井下人员定位方法的实现流程示意图。

[0051] 图2是本发明一实施例涉及靶面和一维码的结构示意图。

[0052] 图3是本发明一实施例提出的基于图像识别和深度信息的井下人员定位装置的结构示意图。

[0053] 图4是本发明一实施例提出的识别单元的结构示意图。

[0054] 附图标记说明：

[0055] 1‑靶面，2‑第一凸起，3‑第二凸起。

具体实施方式

[0056] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

[0057] 图1是本发明一实施例提出的基于图像识别和深度信息的井下人员定位方法的实现流程示意图，在图1所示实施例中，流程的执行主体为图1的基于图像识别和深度信息的井下人员定位方法。该方法的实现流程详述如下：

[0058] 步骤S102，采集井下设备的图像。

[0059] 在本实施例中，采用摄像终端采集井下设备的图像。井下设备可以是掘进机、采煤机、刮板机、液压支架等常见的矿用设备。

[0060] 在本实施例中，步骤S102具体包括：获取井下设备上靶面1的彩色图像，其中，参照图2，靶面1安装在井工煤矿的设备上，靶面1上具有若干个第一凸起2和第二凸起3，第一凸起2与第二凸起3不同形，第一凸起2与第二凸起3组合在一起形成设备编号。第一凸起2为圆状物，第二凸起3为条状物，第一凸起2和第二凸起3的数量可以根据生产实际来确定。第一凸起2和第二凸起3由于高出靶面，即使图像传感器与靶面存在夹角，也便于被图像传感器采集。第一凸起2和第二凸起3的外形不同，能够表示二进制的基本数字0和1。

[0061] 步骤S104，根据图像识别井下设备的设备编号。

[0062] 在本实施例中，步骤S104具体包括：

[0063] 步骤S1041，将靶面的彩色图像转换为灰度图像。

[0064] 在本实施例中，步骤S1041中，通过空间颜色空间变换，将RGB图转化为灰度图。

[0065] 步骤S1042，对靶面的灰度图像进行滤波，滤除存在于图像中的噪声信息。

[0066] 在本实施例中，步骤S1042具体包括，使用大小为 的滤波器对大小为的灰度图像进行中值滤波，表示为 ，式
中， 表示经过滤波后的图像的位于第 行第 列的像素点的灰度值， 表示
滤波前的图像的位于第 行第 列的像素点的灰度值， 表示线性滤波器位于第 行
第列的权重参数值， , 。

[0067] 步骤S1043，对去噪后的灰度图进行模板匹配，获取靶面在图像中的位置信息。

[0068] 在本实施例中，步骤S1043中的模板是事先规定好的示例图样。模板匹配是一种用于在源图像（含有靶面的灰度图）S中寻找定位给定目标图像T（即模板图像）的技术。原理是通过一些相似度准则来衡量两个图像块之间的相似度。

[0069] 步骤S1044，根据位置信息提取出包括靶面的矩形图块，旋转矩形图块中的所有像素。

[0070] 在本实施例中，步骤S1044可以使像素排列规范化，便于进行边缘检测。

[0071] 步骤S1045，对旋转后的矩形图块进行边缘检测。

[0072] 在本实施例中，步骤S1045具体包括：可以使用Sobel（索贝尔）算子，分别计算被提取矩形图块在宽度方向和高度方向上的梯度，利用方向正交的两梯度值计算正切值，并根据正切值求其反三角函数，获得该处像素点总体的梯度方向。

[0073] 步骤S1046，根据梯度信息对旋转后的矩形图块进行二值化。

[0074] 在本实施例中，步骤S1046具体包括：根据矩形图块图像的梯度信息设置阈值，对超出阈值的梯度所对应的像素，将其灰度值设置为255；对低于阈值的梯度所对应的像素，将其灰度值设置为0。

[0075] 步骤S1047，对二值化的矩形图块进行解码，获得设备编号的二进制数。

[0076] 本实施例中，步骤S1047具体包括：根据矩形图块的宽度，将该图块按宽度方向均分为若干等份子图块，每一子图块包含一个第一凸起2或第二凸起3，对子图块按序编号。子图块的份数与第一凸起和第二凸起的数量之和要对应，可以根据实际的需求来确定。

[0077] 根据每个子图块的分辨率，创建两个具有相同分辨率的子图块模板，分别代表0和1，对子图块模板按序编号。

[0078] 对子图块和模板子图块进行聚类，获得设备编号的二进制数。聚类的方式有多种，作为一种可能实现的方式，聚类的步骤具体包括：

[0079] 将子图块和子图块模板组成样本；

[0080] 将样本对应的二维图像矩阵展开成一维向量；

[0081] 以模板子图块的一维向量作为聚类中心，以所有子图块的一维向量作为待聚类对象，依序计算待聚类对象与聚类中心的欧氏距离；

[0082] 按照欧氏距离最小的原则，将待聚类对象分类为0和1；

[0083] 将待聚类对象的类别按顺序排列，

[0084] 从而提取出一维码的第一凸起和第二凸起组成的二进制数。

[0085] 步骤S106，根据设备编号，获取井下设备在井下的绝对位置信息。

[0086] 在本实施例中，步骤S106具体包括：将设备编号的二进制数转换为十进制数；

[0087] 根据设备编号的十进制数，查询预置的设备数据库，确定设备在井下的绝对位置信息，其中，设备数据库中内容具有设备编号和对应的井下绝对位置信息。

[0088] 步骤S108，测量井下设备相对井下人员的深度信息。

[0089] 在本实施例中，步骤S108具体包括：摄像终端测量井下设备相对井下人员的深度信息，其中摄像终端具有ToF摄像头或激光雷达，摄像终端由下井人员携带。

[0090] ToF是Time‑of‑Flight的缩写，由一组人眼看不到的红外光（激光脉冲）向外发射，遇到物体后反射，反射到摄像头结束，计算从发射到反射回摄像头的时间差或相位差，并将数据收集起来，形成一组距离深度数据，从而得到一个立体的3D模型的成像技术。

[0091] 步骤S110，根据深度信息，计算得到井下人员与井下设备的相对位置信息。

[0092] 本实施例中，深度信息包括所检测到的井下设备各个点的三维坐标信息，根据三维坐标信息得到井下人员与井下设备的距离和角度。

[0093] 步骤S112，根据井下人员与井下设备的相对位置信息和井下设备在井下的绝对位置信息，获得井下人员当前在井下的绝对位置信息。

[0094] 本步骤通过距离和角度，利用空间距离计算的方法，可以解算得到井下人员当前在井下的绝对位置信息。

[0095] 将井下人员当前在井下的绝对位置信息上传至井上调度中心，即可实时获悉井下人员在井下的位置。

[0096] 以上可以看出，根据本发明实施例的基于图像识别和深度信息的井下人员定位方法，解决了在煤矿井下高煤尘、低照度的条件下，以及井下没有GPS信号的情况下，井下人员的实时定位问题。本发明方法定位精度高，适用于井下恶劣的作业环境。

[0097] 基于上述目的，本发明实施例的第二个方面，提出了一种基于图像识别和深度信息的井下人员定位装置，图3是本发明一实施例提出的基于图像识别和深度信息的井下人员定位装置的结构示意图。为了便于说明，仅仅使出了与本实施例相关的部分。

[0098] 参照图3，本实施例提供的基于图像识别和深度信息的井下人员定位装置8包括：

[0099] 采集单元81，用于采集井下设备的图像；

[0100] 识别单元82，用于根据图像识别井下设备的设备编号；

[0101] 绝对位置获取单元83，用于根据设备编号，获取井下设备在井下的绝对位置信息；

[0102] 深度信息测量单元84，用于测量井下人员与井下设备的深度信息；

[0103] 相对位置计算单元85，用于根据深度信息，计算得到井下人员与井下设备的相对位置信息；

[0104] 绝对位置计算单元86，用于根据井下人员与井下设备的相对位置信息和井下设备在井下的绝对位置信息，获得井下人员当前在井下的绝对位置信息。

[0105] 可选的，识别单元82具体包括：

[0106] 转换单元821，用于将靶面1的彩色图像转换为灰度图像；

[0107] 滤波单元822，用于对靶面1的灰度图像进行滤波，滤除存在于图像中的噪声信息；

[0108] 模板匹配单元823，用于对去噪后的灰度图进行模板匹配，获取靶面1在图像中的位置信息；

[0109] 提取和旋转单元824，用于根据位置信息提取出包括靶面1的矩形图块，旋转矩形图块中的所有像素；

[0110] 边缘检测单元825，用于对旋转后的矩形图块进行边缘检测；

[0111] 二值化单元826，用于根据梯度信息对旋转后的矩形图块进行二值化；

[0112] 设备编号获取单元827，用于对二值化的矩形图块进行解码，获得设备编号的二进制数。

[0113] 需要说明的是，本发明实施例提供的上述装置的各个单元，由于与本发明方法实施例基于同一构思，其带来的技术效果与本发明方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

[0114] 以上可以看出，本发明实施例提供的基于图像识别和深度信息的井下人员定位装置，解决了在煤矿井下高煤尘、低照度的条件下，以及井下没有GPS信号的情况下，井下人员的实时定位问题。本发明方法定位精度高，适用于井下恶劣的作业环境。

[0115] 需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

[0116] 在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或彼此可通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

[0117] 在本发明中，除非另有明确的规定和限定，第一特征在第二特征 “上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

[0118] 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

[0119] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

[0120] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。