一种基于Kinect的非规则物体高度测量方法

摘要

本发明公开了一种基于Kinect的非规则物体高度测量方法，包括：（1）图像采集；（2）寻找目标区域；（3）背景距离矩阵预处理；（4）获取物体高度矩阵并进行预处理；（5）数据输入；（6）物体高度矩阵分层并标记label；（7）计算高度。本发明提供了一种基于Kinect的非规则物体高度测量方法，通过一种非接触性的测量手段，不伤及测量目标，不干扰被测物自然状态，可在自动化的条件下应用。

权利要求

1.一种基于Kinect的非规则物体高度测量方法，其特征在于，具体步骤包括：

(1)、图像采集：利用Kinect采集包含被测物体的前景深度图像和前景彩色图像以及不包含被测物体的测量平台背景深度图像和背景彩色图像，经配准后将前景深度图像和背景深度图像分别转换为前景彩色RGB图像和背景彩色RGB图像保存；

(2)、寻找目标区域：根据测量台的实际区域在步骤(1)中保存的前景彩色RGB图像和背景彩色RGB图像中分别截取前景ROI区域和背景ROI区域，且前景ROI区域和背景ROI之外的数值设定为零，前景和背景ROI区域内的每个像素点转换为距离值保存到前景距离矩阵和背景距离矩阵，其中,距离矩阵的元素值代表传感器采集的距离值，并将步骤(1)中采集的前景彩色图像和背景彩色图像进行减差，通过图像分割得到被测物体的二值图像作为前景标识区域；

步骤(1)中将深度图像转换为彩色RGB图像和所述步骤(2)中将前景ROI区域和背景ROI区域的像素点转换为距离值的转换公式如式(I)所示：Idepth＝IG+256×IB                        (I)

式中Idepth代表距离值，IG、IB代表彩色图像中G、B通道的值；

(3)、背景距离矩阵预处理：对步骤(2)中获得的背景距离矩阵存在的空洞进行预处理，其中,所述空洞指空洞处的元素值为零；

(4)、获取物体高度矩阵并进行预处理：将所述步骤(3)中预处理后的背景距离矩阵和步骤(2)中的前景距离矩阵减差取绝对值后作为物体高度矩阵，并根据测量情况设置高度范围区间对其进行滤波预处理，滤除过大和过小的噪点；

(5)、数据输入：设置用于计算高度所需的参数，包括步骤(4)预处理后的物体高度矩阵、步骤(2)中的前景标识区域、根据测量要求用于将物体高度矩阵分成不同区间的X值、阈值，其中，所述阈值用于判断高度矩阵区间的最大连通域像素点个数是否有效；

(6)、物体高度矩阵分层并标记label：遍历步骤(4)经预处理后的物体高度矩阵，如果前景标识区域元素值为1，按照步骤(4)中的物体高度矩阵中高度范围所在的区间将该区间的二值矩阵中的元素值标记为1，采用label标记从高到低的区间顺序；

(7)、计算高度：按照label从高到低的顺序求解不同高度范围区间的最大连通域，并将其与步骤(5)输入的阈值进行比较，若某高度范围区间label的最大连通域像素点个数大于阈值，则计算该区间对应的步骤(4)获得的物体高度矩阵中元素的平均值作为被测物体的高度值，否则label减1继续寻找下一高度范围区间的最大连通域判断，判断其是否大于阈值，直到label为最后一个，如果其最大连通域的像素点个数小于阈值则将高度值设置为0。

2.根据权利要求1所述的一种基于Kinect的非规则物体高度测量方法，其特征在于，步骤(3)所述的背景距离矩阵预处理采用逐行遍历ROI区域的方法，计算每行的非零元素的平均值，并以该值填充背景距离矩阵中的空洞。

3.根据权利要求1所述的一种基于Kinect的非规则物体高度测量方法，其特征在于，所述Kinect位于待测物体的正上方采集物体的深度图像和彩色图像。

说明书

一种基于Kinect的非规则物体高度测量方法

技术领域

[0001] 本发明涉及一种基于Kinect的非规则物体高度测量方法，属于计算机视觉领域。

背景技术

[0002] 计算机视觉是指利用计算机对采集的图像或者视频进行处理，从而代替人眼的视觉功能，实现对客观世界的三维场景的感知、识别和理解的技术。将计算机视觉应用于空间几何尺寸的精确测量和定位，从而产生视觉测量技术。视觉测量作为当今高新技术之一，在图像处理和计算机技术不断成熟和完善的基础上得到迅猛发展，并被广泛地投入到实际应用中。计算机视觉测量技术以图像传感器为手段检测空间物体的空间三维坐标，进而检测物体的尺寸、形状和运动状态等。

[0003] 微软公司推出的Kinect体感交互设备拥有一个RGB摄像头、一个红外发射器和一个红外摄像头，能够同时捕捉场景的彩色图像与深度图像，在3D重建、动作捕获、虚拟现实、增强现实等方面都得到了很好的应用，但是还很少被应用于视觉测量技术领域。Kinect捕获的深度图像存在较多空洞区域，即深度信息缺失，另外还存在闪烁现象以及光学噪声等问题。但是Kinect相对于其他深度提取设备，价格便宜，操作方便。而深度图像的空洞问题可以通过后期的处理进行填充。

[0004] 传统的物体高度是基于人工手动接触性测量，或者采用光电阵列进行测量。这些测量方法普遍存在测量时间长、精度低的缺点，无法满足快速、自动化的要求。

发明内容

[0005] 目的：为了解决现有技术中存在的诸多问题和不足，本发明提出了一种基于Kinect的非规则物体高度测量方法，通过一种非接触性的测量手段，不伤及测量目标，不干扰被测物自然状态，可在自动化的条件下应用。

[0006] 本发明的技术方案如下：

[0007] 一种基于Kinect的非规则物体高度测量方法，具体步骤包括：

[0008] (1)图像采集：利用Kinect采集包含被测物体的前景深度图像和前景彩色图像以及不包含被测物体的测量平台背景深度图像和背景彩色图像，经配准后将前景深度图像和背景深度图像分别转换为前景彩色RGB图像和背景彩色RGB图像保存；

[0009] (2)寻找目标区域：根据测量台的实际区域在步骤(1)中保存的前景彩色RGB图像和背景彩色RGB图像中分别截取前景ROI区域和背景ROI区域，且将前景ROI区域和背景ROI区域之外的数值设定为零，将前景ROI区域和背景ROI区域内的每个像素点转化为距离值分别保存到前景距离矩阵和背景距离矩阵，其中距离矩阵的元素值代表传感器到被测物的距离值，同时，将步骤(1)中采集的前景彩色图像和背景彩色图像进行减差，通过图像分割得到被测物体的二值图像作为前景标识区域；

[0010] (3)背景距离矩阵预处理：对步骤(2)中获得的背景距离矩阵存在的空洞进行预处理，其中所述空洞指空洞处的元素值为零，为了填充空洞需要进行预处理；

[0011] (4)获取物体高度矩阵并进行预处理：将所述步骤(3)中预处理后的背景距离矩阵和步骤(2)中的前景距离矩阵进行减差取绝对值后作为物体高度矩阵，并根据测量情况设置高度范围对其进行滤波预处理，滤除过大和过小的噪点；

[0012] (5)数据输入：设置用于计算高度所需的参数，包括步骤(4)中预处理后的物体高度矩阵、步骤(2)中前景标识区域、根据测量要求用于将物体高度矩阵分成不同区间的X值、阈值，其中所述阈值用于判断高度矩阵区间的最大连通域像素点个数是否有效；

[0013] (6)物体高度矩阵分层并标记label：遍历步骤(4)经预处理后的物体高度矩阵，如果前景标识区域元素值为1，按照物体高度矩阵中高度值所在的区间将该区间的二值矩阵中的元素值标记为1，采用label标记从高到低的区间；

[0014] (7)计算高度：按照label从高到低的顺序计算不同区间的二值矩阵的最大连通域，如果最大连通域大于阈值，则计算该区间对应的高度值矩阵中元素的平均值作为该非规则物体的高度值，否则label减1继续寻找下一区间的最大连通域，判断其是否大于阈值，直到label为最后一个，如果其最大连通域的像素点个数小于阈值则将高度值设置为0，其中所述阈值用于判断高度矩阵区间的最大连通域像素点个数是否有效。

[0015] 优选地，所述步骤(1)中将深度图像转换为彩色RGB图像和所述步骤(2)中将前景ROI区域和背景ROI区域的像素点转换为距离值的转换公式如式(I)所示：

[0016] Idepth＝IG+256×IB   (I)

[0017] 式中Idepth代表深度值，IG、IB代表彩色图像中G、B通道的值。

[0018] 优选地，步骤(3)所述的背景距离矩阵预处理采用逐行遍历ROI区域的方法，计算每行的非零元素的平均值，并以该值填充背景距离矩阵中的空洞。

[0019] 优选地，所述Kinect位于待测物体的正上方采集物体的深度图像和彩色图像。

[0020] 本发明的有益效果：本发明提供一种基于Kinect的非规则物体高度测量方法，不伤及测量目标，不干扰被测物自然状态，可在自动化的条件下应用，解决了传统测量方法测量时间长、精度低的问题，同时提高了测量精度。

附图说明

[0021] 图1是本发明测量装置的示意图；

[0022] 图2是本发明的物体高度值矩阵分层标记示意图；

[0023] 图3是本发明计算非规则物体高度算法流程图。

具体实施方式

[0024] 为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

[0025] 如图1-3所示，一种基于Kinect的非规则物体高度测量方法，具体步骤包括：

[0026] (1)图像采集：利用Kinect采集包含被测物体的前景深度图像和前景彩色图像以及不包含被测物体的测量平台背景深度图像和背景彩色图像，经配准后将前景深度图像和背景深度图像分别转换为前景彩色RGB图像和背景彩色RGB图像保存；

[0027] (2)寻找目标区域：根据测量台的实际区域在步骤(1)中保存的前景彩色RGB图像和背景彩色RGB图像中分别截取前景ROI区域和背景ROI区域，且将前景ROI区域和背景ROI区域之外的数值设定为零，将前景ROI区域和背景ROI区域内的每个像素点转化为距离值分别保存到前景距离矩阵和背景距离矩阵，其中距离矩阵的元素值代表传感器到被测物的距离，同时，将步骤(1)中采集的前景彩色图像和背景彩色图像进行减差，通过图像分割得到被测物体的二值图像作为前景标识区域；

[0028] (3)背景距离矩阵预处理：对步骤(2)中获得的背景距离矩阵存在的空洞进行预处理，其中所述空洞指空洞处的元素值为零，为了填充空洞需要进行预处理；

[0029] (4)获取物体高度矩阵并进行预处理：将所述步骤(3)中预处理后的背景距离矩阵和步骤(2)中的前景距离矩阵进行减差取绝对值后作为物体高度矩阵，并根据测量情况设置高度范围对其进行滤波预处理，滤除过大和过小的噪点；

[0030] (5)数据输入：设置用于计算高度所需的参数，包括步骤(4)中预处理后的物体高度矩阵、步骤(2)中前景标识区域、根据测量要求用于将物体高度矩阵分成不同区间的X值、阈值，其中所述阈值用于判断高度矩阵区间的最大连通域像素点个数是否有效；

[0031] (6)物体高度矩阵分层并标记label：遍历步骤(4)经预处理后的物体高度矩阵，如果前景标识区域元素值为1，按照物体高度矩阵中高度值所在的区间将该区间的二值矩阵中的元素值标记为1，采用label标记从高到低的区间；

[0032] (7)计算高度：按照label从高到低的顺序计算不同区间的二值矩阵的最大连通域，如果最大连通域大于阈值，则计算该区间对应的高度值矩阵中元素的平均值作为该非规则物体的高度值，否则label减1继续寻找下一区间的最大连通域，判断其是否大于阈值，直到label为最后一个，如果其最大连通域的像素点个数小于阈值则将高度值设置为0，其中，所述最大连通域为元素值为1且相互连通的最大像素点个数。

[0033] 优选地，所述步骤(1)中将深度图像转换为彩色RGB图像和所述步骤(2)中将前景ROI区域和背景ROI区域的像素点转换为距离值的转换公式如式(I)所示：

[0034] Idepth＝IG+256×IB   (I)

[0035] 式中Idepth代表深度值，IG、IB代表彩色图像中G、B通道的值。

[0036] 优选地，步骤(3)所述的背景距离矩阵预处理采用逐行遍历ROI区域的方法，计算每行的非零元素的平均值，并以该值填充背景距离矩阵中的空洞。

[0037] 优选地，所述Kinect位于待测物体的正上方采集物体的深度图像和彩色图像。

[0038] 实施例1:

[0039] (1a)利用Kinect采集包含被测物体的前景深度图像和前景彩色图像以及不包含被测物体的测量平台背景深度图像和背景彩色图像，经配准后通过转换公式式(I)将前景深度图像和背景深度图像分别转换为前景彩色RGB图像和背景彩色RGB图像保存；式(I)如下所示：

[0040] Idepth＝IG+256×IB   (I)

[0041] 其中，Idepth代表深度值，IG、IB代表彩色图像中G、B通道的值；

[0042] (1b)根据测量台的实际区域在步骤(1a)中保存的前景RGB图像和背景RGB图像中分别截取前景ROI区域和背景ROI区域，且将前景ROI区域和背景ROI区域之外的数值设定为零，将前景ROI区域和背景ROI区域内的每个像素点转化为距离值分别保存到前景距离矩阵和背景距离矩阵，其中距离矩阵的元素值代表传感器到被测物的距离，同时，将步骤(1)中采集的前景彩色图像和背景彩色图像进行减差，通过图像分割得到被测物体的二值图像作为前景标识区域；

[0043] (1c)对步骤(1b)中获得的背景距离矩阵进行预处理，填充ROI区域的空洞，填充背景距离矩阵的空洞采用逐行遍历ROI区域的方法，计算每行的非零元素的平均值，并以该值填充背景距离矩阵中的空洞；

[0044] (1d)根据步骤(1c)中得到的预处理后的背景距离矩阵和步骤(1b)中得到前景距离矩阵减差取绝对值后作为物体高度矩阵，并根据测量情况设置高度范围对其进行滤波预处理，滤除过大和过小的噪点；

[0045] (1e)设置用于计算高度所需的参数，包括步骤(1d)中预处理后的物体高度矩阵、步骤(1b)中前景标识区域、根据测量要求用于将物体高度矩阵分成不同区间的X值、判断计算所得高度矩阵区间的最大连通域像素点个数是否有效的阈值；

[0046] (1f)如图2所示，图2中的每层代表一个二值矩阵，二值矩阵的元素为1表示该点对应有物体高度矩阵中的高度值，元素为0表示没有对应的高度值，如果前景标识区域元素值为1，按照物体高度矩阵中高度值所在的区间将该区间的二值矩阵中的元素值标记为1，label用来标记从高到低的区间，例如：步骤(1d)预处理后的高度矩阵最大元素值为1000，最小元素为10，X＝50，则将高度值矩阵转换成50为一档的二值矩阵，分布在20个二值矩阵中，标记label＝20,19,18...1；

[0047] (1g)如图3所示，按照label从20开始计算高度区间的二值矩阵的最大连通域(即元素值为1且相互连通的最大像素点个数)，如果最大连通域大于阈值，则求该区间对应的高度值矩阵中元素的平均值作为该非规则物体的高度值，否则label减1继续寻找下一区间的最大连通域，判断其是否大于阈值，直到label为1，如果其最大连通域的像素点个数小于阈值则将高度值设置为0。

[0048] 其中，本发明中提及的滤波预处理和图像分割技术均为本领域技术人员所掌握的常规技术手段，故而未加详述。

[0049] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。