基于视差图DBSCAN聚类的感兴趣区域提取方法

摘要

本发明公开了一种基于视差图DBSCAN聚类的感兴趣区域提取方法，包括如下步骤：步骤1：对双目视图进行匹配计算，得出视差图像；步骤2：将视差图像变形为1行N列向量的图像矩阵；其中，N为图像宽W与高H的乘积；步骤3：以视差的绝对值距离作为DBSCAN样本距离，利用DBSCAN聚类算法对图像矩阵进行聚类分析；步骤4：将聚类结果映射回原双目视图中的某一路，并根据聚类结果获取感兴趣区域。本发明无需人工交互和样本集训练，可以自动提取各深度下的感兴趣区域，不受复杂背景的影响，有利于图像的进一步分析和处理。

权利要求

1.一种基于视差图DBSCAN聚类的感兴趣区域提取方法，包括如下步骤：步骤1：对双目视图进行匹配计算，得出视差图像；

步骤2：对视差图像进行预处理，将视差图像变形为1行N列向量的图像矩阵；其中，N为图像宽W与高H的乘积；具体过程为：首先，采用形态学膨胀和腐蚀操作，进行空洞填充并去除孤立的噪声点；

然后，设定阈值T，将腐蚀后的图像中小于T的视差设为0；

最后，将处理后的视差图像变形为1行N列向量的图像矩阵；

步骤3：以视差的绝对值距离作为DBSCAN样本距离，利用DBSCAN聚类算法对步骤2所得图像矩阵进行聚类分析；

步骤4：将聚类结果映射回原双目视图中的某一路，并根据聚类结果获取感兴趣区域。

2.根据权利要求1所述的一种基于视差图DBSCAN聚类的感兴趣区域提取方法，其特征在于步骤1采用稀疏视差图方法或稠密视差图计算方法从双目视图中得出视差图像。

3.根据权利要求1述的一种基于视差图DBSCAN聚类的感兴趣区域提取方法，其特征在于步骤3中，聚类时忽略视差为0的点。

说明书

基于视差图DBSCAN聚类的感兴趣区域提取方法

技术领域

[0001] 本发明涉及图像处理技术领域，具体涉及一种基于视差图DBSCAN聚类的感兴趣区域提取方法。

背景技术

[0002] 感兴趣区域(Region of Interest,ROI)是指从被处理的图像中以某种形式选择的一个图像区域，此区域作为图像后续分析所关注的重点。一般而言，感兴趣区域为图像中目标物体所在区域，而非背景区域。采用感兴趣区域提取技术，可以减少图像处理时间，提高处理精度。

[0003] 现有的感兴趣区域提取多基于单目图像，通常采用人工交互手段或图像阈值分割方法，寻找相应的目标区域并视作感兴趣区域，其精度受图像本身影响较大，如光照不均、前背景差异较小均会造成提取的困难。目标检测技术也可作为感兴趣区域提取的一种手段，检测输出的目标框作为后续处理的感兴趣区，但是其需要大量的样本作为离线训练数据，对于样本获取及标注成本较大的场合难以适用。

[0004] 双目立体视觉融合双路图像，通过建立图像特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，形成视差图像，为图像处理提供距离向信息。单纯的视差图可简单理解为单通道图像，图像上每个像素点的值代表不同的视差，距离越近，视差越大。视差值的分布代表了空间上物体的分布情况。因此，基于视差图进行感兴趣区域提取可以极大地简化感兴趣区域提取的难度，避免对样本数据的依赖。

发明内容

[0005] 本发明的主要目的在于提供了一种基于视差图DBSCAN聚类的感兴趣区域提取方法，该方法通过对视差图进行DBSCAN聚类，获取原始视图的感兴趣区域。该方法无需人工交互和样本集训练，可以自动提取各深度下的感兴趣区域，不受复杂背景的影响，有利于图像的进一步分析和处理。

[0006] 本发明的发明目的采用以下技术方案实现：

[0007] 一种基于视差图DBSCAN聚类的感兴趣区域提取方法，包括如下步骤：

[0008] 步骤1：对双目视图进行匹配计算，得出视差图像；

[0009] 步骤2：对视差图像进行预处理，将视差图像变形为1行N列向量的图像矩阵；其中，N为图像宽W与高H的乘积；

[0010] 步骤3：以视差的绝对值距离作为DBSCAN样本距离，利用DBSCAN聚类算法对步骤2所得图像矩阵进行聚类分析；

[0011] 步骤4：将聚类结果映射回原双目视图中的某一路，并根据聚类结果获取感兴趣区域。

[0012] 优选地，步骤1采用稀疏视差图方法或稠密视差图计算方法从双目视图中得出视差图像。

[0013] 优选地，步骤2的具体过程为：

[0014] 首先，采用形态学膨胀和腐蚀操作，进行空洞填充并去除孤立的噪声点；

[0015] 然后，设定阈值T，将腐蚀后的图像中小于T的视差设为0；

[0016] 最后，将处理后的视差图像变形为1行N列向量的图像矩阵。

[0017] 优选地，步骤3中，聚类时忽略视差为0的点。

[0018] 本发明具有以下技术效果：

[0019] 1、本发明提供的基于视差图DBSCAN聚类的感兴趣区域提取方法，无需人工交互和样本集训练，能够自动提取图像的感兴趣区域。

[0020] 2、本发明提供的基于视差图DBSCAN聚类的感兴趣区域提取方法，可以自动提取各深度下的感兴趣区域，不受复杂背景的影响。

附图说明

[0021] 图1是本发明基于视差图DBSCAN聚类的感兴趣区域提取方法的整体框图。

[0022] 图2是本发明中DBSCAN聚类算法的模型图。

[0023] 图3是本发明实施案例中的双目图像。

[0024] 图4是本发明实施案例中的视差图。

[0025] 图5是本发明实施例中的聚类结果。

[0026] 图6是本发明实施案例中基于视差图DBSCAN聚类的感兴趣区域提取方法进行感兴趣区域提取的结果图。

具体实施方式

[0027] 为进一步说明本发明的技术内容，以下结合附图及实施案例对本发明详细说明。

[0028] 参见图1所示，一种基于视差图DBSCAN聚类的感兴趣区域提取方法，包括如下步骤：

[0029] 步骤1：对双目视图进行匹配计算，得出视差图像。视差图像可以来自采用基于SAD匹配的稀疏视差图方法，也可以来自基于SGM、图割、深度学习等稠密视差图计算方法。视差图应量化至0～255的像素值区间。

[0030] 步骤2：对步骤1输入的视差图像进行预处理，将视差图像变形为1行N列向量的图像矩阵；其中，N为图像宽W与高H的乘积，视差图像中的背景在图像矩阵中用0表示。

[0031] 所述步骤2中预处理的具体过程为：

[0032] 首先，采用形态学膨胀和腐蚀操作，进行空洞填充并去除孤立的噪声点。数学形态学操作采用结构元素element对图像进行卷积，并求取局部极值：

[0033]

[0034]

[0035] 其中，dilate表示膨胀后的图像，src表示原视差图，erode表示腐蚀后的图像，element为形态学操作的结构元素。

[0036] 形态学操作的迭代次数视视差图实际情况而定，一般1～3次即可。

[0037] 然后，设定阈值T，将腐蚀后的图像中小于T的视差设为0，作为背景以达到减小计算量的目的。实际聚类时对于视差为0的元素，不进行操作。阈值T根据实际使用场景设置，一般不宜太大。

[0038] 最后，将处理后的视差图像变形为1行N列向量，以方便处理。N为图像宽W与高H的乘积。

[0039] 步骤3：以视差的绝对值距离作为DBSCAN样本距离，利用DBSCAN聚类算法对步骤2所得图像矩阵进行聚类分析；

[0040] 用于DBSCAN聚类的输入数据为1行N列向量，聚类时忽略视差为0的点。DBSCAN样本距离Eps以视差的绝对值距离计算，而非欧式距离等空间距离。

[0041] 如图2所示，展示了DBSCAN算法的一般思想(图中并未展示所有的聚类簇)。图2中取Eps＝1，且设定对于某个特定的点，在Eps的距离范围内有0～1个近邻点，则这个点为离群点；有2个近邻点，则这个点是边界点；有3个及以上近邻点，则这个点为核心点。

[0042] 核心点对应稠密区域内部的点，边界点对应稠密区域边缘的点，而离群点对应稀疏区域中的点。

[0043] 聚类过程按照以下流程进行：

[0044] 输入：长度为N的视差图向量v(v1，v2，...，vN)，邻域参数(Eps,MinPts)，距离度量方式。

[0045] 输出：聚类簇C。

[0046] 1)初始化核心点集合 初始化聚类簇数k为0，初始化未访问的点集Γ为D，簇划分

[0047] 2)对于j＝1，2，...，N，按下面的步骤找出所有的核心点：

[0048] a)通过视差值绝对值距离度量方式，找到样本vj的∈‑邻域子点集Nε(vj)；

[0049] b)如果子点集点的个数满足|Nò(vj)|≥MinPts，将点vj加入核心点集合：Ω＝Ω∪{vj}；

[0050] 3)如果核心点集台 则算法结束，否则转入步骤4)；

[0051] 4)在核心点集合Ω中，随机选择一个核心点o，初始化当前簇核心点队列Ωcur＝{o}，初始化类别序号k＝k+1，初始化当前簇点集合Ck＝{o}，更新未访问的点集合Γ＝Γ‑{o}；

[0052] 5)如果当前簇核心点队列 则当前聚类簇Ck生成完毕，更新簇划分C＝{C1，C2，...，Ck}，更新核心点集合Ω＝Ω‑Ck，转入步骤3)；

[0053] 6)在当前簇核心点队列Ωcur中取出一个核心点o′，通过邻域距离阈值Eps找出所有的∈‑邻域子点集Nò(o′)，令Δ＝Nò(o′)∩Γ，更新当前簇点集合Ck＝Ck∪Δ，更新未访问的点集合Γ＝Γ‑Δ，更新Ωcur＝Ωcur∪(Δ∩Ω)‑o′，转入步骤5)；

[0054] 输出结果为：簇划分C＝{C1，C2，...，Ck}。

[0055] 以上，阈值Eps及MinPts需指定，MinPts为同一簇内满足距离度量的点的个数。

[0056] 步骤4：将聚类结果映射回原双目视图中的某一路，并根据聚类结果获取感兴趣区域。

[0057] 视差图对应回原双目视图按照像素位置映射，左视差图对应左图，右视差图对应右图。获取聚类点的最小外接矩形作为最终的感兴趣区域。

[0058] 为验证本发明提供的一种基于视差图DBSCAN聚类的感兴趣区域提取方法的功效，以两张双目图像进行实验，实验所用左右视图如图3所示，视差图如图4所示。图5为基于改进DBSCAN聚类后的标记图。图6为聚类结果映射回原图提取得到的感兴趣区域。

[0059] 可以看出，除背景外共提取得到4个感兴趣区域，分别对应原图中雕塑、台灯、桌子及三脚架4个明显目标区域。

[0060] 以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。