一种具有尺度不变性的最稳定极值区域的提取方法

摘要

本发明公开了一种具有尺度不变性的最稳定极值区域的提取方法，首先使用最稳定极值区域算法在原始图像中检测初始的最稳定极值区域；再通过M进小波变换建立初始的最稳定极值区域的尺度金字塔，并在其中根据M进小波变换系数的能量算子，确定具有尺度不变性的特征点，对每个特征点，从最稳定极值区域的尺度金字塔的各层图像中获得与其对应的极值区域，并通过多尺度空间中极值区域的稳定性指标，提取出具有尺度不变性的最稳定极值区域，最后将具有尺度不变性的最稳定极值区域调整成椭圆形状，得到最终的具有不变性的最稳定极值区域。本发明将尺度不变性与最稳定极值区域结合起来，提取了最稳定极值区域，具有完全的仿射不变性。

权利要求

1.一种具有尺度不变性的最稳定极值区域的提取方法，其特征在于，包括如下步骤：

1)首先使用最稳定极值区域算法在原始图像中检测初始的最稳定极值区域；

2)通过M进小波变换建立初始的最稳定极值区域的尺度金字塔，在初始的最稳定极值区域的尺度金字塔中根据M进小波变换系数的能量算子，确定具有尺度不变性的特征点：j

将初始的最稳定极值区域记为f(x,y)，在递增尺度M下沿x和y方向，做M进小波变换，其中M为大于1小于2的实数，j为递增的正整数，其中的小波函数ψ(x,y)定义为j光滑函数 沿x和y方向的导数，从而得到由递增尺度M下的平滑的最稳定极值区域 及小波系数 组成的MSER尺度金字塔；对j为偶数时不同尺度的小波变换结果，结合其相邻位置上的信息，采用Teager能量算子得到M进制小波变换系数的能量及对应的模 根据该模值进行局部非极大值抑制，也就是与周围

8个点相比，如果当前点的模值最大，该点即被确定为具有尺度不变性的特征点，记为X＝j j(x,y,M)，其中(x,y)表示特征点的位置，M表示特征点所在尺度；

3)对由上述步骤确定的每个特征点，从最稳定极值区域的尺度金字塔的各层图像中获得与其对应的极值区域，并通过多尺度空间中极值区域的稳定性指标，提取出具有尺度不变性的最稳定极值区域：首先对从最稳定极值区域的尺度金字塔中提取的每个特征点，找出其所 在尺度下平滑的最稳定极值区域 中像素点的灰度值比其边界像素点的灰度值都大或者都小的连通区域，作为其对应的极值区域；然后判断该极值区域的空间稳定性和尺度稳定性，如果该极值区域在尺度空间和像素空间都是稳定的，那么该极值区域就是具有尺度不变性的最稳定极值区域；

上述稳定性指标包括尺度空间的稳定性指标ε(ER)和像素空间的稳定性指标尺度空间的稳定性指标ε(ER)定义为：其中j表示极值区域ER在尺度金字塔中的层次；

像素空间的稳定性指标 定义为：

+Δ -Δ

其中Δ是算法的一个输入参数，|·|表示集合的势，ER ，ER 属于极限区域，如果极值区域ER的ε(ER)存在局部极小值，则称极值区域ER在尺度空间是稳定的，如果极值区域ER的 是局部极小值，那么区域ER在像素空间是稳定的，如果极值区域ER在尺度空间和像素空间都是稳定的，那么极值区域ER就是具有尺度不变性的最稳定极值区域。

4)最后将具有尺度不变性的最稳定极值区域调整成椭圆形状：

首先根据面积大小和面积变化率大小删除重复或稳定性差的区域；然后根据协方差矩阵，将不规则形状区域调整为规则的椭圆形区域；将该椭圆形区域放大若干比例，得到最终的具有不变性的最稳定极值区域。

2.根据权利要求1所述具有尺度不变性的最稳定极值区域的提取方法，其特征在于，所述步骤2中M进小波变换中的

3.根据权利要求1所述具有尺度不变性的最稳定极值区域的提取方法，其特征在于，所述步骤4中根据面积变化率大小进行删除的区域有：面积变化率小于0.5或大于1的区域。

4.根据权利要求1所述具有尺度不变性的最稳定极值区域的提取方法，其特征在于，所述步骤4中，根据面积大小进行删除的区域为：设大面积区域的像素阀值为所选测试图像的像素个数的一半，当该面积区域的像素个数超过阀值，则为大面积区域，需要删除。

5.根据权利要求1-4之一所述具有尺度不变性的最稳定极值区域的提取方法，其特征在于，所述步骤4中椭圆形区域放大因子为2.5。

说明书

一种具有尺度不变性的最稳定极值区域的提取方法

技术领域：

[0001] 本发明涉及数字图像不变特征区域的提取，尤其是具有尺度不变性的最稳定极值区域的提取方法。背景技术：

[0002] 从图像中检测特征区域一直是计算机视觉领域的重点研究问题之一。近年来，基于局部区域的图像仿射不变特征区域受到越来越广泛的关注，并且被成功应用于目标识别、图像检索、机器人自主导航与场景理解以及物体图像分类等许多领域。

[0003] 典型的局部特征区域检测算法包括：Lowe提出的尺度不变特征点SIFT(scale invariant feature transform)，Mikolajczyk与Schmid提出的基于多尺度Harris角点的仿射不变特征点，Kadir等人提出的基于信息熵的仿射不变显著区域(AISR)和Matas等人提出的最稳定极值区域MSER(maximum stable extreme region)。在已经提出的局部仿射不变特征区域检测算法中，MSER算法在多个方面具有优越的性能，对图像的旋转变化、视角变化、亮度变化均具有很好的不变性。MSER算法基本思想是，对于任意一幅灰度图片，从小到大选取所有可能的阈值，得到对这幅图像来说的许多连通区域，最后求出这些区域中随阈值的变化其面积变化小于某个值的区域，也就是最稳定极值区域。由于MSER是从单一尺度图像中提取的，当图像尺度发生较大变化时，图像的模糊会使最稳定极值区域的边界发生变化，从而影响仿射不变区域的稳定性。

发明内容

[0004] 针对MSER算法存在的问题，本发明通过定义多尺度空间中极值区域的稳定性指标，提出一种具有尺度不变性的最稳定极值区域的提取方法，能够解决仿射不变特征提取中的第一个核心问题：特征区域的定位，即在哪里提取特征；同时，该提取方法检测到的仿射不变区域能够为后续的图像处理打下好的基础。

[0005] 本发明采取的技术方案是：一种具有尺度不变性的最稳定极值区域的提取方法，其具体步骤为：

[0006] 1)首先使用最稳定极值区域算法在原始图像中检测初始的最稳定极值区域；

[0007] 2)通过M进小波变换建立初始的最稳定极值区域的尺度金字塔，在初始的最稳定极值区域的尺度金字塔中根据M进小波变换系数的能量算子，确定具有尺度不变性的特征点：

[0008] 将初始的最稳定极值区域记为f(x,y)，在递增尺度Mj下沿x和y方向，做M进小波变换，其中M为大于1小于2的实数，j为递增的正整数，其中的小波函数ψ(x,y)定义为光j滑函数 沿x和y方向的导数，从而得到由递增尺度M下的平滑的最稳定极值区域及小波系数 组成的MSER尺度金字塔；对j为偶数时不同尺度的小
波变换结果，结合其相邻位置上的信息，采用Teager能量算子得到M进制小波变换系数的能量及对应的模 根据该模值进行局部非极大值抑制，也就是与周围8个点相j
比，如果当前点的模值最大，该点即被确定为具有尺度不变性的特征点，记为X＝(x,y,M)，j
其中(x,y)表示特征点的位置，M表示特征点所在尺度；

[0009] 3)对由上述步骤确定的每个特征点，从最稳定极值区域的尺度金字塔的各层图像中获得与其对应的极值区域，并通过多尺度空间中极值区域的稳定性指标，提取出具有尺度不变性的最稳定极值区域：

[0010] 首先对从最稳定极值区域的尺度金字塔中提取的每个特征点，找出其所在尺度下平滑的最稳定极值区域 中像素点的灰度值比其边界像素点的灰度值都大或者都小的连通区域，作为其对应的极值区域；然后判断该极值区域的空间稳定性和尺度稳定性，如果该极值区域在尺度空间和像素空间都是稳定的，那么该极值区域就是具有尺度不变性的最稳定极值区域；

[0011] 所述步骤3中稳定性指标包括尺度空间的稳定性指标ε(ER)和像素空间的稳定性指标

[0012] 尺度空间的稳定性指标ε(ER)定义为：

[0013]

[0014] 其中j表示极值区域ER在尺度金字塔中的层次；

[0015] 像素空间的稳定性指标 定义为：

[0016]

[0017] 其中Δ是算法的一个输入参数，|·|表示集合的势，ER+Δ，ER-Δ属于极限区域，如果极值区域ER的ε(ER)存在局部极小值，则称极值区域ER在尺度空间是稳定的，如果极值区域ER的 是局部极小值，那么区域ER在像素空间是稳定的，如果极值区域ER在尺度空间和像素空间都是稳定的，那么极值区域ER就是具有尺度不变性的最稳定极值区域。

[0018] 4)最后将具有尺度不变性的最稳定极值区域调整成椭圆形状，以便于后续处理：

[0019] 首先根据面积大小和面积变化率大小删除重复或稳定性差的区域；然后根据协方差矩阵，将不规则形状区域调整为规则的椭圆形区域；将该椭圆形区域放大若干比例，得到最终的具有不变性的最稳定极值区域。

[0020] 根据实施例的优选方案，步骤2中的所述M进小波变换中的 尺度空间数，即j的最大值J选21个。

[0021] 根据实施例的优选方案，步骤4中，根据面积变化率大小进行删除的区域有：面积变化率小于0.5或大于1的区域。

[0022] 根据实施例的优选方案，步骤4中，根据面积大小进行删除的区域为：设面积区域的像素阀值为所选测试图像的像素个数的一半，当该面积区域的像素个数超过阀值时，则为大面积区域，需要删除。

[0023] 根据实施例的优选方案，步骤4中，椭圆形区域放大因子为2.5。

[0024] 本发明的设计原理是：

[0025] 在现有的局部仿射不变特征区域检测算法中，Matas等人提出的MSER算法，对图像的旋转变化、视角变化、亮度变化均具有很好的鲁棒性，但其对图像尺度的变化稳定性不够。与此同时，现有的多尺度理论可以在不同的分辨率即多个尺度下对图像进行分析，与人类视觉系统由粗到细地感受图像信息是相一致的。本发明通过定义多尺度空间中极值区域的稳定性指标，提出一种多尺度的最稳定极值区域检测方法，其首先在原始图像上检测MSER。然后通过M进小波变换建立原始图像的MSER的尺度金字塔，在MSER尺度金字塔中检测小波系数的局部模最大值，确定具有尺度不变性的特征点。然后对确定的每个特征点，利用现有的区域增长算法从MSER尺度金字塔的各层图像中获得与其对应的极值区域,并通过多尺度空间中极值区域的稳定性指标，提取出具有尺度不变性的最稳定极值区域。最后将具有尺度不变性的最稳定极值区域调整成椭圆形状，以便于后续处理。

[0026] 综上所述，本发明将尺度不变性与最稳定极值区域结合起来，找到了可以提取不变特征的图像区域，即像素点坐标值。通过本发明检测到的最稳定极值区域，对图像的旋转变化、尺度变化、亮度变化、视角变化、噪声干扰等均能保持不变性，即具有完全的仿射不变性。

附图说明

[0027] 图1为实施例所述方法的流程框图；

[0028] 图2为协方差椭圆形区域的调整示意图；具体实施方式：

[0029] 以下结合附图和实施例数据对上述方法进行详细描述：

[0030] 如图1所示，一种具有尺度不变性的最稳定极值区域的提取方法，包括如下步骤：

[0031] 第一步，根据Murphy等人提出的MSER实现算法，在原始图像中检测MSER；(此步利用现有算法，详细过程不再赘述，仅对MSER定义如下：)

[0032] 灰度图像I可以定义为从2维像素坐标到灰度值S的一个映射，图像I中的极限区域ER是一个连通区域，而且满足以下条件：

[0033]

[0034] 其中关系R是大于关系或者是小于关系，C(ER)表示区域ER的边界，q和p表示像素点。如果R是大于关系，则称区域ER为极大值极限区域，表示为ER+；如果R是小于，则称区域ER为极小值极限区域，表示为ER-。根据以上的定义可知，极限区域是图像中像素点的灰度值比其边界像素点的灰度值都大或者都小的连通区域。为了从极限区域中寻找到最稳定极限区域，需要求取极限区域在像素空间的稳定指标

[0035]

[0036] 其中Δ是算法的一个输入参数，|·|表示集合的势，ER+Δ，ER-Δ属于极限区域。如果 是局部极小值，那么区域ER就是初始的最稳定极值区域MSER。

[0037] 第二步，通过M进小波变换建立原始图像MSER的尺度金字塔，在MSER尺度金字塔中确定具有尺度不变性的特征点：

[0038] a)从j＝1开始对原始图像MSER(记为f(x,y))进行多尺度的M进制小波变换，得到J个不同尺度下的M进制小波系数。为了与SIFT方法中考虑的图像尺度的层数基本保持一致，本实施例选 J＝21。小波变换时采用的小波函数则为二阶样条函数，这是因为二阶样条小波具有紧支撑，频域快速衰减，且解析表达式相对简单等特点。

[0039] b)对j为偶数时不同尺度的小波变换结果，结合其相邻位置上的信息，采用Teager能量算子,得到M进制小波变换系数的能量 和 及对应的模其中 表示对数值m取整。

[0040]

[0041]

[0042]

[0043] c)根据 的值进行局部非极大值抑制，也就是与周围8个点相比，只有当前点的 最大，则该点是候选特征点，否则就将该点从特征点检测算法中剔除。

[0044] 其中的M进小波变换定义为：

[0045] 假设函数θ(x)满足 且 时，称θ(x)为光滑函数。当θ(x,y)为二维光滑函数时，图像f(x,y)和不同尺度a上的光滑函数θa(x,y)卷积，将使图像f(x,y)被光滑，其中

[0046] 定义二维小波函数分别为：

[0047]

[0048]

[0049] 当ψ(1)(x,y)和ψ(2)(x,y)满足二维小波的完备性和稳定性条件，可以作为二维小波变换的小波母函数。记：

[0050]

[0051]

[0052] 则函数f(x,y)的小波变换为：

[0053]

[0054]

[0055] 为了便于计算机实现，通用的离散化尺度a的方法是对a按幂级数的形式逐步加j +大，即令a＝M,M>0,j∈Z,j

[0056] 可以证明：

[0057]

[0058] 由上式可看出，M进制小波系数 分别正比于尺度Mj下被所平滑图像f(x,y)沿水平方向和垂直方向的偏导数。

[0059] 第三步，对确定的每个特征点，从MSER尺度金字塔的各层图像中获得与其对应的极值区域，并通过多尺度空间中极值区域的稳定性指标，提取出具有尺度不变性的最稳定极值区域；

[0060] 本发明检测的尺度不变的最稳定极值区域特征是从尺度金字塔中提取的最稳定极值区域，不仅通过 对极值区域在像素空间的稳定性进行考察，而且对尺度空间的稳定性进行考察。极值区域在尺度空间的稳定性定义为：

[0061]

[0062] 其中j表示极值区域在尺度金字塔中的层次。如果极值区域ER的ε(ER)存在局部极小值，则称极值区域ER在尺度空间是稳定的。如果 是局部极小值，那么区域ER在像素空间是稳定的。如果极值区域ER在尺度空间和像素空间都是稳定的，那么极值区域ER就是具有尺度不变性的最稳定极值区域。

[0063] 第四步，最后将具有尺度不变性的最稳定极值区域调整成椭圆形状，以便于特征描述、特征匹配等后续处理。

[0064] 在进行椭圆形区域调整之前，根据面积大小和面积变化率大小删除一些区域。因为面积较大或较小的区域具有较差的独特性，直接导致较低的可匹配性。面积变化率较大的区域稳定性差，而面积变化率较小的区域多为重复区域。这些区域的存在会增加算法的时间复杂度。对于那些面积变化率过大和过小的区域，根据面积变化率大小进行删除，即去掉面积变化率小于0.5或大于1的区域，仅保留面积变化率位于0.5到l之间的区域：

[0065] 对于面积较大的区域来说，根据所选测试图像的像素个数，设大面积区域的像素阈值为全图像素个数的一半，若区域像素个数大于此阈值即删除该区域。而对于面积较小的区域，因为主要是由小的振动或噪声引起的，称其为噪声极值区域，具体设定为小于结构元素的为面积较小区域，使用现有的灰度形态学的闭合运算f·b＝(f⊕b)Θb来去除这些噪声极值区域，其中f为最稳定极值区域图像，⊕和Θ分别为膨胀和腐蚀运算，b为结构元素，该元素的大小可以根据噪声极值区域的平均大小来确定，一般应大于噪声极值区域的平均大小，本实施例所述结构元素b选用5*5像素的结构元素。

[0066] 此时得到的特征区域是不规则形状区域，而不规则形状区域是难以进行特征描述的。为了后续处理的方便，采用如下方法把不规则形状区域调整成椭圆。

[0067] 首先利用组成不规则区域的像素信息构建出基于向量表示的二阶中心距。

[0068]

[0069] 其中：X＝[x,y]是像素点的坐标，R代表不规则区域，|R|为由不规则区域内所有像素点组成的集合的势，即该区域内像素点的个数，E表示期望值，T表示转置。

[0070] 将上式写成降维的协方差矩阵形式，有

[0071]

[0072] 其中D(x)、D(y)、COV(x,y)分别为该区域内所有点的横坐标方差、纵坐标方差和横纵坐标的协方差：

[0073]

[0074] 且：

[0075]

[0076]

[0077] 其中，|R|为由不规则区域内所有像素点组成的集合的势，即该区域内像素点个数。

[0078] 协方差矩阵U为对称阵，根据它的特征向量和特征根，可得到调整后椭圆的长短轴方向和幅值，如图2示，图中α1和α2即为长短轴幅值，θ代表长轴的方向，E(x)和E(y)为调整后椭圆形区域的中心点坐标。

[0079] 每个最稳定极值区域都有一个与其对应的度量区域，即协方差椭圆形区域，该椭圆形区域的面积与最稳定极值区域的大小对应。若该椭圆形面积较小，那么它的显著性就较差。为了提高区域的显著性，将协方差椭圆进行放大，尽管这样有可能将图像中非目标的某些背景内容包括进来，但是根据相关文献，适当地增大度量区域的面积，可以大大提高度量区域的显著性，而背景的影响相比而言是可以接受的。鉴于此，本发明对协方差椭圆进行放大，参考实验结果将放大因子定为2.5。由于椭圆的参数仅由对应区域像素点的空间分布决定，因此用该方法对仿射变化能保持良好的鲁棒性。

[0080] 本实施例在尽量保持实验条件一致的基础上使用剑桥大学机器人研究小组提供的Graffiti等8组测试序列，根据性能评价方法，采用局部特征区域重复率来考察本发明方法与MSER算法的性能。定义局部特征区域重复率如下：

[0081]

[0082] 其中correctMathes表示两幅图像间正确匹配的最稳定极值区域数目，min Number表示两幅图像最稳定极值区域数目的较小值。

[0083] 无论图像之间发生了怎样的仿射变化，只要两幅图像中对应的局部特征区域还存在，理想的局部仿射不变特征区域检测算法就应该在对应的位置将它们检测出来。因此在相同的实验条件下，重复率越大的方法具有越好的性能。

[0084] 分别以8组测试序列的第1幅图像为参考图像，将参考图像缩放一定尺度得到待匹配的图像。第1幅待匹配图像相对参考图像的缩放因子为1.5，第2幅待匹配图像相对参考图像的缩放因子为2.0，依次类推，最后一幅待匹配图像相对参考图像的缩放因子为5.5。将这9幅待匹配图像分别为Z1、Z2、Z3、…和Z9。采用两种方法检测9幅图像的局部特征区域(也就是最稳定极值区域)，并分别计算9幅图像相对参考图像的特征区域重复率。对于8组测试序列，两种方法得到的特征区域重复率如下表所示

[0085]Z1 Z2 Z3 Z4 Z5 Z6 Z7 Z8 Z9
本发明 0.86 0.81 0.77 0.70 0.65 0.63 0.51 0.42 0.35
MSER 0.85 0.78 0.71 0.61 0.44 0.21 0.17 0.09 0.03

[0086] 从上表可以看出，在图像发生尺度变化时，本发明取得的特征区域重复率任何情况下都大于MSER方法。图像的尺度变化越大，本发明所述方法的优势越明显。