一种基于形状匹配的运动预测方法

摘要

本发明的一个实施例提供一种基于形状匹配的运动预测方法，包括：生成模板图像的形状描述；生成目标图像的判定值描述；利用模板图像的形状描述在目标图像的判定值描述中进行扫描，选择形状匹配计算结果中最大和值的方向作为目标运动预测范围。

权利要求

1.一种基于形状匹配的运动预测方法，包括：

生成模板图像的形状描述，包括：生成所述模板图像的每个像素点的黑塞矩阵；基于所述模板图像的每个像素的黑塞矩阵生成每个像素的判定值；在所述模板图像的判定值上按一定步长进行采样标记，利用这些采样点构成整幅模板图像的形状描述，其中当所述采样点绝对值大于阈值时，将所述采样点信息保存，符号相同的相邻点组成的集合构成形状描述；

生成目标图像的判定值描述，包括：生成目标图像的每个像素的黑塞判定值，将每个像素的黑塞判定值作为目标图像的判定值描述；

利用模板图像的形状描述在目标图像的判定值描述中进行扫描，选择形状匹配计算结果中最大和值的方向作为目标运动预测范围，包括：确定目标图像的判定值描述的初次预测中心点；模板图像的中心点分别在目标图像的判定值描述的中心点偏移量都为T的四个方向的位置，计算四个方向中模板图像的形状描述和目标图像的判定值的卷积和，卷积和值最大的方向为预测运动的范围。

2.如权利要求1所述的基于形状匹配的运动预测方法，其特征在于，生成黑塞矩阵之前对所述模板图像进行高斯滤波。

3.如权利要求1所述的基于形状匹配的运动预测方法，其特征在于，每个像素的判定值是黑塞矩阵的行列式、黑塞矩阵的特征值或黑塞矩阵的判别式。

4.如权利要求1所述的基于形状匹配的运动预测方法，其特征在于，目标图像的黑塞判定值描述与模板图像的黑塞判定值计算方法相同。

5.如权利要求1所述的基于形状匹配的运动预测方法，其特征在于，利用模板图像的形状描述在目标图像的判定值描述中进行扫描还包括：将前一次预测确定的卷积和的最大值的位置作为当前预测的中心点，模板图像的中心点分别在当前预测的中心点偏移量都为T的四个方向的位置，计算四个方向中模板图像的形状描述和目标图像的判定值的卷积和；

判断当前计算的卷积和的最大值是否大于前一次预测的卷积和最大值；

如果当前计算的卷积和的最大值大于前一次预测的卷积和最大值，则将当前预测变为前一次预测，重复将前一次预测确定的卷积和的最大值的位置作为当前预测的中心点，模板图像的中心点分别在当前预测的中心点偏移量都为T的四个方向的位置，计算四个方向中模板图像的形状描述和目标图像的判定值的卷积和；判断当前计算的卷积和的最大值是否大于前一次预测的卷积和最大值；

如果当前计算的卷积和的最大值小于前一次预测的卷积和最大值，则前一次预测的卷积和最大值的位置为图像预测的最终位置。

6.如权利要求1所述的基于形状匹配的运动预测方法，其特征在于，偏移量T小于100像素。

说明书

一种基于形状匹配的运动预测方法

技术领域

[0001] 本发明涉及计算机领域，具体而言，本发明涉及一种基于形状匹配的运动预测方法。

背景技术

[0002] 目标跟踪预测是近年来计算机视觉领域最活跃的研究方向之一，它包含从目标的图像序列中检测、分类、识别、跟踪并对其行为进行理解和描述，属于图像分析和理解的范畴。从技术角度而言，目标跟踪的研究内容相当丰富，主要涉及到模式识别、图像处理、计算机视觉、人工智能等学科知识；同时，动态场景中运动的快速分割、目标的非刚性运动、目标自遮挡和目标之间互遮挡的处理等问题也为目标跟踪研究带来了一定的挑战。依据被跟踪目标中提取的不同特征来分类目标跟踪算法主要有基于区域的目标跟踪算法、基于特征的跟踪算法、基于活动轮廓的跟踪算法和基于均值漂移(Mean shift)的跟踪算法。

[0003] 目标跟踪算法具有不同的分类标准，每种算法都有其自己的基本思想、优缺点等。不同的算法优缺点各不相同，适用的场合也就不同。因此针对不同跟踪算法有些优缺点存在互补性的研究也成为目前研究的热点。国内外众多研究者综合运用各学科知识，大胆尝试进行运动目标跟踪算法研究。

[0004] 目前传统的目标跟踪算法经过多年研究，形成了一系列成熟的算法，不少跟踪算法对非高频图像跟踪效果和速度都比较好，目标跟踪预测算法目前主要研究方向是提高跟踪速度，提高在光照变化、遮挡、非刚性运动、背景杂乱等外部条件影响下的跟踪效果。而对于以高频显示为主，频率变化快的文字类图像识别率低，跟踪效果差的问题研究较少，没有合适的跟踪预测方法，不能满足这方面的应用需求。

发明内容

[0005] 针对现有技术中存在的问题，本发明的一个实施例提供一种基于形状匹配的运动预测方法，包括：

[0006] 生成模板图像的形状描述；

[0007] 生成目标图像的判定值描述；

[0008] 利用模板图像的形状描述在目标图像的判定值描述中进行扫描，选择形状匹配计算结果中最大和值的方向作为目标运动预测范围。

[0009] 在本发明的一个实施例中，生成模板图像的形状描述包括：

[0010] 生成所述模板图像的每个像素点的黑塞矩阵；

[0011] 基于所述模板图像的每个像素的黑塞矩阵生成每个像素的判定值；

[0012] 在所述模板图像的判定值上按一定步长进行采样标记，利用这些采样点构成整幅模板图的形状描述。

[0013] 在本发明的一个实施例中，生成黑塞矩阵之前对所述模板图像进行高斯滤波。

[0014] 在本发明的一个实施例中，每个像素的判定值是黑塞矩阵的行列式、黑塞矩阵的特征值或黑塞矩阵的判别式。

[0015] 在本发明的一个实施例中，在所述模板图像的判定值上按一定步长进行采样标记，利用这些采样点构成整幅模板图的形状描述包括：

[0016] 当所述采样点绝对值大于阈值时，将所述采样点信息保存，符号相同的相邻点组成的集合构成形状描述。

[0017] 在本发明的一个实施例中，目标图像的黑塞判定值描述与模板图像的黑塞判定值计算方法相同。

[0018] 在本发明的一个实施例中，利用模板图像的形状描述在目标图像的判定值描述中进行扫描包括：

[0019] 确定目标图像的判定值描述的初次预测中心点；

[0020] 模板图像的中心点分别在目标图像的判定值描述的中心点偏移量都为T的四个方向的位置，计算四个方向中模板图像的形状描述和测试图像的判定值的卷积和，卷积和值最大的方向为预测运动的范围。

[0021] 在本发明的一个实施例中，利用模板图像的形状描述在目标图像的判定值描述中进行扫描还包括：

[0022] 将前一次预测确定的卷积和的最大值的位置作为当前预测的中心点，模板图像的中心点分别在当前预测的中心点偏移量都为T的四个方向的位置，计算四个方向中模板图像的形状描述和测试图像的判定值的卷积和；

[0023] 判断当前计算的卷积和的最大值是否大于前一次预测的卷积和最大值；

[0024] 如果当前计算的卷积和的最大值大于前一次预测的卷积和最大值，则将当前预测变为前一次预测，重复将前一次预测确定的卷积和的最大值的位置作为当前预测的中心点，模板图像的中心点分别在当前预测的中心点偏移量都为T的四个方向的位置，计算四个方向中模板图像的形状描述和测试图像的判定值的卷积和；判断当前计算的卷积和的最大值是否大于前一次预测的卷积和最大值；

[0025] 在当前计算的卷积和的最大值小于前一次预测的卷积和最大值，则前一次预测的卷积和最大值的位置为图像预测的最终位置。

[0026] 在本发明的一个实施例中，偏移量T小于100像素。

[0027] 本发明公开的基于形状匹配的运动预测方法能够实现以小的计算代价做大范围预测。

附图说明

[0028] 为了进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。

[0029] 图1示出根据本发明的一个实施例的图像运动预测方法的流程图。

[0030] 图2示出根据本发明的一个实施例的模板图像的形状描述的示例图。

[0031] 图3示出根据本发明的一个实施例进行目标运动预测的过程的示意图。

具体实施方式

[0032] 在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免使本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。

[0033] 在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。

[0034] 在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免使本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。

[0035] 在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。

[0036] 本发明提出一种针对高频图像进行大范围预测的全新的方法，通过形状匹配来实现运动预测。一般跟踪算法中，Hessian(黑塞)矩阵使用是通过选取极大值或极小值作为特征点来实现预测跟踪，而本方法是在Hessian矩阵行列式上按一定步长进行采样生成形状，然后利用形状匹配方法进行计算，最后选出最大值的运动方向为预测范围，实现以小的计算代价做大范围预测。

[0037] 本发明通过Hessian矩阵对文字较多以高频显示为主的图像进行处理，以达到去高频效果，然后进行形状匹配和预测，实现高频图像的大范围预测，解决目前匹配跟踪方法在高频抗干扰方面的不足。

[0038] 高频信息可包括文字。在此应当指出，在本发明中，图像的频率是表征图像中灰度变化剧烈程度的指标，是灰度在平面空间上的梯度；那么，高频图像是表征灰度变化剧烈、灰度在平面空间上的梯度大、和/或边缘锐利的图像。例如，根据应用场景，高频信息是文字、高速运动场景、或高速运动物体等等。

[0039] 图1示出根据本发明的一个实施例的图像运动预测方法的流程图。

[0040] 首先，在步骤110，生成模板图像的形状描述。在本发明的实施例中，可通过Hessian矩阵来生成模板图像的形状描述。

[0041] Hessian矩阵是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。针对每个像素点，其Hessian矩阵如下：

[0042]

[0043] 在构造Hessian矩阵前可以对图像进行高斯滤波，去除噪声引起的像素突变，经过滤波后的Hessian矩阵可表述为：

[0044]

[0045] 基于模板图像的每个像素的Hessian矩阵生成每个像素的判定值，该判定值可以是Hessian矩阵的行列式、Hessian矩阵的特征值或Hessian矩阵的判别式等等。

[0046] 在模板图像的判定值上按一定步长进行采样标记，利用这些采样点构成整幅模板图的形状描述。

[0047] 模板图像采样点绝对值大于阈值时，将这些点值和坐标信息保存，由于这些值有正负之分，符号相同的相邻点组成的集合构成形状描述，即也是根据明暗信息组成形状描述。图2示出根据本发明的一个实施例的模板图像的形状描述的示例图。如图2所示，模板图210的大小与原模板图像相同，采样点绝对值大于阈值时，将这些采样点信息保存，符号相同的相邻点组成的集合构成形状描述220。模板图210中其余点的值被丢弃。换言之，可将其余点的值视为0。

[0048] 在步骤120，生成目标图像的每个像素的Hessian判定值，将每个像素的Hessian判定值作为目标图像的判定值描述。在本发明的具体实施例中，目标图像的Hessian判定值与模板图像的Hessian判定值计算方式相同。目标图像的Hessian判定值可以是目标图像每个像素的Hessian矩阵的行列式、Hessian矩阵的特征值或Hessian矩阵的判别式等等。

[0049] 在步骤130，利用模板图像的形状描述在目标图像的判定值描述中进行扫描。选择形状匹配计算结果中最大和值的方向作为目标运动预测范围。

[0050] 在本发明的实施例中，为了简化扫描计算，以目标图像的判定值描述的某点为中心点，初次预测的中心点可以是目标图像的判定值描述的中心点，模板图像的中心点分别在偏移量都为T的四个方向的位置，计算四个方向中模板图像的形状描述和测试图像的判定值的卷积和，和值最大的方向为预测运动的范围，下一次预测基于本次预测范围进行。如果需要继续进行下一次预测，那么对于下一次预测来说，本次预测就是上一次预测，直到运算的最大和值小于上一次运算的和值时，上一次的位置就为本帧图像预测的最终位置。

[0051] 卷积计算可看作是加权求和的过程，使用到的图像区域中的每个像素分别与卷积核(即，权矩阵)的每个元素对应相乘，所有乘积之和作为区域中心像素的新值。

[0052] 3*3的像素区域R与卷积核G的卷积计算：

[0053] 假设R为3*3的像素区域，卷积核为G：

[0054]

[0055] 卷积和＝R1G1+R2G2+R3G3+R4G4+R5G5+R6G6+R7G7+R8G8+R9G9。

[0056] 在上述的模板图像的形状描述与测试图像的判定值的卷积和计算过程中，可将模板图像的形状描述看做稀疏卷积核，仅计算模板图像的形状描述中具有值的采样点与测试图像的对应坐标位置的判定值的乘积和。

[0057] 在一帧图像预测过程中，由于偏移量T值很小，例如，偏移量T小于100个像素，一次预测不能得到最大和值，因此，需要经过多次迭代预测来得到本帧图像预测的最大和值。

[0058] 在本发明的其他实施例，可以采用不同的扫描策略。例如，首先确定扫描计算的初始点，然后逐个像素进行扫描。或者，先以较大的的扫描补偿预先确定一个较大的范围，然后逐步缩小扫描范围。

[0059] 图3示出根据本发明的一个实施例进行目标运动预测的过程的示意图。在图3中，首先，以目标图像的判定值描述的某点P1为初次预测的中心点，P2为初次预测范围及下次预测中心点。图3中的A部分示出了目标图像的判定值描述与模板图像的重叠部分。图3中的B部分示出了预测第一步的偏移量的示意图。虚线框标记的图像都为模板图像(包括形状描述，本图中未标出)，标记的x1、x2、x3、x4是以x0为中心，且偏移量都为T的四个方向，同时x1、x2、x3、x4为对应模板图像的中心点。图3中的C部分示出了预测第二步的偏移量的示意图。标记x5、x6、x7、x8是以x3为中心，且偏移量都为T的四个方向，同时x5、x6、x7、x8也为对应模板图像的中心点。

[0060] 如图3中，以测试图x0为中心点，假如在四个方向x1、x2、x3、x4计算中，x3的方向和值最大，那么x3的方向为本次计算预测的范围，下一次预测以x3的位置为中心，继续计算偏移量都为T的四个方向x5、x6、x7、x8的卷积和。多次重复上述计算过程，直到运算的最大卷积和值小于上一次运算的和值时，上一次的位置就为本帧图像预测的最终位置。

[0061] 尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。