基于四元数的物体光流跟踪方法

摘要

一种视频图像处理技术领域的基于四元数的物体光流跟踪方法，利用了颜色的四元数表示，以整体信号的形式来处理颜色并估计光流。通过这种方式在具有空间颜色变化的像素位置能获得更准确的光流估计，从而能更健壮地跟踪物体上的特征点，降低跟踪误差。本发明同时采用四元数颜色角点，作为跟踪时可靠的特征点。采用四元数颜色角点和和灰度值角点共同构成跟踪时良好的特征点集，结合四元数光流估计算法进行物体光流跟踪。

权利要求

1.一种基于四元数的物体光流跟踪方法，其特征在于，包括以下步骤：第一步、在图像序列的第一帧中设定待跟踪目标的范围并在此范围内检测Harris角点，并保留角点程度度量大于阈值的Harris角点，具体包括：

1.1)计算图像序列的第一帧I在二维空间x和y方向的梯度Ix和Iy作为像素点局部邻域的幅值变化；

1.2)通过幅值相关矩阵M计算角点程度度量，以获得角点程度度量大于阈值γ的Harris角点；

第二步、在所述待跟踪目标的范围内检测四元数颜色角点，并保留颜色角点程度度量大于阈值的四元数颜色角点，具体包括：

2.1)将图像序列的第一帧I表示为纯四元数矩阵Iq，对Iq进行如下的四元数滤波，并分别取滤波结果的饱和度表示x方向的颜色变化程度Cx以及y方向的颜色变化程度Cy：μπ/4

其中：R＝Se ＝S{cosπ/4+μsinπ/4}，μ是单位纯四元数

2.2)通过颜色相关矩阵Mq计算颜色角点程度度量，以获得颜色角点程度度量大于阈值γq的四元数颜色角点；

第三步、结合Harris角点以及四元数颜色角点作为光流跟踪的特征集，对特征集中的每一个特征点，采用基于四元数的光流估计算法在图像序列的相邻两帧间进行光流估计，用所得到的光流值更新特征点在第二帧的位置并实现跟踪，具体包括：t t+1

3.1)t时刻时，在图像序列相邻两帧I 和I 间使用下述步骤估计特征点集中每一个特征点的光流，并把t时刻该特征点的位置加上其光流，得到t+1时刻该特征点的位置，并进行t+1时刻的光流估计，初始时t＝1；

t t+1 t，l t+1，l

3.2)将I 和I 分别进行下采样并生成p层图像金字塔I 和I ，l∈[1，p]为图像金字塔层号，首先在金字塔顶层进行步骤3.3)和3.4)所述的光流估计，所获得的光流放大至金字塔下一层面，作为该层面光流的初始值，再次进行步骤3.3)和3.4)所述的光流估计，如此反复，直至金字塔底层，得到最终估计的光流，为了进一步提高估计准确度，步骤

3.3) 和3.4)所述的光流估计在图像金字塔每一层面都进行q次循环；

t，l t+1，l

3.3)在图像金字塔第l层，将I 和I 分别表示为纯四元数图像 和 给定特征集中的Harris角点或四元数颜色角点中任一在三维空间的坐标为(x，y，t)，取其空间方向上w×w大小的局部邻域；令该邻域中心(x，y)处像素和另一像素i的四元数颜色值分别(c) (i)， (c) (i)为Q 和Q 计算Q 和Q 的四元数内积以表示像素i和中心像素的颜色相似程度，当颜色相似程度小于阈值α则排除像素i不执行以下步骤；

3.4)计算四元数图像 在空间x和y方向上的四元数梯度Qx、Qy，给定特征集中的Harris角点或四元数颜色角点中任一在三维空间的坐标为(x，y，t)，取其空间方向上w×w大小的局部邻域，取 中初始光流指向的相对应的邻域，计算该邻域时间方向的四元数梯度Qt，当经过

3.3)排除步骤 后，取邻域内 剩余的像素 点并得到四 元数光流等 式：其中： 是待估计的光流，数字上标表示邻域内剩余的像素点，上式的四元数矩阵形式为Aqvq＝bq，Aq是n×2纯四元数矩阵，bq是n×1纯四元数向量，vq是

2×1四元数向量， n×1四元数向量q的模定义为‖q‖＝sqrt(∑n|qn|2)，|qn|是每个四元数元素的模，计算vq＝(AqHAq)-1AqHbq，所求的光流为 其中S()表示取四元数的标量部分；

所述的幅值相关矩阵 其中g(σ)为高斯平滑滤波器，σ为滤波2

器尺寸参数，*为卷积；所述的角点程度度量Cornerness＝det(M)-k trace(M)，其中det和trace表示幅值相关矩阵M的行列式和迹，k为调整参数；

所述的颜色相关矩阵 其中g(σ)为高斯平滑滤波器，

σ为滤波器尺寸参数，*为卷积；所述的颜色角点程度度量是指：Cornernessq＝det(Mq)/(trace(Mq)+δ)，其中：det和trace表示颜色相关矩阵Mq的行列式和迹，δ＝

2.2204e-016。

2.根据权利要求1所述的基于四元数的物体光流跟踪方法，其特征是，所述的颜色相(i) (c) (i) (c)似程度是指Li＝/(|Q |·|Q |)，其中：<·，·>代表四元数内积，|·|代表四元数模。

说明书

基于四元数的物体光流跟踪方法

技术领域

[0001] 本发明涉及的是一种视频图像处理技术领域的方法，具体是一种基于四元数的物体光流跟踪方法。

背景技术

[0002] 物体光流跟踪首先在图像序列的第一帧中检测出被跟踪物体上可以被可靠跟踪的特征点，然后采用光流估计算法依次在图像序列相邻两帧中计算这些特征点的光流，得到下一帧中特征点的位置，如此反复，得到图像序列所有帧中被跟踪物体上所有特征点的位置，以获得被跟踪物体的位置。光流估计算法在图像处理和计算机视觉领域已经使用了很多年。Lucas-Kanade光流估计算法效率高，并且能够估计稀疏特征点的光流，因此适合于实时的物体跟踪。然而，原算法仅仅基于灰度值图像，而颜色作为一个整体单元包含了更多的信息。此外，在用于物体跟踪时，一些颜色特征是很稳定的，适合于跟踪，但是它们转化到灰度值上丧失了显著性，Lucas-Kanade光流估计算法就不能很好的工作。在其他一些情况下，比如用于估计光流的两帧图像间存在光照差异，颜色信息也会比灰度信息更稳定，有助于估计更准确的光流。因此在进行光流估计时使用颜色信息是非常重要的。

[0003] 经过对现有技术的文献检索发现，C.Lei和Y.Yang在《Proceedings of the12thInternational Conference onComputer Vision》(第12届计算机视觉国际会议集)第1562页到1569页上发表的“Optical Flow Estimation on Coarse-to-Fine Region-Trees using Discrete Optimization”(在粗略到精细部位树上使用离散最优化的光流估计)文章中提出了一种使用颜色分割结果来改进光流估计结果的方法。但是该方法基于整体能量最小化，因此不适合于跟踪稀疏特征点。G.Demarcq等人在《Proceedings of 2009International Conference on Image Processing》(2009年图像处理国际会议集)第481页到484页上发表的“The Color Monogenic Signal：A new framework for color image processing.application to color optical flow”(颜色单基因信号：彩色图像处理的新框架及其在彩色光流估计中的应用)文章中基于颜色图像的颜色单基因信号，提出了局部颜色相位的概念，并使用局部颜色相位来估计光流。P.Golland and A.M.Bruckstein在《Computer Vision and Image Understanding》(计算机视觉和图像理解)杂志1997年第68卷第3期346页到362页上发表的“Motion from Color”(由颜色获得运动信息)文章中，以及Kelson Aires等人在《Proceedings of 2008 ACM symposium on Applied computing》(2008年ACM应用计算研讨会论文集)第1607页到
1611页上发表的“Optical flowusing color information：preliminary results”(使用颜色信息的光流估计：初步结果)文章中使用了直接的三通道方法，在RGB三通道上分别应用Lucas-Kanade光流约束，并合并这些约束，以估计光流。也有其他的一些研究工作将颜色从RGB空间转换到其他颜色空间，并在转换后的空间估计光流，比如X.Xiang等人在《Proceedings of 2009 International Conference on Test and Measurement》(2009年测试和测量国际会议集)第378页到381页上发表的“A method of optical flow computation based on LUV color space”(基于LUV颜色空间的一种光流计算方法)文章中将颜色从RGB空间转换到LUV空间，而前述P.Golland and A.M.Bruckstein所著文章中将颜色从RGB空间转换到HSV空间。在使用RGB空间或其他颜色空间来估计光流方面，以前的工作还是将颜色视为分离的通道信号，而非把颜色视为一个整体信号。这促使寻找一种新的彩色光流估计算法，以整体利用颜色信息，提高光流估计的准确度。此外，成功的物体光流跟踪需要检测并跟踪可靠的特征点。直观上，颜色特征在跟踪上是可靠的，在有光照变化的情况下也比灰度特征稳定。这促使寻找一种适合于物体光流跟踪的颜色特征，配合彩色光流估计算法，提高物体跟踪的准确率。

发明内容

[0004] 本发明针对现有技术存在的上述不足，提供一种基于四元数的物体光流跟踪方法，利用了颜色的四元数表示，以整体信号的形式来处理颜色并估计光流。通过这种方式在具有空间颜色变化的像素位置能获得更准确的光流估计，从而能更健壮地跟踪物体上的特征点，降低跟踪误差。本发明同时采用四元数颜色角点，作为跟踪时可靠的特征点。采用四元数颜色角点和和灰度值角点共同构成跟踪时良好的特征点集，结合四元数光流估计算法进行物体光流跟踪。

[0005] 本发明是通过以下技术方案实现的，本发明包括以下步骤：

[0006] 第一步、在图像序列的第一帧I中设定待跟踪目标的范围并在此范围内检测Harris角点，并保留角点程度度量大于阈值γ的nh个Harris角点，具体步骤包括：

[0007] 1.1)计算图像序列的第一帧I在二维空间x和y方向的梯度Ix和Iy作为像素点局部邻域的幅值变化；

[0008] 1.2)通过幅值相关矩阵M计算角点程度度量，以获得角点程度度量大于阈值γ的Harris角点。

[0009] 所述的幅值相关矩阵 其中g(σ)为高斯平滑滤波器，σ为滤波器尺寸参数，*为卷积。

[0010] 所述的角点程度度量Cornerness＝det(M)-k trace2(M)，其中det和trace表示幅值相关矩阵M的行列式和迹，k为调整参数。

[0011] 第二步、在所述待跟踪目标的范围内检测四元数颜色角点，并保留颜色角点程度度量大于阈值γq的nq个四元数颜色角点，具体步骤包括：

[0012] 2.1)将图像序列的第一帧I表示为纯四元数矩阵Iq，对Iq进行如下的四元数滤波，并分别取滤波结果的饱和度表示x方向的颜色变化程度Cx以及y方向的颜色变化程度Cy：

[0013] Cx＝Saturation(Hx)，

[0014] Cy＝Saturation(Hy)，

[0015] 其中：R＝Seμπ/4＝S{cosπ/4+sinπ/4}，μ是单位纯四元数[0016] 2.2)通过颜色相关矩阵Mq计算颜色角点程度度量，以获得颜色角点程度度量大于阈值γq的四元数颜色角点。

[0017] 所述的颜色相关矩阵 其中g(σ)为高斯平滑滤波器，σ为滤波器尺寸参数，*为卷积。

[0018] 所述的颜色角点程度度量是指：Cornernessq＝det(Mq)/(trace(Mq)+δ)，其中：det和trace表示颜色相关矩阵M的行列式和迹，δ＝2.2204e-016。

[0019] 第三步、结合nh个Harris角点以及nq个四元数颜色角点作为光流跟踪的特征集，对特征集中的每一个特征点，采用基于四元数的光流估计算法在图像序列的相邻两帧间进行光流估计，用所得到的光流值更新特征点在第二帧的位置并实现跟踪，具体步骤包括：t t+1

[0020] 3.1)t时刻时，在图像序列相邻两帧I 和I 间使用下述步骤估计特征点集中每一个特征点的光流，并把t时刻该特征点的位置加上其光流，得到t+1时刻该特征点的位置，并进行t+1时刻的光流估计。初始时t＝1。t t+1 t，l t+1，l

[0021] 3.2)将I 和I 分别进行下采样并生成p层图像金字塔I 和I ，l∈[1，p]为图像金字塔层号。首先在金字塔顶层进行步骤3.3)和3.4)所述的光流估计，所获得的光流放大至金字塔下一层面，作为该层面光流的初始值，再次进行步骤3.3)和3.4)所述的光流估计。如此反复，直至金字塔底层，得到最终估计的光流。为了进一步提高估计准确度，步骤3.3)和3.4)所述的光流估计在图像金字塔每一层面都进行q次循环。

[0022] 3.3)在图像金字塔第l层，将It，l和It+1，l分别表示为纯四元数图像 和 给定特征集中的Harris角点或四元数颜色角点中任一在三维空间的坐标为(x，y,t)，取其空间方向上w×w大小的局部邻域；令该邻域中心(x，y)处像素和另一像素i的四元数颜色值分(c) (i) (c) (i)别为Q 和Q ，计算Q 和Q 的四元数内积以表示像素i和中心像素的颜色相似程度，当颜色相似程度小于阈值α则排除像素i不执行以下步骤。

[0023] 所述的颜色相似程度是指Li＝/(|Q(i)|·|Q(c)|)，其中：<·，·>代表四元数内积，|·|代表四元数模。

[0024] 3.4)计算四元数图像 在空间x和y方向上的四元数梯度Qx、Qy。给定特征集中的Harris角点或四元数颜色角点中任一在三维空间的坐标为(x，y，t)，取其空间方向上w×w大小的局部邻域，取 中初始光流指向的相对应的邻域，计算该邻域时间方向的四元数梯度Qt。当经过3.3)排除步骤后，取邻域内剩余的像素点并得到四元数光流等式：其中： 是待估计的光流，数字上标表示邻域内剩余的像
素点，上式的四元数矩阵形式为Aqvq＝bq，Aq是n×2纯四元数矩阵，bq是n×1纯四元数向量，vq是2×1四元数向量， n×1四元数向量q的模定义为
2 H -1 H
||q||＝sqrt(∑n|qn|)，|qn|是每个四元数元素的模。计算vq＝(AqAq) Aqbq，所求的光流为 其中S()表示取四元数的标量部分。

[0025] 本发明的原理是，采用颜色的四元数表示方式，以整体信号方式处理颜色，基于四元数检测的颜色角点，和灰度角点一起构成物体跟踪的特征点集，减少所需特征点数，提高跟踪速度，采用基于四元数的光流估计算法，对物体进行光流跟踪。对彩色图像进行四元数滤波获取颜色变化程度，计算滤波结果的饱和度以检测颜色角点。基于四元数的光流估计算法，在有颜色变化的区域能更准确的估计光流，并在局部邻域排除颜色差异程度大的像素，更加符合光流一致性假设，在进行物体光流跟踪时，更多的特征点保持在正确的位置，实现了健壮的跟踪。

[0026] 与现有技术相比，本发明基于四元数检测颜色角点，结合灰度角点作为物体光流跟踪的特征点集，基于四元数的光流估计算法，以整体信号方式而非分开的三通道方式处理颜色，在公开的光流估计评价测试中光流估计误差比Lucas-Kanada算法降低了11.9％，在物体光流跟踪实验中，有效地降低了特征点位置错误。

[0027] 本发明在公开的光流估计测试集上进行了四元数光流估计算法的定量评估，在Middlebury光流估计标准测试集上光流估计误差比Lucas-Kanada算法降低了11.9％。结合四元数颜色角点进行物体跟踪也提高了跟踪的准确率，证明了本发明能实现实时的、健壮的跟踪。

附图说明

[0028] 图1是本发明方法进行物体光流跟踪的流程图。

[0029] 图2是实施例四元数颜色角点和灰度角点区分图。

[0030] 图3是实施例的物体光流跟踪结果图。

具体实施方式

[0031] 下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

[0032] 实施例：

[0033] 第一步、在图像序列的第一帧I中设定待跟踪目标的范围并在此范围内检测Harris角点，并保留角点程度度量大于阈值γ的nh个Harris角点，该实施例中，γ＝2000，具体步骤包括：

[0034] 1.1)计算图像序列的第一帧I在二维空间x和y方向的梯度Ix和Iy作为像素点局部邻域的幅值变化；

[0035] 1.2)通过幅值相关矩阵M计算角点程度度量，以获得角点程度度量大于阈值γ的Harris角点。

[0036] 所述的幅值相关矩阵 其中g(σ)为高斯平滑滤波器，σ为滤波器尺寸参数，*为卷积。该实施例中，σ＝3。

[0037] 所述的角点程度度量Cornerness＝det(M)-k trace2(M)，其中det和trace表示幅值相关矩阵M的行列式和迹，k为调整参数。该实施例中，k＝0.04。

[0038] 第二步、在所述待跟踪目标的范围内检测四元数颜色角点，并保留颜色角点程度度量大于阈值γq的nq个四元数颜色角点，该实施例中，γq＝4.5e-4。具体步骤包括：

[0039] 2.1)将图像序列的第一帧I表示为纯四元数矩阵Iq，对Iq进行如下的四元数滤波，并分别取滤波结果的饱和度表示x方向的颜色变化程度Cx以及y方向的颜色变化程度Cy：

[0040] Cx＝Saturation(Hx)，

[0041] Cy＝Saturation(Hy)，

[0042] 其中：R＝Seμπ/4＝S{cosπ/4+sinπ/4}，μ是单位纯四元数[0043] 2.2)通过颜色相关矩阵Mq计算颜色角点程度度量，以获得颜色角点程度度量大于阈值γq的四元数颜色角点。

[0044] 所述的颜色相关矩阵 其中g(σ)为高斯平滑滤波器，σ为滤波器尺寸参数，*为卷积。该实施例中，σ＝3

[0045] 所述的颜色角点程度度量是指：Cornernessq＝det(Mq)/(trace(Mq)+δ)，其中：det和trace 表示颜色相关矩阵M的行列式和迹，δ＝2.2204e-016。

[0046] 第三步、结合nh个Harris角点以及nq个四元数颜色角点作为光流跟踪的特征集，对特征集中的每一个特征点，采用基于四元数的光流估计算法在图像序列的相邻两帧间进行光流估计，用所得到的光流值更新特征点在第二帧的位置并实现跟踪，具体步骤包括：

[0047] 3.1)t时刻时，在图像序列相邻两帧It和It+1间使用下述步骤估计特征点集中每一个特征点的光流，并把t时刻该特征点的位置加上其光流，得到t+1时刻该特征点的位置，并进行t+1时刻的光流估计。初始时t＝1。

[0048] 3.2)将It和It+1分别进行下采样并生成p层图像金字塔It，l和It+1，l，l∈[1，p]为图像金字塔层号。首先在金字塔顶层进行步骤3.3)和3.4)所述的光流估计，所获得的光流放大至金字塔下一层面，作为该层面光流的初始值，再次进行步骤3.3)和3.4)所述的光流估计。如此反复，直至金字塔底层，得到最终估计的光流。为了进一步提高估计准确度，步骤3.3)和3.4)所述的光流估计在图像金字塔每一层面都进行q次循环。该实施例中，p＝3，q＝3。

[0049] 3.3)在图像金字塔第l层，将It，l和It+1，l分别表示为纯四元数图像 和 给定特征集中的Harris角点或四元数颜色角点中任一在三维空间的坐标为(x，y，t)，取其空间方向上w×w大小的局部邻域；令该邻域中心(x，y)处像素和另一像素i的四元数颜色值分别为Q(c)和Q(i)，计算Q(c)和Q(i)的四元数内积以表示像素i和中心像素的颜色相似程度，当颜色相似程度小于阈值α则排除像素i不执行以下步骤。该实施例中，w＝9，α＝0.97。

[0050] 所述的颜色相似程度是指Li＝/(|Q(i)|·|Q(c)|)，其中：<·，·>代表四元数内积，|·|代表四元数模。

[0051] 3.4)计算四元数图像 在空间x和y方向上的四元数梯度Qx、Qy。给定特征集中的Harris角点或四元数颜色角点中任一在三维空间的坐标为(x，y，t)，取其空间方向上w×w大小的局部邻域，取 中初始光流指向的相对应的邻域，计算该邻域时间方向的四元数梯度Qt。当经过3.3)排除步骤后，取邻域内剩余的像素点并得到四元数光流等式：其中： 是待估计的光流，数字上标表示邻域内剩余的像
素点，上式的四元数矩阵形式为Aqvq＝bq，Aq是n×2纯四元数矩阵，bq是n×1纯四元数向量，vq是2×1四元数向量， n×1四元数向量q的模定义为
2 H -1 H
||q||＝sqrt(∑n|qn|)，|qn|是每个四元数元素的模。计算vq＝(AqAq) Aqbq，所求的光流为 其中S()表示取四元数的标量部分。

[0052] 实施效果

[0053] 依据上述步骤，对橄榄球比赛运动视频序列进行物体(运动员)光流跟踪。该视频序列中有蓝黄方和白方双方运动员，分别对应颜色特征显著和灰度特征显著的物体，从图2中可以看出Harris角点较多分散于白方运动员，四元数颜色角点较多分散于蓝黄方运动员，二者共同构成跟踪特征集。图3为Lucas-Kanade跟踪(图3中间列)和基于四元数的光流跟踪(图3右边列)结果图，可以看出基于四元数的光流跟踪，特征点位置正确(红色框表明位置错误的特征点)。其中依据上述第三步的光流估计算法，在Middlebury光流估计标准测试集上，采用平均角度误差(AAE)和平均光流终点误差(AEPE)评估光流估计，光流估计误差降低了11.9％。所有试验均在PC计算机上实现，该PC计算机的主要参数为：TM
中央处理器 Core 2DuoCPU E6600@2.40GHz，内存2GB。

[0054] 实验表明，较之于现有的物体光流跟踪方法，本实施例采用的特征点集兼顾灰度变化显著和颜色变化显著的稳定特征，用于之后的光流估计，所采用的光流估计算法有效的降低了光流估计误差，在跟踪时更准确计算特征点位置，提高了跟踪准确率。