基于多线索信息的行为集体度衡量方法

摘要

本发明公开了一种基于多线索信息的行为集体度衡量方法，用于解决现有行为集体度衡量方法准确性差的技术问题。技术方案是检测并跟踪视频中的特征点，得到初始特征点集合，将视频帧分割为图像块。在同一图像块中，找出速度相近的特征点，保留其中速度变化最小的点，将其他特征点视为冗余点并移除，得到新的特征点集合，将其中特征点视为个体；根据个体之间的空间距离、速度相关度以及前一帧中的相似度，求出个体在当前帧的相似度，去除稳定度低的个体；通过流形学习，计算个体之间的拓扑相似度。对于某一个体衡量其行为集体度。所有个体行为集体度的均值即为整体行为的集体度。本发明通过对多线索信息的利用，使行为集体度计算的准确性得到了提升。

权利要求

1.一种基于多线索信息的行为集体度衡量方法，其特征在于包括以下步骤：步骤一、检测并追踪拥挤视频中的特征点，选取出最有代表性的特征点，用于代表拥挤场景中的个体；

1)检测并跟踪视频中的特征点，得到初始特征点集合；

2)采用分割算法将视频中每一帧图像分割为图像块；

3)在第t帧图像中，对于同一图像块中的特征点i和j，计算速度相似度：式中i和j分别代表两个特征点，t为图像帧数，vi和vj代表特征点速度，Ct(i,j)代表i和j在第t帧中的速度相似度；

若Ct(i,j)高于一定值，则认为i和j来自同一个体，只保留其中一个；反复迭代，直至找到保留的特征点属于不同个体；得到筛选后的特征点集合，将其中的特征点视为个体；

步骤二、利用多线索信息，计算个体相似度；

1)计算在每一帧图像t中个体之间的空间距离，找到每个个体i的多个近邻，记为N(i)，计算个体空间相似度矩阵：式中xi,yi代表i的空间坐标，xj,yj代表j的空间坐标，Dt(i,j)代表i和j在第t帧中的空间位置相似度；

2)结合第t-1帧图像中i与j的相似度St-1(i,j)，计算两个体在第t帧图像中的相似度：式中β为调节权重的参数，f为正比例函数，St(i,j)代表i和j在第t帧中的相似度；

步骤三、衡量个体稳定性，去除不稳定个体；

1)衡量每个个体i的速度稳定性：

2)衡量个体与临近点的速度偏差：

3)计算个体稳定程度：

STi(t)＝SPi(t)+αSNi(t)    (4)式中α为权重，STi(t)为个体i在t时刻的稳定程度；得到所有个体的稳定程度后，将稳定程度低的个体去除；

步骤四、利用流形学习，根据个体之间拓扑关系，衡量个体行为集体度，及整个场景行为集体度；

1)对于个体i与j，假设γl(i,j)＝{pi->pi+1->…pj-1->pj}为一条从i到j长度为l的路径，则在此路径上i与j的相似度为

2)i到j沿所有路径上的相似度为：式中Pl为i到j长度为l路径的集合，τi,j为i到j沿所有路径上的相似度；

利用St对τi,j进行计算：

τi,j＝[(I-St)-1-I]ij     (6)式中I表示单位矩阵；

因此，个体i的行为集体度即为：

式中C为个体集合；

场景行为集体度为：

式中，|C|表示场景中的个体数量。

说明书

基于多线索信息的行为集体度衡量方法

技术领域

[0001] 本发明涉及一种行为集体度衡量方法，特别是涉及一种基于多线索信息的行为集体度衡量方法。

背景技术

[0002] 随着人口增长，拥挤现象日益增加，针对拥挤场景的视频分析也变得格外重要。在人类社会和自然界的拥挤场景中，个体往往倾向于组成集体，并表现出一些集体行为，如鱼群效应、动物迁徙等。对于集体运动的研究可以应用于很多领域，如集体行为分析、群体仿真、拥挤场景分析等。为了对集体运动进行定量分析，Zhou等人在文献“B.Zhou,X.Tang,H.Zhang,and X.Wang.Measuring Crowd Collectiveness.IEEE Transactions on Pattern Analysis and Machine Intelligence,36,1586-1599,2014.”中首次提出了行为集体度的概念。行为集体度是指多个个体的运动可以被视为集体运动的程度，对于跨场景研究集体运动具有重要意义。

[0003] 目前衡量行为集体度的方法有两种：第一种是Zhou等人在文献“B.Zhou,X.Tang,H.Zhang,and X.Wang.Measuring Crowd Collectiveness.IEEE Transactions on Pattern Analysis and Machine Intelligence,36,1586-1599,2014.”中提出的方法，这种方法通过跟踪提取个体，并使用流形学习方法计算个体行为相似度，进而衡量行为集体度。第二种是Shao等人在文献“J.Shao,C.Loy,and X.Wang.Scene-independent group profiling in crowd.IEEE Conference  on Computer Vision and  Pattern Recognition,2227-2235,2014.”中提出的方法，通过跟踪提取个体后，对于所有个体的空间位置变化计算出一个变换矩阵，通过变换误差衡量行为集体度。以上两种方法存在提取个体时，从视频中检测并追踪特征点，进而直接把特征点当作个体，但是特征点并不能很好地代表个体，因为同一个体上不可避免地存在多个特征点。因此，这两种方法不能够准确衡量行为集体度。

发明内容

[0004] 为了克服现有行为集体度衡量方法准确性差的不足，本发明提供一种基于多线索信息的行为集体度衡量方法。该方法检测并跟踪视频中的特征点，得到初始特征点集合。采用分割算法将视频帧分割为图像块。在同一图像块中，找出速度相近的特征点，保留其中速度变化最小的点，将其他特征点视为冗余点并移除，得到新的特征点集合，将其中特征点视为个体；根据个体之间的空间距离、速度相关度以及前一帧中的相似度，求出个体在当前帧的相似度；衡量个体的速度稳定度以及与邻域个体速度偏差，去除稳定度低的个体；通过流形学习，计算个体之间的拓扑相似度。对于某一个体，根据其与其他个体的拓扑相似度，衡量其个体行为集体度。所有个体行为集体度的均值，即为整体行为的集体度。本发明通过对多线索信息的利用，挖掘更多信息，使行为集体度计算的准确性得到提升。

[0005] 本发明解决其技术问题所采用的技术方案是：一种基于多线索信息的行为集体度衡量方法，其特点是采用以下步骤：

[0006] 步骤一、检测并追踪拥挤视频中的特征点，选取出最有代表性的特征点，用于代表拥挤场景中的个体。

[0007] 1)检测并跟踪视频中的特征点，得到初始特征点集合；

[0008] 2)采用分割算法将视频中每一帧图像分割为图像块；

[0009] 3)在第t帧图像中，对于同一图像块中的特征点i和j，计算速度相似度：

[0010]

[0011] 式中i和j分别代表两个特征点，t为图像帧数，vi和vj代表特征点速度，Ct(i,j)代表i和j在第t帧中的速度相似度。

[0012] 若Ct(i,j)高于一定值，则认为i和j来自同一个体，只保留其中一个。反复迭代，直至找到保留的特征点属于不同个体。得到筛选后的特征点集合，将其中的特征点视为个体。

[0013] 步骤二、利用多线索信息，计算个体相似度。

[0014] 1)计算在每一帧图像t中个体之间的空间距离，找到每个个体i的多个近邻，记为N(i)，计算个体空间相似度矩阵：

[0015]

[0016] 式中xi,yi代表i的空间坐标，xj,yj代表j的空间坐标，Dt(i,j)代表i和j在第t帧中的空间位置相似度。

[0017] 2)结合第t-1帧图像中i与j的相似度St-1(i,j)，计算两个体在第t帧图像中的相似度：

[0018]

[0019] 式中β为调节权重的参数，f为正比例函数，St(i,j)代表i和j在第t帧中的相似度。

[0020] 步骤三、衡量个体稳定性，去除不稳定个体。

[0021] 1)衡量每个个体i的速度稳定性：

[0022] 2)衡量个体与临近点的速度偏差：

[0023] 3)计算个体稳定程度：

[0024] STi(t)＝SPi(t)+αSNi(t)   (4)

[0025] 式中α为权重，STi(t)为个体i在t时刻的稳定程度。得到所有个体的稳定程度后，将稳定程度低的个体去除。

[0026] 步骤四、利用流形学习，根据个体之间拓扑关系，衡量个体行为集体度，及整个场景行为集体度。

[0027] 1)对于个体i与j，假设γl(i,j)＝{pi->pi+1->…pj-1->pj}为一条从i到j长度为l的路径，则在此路径上i与j的相似度为

[0028] 2)i到j沿所有路径上的相似度为：

[0029]

[0030] 式中Pl为i到j长度为l路径的集合，τi,j为i到j沿所有路径上的相似度。

[0031] 利用St对τi,j进行计算：

[0032] τi,j＝[(I-St)-1-I]ij   (6)

[0033] 式中I表示单位矩阵。

[0034] 因此，个体i的行为集体度即为：

[0035]

[0036] 式中C为个体集合。

[0037] 场景行为集体度为：

[0038]

[0039] 式中，|C|表示场景中的个体数量。

[0040] 本发明的有益效果是：该方法检测并跟踪视频中的特征点，得到初始特征点集合。采用分割算法将视频帧分割为图像块。在同一图像块中，找出速度相近的特征点，保留其中速度变化最小的点，将其他特征点视为冗余点并移除，得到新的特征点集合，将其中特征点视为个体；根据个体之间的空间距离、速度相关度以及前一帧中的相似度，求出个体在当前帧的相似度；衡量个体的速度稳定度以及与邻域个体速度偏差，去除稳定度低的个体；通过流形学习，计算个体之间的拓扑相似度。对于某一个体，根据其与其他个体的拓扑相似度，衡量其个体行为集体度。所有个体行为集体度的均值，即为整体行为的集体度。本发明通过对多线索信息的利用，挖掘更多信息，使行为集体度计算的准确性得到提升，达到了79％以上。

[0041] 下面结合附图和具体实施方式对本发明作详细说明。

附图说明

[0042] 图1是本发明基于多线索信息的行为集体度衡量方法的流程图。

[0043] 图2是本发明方法在对视频帧进行筛选特征点前后的效果对比图，其中图2(a)是初始特征点集合，图2(b)是经过筛选的特征点集合。

具体实施方式

[0044] 参照图1-2。本发明基于多线索信息的行为集体度衡量方法具体步骤如下：

[0045] 步骤1，检测并追踪拥挤视频中的特征点，选取出最有代表性的特征点，用于代表拥挤场景中的个体。

[0046] (1a)检测并跟踪视频中的特征点，得到初始特征点集合；

[0047] (1b)采用分割算法将视频中每一帧图像分割为图像块。同一图像块中的特征点在颜色、空间分布上具有较高相似度。

[0048] (1c)在第t帧图像中，对于同一图像块中的特征点i和j，计算速度相似度：

[0049]

[0050] 式中i和j分别代表两个特征点，t为图像帧数，vi和vj代表特征点速度，Ct(i,j)代表i和j在第t帧中的速度相似度。

[0051] 若Ct(i,j)高于一定值，则认为i和j来自同一个体，只保留其中一个。反复迭代，直至找到保留的特征点属于不同个体。得到筛选后的特征点集合，将其中的特征点视为个体。

[0052] 步骤2，利用多线索信息，计算个体相似度。

[0053] (2a)计算在每一帧图像t中个体之间的空间距离，找到每个个体i的多个近邻，记为N(i)，计算个体空间相似度矩阵：

[0054]

[0055] 式中xi,yi代表i的空间坐标，xj,yj代表j的空间坐标，Dt(i,j)代表i和j在第t帧中的空间位置相似度。

[0056] (2b)结合第t-1帧图像中i与j的相似度St-1(i,j)，计算两个体在第t帧图像中的相似度：

[0057]

[0058] 式中β为调节权重的参数，f为正比例函数，St(i,j)代表i和j在第t帧中的相似度。

[0059] 步骤3，衡量个体稳定性，去除不稳定个体。

[0060] (3a)衡量每个个体i的速度稳定性：

[0061] (3b)衡量个体与临近点的速度偏差：

[0062] (3c)计算个体稳定程度：

[0063] STi(t)＝SPi(t)+αSNi(t)   (12)

[0064] 式中α为权重，STi(t)为个体i在t时刻的稳定程度。得到所有个体的稳定程度后，将稳定程度低的个体去除。

[0065] 步骤4，利用流形学习，根据个体之间拓扑关系，衡量个体行为集体度，及整个场景行为集体度。

[0066] (4a)利用图论知识，对于个体i与j，假设γl(i,j)＝{pi->pi+1->…pj-1->pj}为一条从i到j长度为l的路径，则在此路径上i与j的相似度为

[0067] (4b)i到j沿所有路径上的相似度为：

[0068]

[0069] 式中Pl为i到j长度为l路径的集合，τi,j为i到j沿所有路径上的相似度。

[0070] Zhou等人在文献“B.Zhou,X.Tang,H.Zhang,and X.Wang.Measuring Crowd Collectiveness.IEEE Transactions on Pattern Analysis  and Machine Intelligence,36,1586-1599,2014.”中指出可以利用St对τi,j进行计算：

[0071] τi,j＝[(I-St)-1-I]ij   (14)

[0072] 式中I表示单位矩阵。

[0073] 因此，个体i的行为集体度即为：

[0074]

[0075] 式中C为个体集合。

[0076] 场景行为集体度为：

[0077]

[0078] 式中，|C|表示场景中的个体数量。

[0079] 本发明的效果通过以下仿真实验做进一步的说明。

[0080] 1.仿真条件。

[0081] 本发明是在中央处理器为 i5-3470 3.2GHz CPU、内存4G、WINDOWS 7操作系统上，运用MATLAB软件进行的仿真。

[0082] 实验中使用的测试视频来来自于Collective Motion数据库，该数据库由Zhou等人在文献“B.Zhou,X.Tang,H.Zhang,and X.Wang.Measuring Crowd Collectiveness.IEEE Transactions on Pattern Analysis and Machine Intelligence,36,1586-1599,2014.”中提出，包括413个拥挤场景的视频片段，每个视频片段由100帧图像构成。根据场景行为集体度，视频片段被人工分为三个等级：低、中、高。

[0083] 2.仿真内容。

[0084] 计算场景行为集体度，用于分别提取三个等级的视频片段。为了对比本发明的有效性，选取了Zhou等人在文献“B.Zhou,X.Tang,H.Zhang,and X.Wang.Measuring Crowd Collectiveness.IEEE Transactions on Pattern Analysis  and Machine Intelligence,36,1586-1599,2014.”中提到的衡量场景行为集体度的方法(MCC)。调节参数，计算平均准确率、查全率与F值。对比结果如表1所示。

[0085] 表1实验结果对比

[0086]

[0087] 从表1可见，在提取低、中等级视频时，本发明准确率、召回率及F值均优于MCC；在提取中等级视频时，MCC准确率略高，但召回率与F值均低于本发明。总体来看，本发明在提取三个等级的视频片段时，取得更好的结果。本发明由于在图像分割的基础上筛选特征点，有效的移除冗余点，使个体的提取更为准确，如图2；本发明利用多线索信息，充分挖掘场景信息；本发明将不稳定个体去除，并采用流形学习的方法，能够处理拥挤场景的复杂结构。

[0088] 图2为初始特征点集合与筛选后特征点集合的对比。图2(a)为未经筛选的特征点集合，可以看出体积大的个体上包含更多更密集的特征点，说明未经筛选的特征点并不能很好地代表物体。说明了筛选后的特征点集合更能代表场景中的个体。图2(b)为经过筛选的特征点集合，可以看出经过筛选后的特征点在物体上的分布比较均匀，特征点数目受个体体积影响较小，可以更好地代表场景中的个体。