用于确定行人流的方法和系统

摘要

方法和系统通过以下处理来确定流：首先，用摄像头获取流的视频，其中，流是场景中的行人，其中，视频包括一组帧。从该组中的各帧提取运动向量，并且根据该组帧中的运动向量构造数据矩阵。根据该数据矩阵确定低秩Koopman算子，并且分析该低秩Koopman算子的谱来确定一组Koopman模式。然后，根据Koopman模式的聚类将帧划分成独立的流。

权利要求

1.一种用于确定流的方法，该方法包括以下步骤：用摄像头获取场景中的行人流的视频，其中，所述视频包括一组帧；

从所述一组帧提取运动向量；

根据所述一组帧中的所述运动向量构造数据矩阵；

根据所述数据矩阵，通过在最小二乘约束或总体最小二乘约束的情况下求解因子化的核范数最小化问题来确定低秩Koopman算子；

分析所述低秩Koopman算子的谱，通过奇异值分解和/或特征值分解来确定一组Koopman模式；以及根据所述Koopman模式的k平均聚类或图谱聚类将所述一组帧划分成独立行人流，并且，所述步骤在处理器中执行。

2.根据权利要求1所述的方法，其中，所述运动向量包括高斯分布噪声，并且所述方法还包括：由Frobenius范数正则化项来使所述高斯分布噪声最小化。

3.根据权利要求1所述的方法，其中，所述运动向量包含稀疏异常值噪声，并且所述方法还包括：由1范数正则化项使所述稀疏异常值噪声最小化。

4.根据权利要求1所述的方法，所述通过奇异值分解来确定一组Koopman模式包括：对所述低秩Koopman算子执行奇异值分解SVD来生成奇异向量；以及所述根据所述Koopman模式的k平均聚类或图谱聚类将所述一组帧划分成独立行人流包括：对所述低秩Koopman算子的行空间奇异向量应用所述k平均聚类或所述图谱聚类。

5.根据权利要求1所述的方法，所述通过特征值分解来确定一组Koopman模式包括：对所述低秩Koopman算子执行特征值分解来生成特征向量；

通过将所述数据矩阵投影到所述特征向量上来确定投影系数向量；

确定占优Koopman模式，作为所述低秩Koopman算子的在所述投影系数向量中具有大于阈值的幅值的所述特征向量；以及所述根据所述Koopman模式的k平均聚类或图谱聚类将所述一组帧划分成独立行人流包括：通过对所述占优Koopman模式应用所述k平均聚类来确定片段。

6.根据权利要求1所述的方法，所述方法还包括：通过选择正则化项使所述运动向量包含的噪声最小化，其中，所述正则化项用于所述噪声的分布并且从由Frobenius范数、欧几里得范数、绝对值和范数、1范数正则化项及其组合构成的组中选择。

7.根据权利要求1所述的方法，其中，所述一组帧包括空间块，并且所述方法还包括：堆叠所述一组帧的所有所述空间块的水平运动向量和垂直运动向量来构造所述数据矩阵。

8.根据权利要求1所述的方法，其中，通过动态模式分解DMD来确定所述低秩Koopman算子。

9.根据权利要求1所述的方法，其中，各所述独立行人流中的运动被表征，并且所述方法还包括：提取所述数据矩阵的行的子集；

通过将所述行的所述子集投影到所述一组Koopman模式上来确定投影系数向量；

确定所述低秩Koopman算子的与所述投影系数向量中的幅值大于阈值的条目关联的特征值；以及根据所述特征值在复平面中的位置来表征描述所述独立行人流。

10.根据权利要求1所述的方法，其中，所述视频为压缩的比特流的形式。

11.根据权利要求10所述的方法，其中，在所述比特流中的块的级别下进行所述划分。

12.一种用于确定流的系统，该系统包括：

摄像头，该摄像头被配置为获取场景中的行人流的视频，其中，所述视频包括一组帧；

和

处理器，该处理器连接到所述摄像头，被配置为从所述一组帧提取运动向量，根据所述一组帧中的所述运动向量构造数据矩阵，根据所述数据矩阵，通过在最小二乘约束或总体最小二乘约束的情况下求解因子化的核范数最小化问题来确定低秩Koopman算子，分析所述低秩Koopman算子的谱，通过奇异值分解和/或特征值分解来确定一组Koopman模式，并且根据所述Koopman模式的k平均聚类或图谱聚类将所述一组帧划分成独立行人流。

说明书

用于确定行人流的方法和系统

技术领域

[0001] 本发明总体涉及计算机视觉，更具体地涉及在如视频所描绘的流中划分行人。

背景技术

[0002] 在视频中的行人的密集人群内的运动流划分是人群安全和人群控制用途的重要的工具。拥挤场景的视频即使在正常情况下也可以展示复杂的人群行为。例如，在大拥塞区域(诸如火车站)中的人群流最初可能看起来无序。然而，情况常常是流中存在低维动态结构，期望将其从未结构化的流中识别并划分。而且，对独立人群流的自动划分帮助对拥挤环境中的危险情况的监测和预测。

[0003] 特别感兴趣的是使用从视频提取的运动信息来检测并估计人群流。使用应用于视频中的纹理(作为像素强度)的光学流估计，可以确定运动向量，或者从比特流可以直接提取运动向量。比特流可以使用已知编码标准例如，MPEG、H.264、HEVC等中的任一种来编码。

[0004] 在将拥挤场景中的行人看作流中的颗粒的情况下，视频帧的运动向量与流中在某一时刻对颗粒的速度的观察结果对应。处理运动向量而不是视频纹理，保护在监控视频中观察的个人的隐私。

[0005] U.S.8773536公开了一种在监控视频中检测独立运动的方法。方法通过将纹理梯度与运动向量进行比较来根据视频的宏块构造线性系统。当相对于该线性系统将运动标记为统计异常值时检测到独立流。

[0006] U.S.8358806公开了一种使用形状索引来进行的划分视频中的人群的方法。对视频执行背景差分，以识别前景剪影形状。通过针对一组预定前景剪影形状匹配前景剪影形状来确定人的近似数量和位置。

[0007] 动态系统建模

[0008] 当行人的人群的密度高时，该人群中的个人的运动可以被建模为流体流。常用于人群分析的一个这种模型是Hughes模型，参见：Hughes“A continuum theory for the flow of pedestrians,”Transportation Research Part B:Methodological,第36卷，第6期，第507-535页，2002年7月。

[0009] Hughes将人群流作为密度ρ(x,y,t)和速度(u(x,y,t)and v(x,y,t))的函数建模为：

[0010]

[0011] 其中，u(x,y,t)和v(x,y,t)是每个空间点(x,y)和时间t的水平方向和垂直方向的相应速度。在人群建模中还可以使用Greenshields模型来将密度场和速度场相关。格林希尔茨模型为：

[0012]

[0013] 其中，和 是确定水平方向和垂直方向上的最大速度的系统参数，并且 是场景中的最大密度。

[0014] (1)的解对于满足给定初始以及边界条件的所有(x,y,t)得到人群密度地图ρ和速度场(u,v)。虽然监管ρ和(u,v)的演进的微分方程的维数可以无限，但情况经常是流展示低维行为。

[0015] 在时间t处的低维状态变量是x(t)，对于该变量，可观察向量y(t)＝G(x(t))时间t处对于所有位置x和y与密度场和速度场的堆叠对应。函数G是从x在上面演进的低维流形到可观察量的空间的映射。然后，(1)的解确定对应动态系统的瞬态响应和稳定性，该对应动态系统通常用以下表征：

[0016]

[0017] 其中，F(·)是在动态系统在上面演进的低维流形中的某一映射。对于离散时间系统，动态系统演进用以下表征：

[0018] xk+1＝F(xk),(4)

[0019] 其中，k是时间索引。

[0020] Koopman算子和动态模式分解

[0021] Koopman算子是满足以下的线性算子K：

[0022]

[0023] 虽然该动态系统为非线性的并演进出限维流形，但Koopman算子是线性的且是无限维的。对Koopman算子的谱分析可以用于关于Koopman模式和确定对应Koopman模式的时间行为的关联的Koopman特征值来分解流。

[0024] 动态模式分解(DMD)可以用于估计Koopman模式。DMD已经作为数据驱动的且无方程的方法用于流体动力学中用于识别系统动态。考虑数据矩阵：

[0025]

[0026] DMD确定满足以下关系的最适合矩阵K：

[0027] Y2≈KY1.(7)

[0028] K的特征向量和特征值近似Koopman模式和Koopman特征值。这里，术语Koopman模式和DMD模式可互换地使用。

发明内容

[0029] 本发明的实施方式提供用于基于视频摄像头从场景获取的视频中的运动向量划分场景中的行人流的方法和系统。运动向量被当作基础动态系统的可观察量，其将场景中的流限定为在输入数据矩阵中组织。方法确定使用运动向量表征动态系统的低秩Koopman算子。然后，分析Koopman算子的频谱来划分场景中的独立流。

[0030] 在本发明的一个实施方式中，通过对受动态模式分解(DMD)的一阶预测方程约束的核范数最小化问题求解来确定低秩Koopman算子。可以通过针对噪声分布选择近似正则化项使噪声的影响最小化。例如，针对高斯分布噪声可以使用Frobenius范数或欧几里得正则化项。针对稀疏脉冲噪声，可以使用绝对值和或1范数正则化项。在两种噪声存在的情况下，在优化期间可以使用两个正则化项。

[0031] 本发明的一个实施方式对Koopman算子执行奇异值分解(SVD)。然后使用与非零奇异值对应的行空间(左侧)奇异向量来聚类视频中的块，作为与独立流对应的片段。在另一个实施方式中，确定Koopman算子的特征向量，并且将输入数据矩阵投影到特征向量上。然后使用具有大于阈值的幅值投影系数的特征向量来聚类块并划分独立流。

[0032] 本发明的另一个实施方式通过根据描述各流的动态的特征向量的特征值识别动态区域来表征已划分的行人流。将已划分的流数据投影到Koopman算子的特征向量上，并且使用与具有大于阈值的幅值投影系数的特征向量关联的特征值来限定动态区域。该动态区域将流的类型表征为例如稳定或不稳定。

附图说明

[0033] [图1]图1是根据本发明的实施方式的用于划分从场景获取的视频中的行人流的系统和方法的示意图；

[0034] [图2]图2是根据本发明的实施方式的用于确定Koopman模式的方法的流程图；

[0035] [图3]图3是根据本发明的实施方式的用于使用Koopman模式划分独立流的方法的流程图；以及

[0036] [图4]图4是用于表征独立已划分的行人流的方法的流程图。

具体实施方式

[0037] 如图1所示，本发明的实施方式提供了用于划分从场景获取的视频中的行人流的系统和方法。实施方式可以使用从已编码的比特流提取的运动向量，但运动向量可以由其他手段来获得。运动向量被作为基础动态系统的可观察量，该基础动态系统由表征场景中的流的多个独立动态组成。方法确定低秩Koopman算子，其使用运动向量表征动态系统。然后使用奇异值分解(SVD)或特征值分解来分析该Koopman算子的谱。依赖于所使用的分解，通过聚类占优奇异向量或占优特征向量来确定独立人群流。

[0038] 系统和方法概述

[0039] 如图1所示，用视频摄像头103从场景102中的行人获取视频101。视频包括一组帧。各帧包括通常对运动向量编码的一组块。如领域中已知的，各帧k 104由在处理器100中操作的方法来处理，该处理器通过输入/输出总线连接到存储器和摄像头。视频为已编码的比特流的形式。

[0040] 作为优点，已编码的比特流通常被压缩至少两个数量级或更多。因此，比特流花费较少的存储和时间来处理。另外，方法可以在块的级别下操作，使得不需要对比特流解码来获得像素。然而，方法可以在摄像头中操作并由其他手段获得运动向量。

[0041] 方法从视频(例如比特流中的块)提取110运动向量105，并且如以下较详细描述的通过堆叠运动向量来构造数据矩阵111。

[0042] 从数据矩阵111确定120低秩Koopman算子121。分析该低秩Koopman算子的谱来确定占优Koopman模式131。然后可以使用Koopman模式来划分300视频帧中的块，以获得独立流109。

[0043] 图2示出了用于分析谱并确定Koopman模式131的步骤200。步骤包括SVD 210以获得奇异向量211或或特征值分解以确定特征向量，或这两者。步骤240确定投影系数，该投影系数然后用于选择250特征向量。然后可以使用奇异向量或所选择的特征向量或这两者来确定Koopman模式131。

[0044] 图3示出了划分像素的步骤200，其将Koopman模式131作为输入。使用k平均聚类310或图谱聚类320来对运动向量进行聚类，以获得独立流109。

[0045] 图4示出了通过确定流的动态区域来表征各已划分的流的步骤400。动态区域大致表征流。步骤将Koopman特征向量221、数据矩阵111以及已划分的流109作为输入。使用已划分的流109来提取数据矩阵111的行的子集401。将行的该子集401投影到Koopman特征向量221，以确定投影系数411。特征值选择步骤420选择与具有大于阈值的幅值的投影系数的特征向量对应的特征值。由所选特征值识别流或流特性421的动态区域。

[0046] 我们现在描述上述步骤的细节。

[0047] 运动向量和可观察数据矩阵

[0048] 视频帧k104中的所有空间块的水平和垂直运动向量分别是uk和vk。我们通过在数据矩阵111中堆叠水平运动向量和垂直运动向量构造数据矩阵zk＝[uk,vk]111。然后，通过将数据拟合到一阶预测模型使用Koopman算子K可以对运动向量的时间演进建模。

[0049] zk＝Kzk-1.(8)

[0050] 注意，(8)保证同一算子K对运动向量uk和vk的时间演进建模。

[0051] 如果我们具有来自m+1个视频帧的运动向量的m+1个观察结果，那么我们通过形成与(6)类似的数据矩阵Z1和Z2并确定实现最小二乘拟合的算子Kls使用动态模式分解(DMD)可以确定算子K，即

[0052]

[0053] 其中，上标 表示矩阵的Moore-Penrose伪逆。

[0054] 如果运动向量与视频中的行人的真实运动对应，那么算子Kls表征系统中的流的全动态。然而，压缩的域运动向量通常非常嘈杂，并且经常包含不与真实运动对应的运动向量。噪声依赖于视频编码器进行的特定速率失真优化。

[0055] 低秩DMD

[0056] 无噪声速度观察结果yk测量场景中的行人的真实运动，并且运动向量zk与嘈杂观察结果对应，使得

[0057] zk+ek＝yk,(10)

[0058] 其中，ek是附加噪声。假设E1,E2和Y1,Y2如(6)中那样分别用于ek和yk。然后，通过总体最小二乘约束给出与无噪声动态对应的Koopman算子

[0059]

[0060] 然而，因为仅观察了Z1和Z2，并且未知K、E1以及E2，所以问题(11)是非凸且不适定的。为了补救该情况，我们在我们的问题中调用以下先决条件。高度复杂系统可以由低阶动态准确建模。这转化成对无噪声系统的演进建模的算子K具有低秩的先决条件。

[0061] 第二先决条件源于矩阵E1和E2的定义。如果我们用Im-1表示尺寸为(m-1)×(m-1)的单位矩阵，并且假设 和 为分别去除具有m列的矩阵的第一列和最后一列，那么E1和E2满足关系：

[0062]

[0063] 我们将具有总体最小二乘约束的低秩DMD(LR-DMDtls)定义为：

[0064]

[0065] 其中，e0是E1中的第一列，γ是规一化参数，并且||K||*是等于矩阵K的奇异值之和的核范数。

[0066] 如果视频帧中的运动块的数量是N，那么算子K的尺寸为N×N，这对于高分辨率视频可能变得难以存储和确定。因此，我们用秩r因子 和 代替K，使得K＝LRT，以降低计算复杂性。我们使用核范数代理，其用其低秩因子的Frobenius范数的平方的平均来代替矩阵的核范数。

[0067]

[0068] 因此，低秩DMD可以表示为下式：

[0069]

[0070] 我们使用交替方向乘子法(ADMM)对该式求解。

[0071] 在(15)中定义的问题解决噪声为高斯分布的情况。如果测量结果Z包括稀疏异常值噪声，那么我们使用下式来求解问题：

[0072]

[0073] 其中，变量S1和S2表示数据中的稀疏噪声，并且γ和λ是正则化参数。(16)的解还可以使用ADMM过程来获得。

[0074] 流划分

[0075] 为了划分300具有独立动态的不同流，我们评价所估计的低秩Koopman算子K＝LRT的谱。这里，我们考虑用于执行划分的不同场景。

[0076] 由奇异值分解进行的划分

[0077] 在第一方案中，我们可以执行Koopman算子K的SVD 210来提取行空间奇异向量Ur211，使得 矩阵Ur是N×r矩阵，其中，r是算子K的秩。我们把Ur的行作为被我们如图3所示应用k平均聚类310的视频帧中的每个像素的特征向量，以将像素划分成预定数量的聚类n。然后，可以使用所聚类的像素来确定如在视频101中观察的场景102中的独立流109的空间划分。

[0078] 另选地，我们可以将谱聚类应用于矩阵Ur的行。这里，我们正则化Ur的行，以生成矩阵 并且构造亲和矩阵 其中，在这种情况下按元素应用指数。我们然后应用以下步骤来确定对应的图Laplacian的主要特征向量。

[0079]

[0080] 其中，1是全一向量，第一diag(·)仅提取A的对角线条目，并且第二diag(A·1)对A的行求和，并且将结果放置在矩阵的对角线上。

[0081] 接着，我们确定LG的SVD来提取前n个行空间奇异向量UG。UG的第一奇异向量是全一的，因此我们去除该向量，然后正则化UG中的剩余向量的行。

[0082] 最后，我们对UG的行应用k平均聚类310，以确定独立流109。虽然谱聚类方案得到比将k平均聚类直接应用于Ur的行好的结果，但它需要更大来构造大的N×N亲和矩阵。

[0083] 通过特征值分解进行的划分

[0084] 在第二方案中，我们确定K的分解220，以获得特征向量Ue221和特征值Λe，使得记得，K的特征向量估计动态系统的Koopman模式。从数据矩阵Z2，我们通过将Z2投影到Ue上并对向量 中的投影系数的幅值求平均来识别主动模式。主动模式是与具有大于阈值的幅值的α中的条目对应的Ue的列。

[0085] 包含主动模式的矩阵是Ua。我们通过对Ua的已正则化行应用k平均聚类执行划分。用各聚类识别的像素与视频中的独立流对应。

[0086] 流表征

[0087] 各已划分的流可以根据动态区域来表征，使得流的类型例如被标记为稳定或不稳定。动态区域依赖于最有助于该流中的运动的、K的特征值的位置。为了确定特征值，与已划分的流f关联的数据矩阵的行的子集Zf被投影到特征向量Ue上，以确定投影系数具有大于阈值的幅值的、与αf中的条目对应的特征值与该流关联。

[0088] 使用特征值在复平面中的位置来确定流的区域。例如，稳定流具有位于单位圆上的特征值，而不稳定的流具有位于单位圆外的特征值。而且，逐渐衰减的暂时的流具有位于单位圆内的特征值。同样，特征值的复相位表示流中的运动的振荡频率。