本发明公开了一种多视角行为识别方法。该方法包括以下步骤：对每个视角的动作视频样本提取其局部和全局特征，并把每个动作视频样本表示成为一个特征向量；对源视角和目标视角的动作视频样本的变换矩阵进行初始化；然后在信息论的框架下求得源视角和目标视角的动作视频样本的变换矩阵；根据两个视角的动作视频样本的变换矩阵求得虚拟视角核；然后求得每个动作视频样本之间的相似度；最后使用支持向量机分类器对测试动作视频进行分类。本发明通过连接在源视角和目标视角的连续通路达到多视角行为识别的目的；通过虚拟视角核计算得到的相似度矩阵能够作为任何基于核分类器的输入。
1.一种多视角行为识别方法，其特征在于，该方法包括以下步骤：
步骤1，首先提取多个已分类动作视频样本中的每一个动作视频样本的局部时空兴趣点，利用词包模型对每个动作视频样本产生M维的局部时空兴趣点特征向量；提取每个动作视频样本的全局外形流特征，然后再次利用词包模型对每个动作视频样本产生N维的全局外形流特征特征向量；最后将两个特征向量连接在一起形成M+N维的特征向量作为相应动作视频样本的特征表示向量；
步骤2，用源视角和目标视角动作视频样本的特征表示向量的主成分，用该主成分对源视角和目标视角动作视频样本的变换矩阵Ms和Mt进行初始化；
步骤3，基于所述源视角和目标视角动作视频样本的变换矩阵Ms和Mt的初始值，利用源视角和目标视角动作视频样本之间的相似度与源视角和目标视角动作视频样本分类标签之间的互信息求得源视角和目标视角动作视频样本的变换矩阵Ms和Mt；
步骤4，利用所述步骤3求得的源视角和目标视角动作视频样本的变换矩阵Ms和Mt求得参数虚拟视角核；
步骤5，利用所述步骤4求取的所述虚拟视角核求得所有动作视频样本中两两样本之间的相似度，训练支持向量机得到分类模型，并利用得到的分类模型来对测试动作视频中的行为进行分类，以得到行为识别的结果；
所述步骤3中，使用以下公式来求取源视角和目标视角动作视频样本的变换矩阵：
其中，相似度集合 K为虚拟视角核，ai和aj是带有分类标签的动作视频样本的特征表示向量；I代表互信息；Ms为源视角动作视频样本的变换矩阵；Mt为目标视角动作视频样本的变换矩阵；若ai和aj属于相同的动作类别，则c设为1，记为正样本对；当ai和aj属于不同的动作类别，则c设为0，记为负样本对。
2.根据权利要求1所述的方法，其特征在于，所述步骤2中，对变换矩阵Ms和Mt进行初始化时，所述变换矩阵的行数与动作视频特征表示向量的维数相等，列数与动作视频特征表示向量的主成分个数相等。
3.根据权利要求1所述的方法，其特征在于，所述互信息I(V；c)利用下式来计算：I(V；c)＝H(V)-H(V|c)＝H(V)-P(c＝1)H(VP)-P(c＝0)H(VN)，其中，VP和VN分别代表根据正样本对和负样本对计算得到的正样本相似度和负样本相似度；H(V)为所有样本相似度的熵；H(V|c)为标签为c的样本相似度的熵；P(c＝1)为正样本对出现的概率；H(VP)为正样本相似度的熵；P(c＝0)为负样本对出现的概率；H(VN)为负样本相似度的熵。
4.根据权利要求1所述的方法，其特征在于，所述步骤5中，所有动作视频样本中两两样本之间的相似度根据下式来计算：其中，K为虚拟视角核，ai和aj是带有分类标签的动作视频样本的特征表示向量。
一种多视角行为识别方法
技术领域
[0001] 本发明属于智能视频监控技术领域，具体涉及一种多视角行为识别方法。
背景技术
[0002] 行为识别在视频监控中扮演着重要的角色，它可以识别出视频中人体的行为动作，为危险行为报警、特定行为识别做出贡献。行为识别中最简单最有效的方法当属基于词包模型的方法，此方法先对视频进行特征提取，然后将所有的特征聚类，然后根据每个视频特征在聚类中心出现的频率进行直方图化。但是此方法的一个缺点是没有考虑到时空特征。Zhang等人利用基于语义的线性编码方式不仅考虑了特征之间的时空关系而且减少了重构误差。Ryoo等人提出一种“特征×特征×关系”直方图去同时获取特征点之间表象的关系。Kovashaka等人利用近邻时空兴趣点设计一种层级直方图来弥补词包模型的不足。然而当动作的拍摄视角发生改变时，这些方法的正确率将会下降。这是因为当从不同视角拍摄时即使是相同类别的动作看起来也会不同，因此从一个视角训练而从另一个视角测试时正确率就会下降。而直觉的方法是在每一个视角都进行训练，但是这样需要足够多的样本，在实际应用中可行性不大。因此有很多方法致力于解决这种多视角行为识别的问题。Farhadi等人用最大间隔聚类法产生基于分割的特征，然后把这些分隔值迁移到目标视角对应的视频帧中。Liu等人利用无标签的样本对训练一个双语词典，然后对动作视频进行表示。
发明内容
[0003] 本发明的目的是要解决上述多视角行为识别的技术问题，为此，本发明提供一种多视角行为识别方法。
[0004] 为了实现所述目的，本发明提出的一种多视角行为识别方法包括以下步骤：
[0005] 步骤1，首先提取多个已分类动作视频样本中的每一个动作视频样本的局部时空兴趣点，利用词包模型对每个动作视频样本产生M维的局部时空兴趣点特征向量；提取每个动作视频样本的全局外形流特征，然后再次利用词包模型对每个动作视频样本产生N维的全局外形流特征特征向量；最后将两个特征向量连接在一起形成M+N维的特征向量作为相应动作视频样本的特征表示向量；
[0006] 步骤2，用源视角和目标视角动作视频样本的特征表示向量的主成分对源视角和目标视角动作视频样本的变换矩阵Ms和Mt进行初始化；
[0007] 步骤3，基于所述源视角和目标视角动作视频样本的变换矩阵Ms和Mt的初始值，利用源视角和目标视角动作视频样本之间的相似度与源视角和目标视角动作视频样本分类标签之间的互信息求得源视角和目标视角动作视频样本的变换矩阵Ms和Mt；
[0008] 步骤4，利用所述步骤3求得的源视角和目标视角动作视频样本的变换矩阵Ms和Mt求得参数虚拟视角核；
[0009] 步骤5，利用所述步骤4求取的所述虚拟视角核求得所有动作视频样本中两两样本之间的相似度，训练支持向量机得到分类模型，并利用得到的分类模型来对测试动作视频中的行为进行分类，以得到行为识别的结果。
[0010] 本发明的有益效果是：通过连接在源视角和目标视角的连续通路达到多视角行为识别的目的；通过虚拟视角核计算得到的相似度矩阵能够作为任何基于核分类器的输入。
附图说明
[0011] 图1是本发明所提出的多视角行为识别方法的流程图；
[0012] 图2是本发明多视角行为识别方法在IMAXS数据库上的识别结果。
具体实施方式
[0013] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
[0014] 图1是本发明所提出的多视角行为识别方法的流程图，如图1所示，所述方法包括以下步骤：
[0015] 步骤1，首先提取多个已分类动作视频样本中的每一个动作视频样本的局部时空兴趣点，利用词包模型(bag-of-words，BOW)对每个动作视频样本产生M维(比如1000维)的局部时空兴趣点特征向量；提取每个动作视频样本的全局外形流特征(global shape-flow feature)，然后再次利用词包模型对每个动作视频样本产生N维(比如500维)的全局外形流特征特征向量；最后将两个特征向量连接在一起形成M+N维(比如1500维)的特征向量作为相应动作视频样本的特征表示向量；
[0016] 该步骤中，词包模型为现有技术中常用的特征向量产生模型，在此不作赘述。
[0017] 所述动作视频样本为事先已经过分类的动作视频样本，所述动作视频的动作类别可以为跑、跳，走等。
[0018] 步骤2，用源视角和目标视角动作视频样本的特征表示向量的主成分(PCA)对源视角和目标视角动作视频样本的变换矩阵Ms和Mt进行初始化；
[0019] 所述变换矩阵Ms和Mt在多视角行为识别中起到至关重要的作用，它能将不同视角的动作特征变换到同一个子空间中，且该子空间的维数较低便于计算。所述变换矩阵的行数与动作视频特征表示向量的维数相等，列数与动作视频特征表示向量的主成分个数相等，所述变换矩阵的常用维数为：1500*20。
[0020] 对所述变换矩阵进行初始化之后直接将该矩阵与动作视频特征表示向量相乘即可得到变换后的动作视频特征。
[0021] 步骤3，基于所述源视角和目标视角动作视频样本的变换矩阵Ms和Mt的初始值，利用源视角和目标视角动作视频样本之间的相似度与源视角和目标视角动作视频样本分类标签之间的互信息求得源视角和目标视角动作视频样本的变换矩阵Ms和Mt；
[0022] 该步骤中，使用以下公式来求取源视角和目标视角动作视频样本的变换矩阵：
[0023] maxMs，MtI(V；c) (1)
[0024] 其中，相似度集合 K为虚拟视角核，ai和aj是带有分类标签的动作视频样本的特征表示向量；I代表互信息，以此来测量两个随机变量的依赖程度；Ms为源视角动作视频样本的变换矩阵；Mt为目标视角动作视频样本的变换矩阵；若ai和aj属于相同的动作类别，则c设为1，记为正样本对；当ai和aj属于不同的动作类别，则c设为0，记为负样本对。
[0025] 上式中的I(V；c)根据信息论中的微分熵公式能够写成：
[0026] I(V；c)＝H(V)-H(V|c)＝H(V)-P(c＝1)H(VP)-P(c＝0)H(VN)，
[0027] 其中，VP和VN分别代表根据正样本对和负样本对计算得到的正样本相似度和负样本相似度；H(V)为所有样本相似度的熵；H(V|c)为标签为c的样本相似度的熵；P(c＝1)为正样本对出现的概率；H(VP)为正样本相似度的熵；P(c＝0)为负样本对出现的概率；H(VN)为负样本相似度的熵。
[0028] 为了求解以上公式，接下来使用样本之间的相似度来估计微分熵。假设相似度集合V的分布为一维高斯分布，可得：
[0029]
[0030] 其中，σ是相似度集合V的方差；In(·)表示求取自然对数操作。
[0031] 此外，再假设正负样本对的先验概率相等，因此I(V；c)可以写成：
[0032]
[0033] 其中，σ，σP和σN分别是V，VP和VN的方差。
[0034] 根据上式和(1)式就可以得到源视角和目标视角动作视频样本的变换矩阵MS和Mt。
[0035] 步骤4，利用所述步骤3求得的源视角和目标视角动作视频样本的变换矩阵Ms和Mt求得参数虚拟视角核；
[0036] 该步骤中，使用下式来计算所述虚拟视角核：
[0037]
[0038] 这里，ms，n是源视角动作视频样本的变换矩阵Ms＝[ms，1，ms，2，...，ms，d]的第n列；mt，n是目标视角动作视频样本的变换矩阵Mt＝[mt，1，mt，2，...，mt，d]的第n列，d为所述变换矩阵的列数；An，Bn和Cn表示为：
[0039]
[0040]
[0041]
[0042] 其中，
[0043] 从上述公式能够得出，所述虚拟视角核具有闭合形式的解。
[0044] 步骤5，利用所述步骤4求取的所述虚拟视角核求得所有动作视频样本中两两样本之间的相似度，训练支持向量机得到分类模型，并利用得到的分类模型来对测试动作视频中的行为进行分类，以得到行为识别的结果。
[0045] 该步骤中，利用公式 求得所有样本中两两样本之间的相似度。
[0046] 其中，支持向量机的训练属于现有技术中常用的分类模型训练方法，在此不作赘述。
[0047] 接下来以网上公开的IMAXS数据库作为测试对象，图2是根据本发明多视角行为识别方法在IMAXS数据库上的识别结果，其中每一行对应一个源视角动作视频，每一列对应一个目标视角动作视频，C0、C1、C2、C3和C4分别代表前、后、左、右、上五个不同的视角，图中的数字代表识别正确率。从图2的实现结果中可以看出本发明方法是有效的。
[0048] 以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
