本发明公开了一种基于中层特征的行为识别方法与系统，其中方法的实现包括：从样本图像序列中得到候选部件检测器集；移除候选部件检测器集中B％的判别能力弱的部件检测器，得到新的候选部件检测器集；根据新的候选部件检测器集中每个部件检测器的权重进行由大到小的排序，选择排序靠前的P个部件检测器作为A类行为类别的中层特征提取器；获取行为类别中每一类行为类别的中层特征提取器，组合成词袋，利用词袋提取样本图像序列的样本中层特征，利用样本中层特征训练分类器，得到行为识别分类器；将测试图像序列输入行为识别分类器，得到测试图像序列的行为类别。本发明识别能力强、识别准确率高、实用性强、保留了部件之间的关联性。
1.一种基于中层特征的行为识别方法，其特征在于，包括：
(1)从样本图像序列中，提取A类行为类别的时空部件集D和行为类别除A类外的其他行为类别的时空部件集N，利用时空部件集D和时空部件集N训练部件检测器，得到候选部件检测器集；
(2)将候选部件检测器集中的每个部件检测器选取的样本图像序列的中层特征组合，得到候选特征向量，利用候选特征向量训练选择器，得到选择器的权重向量；
(3)利用选择器的权重向量度量候选部件检测器集中的每个部件检测器的判别能力，移除候选部件检测器集中B％的判别能力弱的部件检测器，得到新的候选部件检测器集；
(4)根据新的候选部件检测器集中每个部件检测器的权重进行由大到小的排序，选择排序靠前的P个部件检测器作为A类行为类别的中层特征提取器；
(5)获取行为类别中每一类行为类别的中层特征提取器，组合成词袋，利用词袋提取样本图像序列的样本中层特征，利用样本中层特征训练分类器，得到行为识别分类器；
(6)将测试图像序列输入行为识别分类器，得到测试图像序列的行为类别；
其中，di为第i个部件检测器， 为第1个部件检测器d1在样本图像序列中的图像υ中利用最大池化量化函数提取的中层特征， 为第2个部件检测器d2在样本图像序列中的图像υ中利用最大池化量化函数提取的中层特征， 为第m个部件检测器dm在样本图像序列中的图像υ中利用最大池化量化函数提取的中层特征，1≤i≤m，m表示候选部件检测器集Dc中部件检测器的个数；
其中，Φc(fc)表示选择器，w为选择器的权重向量，b为选择器的偏置，损失函数C是惩罚因子，yn表示样本图像序列中第n个图像的类别标签，xn表示样本图像序列中第n个图像的中层特征，N表示样本图像序列中图像的总个数；
利用选择器的权重向量度量候选部件检测器集中的每个部件检测器的判别能力，采用递归移除，候选中层特征矩阵 当k＝1时，初始化F0＝Fc，当k＞1时，第k次递归可以如下表示：wk＝SVM(Fk-1,y), Fk＝Fk-1[Sk]
其中，Sk＝[s1,s2…sm],si∈{0,1}，表示部件选择标志位，如果si＝1，则第i个部件检测器被选择，如果si＝0，则第i个部件检测器未被选择，y表示样本图像序列的类别标签向量，wk表示第k次递归后的权重向量，Fk-1表示第k-1次递归后的候选中层特征矩阵，Fk表示第k次k递归后的候选中层特征矩阵， 表示第k次递归后根据权重向量w 和移除率为τ＝B％进行移除，总共进行H次递归得到的新的候选部件检测器集。
2.如权利要求1所述的一种基于中层特征的行为识别方法，其特征在于，所述训练部件检测器的具体实施方式为：正样本是时空部件集D中的时空部件，负样本是时空部件集N中的时空部件，针对时空部件集D中的每一个时空部件，利用一个正样本和多个负样本训练部件检测器。
3.一种基于中层特征的行为识别系统，其特征在于，包括：
获取候选部件检测器集模块，用于从样本图像序列中，提取A类行为类别的时空部件集D和行为类别除A类外的其他行为类别的时空部件集N，利用时空部件集D和时空部件集N训练部件检测器，得到候选部件检测器集；
训练选择器模块，用于将候选部件检测器集中的每个部件检测器选取的样本图像序列的中层特征组合，得到候选特征向量，利用候选特征向量训练选择器，得到选择器的权重向量；
移除部件检测器模块，用于利用选择器的权重向量度量候选部件检测器集中的每个部件检测器的判别能力，移除候选部件检测器集中B％的判别能力弱的部件检测器，得到新的候选部件检测器集；
获取中层特征提取器模块，用于根据新的候选部件检测器集中每个部件检测器的权重进行由大到小的排序，选择排序靠前的P个部件检测器作为A类行为类别的中层特征提取器；
训练分类器模块，用于获取行为类别中每一类行为类别的中层特征提取器，组合成词袋，利用词袋提取样本图像序列的样本中层特征，利用样本中层特征训练分类器，得到行为识别分类器；
行为识别模块，用于将测试图像序列输入行为识别分类器，得到测试图像序列的行为类别；
其中，di为第i个部件检测器， 为第1个部件检测器d1在样本图像序列中的图像υ中利用最大池化量化函数提取的中层特征， 为第2个部件检测器d2在样本图像序列中的图像υ中利用最大池化量化函数提取的中层特征， 为第m个部件检测器dm在样本图像序列中的图像υ中利用最大池化量化函数提取的中层特征，1≤i≤m，m表示候选部件检测器集Dc中部件检测器的个数；
其中，Φc(fc)表示选择器，w为选择器的权重向量，b为选择器的偏置，损失函数C是惩罚因子，yn表示样本图像序列中第n个图像的类别标签，xn表示样本图像序列中第n个图像的中层特征，N表示样本图像序列中图像的总个数；
利用选择器的权重向量度量候选部件检测器集中的每个部件检测器的判别能力，采用递归移除，候选中层特征矩阵 当k＝1时，初始化F0＝Fc，当k＞1时，第k次递归可以如下表示：wk＝SVM(Fk-1,y), Fk＝Fk-1[Sk]
其中，Sk＝[s1,s2…sm],si∈{0,1}，表示部件选择标志位，如果si＝1，则第i个部件检测器被选择，如果si＝0，则第i个部件检测器未被选择，y表示样本图像序列的类别标签向量，k k-1 kw表示第k次递归后的权重向量，F 表示第k-1次递归后的候选中层特征矩阵，F 表示第k次递归后的候选中层特征矩阵， 表示第k次递归后根据权重向量wk和移除率为τ＝B％进行移除，总共进行H次递归得到的新的候选部件检测器集。
4.如权利要求3所述的一种基于中层特征的行为识别系统，其特征在于，所述训练部件检测器的具体实施方式为：正样本是时空部件集D中的时空部件，负样本是时空部件集N中的时空部件，针对时空部件集D中的每一个时空部件，利用一个正样本和多个负样本训练部件检测器。
一种基于中层特征的行为识别方法与系统
技术领域
[0001] 本发明属于计算机视觉领域，更具体地，涉及一种基于中层特征的行为识别方法与系统。
背景技术
[0002] 行为识别技术是视频安全监控、人机交互、视频检索和分析等应用领域的核心技术，其越来越受到工业界和学术界的重视。但是因为视频中的行为中具有极大的干扰，比如运动模糊、尺度变化、低分辨率、背景噪声、相机运动和视角变化，从而给行为分析带来了很大的挑战。
[0003] 现有的方法主要包括以下两条主线：第一个是低层时空局部特征，比如：时空兴趣点、基于梯度的特征和轨迹特征。典型地，从视频训练集中提取大量的局部描述子，然后构建“词袋”，最后采用BOW或者FV等编码技术构建对行为的全局表达。第二条主线是高层的基于模板的特征，通过人为方式或者弱有监督等方法选择特定类别的行为的多个姿态或者视角的行为模式并组合成行为提取器，最后提取行为的高层表达。但是，这两类方法都有一些缺点。第一类方法虽然能够在类内变化具有较好的鲁棒性，但是其表达过于低层而导致其缺少对高层的运动模式的判别性的表达能力。相反，第二类方法能够很好的提取高层表达，但是其对类内变化具有较大的敏感性。为了在两类方法之间取得平衡，很多学者提出基于判别部件行为表达。典型地，利用部件训练部件检测器，利用检测器从视频中提取中层特征。
[0004] 现存的判别部件挖掘技术需要人工干预，但是在处理大量的视频样本的时候需要大量的人力物力所以很难达到实用的层次；或提前定义的启发式规则一个个的选择，但是这种方法丢失了部件之间的关联性，从而使得最小部件集不能具备最大判别能力。
[0005] 由此可见，现有行为识别存在识别能力弱、需要大量的人力物力、不实用、丢失了部件之间的关联性的技术问题。
发明内容
[0006] 针对现有技术的以上缺陷或改进需求，本发明提供了一种基于中层特征的行为识别方法与系统，由此解决现有行为识别存在识别能力弱、需要大量的人力物力、不实用、丢失了部件之间的关联性的技术问题。
[0007] 为实现上述目的，按照本发明的一个方面，提供了一种基于中层特征的行为识别方法，包括：
[0008] (1)从样本图像序列中，提取A类行为类别的时空部件集D和行为类别除A类外的其他行为类别的时空部件集N，利用时空部件集D和时空部件集N训练部件检测器，得到候选部件检测器集；
[0009] (2)将候选部件检测器集中的每个部件检测器选取的样本图像序列的中层特征组合，得到候选特征向量，利用候选特征向量训练选择器，得到选择器的权重向量；
[0010] (3)利用选择器的权重向量度量候选部件检测器集中的每个部件检测器的判别能力，移除候选部件检测器集中B％的判别能力弱的部件检测器，得到新的候选部件检测器集；
[0011] (4)根据新的候选部件检测器集中每个部件检测器的权重进行由大到小的排序，选择排序靠前的P个部件检测器作为A类行为类别的中层特征提取器；
[0012] (5)获取行为类别中每一类行为类别的中层特征提取器，组合成词袋，利用词袋提取样本图像序列的样本中层特征，利用样本中层特征训练分类器，得到行为识别分类器；
[0013] (6)将测试图像序列输入行为识别分类器，得到测试图像序列的行为类别。
[0014] 进一步的，训练部件检测器的具体实施方式为：正样本是时空部件集D中的时空部件，负样本是时空部件集N中的时空部件，针对时空部件集D中的每一个时空部件，利用一个正样本和多个负样本训练部件检测器。
[0015] 进一步的，候选特征向量fc为：
[0016]
[0017] 其中，di为第i个部件检测器， 为第1个部件检测器d1在样本图像序列中的图像υ中利用最大池化量化函数提取的中层特征， 为第2个部件检测器d2在样本图像序列中的图像υ中利用最大池化量化函数提取的中层特征， 为第m个部件检测器dm在样本图像序列中的图像υ中利用最大池化量化函数提取的中层特征，1≤i≤m，m表示候选部件检测器集Dc中部件检测器的个数。
[0018] 进一步的，选择器的权重向量为：
[0019]
[0020] 其中，Φc(fc)表示选择器，w为选择器的权重向量，b为选择器的偏置，损失函数C是惩罚因子，yn表示样本图像序列中第n个图像的类别标签，xn表示样本图像序列中第n个图像的中层特征，N表示样本图像序列中图像的总个数。
[0021] 进一步的，步骤(3)的具体实现方式为：
[0022] 利用选择器的权重向量度量候选部件检测器集中的每个部件检测器的判别能力，采用递归移除，候选中层特征矩阵 当k＝1时，初始化F0＝Fc，当k＞1时，第k次递归可以如下表示：
[0023]
[0024] 其中，Sk＝[s1，s2…sm]，si∈{0，1}，表示部件选择标志位，如果si＝1，则第i个部件检测器被选择，如果si＝0，则第i个部件检测器未被选择，y表示样本图像序列的类别标签k k-1 k向量，w表示第k次递归后的权重向量，F 表示第k-1次递归后的候选中层特征矩阵，F表示第k次递归后的候选中层特征矩阵， 表示第k次递归后根据权重向量wk和移除率为τ＝B％进行移除，总共进行H次递归得到的新的候选部件检测器集。
[0025] 按照本发明的另一方面，提供了一种基于中层特征的行为识别系统，包括：
[0026] 获取候选部件检测器集模块，用于从样本图像序列中，提取A类行为类别的时空部件集D和行为类别除A类外的其他行为类别的时空部件集N，利用时空部件集D和时空部件集N训练部件检测器，得到候选部件检测器集；
[0027] 训练选择器模块，用于将候选部件检测器集中的每个部件检测器选取的样本图像序列的中层特征组合，得到候选特征向量，利用候选特征向量训练选择器，得到选择器的权重向量；
[0028] 移除部件检测器模块，用于利用选择器的权重向量度量候选部件检测器集中的每个部件检测器的判别能力，移除候选部件检测器集中B％的判别能力弱的部件检测器，得到新的候选部件检测器集；
[0029] 获取中层特征提取器模块，用于根据新的候选部件检测器集中每个部件检测器的权重进行由大到小的排序，选择排序靠前的P个部件检测器作为A类行为类别的中层特征提取器；
[0030] 训练分类器模块，用于获取行为类别中每一类行为类别的中层特征提取器，组合成词袋，利用词袋提取样本图像序列的样本中层特征，利用样本中层特征训练分类器，得到行为识别分类器；
[0031] 行为识别模块，用于将测试图像序列输入行为识别分类器，得到测试图像序列的行为类别。
[0032] 进一步的，训练部件检测器的具体实施方式为：正样本是时空部件集D中的时空部件，负样本是时空部件集N中的时空部件，针对时空部件集D中的每一个时空部件，利用一个正样本和多个负样本训练部件检测器。
[0033] 进一步的，候选特征向量fc为：
[0034]
[0035] 其中，di为第i个部件检测器， 为第1个部件检测器d1在样本图像序列中的图像υ中利用最大池化量化函数提取的中层特征， 为第2个部件检测器d2在样本图像序列中的图像υ中利用最大池化量化函数提取的中层特征， 为第m个部件检测器dm在样本图像序列中的图像υ中利用最大池化量化函数提取的中层特征，1≤i≤m，m表示候选部件检测器集Dc中部件检测器的个数。
[0036] 进一步的，选择器的权重向量为：
[0037]
[0038] 其中，Φc(fc)表示选择器，w为选择器的权重向量，b为选择器的偏置，损失函数C是惩罚因子，yn表示样本图像序列中第n个图像的类别标签，xn表示样本图像序列中第n个图像的中层特征，N表示样本图像序列中图像的总个数。
[0039] 进一步的，移除部件检测器模块的具体实现方式为：
[0040] 利用选择器的权重向量度量候选部件检测器集中的每个部件检测器的判别能力，采用递归移除，候选中层特征矩阵 当k＝1时，初始化F0＝Fc，当k＞1时，第k次递归可以如下表示：
[0041]
[0042] 其中，Sk＝[s1，s2…sm]，si∈{0，1}，表示部件选择标志位，如果si＝1，则第i个部件检测器被选择，如果si＝0，则第i个部件检测器未被选择，y表示样本图像序列的类别标签向量，wk表示第k次递归后的权重向量，Fk-1表示第k-1次递归后的候选中层特征矩阵，Fk表示第k次递归后的候选中层特征矩阵， 表示第k次递归后根据权重向量wk和移除率为τ＝B％进行移除，总共进行H次递归得到的新的候选部件检测器集。
[0043] 总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
[0044] (1)本发明将候选部件检测器集中的每个部件检测器选取的样本图像序列的中层特征组合，得到候选特征向量，利用候选特征向量训练选择器，得到选择器的权重向量，全面考虑了部件检测器之间的相关性，能够使得候选部件检测器集在整体上具有较强的判别能力。
[0045] (2)本发明利用选择器的权重向量度量候选部件检测器集中的每个部件检测器的判别能力，移除候选部件检测器集中B％的判别能力弱的部件检测器，得到新的候选部件检测器集，移除明显不具判别能力的行为部件，在新的候选部件检测器集中进行部件选择能够使得本发明具有更强的泛化能力。
[0046] (3)本发明从样本图像序列中得到候选部件检测器集；移除候选部件检测器集中B％的判别能力弱的部件检测器，得到新的候选部件检测器集；在新的候选部件检测器集中获取中层特征提取器；得到词袋，利用词袋提取样本图像序列的样本中层特征，利用样本中层特征训练分类器，得到行为识别分类器；可应用于行为类别。本发明识别能力强、识别准确率高、实用性强、保留了部件之间的关联性。本发明能够以弱有监督的方式挖掘最小行为部件检测器，能够很好的处理光照变化、运动模糊、相机运动、视角变化，更能容易满足实际应用需求。
[0047] (4)优选的，本发明考虑了候选部件检测器集的复杂度，采用递归移除能够迭代的移除明显不具判别能力的部件检测器，得到新的候选部件检测器集，在新的候选部件检测器集中进行部件检测器选择能够使得本发明具有更强的泛化能力。
附图说明
[0048] 图1是本发明实施例提供的一种基于中层特征的行为识别方法的流程图。
具体实施方式
[0049] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0050] 如图1所示，一种基于中层特征的行为识别方法，包括：
[0051] (1)从样本图像序列中，提取A类行为类别的时空部件集D和行为类别除A类外的其他行为类别的时空部件集N，利用时空部件集D和时空部件集N训练部件检测器，得到候选部件检测器集；
[0052] (2)将候选部件检测器集中的每个部件检测器选取的样本图像序列的中层特征组合，得到候选特征向量，利用候选特征向量训练选择器，得到选择器的权重向量；
[0053] (3)利用选择器的权重向量度量候选部件检测器集中的每个部件检测器的判别能力，移除候选部件检测器集中B％的判别能力弱的部件检测器，得到新的候选部件检测器集；
[0054] (4)根据新的候选部件检测器集中每个部件检测器的权重进行由大到小的排序，选择排序靠前的P个部件检测器作为A类行为类别的中层特征提取器；
[0055] (5)获取行为类别中每一类行为类别的中层特征提取器，组合成词袋，利用词袋提取样本图像序列的样本中层特征，利用样本中层特征训练分类器，得到行为识别分类器；
[0056] (6)将测试图像序列输入行为识别分类器，得到测试图像序列的行为类别。
[0057] 进一步的，步骤(1)还包括：
[0058] (1-1)采用密集采样和多尺度采样从样本图像序列中提取时空部件集，首先丢弃平滑和静态的时空部件，对于每个时空部件，提取光流直方图(HOF)描述子、白化的梯度直方图(HOG)描述子和运动框直方图(MBH)描述子；
[0059] (1-2)在行为类别给定的A类中，提取时空部件集D，从行为类别除A类外的其他类中提取的时空部件集N，在时空部件集D和时空部件集N中，利用交叉验证聚类策略来构建具有表达能力的候选部件检测器集Dc；
[0060] (1-3)正样本是时空部件集D中的时空部件，负样本是时空部件集N中的时空部件，针对时空部件集D中的每一个时空部件，利用一个正样本和多个负样本训练部件检测器，得到训练好的部件检测器，所有的训练好的部件检测器构成候选部件检测器集Dc。
[0061] 优选的，部件检测器为线性判别分析LDA或者支撑向量机SVM。
[0062] 优选的，密集采样和多尺度采样从样本图像序列中提取时空部件集，2i×2j，i，j＝{0，1，2}，在每个尺度上，采用的时空部件的大小为80×80×20，对应的采样间隔设置为20×20×10，考虑到这样会产生大量的没有信息的时空部件，会降低效率，因此，需要预先剔除一些不含运动信息的时空块。对于每个时空部件p，首先计算其平均光流强度fp和梯度大小gp，然后对于所有fp＞tf和gp＞tp的时空部件，其中tf＝0.6×fmax，tp＝0.7×gmax，fmax和gmax为时空部件中的最大光流值和最大梯度值，交叉验证聚类时聚类类心数目设置为K＝S/10，其中S是每次参与聚类的部件检测器总数，每次保留类心数目大于3的部件检测器，同时检测交叉过程，检测出前5个部件检测器组成新类心。
[0063] 进一步的，步骤(2)还包括：
[0064] (2-1)将候选部件检测器集中的每个部件检测器选取的样本图像序列的中层特征组合，得到样本图像序列中的图像υ的候选特征向量fc为：
[0065]
[0066] 其中， 为第i个部件检测器di在图像υ中利用最大池化量化函数提取的中层特征，7≤i≤m，m表示候选部件检测器集Dc中部件检测器的个数；
[0067] (2-2)利用候选特征向量训练选择器Φc(fc)，得到选择器的权重向量，[0068]
[0069] 其 中 ，w 为 选择 器 的 权 重向 量 ，b为 选 择 器的 偏 置 ，损失 函 数C是惩罚因子，yn表示样本图像序列中第n个图像的类别标签，xn表示样本图像序列中第n个图像的中层特征，N表示样本图像序列中图像的总个数；
[0070] 部件检测器di的权重wi为：
[0071] 表示第i个部件检测器di的中层特征，选择器的权重向量由候选部件检测器集中的所有部件检测器的权重组成。
[0072] 优选的，C＝1。
[0073] 进一步的，步骤(3)的具体实现方式为：
[0074] 利用选择器的权重向量度量候选部件检测器集中的每个部件检测器的判别能力，移除候选部件检测器集中B％的判别能力弱的部件检测器，B＝3；移除候选部件检测器集中B％的判别能力弱的部件检测器采用递归移除，候选中层特征矩阵 当k＝1时，初始化F0＝Fc，当k＞1时，第k次递归可以如下表示：
[0075]
[0076] 其中，Sk＝[s1，s2…sm]，si∈{0，1}，表示部件选择标志位，如果si＝1，则第i个部件检测器被选择，如果si＝0，则第i个部件检测器未被选择，y表示所有样本图像序列的类别k k-1 k标签向量，w表示第k次递归后的权重向量，F 表示第k-1次递归后的候选中层特征矩阵，F表示第k次递归后的候选中层特征矩阵，设置部件检测器移除率τ＝0.03，即每次丢弃候选部件检测器集中判别力最低的3％部件检测器， 表示第k次递归后根据权重向量wk和移除率为τ进行移除，总共进行H次递归得到的新的候选部件检测器集Dc[SH]。
[0077] 优选的，H＝3。
[0078] 优选的，P＝300。
[0079] 优选的，分类器为SVM分类器。
[0080] 本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
