一种用于双层视频摘要的轨迹最优组合方法，其包括如下步骤：（S1）对于摘要基本段落的目标轨迹序列集合中所有目标的轨迹加入待加入目标集合，计算其目标活动能量函数Eam与目标时间能量函数Etm；（S2）计算每个待选择目标的相关能量Ecm及目标总能量EOm，并选择其中总能量最高的目标作为最佳击中目标；（S3）生成最佳击中目标的摘要帧匹配解集合；（S4）计算所述匹配解时间能量EFtk及总能量EFk，选择总能量最小的摘要帧匹配解作为最佳匹配解；（S5）将所述最佳击中目标从待加入目标数组中移动到已加入目标数组中；（S6）重复S2至S5直至待加入目标数组为空集，并得到每个目标在摘要帧中融合的次序。
1.一种用于双层视频摘要的轨迹最优组合方法，其特征在于：其包括如下步骤：(S1)对于摘要基本段落Vj的目标轨迹序列集合 中所有目标的轨迹TRm加入待加入目标数组，计算所述目标的目标活动能量函数Eam与目标时间能量函数Etm；
(S2)计算每个待选择目标的相关能量Ecm及目标总能量Eom，并选择其中总能量最高的目标作为最佳击中目标；
(S4)计算所述匹配解时间能量EFtk及总能量EFk，选择总能量最小的摘要帧匹配解作为最佳匹配解；
(S5)将所述最佳击中目标从待加入目标数组中移动到已加入目标数组中；
(S6)重复S2至S5直至待加入目标数组为空集，并得到每个目标在摘要帧中融合的次序。
2.如权利要求1所述的一种用于双层视频摘要的轨迹最优组合方法，其特征在于，所述步骤S1包括：(1a)初始化待加入目标数组为摘要基本段落中所有的目标轨迹，已加入目标数组为空；
其中，Fs与Fe是第m个目标的起始帧与终止帧，wi与hi是该目标第i个边界矩形；
Fs与Fe是第m个目标的起始帧与终止帧，NV(j)是摘要基本段落Vj的总帧数。
3.如权利要求1所述的一种用于双层视频摘要的轨迹最优组合方法，其特征在于，所述步骤S2包括：(2a)计算每个待选择目标与已加入目标数组中目标在原始视频中的相关能量和Ecm:tc(m，k)是目标m与目标k的轨迹在原始视频中出现在同一帧中的次数；
(2b)计算每个待选择目标的目标总能量EOmEOm＝Eam+Etm+Ecm
(2c)选择待选目标中EOm最大的目标作为最佳击中目标。
4.如权利要求1所述的一种用于双层视频摘要的轨迹最优组合方法，其特征在于，所述步骤S3包括：设每帧摘要帧所能容纳的最多目标个数为NFmax，每帧最大填充面积为AFmax，目标相交最大面积为AImax；
(3a)若是第一个最佳击中目标，初始化摘要匹配解为第一帧，帧长为该目标总帧长；
(3b)若不是第一个最佳击中目标，找到第一个满足已容纳目标个数小于NFmax且已填充面积小于AFmax，且后续N帧都满足上述条件的起始待选帧k，其中N为击中目标的总帧数；
(3c)计算自待选帧k起在连续N帧的对应帧内，每帧与该帧所有已加入的目标相交能量EIk；
其中， 是自待选帧k开始的第i帧的第j个已加入的目标的边界矩形， 是最佳击中目标的第i个边界矩形；
(3d)若该待选帧EIk小于AIMAX则该待选帧k成为一个匹配解并加入到该目标的摘要帧匹配解集合中，否则寻找下一满足已容纳目标个数小于NFmax且已填充面积小于AFmax，且后续N帧都满足上述条件的待选帧k；
(3e)重复步骤(3c)到(3d)，直到当前待选帧的相交能量EIK为0。
5.如权利要求1所述的一种用于双层视频摘要的轨迹最优组合方法，其特征在于，所述步骤S4包括：(4a)计算每一摘要帧匹配解时间能量EFtk其中k为该匹配解是第k帧，Fs是当前最佳击中目标的起始帧号；
(4b)计算摘要帧匹配解总能量EFk，其中EFk＝EIk+EFtk，其EEk为目标相交能量；
(4c)选择其中摘要帧匹配解总能量最小的作为该击中目标的最佳摘要帧匹配解。
一种用于双层视频摘要的轨迹最优组合方法
技术领域
[0001] 本发明涉及一种用于双层视频摘要的轨迹最优组合方法。
背景技术
[0002] 基于对象内容的双层视频摘要是面向监控视频的，以“对象”为基本单位的，通过对视频的结构和内容的分析，从原视频中提取有意义的“对象”，并将它们通过对象轨迹最优组合而生成紧凑的、能充分表现视频语义内容的视频浓缩，将几十小时的视频浓缩为几十分钟的摘要视频。
[0003] 轨迹的最优组合问题就是将M段目标轨迹重新组合N帧视频摘要帧中，现在主流的轨迹最优化组合方法是依靠遗传算法与遍历所有解的方法解决的轨迹最优化组合问题，但这两种种方法存在两个问题：第一，最优解的定义模糊，只考虑了组合后目标轨迹间少碰撞，未考虑目标轨迹与视频摘要帧间的相关关系，会存在对于部分视频摘要结果会出现密度不均匀问题；第二，利用遗传算法的最优解求解方法将造成陷入局部最优解；第三，算法复杂度过高，遗传算法的方法与遗传算子遍历次数有关，遍历所有解方法会有 次运算才能基本达到最优解。
发明内容
[0004] 本发明的目的在于提供一种避免了局部最优解，并且计算方法简单的一种用于双层视频摘要的轨迹最优组合方法，其特征在于：其包括如下步骤：
[0005] （S1）对于摘要基本段落Vj的目标轨迹序列集合 中所有目标的轨迹TRm加入待加入目标数组，计算所述目标的目标活动能量函数Eam与目标时间能量函数Etm；
[0006] （S2）计算每个待选择目标的相关能量Ecm及目标总能量Eom，并选择其中总能量最高的目标作为最佳击中目标；
[0007] （S3）生成最佳击中目标的摘要帧匹配解集合；
[0008] （S4）计算所述匹配解时间能量EFtk及总能量EFk，选择总能量最小的摘要帧匹配解作为最佳匹配解；
[0009] （S5）将所述最佳击中目标从待加入目标数组中移动到已加入目标数组中；
[0010] （S6）重复S2至S5直至待加入目标数组为空集，并得到每个目标在摘要帧中融合的次序。
[0011] 在上述技术方案的基础上，所述步骤S1包括：
[0012] （1a）初始化待加入目标数组为摘要基本段落中所有的目标轨迹，已加入目标数组为空；
[0013] （1b）计算每个目标的活动能量函数Eam
[0014]
[0015] 其中，Fs与Fe是第m个目标的起始帧与终止帧，wi与hi是该目标第i个边界矩形；
[0016] （1c）计算每个目标的时间能量函数Etm
[0017]
[0018] Fs与Fe是第m个目标的起始帧与终止帧，NV(j)摘要基本段落Vj的总帧数。
[0019] 在上述技术方案的基础上，所述步骤S2包括：
[0020] （2a）计算每个待选择目标与已加入目标数组中目标在原始视频中的相关能量和ECm：
[0021]
[0022] tc(m，k)是目标m与目标k的轨迹在原始视频中出现在同一帧中的次数；
[0023] （2b）计算每个待选择目标的能量EOm
[0024] EOm=Eam+Etm+Ecm
[0025] （2c）选择待选目标中EOm最大的目标作为最佳击中目标。
[0026] 在上述技术方案的基础上，所述步骤S3包括：设每帧摘要帧所能容纳的最多目标个数为NFmax,每帧最大填充面积为AFmax，目标相交最大面积为AImax;
[0027] （3a）若是第一个最佳击中目标，初始化摘要匹配解为第一帧，帧长为该目标总帧长；
[0028] （3b）若不是第一个最佳击中目标，找到第一个满足已容纳目标个数小于 且已填充面积小于 且后续N帧都满足上述条件的起始待选帧k，其中N为击中目标的总帧数；
[0029] （3c）计算自待选帧k起在连续N帧的对应帧内，每帧与该帧所有已加入的目标相交能量EIk;
[0030]
[0031] 其中， 是自待选帧k开始的第i帧的第j个已加入的目标的边界矩形，BOi是最佳击中目标的第i个边界矩形；
[0032] （3d）若该待选帧EIk小于AImax则该待选帧k成为一个匹配解并加入到该目标的摘要帧匹配解集合中，否则寻找下一满足已容纳目标个数小于NFmax且已填充面积小于AFmax，且后续N帧都满足上述条件的待选帧k；
[0033] （3e）重复步骤（3c）到（3d），直到当前待选帧的相交能量EIk为0。
[0034] 在上述技术方案的基础上，所述步骤S4包括：
[0035] （4a）计算每一摘要帧匹配解时间能量EFtk
[0036]
[0037] 其中k为该匹配解是第k帧，Fs是当前最佳击中目标的起始帧号；
[0038] （4b）计算摘要帧匹配解总能量EFk，其中EFk＝EIk＋EFtk
[0039] （4c）选择其中摘要帧匹配解总能量最小的作为该击中目标的最佳摘要帧匹配解。
[0040] 相对于现有技术，本发明降低了最优解求取过程中的运算次数，避免了局部最优解的问题也避免了轨迹密度不均匀情况。
附图说明
[0041] 图1为本发明一种用于双层视频摘要的轨迹最优组合方法流程图。
具体实施方式
[0042] 下面结合附图对发明作进一步说明。
[0043] 本发明将轨迹最有组合问题，分解为最佳击中目标的求取与每个击中目标的最佳解求取问题，最后得到轨迹融合次序，请参考图1，结合附图所示本发明具体实施方法进一步详细描述,其包括以下步骤：
[0044] （1）最佳击中目标选择
[0045] a）目标能量计算
[0046] 对于摘要基本段落Vj的目标轨迹序列集合 中第m个目标的轨迹TRm计算其目标能量Eam与Etm
[0047] （1a1）计算每个目标的活动能量函数Eam
[0048]
[0049] 其中，Fs与Fe是第m个目标的起始帧与终止帧，wi与hi是该目标第i个边界矩形。
[0050] （1a2）计算每个目标的时间能量函数Etm
[0051]
[0052] Fs与Fe是第m个目标的起始帧与终止帧，NV(j)摘要基本段落Vj的总帧数。
[0053] b）最佳击中目标选择
[0054] （1b1）初始化正在待加入目标数组TN为Vj中所有的目标轨迹，已加入目标数组TA为空。
[0055] （1b2）计算每个待选择目标与TA中目标在原始视频中的相关能量和ECm：
[0056]
[0057] tc(m，k)是目标m与目标k的轨迹在原始视频中出现在同一帧中的次数。
[0058] （1b3）计算每个待选择目标的能量EOm
[0059] EOm=Eam+Etm+Ecm
[0060] （1b4）选择待选目标中EOm最大的目标作为最佳击中目标。
[0061] （2）目标最佳匹配解生成
[0062] a）摘要帧生成匹配解
[0063] 每帧摘要帧所能容纳的最多目标个数为NFmax，每帧最大填充面积为AFmax，目标相交最大面积为AImax。
[0064] （2a1）初始化摘要解帧数为第一个最佳击中目标总帧长。
[0065] （2a2）先寻找第一个满足已容纳目标个数小于NFmax且已填充面积小于AFmax，且后续N帧都满足上述条件的起始待选帧k，N为击中目标的总帧数。
[0066] （2a3）计算这个起始待选帧k在连续N帧的对应帧内，每帧与该帧所有已加入的目标相交面积EIk，若EIk小于AImax则该待选帧k成为一个匹配解，否则寻找下一待选帧解。
[0067]
[0068] 其中， 是自待选帧k开始的第k帧的第k个已加入的目标的边界矩形，BOi是最佳击中目标的第i个边界矩形。
[0069] b）匹配解的能量计算
[0070] （2b1）计算摘要帧匹配解时间能量EFtk
[0071]
[0072] 其中k为该匹配解是第k帧，Fs是当前最佳击中目标的起始帧号。
[0073] （2b1）计算摘要帧匹配解时间能量EFk
[0074] EFk=EIk+EFtk
[0075] c）最佳匹配解生成
[0076] （2c1）继续计算每个满足条件的匹配解及其对应能量，直到EIk为0时，意味着该匹配解没有相交矩形，或匹配解的帧数k达到摘要解中最后一帧，则在摘要帧末尾增加N帧空白摘要帧，来满足EIk为0的条件。
[0077] （2c2）在所有的匹配解中寻找EFk最小的一帧作为最佳击中目标的匹配解。
[0078] d）摘要融合次序生成
[0079] 在得到一个最佳击中目标与其匹配解后，将该目标从待加入目标数组TN中移动到正在加入的已加入目标数组TA中，继续进行最佳击中目标选择，直到TN为空，最后得到每个目标在摘要帧中融合的次序。
[0080] 本发明通过目标的轨迹组合优化问题可以转化为活动轨迹在时间轴上进行平移组合的问题，即充分利用原始视频中的时空冗余信息，使得摘要视频中的活动显得十分紧凑，让不同时间段发生的事件同步出现，从而达到压缩视频时间的效果。
[0081] 轨迹不断地平移组合问，将目标轨迹如何更充分地填充到视频帧中，就是对个目标轨迹填充到帧摘要帧中的问题寻求最优解。
