本发明公开了一种基于像素流和时间先验信息的单视频帧率复原方法，首先获取待复原的单视频和构造观测像素流，并将单视频表示为观测像素流的矩阵形式；然后建立观测像素流的退化模型和原始像素流的概率估计式，由此导出含时间先验信息的原始像素流的复原式；再对观测像素流进行逐一复原，复原中采用的时间先验模型均通过数据驱动方式确定；最后将逐一复原的复原像素流以矩阵形式组合成复原视频，作为最终复原的高帧率视频。本发明复原方法采用单视频，使得视频采集便捷、复原环节简洁；帧率复原基于像素流概率统计框架，并引入时间先验信息，以及采用数据驱动方式确定时间先验模型，不仅提高视频保真度，还有效消除视频帧的拖尾现象。
1.一种基于像素流和时间先验信息的单视频帧率复原方法，其特征在于，包括以下步骤：步骤(1)获取待复原视频：通过视频采集得到单视频I＝{I(i)|i∈N}作为待复原视频，其中，I(i)为视频的帧，i为按时间顺序对每帧进行的编号；
步骤(2)设计待复原像素流的构造方法：按帧排序，将单视频每帧位于同一坐标(m,n)的像素Imn(i)进行串联，形成观测像素流Imn＝{Imn(i)|i∈N}作为待复原像素流；
步骤(3)将单视频表示为观测像素流的矩阵形式：根据步骤(2)的构造方法，按单视频每帧内的坐标顺序逐一构造出观测像素流，将构造的观测像素流进行组合，可使单视频以观测像素流的矩阵形式表示为 其矩阵中的每一个元素均为一个构造的观测像素流；
步骤(4)建立观测像素流的退化模型：Imn＝DBHmn+E，其中，D为时间降采样矩阵，B为时间模糊矩阵、用来模拟曝光时间，Hmn为原始像素流，E为加入的高斯分布的噪声向量；
根据贝叶斯概率统计法则，计算得出原始像素流Hmn的概率估计式为步骤(6)计算得出原始像素流Hmn的复原式：
根据步骤(4)中所建观测像素流的退化模型和步骤(5)所得原始像素流Hmn的概率估计式，通过对数计算得出原始像素流Hmn的复原式为其中， 为复原像素流，logP(Hmn)代表原始像素流的时间先验信息项，α为优化参数；
步骤(7)对观测像素流进行复原：利用步骤(6)所得原始像素流Hmn的复原式，将步骤(3)所得以观测像素流的矩阵形式表示的单视频按下标顺序逐一进行复原，矩阵中每个Imn均以如下步骤进行复原得到复原像素流步骤(7-1)确定观测像素流的时间先验模型P(Hmn)并判断其是高斯型或拉普拉斯型：根据观测像素流Imn，采用数据驱动的方式，确定观测像素流的时间先验模型P(Hmn)是高斯型 还是拉普拉斯型 其中，Γ表示信号的高通算子；
步骤(7-2)基于原始像素流Hmn的复原式导出偏导方程：确定时间先验模型P(Hmn)后，基于步骤(6)所得原始像素流Hmn的复原式导出偏导方程为
步骤(7-3)对观测像素流Imn进行线性插值，得到像素流 作为迭代初始值；
步骤(7-4)利用共轭梯度法对步骤(7-2)所得偏导方程进行迭代求解，得到复原像素流步骤(8)组合获得复原视频：将步骤(7)逐一复原的复原像素流 以矩阵形式组合成复原视频H作为输出，复原视频H以矩阵形式表示为
2.根据权利要求1所述的一种基于像素流和时间先验信息的单视频帧率复原方法，其特征在于：所述步骤(1)中的视频采集可使用摄像机对活动场景进行拍摄获取单视频。
3.根据权利要求1所述的一种基于像素流和时间先验信息的单视频帧率复原方法，其特征在于：所述步骤(6)中的优化参数α采用试错法设定进行取值。
4.根据权利要求1所述的一种基于像素流和时间先验信息的单视频帧率复原方法，其特征在于：所述步骤(7-1)中确定观测像素流的时间先验模型P(Hmn)并判断其是高斯型或拉普拉斯型，通过数据驱动方法进行判断，包括以下步骤，步骤(7-1-1)对观测像素流Imn进行线性插值得到像素流步 骤 ( 7 - 1 - 2 )建 立 像 素 流 的 高 通 版 的 高 斯 先 验 模 型和拉普拉斯先验模型其中，σG和σL分别表示高斯先验模型和拉普拉斯先验模型的标准差，K表示 的维数；
步骤(7-1-3)利用步骤(7-1-2)所建的高斯先验模型和拉普拉斯先验模型，在 已知的前提下，根据最大似然法则，估计出标准差
步骤(7-1-4)求出 和 的数值，比较两者的大小，若 大于则判定观测像素流的时间先验模型为高斯型；反之，则判定观测像素流的时间先验模型为拉普拉斯型。
一种基于像素流和时间先验信息的单视频帧率复原方法
技术领域
[0001] 本发明涉及一种视频复原方法，特别是涉及一种基于像素流和时间先验信息的单视频帧率复原方法，属于计算机图像与视频处理技术领域。
背景技术
[0002] 传统的视频复原方法，大多针对视频空间分辨率较低的问题，通过对单视频逐帧进行空间复原或对多视频进行空间信息互补重建，来提高视频空间分辨率、恢复视频空间细节信息。广大科研人员在多年广泛深入研究的基础上，提出的各类视频复原方法，均能在一定程度上解决空间分辨率低的问题，或满足基本应用需求。
[0003] 但是，上述有针对性的视频复原方法即使恢复了视频空间细节信息，却仍存在时间分辨率低、帧信息缺失等问题，以至于可能出现视频闪烁、停顿或抖动效应。
[0004] 因此，不同于常用的视频复原技术，除了涉及空间分辨率提高和空间细节信息恢复，视频复原还应关注时间分辨率(也即帧率)和时间细节信息，以进一步提高视频质量或视觉效果。目前，国内外已有一些学者注意到这一问题，并提出了视频的帧率复原方法。
[0005] 现有的视频帧率复原方法通常遵循两种路径。
[0006] 一种是采集同时段同场景的多部视频，通过融合多视频冗余/互补的帧信息，来实现视频帧率的复原。然而，此路径会受到视频采集条件的约束，如设备数量是否充足、型号是否统一等条件；且涉及多视频的同步和时间配准问题，实现起来较为复杂。
[0007] 另一种较为简洁的帧率复原遵循的路径，只需一部视频，通过帧间内插，实现视频帧率的复原。但是，单视频的帧间内插所需内插函数(例如线性函数、样条函数、二次函数等)的假定具有较大的随意性，使得内插帧的保真度不高；而即使采用最小均方误差实现内插，却仍解决不了视频帧的拖尾现象，这种现象主要因采集设备曝光时间较长而导致，使高速运动物体在图像中表现为沿其运动轨迹的模糊现象。
发明内容
[0008] 本发明的主要目的在于，克服现有技术中的不足，提供一种基于像素流和时间先验信息的单视频帧率复原方法，特别适用于高速运动物体的视频图像复原。
[0009] 本发明所要解决的技术问题是提供视频采集便捷、复原环节简洁、复原结果可靠、实用性强的基于像素流和时间先验信息的单视频帧率复原方法，不仅可摆脱使用多视频复原所涉及到的同步采集或时间配准的复杂程序过程，而且大幅提高视频保真度，以及有效消除因曝光时间长而导致的拖尾现象，极具有产业上的利用价值。
[0010] 为了达到上述目的，本发明所采用的技术方案是：
[0011] 一种基于像素流和时间先验信息的单视频帧率复原方法，其特征在于，包括以下步骤：
[0012] 步骤(1)获取待复原视频：通过视频采集得到单视频I＝{I(i)|i∈N}作为待复原视频，其中，I(i)为视频的帧，i为按时间顺序对每帧进行的编号；
[0013] 步骤(2)设计待复原像素流的构造方法：按帧排序，将单视频每帧位于同一坐标(m,n)的像素Imn(i)进行串联，形成观测像素流Imn＝{Imn(i)|i∈N}作为待复原像素流；
[0014] 步骤(3)将单视频表示为观测像素流的矩阵形式：根据步骤(2)的构造方法，按单视频每帧内的坐标顺序逐一构造出观测像素流，将构造的观测像素流进行组合，可使单视频以观测像素流的矩阵形式表示为 其矩阵中的每一个元素均为一个构造的观测像素流；
[0015] 步骤(4)建立观测像素流的退化模型：Imn＝DBHmn+E，其中，D为时间降采样矩阵，B为时间模糊矩阵、用来模拟曝光时间，Hmn为原始像素流，E为加入的高斯分布的噪声向量；
[0016] 步骤(5)计算得出原始像素流Hmn的概率估计式：
[0017] 根据贝叶斯概率统计法则，计算得出原始像素流Hmn的概率估计式为[0018]
[0019] 步骤(6)计算得出原始像素流Hmn的复原式：
[0020] 根据步骤(4)中所建观测像素流的退化模型和步骤(5)所得原始像素流Hmn的概率估计式，通过对数计算得出原始像素流Hmn的复原式为
[0021]
[0022] 其中， 为复原像素流，logP(Hmn)代表原始像素流的时间先验信息项，α为优化参数；
[0023] 步骤(7)对观测像素流进行复原：利用步骤(6)所得原始像素流Hmn的复原式，将步骤(3)所得以观测像素流的矩阵形式表示的单视频按下标顺序逐一进行复原，矩阵中每个Imn均以如下步骤进行复原得到复原像素流
[0024] 步骤(7-1)确定观测像素流的时间先验模型P(Hmn)并判断其是高斯型或拉普拉斯型：
[0025] 根据观测像素流Imn，采用数据驱动的方式，确定观测像素流的时间先验模型P(Hmn)是高斯型 还是拉普拉斯型 其中，Γ表示信号的高通算子；
[0026] 步骤(7-2)基于原始像素流Hmn的复原式导出偏导方程：
[0027] 确定时间先验模型P(Hmn)后，基于步骤(6)所得原始像素流Hmn的复原式[0028]
[0029] 导出偏导方程为
[0030] 步骤(7-3)对观测像素流Imn进行线性插值，得到像素流 作为迭代初始值；
[0031] 步骤(7-4)利用共轭梯度法对步骤(7-2)所得偏导方程进行迭代求解，得到复原像素流
[0032] 步骤(8)组合获得复原视频：将步骤(7)逐一复原的复原像素流 以矩阵形式组合成复原视频H作为输出，复原视频H以矩阵形式表示为
[0033]
[0034] 本发明进一步设置为：所述步骤(1)中的视频采集可使用摄像机对活动场景进行拍摄获取单视频。
[0035] 本发明进一步设置为：所述步骤(6)中的优化参数α采用试错法设定进行取值。
[0036] 本发明进一步设置为：所述步骤(7-1)中确定观测像素流的时间先验模型P(Hmn)并判断其是高斯型或拉普拉斯型，通过数据驱动方法进行判断，包括以下步骤，[0037] 步骤(7-1-1)对观测像素流Imn进行线性插值得到像素流
[0038] 步骤(7-1-2)建立像素流 的高通版 的高斯先验模型
[0039]
[0040] 和拉普拉斯先验模型
[0041] 其中，σG和σL分别表示高斯先验模型和拉普拉斯先验模型的标准差，K表示 的维数；
[0042] 步骤(7-1-3)利用步骤(7-1-2)所建的高斯先验模型和拉普拉斯先验模型，在已知的前提下，根据最大似然法则，
[0043] 估计出标准差
[0044] 步骤(7-1-4)求出 和 的数值，比较两者的大小，若 大于 则判定观测像素流的时间先验模型为高斯型；反之，则判定观测像素流的时间先验模型为拉普拉斯型。
[0045] 与现有技术相比，本发明具有的有益效果是：
[0046] 采集单视频进行一种基于像素流的复原方法不仅可以摆脱采集多视频复原所需条件的约束，如设备数量是否充足、型号是否统一等方面；而且不用涉及多视频同步采集或时间配准的复杂程序过程，路径简洁，简化复原环节；通过原始像素流的概率统计框架实现帧率复原，避免假定内插函数的随意性，可大幅提高视频保真度；同时将时间先验信息引入到概率统计框架中，并通过数据驱动方式确定时间先验模型，提高先验模型的可信度，以及有效消除因曝光时间长而导致的拖尾现象。
[0047] 上述内容仅是本发明技术方案的概述，为了更清楚的了解本发明的技术手段，下面结合附图对本发明作进一步的描述。
附图说明
[0048] 图1是本发明方法的流程图；
[0049] 图2是待复原像素流的构造方法示意图；
[0050] 图3是构造的观测像素流按矩阵形式组合成单视频的示意图；
[0051] 图4是以观测像素流的矩阵形式表示的单视频的侧视示意图；
[0052] 图5是原始像素流和观测像素流之间的关系图；
[0053] 图6是将观测像素流复原为原始像素流的流程图；
[0054] 图7是基于数据驱动法确定观测像素流的时间先验模型的流程图。
具体实施方式
[0055] 下面结合说明书附图，对本发明作进一步的说明。
[0056] 如图1所示，本发明提供一种基于像素流和时间先验信息的单视频帧率复原方法，首先获取待复原的单视频，构造观测像素流作为待复原像素流，并将单视频表示为观测像素流的矩阵形式；然后建立观测像素流的退化模型和原始像素流的概率估计式，由此导出含时间先验信息的原始像素流的复原式；再对观测像素流进行逐一复原，复原中采用的时间先验模型均通过数据驱动方式确定；最后将逐一复原的复原像素流以矩阵形式组合成复原视频，作为最终复原的高帧率视频。具体包括步骤如下：
[0057] 步骤(1)获取待复原视频：通过使用摄像机对活动场景进行拍摄完成视频采集得到单视频I＝{I(i)|i∈N}作为待复原视频，其中，I(i)为视频的帧，i为按时间顺序对每帧进行的编号。
[0058] 步骤(2)设计待复原像素流的构造方法：按帧排序，将单视频每帧位于同一坐标(m,n)的像素Imn(i)进行串联，形成观测像素流Imn＝{Imn(i)|i∈N}作为待复原像素流，如图2所示。
[0059] 步骤(3)将单视频表示为观测像素流的矩阵形式：根据步骤(2)的构造方法，按单视频每帧内的坐标顺序逐一构造出观测像素流，将构造的观测像素流进行组合，如图3所示，可使单视频以观测像素流的矩阵形式表示为
[0060]
[0061] 其矩阵中的每一个元素均为一个构造的观测像素流；如图4所示为以观测像素流的矩阵形式表示的单视频的侧视示意图。
[0062] 步骤(4)建立观测像素流的退化模型：Imn＝DBHmn+E，其中，D为时间降采样矩阵，B为时间模糊矩阵、用来模拟曝光时间，Hmn为原始像素流，E为加入的高斯分布的噪声向量。
[0063] 步骤(5)计算得出原始像素流Hmn的概率估计式：
[0064] 根据贝叶斯概率统计法则，计算得出原始像素流Hmn的概率估计式为[0065]
[0066] 通过概率统计框架实现原始像素流的复原，而不是利用内插估计原始像素流Hmn，使得复原结果的保真度更高。
[0067] 步骤(6)计算得出原始像素流Hmn的复原式：
[0068] 根据步骤(4)中所建观测像素流的退化模型和步骤(5)所得原始像素流Hmn的概率估计式，通过对数计算得出原始像素流Hmn的复原式为
[0069]
[0070] 其中， 为复原像素流，logP(Hmn)代表原始像素流的时间先验信息项，α为优化参数、可采用试错法设定进行取值。
[0071] 上述步骤(6)中时间先验信息的加入，可以使视频的拖尾现象得以有效消除。
[0072] 因为拖尾现象本质上是代表曝光时间的时间模糊矩阵B对原始像素流Hmn进行时间卷积的结果，如图5所示，Imn的每个像素值主要由Hmn若干像素的卷积和得到；所以消除拖尾现象自然要解卷积。
[0073] 如果仅用最小均方误差 的解卷积方式来复原原始像素流Hmn，就忽略了时间先验信息，其本质上是一种似然估计，因此很难将观测像素流中隐含的卷积和形式分解开，进而难以消除拖尾现象。
[0074] 步骤(7)对观测像素流进行复原：
[0075] 利用步骤(6)所得原始像素流Hmn的复原式，将步骤(3)所得以观测像素流的矩阵形式表示的单视频按下标顺序逐一进行复原，矩阵中每个Imn均以如图6所示的步骤进行复原得到复原像素流
[0076] 步骤(7-1)确定观测像素流的时间先验模型P(Hmn)并判断其是高斯型或拉普拉斯型：
[0077] 根据观测像素流Imn，采用数据驱动的方式，确定观测像素流的时间先验模型P(Hmn)是高斯型 还是拉普拉斯型 其中，Γ表示信号的高通算子；具体通过如图7所示的步骤，采用数据驱动方法确定时间先验模型，可使模型更加逼近原始像素流的数据特征，因而可避免通常人为假设模型的随意性。
[0078] 步骤(7-1-1)对观测像素流Imn进行线性插值得到像素流
[0079] 步骤(7-1-2)建立像素流 的高通版 的高斯先验模型
[0080]
[0081] 和拉普拉斯先验模型
[0082] 其中，σG和σL分别表示高斯先验模型和拉普拉斯先验模型的标准差，K表示 的维数；
[0083] 步骤(7-1-3)利用步骤(7-1-2)所建的高斯先验模型和拉普拉斯先验模型，在已知的前提下，根据最大似然法则，
[0084] 估计出标准差
[0085] 步骤(7-1-4)求出 和 的数值，比较两者的大小，若 大于 则判定观测像素流的时间先验模型为高斯型；反之，则判定观测像素流的时间先验模型为拉普拉斯型。
[0086] 步骤(7-2)基于原始像素流Hmn的复原式导出偏导方程：
[0087] 确定时间先验模型P(Hmn)后，基于步骤(6)所得原始像素流Hmn的复原式[0088]
[0089] 导出偏导方程为
[0090] 步骤(7-3)对观测像素流Imn进行线性插值，得到像素流 作为迭代初始值。
[0091] 步骤(7-4)利用共轭梯度法对步骤(7-2)所得偏导方程进行迭代求解，得到复原像素流
[0092] 步骤(8)组合获得复原视频：将步骤(7)逐一复原的复原像素流 以矩阵形式组合成复原视频H作为输出，复原视频H以矩阵形式表示为
[0093]
[0094] 本发明的创新点在于，采用单视频，实现视频采集便捷、复原环节简洁的帧率复原，其基于像素流概率统计框架，并引入时间先验信息，以及采用数据驱动方式确定时间先验模型，不仅提高视频保真度，还有效消除视频帧的拖尾现象。
[0095] 以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
