本发明公开了一种应用于视频质量评价的视频显著性区域搜索方法，包括如下步骤：取出关键帧与其前一帧的三维相关区域；获得三维区域的频率域显示；分别取出频率域的幅值谱和相位谱；获取谱残差和相位差；处理相位差，使其在规定范围内；获取谱残差与相位差的空间域显示；对获得的空间域结果进行高斯滤波；获得视频关键帧的显著性结果图。本发明考虑到视频在时间上和空间上的相关性，并依据人眼视觉特征确定适应于视频关键帧显著性图的时间管道；同时考虑到视频关键帧的幅度谱和相位谱在建立显著性模型时的重要作用；依据谱残差和相位差能够比较准确地去除了背景不动的区域，并保留关键的结构特征。
1.一种应用于视频质量评价的视频显著性区域搜索方法，包括如下步骤：步骤（1）取出关键帧与其前一帧的三维相关区域；
2.根据权利要求1所述的应用于视频质量评价的视频显著性区域搜索方法，其中步骤(1)所述的取出关键帧与其前一帧的三维相关区域，按如下步骤进行：(21) 提取测试序列关键帧的亮度信息及其前后各10帧的亮度信息，得到三维相关区域 ；
(22) 提取测试序列关键帧前一帧的亮度信息及其前后各10帧的亮度信息，得到三维相关区域 。
3.根据权利要求2所述的应用于视频质量评价的视频显著性区域搜索方法，其中步骤(2)所述的获得三维区域的频率域显示，按如下步骤进行：(31) 根据步骤(21)得到的三维区域 ，对其进行n维傅里叶变换得到频谱图З；
(32) 根据步骤(22)得到的三维区域 ，对其进行n维傅里叶变换得到频谱图χ。
4.根据权利要求3所述的应用于视频质量评价的视频显著性区域搜索方法，其中步骤(3)所述的分别取出频率域的幅值谱和相位谱，按如下步骤进行：(41) 根据频谱图З，取其幅度谱和相位谱；
5.根据权利要求4所述的应用于视频质量评价的视频显著性区域搜索方法，其中步骤(4)所述的获取谱残差和相位差，按如下步骤进行：(51) 取测试帧与其前一帧的谱残差 ；
6.根据权利要求5所述的应用于视频质量评价的视频显著性区域搜索方法，其中步骤(5)所述的处理相位差，使其在规定范围内，按如下步骤进行：(61) 通过加减 处理相位差B，使得相位差的范围在[-π，π]，N为整数。
7.根据权利要求6所述的应用于视频质量评价的视频显著性区域搜索方法，其中步骤(6)所述的获取谱残差与相位差的空间域，按如下步骤进行：(71) 根据n维傅里叶逆变换规则，处理谱残差和相位差，得到其空间域的显示图 。
8.根据权利要求7所述的应用于视频质量评价的视频显著性区域搜索方法，其中步骤(7)所述的对获得的空间域结果进行高斯滤波，按如下步骤进行：(81) 确定高斯滤波搜索窗大小11x11；
(83) 对空间域的显示图 进行高斯滤波得到图像 。
9.根据权利要求8所述的应用于视频质量评价的视频显著性区域搜索方法，其中步骤(8)所述的获得视频关键帧的显著性结果图，按如下步骤进行：(91) 对图像 进行处理，使其映射到0~1。
一种应用于视频质量评价的视频显著性区域搜索方法
技术领域
[0001] 本发明属于视频处理技术领域，涉及视频质量评价、感知编码、机器视觉等，可用于视频压缩和视频显著性区域提取及其相关的装置和产品，具体涉及一种应用于视频质量评价的视频显著性区域搜索方法。
背景技术
[0002] 随着网络的快速发展，人们对视频质量的要求越来越高，视频质量评价的研究意义就显得尤为重要。如何能在维持或增强视频质量的情况下，对视频进行压缩并易于传输是近年来研究的重点和热点。视频显著性区域的研究是在视频压缩过程中维持或增强视频质量的重要部分，同时也是解决视频传输等的一个有效的方法。视频显著性区域研究同时也涉及到其他的研究领域，如计算机视觉，心理学等。
[0003] 视频中场景变换复杂，每个画面信息内容强大，人们已经发现在图像信息内容丰富的情况下，人眼关注的焦点总是集中在图像或视频中的某一些特定区域。这是人眼视觉系统的一个内在属性。充分了解人类视觉的这种内在属性，并能够依据人眼的内在属性处理图像或者视频使其能更好的适应人们对图像或视频质量的要求。
[0004] 关于显著性研究是从上个世纪80年代中期开始的。显著性区域的提取一般是通过人眼视觉关注特性，模拟视觉的关注过程，通过分析图像的信息和特征提取图像或者视频中能够引起视觉关注的部分。如何根据计算机对图像/视频建立一个合适的显著性研究模型是目前世界科研领域亟待解决的问题。
[0005] 目前对图像显著性区域研究的方法有很多。视觉注意模型开始是Koch在文章“Shifts in selective visual attention : Towards the underlying neural circuitry”中，并在视觉生理和心理物理实验结果的基础上，根据显著性区域建立了视觉注意模型。由Itti提出算法“A model of saliency-based visual attention for rapid scene analysis, IEEE Trans. Pattern Anal.Mach.Intell.1998,20:1254-1259.”完善了模型。Itti算法中根据亮度，色度以及图像的方向空间三个通道的显著性区域的结果图融合得到最终的图像显著性图。这些方法都是模拟人眼的视觉注意力机制，能够比较好的检测出图像显著性图。但是对于视频的显著性图的分析不能仅从图像考虑，同时需要考虑到视频在时域上的相关性。
[0006] 与本发明相接近的算法为Xiaodi Hou在文章中“Saliency Detection: A Spectral Residual Appraoch，CVPR，2007：1-8”提出的一种简单的图像显著性算法，该算法中通过分析图像频率域的幅值特性，并根据大量图像幅值特性的研究结果，通过谱残差最终得到图像的显著性区域。
[0007] 具体步骤如下：
[0008] 1.如果测试图像是彩色图像转化为灰度图像；
[0009] 2.对测试图像进行FFT变换；
[0010] 3.分别取变化后的幅值图 和相位图 ；
[0011] 4.根据 计算得到谱残差， 为3x3的均值滤波器；
[0012] 5.根据 和 做傅里叶逆变换得到 ；
[0013] 6.根据公式 计算得到显著性图。
[0014] 但是该方法有如下缺点：
[0015] (1)图像显著性不能很好的适应于视频关键帧显著性的计算；
[0016] (2)没有考虑到相位对于显著性检测的重要性；
[0017] （3）背景复杂的情况下不能很好地检测出显著性区域。
发明内容
[0018] 为了解决现有技术中存在的上述技术问题，本发明提供了一种应用于视频质量评价的视频显著性区域搜索方法，包括如下步骤：
[0019] (1)取出关键帧与其前一帧的三维相关区域；
[0020] (2)获得三维区域的频率域显示；
[0021] (3)分别取出频率域的幅值谱和相位谱；
[0022] (4)获取谱残差和相位差；
[0023] (5)处理相位差，使其在规定范围内；
[0024] (6)获取谱残差与相位差的空间域显示；
[0025] (7)对获得的空间域结果进行高斯滤波；
[0026] (8)获得视频关键帧的显著性结果图。
[0027] 进一步的，其中步骤(1)所述的取出关键帧与其前一帧的三维相关区域，按如下步骤进行：
[0028] (21)提取测试序列关键帧的原始图像及其前后各10帧的原始图像，得到三维相关区域 ；
[0029] (22)提取测试序列关键帧前一帧的原始图像及其前后各10帧的原始图像，得到三维相关区域 。
[0030] 进一步的，其中步骤(2)所述的获得三维区域的频率域显示，按如下步骤进行：
[0031] (31)根据步骤(21)得到的三维区域 ，对其进行n维傅里叶变换得到频谱图З；
[0032] (32)根据步骤(22)得到的三维区域 ，对其进行n维傅里叶变换得到频谱图χ。
[0033] 进一步的，其中步骤(3)所述的分别取出频率域的幅值谱和相位谱，按如下步骤进行：
[0034] (41)根据频谱图З，取其幅度谱和相位谱；
[0035] (42)根据频谱图χ，取其幅度谱和相位谱。
[0036] 进一步的，其中步骤(4)所述的获取谱残差和相位差，按如下步骤进行：
[0037] (51)取测试帧与其前一帧的谱残差 ；
[0038] (52)取测试帧与其前一帧的相位差 。
[0039] 进一步的，其中步骤(5)所述的处理相位差，使其在规定范围内，按如下步骤进行：
[0040] (61) 通过加减 处理相位差B，使其小于等于π。
[0041] 进一步的，其中步骤(6)所述的获取谱残差与相位差的空间域，按如下步骤进行：
[0042] (71)根据n维傅里叶逆变换规则，处理谱残差和相位差，得到其空间域的显示图。
[0043] 进一步的，其中步骤(7)所述的对获得的空间域结果进行高斯滤波，按如下步骤进行：
[0044] (81) 确定高斯滤波搜索窗大小11x11；
[0045] (82) 计算得到三维高斯滤波器；
[0046] (83) 对空间域的显示图 进行高斯滤波得到图像 。
[0047] 进一步的，其中步骤(8)所述的获得视频关键帧的显著性结果图，按如下步骤进行：
[0048] (91) 对图像 进行处理，使其映射到0~1。
[0049] 本发明的应用于视频质量评价的视频显著性区域搜索方法的有益效果如下：
[0050] (1)考虑到视频在时间上和空间上的相关性，并依据人眼视觉特征确定适应于视频关键帧显著性图的时间管道；
[0051] (2)同时考虑到视频关键帧的幅度谱和相位谱在建立显著性模型时的重要作用；
[0052] (3)依据谱残差和相位差能够比较准确地去除了背景不动的区域，并保留关键的结构特征。
附图说明
[0053] 图1是本发明的应用于视频质量评价的视频显著性区域搜索方法的流程图；
[0054] 图2是高斯滤波算法图；
[0055] 图3是测试序列foreman的测试帧图；
[0056] 图4是测试序列foreman的测试帧前一帧图；
[0057] 图5是foreman序列关键帧Hou算法与本发明的对比图；
[0058] 图6是测试序列paris的测试帧图；
[0059] 图7是测试序列paris的测试帧图前一帧图；
[0060] 图8是paris序列关键帧Hou的算法与本发明的对比图。
具体实施方式
[0061] 下面结合附图对本发明作进一步说明。
[0062] 如图1-8所示，本发明的应用于视频质量评价的视频显著性区域搜索方法，具体步骤如下：
[0063] 步骤一：取出关键帧与其前一帧的三维相关区域：
[0064] (1.1) 确定测试序列关键帧（也就是测试帧）；
[0065] (1.2) 提取测试序列关键帧的亮度信息；
[0066] (1.3) 确定测试序列关键帧的亮度信息及其前后各10帧的亮度信息，得到三维相关区域 ；
[0067] (1.4) 提取测试序列关键帧前一帧的亮度信息及其前后各10帧的亮度信息，得到三维相关区域 ；
[0068] 步骤二：获得三维区域的频率域显示：
[0069] (2.1) 对三维区域 进行n维傅里叶变换得到频谱图З；
[0070] (2.2) 对三维区域 进行n维傅里叶变换得到频谱图χ；
[0071] 步骤三：分别取出频率域的幅值谱和相位谱：
[0072] (3.1) 根据频谱图З和下述表达式，取其幅度谱和相位谱：
[0073]
[0074] (3.2) 根据频谱图χ和下述表达式，取其幅度谱和相位谱：
[0075]
[0076] 步骤四：获取谱残差和相位差：
[0077] (4.1) 谱残差 的表达式为 ；
[0078] (4.2) 相位差 的表达式为 ；
[0079] 步骤五：处理相位差B，使其在规定范围内：
[0080] (5.1) 根据正弦函数的周期性处理相位差，使得相位差的范围在[-π，π]；
[0081] 步骤六：获取谱残差与相位差的空间域：
[0082] (6.1) 根据n维傅里叶逆变换规则，将谱残差作为新图像的幅值，相位差作为新图像的相位，得到新图像的空间域的显示图 ；
[0083] 步骤七：对获得的空间域结果进行高斯滤波：
[0084] (7.1) 确定高斯滤波搜索窗大小11x11，如图2所示为高斯滤波器的算法图；
[0085] (7.2) 计算得到三维高斯滤波器 ；
[0086] (7.3) 根据下述表达式对空间域的显示图 进行高斯滤波得到图像 ：
[0087] 为关键帧坐标；
[0088] 步骤八：获得视频关键帧的显著性结果图：
[0089] (8.1) 对图像 进行处理，使其映射到0~1。
[0090] 本发明的应用于视频质量评价的视频显著性区域搜索方法采用视频帧的空间相关性和时间相关性计算显著性图，基于关键帧的空时域范围内的幅值谱残差和相位差的关系获得关键帧的显著性图，降低关键帧基本不动的背景区域的显著性。
