定向内插和数据后处理

摘要

本申请涉及一种定向内插和数据后处理。其中，一种用于处理从编码视频中解码的视频流的区域的方法包括以下步骤：接收表示要应用于解码之后的视频流的所述区域的后处理技术的信号，其中，基于应用于所述区域的后处理技术的相关性能，在对视频进行编码之前、在对视频进行编码期间、或在对视频进行编码之后，在解码之前选择后处理技术，其中，所接收的信号包括所选择的后处理技术的标识符，以及其中，标识符被打包为编码视频和编码视频的辅助信息中的至少一个；将所选择的后处理技术应用于解码的视频流的所述区域；其中，如果所述区域不是预定的，则所接收的信号包括关于所述区域的特性的信息。

权利要求

1.一种用于处理从编码视频中解码的视频流的时间长方体区域的方法，所述方法包括以下步骤：接收表示要应用于解码之后的所述视频流的所述时间长方体区域的后处理技术的信号，其中，所述时间长方体区域的特性包括宽度、高度以及时间信息，其中，在解码之前选择所述后处理技术，其中，所接收的信号包括所选择的后处理技术的标识符，以及其中，所述标识符被打包为所述编码视频和所述编码视频的辅助信息中的至少一个；

将所选择的后处理技术应用于解码的视频流的所述时间长方体区域；

其中，如果所述时间长方体区域不是预定的，则所接收的信号包括关于所述时间长方体区域的特性的信息，其中，所述视频包括以并排格式布置的至少两个梅花采样的视图。

2.根据权利要求1所述的方法，其中，所述后处理技术包括：

分辨率转换，所述分辨率转换包括空间分辨率转换和时间分辨率转换中的至少一种，和/或缩放，所述缩放包括解交织、时间内插以及空间内插中的至少一种，和/或错误隐藏，所述错误隐藏包括错误的时间长方体区域的运动预测。

3.根据权利要求1所述的方法，其中，所述两个视图是二维图像和深度信息。

4.一种后处理装置，包括：

视频输入装置，被配置成接收解码视频流，所述视频流是并排格式的至少两个梅花采样的视图；

指令机构，被配置成执行接受来自所述视频流的辅助信息信道的指导指令以及从所述解码视频流识别指导指令之一；

后处理器，被配置成基于所述指导指令对所述解码视频流进行后处理；以及视频输出装置，被配置成输出后处理后的视频流，其中，所述指导指令包括所述视频中的至少一个非预定义的时间长方体区域的标识和要应用于所述时间长方体区域的所选择的后处理技术的标识符，所述时间长方体区域的特性包括宽度、高度以及时间信息，所述标识包括关于非预定义的时间长方体区域的特性的信息，然而，如果所述时间长方体区域是预定义的，则所述指导指令不包括关于所述时间长方体区域的特性的信息。

5.根据权利要求4所述的后处理装置，其中，所述时间长方体区域包括子区域，并且所述指导指令包括要应用于对各个子区域进行处理的后处理技术的不同参数。

6.根据权利要求4所述的后处理装置，其中，所述指导指令标识具有不同纹理质量的时间长方体区域和专用于各种纹理质量的处理方法。

7.根据权利要求4所述的后处理装置，其中，所述指导指令包括当产生编码比特流时，在对所述解码视频流测试多个滤波器之后选择的滤波器标识。

8.根据权利要求4所述的后处理装置，其中，所述指导指令包括滤波器标识，所述滤波器标识包括后处理技术的类或类型的标识，并且所述后处理器进一步被配置成根据后处理技术的类或类型选择后处理技术，并且利用所选择的后处理技术对所述解码视频流进行后处理。

9.根据权利要求8所述的后处理装置，其中，所述后处理器进一步被配置成选择其特性最接近所述滤波器类别的特性的滤波器，并且利用所选择的滤波器作为所述后处理的至少部分。

10.根据权利要求4所述的后处理装置，其中，所述两个视图是二维图像和深度信息。

说明书

定向内插和数据后处理

[0001] 本申请是国家申请号为201080013000.5，进入中国国家阶段的日期为2011年9月20日，发明名称为“定向内插和数据后处理”的PCT申请的分案申请。

[0002] 版权通知

[0003] 该专利文献的公开内容的一部分包含受版权保护的材料。版权所有者不反对任何人对专利文献或专利公开内容的拓制，正如其在专利和商标局专利文件中所发表或记录的，但是无论如何保留所有的版权权利。

[0004] 对相关申请的交叉引用

[0005] 该申请要求2009年4月20日提交的美国专利临时申请第61/170,995号的优先权，其全部内容通过引用合并于此。

技术领域

[0006] 本发明涉及内插和后处理。

背景技术

[0007] 在许多环境和应用中，信号的分辨率可能需要做出让步。例如，这可以用来减小表示信号所需的带宽，降低解码复杂度，适合特定显示装置的特性等。也可以在多个域/维度中指定信号的分辨率。在视频信号的情况下，其中，这可以包括空间(即，水平和垂直)分辨率、时间分辨率、位深度以及甚至立体信息。在许多情况下，可以使一个维度的分辨率做出让步以有利于另一维度的分辨率，例如，在交织视频信号的情况下，牺牲空间分辨率以有利于时间分辨率。对于三维应用，一个让步是使用多种布置在空间上降低采样，并且然后对可用的立体视图进行复用。降低采样可以是基于水平的、垂直的或者甚至梅花(quincunx)的，而数据可以被打包或交织在一起，即，使用棋盘复用(checkerboard multiplexing)。

发明内容

[0008] 本发明人已认识到，在给定转换处理具有关于内容的原始性质和特性的较少信息或没有该信息的情况下，用于规模缩小的或者做出让步的视频和其它数据的重构的当前方法可能在性能方面严重受限，或者在复杂度方面受到约束。

[0009] 在各个实施例中，本发明提供了将规模缩小或者做出让步的视频或其它数据重构回其原始的或者甚至更高的/不同的分辨率或格式。例如，720p(1280×720)分辨率的视频可被(或者可能需要被)向上转换为1080p(1920×1080)分辨率以显示在更高分辨率的显示器上。类似地，包括以棋盘布置复用的两个梅花采样的视图的三维信号或者包括以并排布置打包的两个水平或梅花采样的视图的三维信号可能需要被向上转换为两个全分辨率三维视图或者不同的采样布置(诸如逐行)。

[0010] 图9是示例性梅花采样技术的图示，其中，例如，由滤波器/函数/转换f(x)920对全分辨率图像(例如，立体图形图像对的左视图)进行操作并且然后由采样器930对其进行梅花采样。结果是例如如940处所示的样本图案。(像素数据的)样本图案然后可与另一梅花采样的图像(例如，立体对的右视图)或者可能的另一视图或者甚至不相关的图像进行复用，并且然后被编码。处理也可以应用于使用不同采样和打包方法(诸如并排打包的水平采样或者逐行或者上下打包的垂直采样)的图像。

[0011] 转换处理可以使用多种算法来进行，包括例如可分离的或不可分离的滤波器、边缘自适应内插方法等中的任意一个或多个，转换处理在各个实施例中可能还需要信号的分析和表征。

[0012] 图10是根据本发明的实施例的用于梅花采样数据的内插器的图示。该处理与其它采样和打包方法类似。如图10所示，比特流1005被提供到对采样图像1080(在该示例中为梅花采样图像)进行解码的解码器1050，该采样图像1080然后被应用于一系列滤波操作1085中的每个。滤波操作1085可包括任意的时间、空间或其它向上转换处理或者此处针对采样图像的向上转换、误差校正、颜色校正或者一般改进中的任意类型而描述的任意其它处理。要用于任意特定的像素或区域的滤波操作例如由元数据提取器1070从比特流1005提取的元数据来指定。结果是例如图像的全分辨率版本1090。

[0013] 在要投射的立体图像对的情况下，定向滤波操作可包括颜色校正，以使得左图像和右图像的相应部分中的颜色与指导者的意图一致。在这样的实施例/应用中，在使用不同颜色的光源或滤波器的投射系统中颜色校正尤其重要，以使得左图像和右图像的颜色如所期望的匹配。

[0014] 根据一个实施例，提供一种用于处理从编码视频中解码的视频流的区域的方法，所述方法包括以下步骤：接收表示要应用于解码之后的所述视频流的所述区域的后处理技术的信号，其中，基于应用于所述区域的后处理技术的相关性能，在对视频进行编码之前、在对视频进行编码期间、或在对视频进行编码之后，在解码之前选择所述后处理技术，其中，所接收的信号包括所选择的后处理技术的标识符，以及其中，所述标识符被打包为所述编码视频和所述编码视频的辅助信息中的至少一个；将所选择的后处理技术应用于解码的视频流的所述区域；其中，如果所述区域不是预定的，则所接收的信号包括关于所述区域的特性的信息。

[0015] 根据另一实施例，提供了一种后处理装置，包括：视频输入装置，被配置成接收解码视频流；指令机构，被配置成执行接受来自所述视频流的辅助信息信道的指导指令以及从所述解码视频流识别指导指令之一；后处理器，被配置成基于所述指导指令对所述解码视频流进行后处理；以及视频输出装置，被配置成输出后处理后的视频流，其中，所述指导指令包括所述视频中的至少一个非预定义区域的标识和要应用于所述区域的所选择的后处理技术的标识符，所述标识包括关于所述非预定义区域的特性的信息，然而，如果所述区域是预定义的，则所述指导指令不包括关于所述区域的特性的信息，其中，基于应用于所述区域的后处理技术的相关性能，在对视频流进行编码之前、在对视频流进行编码期间、或在对视频流进行编码之后，在解码之前选择所述后处理技术。

[0016] 本发明包括如下方法：其通过向例如解码器、显示器或其它系统的装置发出应该使用何种转换方法的信号来实现改进的转换性能和/或控制转换复杂度。该方法在某些情形或环境中还可用于改变或控制解码器的行为，诸如在通过改变或者甚至禁用解码处理原始要求(mandate)的某些工具来控制解码器复杂度的情况下，或者在所提供的信息现在可以考虑用于校正信号中的误差的更“了解情况的(informed)”处理的错误隐藏的情况下。发信号以序列方式可以是例如图片组、图片或区域级。图片组可以具有固定尺寸或者可以是任意的。类似地，区域可以具有固定形状和小至甚至像素的尺寸，或者也可以是任意的。本发明不是仅限于发出所述参数的信号的方法，而是还发出关于在给定预定标准的情况下如何导出“最佳”参数的信号。

[0017] 本发明可被实施为包括如下步骤的方法：接收表示要用于数据流的处理技术的信号。

[0018] 处理技术可包括例如如下中的任意一种或多种：分辨率转换、控制处理的复杂度、假象减少、误差校正、错误隐藏、缩放、内插、现有处理工具的变更以及至少一种工具的使能或禁用。分辨率转换可包括空间分辨率转换和时间分辨率转换中的至少一种。缩放可包括解交织、时间内插以及空间内插中的至少一个。错误隐藏可包括错误的区域的运动预测。信号还可表示要应用处理技术的空间和时间范围中的至少一个。

[0019] 在一个实施例中，数据流是视频数据流，并且范围包括处理技术是否应用于以下中的至少一个：全部视频、视频的部分、视频的图片以及视频内的区域。视频的图片可包括例如视频的帧和视频的场中的任意。

[0020] 在一个实施例中，数据流包括具有至少两个不同的视图的视频，并且信号还表示对视频的至少一帧内的至少一个区域执行处理技术。不同的视图可包括例如以下中的至少一个：立体画法视图、两个不同的图像、二维图像和深度信息、具有不同特性(诸如分辨率、位深度或颜色信息)的二维场景的多视图以及三维场景的多视图。至少两个不同的视图也可以以能够实现单视图视频流的标准化运动图片格式在数据流内被压缩和复用。视图的压缩可包括视图的采样、滤波以及抽选中的至少一个。视图的压缩还可包括水平、垂直滤波以及梅花采样中的至少一个。视图的压缩还可包括滤波和采样两者。并且，采样例如可包括水平、垂直、梅花、基于公式的、基于图案的以及任意采样中的至少一种。复用例如可以以如下格式中的至少一种来实现：棋盘格式、基于象限的格式、列格式、行格式、并排格式、上下格式、基于图案的格式以及替选格式(alternative format)。

[0021] 在一个实施例中，信号被配置成标识要应用于图像或视频场景的区域的解码处理的至少部分和解码后处理的至少部分中的至少一个，该图像或视频场景的区域具有所标识的处理有效地对其作用的特性。特性可包括区域的纹理、轮廓、边缘、对比度、动态范围以及亮度中的至少一种。

[0022] 在一个实施例中，信号是从数据流和与该数据流相关的辅助信息中的至少一个接收的。在另一实施例中，发信号可包括要应用于序列、图片组(GOP)以及具有固定、任意或变化尺寸之一的区域中的至少一个的处理技术。该方法还可包括如下步骤：基于发出信号的处理技术选择至少一种处理技术，以及将所选择的处理技术应用于序列、GOP以及区域中的至少一个。选择步骤可由例如解码器来执行，该解码器被配置成通过对序列、图片组(GOP)以及区域中的至少一个应用所选择的处理技术来对数据流进行解码。选择步骤还可包括选择不同处理技术类别中的处理技术，该处理技术与发出信号的处理技术不同但是最接近发出信号的处理技术。

[0023] 在一个实施例中，处理技术包括一系列处理技术。一系列处理技术可包括例如内插处理、滤波以及去块处理中的至少一种。

[0024] 在一个实施例中，发信号可包括发出一族处理技术的信号，并且该方法还可包括如下步骤：从发出信号的族选择至少一种处理技术，以及将所选择的技术应用于序列、图片组(GOP)以及具有固定、任意或变化尺寸之一的区域中的至少一个。

[0025] 在一个实施例中，处理技术是经由接收数据流之前的预处理步骤选择的。预处理可包括例如在支配数据流以用于介质存储或广播之前执行的工作室工作。预处理可包括对相似数据流的一组潜在处理技术的重复执行以及所选择的处理技术的标识符在数据流和与该数据流相关的辅助信息中的至少一个中的嵌入。预处理还可在编码以及然后存储在介质上或者通过任意数量的信道进行传输以用于端用户的解码和重放之前或与其同时，由数据流捕获的视频的预处理重放期间动态地(on-the-fly)执行。

[0026] 所选择的处理技术可能还需要在解码器处对数据流的解码和重放期间，通过执行附加分析和/或处理而生成的附加信息。这样的分析和/或处理可发生在例如编码视频的动态解码和重放期间，以供端用户观看者观看。这样的分析和/或处理可包括例如在编码器处执行的分析和/或处理的细化。

[0027] 所选择的处理技术可包括例如最低成本处理技术、最高性能处理技术以及在成本和性能之间的组合或折衷中的至少一种。成本可包括例如复杂度、面积、功率以及价格中的至少一个。性能可包括例如质量和速度中的至少一个。

[0028] 在一个实施例中，附加分析包括例如在给定所提供的信息的情况下，也可发生于解码器装置上的附加“辅助/第二”后处理。

[0029] 在另一实施例中，数据流包括编码视频数据流，并且发出信号的处理技术被选择为增强针对视频数据流的图片、图片组(GOP)以及区域的至少一个的解码和解码的后处理中的一个。处理技术例如在视频数据流的编码之前、期间或之后中的至少一个被选择。数据流可包括例如转码编码视频流，并且处理技术可在视频数据流的编码之前、期间或之后中的至少一个被选择。处理技术可包括例如要与对视频数据流的区域的处理技术结合使用的参数，并且方法还可包括接收对于区域和不同区域的子区域中的至少一个的参数改变。

[0030] 本发明还可被实施为方法，该方法包括如下步骤：选择用于改进要从编码视频解码的视频的至少部分的机制，其中，所选择的机制被配置成指导编码视频的解码和要应用于解码之后视频的后处理中的至少一个；以及将所选择的机制以及所选择的机制的标识符中的至少一个作为指导信号打包为编码视频和编码视频的辅助信息中的至少一个。所选择的机制可包括处理和处理的参数中的至少一个。视频的部分可包括视频的区域和子区域中的至少一个。

[0031] 在一个实施例中，视频的部分包括视频的图像、视频的图像序列、视频的图像区域、跨越视频的帧的动态区域以及视频的任意子区域中的至少一个。替选地，视频的部分包括视频的包括块的区域或子区域。在另一替选中，视频的部分包括视频的包括多个块的区域或子区域。块可以是例如不邻接的。块还可包括棋盘图案的至少部分。

[0032] 在一个实施例中，视频的部分包括跨越视频的多个帧的视频数据样本的几何布置。几何布置可在尺寸和形状中的至少一个方面在视频的帧之间变化。

[0033] 在一个实施例中，视频的部分包括视频数据样本的不规则布置。在另一实施例中，视频的部分包括视频的立体场景的协同定位的样本。在又一实施例中，视频的部分包括具有M×K×N的长方体，其中，M是宽度，K是高度，并且N是时间样本的数量。在又一实施例中，视频的部分包括片段和跨越多个帧跟踪的对象之一。在再一实施例中，视频的部分通过如下中的至少一种来确定：用户输入、分割、对象跟踪、场景剪辑检测、边缘检测、分水岭、豪斯多夫(haursdorff)方法、K均值、运动检测、运动估计、运动分析以及质量评估。在又一实施例中，方法还可包括针对视频的第2部分重复选择和打包的步骤。视频的部分可包括规则形状的区域，并且视频的第2部分可包括不规则形状的区域。在一个实施例中，视频的部分和视频的第2部分重叠。所选择的机制可包括如何对视频重叠中的机制执行的处理进行平均的指令。所选择的机制还可包括如何顺序启动视频重叠中的机制的指令。

[0034] 在一个替选中，视频的部分是预先定义的，并且打包不包含标识该部分的信息。在另一替选中，视频的部分是使用长方体描述、基于向量的描述以及基于光栅的描述中的至少一个定义的。视频的部分可以是例如以使用图像格式编码的数据标识的。

[0035] 在另一实施例中，视频的部分是以使用如下格式编码的数据标识的：该格式包括CGM、SVG、EPS、WMF、TIFF、BMP、JPEG、JPEG-2000、MPEG-2以及H.264和MPEG4-AVC中的至少一种。在另一实施例中，视频的部分包括以过程图(process map)标识的区域。在另一实施例中，视频的部分包括以图像或图形格式中的至少一种映射的区域。在另一实施例中，本发明包括将序列指令连同指导信号一起打包。在另一实施例中，指导信号包括表示要执行的各种处理的优选顺序的排序。在另一实施例中，指导信号可包括要至少部分由所选择的机制执行的空间向上采样、时间向上采样以及去块的排序。在另一实施例中，视频的部分包括被划分成一系列子区域的区域，其中，所选择的机制包括与第一子区域对应的第1参数以及与第二子区域对应的第2参数。在另一实施例中，机制是至少部分基于机制的复杂度而选择的。所选择的机制可具有例如对于给定质量阈值的最低复杂度。

[0036] 本发明还可被实施为后处理装置，该后处理装置包括：视频输入，被配置成接收解码视频流；指令机制，被配置成接受来自视频流的辅助信息信道的指导指令以及从解码视频流识别指导指令之一；后处理器，被配置成基于指导指令对解码视频流进行后处理；以及视频输出，被配置成输出后处理后的视频流。后处理装置可例如被集成到显示器、机顶盒以及媒体播放器中的至少一个中。指导指令可包括例如视频中的至少一个区域和要应用于该区域的至少一种处理方法的标识。区域可包括例如子区域，并且指导指令可包括要应用于对各个子区域进行处理的处理方法的不同参数。指导信号还可标识具有不同纹理质量的区域以及专用于各种纹理质量的处理方法。

[0037] 在一个实施例中，指导信号包括在对解码视频流测试多个滤波器之后选择的滤波器标识。滤波器标识可包括滤波器的整个类别的标识。后处理器还可被配置成根据滤波器类别选择滤波器，并且利用所选择的滤波器来对解码视频流进行后处理。后处理器进一步被配置成选择其特性最接近滤波器类别的特性的滤波器，并且利用所选择的滤波器作为后处理的至少部分。

[0038] 在一个实施例中，后处理器进一步被配置成选择已知为具有如下特性的滤波器：该特性是接近滤波器标识所标识的滤波器的特性、或比滤波器标识所标识的滤波器的特性更好的特性中的至少一种。在另一实施例中，滤波器标识是基于失真和复杂度中的至少一个而选择的。失真可以以多种方式来评估，包括经由SAD、SSE、主观评估、块化、方差、频率特性、图像/纹理锐度、边缘质量以及空间或时间上的假象中的至少一个。

[0039] 在一个实施例中，测试是在开环类型的测试装置中执行的，而在另一实施例中，测试是在闭环类型的测试装置中执行的。测试可例如针对视频的多个区域而执行。多个区域可包括例如视频的时间区域。多个时间区域包括具有变化形状和尺寸的区域。

[0040] 在一个实施例中，视频的区域通过分割、对象跟踪、场景剪辑检测、边缘检测、分水岭、豪斯多夫方法、K均值、运动检测、运动估计以及运动分析中的至少一个来确定。视频的区域可使用CGM、SVG、EPS、WMF、TIFF、BMP、JPEG、JPEG-2000、MPEG-2以及H.264和MPEG4-AVC中的至少一个来标识。

[0041] 本发明还可被实施为一种系统，该系统包括：编码器，被配置成选择要在解码器中利用的处理技术、处理技术类别以及一系列处理技术中的至少一个，以及在编码视频流和与编码视频流相关的辅助信息中的至少一个中对所选择的技术或所选择的技术的标识符进行编码；以及解码器，被配置成接收编码视频流以及使用所选择的技术中的至少一种对视频流进行解码。所选择的技术是从编码视频流单独识别的。所选择的技术可例如由解码器从相关的辅助信息和编码视频流中的至少一个来识别。技术可基于质量、复杂度以及成本中的至少一个来选择。解码器可利用所选择的处理技术来选择另一处理技术。

[0042] 在一个实施例中，解码器保存处理技术的目录，并且从目录中选择与编码器选择的技术最接近匹配的一种或多种处理技术。在一个实施例中，解码器选择的技术是基于复杂度、成本以及质量中的至少一个而选择的。解码器选择的技术也可考虑到解码器中可用的处理功率量而至少部分基于复杂度来选择。

[0043] 装置和方法两者的部分可方便地以在通用计算机或网络化计算机上的编程来实现，并且结果可显示在连接到通用计算机、网络化计算机中的任意的输出装置上，或者可传送到远程装置用于输出或显示。另外，以计算机程序、数据序列和/或控制信号表示的本发明的任意部件可被实施为在任意介质中以任意频率的电子信号广播(或传送)，包括但不限于无线广播、以及通过铜线、光纤电缆以及同轴电缆等的传输。

附图说明

[0044] 随着本发明的更完整理解和本发明的许多伴随优点通过参照结合附图考虑的以下详细描述而得到更好的理解，将容易获得本发明的更完整理解和本发明的许多伴随优点，其中：

[0045] 图1A是根据本发明的实施例的元数据信令的固定尺寸时间区域的图示；

[0046] 图1B是根据本发明的实施例的元数据信令的可自适应尺寸的时间区域的图示；

[0047] 图2A是根据本发明的实施例的相等尺寸的区域的图示；

[0048] 图2B是根据本发明的实施例的可自适应定义的区域的图示；

[0049] 图2C是根据本发明的实施例的各个区域内的子区域的图示；

[0050] 图3是根据本发明的实施例的用于嵌入元数据的开环系统的图；

[0051] 图4是根据本发明的实施例的用于嵌入元数据的闭环系统的图；

[0052] 图5是根据本发明的实施例的基于主观或客观失真估计的滤波器选择处理的图；

[0053] 图6是根据本发明的实施例的基于元数据的后处理器的图；

[0054] 图7是根据本发明的实施例的、可用于例如错误隐藏或解码器简化的基于元数据的自适应解码的图；

[0055] 图8是根据本发明的实施例的解码器的图；

[0056] 图9是梅花采样技术的图示；

[0057] 图10是根据本发明的实施例的用于梅花采样数据的内插器的图示；以及[0058] 图11是示出根据本发明的实施例的、图像区域的评估和选择的流程图。

具体实施方式

[0059] 本发明人已观察到算法的性能和行为取决于算法所应用的图像、视频场景或其它数据的区域的特性而会大大不同。特别地，在视频的情况下，对于具有低纹理特性的区域R0，算法A0对于例如缩放来说比算法A1表现更好并且导致更好的图像质量，而A1对不同的区域R1可表现更好并且导致更好的图像质量。虽然在给定算法A0和A1的情况下，解码器可试图在给定区域特性或者甚至在给定转换后区域的特性的情况下，确定哪种算法可更好地运行，但是执行该处理可能太复杂并且太费时。此外，在给定解码器仅具有关于图像/视频的有限信息的事实的情况下，性能总是受可用信息的约束。这可能会相当大地限制这样的方案的性能。

[0060] 在各个实施例中，本发明通过提供可以指示应该使用哪种算法、多个算法、或算法组/类来处理各个不同的区域的附加信息来辅助解码器或后处理器。这通过如下步骤来进行：在编码处理之前(例如，使用预处理器)、期间或之后分析和评估各个算法及其性能和/或特性，对各个算法在给定应用的情况下的行为进行评级，以及然后针对各个区域对适当的算法和任何相关的参数进行选择和发信号。

[0061] 发信号可以在比特流(或数据流)本身(例如，包括比特流中的信号或元数据)内进行，或者可以作为辅助信息(例如，作为元数据文件或流)来发信号。在解码器处，关于各个区域的推荐处理信息可以被解码，并且在信号或元数据中选择的、包含于其中的或者以其标识的一种或多种适当算法用于执行一种或多种必要的操作，该一种或多种必要的操作可以是预先确定的或者也可以以信号或元数据来标识。

[0062] 注意，在本发明中，解码器可以被配置成维持对所利用的算法的控制。例如，解码器或后处理器可以不总是被强制使用所选择的或标识的算法或算法类，而是可取决于环境(诸如例如某些算法的可用性和/或要实现的成本)而选择忽视或选择类似的算法。此外，解码器或后处理器可选择部分“忽略”推荐的算法(例如A0)，而是替代地使用不同的算法(例如A1)。A1可具有与A0类似的特性，但是可较不复杂，或者可已知为具有更好的性能。还可能的是，A0可能是不可用的或未知的，在该情况下，解码器或后处理器会希望使用系统预定义的默认算法(例如AD)。

[0063] 区域信令

[0064] 在预处理器和/或编码器级，各个算法或各个算法类优选地是在发信号之前评估的。评估可以在区域级进行，其中，区域可以是比特流的任意部分。例如，在视频比特流中，区域可以是完整的序列或图像、子序列/视频场景、立体帧对或单个帧/视图，包括图像中的子采样视图或子区域。图像中的子区域可以具有规则(例如，三角形、矩形等)或不规则/随机形状，可以为任意尺寸(例如，8×8、32×32、4×64等)，并且甚至可以在时间上(例如，在时间上跟踪的对象)或空间中(例如，三维空间中的对象)扩展。

[0065] 如用于三维立体递送的梅花采样和棋盘复用的视频数据的情形一样，特别是在子采样和复用数据的情况下，也可以使用子采样来考虑区域。区域也可以是例如由用户预定义的。例如，整个序列可以被标识为单个区域，或者诸如在尺寸为N的固定图片组(GOP)的情况下，区域可以指定N个连续帧的集合。

[0066] 区域可包括例如用于确定针对该片段的信令的处理的空间区域分割。如图2A所示，也可以使用具有相等尺寸(宽度/M)×(高度/K)的M×K个矩形区域，其中，宽度和高度分别是帧的宽度和高度。用户甚至可指定所有单独的像素，或者甚至对应于区域的所有单独的样本(例如，分离亮度和色度样本)。

[0067] 也可利用其它组合，包括例如将立体对中的协同定位的样本分组在一起成为尺寸为M×K×N的长方体等，其中，现在，N对应于时间样本。区域也可自适应地来选择和定义，并且基本上可以是任意形状。如图2B所示，示出了自适应定义的区域A0-A4。在各个实施例中，可以使用诸如场景剪辑检测、图像/视频分割、对象跟踪等的多种算法中的一种或多种来选择区域。

[0068] 用于分割的算法可包括使用边缘检测、分水岭方法、豪斯多夫距离、K均值的技术，并且还可以考虑运动检测/估计和分析。运动估计可使用其中包括仿射、双曲线、平移的多种算法和模型来进行，并且可以是在空间域或频域(例如，使用相位关联)等中基于块或区域而进行的。

[0069] 本发明不限制用于这样的区域的确定的其它算法的应用。区域也可在给定它们的照明和色度特性、纹理的情况下进行分类，或者可基于语义信息和用户交互。也可以使用任意形状的和规则形状的区域的组合。例如，区域可以具有固定的时间长度N，但是其空间形状对于每帧可改变。

[0070] 如图2C所示，区域还可在子区域中进一步被分离。在该情形下，系统可首先指定需要应用特定处理方法的一组初级区域(例如，与视频编码系统中的宏块的概念类似)，而同一区域可以可选地进一步被分离成可以使用处理方法的不同参数(例如，相同的算法但是具有不同强度的滤波器或不同的阈值)的更小子区域。区域也可重叠，在该情况下，多种算法可以应用于重叠区域，该重叠区域然后可以被组合。组合可以在使用简单平均的处理之后进行，或者可以基于加权平均方法，该加权平均方法可以基于像素距各个区域的中心的距离、算法的特性和期望的性能以及重叠像素或区域的特性。在一个实施例中，按照指定的顺序对包括重叠区的各个区域应用不同的算法。

[0071] 如果区域是预定义的，则不需要对关于区域的特性(例如，形状、尺寸、重叠等)的任何信息进行编码。然而，如果这些区域不是预定义的，则需要对这样的信息进行编码，并且需要这样的信息对解码器是可用的。特别地，对于规则形状的区域编码不一定是复杂的，并且可以包括诸如对于长方体数量的水平(M)、垂直(K)以及时间(N)的片段的情况的信息，或者对于诸如使用区域的基于向量或光栅的描述可能更复杂。例如，所有的区域可以使用计算机图形元文件文件格式(CGM)、可缩放矢量图形(SVG)格式、封装的PostScirpt(EPS)或Windows元文件(WMF)或者其它向量图形格式来描述。类似地，对于基于光栅的描述，我们可以使用TIFF或BMP、JPEG、JPEG-2000或者甚至使用MPEG-2或H.264/MPEG-4AVC的视频编解码表示。在这些情形预测中，可以使用空间和时间两者用于表示区域。可以考虑无损的和有损的表示，其中，在有损的情况下，会疏忽地使用不同的算法。然而，如果该处理是认真进行的并且在编码器中是已知的，则这将不会导致任何问题，尤其是在重复执行任意处理的情况下。在向量和光栅表示两者中，表示可以保持在高分辨率，或者可以下至1×1样本进行子采样。

[0072] 在各个实施例中，图像可以由多个可相关或可不相关的区域表示/图来表征和表示，其中各个表示与需要应用于图像的不同后处理/内插处理有关。例如，一个区域表示可以指定空间向上采样，第二区域表示可以指定时间向上采样/帧速率转换，而第三区域表示可以指定去块或去噪。应该首先执行哪个处理的序列可取决于在比特流中所发现的表示的顺序，或者可以在比特流本身内以附加的句法来描述。例如，在以上情形中，我们可以发出信号以首先执行空间向上采样，接下来是时间向上采样以及然后是去块，或者我们可以发信号通知应该首先执行去块，接下来是空间向上采样以及然后是时间向上采样。

[0073] 分析和滤波器选择

[0074] 本发明可被配置为发出信号以通知多种后处理方法，其中包括优选的/推荐的空间或时间放大或缩减方法及其参数、去块以及去噪，或者甚至在用于执行错误隐藏的解码处理和推荐方法中的建议(非标准化)简化。要针对区域而发出信号的方法和参数可以以多种方式来选择。特别地，参数可以是固定的(例如，对于整个序列或对于所有帧中的区域A0相同的方法M0，而方法M1用于区域A1)，周期性地改变(例如，每隔N帧上述示例中的方法M0被切换为方法M0,N)，或者在给定信号的某些特性或给定用户输入的情况下可以是自适应的。在一个实施例中，方法是在给定场景的纹理、边缘、照明、颜色以及运动特性的情况下而选择的。作为示例，在高纹理化的区域中，可以发出“较柔和的”去块方法和参数的信号，而在低纹理化的区域中，可以替代地发出不同的、更强烈的去块器和参数的信号。类似地，在由垂直边缘表征的区域中，可以发出更偏向垂直方向的内插方法的信号，而在具有对角线边缘的区域中，可以替代地使用偏向对角线的内插方法。

[0075] 在不同的示例中，对于具有低运动的场景，可以发出运动补偿方法的信号以用于时间内插，而对于高运动，可以使用帧复制或帧混合。该决定要求在决定之前执行分析处理。分析可以用多种方法来执行，其中诸如纹理分析(例如，基于方差的分析或频率分析)、使用运动估计方法以及照明改变表征，该运动估计方法包括诸如仿射、双曲线以及平移(例如，基于块)运动估计的方法。

[0076] 在替选实施例中，决定可以使用各种方法的失真和/或复杂度分析来执行。可以选择导致最低失真和/或复杂度的方法作为要发出信号的方法。特别地，在向上转换示例(诸如720p到1080p、或水平采样的和并排复用的、或者梅花采样的和棋盘复用的三维视频数据到全分辨率立体对)中，针对每个区域测试所有可用的向上采样滤波器。导致尽可能与原始向上转换后的信号近似的向上转换区域并且可选地对于转换要求最小的或期望的复杂度的滤波器被选择用于发出信号。

[0077] 图5中示出了基于失真/复杂度的模型的结构，其中，输入源505通过格式转换510、编码器540以及然后解码器550进行处理。解码后的流然后被划分成区域，并且每个区域被递送到一组滤波器565(例如，滤波器1…N)(区域选择560)。区域选择560可包含用于在区域上划分解码流的一种或多种算法，包括预先确定的区域和/或包括基于区域亮度、对比度、边缘、运动和/或其它的任何区域的自适应确定的区域。在滤波之后，执行失真和/或复杂度分析570。失真分析对于各种滤波器类型可相同或者可针对各种滤波器类型而修改。滤波器选择机制530然后评估各个区域的失真/复杂度分析的结果。然后，将基于失真/复杂度选择标准的最佳匹配提供到编码器540，以用于产生输出比特流575。所选择的最佳匹配被示出为被放置到和/或编码到输出比特流575中，但是可以以其它机制(未示出)来提供，包括与输出比特流575相关的辅助信息和/或元数据。

[0078] 选择可以基于例如与原始相比的失真，而且可以联合地基于速率、失真以及甚至方法的复杂度。假设方法的编码可考虑压缩(例如，预测和熵编码)，则速率可以包括可能需要发出方法及其参数的信号的比特。由于可能要考虑可要求不同数量的比特的同一信号的多种替选表示，因此速率也可说明实际视频信号的比特。

[0079] 本发明所指定的不同方法可能适合于不同的表示。在该情形中，编码器可联合地选择最佳表示(给定联合的速率、失真以及复杂度标准)以及最佳后处理方法。失真可基于多种度量中的一种或多种，诸如绝对差和(SAD)、平方误差和(SSE)或包括主观估计的其它度量。失真也可以基于在后处理之后测量图像的多种特性(包括块化、方差、频率特性、图像/纹理锐度、边缘质量)，或者通过由于特定方法的使用而会产生的假象的检测和测量等。这样的测量在如下情形下会是非常有用的：原始内容可能不可用，或者可用但是仅为不同的(例如，更低)分辨率或格式。作为示例，考虑30p信号到60p信号(增加了2倍的帧速率)的向上转换。在该情形下，时间假象的检测对于确定针对每个帧或区域发信号的最佳方法会是非常有用的。在一个实施例中，本发明利用由各种方法导致的检测到的时间假象的量或质量中的至少一个，以选择对方法或方法类中的哪个发出信号。

[0080] 选择最佳方法可以使用完全搜索途径(即，与原始相比或者在给定适用于该处理的可用评估度量的情况下，测试所有可用的处理方法)来进行。然而，也可以考虑大大降低复杂度的快速方法。特别地，取代测试所有用于处理区域的可能方法，可使用区域和给定其特性的分析来提供关于适合于测试该区域的方法的选择的引导。例如，对于帧速率转换，本发明首先可执行简单的运动估计处理，并且在给定运动信息的情况下，确定是否需要或者是否有必要测试任何时间(运动补偿)方法、运动自适应方法或者仅基本方法(诸如帧混合或帧复制)。运动估计可以包括基于块的方案(诸如增强预测区域搜索(EPZS)算法)，或者可以仅依赖于简单的帧/区域差别。

[0081] 图11是示出根据本发明的实施例的图像区域的评估和选择的流程图。在步骤1110，将图像或视频分割成区域。区域是预先确定的或基于此处所述的任何技术而确定的。
建立循环1120以重复检查各个区域(1120)，并且初始化参数(步骤1130)。对于多种算法、方法或者处理中的每个，建立第二循环(1140)。对于各个区域，执行各种算法/方法/处理以确定最佳模式或结果。在该示例中，计算距离函数(dist)(步骤1150)，并且与先前算出的dist函数进行比较(步骤1160)。可保存对于各个区域的最佳算法并且然后提供该最佳算法用于编码，或者可提供跨越所有区域的最佳算法用于编码(例如，步骤1170和1195)。

[0082] 相邻区域的特性(包括针对这些区域所选择的方法)如果是已经知道的，也可以被认为使处理加速。例如，如果左侧和上部的区域选择了方法A0，则该方法非常可能也适合于当前区域。因此，在各个实施例中，本发明包括测试时的可能方法的优先化、或者失真阈值的考虑和更新，该失真阈值可以基于相邻区域并且可以用于测试是否应该也针对当前区域来考虑该模式或方法。替选地，已知区域中的偏移参数的模式也可被识别并且用于预测要测试的当前区域的稍微不同组的参数。

[0083] 处理还可首先使得所有其它类似方法优先于A0。如果相邻区域使用了不同的处理方法，则也可以做出类似的考虑。在该情形下，在相邻区域中使用的所有方法可以被认为是比其它可用方法更有可能。同样在给定区域的特性和该区域与其邻居的特性的关系的情况下，概率会改变。例如，如果区域是高度纹理化的，则其可能将与时间上或空间上的、同样具有类似纹理的邻居具有更多的关联。与邻居的相似度(运动、纹理、颜色等)越高，同样应该应用的处理方法应该相同或至少相似的概率越高。

[0084] 在一个实施例中，在对压缩信号进行解码之后应用所使用的方法，选择可以基于开环架构。例如，在图3中，仅给出了原始信号和各种方法将对该信号所具有的影响。如图3的示例所示，输入源305进行格式转换310。这样的转换例如可以是水平或梅花采样以及一对立体图像的并排或棋盘打包。转换是或者可以是区域性的或者被分割。选择区域(例如，区域选择320)，并且各个区域依次(或者并行)被应用于一系列滤波器(或者方法、算法或处理)(例如，滤波器1…N)。然后，选择具有最高质量、最低成本或者二者或其它因素的预定组合之一的滤波器，并且将其提供给编码器340，在编码器340处，选择被提供作为在输出比特流345中编码(或者放置)的信号或者被提供作为与输出比特流345相关的辅助信息(未示出)。信号可包含例如所选择的滤波器、滤波器的标识符或者有助于将信号转换为其原始(例如，全分辨率)格式或其它格式的滤波器的类或类别的标识符。

[0085] 在另一实施例中，选择基于闭环架构(参见图4)。在闭环架构中，选择基于给定了实际解码信号的方法的性能，与开环系统相比，这通常导致改进的性能。如图4的示例所示，输入源405通过格式转换410、编码器440以及然后解码器450进行处理。解码流然后被划分成区域并且各个区域被递送到一组滤波器465(例如，滤波器1…N)(区域选择460)。区域选择460可包含一种或多种用于区域性地划分解码流的算法，该解码流包括预先确定的区域和/或包括基于区域亮度、对比度、边缘、运动和/或其它的任何区域的自适应确定的区域。然后，滤波器选择机制将解码和滤波后的各个区域与原始输入中的相应区域进行比较。然后，基于选择标准的最佳匹配被提供到编码器440，以产生输出比特流455。所选择的最佳匹配被示出为被放置和/或编码在输出比特流455中，但是再次，可以以诸如例如与输出比特流455相关的元数据或辅助信息(未示出)的其它机制来提供。

[0086] 发信号可以指定特定的滤波器或方法。然而，它也可以指定可以进一步为解码器或后处理器提供灵活性的滤波器或方法的类/类型。例如，取代发出使用具有特定系数的可分离滤波器用于图像的向上转换的信号，系统可以指定任何可分离的滤波器或具有特定长度以及高于或低于特定长度的可分离滤波器将导致可接受的性能。然后，在给定复杂度或可用性的情况下，解码器或后处理器自由地选择要使用的滤波器。

[0087] 如果滤波器不可用，则解码器/后处理器也可选择去选择作为与发出信号的方法最相似的方法的方法(例如，对于可分离的滤波器示例，具有相同长度的不可分离滤波器)，或者选择使用在系统中指定的、先前定义的“默认”滤波器。在给定处理或装置的其它特性的情况下，解码器/后处理器还可以选择方法或者完全忽略元数据信息。特别地，在给定装置的功率/电池状态的情况下，系统可选择使用更高或更低复杂度的算法。

[0088] 实际上，本发明也可被构造为还对在给定装置的功率或复杂度印迹(footprint)的情况下可以使用的元数据替选模式发出信号。例如，本发明可包括将多个替选图嵌入在信号中(例如，2或更多)，每个替选图针对不同的装置(例如，一个图用于高清LCD TV，另一个图用于等离子，另一个图用于PC、iPod或iPhone等)和电池状态。装置可以检测其对应的图，即，使用元数据中指定装置的签名，并且执行其相应的且优化的处理。明显的是，对于编码系统，在优化和方法选择处理期间，需要考虑所有的装置。

[0089] 图6是根据本发明的实施例的基于元数据的后处理器的图。在该示例中，对编码比特流605进行解码(解码器650)，并且将其提供到一系列滤波器，每个滤波器均对解码信号进行处理。元数据提取器识别要用于解码比特流的正进行滤波的当前部分的、先前选择的滤波器，并且从适当的滤波器选择滤波处理的输出。在其它实施例中，元数据提取器可例如被辅助信息读取器来替代，该辅助信息读取器提供来自与输入比特流605相关的辅助信息数据流的类似信息。适当的滤波器是由元数据/辅助信息标识的滤波器，或者例如是最接近先前选择的滤波器的特性的滤波器。所选择的滤波器输出然后提供输出解码的且滤波后的比特流680。

[0090] 图7是根据本发明的实施例的、基于元数据的自适应解码的图，其可用于例如错误隐藏或解码器简化。输入比特流705被提供到一系列解码机制720(例如，解码器1…N)和元数据提取器770。元数据提取器770提取标识先前选择的解码器或优选解码器的信号，该信号用于选择来自一系列解码机制720的适当输出。先前选择的解码器可以是特定的解码器或者解码器类型，并且最终针对输出比特流785选择的解码器输出可以是先前选择的解码器、同一类或类型的解码器、等同解码器、一般解码器或者利用如下参数优化的解码器或者其它：该参数被选择用于改变解码器的性能，以与先前选择的解码器更好地匹配。

[0091] 对于一些应用，可能期望的是，保留或改变图像数据的处理、重编码以及转码之后的元数据信息。特别地，如果内容被重新缩放并且然后被重新编码，则可以按原样保留元数据，或者在给定所应用的缩放以及编码的特性(例如，运动估计和补偿的性能以及量化参数)和该处理引入的假象的情况下，可以调整元数据。这可以降低重新评估可用处理方法的性能的复杂度。原始信号中用于后处理的推荐方法的特性也可以提供二次编码中关于在随后的解码器处是否可应用任何附加类型的后处理以及何种类型的后处理的提示。

[0092] 图8是根据本发明的实施例的示例性解码器800的图。解码器800利用元数据“提示”。其中，解码器800包括元数据提取器810、循环滤波器840、视差补偿器(提供视差补偿)830和/或后处理器850，元数据提取器810提取在解码器内的多个处理中(诸如，例如解码处理(例如，逆变换操作))所用的元数据。元数据提供用于在解码器800、循环滤波器840、视差补偿器830和/或后处理器850中使用的选择、数据和/或参数中的一个或多个。元数据驱动上述处理，例如以在这些被认为这样做是安全的情况下降低复杂度(例如，以使得它们将产生最小的漂移和/或质量影响)。在比特流中类似地编码的(或者在辅助信息中提供的)元数据可用于解码器内的任何其它处理或子处理或者其它外部功能。

[0093] 在描述图中示出的本发明的优选实施例时，出于清楚目的而使用特定术语。然而，本发明不旨在限于如此选择的特定术语，并且要理解，各个特定元件包括以类似方式工作的所有技术等同方式。例如，当描述解码器时，可用任何其它等同装置或其中具有解码器的装置来替代，诸如，媒体播放器(例如，DVD、蓝光、iPod、计算机等)、调谐器(例如，PAL、ATSC等)、机顶盒、显示器或电视机、或者具有等同功能或能力的其它装置而不管此处是否列出。此外，发明人认识到未知的新开发的技术可用所述部分来替代，并且仍然不背离本发明的范围。所有其它描述的项(包括但不限于装置和处理器(例如，后处理器)、转换方法、向上转换方法、处理、算法、选择机制、假象识别等)也应该在任何以及所有可用的等同方式方面来考虑。

[0094] 对计算机领域的技术人员来说明显的是，本发明的部分可使用根据本公开内容的教导编程的传统通用计算机或专用数字计算机或微处理器方便地实现。

[0095] 对软件领域的技术人员来说明显的是，适当的软件编码可以由技术编程者基于本公开内容的教导而容易地编写。对本领域技术人员来说明显的是，基于本公开内容，本发明还可通过专用集成电路的制备或通过互联传统组成电路的适当网络来实现。

[0096] 本发明包括计算机程序产品，该计算机程序产品是其上存储有指令的存储介质/该计算机程序产品可以用于控制或使得计算机执行本发明的任何处理。存储介质可以包括但不限于任何类型的盘，包括软盘、迷你盘(MD)、光盘、DVD、HD-DVD、蓝光、CD-ROM、CD或者DVD RW+/-、微驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存装置(包括闪存卡、记忆棒)、磁卡或光卡、SIM卡、MEMS、纳米系统(包括分子存储器IC)、RAID装置、远程数据存储/存档/存栈(warehousing)或者任何类型的适合于存储指令和/或数据的介质或装置。

[0097] 本发明包括存储在任一计算机可读介质上的、用于控制通用/专用计算机或微处理器的硬件、以及用于使得计算机或微处理器能够与人类用户或利用本发明的结果的其它机制交互的软件。这样的软件可包括但不限于装置驱动、操作系统以及用户应用程序。最终，这样的计算机可读介质还包括用于执行如上所述的本发明的软件。

[0098] 包括在通用/专用计算机或微处理器的编程(软件)中的是软件模块，该软件模块用于实现本发明的教导内容(包括但不限于方法的分析、方法的信令、方法的类、方法的类别、信号的准备和传输、解码器或后处理器处的信号的选择)、实现在执行后处理或解码操作的至少部分的信号中标识的算法、以及根据本发明的处理(其可包括例如后处理后的视频信号到显示器的传递)的结果的显示、存储或者通信。

[0099] 本发明的各个实施例可与以下的列举示例实施例(EEE)中的一个或多个相关，每个列举示例实施例均是示例，并且如同以上提供的任何其它相关讨论一样，不应被解释为限制以下进一步提供的、如现在有效的或者如稍后修改的、替换的或者增加的一个或多个任何权利要求。同样，这些示例不应被视为关于任何相关专利和/或专利申请(包括任何外国或者国际对应申请和/或专利、分案、延续案、再颁专利(re-issue)等)的一个或多个任何权利要求而受到限制。示例：

[0100] 列举示例实施例1(EEE1).一种方法，包括接收表示要用于数据流的处理技术的信号的步骤。

[0101] EEE2.根据EEE1的方法，其中，该处理技术包括以下中的至少一种：分辨率转换、控制处理的复杂度、假象减少、误差校正、错误隐藏、缩放、内插、现有处理工具的改变以及至少一种工具的使能或禁用。

[0102] EEE3.根据EEE2的方法，其中，分辨率转换包括空间分辨率转换和时间分辨率转换中的至少一种。

[0103] EEE4.根据EEE2的方法，其中，缩放包括解交织、时间内插以及空间内插中的至少一种。

[0104] EEE5.根据EEE2的方法，其中，错误隐藏包括错误的区域的运动预测。

[0105] EEE6.根据EEE1的方法，其中，信号还表示要应用处理技术的空间和时间范围中的至少一个。

[0106] EEE7.根据EEE6的方法，其中，数据流是视频数据流，并且范围包括处理技术是否应用于所有视频、视频的部分、视频的图片以及视频内的区域中的至少一个。

[0107] EEE8.根据EEE7的方法，其中，视频的图片包括视频的帧和视频的场中的任意。

[0108] EEE9.根据EEE1的方法，其中，数据流包括具有至少两个不同视图的视频，并且信号还表示处理技术是针对视频的至少一帧内的至少一个区域执行的。

[0109] EEE10.根据EEE9的方法，其中，不同的视图包括立体画法视图、两个不同的图像、二维图像和深度信息、二维场景的多个视图以及三维场景的多个视图中的至少一个。

[0110] EEE11.根据EEE9的方法，其中，以能够实现单个视图视频流的标准运动图片格式在数据流内压缩和复用至少两个不同的视图。

[0111] EEE12.根据EEE9的方法，其中，视图的压缩包括视图的采样、滤波以及抽选中的至少一个。

[0112] EEE13.根据EEE9的方法，其中，视图的压缩包括水平、垂直滤波以及梅花采样中的至少一个。

[0113] EEE14.根据EEE9的方法，其中，视图的压缩包括滤波和采样两者。

[0114] EEE15.根据EEE14的方法，其中，采样包括水平、垂直、梅花、基于公式的、基于图案的以及任意采样中的至少一种。

[0115] EEE16.根据EEE14的方法，其中，复用是以如下格式中的至少一种实现的：棋盘格式、基于象限的格式、列格式、行格式、并排格式、上下格式、基于图案的格式以及替选格式。

[0116] EEE17.根据EEE1的方法，其中，信号标识要应用于图像或视频场景的区域的解码处理的至少部分和解码后处理的至少部分中的至少一个，该图像或视频场景的区域具有所标识的处理有效地对其作用的特性。

[0117] EEE18.根据EEE17的方法，其中，特性包括区域的纹理、轮廓、边缘、对比度、动态范围以及亮度中的至少一个。

[0118] EEE19.根据EEE1的方法，其中，信号是从数据流和与该数据流相关的辅助信息中的至少一个接收的。

[0119] EEE20.根据EEE1的方法，其中，发信号包括要应用于序列、图片组(GOP)以及具有固定、任意或变化尺寸之一的区域中的至少一个的处理技术。

[0120] EEE21.根据EEE20的方法，其中，该方法还包括如下步骤：基于发出信号的处理技术选择至少一种处理技术，以及将所选择的处理技术应用于序列、GOP以及区域中的至少一个。

[0121] EEE22.根据EEE21的方法，其中，选择步骤由解码器执行，该解码器被配置成通过对序列、图片组(GOP)以及区域中的至少一个应用所选择的处理技术来对数据流进行解码。

[0122] EEE23.根据EEE21的方法，其中，选择步骤包括选择不同处理技术类别中的处理技术，该处理技术与发出信号的处理技术不同但是最接近发出信号的处理技术。

[0123] EEE24.根据EEE1的方法，其中，处理技术包括一系列处理技术。

[0124] EEE25.根据EEE24的方法，其中，一系列处理技术包括内插处理、滤波以及去块处理中的至少一种。

[0125] EEE26.根据EEE1的方法，其中，发信号包括发出一族处理技术的信号，并且该方法还包括如下步骤：从发出信号的族选择至少一种处理技术，以及将所选择的技术应用于序列、图片组(GOP)以及具有固定、任意或变化尺寸之一的区域中的至少一个。

[0126] EEE27.根据EEE1的方法，其中，处理技术是经由接收数据流之前的预处理选择的。

[0127] EEE28.根据EEE27的方法，其中，预处理包括在支配数据流用于介质存储或广播之前执行的工作室工作。

[0128] EEE29.根据EEE27的方法，其中，处理技术是从数据流的重放开始动态地执行的。

[0129] EEE30.根据EEE27的方法，其中，预处理包括对相似数据流的一组潜在处理技术的重复执行以及所选择的处理技术的标识符在数据流和与该数据流相关的辅助信息中的至少一个中的嵌入。

[0130] EEE31.根据EEE27的方法，其中，预处理是在数据流捕获的视频的重放期间动态地执行的。

[0131] EEE32.根据EEE27的方法，其中，所选择的处理技术包括最低成本处理技术、最高性能处理技术以及在成本和性能之间的组合或折衷中的至少一种。

[0132] EEE33.根据EEE32的方法，其中，成本包括复杂度、面积、功率以及价格中的至少一个。

[0133] EEE34.根据EEE32的方法，其中，性能包括质量和速度中的至少一个。

[0134] EEE35.根据EEE1的方法，其中，数据流包括编码视频数据流，并且发出信号的处理技术被选择为增强针对视频数据流的图片、图片组(GOP)以及区域的至少一个的解码和解码的后处理之一。

[0135] EEE36.根据EEE35的方法，其中，处理技术是在视频数据流的编码之前、期间或之后中的至少一个选择的。

[0136] EEE37.根据EEE35的方法，其中，数据流包括转码的编码视频流。

[0137] EEE38.根据EEE37的方法，其中，处理技术是在视频数据流的转码之前、期间或之后中的至少一个选择的。

[0138] EEE39.根据EEE35的方法，其中，处理技术包括要与对视频数据流的区域的处理技术结合使用的参数，并且方法还包括接收对于区域和不同区域的子区域中的至少一个的参数改变。

[0139] EEE40.一种方法，包括以下步骤：

[0140] 选择用于改进要从编码视频解码的视频的至少部分的机制，其中，所选择的机制被配置成指导编码视频的解码和应用于解码之后的视频的后处理中的至少一个；以及[0141] 将所选择的机制以及所选择的机制的标识符中的至少一个作为指导信号打包为编码视频和编码视频的辅助信息中的至少一个。

[0142] EEE41.根据EEE40的方法，其中，所选择的机制包括处理和处理的参数中的至少一个。

[0143] EEE42.根据EEE40的方法，其中，视频的部分包括视频的区域和子区域中的至少一个。

[0144] EEE43.根据EEE40的方法，其中，视频的部分包括视频的图像、视频的图像序列、视频的图像区域、跨越视频的帧的动态区域以及视频的任意子区域中的至少一个。

[0145] EEE44.根据EEE40的方法，其中，视频的部分包括视频的包括块的区域或子区域。

[0146] EEE45.根据EEE40的方法，其中，视频的部分包括视频的包括多个块的区域或子区域。

[0147] EEE46.根据EEE45的方法，其中，块是不邻接的。

[0148] EEE47.根据EEE45的方法，其中，块包括棋盘图案的至少部分。

[0149] EEE48.根据EEE40的方法，其中，视频的部分包括跨越视频的多个帧的视频数据样本的几何布置。

[0150] EEE49.根据EEE48的方法，其中，几何布置在尺寸和形状中的至少一个方面在视频的帧之间变化。

[0151] EEE50.根据EEE40的方法，其中，视频的部分包括视频数据样本的不规则布置。

[0152] EEE51.根据EEE40的方法，其中，视频的部分包括视频的立体场景的协同定位的样本。

[0153] EEE52.根据EEE40的方法，其中，视频的部分包括具有M×K×N的长方体，其中，M是宽度，K是高度，并且N是时间样本的数量。

[0154] EEE53.根据EEE40的方法，其中，视频的部分包括片段和跨越多个帧跟踪的对象之一。

[0155] EEE54.根据EEE40的方法，其中，视频的部分通过用户输入、分割、对象跟踪、场景剪辑检测、边缘检测、分水岭、豪斯多夫方法、K均值、运动检测、运动估计、运动分析以及质量评估中的至少一种来确定。

[0156] EEE55.根据EEE40的方法，还包括针对视频的第2部分重复选择和打包步骤的步骤。

[0157] EEE56.根据EEE55的方法，其中，视频的部分包括规则形状的区域，并且视频的第2部分包括不规则形状的区域。

[0158] EEE57.根据EEE55的方法，其中，视频的部分和视频的第2部分重叠。

[0159] EEE58.根据EEE57的方法，其中，所选择的机制包括如何对视频重叠中的机制执行的处理进行平均的指令。

[0160] EEE59.根据EEE57的方法，其中，所选择的机制包括如何顺序启动视频重叠中的机制的指令。

[0161] EEE60.根据EEE57的方法，其中，视频的部分是预先定义的，并且打包不包含标识该部分的信息。

[0162] EEE61.根据EEE57的方法，其中，视频的部分是使用长方体描述、基于向量的描述以及基于光栅的描述中的至少一种定义的。

[0163] EEE62.根据EEE40的方法，其中，视频的部分是以使用图像格式编码的数据标识的。

[0164] EEE63.根据EEE40的方法，其中，视频的部分是以使用如下格式编码的数据标识的：该格式包括CGM、SVG、EPS、WMF、TIFF、BMP、JPEG、JPEG-2000、MPEG-2以及H.264和MPEG4-AVC中的至少一种。

[0165] EEE64.根据EEE40的方法，其中，视频的部分包括以过程图标识的区域。

[0166] EEE65.根据EEE40的方法，其中，视频的部分包括以图像或图形格式中的至少一种映射的区域。

[0167] EEE66.根据EEE40的方法，还包括将序列指令连同指导信号一起打包的步骤。

[0168] EEE67.根据EEE40的方法，其中，指导信号包括表示要执行的各种处理的优选顺序的排序。

[0169] EEE68.根据EEE40的方法，其中，指导信号包括要至少部分由所选择的机制执行的空间向上采样、时间向上采样以及去块的排序。

[0170] EEE69.根据EEE40的方法，其中，视频的部分包括被划分成一系列子区域的区域，其中，所选择的机制包括与第一子区域对应的第1参数以及与第二子区域对应的第2参数。

[0171] EEE70.根据EEE40的方法，其中，机制是至少部分基于机制的复杂度而选择的。

[0172] EEE71.根据EEE40的方法，其中，所选择的机制具有对于给定质量阈值的最低复杂度。

[0173] EEE72.根据EEE40的方法，其中:

[0174] 所述方法以存储在电可读介质上的一组指令来实施；

[0175] 所述指令当被加载到处理装置中时，使得处理装置执行所述方法的步骤。

[0176] EEE73.根据EEE72的方法，其中，所述指令是作为可执行程序存储在所述电可读介质上的编译计算机指令。

[0177] EEE74.根据EEE40的方法，其中，所述方法以存储在电信号中的一组电可读指令来实施。

[0178] EEE75.一种后处理装置，包括：

[0179] 视频输入，被配置成接收解码视频流；

[0180] 指令机制，被配置成接受来自视频流的辅助信息信道的指导指令以及从解码视频流识别指导指令之一；

[0181] 后处理器，被配置成基于指导指令对解码视频流进行后处理；以及

[0182] 视频输出，被配置成输出后处理后的视频流。

[0183] EEE76.根据EEE75的后处理装置，其中，后处理装置被集成到显示器、机顶盒以及媒体播放器中的至少一个中。

[0184] EEE77.根据EEE75的后处理装置，其中，指导指令包括视频中的至少一个区域和要应用于该区域的至少一种处理方法的标识。

[0185] EEE78.根据EEE77的后处理装置，其中，区域包括子区域，并且指导指令包括要应用于对各个子区域进行处理的处理方法的不同参数。

[0186] EEE79.根据EEE77的后处理装置，其中，指导信号标识具有不同纹理质量的区域以及专用于各种纹理质量的处理方法。

[0187] EEE80.根据EEE75的后处理装置，其中，指导信号包括在对解码视频流测试多个滤波器之后选择的滤波器标识。

[0188] EEE81.根据EEE80的后处理装置，其中，滤波器标识包括滤波器的整个类别的标识。

[0189] EEE82.根据EEE81的后处理装置，其中，后处理器进一步被配置成根据滤波器类别选择滤波器，并且利用所选择的滤波器来对解码视频流进行后处理。

[0190] EEE83.根据EEE82的后处理装置，其中，后处理器进一步被配置成选择其特性最接近滤波器类别的特性的滤波器，并且利用所选择的滤波器作为后处理的至少部分。

[0191] EEE84.根据EEE80的后处理装置，其中，后处理器进一步被配置成选择已知为具有如下特性的滤波器：该特性是接近滤波器标识所标识的滤波器的特性、或比滤波器标识所标识的滤波器的特性更好的特性中的至少一种。

[0192] EEE85.根据EEE80的后处理装置，其中，滤波器标识是基于失真和复杂度中的至少一个而选择的。

[0193] EEE86.根据EEE84的方法，其中，失真经由以下中的至少一种来评估：SAD、SSE、主观评估、块化、方差、频率特性、图像/纹理锐度、边缘质量以及空间或时间上的假象。

[0194] EEE87.根据EEE80的后处理装置，其中，测试是在开环类型的测试装置中执行的。

[0195] EEE88.根据EEE80的后处理装置，其中，测试是在闭环类型的测试装置中执行的。

[0196] EEE89.根据EEE80的后处理装置，其中，测试是针对视频的多个区域而执行的。

[0197] EEE90.根据EEE89的后处理装置，其中，多个区域包括视频的时间区域。

[0198] EEE91.根据EEE90的后处理装置，其中，多个时间区域包括具有变化形状和尺寸的区域。

[0199] EEE92.根据EEE89的方法，其中，视频的区域通过分割、对象跟踪、场景剪辑检测、边缘检测、分水岭、豪斯多夫方法、K均值、运动检测、运动估计以及运动分析中的至少一种来确定。

[0200] EEE93.根据EEE75的方法，其中，视频的区域使用CGM、SVG、EPS、WMF、TIFF、BMP、JPEG、JPEG-2000、MPEG-2以及H.264和MPEG4-AVC中的至少一种来标识。

[0201] EEE94.一种系统，包括：

[0202] 编码器，被配置成选择要在解码器中利用的处理技术、处理技术类别以及一系列处理技术中的至少一个，以及在编码视频流和与编码视频流相关的辅助信息中的至少一个中对所选择的技术或所选择的技术的标识符进行编码；以及

[0203] 解码器，被配置成接收编码视频流，以及使用所选择的技术中的至少一种对视频流进行解码。

[0204] EEE95.根据EEE94的系统，其中，所选择的技术是从编码视频流单独识别的。

[0205] EEE96.根据EEE94的系统，其中，所选择的技术是由解码器从相关的辅助信息和编码视频流中的至少一个识别的。

[0206] EEE97.根据EEE94的系统，其中，技术是基于质量、复杂度以及成本中的至少一个而选择的。

[0207] EEE98.根据EEE94的系统，其中，解码器使用所选择的处理技术来选择另一处理技术。

[0208] EEE99.根据EEE94的系统，其中，解码器保存处理技术的目录，并且从目录中选择与编码器选择的技术最接近匹配的一种或多种处理技术。

[0209] EEE100.根据EEE98的系统，其中，解码器选择的技术是基于复杂度、成本以及质量中的至少一个而选择的。

[0210] EEE101.根据EEE98的系统，其中，解码器选择的技术是考虑到解码器中可用的处理功率量而至少部分基于复杂度选择的。

[0211] EEE102.一种解码器，被配置成使用在视频流或者经由与视频流相关的辅助信息中标识的解码处理和后处理之一来对编码视频流进行解码，其中，解码器被配置成执行用于为解码处理或后处理提供辅助的、对视频流和解码视频流中的至少一个的附加分析。

[0212] EEE103.根据EEE102的解码器，其中，附加分析利用在编码视频流或辅助信息中编码的信息。

[0213] EEE104.根据EEE102的解码器，其中，附加分析至少部分由在编码视频流或辅助信息中编码的信息来指导。

[0214] EEE105.根据EEE102的解码器，其中，附加分析包括在视频流编码的或在辅助信息中提供的信息的细化。

[0215] EEE106.根据EEE105的解码器，其中，细化包括较低成本。

[0216] EEE107.根据EEE75的后处理装置，还包括后处理分析器，该后处理分析器被配置成分析解码视频流和解码之前的视频流中的至少一个，以及基于该分析，指导解码处理和后处理器中的至少一个的至少部分。

[0217] EEE108.根据EEE107的后处理装置，其中，分析器是基于包含在视频流或与视频流相关的辅助信息中的信息而被指导的。

[0218] EEE109.根据EEE40的方法，还包括以下步骤：针对在解码和/或解码之后的视频数据的后处理期间要由解码器和后处理器中的至少一个执行的附加分析而对指导指令进行打包。

[0219] EEE110.一种方法，包括以下步骤：

[0220] 接收表示要用于编码视频数据流的处理技术的信号，该编码视频数据流包括向下采样的复用的视图；以及

[0221] 执行与所接收的信号一致的编码视频流的解码和后处理中的至少一个；以及[0222] 执行编码视频流和解码/经后处理的视频流中的至少一个的进一步分析，以及基于该分析，执行改进解码、改进后处理以及执行第二后处理中的至少一个。

[0223] EEE111.根据EEE110的方法，还包括在EEE 2-39中描述的任意步骤。

[0224] EEE112.根据EEE110的方法，其中，执行进一步分析的步骤包括所指示的处理技术的细化。

[0225] EEE113.根据EEE112的方法，其中，该方法由媒体播放器、机顶盒、转换器盒以及显示装置中的至少一个来执行。

[0226] 根据上述描述可知，本发明的实施例还公开了以下技术方案，包括但不限于：

[0227] 方案1.一种方法，包括接收表示要用于数据流的处理技术的信号的步骤，所述数据流包括具有至少两个视图的视频。

[0228] 方案2.根据方案1所述的方法，其中，所述处理技术包括分辨率转换，所述分辨率转换包括空间分辨率转换和时间分辨率转换中的至少一种。

[0229] 方案3.根据方案1所述的方法，其中，所述处理技术包括缩放，所述缩放包括解交织、时间内插以及空间内插中的至少一种。

[0230] 方案4.根据方案1所述的方法，其中，所述处理技术包括错误隐藏，所述错误隐藏包括错误的区域的运动预测。

[0231] 方案5.根据方案1所述的方法，其中，所述信号还表示要应用所述处理技术的空间和时间范围中的至少一个，并且所述数据流是视频数据流，且所述范围包括所述处理技术是否应用于所述视频的全部、所述视频的部分、所述视频的图片以及所述视频内的区域中的至少一个。

[0232] 方案6.根据方案1所述的方法，其中，所述视图包括立体画法视图、两个不同的图像、二维图像和深度信息、二维场景的多个视图以及三维场景的多个视图中的至少一个。

[0233] 方案7.根据方案1所述的方法，其中，以能够实现单个视图视频流的标准化运动图片格式在所述数据流内对所述至少两个视图进行压缩和复用。

[0234] 方案8.根据方案7所述的方法，其中，所述视图的压缩包括所述视图的采样、滤波以及抽选中的至少一个；以及所述视图的压缩包括水平、垂直滤波以及梅花采样中的至少一个。

[0235] 方案9.根据方案14所述的方法，其中，所述采样包括水平、垂直、梅花、基于公式的、基于图案的以及任意采样中的至少一种；以及所述复用是以下述格式中的至少一种实现的：棋盘格式、基于象限的格式、列格式、行格式、并排格式、上下格式、基于图案的格式以及替选格式。

[0236] 方案10.根据方案1所述的方法，其中，所述信号标识要应用于图像或视频场景的区域的解码处理的至少部分和解码后处理的至少部分中的至少一个，所述图像或视频场景的区域具有所标识的处理有效地对其作用的特性；

[0237] 所述特性包括所述区域的纹理、轮廓、边缘、对比度、动态范围以及亮度中的至少一个；以及

[0238] 发信号包括要应用于序列、图片组GOP以及具有固定、任意或变化尺寸之一的区域中的至少一个的处理技术。

[0239] 方案11.根据方案1所述的方法，还包括以下步骤：基于表示信号选择至少一种处理技术，以及将所选择的处理技术应用于所述视频的所述序列、GOP以及区域中的至少一个；以及

[0240] 其中，所述选择步骤是由解码器执行的，所述解码器被配置成通过对所述序列、图片组GOP以及区域中的至少一个应用所选择的处理技术来对所述数据流进行解码。

[0241] 方案12.根据方案1所述的方法，其中，所述处理技术包括一系列处理技术，所述一系列处理技术包括内插处理、滤波和去块处理中的至少一种。

[0242] 方案13.根据方案1所述的方法，其中，所述发信号包括发出一族处理技术的信号，并且所述方法还包括以下步骤：从发出信号的族选择至少一种处理技术，以及将所选择的技术应用于序列、图片组GOP以及具有固定、任意或变化尺寸之一的区域中的至少一个。

[0243] 方案14.根据方案1所述的方法，其中，所述数据流包括转码编码视频流。

[0244] 方案15.一种后处理装置，包括：

[0245] 视频输入，被配置成接收解码视频流；

[0246] 指令机制，被配置成接受来自所述视频流的辅助信息信道的指导指令以及从所述解码视频流识别指导指令之一；

[0247] 后处理器，被配置成基于所述指导指令对所述解码视频流进行后处理；以及[0248] 视频输出，被配置成输出后处理后的视频流。

[0249] 方案16.根据方案15所述的后处理装置，其中，所述后处理装置被集成到显示器、机顶盒以及媒体播放器的至少一个中。

[0250] 方案17.根据方案15所述的后处理装置，其中，所述指导指令包括所述视频中的至少一个区域和要应用于所述区域的至少一种处理方法的标识，以及

[0251] 所述区域包括子区域，并且所述指导指令包括要应用于对各个子区域进行处理的处理方法的不同参数。

[0252] 方案18.根据方案17所述的后处理装置，其中，所述指导信号标识具有不同纹理质量的区域和专用于各种纹理质量的处理方法。

[0253] 方案19.根据方案15所述的后处理装置，其中，所述指导信号包括在对所述解码视频流测试多个滤波器之后选择的滤波器标识。

[0254] 方案20.根据方案15所述的后处理装置，其中，所述指导信号包括滤波器标识，所述滤波器标识包括滤波器的整个类别的标识，并且所述后处理器进一步被配置成根据所述滤波器类别选择滤波器，并且利用所选择的滤波器对所述解码视频流进行后处理。

[0255] 方案21.根据方案20所述的后处理装置，其中，所述后处理器进一步被配置成选择其特性最接近所述滤波器类别的特性的滤波器，并且利用所选择的滤波器作为所述后处理的至少部分。

[0256] 方案22.根据方案19所述的后处理装置，其中，所述后处理器进一步被配置成选择已知为具有以下特性的滤波器：所述特性是接近所述滤波器标识所标识的滤波器的特性、或比所述滤波器标识所标识的滤波器的特性更好的特性中的至少一种。

[0257] 方案23.根据方案15所述的后处理装置，还包括后处理分析器，所述后处理分析器被配置成分析所述解码视频流和解码之前的所述视频流中的至少一个，以及基于所述分析，指导解码处理和所述后处理器中的至少一个的至少部分。

[0258] 方案24.一种系统，包括：

[0259] 编码器，被配置成选择要在解码器中利用的处理技术、处理技术类别以及一系列处理技术中的至少一个，以及在编码视频流和与所述编码视频流相关的辅助信息中的至少一个中对所选择的技术或所选择的技术的标识符进行编码；以及

[0260] 解码器，被配置成接收所述编码视频流，以及使用所选择的技术中的至少一种对所述视频流进行解码。

[0261] 方案25.根据方案24所述的系统，其中，所选择的技术是由所述解码器从相关的辅助信息和所述编码视频流中的至少一个识别的。

[0262] 方案26.根据方案24所述的系统，其中，所述解码器使用所选择的处理技术来选择另一处理技术。

[0263] 方案27.根据方案24所述的系统，其中，所述解码器保存处理技术的目录，并且从所述目录中选择与所述编码器选择的技术最接近匹配的一种或多种处理技术。

[0264] 本发明可适当地包括、包含、或者基本上包含如本文所述的元件(本发明的各种部件或特征)和它们的等同方式中的任意。此外，本文说明性地公开的本发明可在不存在任意元件的情况下来实践，不管是否在本文中具体地公开。显然，按照以上教导，本发明的多种修改和变化是可能的。因此，要理解的是，在所附权利要求的范围内，本发明可以以除本文具体描述的方式之外的方式来实践。