用于在编码视频上仿真胶片颗粒的技术

摘要

通过提取胶片颗粒、然后提取用于在视频流中编码的胶片颗粒的特征，以便能够在解码时恢复胶片颗粒，能够在编码图像中仿真胶片颗粒。典型地，根据胶片类型或使用特定模型来获得胶片颗粒的特征。在实际中，将胶片颗粒的细节作为并行信息发送到视频编码流，典型地，当使用ITU-T H.264视频编码格式时，作为补充增强信息(SEI)消息。

权利要求

1.一种用于仿真胶片颗粒的方法，包括步骤：

接收至少一个编码图像(14)；

接收伴随着所述至少一个编码图像的胶片颗粒特征信息(25)；

对所述至少一个编码图像进行解码；以及

根据接收的胶片颗粒特征信息以及要添加胶片颗粒的接收到的 图像的至少一个特征来仿真胶片颗粒图样(29)。

2.根据权利要求1所述的方法，还包括步骤：将仿真的胶片颗粒与 解码图像相混合。

3.根据权利要求1所述的方法，还包括步骤：

接收ITU-T H.264视频编码格式的编码图像(14)；以及接收胶片颗粒特征信息(25)，作为补充增强信息消息。

4.根据权利要求1所述的方法，其特征在于，接收胶片颗粒特征 信息的步骤包括步骤：接收原始用于记录编码图像的胶片原料类型的 标识符。

5.根据权利要求1所述的方法，其特征在于，接收胶片颗粒特征 信息(25)的步骤包括步骤：接收模型标识符，所述模型接近于原始 用于记录编码图像的胶片原料类型。

6.根据权利要求1所述的方法，其特征在于，接收胶片颗粒特征 信息(25)的步骤包括步骤：接收指示了胶片颗粒尺寸、密度、空间 相关以及彩色相关的信息。

7.根据权利要求1所述的方法，还包括步骤：对于在编码视频中 的分离的画面组，分别地仿真胶片颗粒图样。

8.一种用于仿真胶片颗粒的方法，包括步骤：

编码图像(12)；

识别在图像中存在的胶片颗粒；以及

根据模型对图像建立胶片颗粒特征信息(25)，以便当对编码图像 进行解码时，根据胶片颗粒特征信息以及要添加胶片颗粒的接收到的 编码图像的至少一个特征来仿真胶片颗粒图样，以便与解码图像相混 合。

9.根据权利要求8所述的方法，还包括步骤：

对ITU-T H.264视频编码格式的图像(12)进行编码；以及格式化胶片颗粒特征信息(25)，作为补充增强信息消息。

10.根据权利要求8所述的方法，其特征在于，建立胶片颗粒特征 信息(25)的步骤包括步骤：识别原始记录编码图像的胶片原料类型。

11.根据权利要求8所述的方法，其特征在于，建立胶片颗粒特 征信息的步骤包括识别模型的步骤，该模型提供了原始记录图像的胶 片中的胶片颗粒的指示。

12.根据权利要求11所述的方法，其特征在于识别模型的步骤包 括从多个胶片颗粒模型中选择最佳模型。

13.根据权利要求8所述的方法，其特征在于建立胶片颗粒特征 信息的步骤包括步骤：建立胶片颗粒尺寸、密度、空间相关以及彩色 相关。

14.根据权利要求8所述的方法，还包括在编码之前从图像中去 除胶片颗粒的步骤。

15.一种用于在图像中仿真胶片颗粒的设备，包括：解码器(15，28)，用于接收编码图像(12)，并用于接收胶片颗 粒特征信息(25)并且解码图像，所述特征信息指示了其上原始记录 了编码图像的胶片中的颗粒；以及胶片颗粒恢复处理器(30)，用于根据接收到的胶片颗粒参数信息 以及要添加胶片颗粒的接收到的编码图像的至少一个特征来仿真胶片 颗粒图样，以便将仿真胶片颗粒图样混合到解码图像中。

16.根据权利要求15所述的设备，其特征在于，解码器接收胶片 颗粒特征信息(25)，作为编码图像的并行信息。

17.根据权利要求15所述的设备，其特征在于，解码器接收ITU-T H.264视频编码格式的编码图像(12)；以及解码器接收胶片颗粒特征 信息(25)，作为补充增强信息消息。

18.根据权利要求15所述的设备，其特征在于，胶片颗粒特征信 息(25)包括原始记录编码图像的胶片原料类型的标识符，以提供胶 片颗粒的指示。

19.根据权利要求15所述的设备，其特征在于，胶片颗粒特征信 息(25)包括模型的标识符，以提供胶片颗粒的指示，所述模型提供 了原始记录编码图像的胶片中胶片颗粒的指示。

20.根据权利要求19所述的设备，其特征在于，模型标识符从多 个胶片颗粒模型中识别最佳模型。

21、根据权利要求15所述的设备，其特征在于，胶片颗粒特征信 息(25)包括指示胶片颗粒尺寸、密度、空间相关以及彩色相关的信 息。

说明书

本申请要求在2003年4月11日提交的美国临时专利申请号序列号 No.60/462,389的权益，作为参考目的，其内容在此被一并包含。

技术领域

本发明涉及一种用于在编码视频上仿真摄影胶片颗粒的技术。

背景技术

用于制作运动画面的摄影胶片包括在感光乳剂中分散的卤化银 晶体，该感光乳剂沉积在胶片基底上的薄层内。这些晶体的曝光和显 影形成摄影图像，其以银的分散颗粒的最大尺寸实现。利用彩色底片， 在显影后化学去除银之后形成银颗粒的位置，存在微小的染料滴。这 些染料的小滴在彩色胶片上形成“颗粒(grain)”。颗粒随机地出现在 结果的图像中，这是因为银晶体在原始感光乳剂上是随机形成的。在 均匀曝光区域，一些晶体通过曝光显影，一些没有。颗粒在尺寸和形 状上都不同。胶片形成越快(即，对光越敏感)，形成的银块和染料滴 越大，并且它们越可能以随机图样(pattern)聚集在一起。典型的颗 粒图样公知为“粒度”。
裸眼不可能分辩从0.0002mm到0.002mm变化的单个颗粒。然而， 眼睛可以分辩观察者识别为胶片颗粒的颗粒组。图像分辨率越高，观 察者越可能察觉到胶片颗粒。尽管在电影和高清晰图像中清楚地可以 注意到，胶片颗粒在标准清晰度电视(SDTV)图像中日益丧失显著性， 并且在更小格式下也变得不可察觉。
典型地，在视频编码领域中，当前存在的努力是改进编码器的性 能，以便以高比特率对胶片颗粒进行编码。注意到，因为胶片颗粒仅 仅在例如标准清晰电视(SDTV)、高清晰电视(HDTV)及以上的较大图 像格式下可见，胶片颗粒的问题主要影响专业的编码器。
现今关于胶片颗粒的研究主要集中于摄影成像应用(图像编辑、 医学成像、卫星影像、天文和天体摄影术等)。现在在市场上存在着提 供解决这个问题的软件应用程序(Adobe After Effects，Photoshop 等)。在视频编码领域，研究提出了去除胶片颗粒的愿望，以便改进中 和低比特率的编码性能。然而，文献没有包括利用不同于例如纹理和 轮廓的其它高频信息来编码胶片颗粒的具体策略。
在某种意义上，在显影摄影胶片的物理过程中，胶片颗粒构成了 固有的关联噪声。相比于没有胶片颗粒的“计算机生成的”材料，胶 片颗粒的存在表示“真实世界”图像。没有胶片颗粒的图像看起来过 于真实，只是太单调太清晰以至于不真实。为此，在大多数图像和视 频材料中，胶片颗粒保留了希望的“伪像”。然而，因为胶片颗粒的产 生来自影响高频的随机过程，所以典型地，编码过程影响胶片颗粒。 有损编码一般通过避免在DCT域上的高频发送来实现其部分压缩增益。 典型地，这种频率是与噪声、尖锐的边缘和纹理以及胶片颗粒相关的。 即使在高比特率下，胶片颗粒难以保留，并且始终具有较高的压缩成 本。
因此，存在有减少编码胶片颗粒的成本而不降低显示图像的感觉 质量的需要。

发明内容

简而言之，根据本原理，提供了一种用于在编码图像中仿真胶片 颗粒的方法。所提供的方法在编码器处进行胶片颗粒提取和胶片颗粒 特征化，以便能够在解码器处恢复胶片颗粒。在优选实施例中，该方 法开始于识别在输入图像中存在的胶片颗粒。其后，根据胶片类型或 使用特定模型，来提取胶片颗粒的特征。然后对输入图像进行编码， 并且发送胶片颗粒特征信息，该信息允许解码器根据发送的信息对编 码图像进行解码，以恢复胶片颗粒。该方法将胶片颗粒的细节作为并 行信息(parallel information)发送到视频编码流中，典型地，当 使用ITU-T H.264视频编码标准时，作为胶片颗粒补充增强信息(SEI) 消息。

附图说明

图1示出了根据本原理的用于仿真胶片颗粒的根据本原理第一实 施例的系统的方框图；
图2示出了根据本原理的用于仿真胶片颗粒的根据本原理的第二 实施例的系统的方框图；以及
图3示出了根据本原理的用于仿真胶片颗粒的根据本原理的第三 实施例的系统的方框图。

具体实施方式

不同类型的运动画面胶片具有本领域公知的不同胶片颗粒图样。 因此，识别用于记录原始源素材的胶片原料类型，能够识别编码材料 的胶片颗粒。表1列出了对于多个典型胶片原料的每一个的各自数字标 识符，每一个都具有公知的胶片颗粒图样。
表1
  标识符   胶片颗粒型号   0   Kodak Vision 200T 5274   1   Kodak Vision 259T 5246   2   Kodak Vision 320T 5277   3   Kodak Vision 500T 5279   ......   N   Kodak PROFESSIONAL SUPRA100
当图像解码之后恢复胶片颗粒时，了解最初用于记录以在编码视 频中表现的画面的胶片类型可以确保最佳质量。关于用于原始图像的 下采样因子的附加信息还有助于以正确的比例恢复胶片颗粒。注意到， 表I的目的不是包含所有而只是为了示范。来自其它胶片制造商的其它 胶片原料具有独立的标识符。
在不知道用于记录原始源的胶片原料的类型时，可以通过建模过 程来发现胶片颗粒特征。建模过程通过提供胶片颗粒图样和密度的压 缩表示，来试图减少要发送的胶片颗粒特征信息量。这种方法提供了 原始胶片颗粒的估计，该估计取决于选择的建模过程而与实际胶片不 同。当对胶片颗粒建模的系统在编码器处能够选择多于一个建模方法 提取输入图像的胶片颗粒特征时，解码器应该至少接收识别所选择的 建模方法的一些信息。在特定实施例中，建模过程根据非参数模型提 供了胶片颗粒的压缩表示。在另一个实施例中，根据预定的数学模型， 建模过程是参数化过程。为了示出最后的实施例，表2提供了能用于说 明胶片颗粒的不同数学模型的多个示例。
表2
  标识符   胶片颗粒模型   0   f(x，y，c)＝d*n   1   f(x，y，c)＝s(x，y，c)+k*s(x，y，c)+d*n   2   f(x，y，c)＝a*f(x-1，y-1，c)+b*f(x，y，c-1)+d*n   3   f(x，y，c)＝a*r(x，y，c)-b*s(x，y，c)+d*n   ......   N   f(x，y，c)＝a*[d(x-1，y，c)+f(x，y-1，c)]+b*f(x，y，c-1)+d*n
参量模型的使用需要发送估计参数集合。参数取决于如表2所指 定的模型类型，或者在最简单的情况下，根据如表1所说明的胶片类型， 其对应于公知技术的唯一胶片颗粒模型。给定的胶片颗粒的参数应当 允许调整胶片颗粒尺寸、密度、空间相关度、彩色相关度等。作为示 例，假设下面的公式用于在图像中建模胶片颗粒：
f(x，y，c)＝a*[d(x-1，y，c)+f(x，y-1，c)]+b*f(x，y，c-1)+d*n
其中f(x，y，c)表示彩色分量c上的坐标(x，y)处象素的胶片颗粒，n 表示均值为0、方差为1的高斯噪声。根据此模型，编码器发送参数“a”、 “b”和“d”以允许解码器仿真原始胶片颗粒。注意到模型的参数取 决于例如信号密度、彩色分量等的其它因子。因此，胶片颗粒模型参 数的发送实际上需要对每个不同情况发送模型参数集合。
图1示出了根据本原理的用于执行胶片颗粒仿真的第一实施例的 系统10的方框示意图。系统10包括胶片颗粒去除器22，用于从输入视 频流12中去除胶片颗粒以产生在视频编码器13处被接收的滤波视频流 24。胶片颗粒去除构成一种特定的噪声滤波情况，其中噪声信号表现 出与图像信号相关。因此，胶片颗粒去除器22可以是经典的图像滤波 器的形式，尽管这种滤波器不一定能够提供最佳的性能。视频编码器 13对滤波后的视频流24进行编码以产生编码视频流14，在视频解码器 15处接收编码视频流14，视频解码器15对编码流进行解码以产生解码 视频流16。视频编码器13和视频解码器15使用与本领域公知的方案相 同的视频编码方案。例如，视频编码方案包括ITU-T H.264视频编码标 准或另一种类型的基于块的编码。使用MPEG-2和ITU-T H.264标准的编 码器和解码器是公知的。
系统10还包括接收输入视频流12和滤波视频24流的胶片颗粒特征 器23。从这些视频流中，胶片颗粒特征器23输出胶片颗粒特征信息25。 在其最简单的示例中，胶片颗粒特征器23在输入视频12中从胶片颗粒 采样的有限集合中提取颗粒特征。作为示例，通过从输入视频12中减 去滤波视频24能够得到胶片颗粒采样。在另一个实施例中，胶片颗粒 特征器23可以根据初始用于记录包含在输入视频流12中的画面的胶片 原料的类型，采用输出胶片颗粒特征信息的查找表格的形式。因此， 例如，伴随着输入视频流12的元数据可以根据表1来识别胶片原料的类 型。使用其查找表，胶片颗粒特征器23针对被识别胶片提供参数以及 用于该胶片的对应胶片颗粒模型。在另一个实施例中，胶片颗粒特征 器23可以通过根据预定方法估计的参数集合，使用在输入视频流13中 对胶片颗粒提取特征的胶片颗粒建模过程。
在特征化胶片颗粒后，胶片颗粒特征信息编码器26将包括胶片颗 粒特征信息的编码信息流发送到胶片颗粒特征信息解码器28，同时， 由视频编码器13将编码视频流14发送到视频解码器15。视频编码器13 和胶片颗粒特征信息编码器26都使用相同的编码方案。因此，例如， 当编码器26使用ITU-T H.264视频编码标准用于编码时，如在ITU-T H.264视频编码标准中定义的，编码胶片颗粒特征信息流27可以采用胶 片颗粒补充增强信息(SEI)消息的格式。
胶片颗粒特征信息解码器28对编码胶片颗粒特征信息流27进行解 码，以产生解码胶片颗粒特征信息流29，用于输入到胶片颗粒恢复处 理器30。在其最简单的形式中，胶片颗粒恢复处理器30采用图样添加 器(pattern adder)的形式，图样添加器将胶片颗粒图样和由视频解 码器15提供的解码视频流16混合以产生具有仿真胶片颗粒31的解码视 频流。在另一个实施例中，胶片颗粒恢复处理器30包括根据在解码胶 片颗粒特征信息流29中的胶片颗粒特征信息来产生胶片颗粒图样的图 样产生处理器。
注意到，胶片颗粒特征信息可以通过视频序列动态地变化。因此， 帧的不同组需要发送不同胶片颗粒特征信息。按照这种方式，胶片颗 粒恢复处理器30能够根据发送的特征信息来更新胶片颗粒图样。
图2示出了根据本原理的用于执行胶片颗粒仿真的第二实施例的 系统10’的方框示意图。系统10’与图1的系统10共享多个相同的组 件，并且类似的参考数字说明类似组件。事实上，图2的图像10’的不 同指出仅在于不存在图1的胶片颗粒特征信息编码器26和胶片颗粒特 征信息解码器28。图2的系统10’使用视频编码器13和视频解码器15 来分别编码和解码从胶片颗粒特征器23输出的胶片颗粒特征信息25。 图2的系统10’需要使用支持发送作为并行增强信息的胶片颗粒特征 信息的视频编码标准。因此，例如，当视频编码器13使用ITU-T H.264 视频编码标准用于编码时，编码胶片颗粒特征信息流27可以是如在 ITU-T H.264视频编码标准中定义的补充增强信息(SEI)消息的格式。
图3说明了根据本原理的用于执行胶片颗粒仿真的第三实施例的 系统10”的方框示意图。系统10”与图2的系统10’共享多个相同的组 件，并且类似的参考数字说明了类似元件。事实上，图3的系统10”的 不同之处仅在于不存在图2的胶片颗粒去除器22。图3的系统10”使用 在视频编码器13处可用的重构图像来仿真去除胶片颗粒的结果。相比 于图1的系统10和图2的系统10’，图3的系统10”提供两个优点。首先， 图3的系统10”减少了关于胶片颗粒去除的计算复杂度，其次，其将胶 片颗粒特征改变为由视频编码器13抑制的胶片颗粒数量。一旦图3的胶 片颗粒特征处理了具有胶片颗粒的输入视频12和来自编码器13的结果 的重构视频24，就完成了提取观察胶片颗粒的特征的任务。
在一些情况下，胶片颗粒特征涉及根据原始胶片格式的彩色转换 和/或象素采样插值。对于高质量的应用，胶片颗粒建模发生在RGB彩 色空间，其更好地近似了胶片显影的物理过程的层配置。最简单的参 量模型可以假设胶片颗粒是0均值、与图像信号不相关的高斯噪声。在 这种情况下，只需要发送高斯函数的标准偏差。更复杂的模型需要针 对每一个彩色分量和/或针对不同灰度设置发送不同参数。模型的选择 与在解码器端可承受的复杂度、可用于编码SEI信息的比特数、以及在 显示端的希望质量强相关。
根据本原理，胶片颗粒编码可由以下步骤执行：(a)在编码器处 提取胶片颗粒特征，(b)与编码视频流并行发送胶片颗粒特征信息以 及(c)将仿真胶片颗粒和解码视频混合。如所讨论的，胶片颗粒仿真 只取决于预定模型，该模型再现特定胶片类型的胶片颗粒，或者由使 用数学模型的参数化来实现。在所有情况中，在显示之前进行胶片颗 粒恢复。具有添加的胶片颗粒的图像从不在解码处理中使用；然而， 一些并行化(parallelization)对于因果模型是可能的。
上述说明了用于在视频图像中编码胶片颗粒的技术。