图像显示设备和方法转让专利
申请号 : CN200610094001.2
文献号 : CN1885938B
文献日 : 2010-04-14
发明人 : 乔纳森·克维克 , 劳伦特·布朗德 , 迪迪尔·多延
申请人 : 汤姆森特许公司
摘要 :
本发明涉及一种用于显示图像的设备和方法。为了对付在影院的观众席中通过摄像机来复制图像，已经知道将图案的象素的亮度在要被显示的值附近调制到高频率，该高频率使得图案对于人眼不可见但是在通过摄像机摄制的序列上产生赝象。根据本发明，提出仅仅在固定区域(背景或者市内场景)中或者在适当的情况下在带有微弱运动的区域中，对图案进行时间调制。因此，与通过对它们进行时间调制处理而使带有运动的区域中的图像退化相反，进行确定以不对在这些重要区域中的图案进行时间调制。
权利要求 :
1.一种图像处理方法，用于以高于人眼的时间积分频率的频率在源图像的序列中显示至少一个反复制图案，每个源图像包括以行和列组织的多个象素并且所述图案包括在所述图像中选择的一组象素，在每个源图像中，每个象素具有预定的视频参数，所述视频参数是象素的亮度和/或色度，该方法包括：调制步骤，用于将图案的每个象素的视频参数在其预定的视频参数附近进行时间调制，从而对于人眼不可见，并且当在对它们进行显示的时候通过摄影对所述图像进行复制时产生赝象，特征在于其还包括以下步骤：在所述调制步骤之前，检测在源图像序列中的其中运动小于运动阈值的区域，并且从所检测的区域的象素中选择所述图案的象素。
2.根据权利要求1所述的方法，特征在于所述检测的区域是源图像序列中不带有运动的固定区域，并且还在于从不带有运动的固定区域的象素中选择所述图案的象素。
3.根据权利要求1至2任一项所述的方法，特征在于在没有被检测为固定区域的源图像的区域附近的固定宽度的区域中减少时间调制的幅度。
4.根据权利要求3所述的方法，特征在于在没有被检测为固定区域的源图像的区域附近的固定宽度的区域中逐渐地减少时间调制的幅度。
5.一种图像处理设备(2)，用于以高于人眼的时间积分频率的频率在源图像的序列中显示至少一个反复制图案，每个源图像包括以行和列组织的多个象素并且所述图案包括从所述图像中选择的一组象素，在每个源图像中，每个象素具有预定的视频参数，所述视频参数是象素的亮度和/或色度，所述设备(2)包括：调制电路(4)，用于将图案的每个象素的视频参数在其预定的视频参数附近进行时间调制，从而对于人眼不可见，并且当在对它们进行显示的时候通过摄影对所述图像进行复制时产生赝象，特征在于其还包括用于检测在源图像序列中的其中运动小于运动阈值的区域的电路(3)，并且从所检测的区域的象素中选择由调制电路(4)调制的象素。
6.根据权利要求5所述的设备，特征在于所述检测的区域是源图像序列内不带有运动的固定区域，并且从不带有运动的固定区域的象素中选择由调制电路(4)调制的象素。
说明书 :
技术领域
本发明涉及用于显示图像形的设备和方法。
背景技术
视觉内容，无论是固定还是运动画面，通常都是由版权相关的排他保护所覆盖的创作。通常仅仅在严格定义的、允许作者和它们的受益者获得酬劳的框架内才允许对它们进行再现。
为了确保正确地遵守这些法律规则，已经开发了许多系统来防止非法复制或者将复制件的质量显著降低以使得它们不能使用。
在本上下文中，专利申请EP 1 237 369的目的是对付显示图像的时候通过例如影院观众席中的摄像机的摄像来复制图像。为此，人们提出了将图案的象素的亮度在要被显示的值附近调制到高频率，以使得该图案对人眼不可见但是在通过摄像机拍摄的序列上产生赝象。通常将该图案称为文身或者反复制图案。
对图案的形式进行确定以产生将在摄像机所显示的图像中出现的例如“非法复制”类型的消息。
为了图案对裸眼不可见，调制包括交替其中图案是亮的图像和其中图案是暗的图像，在几个图像上的图案的平均强度与在没有图案的图像中要显示的强度对应。当显示这些图像时，眼睛执行积分，并且实际上看到平均的强度。
另一种方法包括对图案的象素的颜色进行调制而不改变它们的亮度。以高频在要被显示的颜色附近对图案的象素的颜色进行调制，使得图案对于人眼不可见。这样该方法基于颜色融和(fusion)。在国际专利申请WO 05/027529中非常详细地对其进行了描述。
通常，该时间调制的目的是将在给定时刻t所接收的参数在时间上进行分布。通常该参数与视频联系并且可以是如前面所描述的亮度或者颜色。在通过“帧”或者“子帧”时间被分离的时刻完成时间分布。
但是，当图像代表运动场景时，这种技术存在一个问题。实际上，由于眼睛试图跟随图像中的运动，所以不再正确地完成时间积分，并且因此图案显示给裸眼。考虑产生在第一图像中的图案的象素P的亮度赤字(deficit)和在第二画面中的相同象素的补充亮度盈余的调制例子。如果眼睛不移动，则其将这两个象素的亮度加在一起并且因此看到平均的亮度值。这样眼睛的感觉是正确的。如果眼睛移动，则没有通过眼睛的相同视网膜区域将第一图像中的象素P积分为第二图像中的相同象素。这两个象素之间的视觉和不再正确，因此眼睛检测到图案。
为了克服这种问题，可以使得图案根据眼睛的移动以下面方式进行运动：眼睛将与连续显示的两个图像中同一象素相关的视频参数进行积分。可以使用这种运动补偿技术来限制缺陷并且提高处理的质量，但是要预先假定运动矢量的高准确性和运动估计器的高可靠性。
为了确保正确地遵守这些法律规则，已经开发了许多系统来防止非法复制或者将复制件的质量显著降低以使得它们不能使用。
在本上下文中，专利申请EP 1 237 369的目的是对付显示图像的时候通过例如影院观众席中的摄像机的摄像来复制图像。为此，人们提出了将图案的象素的亮度在要被显示的值附近调制到高频率，以使得该图案对人眼不可见但是在通过摄像机拍摄的序列上产生赝象。通常将该图案称为文身或者反复制图案。
对图案的形式进行确定以产生将在摄像机所显示的图像中出现的例如“非法复制”类型的消息。
为了图案对裸眼不可见，调制包括交替其中图案是亮的图像和其中图案是暗的图像，在几个图像上的图案的平均强度与在没有图案的图像中要显示的强度对应。当显示这些图像时，眼睛执行积分，并且实际上看到平均的强度。
另一种方法包括对图案的象素的颜色进行调制而不改变它们的亮度。以高频在要被显示的颜色附近对图案的象素的颜色进行调制，使得图案对于人眼不可见。这样该方法基于颜色融和(fusion)。在国际专利申请WO 05/027529中非常详细地对其进行了描述。
通常，该时间调制的目的是将在给定时刻t所接收的参数在时间上进行分布。通常该参数与视频联系并且可以是如前面所描述的亮度或者颜色。在通过“帧”或者“子帧”时间被分离的时刻完成时间分布。
但是，当图像代表运动场景时，这种技术存在一个问题。实际上，由于眼睛试图跟随图像中的运动，所以不再正确地完成时间积分，并且因此图案显示给裸眼。考虑产生在第一图像中的图案的象素P的亮度赤字(deficit)和在第二画面中的相同象素的补充亮度盈余的调制例子。如果眼睛不移动，则其将这两个象素的亮度加在一起并且因此看到平均的亮度值。这样眼睛的感觉是正确的。如果眼睛移动，则没有通过眼睛的相同视网膜区域将第一图像中的象素P积分为第二图像中的相同象素。这两个象素之间的视觉和不再正确，因此眼睛检测到图案。
为了克服这种问题，可以使得图案根据眼睛的移动以下面方式进行运动：眼睛将与连续显示的两个图像中同一象素相关的视频参数进行积分。可以使用这种运动补偿技术来限制缺陷并且提高处理的质量，但是要预先假定运动矢量的高准确性和运动估计器的高可靠性。
发明内容
本发明的一个目的是提出一种用于消除这些缺点的方法和设备。
根据本发明，提出仅仅在固定区域中或者在合适的情况下在带有微弱运动的区域中对图案进行时间调制。实际上，处理必须对观众的眼睛不可见而仅仅对盗摄系统可见。在影片中，许多镜头是固定的或者包括固定区域或带有很少运动的区域，例如背景或者内部场景。因此，与通过将时间调制处理应用于它们以将运动区域中的图像变差不同，做出决定不在这些重要区域对图案进行时间调制。
而且，本发明还涉及一种图像处理方法，用于以高于人眼的时间积分频率的频率在源图像的序列中显示至少一个反复制图案，其中每个源图像包括以行和列组织的多个象素并且所述图案包括在所述图像中选择的一组象素，在每个源图像中，每个象素具有预定的视频参数，所述视频参数是象素的亮度和/或色度，该方法包括：调制步骤，用于将图案的每个象素的视频参数在其预定的视频参数附近进行时间调制，从而对于人眼不可见，并且当在对它们进行显示的时候通过摄影对所述图像进行复制时产生赝象。本发明的方法还包括以下步骤：在调制步骤之前，检测在源图像序列中的其中运动小于运动阈值的区域和从所检测的区域的象素中选择(被时间调制的)图案的象素。
由于仅仅需要添加固定区域检测器所以实施本方法非常简单。
根据实施方式变形，还可以对源图像序列中属于微弱运动区域(其中运动小于运动阈值的区域)的象素的视频参数进行调制。
根据本发明，提出仅仅在固定区域中或者在合适的情况下在带有微弱运动的区域中对图案进行时间调制。实际上，处理必须对观众的眼睛不可见而仅仅对盗摄系统可见。在影片中，许多镜头是固定的或者包括固定区域或带有很少运动的区域，例如背景或者内部场景。因此，与通过将时间调制处理应用于它们以将运动区域中的图像变差不同，做出决定不在这些重要区域对图案进行时间调制。
而且，本发明还涉及一种图像处理方法，用于以高于人眼的时间积分频率的频率在源图像的序列中显示至少一个反复制图案，其中每个源图像包括以行和列组织的多个象素并且所述图案包括在所述图像中选择的一组象素，在每个源图像中，每个象素具有预定的视频参数，所述视频参数是象素的亮度和/或色度，该方法包括：调制步骤，用于将图案的每个象素的视频参数在其预定的视频参数附近进行时间调制，从而对于人眼不可见，并且当在对它们进行显示的时候通过摄影对所述图像进行复制时产生赝象。本发明的方法还包括以下步骤：在调制步骤之前，检测在源图像序列中的其中运动小于运动阈值的区域和从所检测的区域的象素中选择(被时间调制的)图案的象素。
由于仅仅需要添加固定区域检测器所以实施本方法非常简单。
根据实施方式变形，还可以对源图像序列中属于微弱运动区域(其中运动小于运动阈值的区域)的象素的视频参数进行调制。
附图说明
结合附图，通过阅读以非限制性例子的方式给出的下面描述将可以更好地理解本发明，其中：
图1示出了设计来实施本发明的方法的设备；
图2示出了当显示没有反复制图案的图像序列时由人眼所察觉到的视频等级，以及当显示具有在图像的固定区域中所时间调制的反复制图案的图像序列时由人眼所察觉到的视频等级；
图3示出了当显示没有反复制图案的图像序列时由人眼所察觉到的视频等级，以及当显示具有在图像的非固定区域中所时间调制的反复制图案的图像序列时由人眼所察觉到的视频等级；
图4示出了图解被应用于要被显示的图像序列的时间调制的图像；和
图5图示了根据本发明被应用于要被显示的图像的时间调制和检测。
图1示出了设计来实施本发明的方法的设备；
图2示出了当显示没有反复制图案的图像序列时由人眼所察觉到的视频等级，以及当显示具有在图像的固定区域中所时间调制的反复制图案的图像序列时由人眼所察觉到的视频等级；
图3示出了当显示没有反复制图案的图像序列时由人眼所察觉到的视频等级，以及当显示具有在图像的非固定区域中所时间调制的反复制图案的图像序列时由人眼所察觉到的视频等级；
图4示出了图解被应用于要被显示的图像序列的时间调制的图像；和
图5图示了根据本发明被应用于要被显示的图像的时间调制和检测。
具体实施方式
在以数字形式编码的图像的情况中给出下面的描述，但是本发明自然并不限于这种类型的编码。在这种情况中，由在诸如光盘、硬盘或者磁带之类的信息介质1上所存储的数据来描述要被显示的一个或多个图像。该数据还可以源自传输信道(例如微波、卫星、电缆或者ADSL)。显示系统2以源流F的形式接收该数据，其表示要被显示的图像序列。显示系统2包括用于检测在图像序列中的固定区域的检测电路3，和用于对所述序列中的所谓调制图像进行时间调制的调制电路4。调制图像确定要被引入到图像序列中的反复制图案。图案例如可以包括指示对这些图像的复制是非法的消息。然后将适当调制过的图像以流F′的形式提供给带有其自己的屏幕6的显示设备5。
图2示出了在两个连续的帧T和T+1上的灰度等级128的传统显示器，例如阴极射线管投影器。X轴表示图像的象素而y轴表示时间。该图的左手部分表示没有时间调制图案的固定图像的显示，而该图的右手部分表示其中时间调制有图案的相同图像的显示。在三个象素上对该图案进行调制。对于这三个象素，在第一帧期间显示灰度等级64而在帧T+1期间显示灰度等级196。人眼将这两个等级进行积分并且看到灰度等级128，其使得图案对于观众不可见。
相反地，在图3中示出了在非固定图像的情况中的眼睛的时间积分。在该图中，在帧T和帧T+1之间图像向右边偏移一个象素。眼睛跟随两个帧之间的这个运动，因此检测到所不希望的灰度等级162(＝(128+196)/2)和96(＝(64+128)/2)。
因此，根据本发明，检测要被显示的图像的固定区域和在这些区域中调制反复制图案是避免这些缺陷变得明显的任何风险的方法。
根据本发明，由电路3对流F的图像进行分析以检测图像中的固定区域。使用术语“固定区域”来表示其中象素在至少两个连续的帧上具有相同等级的图像区域。可以通过象素的宏块(几十个象素的块)或者在较小的块(尺寸介于两个和十个象素之间)上完成检测。在通过宏块检测的情况中，在两个连续帧上对每个宏块的象素的视频等级进行比较，并且如果对于给定宏块，该宏块的所有象素的视频等级不改变，则假设该宏块属于固定区域。在通过较小尺寸的块进行检测的情况中，在较多数量的(例如6帧)连续帧上对个宏块的象素的视频等级进行比较，并且如果对于给定块，该块的所有象素的视频等级不改变，则假设该块属于固定区域。对于本领域的普通技术人员来说这种检测电路是公知的，并且具有比运动估计器更加可靠的优点。对于每个块或者宏块，其传递表示是否属于固定区域的参数信息。
根据通过示例方式给出的实施方式，然后以成对的方式对源流F的图像进行处理，对于每对以这种方式考虑的图像，产生用于由设备5显示的经过修改的两个图像作为输出。为了使来自检测电路3的参数信息与在调制电路4的输入端处存在的图像对应，在被提供到调制电路4的输入端之前，由延迟电路4′对源流F的图像进行延迟。该延迟与由检测电路3用于对每个图像进行处理的时间对应。在通过宏块检测的情况中，延迟电路4′例如是图像存储器。而且将两个调制图像交替地提供给电路4的另一个输入端，以对流F的图像轮流地进行调制。在第一图像中，使用一个调制图像来修改与反复制图案对应的象素的视频等级，而在下一图像中，使用另一个调制图像以反比来修改这些相同象素的视频等级。例如，调制可以包括在第一图像中将图案的象素的视频等级增加20，然后在下一图像中将其降低20。
本实施方式(用于两个源图像的两个输出图像)对应于其中源流F的频率等于设备5的显示频率的情况，该频率使得在图像中的调制图案对于裸眼不可见。如果源流的频率不足够，例如可以提供要从每个源图像中产生的两个或者更多个图像。
现在将在反复制图案的象素的亮度的时间调制的情况中更加详细地对本发明进行描述。因此假定设备5的显示频率大于人眼的时间积分频率，例如50或者60Hz。
图4示出了应用于流F的图像的调制图像的例子。图像的浅色部分表示用调制而增加等级的象素，而深色部分表示降低等级的象素。将这两个图像交替地应用于流F的图像。它们示出当在第一图像中将等级减低一个量时，在下一图像中以相同的量增加该等级，反之亦然。在图像的固定区域中执行该调制。
图5示出了应用于包括向右移动的人的三个连续图像的序列的检测和调制步骤。在该场景中的其他人是静止的。该图的左侧部分表示要被显示的三个图像的序列。中央部分表示对这三个图像中的固定区域(例如通过宏块)的检测结果，而右侧部分示出了在这三个图像的固定区域中调制的调制图像部分。在中央部分中，浅色区域表示图像的固定区域而深色区域表示运动区域。应该注意，为了提高对本发明的理解，已经夸大了人向右侧的移动(在每个图像之间几十个象素的移动)。其通常仅仅是几个象素而且两个连续图像的固定区域通常变化很少。
根据一种改进，在由图5的右手部分中的图像中的模糊区域所标识的、并且没有被检测为固定的区域附近减少调制。因此在非固定区域附近定义固定宽度的模糊区域，例如50个象素。在该区域中，当接近非固定区域时有利地逐渐地减少调制。因此，例如，如果以+/-20对固定区域中的象素等级进行调制，则该调制的幅度在模糊区域中将下降直到在被检测为非固定的区域附近达到零幅度为止。因此逐渐地执行从调制区域到非调制区域的这种转变，反之亦然，从而观众不会受到反复制图案的时间调制的突然出现或者消失的干扰。
根据实施方式变形，建议不仅在图像的固定区域中执行调制，而且在带有较少运动的图像的区域中，也就是，在其中运动是在运动阈值之下的区域(例如每帧移位少于两个象素的区域)中，也执行调制。实际上眼睛不会检测到这样的运动因此会试图跟随它。本实施方式需要使用被设计来测量运动幅度的运动估计器。本发明的方法不使用运动方向因此不需要对其进行准确地估计。所以所使用的运动估计器可以是非常简单的。
图2示出了在两个连续的帧T和T+1上的灰度等级128的传统显示器，例如阴极射线管投影器。X轴表示图像的象素而y轴表示时间。该图的左手部分表示没有时间调制图案的固定图像的显示，而该图的右手部分表示其中时间调制有图案的相同图像的显示。在三个象素上对该图案进行调制。对于这三个象素，在第一帧期间显示灰度等级64而在帧T+1期间显示灰度等级196。人眼将这两个等级进行积分并且看到灰度等级128，其使得图案对于观众不可见。
相反地，在图3中示出了在非固定图像的情况中的眼睛的时间积分。在该图中，在帧T和帧T+1之间图像向右边偏移一个象素。眼睛跟随两个帧之间的这个运动，因此检测到所不希望的灰度等级162(＝(128+196)/2)和96(＝(64+128)/2)。
因此，根据本发明，检测要被显示的图像的固定区域和在这些区域中调制反复制图案是避免这些缺陷变得明显的任何风险的方法。
根据本发明，由电路3对流F的图像进行分析以检测图像中的固定区域。使用术语“固定区域”来表示其中象素在至少两个连续的帧上具有相同等级的图像区域。可以通过象素的宏块(几十个象素的块)或者在较小的块(尺寸介于两个和十个象素之间)上完成检测。在通过宏块检测的情况中，在两个连续帧上对每个宏块的象素的视频等级进行比较，并且如果对于给定宏块，该宏块的所有象素的视频等级不改变，则假设该宏块属于固定区域。在通过较小尺寸的块进行检测的情况中，在较多数量的(例如6帧)连续帧上对个宏块的象素的视频等级进行比较，并且如果对于给定块，该块的所有象素的视频等级不改变，则假设该块属于固定区域。对于本领域的普通技术人员来说这种检测电路是公知的，并且具有比运动估计器更加可靠的优点。对于每个块或者宏块，其传递表示是否属于固定区域的参数信息。
根据通过示例方式给出的实施方式，然后以成对的方式对源流F的图像进行处理，对于每对以这种方式考虑的图像，产生用于由设备5显示的经过修改的两个图像作为输出。为了使来自检测电路3的参数信息与在调制电路4的输入端处存在的图像对应，在被提供到调制电路4的输入端之前，由延迟电路4′对源流F的图像进行延迟。该延迟与由检测电路3用于对每个图像进行处理的时间对应。在通过宏块检测的情况中，延迟电路4′例如是图像存储器。而且将两个调制图像交替地提供给电路4的另一个输入端，以对流F的图像轮流地进行调制。在第一图像中，使用一个调制图像来修改与反复制图案对应的象素的视频等级，而在下一图像中，使用另一个调制图像以反比来修改这些相同象素的视频等级。例如，调制可以包括在第一图像中将图案的象素的视频等级增加20，然后在下一图像中将其降低20。
本实施方式(用于两个源图像的两个输出图像)对应于其中源流F的频率等于设备5的显示频率的情况，该频率使得在图像中的调制图案对于裸眼不可见。如果源流的频率不足够，例如可以提供要从每个源图像中产生的两个或者更多个图像。
现在将在反复制图案的象素的亮度的时间调制的情况中更加详细地对本发明进行描述。因此假定设备5的显示频率大于人眼的时间积分频率，例如50或者60Hz。
图4示出了应用于流F的图像的调制图像的例子。图像的浅色部分表示用调制而增加等级的象素，而深色部分表示降低等级的象素。将这两个图像交替地应用于流F的图像。它们示出当在第一图像中将等级减低一个量时，在下一图像中以相同的量增加该等级，反之亦然。在图像的固定区域中执行该调制。
图5示出了应用于包括向右移动的人的三个连续图像的序列的检测和调制步骤。在该场景中的其他人是静止的。该图的左侧部分表示要被显示的三个图像的序列。中央部分表示对这三个图像中的固定区域(例如通过宏块)的检测结果，而右侧部分示出了在这三个图像的固定区域中调制的调制图像部分。在中央部分中，浅色区域表示图像的固定区域而深色区域表示运动区域。应该注意，为了提高对本发明的理解，已经夸大了人向右侧的移动(在每个图像之间几十个象素的移动)。其通常仅仅是几个象素而且两个连续图像的固定区域通常变化很少。
根据一种改进，在由图5的右手部分中的图像中的模糊区域所标识的、并且没有被检测为固定的区域附近减少调制。因此在非固定区域附近定义固定宽度的模糊区域，例如50个象素。在该区域中，当接近非固定区域时有利地逐渐地减少调制。因此，例如，如果以+/-20对固定区域中的象素等级进行调制，则该调制的幅度在模糊区域中将下降直到在被检测为非固定的区域附近达到零幅度为止。因此逐渐地执行从调制区域到非调制区域的这种转变，反之亦然，从而观众不会受到反复制图案的时间调制的突然出现或者消失的干扰。
根据实施方式变形，建议不仅在图像的固定区域中执行调制，而且在带有较少运动的图像的区域中，也就是，在其中运动是在运动阈值之下的区域(例如每帧移位少于两个象素的区域)中，也执行调制。实际上眼睛不会检测到这样的运动因此会试图跟随它。本实施方式需要使用被设计来测量运动幅度的运动估计器。本发明的方法不使用运动方向因此不需要对其进行准确地估计。所以所使用的运动估计器可以是非常简单的。