用于计算与视频图像关联的误差度量的方法、设备和系统转让专利

申请号 : CN201010150651.0

文献号 : CN101872589B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : U·T·巴恩霍弗B·J·科利特V·E·阿勒斯W·H·姚陈巍

申请人 : 苹果公司

摘要 :

本发明公开了一种用于计算与视频图像关联的误差度量的方法、设备和系统。所述系统包括一个或多个集成电路,其中所述一个或多个集成电路包括:调整电路,配置成通过改变光源的强度来减小系统的功耗,还配置成基于与视频图像关联的亮度度量缩放视频图像的亮度值,其中光源照射配置成显示视频图像的显示器;及电耦接到调整电路的分析电路,该分析电路配置成基于缩放后的亮度值和视频图像来计算针对视频图像的误差度量。

权利要求 :

1.一种用于计算与视频图像关联的误差度量的系统,包括一个或多个集成电路,其中所述一个或多个集成电路包括:调整电路,配置成通过改变光源的强度设置来减小系统的功耗,还配置成基于与视频图像关联的亮度度量缩放视频图像的亮度值,其中光源照射配置成显示视频图像的显示器;及电耦接到调整电路的分析电路,该分析电路配置成基于缩放后的亮度值和视频图像来计算针对视频图像的误差度量。

2.如权利要求1所述的系统,其中所述一个或多个集成电路包括电耦接到调整电路的提取电路,该提取电路配置成计算与视频图像关联的亮度度量。

3.如权利要求2所述的系统,其中亮度度量包括视频图像中的亮度值直方图。

4.如权利要求1所述的系统,其中误差度量是在视频图像中逐像素地确定的。

5.如权利要求1所述的系统,其中调整电路还配置成,如果误差度量超过预定值,则减小亮度值的缩放,由此减小视频图像显示时的变形。

6.如权利要求1所述的系统,其中调整电路还配置成,如果视频图像中的给定像素对误差度量的贡献超过预定值,则减小与所述给定像素关联的亮度值的缩放,由此减少视频图像显示时的变形。

7.如权利要求1所述的系统,其中调整电路还配置成,如果视频图像中的区域的尺寸超过预定值,则减小对该区域中像素的亮度值的缩放,由此减小视频图像显示时的变形;及其中所述区域中给定像素对误差度量的贡献超过另一个预定值。

8.如权利要求1所述的系统,其中视频图像中给定像素对误差度量的贡献对应于缩放后亮度值与缩放前初始亮度值之比。

9.如权利要求1所述的系统,其中亮度值的缩放是逐像素地确定的。

10.如权利要求1所述的系统,其中视频图像包括视频帧。

11.如权利要求1所述的系统,其中亮度值是基于用于衰减来自光源的光对显示器的耦合的衰减机构的动态范围而缩放的,其中显示器配置成显示视频图像。

12.如权利要求1所述的系统,其中光源包括发光二极管或荧光灯。

13.如权利要求1所述的系统,其中系统包括计算机系统。

14.如权利要求1所述的系统,其中系统包括便携式电子设备。

15.一种用于计算与视频图像关联的误差度量的方法,包括:

通过改变光源的强度设置来减小功耗,并且基于与视频图像关联的亮度度量来缩放针对视频图像的亮度值,其中光源照射配置成显示视频图像的显示器,以及基于缩放后的亮度值和视频图像来计算针对视频图像的误差度量。

16.如权利要求15所述的方法,其中该方法还包括,如果误差度量超过预定值,则减小亮度值的缩放,由此减小视频图像显示时的变形。

17.如权利要求15所述的方法,其中该方法还包括,如果视频图像中的给定像素对误差度量的贡献超过预定值,则减小与所述给定像素关联的亮度值的缩放,由此减少视频图像显示时的变形。

18.如权利要求15所述的方法,其中该方法还包括,如果视频图像中的区域的尺寸超过预定值,则减小对该区域中像素的亮度值的缩放,由此减小视频图像显示时的变形;及其中所述区域中给定像素对误差度量的贡献超过另一个预定值。

19.如权利要求15所述的方法,其中视频图像中给定像素对误差度量的贡献对应于缩放后亮度值与缩放前初始亮度值之比。

20.如权利要求15所述的方法,其中误差度量是在视频图像中逐像素地确定的。

21.一种用于计算与视频图像关联的误差度量的设备,包括:

用于通过改变光源的强度设置来减小功耗,并且基于与视频图像关联的亮度度量来缩放针对视频图像的亮度值的装置,其中光源照射配置成显示视频图像的显示器;及用于基于缩放后的亮度值和视频图像来计算针对视频图像的误差度量的装置。

22.如权利要求21所述的设备,还包括用于如果误差度量超过预定值,则减小亮度值的缩放,由此减小视频图像显示时的变形的装置。

23.如权利要求21所述的设备,还包括用于如果视频图像中的给定像素对误差度量的贡献超过预定值,则减小与所述给定像素关联的亮度值的缩放,由此减少视频图像显示时的变形的装置。

24.如权利要求21所述的设备,还包括用于如果视频图像中的区域的尺寸超过预定值,则减小对该区域中像素的亮度值的缩放,由此减小视频图像显示时的变形的装置,其中所述区域中给定像素对误差度量的贡献超过另一个预定值。

25.如权利要求21所述的设备,其中视频图像中给定像素对误差度量的贡献对应于缩放后亮度值与缩放前初始亮度值之比。

26.如权利要求21所述的设备,其中误差度量是在视频图像中逐像素地确定的。

说明书 :

用于计算与视频图像关联的误差度量的方法、设备和系统

[0001] 本发明是申请日为2008年6月25日、国际申请号为PCT/US2008/068196(国家申请号至本分案申请提交日尚未给出)且发明名称为“用于具有同时视频数据调整的自适应背光调光的技术”的发明专利申请的分案申请。

技术领域

[0002] 本发明涉及用于动态地改变显示器的光源的技术。更具体而言,本发明涉及用于逐图像地调整视频信号和确定背光强度的电路与方法。

背景技术

[0003] 诸如液晶显示器(LCD)的小型电子显示器是广泛多种电子设备中日益普及的部件。例如,这些部件由于其低成本和良好的性能而目前被广泛地用在诸如膝上型计算机的便携式电子设备中。
[0004] 这些LCD中的许多是利用荧光光源或发光二极管(LED)照明的。例如,LCD常常利用冷阴极荧光灯(CCFL)打背光,其中CCFL位于显示器的上面、后面和/或旁边。如例示了电子设备中现有显示系统的图1所示,位于光源110(例如,CCFL)和显示器116之间的衰减机构114(例如,空间光调制器)用于减小由光源110产生的、入射到显示器116上的光112的强度。但是,电池寿命是许多电子设备中重要的设计标准,而且,因为衰减操作丢弃了输出的光112,所以这种衰减操作是能量低效的,并因此会减少电池寿命。应当指出,在LCD显示器中,衰减机构114包括在显示器116中。
[0005] 在有些电子设备中,这个问题是通过利用光源110的强度设置折中要显示在显示器116上的视频信号的亮度来解决的。特别地,许多视频图像是曝光不足的,例如,这些视频图像中视频信号的峰值亮度值小于当视频信号被编码时所允许的最大亮度值。当照相机在视频图像的生成或编码过程中摇摄时,这种曝光不足就会发生。尽管初始视频图像的峰值亮度是正确设置的(例如,初始视频图像没有曝光不足),但照相机角度的改变可能会造成后续视频图像中峰值亮度值减小。因此,有些电子设备按比例确定视频图像中的峰值亮度值(使得视频图像不再曝光不足)并减小光源110的强度设置,由此降低能量消耗并延长电池寿命。
[0006] 但是,常常难以可靠地确定视频图像的亮度,因此难以利用现有技术确定缩放比例。例如,许多视频图像是利用视频图像的黑条或非图画部分来编码的。这些非图画部分使得对视频图像亮度的分析复杂化,因此,当确定视频信号亮度与光源110的强度设置之间的折中时,会造成问题。而且,这些非图画部分还会产生视觉假象,这会劣化使用电子设备过程中的整体用户体验。
[0007] 此外,因为与摄像机或成像设备关联的灰度校正,许多视频图像是利用显示时视频图像的亮度值和亮度之间的非线性关系来编码的。而且,有些光源的频谱是可以随强度设置的改变而变化的。这些效果也会使得对视频图像亮度的分析和/或对视频图像亮度与光源110的强度设置之间适当折中的确定复杂化。
[0008] 因此,所需要的是不存在以上所述问题的、便于确定光源的强度设置并减少可察觉的视觉假象的方法与装置。

发明内容

[0009] 描述了用于动态改变由照射显示器的光源(例如,LED或荧光灯)所提供的照明强度并用于调整要显示在显示器上的视频图像的技术的实施方式,还描述了实现该技术的系统。
[0010] 在该技术的有些实施方式中,所述系统将视频图像从初始亮度域变换到线性亮度域,其中线性亮度域包括对应于所显示视频图像中基本等距相邻的辐射功率值的亮度值范围。例如,该变换可以补偿与摄像机——或者更一般地说是成像设备——关联的视频图像中的灰度校正。
[0011] 在这种线性亮度域中,所述系统可以根据至少一部分变换后的视频图像(例如,变换后视频图像的图画或图像部分)来确定光源的强度设置(例如,平均强度设置)。而且,所述系统可以修改变换后的视频图像,使得强度设置和与修改后视频图像关联的透射率的乘积近似地等于(可以包括等于)先前强度设置和与视频图像关联的透射率的乘积。例如,基于变换后视频图像中亮度值的直方图,这种修改可以包括改变变换后视频图像中的亮度值。
[0012] 在该技术的其它实施方式中,按照与视频图像中剩余像素相同的方式,所述系统调整视频图像中与黑或暗区域关联的像素的亮度。特别地,视频图像中任意位置的暗区域可以被缩放,以减小或消除与视频图像变换或转换过程中脉动(pulsing)或背光关联的噪声。例如,与给定显示器中低亮度值处的漏光关联的偏移可以包括在视频图像从初始亮度域到线性亮度域的变换中,还可以包括在修改后视频图像从线性亮度域到其它亮度域的变换中。
[0013] 在该技术的其它实施方式中,当光源的强度设置改变时,所述系统应用校正,以维持视频图像的颜色。在基于至少部分视频图像确定光源的强度设置后,系统可以修改该至少部分视频图像中像素的亮度值,以维持强度设置和与修改后视频图像关联的透射率的乘积。然后,系统可以根据强度设置调整视频图像中的颜色内容,以便即使当与光源关联的频谱随强度设置变化时,也能维持与视频图像关联的颜色。
[0014] 可选地,在调整颜色内容之前,系统可以连带地修改至少部分图像中像素的亮度值和光源的强度设置,以便在减少光源功耗的同时,维持来自显示器的光输出。
[0015] 在该技术的另一种实施方式中,所述系统基于要显示在显示器上的视频图像的饱和部分来执行调整。这种显示器可以包括与白色过滤器关联的像素和与一个或多个其它颜色过滤器关联的像素。在可选地确定至少部分视频图像的颜色饱和度之后,系统可以根据颜色饱和度有选择地调整与白色过滤器关联的视频图像中的像素。然后,系统可以根据有选择地进行了调整的像素来改变光源的强度设置。应当指出,像素的选择性禁用可以在前馈体系结构中执行。例如,视频图像(诸如与网页关联的那些视频图像)序列中即将到来的视频图像中具有饱和颜色的像素的存在可以利用运动估计来预测,而且这些像素中的一些可以调整,由此减少或消除视觉假象。
[0016] 在该技术的另一种实施方式中,当视频图像序列中两个相邻视频图像之间存在亮度度量(例如,亮度值的直方图)上的不连续时,系统对强度设置应用大部分或所有改变并缩放亮度值。
[0017] 在该技术的另一种实施方式中,所述系统根据缩放的亮度值和视频图像计算用于视频图像的误差度量。因此,误差度量可以对应于修改后视频图像(在缩放亮度值之后)和初始视频图像之间的差值。例如,视频图像中给定像素对误差度量的贡献可以对应于缩放后亮度值与缩放前初始亮度值之比。而且,如果误差度量超过预定值,则系统可以逐像素地减小亮度值的缩放和/或可以减小强度设置中的改变,由此减小显示视频图像时的变形。
[0018] 在该技术的另一种实施方式中,所述系统识别视频图像中的另一个区域,在该区域中亮度值的缩放导致与减小的对比度关联的视觉假象。例如,该另一区域可以包括被较暗区域包围的亮区域。然后,系统可以减小该另一区域中亮度值的缩放,以便至少部分地恢复对比度,由此减小视觉假象。而且,系统可以空间地过滤视频图像中的亮度值,以减小该另一区域中像素的亮度值与视频图像中剩余部分中亮度值之间的空间不连续性。

附图说明

[0019] 图1是例示显示系统的框图。
[0020] 图2A是用于例示根据本发明实施例的视频图像中亮度值的直方图的图。
[0021] 图2B是用于例示根据本发明实施例的视频图像中亮度值的直方图的图。
[0022] 图3是用于例示根据本发明实施例的映射函数的图。
[0023] 图4是用于例示根据本发明实施例的当调整光源的强度设置和视频图像的亮度值时亮度中非线性影响的一系列图。
[0024] 图5是用于例示根据本发明实施例的成像流水线(pipeline)的框图。
[0025] 图6A是例示根据本发明实施例的变换的图。
[0026] 图6B是例示根据本发明实施例的变换的图。
[0027] 图7A是例示根据本发明实施例的电路的框图。
[0028] 图7B是例示根据本发明实施例的电路的框图。
[0029] 图8A是用于例示根据本发明实施例的视频图像的图画与非图画部分的框图。
[0030] 图8B是用于例示根据本发明实施例的视频图像中的亮度值直方图的图。
[0031] 图9是用于例示根据本发明实施例的光源的频谱的图。
[0032] 图10是用于例示根据本发明实施例的视频图像序列的亮度值直方图的图序列。
[0033] 图11A是用于例示根据本发明实施例的用于调整视频图像的处理的流程图。
[0034] 图11B是用于例示根据本发明实施例的用于调整视频图像中像素亮度的处理的流程图。
[0035] 图11C是用于例示根据本发明实施例的用于调整视频图像的处理的流程图。
[0036] 图11D是用于例示根据本发明实施例的用于调整视频图像的处理的流程图。
[0037] 图11E是用于例示根据本发明实施例的用于调整视频图像的处理的流程图。
[0038] 图12A是用于例示根据本发明实施例的用于调整视频图像亮度的处理的流程图。
[0039] 图12B是用于例示根据本发明实施例的用于调整视频图像亮度的处理的流程图。
[0040] 图12C是用于例示根据本发明实施例的用于计算与视频图像关联的误差度量的处理的流程图。
[0041] 图12D是用于例示根据本发明实施例的用于计算与视频图像关联的误差度量的处理的流程图。
[0042] 图12E是用于例示根据本发明实施例的用于调整视频图像中像素亮度的处理的流程图。
[0043] 图12F是用于例示根据本发明实施例的用于调整视频图像中像素亮度的处理的流程图。
[0044] 图13是例示根据本发明实施例的计算机系统的框图。
[0045] 图14是例示根据本发明实施例的数据结构的框图。
[0046] 图15是例示根据本发明实施例的数据结构的框图。
[0047] 应当指出,贯穿所有附图,相同的标号都指代对应的部分。

具体实施方式

[0048] 给出以下描述是为了使本领域技术人员能够作出并使用本发明,而且以下描述是在特定应用及其需求的环境下提供的。在不背离本发明主旨与范围的情况下,对所公开实施例的各种修改对本领域技术人员来说将是显而易见的,而且在此所定义的通用原理可以应用到其它实施例和应用。因此,本发明不是要限于所示出的实施例,而是要符合与在此所公开的原理和特征一致的最广范围。
[0049] 描述了硬件、软件和/或用于利用该硬件和/或软件的处理的实施例。应当指出,硬件可以包括电路、便携式设备、系统(例如,计算机系统),而软件可以包括与计算机系统一起使用的计算机程序产品。而且,在有些实施例中,便携式设备和/或系统包括一个或多个电路。
[0050] 这些电路、设备、系统、计算机程序产品和/或处理可以用于确定光源的强度,其中的光源例如有LED(包括有机LED或OLED)和/或荧光灯(包括电荧光灯)。特别地,光源可以用于给便携式设备和/或系统中的LCD显示器打背光,其中的显示器以视频图像序列显示视频图像(例如视频帧)。通过确定一个或多个视频图像的至少一部分的亮度度量(例如,亮度值的直方图),可以确定光源的强度。而且,在有些实施例中,与一个或多个视频图像的至少部分关联的视频信号(例如,亮度值)是根据从亮度度量确定的映射函数进行缩放的。
[0051] 为了便于这种分析与调整,在有些实施例中,视频图像首先从初始亮度域(包括与摄像机或成像设备关联的灰度校正)变换到线性亮度域,该线性亮度域包括对应于所显示视频图像中基本等距相邻的辐射功率值的亮度值范围。(应当指出,辐射功率也称为当视频图像显示时从显示器发射出的光的光功率)。在线性亮度域中,视频图像可以修改(例如,通过改变亮度值),使得光源的强度设置和与修改后视频图像关联的透射率的乘积近似地等于(可以包括等于)先前强度设置和与视频图像关联的透射率的乘积。
[0052] 在有些实施例中,分析亮度度量,以识别视频图像的非图画部分和/或视频图像的图画部分,例如视频图像中包括空间变化的可视信息的子集。例如,视频图像常常利用一个或多个黑线和/或黑条(可以是或者可以不是水平的)来编码,其中的黑线或黑条至少部分地围绕着视频图像的图画部分。应当指出,这个问题常常由于用户提供的内容而发生,例如在如互联网的网络上找到的内容。通过识别视频图像的图画部分,可以逐图像地正确确定光源的强度。因此,光源的强度设置可以在视频图像序列中从一个图像到另一个图像地逐步变化(作为时间的函数)。
[0053] 而且,在有些实施例中,视频图像的非图画部分会导致视觉假象。例如,在包括衰减机构114的便携式设备与系统中,非图画部分常常被分配以最小亮度值,例如黑色。但是,这个亮度值可能会使用户察觉到与光源110的脉动关联的噪声。因此,在有些实施例中,视频图像非图画部分的亮度被缩放到提供衰减或减小这种噪声察觉的净空高度(headroom)的新亮度值(例如,亮度值的改变可以是至少每平方米1坎德拉)。应当指出,如果非图画部分包括字幕,则只有非图画部分中排除该字幕的区域的亮度可以修改。
[0054] 更一般地,视频图像的任意部分(仅相对于非图画部分中的那些)可以具有低于阈值(例如黑色)的亮度值。这些部分的亮度值可以缩放成减小用户对与光源110脉动关联的噪声的察觉和/或提高视频图像中的对比度。
[0055] 在有些实施例中,视频图像序列中相邻的视频图像的亮度有大的变化,例如与从电影中一个场景变换到下一个场景关联的亮度变化。为了防止过滤器无意中消除了这种变化,对视频图像的光源强度变化的过滤可以有选择地加以调整。而且,在有些实施例中,采用缓冲器来使光源的强度设置与要显示的当前视频图像同步。
[0056] 此外,在有些实施例中,与这种场景变化关联的不连续性用于掩饰对强度设置或者亮度值缩放比例的改变。因此,这些调整中的大部分或者全部都可以在视频图像序列中两个相邻的视频图像之间存在亮度度量(例如,亮度值的直方图)上的不连续时进行。
[0057] 应当指出,诸如LED的有些光源的频谱可以随强度设置的改变而变化。因此,在有些实施例中,基于所确定的对强度设置的调整可以对视频图像的颜色内容应用校正,以补偿这种效果。例如,白色可以维持在与强度设置改变之前的视频图像颜色关联的对应黑体温度的大约100K或200K之内。
[0058] 这些技术也可以用于包括与白色过滤器关联的像素和与一个或多个其它颜色过滤器关联的像素的显示器。特别地,视频图像饱和部分中的颜色内容可以通过有选择地禁用与白色过滤器关联的像素来调整。然后,光源的强度设置可以根据有选择地调整的像素来修改。而且,如果光源的频谱依赖于强度设置,则视频图像的颜色内容可以被调整成维持与视频图像关联的颜色。
[0059] 应当指出,可以逐像素地确定误差度量,例如缩放后亮度值与缩放前初始亮度值之比。如果该误差度量超过预定值,则对亮度值的逐像素的缩放和/或强度设置中的改变可以减小,由此减小当显示视频图像时的变形。
[0060] 此外,可以识别与视觉假象关联的一个或多个区域。例如,这些区域可以包括由较暗部分围绕着的亮部分。亮度值的缩放可能减小亮部分的对比度,从而出现视觉假象(例如,至少有些用户可以察觉到的假象)。为了减轻或消除这些假象,可以减小对至少给定区域中亮部分的亮度值的缩放。而且,系统可以空间过滤视频图像中的亮度值,以减小其它区域中像素的亮度值与视频图像剩余部分中亮度值之间的空间不连续性。
[0061] 通过逐图像地确定光源的强度设置,这些技术方便了光源功耗的减少。在示例实施例中,与光源关联的功率节约可以在15-50%之间。这种减小提供了便携式设备和/或系统设计中附加的自由度。例如,利用这些技术,便携式设备可以具有更小的电池、提供更长的重放时间和/或包括更大的显示器。
[0062] 应当指出,这些技术可以用在广泛多种便携式设备和/或系统中。例如,便携式设备和/或系统可以包括:个人计算机、膝上型计算机、蜂窝电话、个人数字助理、MP3播放器和/或包括背光显示器的其它设备。
[0063] 现在描述根据本发明实施例的确定光源强度的技术。在以下实施例中,采用给定视频图像中亮度值的直方图来例示从其确定光源强度的亮度度量。但是,在其它实施例中,单独地或者与直方图一起使用一个或多个附加的亮度度量(例如,颜色饱和度)。
[0064] 图2A给出了用于例示视频图像(例如,视频帧)中亮度值直方图210的实施例的图200,该图被绘制成作为亮度值212函数的计数个数214。应当指出,初始直方图210-1中的峰值亮度值小于当编码视频图像时所允许的亮度值的最大值216。例如,峰值可以与灰度级202关联,而最大值216可以与灰度级255关联。如果显示视频图像的显示器的灰度校正是2.2,则与峰值关联的亮度大约是最大值216的60%。因此,视频图像是曝光不足的。这种普通的结果常常在摇摄过程中出现。特别地,尽管视频图像序列中初始视频图像(例如,与电影中场景关联的视频图像)具有正确的曝光,但是当照相机摇摄时,后续的视频图像可能是曝光不足的。
[0065] 在显示系统中,例如包括LCD显示器的那些显示系统(更一般地说,是包括图1中衰减机构114的那些显示系统),曝光不足的视频图像浪费功率,因为照射显示器116(图1)的光源110(图1)输出的光被衰减机构114(图1)减少了。
[0066] 但是,这提供了在维持整体图像质量的同时节省功率的机会。特别地,视频图像的至少一部分中的亮度值可以被放大到最大值216(例如,通过重新定义灰度级)或者甚至超出最大值216(如下面进一步描述的)。这是由直方图210-2所例示的。应当指出,然后减小光源的强度设置(例如,通过改变到LED的电流的占空比),使得直方图210-2中的峰值与强度设置的乘积近似地与缩放前的相等。在视频图像最初有40%曝光不足的实施例中,这种技术提供了将与光源关联的功耗减小大约40%的能力,即,显著的功率节约。
[0067] 尽管前面的例子缩放了整个视频图像的亮度,但在有些实施例中,缩放可以应用到视频图像的一部分。例如,如图2B中所示,该图给出了用于例示视频图像中亮度值直方图210的实施例的图230,其中与直方图210-1一部分关联的视频图像中的亮度值可以被缩放以产生直方图210-3。应当指出,与直方图210-1一部分关联的亮度值的缩放可以通过跟踪与对直方图210-1的给定贡献关联的位置(例如,行号或像素)而变得容易。通常,视频图像中缩放的部分(及由此直方图的部分)可以基于直方图中值的分布,例如:加权平均、分布的一个或多个瞬间和/或峰值。
[0068] 而且,在有些实施例中,这种缩放可以是非线性的,而且可以基于映射函数(以下关于图3对其进一步描述)。例如,与直方图一部分关联的视频图像中的亮度值可以缩放到大于最大值216的值,以便于对饱和的视频图像(例如,最初具有峰值等于最大值216的亮度值直方图的视频图像)进行缩放。然后,可以应用非线性压缩,来确保视频图像中(即由此直方图中)的亮度值小于最大值216。
[0069] 应当指出,尽管图2A和2B例示了对视频图像的亮度值的缩放,但这些技术也可以应用到视频图像序列。在有些实施例中,光源的强度和缩放是逐图像地从对视频图像序列中给定的视频图像的亮度值直方图确定的。在示例实施例中,缩放首先是根据用于视频图像的直方图确定的,然后根据该缩放(例如,利用映射函数,诸如以下关于图3所描述的映射函数)确定强度设置。在其它实施例中,强度设置首先基于用于视频图像的直方图确定,然后根据用于这个视频图像的强度设置来确定缩放。
[0070] 图3给出了例示映射函数310的实施例的图300,该映射函数执行从输入亮度值312(多至亮度值的最大值318)到输出亮度值314的映射。通常,映射函数310包括与斜率316-1关联的线性部分和与斜率316-2关联的非线性部分。注意,通常非线性部分可以在映射函数310中的任意位置处。在视频图像曝光不足的示例实施例中,斜率316-1大于
1,而斜率316-2为零。
[0071] 应当指出,对于给定的可以从用于至少一部分视频图像的亮度值直方图确定的映射函数,有关联的变形度量。例如,映射函数310可以实现一部分视频图像中亮度值的非线性缩放,而变形度量可以是被这种映射操作变形的视频图像的百分比。
[0072] 在有些实施例中,用于视频图像的光源的强度设置至少部分地基于所关联的变形度量。例如,映射函数310可以从用于至少一部分视频图像的亮度值直方图确定,使得所关联的变形度量(例如视频图像中的百分比变形)小于预定值,例如10%。然后,光源的强度设置可以从与映射函数310关联的直方图的缩放来确定。应当指出,在有些实施例中,缩放(及由此还有强度设置)是至少部分地基于衰减机构114(图1)的动态范围的,例如多个灰度级。
[0073] 而且,应当指出,在有些实施例中,在包括与捕捉视频图像的摄像机或成像设备关联的灰度校正效果之后,缩放被应用到灰度级值或亮度值。例如,视频图像可以在缩放之前补偿这种灰度校正。以这种方式,与视频图像中亮度值和所显示视频图像的亮度之间的非线性关系关联且可能在缩放过程中出现的假象可以被避免。
[0074] 图4给出了用于例示当调整光源的强度设置和视频图像的亮度值时这种非线性的影响的一系列图400、430和450。图400示出了作为时间412函数的视频图像内容410,包括亮度值中的不连续下降414。这种下降通过减小光源的强度设置而允许节约功率。如示出作为时间412函数的强度设置440的图430所示,强度设置440可以利用在一个时间间隔(例如,10帧)上的下降斜坡442来减小。而且,如示出作为时间412函数的显示器透射率460的图450所示,通过利用上升斜坡462(对应于线性亮度域中的1/x函数),可以获得与视频图像内容410关联的期望亮度值。
[0075] 但是,如果亮度值缩放的计算是在视频图像的初始亮度域中执行的,则会发生诸如假象416的假象,其中初始亮度域包括捕捉视频图像的摄像机或成像设备的灰度校正,并由此具有亮度值和所显示视频图像的亮度之间的非线性关系(即,亮度值和亮度之间的关系是非线性的)。该假象会导致亮度值的20%的跳变。
[0076] 因此,在有些实施例中,视频图像从初始(非线性)亮度域变换到线性亮度域,在线性亮度域中亮度值的范围对应于所显示视频图像中基本等距的辐射功率值。这在图5中示出,图5给出了用于例示成像流水线500的框图。
[0077] 在这个流水线中,从存储器510接收视频图像。在处理器512中的处理过程中,视频图像被利用变换514从初始亮度域转换或变换到线性亮度域。例如,通过对亮度值应用2.2的指数,变换可以补偿给定摄像机或给定成像设备的灰度校正(如以下关于图6A所描述的)。通常,这种变换可以基于捕捉视频图像的摄像机或成像设备的特性(例如,特定的灰度校正)。因此,查找表可以包括用于给定摄像机或给定成像设备的合适的变换函数。在示例实施例中,查找表可以包括12位的值。
[0078] 在变换视频图像之后,处理器512可以在线性域516中执行计算。例如,处理器512可以确定光源的强度设置并且/或者缩放或修改视频图像(或者更一般地说是视频图像中包括颜色内容的内容)的亮度值。在有些实施例中,强度设置和与修改后视频图像关联的透射率的乘积近似地等于(可以包括等于)先前强度设置和与视频图像关联的透射率的乘积。而且,对视频图像的修改可以基于与至少一部分视频图像关联的度量(例如,亮度值的直方图),而且可以逐像素地执行。
[0079] 在修改视频图像之后,处理器512可以利用变换518将修改后的视频图像转换或变换到另一个亮度域,该另一个亮度域的特征是亮度值范围对应于所显示视频图像中非等距相邻的辐射功率值。例如,这种变换可以近似地与初始亮度域相等。因此,例如,通过对修改后的视频图像中的亮度值应用1/2.2的指数,到另一亮度域的变换可以在修改后的视频图像中恢复初始的灰度校正(与捕捉视频图像的摄像机或成像设备关联)。可选地,到另一亮度域的变换可以基于显示器的特性,例如与给定显示器关联的灰度校正(如以下关于图6B所描述的)。应当指出,用于给定显示器的合适变换函数可以存储在查找表中。然后,视频图像可以被输出到显示器520。
[0080] 在有些实施例中,到另一亮度域的变换可以包括对显示中假象的校正,处理器512可以有选择地逐帧应用该校正。在示例实施例中,显示假象包括接近显示中最小亮度的漏光。
[0081] 图6A给出了用于例示变换614(例如,图5中的变换514)的图600,该图被绘制成作为视频图像(如由给定摄像机或给定成像设备捕捉的视频图像)中亮度值612函数的辐射功率610(或光子计数)。包括用于与给定摄像机或给定成像设备关联的亮度或灰度校正的补偿或解码的变换614-1可以用于从初始亮度域转换到线性亮度域。
[0082] 在有些实施例中,如在变换614-2中所例示的,包括沿辐射功率轴的偏移616-1(其被表征为在较小亮度值612处斜率较缓)(通常,变换614-2具有与变换614-1不同的形状)。应当指出,这个偏移有效地约束了辐射功率610值的范围,并且可以与将显示视频图像的给定显示器(例如图5中的显示器520)的特征关联。例如,偏移616-1可以与显示器中的漏光关联。因此,变换614-2可以有意地变形视频图像(如由给定摄像机或给定成像设备捕捉的视频图像),使得辐射功率610值的范围对应于与显示器关联的辐射功率的范围。
[0083] 而且,联系以下参考图6B所述的变换660-2,变换614-2可以允许亮度值612的一般化缩放应用到视频图像中的暗区域(如以下参考图8A和8B进一步描述的)。应当指出,这种暗区域的一般化缩放可以减小或消除对与背光调制关联的噪声的用户察觉。
[0084] 图6B给出了用于例示变换660(例如,图5中的变换518)的图650,该图被绘制成作为辐射功率664(或光子计数)函数的视频图像(如在给定显示器上所显示的视频图像)中的亮度值662。包括用于与给定显示器关联的灰度或灰度校正的补偿或编码(例如,变换660-1可以近似地倒置显示灰度)的变换660-1可以用于从线性亮度域转换到其它亮度域。
[0085] 在有些实施例中,如变换660-2中所例示的,包括沿辐射功率轴的偏移616-2(其被表征为在较小辐射功率664值处斜率较陡)(通常,变换660-2具有与变换660-1不同的形状)。应当指出,这个偏移有效地约束了辐射功率664值的范围。因此,变换660-2可以更好地近似于或者是显示灰度的确切倒置。应当指出,偏移616-2可以与将显示视频图像的给定显示器(例如,图5中的显示器520)的特征关联。例如,偏移616-2可以与显示器中的漏光关联。而且,与变换614-2(图6A)一起,变换660-2还可以允许亮度值622的一般化缩放应用到视频图像中的暗区域(如参考图8A和8B进一步描述的)。如以上所指出的,这种暗区域的一般化缩放可以减小或消除对与背光调制关联的噪声的用户察觉。
[0086] 此外,变换660-2可以提供:即使当强度设置与亮度值缩放时,所显示视频图像中也有稳定的辐射功率;而且当强度设置减小时,视频图像中暗区域中的对比度可以增加(以损害暗区域中的某些内容剪辑为代价)。应当指出,当变换660-2与变换614-2一起使用时,在暗区域中也许不会有内容剪辑。但是,在这些实施例中,暗区域中的对比度将不会增强。
[0087] 应当指出,在有些实施例中,当强度设置减小时,暗区域中的对比度可以仍然通过调整偏移616-1(图6A)来增强。在这些实施例中,在暗区域中没有内容剪辑。但是,当调整偏移616-1(图6A)时,用于缩放视频图像的暗区域中的亮度值622的一般化技术可能不会有作用。相反,与暗区域(例如,黑条和黑线)关联的视频图像部分可以被识别并适当地缩放,以减小或消除对与背光调制关联的噪声的用户察觉(如以下参考图8A和8B进一步描述的)。
[0088] 现在描述根据本发明实施例的一个或多个电路或电路中的子电路,它们可以用于修改视频图像和/或确定视频图像序列中给定视频图像的强度设置。这些电路或子电路可以包括在一个或多个集成电路上。而且,一个或多个集成电路可以包括在设备(例如,包括显示系统的便携式设备)和/或系统(例如,计算机系统)中。
[0089] 图7A给出了用于例示电路710的实施例700的框图。这个电路接收与视频图像序列中给定视频图像关联的视频信号712(例如RGB),并输出修改后的视频信号716和用于给定视频图像的光源的强度设置718。应当指出,修改后的视频信号716可以包括用于给定视频图像的至少一部分的缩放亮度值。而且,在有些实施例中,电路710以不同的格式(例如,YUV)接收与视频图像序列中视频图像关联的信息。
[0090] 在有些实施例中,电路710接收可选的亮度设置714。例如,亮度设置714可以是用于光源的用户提供的亮度设置(例如,50%)。在这些实施例中,强度设置718可以是亮度设置714和根据视频图像的亮度值直方图和/或视频图像的亮度值直方图的缩放确定的强度设置(例如,缩放值)的乘积。而且,如果强度设置718减小了对应于可选亮度设置714的因子,则亮度值直方图的缩放(例如,图3中的映射函数310)可以通过该因子的倒数来调整,使得直方图中峰值和强度设置718的乘积是近似恒定的。这种基于可选亮度设置
714的补偿可以防止在显示视频图像时引入视觉假象。
[0091] 而且,在有些实施例中,强度设置的确定是基于一个或多个可选输入,包括:可以接受的变形度量、功率节约目标、与显示器关联的灰度校正(更一般地说是与显示器关联的饱和推进(boost)因子)、对比度提高因子、要缩放的视频图像的部分(及由此亮度值直方图的部分)和/或过滤时间常数。
[0092] 图7B给出了用于例示电路740的实施例730的框图。这个电路包括接收与视频图像关联的视频信号712的接口(未示出),该接口电耦合到:可选的变换电路742-1、提取电路744及调整电路748。应当指出,例如利用一个变换614(图6A),可选的变换电路742-1可以将视频信号712转换到线性亮度域。而且,应当指出,在有些实施例中,电路740可选地接收亮度设置714。
[0093] 提取电路744基于至少一些视频信号,例如基于至少一部分视频图像,计算一个或多个度量,例如饱和度值和/或亮度值的直方图。在示例实施例中,该直方图是针对整个视频图像确定的。
[0094] 然后,由分析电路746分析这些一个或多个度量,以识别视频图像的一个或多个子集。例如,给定图像的图画和/或非图画部分可以基于亮度值直方图的关联部分来识别(如以下参考图8A和8B进一步描述的)。通常,视频图像的图画部分包括空间变化的可视信息,而非图画部分包括视频图像的剩余部分。在有些实施例中,分析电路746用于确定视频图像中图画部分的大小。此外,在有些实施例中,分析电路746用于识别视频图像的非图画部分中的一个或多个字幕(如以下参考图8A所描述的)和/或视频图像中包括饱和颜色的部分。
[0095] 更一般地,分析电路746可以用于识别视频图像中亮度值小于阈值的任意部分(例如,图画部分和/或非图画部分中的像素)(如以下参考图8A和8B进一步描述的)。但是,如先前指出的,在有些实施例中,视频图像的非图画或任意部分可能无需识别。相反,视频图像的非图画或任意部分可以利用可选变换电路742中的变换(例如,图6A中的变换
614-2和图6B中的660-2)来缩放,如以下参考图8A和8B进一步描述的。此外,在视频信号要显示在包括与白色过滤器关联的像素和与附加颜色过滤器关联的像素的显示器上的实施例中,分析电路746可以根据饱和度值识别与白色过滤器关联的像素。
[0096] 利用与视频图像的一个或多个子集关联的一个或多个度量(例如,直方图)的部分,调整电路748可以确定视频图像部分的缩放,及由此确定一个或多个度量的缩放。例如,调整电路748可以确定用于视频图像的映射函数310(图3),并可以根据这个映射函数缩放视频信号中的亮度值。然后,缩放信息可以提供给强度计算电路750,该电路利用这个信息逐图像地确定光源的强度设置718。如前面指出的,在有些实施例中,这种确定也基于可选的亮度设置714。而且,输出接口(未示出)可以输出修改后的视频信号716和/或强度设置718。应当指出,在有些实施例中,视频图像包括一个或多个字幕,而且非图画部分中与字幕关联的像素的亮度值可以在缩放非图画部分的过程中不改变(如以下参考图8A进一步描述的)。但是,与一个或多个字幕关联的像素的亮度值可以按照与视频图像图画部分中像素亮度值相同的方式缩放。
[0097] 在示例实施例中,视频图像的非图画部分包括一个或多个黑线以及/或者一个或多个黑条(为了简化,下文中称为黑条)。黑条常常以最小亮度值(例如,1.9尼特)显示,这与显示系统中的漏光关联。但是,这个最小值可能不能提供足够的净空高度,以允许修改所显示视频图像从而掩饰背光的脉动。
[0098] 由此,在有些实施例中,可选的黑像素调整或补偿电路752用于调整视频图像非图画部分的亮度。视频图像非图画部分的新亮度值提供用于衰减与视频图像的显示关联的噪声(例如,与背光脉动关联的噪声)的净空高度。特别地,显示器现在可以具有倒置级,利用其来抑制与脉动关联的漏光。但是,如前面指出的,在有些实施例中,代替校正视频图像的非图画部分(例如,一个或多个黑条),电路740可以利用可选的变换电路742对视频图像的任意部分(例如,视频图像的暗区域)实现这种缩放。
[0099] 在示例实施例中,位于视频图像任意位置处的一个或多个黑条或暗区域的灰度级值可以从0增加到6-10(相对于最大值255)或者亮度增加至少每平方米1坎德拉。与典型显示系统中显示器的灰度校正和漏光一起,这种调整可以将一个或多个黑条或暗区域的亮度增加大约2的因子,这表示黑条或暗区域的亮度和背光脉动察觉之间的折中。
[0100] 在有些实施例中,电路740包括可选的颜色补偿电路754。这种颜色补偿电路可以调整视频信号的颜色内容,以补偿或校正照射将显示视频图像的显示器的光源(例如,LED)的频谱中的变化。特别地,如果该频谱取决于由强度计算电路750所确定的强度设置,则颜色内容可以调整成维持白色。更一般地,这种技术可以用于维持任意颜色。应当指出,这种颜色补偿还可以在显示器包括白色过滤器和附加颜色过滤器的实施例以及在与白色过滤器关联的像素是基于至少这些像素中一些的颜色饱和度有选择地调整(例如,在白色值范围上)的实施例中应用。
[0101] 在输出修改后的视频信号716之前,可选的变换电路742-2可以将视频信号转换回初始(非线性)亮度域,该亮度域的特征为亮度值范围对应于所显示的视频图像中非等距相邻的辐射功率值。可选地,可选的变换电路742-2可以将修改后的视频信号716转换到另一个亮度域,该亮度域的特征为亮度值范围对应于所显示视频图像中非等距相邻的辐射功率值。但是,例如利用一个变换660(图6B),这种变换可以基于显示器的特征,例如显示器的泄漏级和/或与显示器关联的灰度校正。
[0102] 而且,在有些实施例中,电路740包括可选的过滤器/驱动器电路758。这个电路可以用于过滤、平滑和/或平均视频图像序列中相邻视频图像之间的强度设置718中的变化。这种过滤可以提供系统的松弛不足(under-relaxation),由此一个图像一个图像地限制强度设置718中的变化(例如,在几个帧上将变化展开)。此外,过滤可以用于应用先进的时间性过滤,以便减小或消除闪变假象和/或者通过掩饰或消除这种假象来方便大的功率减少。在示例实施例中,由可选的过滤器/驱动器电路758实现的过滤包括低通过滤器。而且,在示例实施例中,过滤或平均是在视频的2、4或10个帧上。应当指出,基于强度设置中变化的方向和/或强度设置中变化的幅值,与过滤关联的时间常数可以不同。
[0103] 在有些实施例中,可选的过滤器/驱动器电路758从数字控制值映射到驱动LED光源的输出电流。这种数字控制值可以有7或8位。
[0104] 应当指出,过滤可以不对称地取决于变化的符号。特别地,如果强度设置718对视频图像减小,则这可以利用衰减机构114(图1)实现,而不产生视觉假象,其代价是对一些视频图像有稍高的功耗。但是,如果强度设置718对视频图像增加,则在强度设置718中的变化没有过滤掉的情况下就会发生视觉假象。
[0105] 当确定视频信号的缩放时,这些假象可能发生。想起强度设置718可以基于这种缩放来确定。但是,当应用过滤时,缩放可能需要基于从过滤器/驱动器电路758输出的强度设置718来修改,这是因为在缩放的计算和强度设置718的相关确定之间可能有不匹配。应当指出,这些不匹配可能与部件不匹配、缺少预测能力和/或非线性度关联。因此,过滤可以减少对与这些不匹配所关联的视频图像缩放中的误差所关联的视觉假象的察觉。
[0106] 应当指出,在有些实施例中,如果强度设置718中有大的变化,例如与从电影中一个场景转变到另一个场景关联的变化,则有选择地调整过滤。例如,如果相邻视频图像之间亮度值直方图中的峰值增加50%,则过滤可以有选择地调整。这在以下参考图10进一步描述。
[0107] 在有些实施例中,电路740使用前馈技术来使强度设置718和与要显示的当前视频图像关联的修改后的视频信号716同步。例如,电路740可以包括一个或多个可选的延迟电路756(例如,存储器缓冲器),该延迟电路延迟修改后的视频信号716和/或强度设置718,由此同步这些信号。在示例实施例中,延迟至少与和视频图像关联的时间间隔一样长。
[0108] 应当指出,在有些实施例中,电路710(图7A)和/或740包括更少或附加的部件。例如,电路740中的功能可以利用可选的控制逻辑760来控制,而该控制逻辑可以使用存储在可选存储器762中的信息。在有些实施例中,分析电路746连带地确定视频信号的缩放和光源的强度设置,然后将其分别提供给调整电路748和强度计算电路750以用于实现。
[0109] 而且,两个或更多个部件可以合并成单个部件和/或一个或多个部件的位置可以改变。在有些实施例中,电路710(图7A)和/或740中的有些或全部功能是在软件中实现的。
[0110] 现在将进一步描述根据本发明实施例的对视频图像的图画和非图画部分的识别。图8A给出了用于例示视频图像800的图画部分810和非图画部分812的实施例的框图。如前面指出的,非图画部分812可以包括一个或多个黑线以及/或者一个或多个黑条。但是,应当指出,非图画部分812可以是或者可以不是水平的。例如,非图画部分812可以是垂直的。
[0111] 视频图像的非图画部分812可以利用所关联的亮度值直方图来识别。这在图8B中示出,图8B给出了用于例示视频图像中的亮度值直方图的实施例的图830,该图绘制成作为亮度值840的函数的计数个数842。这种直方图可以具有小于预定值的亮度值最大值844,及小于另一个预定值的值范围846。例如,最大值844可以是灰度级值20,或者对于
2.2的摄像机或成像设备灰度校正是最大亮度值0.37%的亮度值。
[0112] 在有些实施例中,视频图像的一个或多个非图画部分812(图8A)包括一个或多个字幕(或者,更一般地说,覆盖的文字或字符)。例如,字幕可以动态生成并与视频图像关联。而且,在有些实施例中,部件(例如,图7A中的电路710)可以将字幕与初始的视频图像混合,以产生视频图像。此外,在有些实施例中,字幕被包括在由部件接收的视频图像中(例如,字幕已经嵌入到视频图像中)。
[0113] 继续图8A的讨论,字幕814可以出现在非图画部分812-2中。当调整非图画部分812-2的亮度时,对应于字幕814的像素的亮度可以不变,由此保持字幕814中想要的内容。
特别地,如果字幕814具有大于阈值或最小值的亮度,则视频图像中的对应像素已经具有足够的净空高度来衰减与视频图像显示关联的噪声,例如与背光脉动关联的噪声。由此,这些像素的亮度可以保持不变或者可以以与图画部分810中像素相同的方式修改(如果需要的话)。但是,应当指出,与字幕814关联的像素的亮度值可以以与视频图像图画部分810中像素的亮度值相同的方式缩放。
[0114] 在有些实施例中,对应于非图画部分812-2的剩余部分的像素是基于视频图像的非图画部分中小于阈值的亮度值来识别的。在对应于视频图像的视频信号的时间数据流中,这些像素可以逐个地被重写,以调整其亮度值。
[0115] 而且,阈值可以与字幕814关联。例如,如果字幕814动态生成和/或与初始视频图像混合,则与字幕814关联的亮度和/或颜色内容可以是已知的。由此,阈值可以等于或者相关于字幕814中像素的亮度值。在示例实施例中,字幕814中的符号可以具有两个亮度值,而且阈值可以是这两个值中较小的那个。可选地或者附加地,在有些实施例中,部件被配置成识别字幕814并且配置成确定阈值(例如,基于亮度值的直方图)。例如,阈值可以是最大值255中的灰度级180。应当指出,在有些实施例中,代替亮度阈值,存在与视频图像中颜色内容(或者颜色分量)关联的三个阈值。
[0116] 更一般地,在对视频图像的分析与最终缩放过程中,所有黑色的像素或暗区域都可以以相同的方式处理(相对于不同地处理非图画部分812中的黑色像素)。这包括视频图像的图画部分810中的暗区域816。应当指出,这种技术可以以通用的方式为图像中的暗区域提供净空高度,由此减小或消除与低亮度值处的漏光关联的噪声。
[0117] 如图8B所示,小于最小值848的亮度值在显示视频图像时可能观察不到,例如因为显示器中的漏光。由此,逐帧地,这提供了减小功耗和/或提高暗帧中对比度的机会。特别地,如果用于暗区域816(图8A)或视频图像的亮度值最大值844低于最大允许亮度值或阈值,则暗区域816(图8A)或视频图像中的亮度值可以缩放且光源的强度设置可以减小,这使得视频图像中的暗区域更暗,由此提高对比度。
[0118] 在有些实施例中,阈值是根据诸如亮度值直方图的度量逐帧地动态确定的。此外,缩放可以逐像素地执行。例如,初始亮度值小于阈值的像素的亮度值可以被缩放。
[0119] 在缩放后,最大亮度值可能大于最大值844。例如,新最大亮度值和最大值844之间的差值可以是至少每平方米1坎德拉。这种缩放可以减少视频图像中与显示该视频图像的显示器的背光关联的用户察觉变化(例如,它可以提供允许与背光脉动关联的噪声被衰减的净空高度)。
[0120] 可选地,所有黑色像素或暗区域都可以以与视频图像中剩余像素相同的方式处理。特别地,视频图像中任意位置处的暗区域可以缩放,以减小或消除视频图像的变换或转换过程中与背光或脉动关联的噪声。例如,与给定显示器中低亮度值处的漏光关联的偏移可以被包括在视频图像从初始亮度域到线性亮度域的变换(例如,利用图6A中的变换614-2)中,以及在修改后视频图像从线性亮度域到其它亮度域的变换(例如,利用图6B的变换660-2)中。应当指出,尽管这种可选方法可以减小或消除与背光或脉动关联的噪声,但它可能不能提高暗区域的对比度(除非当减小强度设置时调整图6A中的偏移616-1)。
[0121] 在前面的讨论中,光源除强度之外的特征已经被假设为不受强度设置中改变的影响。但是,对于有些光源来说,这是不正确的。例如,LED的频谱会随驱动LED的电流幅值的调整而改变。
[0122] 这在图9中得以例示,图9给出了用于例示作为波长倒数910函数的光源的发射频谱912的图900。如果强度设置减小,则频谱中有偏移914。例如,对于白色LED,强度设置减小因子3可能导致发射频谱912中4至10nm的黄色偏移。发射频谱912中的这种变化是与带填充关联的带隙变化的结果。它对应于对应黑体温度中大约300K的变化,这是人眼可以注意到的。而且,作为偏移914的结果,视频图像中颜色内容和发射频谱912的组合不产生恒定的灰度级。
[0123] 在有些实施例中,在确定视频图像中的强度设置和/或亮度值的缩放后,调整视频图像的颜色内容,以校正这种效果。例如,根据给定光源的发射频谱912对强度设置的依赖性,(RGB格式中的)蓝色分量可以增加,以校正当强度设置减小时发射频谱912的变黄(例如,颜色内容可以基于给定光源的特征调整)。在线性亮度域中,偏移914可以导致白色中5%的变化。由此,在逆变换到其它亮度域之后,颜色内容中必要的调整可能是大约2.5%。
[0124] 以这种方式,整体的白色可以不变。例如,白色可以维持在与强度设置改变之前视频图像的颜色关联的对应黑体温度的大约100K或200K内。而且,颜色内容可以被调整为使得与视频图像关联的颜色值和发射频谱912的乘积导致视频图像近似不变的灰度级。
[0125] 应当指出,对视频图像中颜色内容的调整可以利用比率(例如,RGB格式中的R/G和G/B比率)推广到任何颜色。而且,在有些实施例中,相对于改变驱动LED的电流的幅值,通过利用占空比调制(例如,脉宽调制)来调整光源的强度,避免或减小对发射频谱912的改变。
[0126] 此外,颜色内容的调制可以(例如,在图5的变换514之后)在初始亮度域或线性亮度域中执行。应当指出,颜色调整可以逐像素地执行。
[0127] 在前面的讨论中,该技术独立于显示器的分辨率和/或面板尺寸。但是,在有些移动产品中,显示器具有高分辨率(例如,高dpi)和小的面板尺寸。而且,除了具有与一个或多个附加颜色过滤器关联的像素之外,这些显示器中的一些对有些像素还添加了白色过滤器(例如,通过对这些像素消除颜色过滤器)。这种配置可以方便实现更高的透射率(及,一般地说,更低的功耗)。
[0128] 原理上讲,白色过滤器的存在可以使视频图像中的颜色变淡。但是,这通常仅仅是对颜色饱和的那些像素而言。在这种情况下,与视频图像的颜色饱和区域中白色过滤器关联的像素可以有选择地调整,且光源的强度设置可以基于有选择调整的像素来增加。应当指出,对与白色过滤器关联的像素中的至少一些的选择性调整可以是在一个值范围上和/或可以是离散的(例如,禁用或使能至少一些像素)。如前面所讨论的,对于有些光源(例如,LED),强度设置中的这种改变会导致发射频谱912中的蓝色偏移。此外,选择性调整可能导致视频图像的颜色内容中的变化。
[0129] 由此,在包括这种类型显示器的实施例中,视频图像的至少饱和部分中的颜色内容可以适当地修改(例如,蓝色分量可以减少),以便对这些效果中的任何一个或者两个进行校正。特别地,颜色分量的调整可以校正光源的发射频谱912对强度设置的依赖性,并且/或者可以校正与对和白色过滤器关联的像素进行的选择性调整关联的颜色内容改变。应当指出,颜色内容的修改可以基于至少一部分视频图像中的颜色饱和度。
[0130] 再次,颜色内容可以修改成维持整体的白色(例如,维持到与强度设置改变之前视频图像的颜色关联的对应黑体温度的大约100K或200K之内)和/或导致视频图像近似不变的灰度级。而且,视频图像中颜色内容的调整可以逐像素地执行。
[0131] 与这种技术关联的一个挑战会在用户浏览网页时发生。特别地,尽管文字一般不是个问题,但是当用户观看标志时(该标志一般是高度颜色饱和的),有些白色像素将关闭(turn off)且光源的强度设置将增加。当这些调整发生时,网页上白色背景的可察觉到的颜色需要不变(通常,用户对于白色背景中的变化是非常敏感的)。但是,因为有时候难以匹配分量,所以当突然进行强度设置的调整时,白色背景中会发生大到3%的亮度变化(或闪动)(用户将会注意到这种变化)。
[0132] 在有些实施例中,这种挑战是利用帧缓冲器和预见进一步的调整来解决的。以这种方式,在显示标志或颜色饱和区域之前,强度设置可以更慢地调整(例如,可以是预先调整的)。例如,即使用户仅仅观看网页的子集,完整的网页也可以存储在存储器中。于是,可以预测移动方向(例如,利用移动估计),以确定(将来)什么时候会出现高度饱和颜色的区域,并跨与该网页关联的视频图像序列的至少子集使用这种信息通过递增地对强度设置应用变化来掩饰亮度值中的跳变。在示例实施例中,其中30-50个帧以60帧/秒的速度被观看,光源的强度设置可以在0.5秒内(相对于在1秒钟的1/20至1/60内)调整。应当指出,通过使用这种方法并结合前面的技术,即使当给定视频图像中的背景是白色时,也会减少功耗,同时不产生假象。
[0133] 现在进一步描述根据本发明实施例的视频图像序列中强度设置718(图7A和7B)的过滤。图10给出了用于例示针对所接收的视频图像序列(在视频信号的任何缩放之前)的视频图像1010的亮度值直方图实施例的一序列图1000,所述直方图被绘制成作为亮度值1012函数的计数个数1014。过渡1016指示相对于针对视频图像1010-2的直方图针对视频图像1010-3的直方图中亮度峰值中的大变化。如前面所描述的,在有些实施例中,当发生这种大变化时,禁用强度设置718(图7A和7B)的时间性过滤,由此允许完整的亮度变化显示在当前的视频图像中。
[0134] 在有些实施例中,对强度设置的改变和亮度值的缩放可以机会性地应用。如果有大的变化和/或缩放,用户可以察觉到的视觉假象(例如闪动)可能发生,则这可能是有用的。例如,具有变化背景的给定视频图像的前景中的面部在背景变化时可能呈现出闪动,尤其是当背景变亮时,因为在这种情况下与背光强度设置中的变化关联的过渡时间常量可能是非常短的。
[0135] 为了解决这一挑战,亮度度量(例如,具有64格(bin)或亮度值间隔的亮度值直方图)可以针对视频图像序列中的每个视频图像确定(例如,在至少1帧前馈体系结构中),而且可以分析所得亮度度量,以识别用于两个相邻的视频图像(例如,视频图像1010-2和1010-3)的亮度度量中有不连续的位置(例如,过渡1016)。例如,这种不连续包括亮度值直方图的最大亮度值中超过预定值的变化,例如1-10%的变化。这种不连续可能与视频图像序列中的内容变化(例如,场景变化)关联。通过在这些位置机会性地对强度设置应用改变和缩放亮度值,用户可能不会察觉到视觉假象,因为闪动将被内容的变化掩饰。
[0136] 在示例实施例中,当对于大部分亮度值间隔而言用于相邻视频图像的直方图中的变化大时,有可能存在场景变化。这种场景变化可以通过定义告诉我们直方图作为时间函数变化了多少的度量来确定。例如,当给定亮度值间隔中的变化大于预定值时,这个间隔可以被定义为具有“实质变化”的间隔。直方图中不连续性的一种指示(或者度量)可以通过计数具有实质变化的亮度值间隔的个数来确定。直方图中不连续性的另一种指示(或者度量)可以是具有实质变化的亮度值间隔子组中的平均变化。
[0137] 这种技术可以一般化,因为中等灰度和明亮剪辑值会在引起闪动中扮演不同的角色。由此,在更精调的方法中,对于每个亮度值间隔可以有不同的阈值,或者权重因子(缩放因子)可以在计算平均值之前或者在计数间隔之前应用到每个亮度值间隔。
[0138] 在(没有权重因子的)示例实施例中,用于给定视频图像的直方图可以利用64个亮度值间隔来确定。如果多于例如一半的这些亮度值间隔具有实质变化,则在用于相邻视频图像的直方图之间可能存在不连续性(即,用于给定视频图像的直方图可能与前一个视频图像的直方图有显著变化)。在另一种实施例中,用于给定视频图像的直方图可以利用3-5个更大的亮度值间隔来确定。如果至少除一个之外的所有这些亮度值间隔都具有实质变化,则直方图将被认为具有强变化。
[0139] 对不连续性的机会性调整可以单独地或者与例行调整一起使用,其中的例行调整即使在没有不连续性的时候也应用到视频图像序列中的给定视频图像。例如,强度设置中的一部分改变和关联的亮度值的缩放可以利用系统的松弛不足(这可以通过例如图7B中可选过滤器/驱动器电路758的时间性过滤器实现)应用到给定视频图像。而且,当有不连续性时,时间性过滤器的时间常量可以改变(例如,它可以减小),使得强度设置中更大的变化和亮度值的缩放可以应用到后续的视频图像。以这种方式,相邻视频图像之间强度设置和/或亮度值缩放中的差别可以小于另一个预定值(例如,10%、25%或50%),除非这些视频图像之间有不连续性,在有不连续性的情况下强度设置和/或亮度值缩放中的差别可以大于该另一个预定值。
[0140] 应当指出,用于背光强度设置中变化的过渡时间常量可以是自适应的。此外,该过渡时间常量可以依赖于变化的方向(例如,从暗到亮)和/或强度设置变化的幅值。例如,对于60Hz的视频流水线,当强度设置增加时,该过渡时间常量可以在0到5帧之间,而当强度设置减小时,可以在8到63帧之间。此外,应当指出,针对背光强度设置的过渡时间常量还可以是针对给定视频图像中像素的亮度值的缩放的时间常量,这是因为像素的亮度值可以与强度设置同步修改。
[0141] 在示例实施例中,与用于给定视频图像的直方图中的变化关联的度量,例如具有实质变化的亮度值间隔的个数,可以用于确定过渡时间常量。应当指出,如果在视频图像序列中存在变化,则分析电路746(图7B)可以确定背光的强度设置可以改变。但是,当确定新的强度设置时,调整电路748(图7B)可能更会受直方图较亮部分或者直方图形状的影响。
[0142] 而且,强度设置中更大的变化可以与或者不与亮度值直方图中的大变化一起发生。这两种情况可以利用前面提到的指示符或度量(即,对亮度值直方图的分析)来区分。因此,即使当相邻视频图像之间亮度值直方图中有实质变化时或者当亮度值直方图中有小(或轻微)变化时新的强度设置近似地相等,针对这两种情况也可以采用不同的过渡时间常量(例如,当有实质变化时,过渡时间常量可以较小)。
[0143] 总的来说,过渡时间常量可以是一个或多个直方图变化度量或指示符的单调函数(例如,简单的逆函数)。例如,当直方图中有大变化时过渡时间常量可以较短,反之亦然。
[0144] 在有些实施例中,可以针对一部分或者全部给定的视频图像计算误差度量。这种误差度量可以用于评估强度设置和/或亮度值缩放的确定改变(例如,在已经确定这些调整之后)。例如,误差度量可以利用图7B中的分析电路746来确定。可选地,误差度量可以在对强度设置和/或亮度值缩放进行改变的同时计算。由此,在有些实施例中,对强度设置和/或亮度值缩放的改变是至少部分地基于该误差度量而确定的。
[0145] 特别地,误差度量可以基于缩放的亮度值和(在亮度值缩放之前)给定的视频图像,而且可以在给定视频图像中逐像素地确定。例如,给定像素对误差度量的贡献可以对应于缩放后亮度值与缩放前初始亮度值之比。应当指出,一般来说,这个比值大于或等于1。而且,如果这个比值大于1,则在缩放确定过程中,对应给定像素存在误差。
[0146] 应当指出,这种误差度量可以用于(例如,在反馈循环中)确定与给定视频图像关联的调整(例如,亮度值的缩放)是否可能导致当显示该给定视频图像时的变形或者用户可以察觉到的视觉假象。例如,当用于给定视频图像的平均误差度量超过附加的预定值(例如,1)时,可以确定至少一部分视频图像中降低的对比度或者细节的损失。如果是,则至少一些亮度值的缩放和/或对强度设置的改变可以减小(例如,利用图7B的调整电路748)。而且,亮度值缩放的这种减小可以逐像素地执行。
[0147] 在有些实施例中,在视频图像中存在其中来自每个像素的贡献超过附加预定值的区域。例如,该区域可以包括被亮度值小于阈值(例如,相对于线性空间中最大值1为0.5-0.8的亮度值)的像素包围的亮度值超过该阈值的像素。这个区域可能容易变形,例如当亮度值缩放时与减小的对比度关联的变形。为了减小或者阻止这种变形,这个区域中亮度值的缩放可以减小。例如,该减小可以至少部分地恢复区域中的对比度。
[0148] 应当指出,在有些实施例中,这种区域可以不计算误差度量或者结合误差度量利用附加度量来识别。例如,如果其具有一定数量的亮度值超过阈值的像素(例如,视频图像中像素数量的3%、10%或20%),则可以识别出该区域。可选地,具有亮度值超过该阈值的像素的区域可以通过该区域的特定大小来识别。
[0149] 而且,如果亮度值的缩放减小,则给定的视频图像可以空间地过滤,以减小区域中像素的亮度值与给定视频图像剩余部分的亮度值之间的空间不连续性。
[0150] 在示例实施例中,用于缩放亮度值的映射函数(例如图3的映射函数310)具有两个斜率(例如图3中的斜率316)。一个斜率与暗的和中间灰度像素关联,而另一个减小的斜率(例如,1/3)是针对具有明亮输入亮度值的像素(在缩放之前)。在缩放后,应当指出,与减小的斜率关联的像素的对比度也减小了。通过对一部分视频图像(例如,所述区域)应用局部对比度增强,视觉假象的用户察觉可以减小或消除。例如,对帧的空间处理可以用于局部恢复应用到区域中像素的映射函数中的初始斜率。由此,对于给定的视频图像,可能有多于一个映射函数。此外,可以应用空间过滤,以确保与一个映射函数关联的像素和与另一个映射函数关联的像素之间的中间状态的平滑过渡。
[0151] 应当指出,局部对比度增强可以是小比例的局部对比度增强,例如边缘锐化(其中,空间处理在一些像素的附近或者相邻像素执行),或者可以是小区域的局部对比度增强(它可以是较大的比例,但与给定视频图像的大小相比仍然是小的)。例如,这种较大比例的局部对比度增强可以在包括小于给定视频图像中像素计数的1%至20%的区域上执行。
[0152] 这种局部对比度增强可以按照几种方式实现。一般地,在给定像素的亮度值与辐射功率值成比例的线性空间中执行计算。在一种实现中,与映射函数中减小的斜率关联的像素可以识别出来。接下来,模糊函数(例如,高斯模糊)可以应用到这些像素。在有些实施例中,在应用这种模糊函数之前,确认这些像素具有大于1的(与亮度值缩放关联的)可缩放值,或者,确定其中这些像素的可缩放值大于或等于1的中间视频图像。
[0153] 然后,可以确定另一个中间视频图像(在内部处理中使用)。这个中间图像在模糊区域中具有大于1的可缩放值,且在给定视频图像的剩余部分具有等于1的可缩放值。
[0154] 而且,初始视频图像可以被该另一个中间视频图像分开。在给定视频图像的大多数部分中,将是用1来分(即,相对于原始视频图像,没有变化)。由此,原始视频图像的区域中的亮度值将减小,且新版视频图像的总亮度范围也减小(例如,相对于原始视频图像中的0至1,像素亮度值范围是0到0.8)。应当指出,如果正确地选择了模糊函数,则尽管有压缩,但区域中的局部对比度几乎不变。
[0155] 已经确定了具有减小的亮度值范围的新版的给定视频图像,所以可以选择亮度范围中的减小量。如果目的是以例如因子1.5减小背光的强度设置,则新版给定视频图像中亮度值的范围将比1(像素的最大亮度值)小1.5倍。由此,在这个例子中,新版给定视频图像中最亮点的亮度值是1/1.5。通过使用这种技术,局部对比度可以在给定视频图像中几乎每个地方察觉到。尽管全局对比度可能轻微减小,但全局对比度中以因子1.5的减小对于人眼是非常小的影响。
[0156] 应当指出,在有些实施例中,亮度值的范围是通过缩放整个视频图像而不是局部处理来减小的。但是,在这种情况下,局部对比度可能在整个视频图像中受影响,而不仅仅是在所述区域中。
[0157] 接下来,新版视频图像可以用作到另一个映射函数的输入,该映射函数与已经应用到给定视频图像的映射函数不同。这另一个映射函数可能不具有减小的斜率。例如,该另一个映射函数可以以因子1.5缩放所有像素的亮度值。由此,该另一个映射函数可以是斜率为1.5的线性函数。因此,输出的视频图像可以对除该区域中像素之外的所有像素增加亮度值,这将允许背光的强度设置以1.5的因子减小。
[0158] 总之,在这种实现中,几乎所有像素都维持初始视频图像中的亮度值。而且,尽管所述区域中像素的亮度值没有维持,但这个区域中的局部对比度得到了维持。
[0159] 在对这种实现的变型中,使用更通用的方法。特别地,全局对比度可以不仅对具有高亮度值的像素而且同等地对所有像素都减小。在处理中,局部对比度将保持。用于降低全局对比度(例如,以因子1.5降低)而不影响局部对比度的广泛多种技术在本领域中都是已知的。
[0160] 在这个操作后,所得视频图像可以例如以因子1.5缩放。因此,给定视频图像中像素的亮度值的平均值将增加或缩放,这允许背光的强度设置减小。应当指出,尽管给定的视频图像将(整体上)具有更高的亮度值,但局部对比度将近似地不受影响。
[0161] 在另一种实现中,识别与映射函数中减小的斜率关联的像素。接下来,锐化技术可以应用到这些像素。例如,锐化技术可以包括:所谓的“不锐化过滤器”(它使边缘更明显)、矩阵内核过滤、去卷积和/或一种类型的非线性锐化技术。在对比度增强后,映射函数可以应用到这些像素,在那里提高的边缘对比度将减小到类似于视频原始图像中的水平。
[0162] 应当指出,锐化技术或者更一般地说局部对比度增强可以在应用映射函数之前被应用到这些像素。这可以提高数字分辨率。但是,在有些实施例中,锐化技术可以在映射函数被应用到所识别出的像素之后应用到这些像素。
[0163] 总之,在这种实现中,尽管背光的强度设置有因子1.5的减小,但给定视频图像中所有像素的亮度值都得到了维持。尽管区域中像素的亮度值没有维持,但边缘对比度在这个区域中得到了维持。
[0164] 在还一种实现中,不是使用针对给定视频图像的一个或多个固定映射函数,而是可以使用空间变化的映射函数,原理上讲,其中每个像素都可以具有其自己关联的映射函数(例如,局部依赖映射函数是x,y及输入像素亮度值的函数)。而且,可能有与区域关联的像素和与给定视频图像剩余部分关联的像素。这两组像素是不可分的。特别地,通过位置依赖的映射函数,在它们之间可以有中间状态的平滑过渡。
[0165] 应当指出,位置依赖映射函数的意图是保持与给定像素的相邻像素关联的斜率大约为1。以这种方式,局部对比度没有减小。除边界或区域中像素和剩余部分中像素之间的过渡之外,对于所有其它像素(即,给定视频图像中90%的像素),位置依赖映射函数可以与(固定)映射函数相同。关于输入像素的亮度值,这种过渡通常是不单调的。但是,关于x和y,这种过渡是平滑的,即,连续的。
[0166] 现在描述根据本发明实施例的与上述技术关联的处理。图11A给出了用于例示可以由系统执行的用于调整视频图像的处理1100的流程图。在操作过程中,这个系统补偿视频图像中的灰度校正,以便产生亮度值和视频图像在显示时的关联辐射功率之间的线性关系(1110)。例如,在补偿后,视频图像中亮度值的域可以包括对应于所显示视频图像中基本等距相邻的辐射功率值的亮度值范围。
[0167] 接下来,该系统根据至少一部分补偿的视频图像计算光源的强度设置(1112),其中光源被配置成照射配置成显示视频图像的显示器。然后,系统调整补偿后的视频图像,使得强度设置和与调整后视频图像关联的透射率的乘积近似地等于先前强度设置和与视频图像关联的透射率的乘积(1114)。
[0168] 图11B给出了用于例示可以由系统执行的用于调整视频图像中像素亮度的处理1120的流程图。在操作过程中,这个系统补偿视频图像中的灰度校正,以便产生亮度值和视频图像在显示时的关联辐射功率之间的线性关系(1122),其中补偿包括与显示器中漏光关联的最小亮度处的偏移,其中的显示器配置成显示视频图像。例如,在补偿后,视频图像中亮度值的域可以包括对应于所显示视频图像中基本等距相邻的辐射功率值的亮度值范围。
[0169] 接下来,该系统根据至少一部分补偿的视频图像计算光源的强度设置(1124),其中光源配置成照射显示器。然后,系统调整补偿后的视频图像,使得强度设置和与调整后视频图像关联的透射率的乘积近似地等于先前强度设置和与视频图像关联的透射率的乘积(1114)。
[0170] 在示例实施例中,缩放视频图像的任意部分中的亮度值小于阈值或亮度值接近最小亮度值的像素。这种缩放可以减小对与光源的脉动关联的噪声的用户察觉。例如,新的亮度值可以提供用于衰减或减小这种噪声察觉的净空高度。
[0171] 图11C给出了用于例示可以由系统执行的用于调整视频图像的处理1140的流程图。在操作过程中,这个系统接收视频图像(1142),并根据至少一部分视频图像确定光源的强度设置(1150),其中光源配置成照射配置成显示视频图像的显示器。接下来,该系统修改至少一部分视频图像中像素的亮度值,以维持强度设置和与修改后视频图像关联的透射率的乘积(1152)。然后,系统根据强度设置调整视频图像中的颜色内容,以便即使当与光源关联的频谱随强度设置变化时也能维持与视频图像关联的颜色(1154)。
[0172] 图11D给出了用于例示可以由系统执行的用于调整视频图像的处理1160的流程图。在操作过程中,这个系统接收视频图像(1142)。接下来,该系统连带地修改至少一部分视频图像中像素的亮度值和光源的强度设置,以便在减小光源功耗的同时维持来自显示器的光输出(1170),其中光源配置成照射配置成显示视频图像的显示器。然后,系统调整视频图像中的颜色内容,以校正光源频谱对强度设置的依赖性(1172)。
[0173] 在示例实施例中,颜色调整是基于光源的特征(例如,频谱对强度设置的依赖性)。此外,颜色特征可以维持白色。例如,颜色可以调整成使得与视频图像关联的颜色值和频谱的乘积导致对视频图像近似不变的灰度级。而且,白色可以维持在与强度设置改变之前视频图像的颜色关联的对应黑体温度的100K或200K内。在有些实施例中,颜色调整可以包括当强度设置相对于先前的强度设置减小时增加视频图像中的蓝色分量,还可以包括当强度设置相对于先前的强度设置增加时减少视频图像中的蓝色分量。
[0174] 图11E给出了用于例示可以由系统执行的用于调整视频图像的处理1180的流程图。在操作过程中,这个系统接收包括视频图像的视频图像序列(1188),并可选地分析该视频图像序列(1190),包括确定至少一部分视频图像的颜色饱和度。接下来,该系统根据颜色饱和度预测当要显示视频图像时配置成照射显示器的光源的强度设置的增加(1192)。
[0175] 然后,该系统根据颜色饱和度有选择地调整视频图像中与白色过滤器关联的像素(1194)。应当指出,配置成显示视频图像的显示器包括与一个或多个附加颜色过滤器关联的像素和与白色过滤器关联的像素。
[0176] 在有些实施例中,该系统可选地根据有选择调整的像素确定光源的强度设置(1196)。而且,该系统跨至少视频图像序列的子集递增地增加强度设置(1198)。
[0177] 图12A给出了用于例示可以由系统执行的用于调整视频图像的亮度的处理1200的流程图。在操作过程中,这个系统识别与视频图像序列中包括第一视频图像和第二视频图像的相邻视频图像关联的亮度度量中的不连续性(1202)。接下来,该系统确定光源的强度设置的变化,并根据与第二视频图像关联的亮度度量缩放第二视频图像的亮度值(1204),其中光源照亮配置成显示视频图像序列的显示器。然后,该系统改变强度设置并缩放亮度值(1206)。
[0178] 图12B给出了用于例示可以由系统执行的用于调整视频图像亮度的处理1210的流程图。在操作过程中,这个系统接收视频图像序列(1212),并计算与视频图像序列中的视频图像关联的亮度度量(1214)。接下来,该系统确定光源的强度设置,并根据与视频图像序列中的给定视频图像关联的给定亮度度量缩放该给定视频图像的亮度值(1216),其中光源照射配置成显示视频图像序列的显示器。然后,当视频图像序列中两个相邻视频图像之间的亮度度量中存在不连续性时,该系统改变强度设置并缩放亮度值(1218)。
[0179] 图12C给出了用于例示可以由系统执行的用于计算与视频图像关联的误差度量的处理1220的流程图。在操作过程中,这个系统接收视频图像(1222),并计算与视频图像关联的亮度度量(1224)。接下来,该系统确定光源的强度设置,并根据亮度度量缩放视频图像的亮度值(1226),其中光源照射配置成显示视频图像的显示器。然后,该系统根据缩放后的亮度值和接收到的视频图像计算用于该视频图像的误差度量(1228)。
[0180] 图12D给出了用于例示可以由系统执行的用于计算与视频图像关联的误差度量的处理1230的流程图。在操作过程中,这个系统通过改变光源的强度设置来减小功耗,并根据与视频图像关联的亮度度量缩放用于视频图像的亮度值(1232),其中光源照射配置成显示视频图像的显示器。接下来,该系统根据缩放后的亮度值和视频图像计算用于该视频图像的误差度量(1228)。
[0181] 图12E给出了用于例示可以由系统执行的用于调整视频图像中像素亮度的处理1240的流程图。在操作过程中,这个系统接收视频图像(1222),并计算与视频图像关联的亮度度量(1224)。接下来,该系统确定光源的强度设置,并根据亮度度量缩放视频图像的亮度值(1226),其中光源照射配置成显示视频图像的显示器。而且,该系统识别视频图像中亮度值缩放导致与减小的对比度关联的视觉假象的区域(1242)。然后,系统减小该区域中亮度值的缩放,以便至少部分地恢复对比度,由此减小视觉假象(1244)。
[0182] 图12F给出了用于例示可以由系统执行的用于调整视频图像中像素亮度的处理1250的流程图。在操作过程中,这个系统确定光源的强度设置,并根据与视频图像关联的亮度度量缩放视频图像的亮度值(1226),其中光源照射配置成显示视频图像的显示器。接下来,通过至少部分地减小视频图像中亮度值缩放导致与减小的对比度关联的视觉假象的区域中亮度值的缩放,系统恢复该区域中的对比度(1252)。
[0183] 应当指出,在图11A-E和图12A-F中的处理的有些实施例中,可以有附加的或者更少的操作。而且,操作的次序可以改变,并且/或者两个或更多个操作可以合并成单个操作。
[0184] 现在描述用于实现根据本发明实施例的这些技术的计算机系统。图13给出了例示计算机系统1300的实施例的框图。计算机系统1300可以包括:一个或多个处理器1310、通信接口1312、用户接口1314及将这些部件电耦接到一起的一条或多条信号线1322。应当指出,这一个或多个处理单元1310可以支持并行处理和/或多线程操作,通信接口1312可以具有持久的通信连接,而一条或多条信号线1322可以构成通信总线。而且,用户接口1314可以包括:显示器1316、键盘1318和/或指示器1320,例如鼠标。
[0185] 计算机系统1300中的存储器1324可以包括易失性存储器和/或非易失性存储器。更具体而言,存储器1324可以包括:ROM、RAM、EPROM、EEPROM、FLASH、一个或多个智能卡、一个或多个磁盘存储设备和/或一个或多个光存储设备。存储器1324可以存储包括用于处理各种基本系统服务的程序(或一组指令)的操作系统1326,其中的基本系统服务用于执行硬件依赖的任务。存储器1324还可以在通信模块1328中存储通信程序(或一组指令)。这些通信程序可以用于与一个或多个计算机和/或服务器通信,包括关于计算机系统1300远程定位的计算机和/或服务器。
[0186] 存储器1324可以包括多个程序模块(或一组指令),包括:适应模块1330(或一组指令)、提取模块1336(或一组指令)、分析模块1344(或一组指令)、强度计算模块1346(或一组指令)、调整模块1350(或一组指令)、过滤模块1358(或一组指令)、亮度模块1360(或一组指令)、变换模块1362(或一组指令)和/或颜色补偿模块1364(或一组指令)。适应模块1330可以监查对强度设置1348的确定。
[0187] 特别地,提取模块1336可以根据一个或多个视频图像1332(例如,视频图像A1334-1和/或视频图像B 1334-2)计算一个或多个亮度度量(未示出),而分析模块1344可以识别出一个或多个视频图像1332的一个或多个子集。然后,调整模块1350可以确定和/或使用一个或多个映射函数1366来缩放一个或多个视频图像1332,以产生一个或多个修改后的视频图像1340(例如,视频图像A 1342-1和/或视频图像B 1342-2)。应当指出,这一个或多个映射函数1366可以至少部分地基于变形度量1354和/或显示器1316中或者与之关联的衰减机构的衰减范围1356。
[0188] 基于修改后的视频图像1340(或者等同地,基于一个或多个映射函数1366)和可选的亮度设置1338,强度计算模块1346可以确定强度设置1348。而且,过滤模块1358可以过滤强度设置1348中的变换,而亮度模块1360可以调整一个或多个视频图像1332的非图画部分或者一个或多个视频图像1332中亮度值小于阈值的部分的亮度。
[0189] 在有些实施例中,在缩放或确定强度设置1348之前,变换模块1362利用一个变换函数1352将一个或多个视频图像1332转换到线性亮度域。而且,在执行这些计算之后,变换模块1362可以利用另一个变换函数1352将一个或多个修改后的视频图像1340转换回初始(非线性)或其它亮度域。在有些实施例中,变换函数1352中给定的变换函数包括与显示器1316中漏光关联的偏移,其缩放多个视频图像1332的一个中任意暗区域,以减小或消除与光源(例如,背光)的调制关联的噪声。
[0190] 此外,在有些实施例中,通过调整一个或多个修改后视频图像1340中的颜色内容,颜色补偿模块1364补偿照射显示器1316的光源的频谱对强度设置1348的依赖性。而且,在显示器1316包括与白色过滤器关联的像素和与一个或多个附加颜色过滤器关联的像素的实施例中,提取模块1336可以确定一个或多个视频图像1332的饱和部分。然后,调整模块1350可以有选择地调整一个或多个视频图像1332中与白色过滤器关联的像素。
[0191] 存储器1324中各个模块中的指令可以在高级过程语言、面向对象的编程语言和/或组件或机器语言中实现。编程语言可以被编译或解释,例如,可配置或配置成由一个或多个处理单元1310执行。由此,指令可以包括程序模块中的高级代码和/或低级代码,这些代码由计算机系统1300中的处理器1310执行。
[0192] 尽管计算机系统1300被例示为具有多个离散的部件,但图13的意图是提供可以在计算机系统1300中给出的各种特征的功能性描述,而不是作为在此所述的实施例的结构性示意。在实践中,而且如可以被本领域普通技术人员所认识的,计算机系统1300的功能可以分布到很多个服务器或计算机上,各组服务器或计算机执行特定的功能子集。在有些实施例中,计算机系统1300的有些或全部功能性可以在一个或多个ASIC和/或一个或多个数字信号处理器DSP中实现。
[0193] 计算机系统1300可以包括更少的部件或附加的部件。而且,两个或更多个部件可以被合并到单个部件中,并且/或者可以改变一个或多个部件的位置。在有些实施例中,如本领域中已知的,计算机系统1300的功能性可以更多地在硬件中而更少地在软件中实现,或者更少地在硬件中而更多地在软件中实现。
[0194] 现在描述根据本发明实施例的可以在计算机系统1300中使用的数据结构。图14给出了用于例示数据结构1400的实施例的框图。这种数据结构可以包括用于一个或多个亮度值直方图1410的信息。诸如直方图1410-1的给定直方图可以包括多个计数个数1414和关联的亮度值1412。
[0195] 图15给出了用于例示数据结构1500的实施例的框图。这种数据结构可以包括变换函数1510。诸如变换函数1510-1的给定变换函数可以包括多对输入值1512和输出值1514,例如输入值1512-1和输出值1514-1。这种变换函数可以用于将视频图像从初始亮度域变换到线性亮度域和/或从线性亮度域变换到另一亮度域。
[0196] 应当指出,在数据结构1400(图14)和/或1500的有些实施例中,可以有更少或附加的部件。而且,两个或更多个部件可以结合成单个部件,并且/或者可以改变一个或多个部件的位置。
[0197] 尽管在前面的实施例中采用亮度作为例示,但在其它实施例中,这些技术应用到视频图像的一个或多个附加分量,例如一个或多个颜色分量。
[0198] 描述了用于动态改变由照射显示器的光源(例如,LED或荧光灯)提供的照明强度和/或用于调整要显示在显示器上的视频图像(例如,一个或多个视频帧)的技术的实施例。这些实施例可以由系统实现。
[0199] 在该技术的有些实施例中,系统将视频图像(例如,利用变换电路)从初始亮度域变换到线性亮度域,其中线性亮度域包括对应于所显示视频图像中基本等距相邻的辐射功率值的亮度值范围。在这种线性亮度域中,该系统可以根据至少一部分变换后的视频图像(例如,变换后视频图像中包括空间变化的可视信息的部分)(例如,利用计算电路)确定光源的强度设置。而且,该系统可以(例如,利用计算电路)修改变换后的视频图像,使得强度设置和与修改后视频图像关联的透射率的乘积近似地等于先前强度设置和与视频图像关联的透射率的乘积。例如,修改可以包括改变变换后视频图像中的亮度值。
[0200] 在有些实施例中,变换补偿视频图像中的灰度校正。例如,变换可以基于捕捉视频图像的摄像机或成像设备的特征。应当指出,该系统可以利用查找表确定变换。
[0201] 在修改视频图像后,该系统可以将修改后的视频系统转换到另一亮度域,该亮度域的特征为亮度值范围对应于所显示视频图像中非等距相邻辐射功率值。应当指出,该另一亮度域可以近似地与初始亮度域相同。可选地,到该另一亮度域的变换可以基于显示器的特征,例如与给定显示器关联的灰度校正,而且该系统可以利用查找表确定这种转换。
[0202] 而且,到另一亮度域的转换可以包括对显示器中假象的校正,系统可以将其逐帧地有选择地加以应用。应当指出,显示假象可以包括显示器中最小亮度附近的漏光。
[0203] 在有些实施例中,系统逐像素地执行对视频图像的修改。而且,该系统可以根据至少一部分变换后视频图像中的亮度值直方图来确定强度设置。
[0204] 在该技术的其它实施例中,该系统调整视频图像中像素的亮度。这些像素可以包括视频图像中的暗区域(例如,亮度值小于预定阈值的区域)。例如,暗区域可以包括:视频图像中的一个或多个暗线、一个或多个黑条和/或非图画部分。应当指出,暗区域可以在视频图像中任何位置处。
[0205] 特别地,系统可以(例如,利用变换电路)将这些像素的亮度从初始亮度值缩放到新的亮度值(其大于初始亮度值)。例如,新最大亮度值和初始最大亮度值之间的差值可以是至少每平方米1坎德拉。这种缩放可以减少视频图像中与显示视频图像的显示器的背光关联的用户察觉变化(例如,它可以提供允许衰减与背光的脉动关联的噪声的净空高度)。
[0206] 在有些实施例中,该缩放至少部分地是在从初始亮度域到线性亮度域的变换过程中执行的。在这些实施例中,变换补偿视频图像中的灰度校正(例如,捕捉视频图像的摄像机或成像设备的一个或多个特征)及将显示该视频图像的给定显示器中在低亮度值处的漏光。应当指出,该系统可以利用查找表确定这种变换。
[0207] 在修改视频图像后,系统可以将修改后的视频图像转换或变换到另一亮度域,该亮度域的特征为亮度值范围对应于所显示视频图像中非等距相邻的辐射功率值。在这种变换过程中,可以实现至少一部分缩放。例如,这种变换可以基于显示器的特征,例如与给定显示器关联的灰度校正和/或给定显示器中在低亮度值处的漏光。而且,该系统可以利用另一种查找表确定这种变换或转换。
[0208] 应当指出,该系统可以逐像素地执行像素亮度的缩放。
[0209] 在该技术的其它实施例中,当光源的强度设置改变时,该系统应用校正,来维持视频图像的颜色。在根据至少部分视频图像(例如,利用计算电路)确定光源的强度设置后,该系统可以(例如,利用调整电路)修改至少该部分视频图像中像素的亮度值,以维持强度设置和与修改后视频图像关联的透射率的乘积。然后,系统可以根据强度设置(例如,利用调整电路)调整视频图像中的颜色内容,以便即使当与光源关联的频谱随强度设置变化时,也能维持与视频图像关联的颜色。
[0210] 可选地,在调整颜色内容之前,系统可以连带地修改至少该部分图像中像素的亮度值和光源的强度设置,以便维持来自显示器的光输出,同时减少光源的功耗。
[0211] 这种颜色调整可以基于光源的特征。附加地,颜色调整可以维持白色。而且,白色可以维持到与强度设置改变之前视频图像的颜色关联的对应黑体温度的大约100K或200K之内。例如,颜色调整可以包括当强度设置关于先前的强度设置减小时在视频图像中增加蓝色分量,而且可以包括当强度设置关于先前的强度设置增加时在视频图像中减少蓝色分量。
[0212] 在有些实施例中,颜色调整维持视频图像中两种颜色分量的比率和视频图像中另一个两种颜色分量的比率,其中视频图像的颜色内容是利用三种颜色分量表示的。而且,该系统可以调整颜色,使得与视频图像关联的颜色值和频谱的乘积导致视频图像近似不变的灰度级。
[0213] 此外,在视频图像从初始亮度域变换到线性亮度域之后,该系统可以确定强度设置。而且,在调整颜色内容后,该系统可以将视频图像转换到另一亮度域。
[0214] 应当指出,像素亮度的修改和/或颜色调整可以逐像素地执行。而且,该系统可以根据视频图像中的亮度值直方图和/或衰减光从光源到显示器的耦合的机构的动态范围来修改亮度。
[0215] 在该技术的另一种实施例中,该系统基于要显示在显示器上的视频图像的饱和部分来执行调整。这种显示器可以包括与白色过滤器关联的像素和与一个或多个附加颜色过滤器关联的像素。在可选地(例如,利用提取函数)确定至少一部分视频图像的颜色饱和度之后,该系统可以基于颜色饱和度(例如,利用调整电路)选择性地调整视频图像中与白色过滤器关联的像素。然后,系统可以基于选择性调整的像素改变光源的强度设置。而且,系统可以可选地基于强度设置调整视频图像中的颜色内容,以便即使当与光源关联的频谱随强度设置变化时,也能维持与视频图像关联的颜色。例如,颜色内容的调整可以校正光源的频谱对强度设置的依赖性。
[0216] 附加地,该系统可以修改至少一部分视频图像中像素的亮度值,以维持强度设置和与修改后视频图像关联的透射率的乘积。
[0217] 应当指出,颜色内容的调整可以逐像素地执行。
[0218] 在有些实施例中,系统接收包括视频图像的视频图像序列,并分析视频图像序列中的变化。接下来,该系统预测强度设置中的增加,并跨至少视频图像序列的子集递增地应用该增加。例如,视频图像序列可以对应于网页,而视频图像序列中给定的视频图像可以对应于该网页的子集。而且,分析后的改变可以包括视频图像序列中视频图像之间的运动估计。
[0219] 如前面所指出的,可选的颜色调整可以基于光源的特征。附加地,颜色特征可以维持白色。而且,白色可以维持到与强度设置改变之前视频图像的颜色关联的对应黑体温度的100K或200K之内。例如,颜色调整可以包括当强度设置关于先前的强度设置减小时增加视频图像中的蓝色分量,还可以包括当强度设置关于先前的强度设置增加时减少视频图像中的蓝色分量。
[0220] 在有些实施例中,颜色调整维持视频图像中两种颜色分量的比率及视频图像中另一个两种颜色分量的比率,其中视频图像的颜色分量是利用三种颜色分量表示的。应当指出,该系统可以基于有选择地调整的像素来调整视频图像中的颜色内容。而且,该系统可以调整颜色,使得与视频图像关联的颜色值和频谱的乘积导致视频图像近似不变的灰度级。
[0221] 在该技术的另一种实施例中,当视频图像序列中两个相邻的视频图像之间的亮度度量(例如,亮度值的直方图)中有不连续性时,该系统对强度设置应用改变并缩放亮度值。例如,不连续性可以包括最大亮度值中超过预定值的变化。应当指出,分析电路可以确定不连续性的存在。
[0222] 在有些实施例中,该系统在视频图像序列中以视频图像为基础应用强度设置的改变的一部分和亮度值的缩放的对应部分。应当指出,该部分可以选择成使得相邻视频图像之间的差小于预定值,除非在亮度度量中有不连续性,在这种情况下,该部分选择成使得相邻视频图像之间的差大于预定值。例如,该部分可以通过时间性过滤器实现。
[0223] 在有些实施例中,该部分变化的比率对应于亮度度量中不连续性的大小。例如,当不连续性比较大时,变化的比率可以比较大。
[0224] 在该技术的另一种实施例中,该系统根据缩放的亮度值和视频图像计算针对视频图像的误差度量(例如,计算可以由分析电路执行)。而且,这种误差度量可以在视频图像中逐像素地确定。
[0225] 如果误差度量超过预定值,则系统可以逐像素地减小亮度值的缩放,并且/或者可以减少强度设置中的变化,由此减少当显示视频图像时的变形。而且,该系统可以减少视频图像中如下区域内亮度值的缩放,即在这个区域中,如果区域大小超过另一个预定值,则每个像素对误差度量的贡献超过了预定值,
[0226] 应当指出,视频图像中给定像素对误差度量的贡献可以对应于缩放后亮度值与缩放前初始亮度值之比。
[0227] 在该技术的另一种实施例中,该系统识别视频图像中的亮度值缩放导致与减小的对比度关联的视觉假象的区域(例如,该区域可以利用分析电路识别)。然后,该系统可以减小区域中亮度值的缩放,以便至少部分地恢复对比度,由此减少视觉假象(例如,调整电路可以减少缩放)。而且,该系统可以空间地过滤视频图像中的亮度值,以便减少该区域中像素的亮度值和视频图像的剩余部分中的亮度值之间的空间不连续性。
[0228] 应当指出,该区域可以对应于亮度值超过预定阈值的像素,且视频图像中围绕该区域的像素的亮度值可以小于该预定阈值。附加地,该区域可以根据亮度值超过预定阈值的像素个数来识别。例如,像素个数可以对应于视频图像中像素的3%、10%或20%。
[0229] 另一实施例提供了一种可以由系统实现的用于调整视频图像的方法。在操作过程中,该系统补偿视频图像中的灰度校正,以便产生亮度值和视频图像在显示时的关联亮度之间的线性关系。接下来,该系统基于至少一部分补偿后的视频图像计算光源的强度设置,其中光源配置成照射配置成显示视频图像的显示器。然后,该系统调整补偿后的视频图像,使得强度设置和与调整后视频图像关联的透射率的乘积近似地等于先前强度设置和与视频图像关联的透射率的乘积。
[0230] 另一实施例提供了另一种可以由系统执行的用于调整视频图像中的像素亮度的方法。在操作过程中,该系统补偿视频图像中的灰度校正,以便产生亮度值与视频图像在显示时的关联亮度之间的线性关系,其中补偿包括与配置为显示视频图像的显示器中的漏光关联的最小亮度处的偏移。接下来,系统基于至少一部分补偿后的视频图像计算光源的强度设置,其中光源配置成照射显示器。然后,系统调整补偿后的视频图像,使得强度设置和与调整后视频图像关联的透射率的乘积近似地等于先前强度设置和与视频图像关联的透射率的乘积。
[0231] 另一实施例提供了另一种可以由系统执行的用于调整视频图像的方法。在操作过程中,该系统接收视频图像,并基于至少一部分视频图像确定光源的强度设置,其中光源配置成照射配置成显示视频图像的显示器。接下来,系统修改至少该部分视频图像中像素的亮度值,以维持强度设置和与修改后视频图像关联的透射率的乘积。然后,系统基于强度设置调整视频图像中的颜色内容,以便即使与光源关联的频谱随强度设置而变化,也能维持与视频图像关联的颜色。
[0232] 另一实施例提供了另一种可以由系统执行的用于调整视频图像的方法。在操作过程中,系统接收视频图像。接下来,系统连带地修改至少一部分视频图像中像素的亮度值和光源的强度设置,以便维持来自显示器的光输出,同时减少光源的功耗,其中光源配置成照射配置成显示视频图像的显示器。然后,系统调整视频图像中的颜色内容,以校正光源的频谱对强度设置的依赖性。
[0233] 另一实施例提供了另一种可以由系统执行的用于调整视频图像的方法。在操作过程中,系统接收包括视频图像的视频图像序列,并可选地分析视频图像序列,包括确定至少一部分视频图像的颜色饱和度。接下来,当视频图像要基于颜色饱和度显示时,系统预测光源强度设置中的增加,其中光源配置成照射显示器。然后,系统基于颜色饱和度有选择地调整视频图像中与白色过滤器关联的像素,其中配置成显示视频图像的显示器包括与一个或多个附加颜色过滤器关联的像素和与白色过滤器关联的像素。在有些实施例中,系统基于有选择地调整的像素可选地确定光源的强度设置。而且,系统跨至少视频图像序列的子集递增地增加强度设置。
[0234] 另一种实施例提供了另一种可以由系统执行的用于调整视频图像的亮度的方法。在操作过程中,系统识别视频图像序列中与包括第一视频图像和第二视频图像的相邻视频图像关联的亮度度量中的不连续性。接下来,系统确定光源的强度设置中的变化,并基于与第二视频图像关联的亮度度量缩放第二视频图像的亮度值,其中光源照射配置成显示视频图像序列的显示器。然后,系统应用强度设置的改变并缩放亮度值
[0235] 另一种实施例提供了另一种可以由系统执行的用于调整视频图像的亮度的方法。在操作过程中,系统接收视频图像序列,并计算与视频图像序列中的视频图像关联的亮度度量。接下来,该系统确定光源的强度设置,并根据与视频图像序列中的给定视频图像关联的给定亮度度量来缩放该给定视频图像的亮度值,其中光源照射配置成显示视频图像序列的显示器。然后,当视频图像序列中两个相邻视频图像之间的亮度度量中有不连续性时,系统改变强度设置并缩放亮度值。
[0236] 另一种实施例提供了另一种可以由系统执行的用于计算与视频图像关联的误差度量的方法。在操作过程中,系统接收视频图像,并计算与视频图像关联的亮度度量。接下来,系统确定光源的强度设置,并根据亮度度量来缩放视频图像的亮度值,其中光源照射配置成显示视频图像的显示器。然后,系统基于缩放的亮度值和所接收的视频图像来计算用于视频图像的误差度量。
[0237] 另一种实施例提供了另一种可以由系统执行的用于计算与视频图像关联的误差度量的方法。在操作过程中,系统通过改变光源的强度设置来减少功耗,并基于与视频图像关联的亮度度量缩放针对视频图像的亮度值,其中光源照射配置成显示视频图像的显示器。接下来,系统基于缩放的亮度值和视频图像计算针对视频图像的误差度量。
[0238] 另一种实施例提供了另一种可以由系统执行的用于调整视频图像中的像素亮度的方法。在操作过程中,系统接收视频图像,并计算与视频图像关联的亮度度量。接下来,系统确定光源的强度设置,并基于亮度度量缩放视频图像的亮度值,其中光源照射配置成显示视频图像的显示器。而且,系统识别视频图像中亮度值缩放导致与减小的对比度关联的视觉假象的区域。然后,系统减小该区域中亮度值的缩放,以便至少部分地恢复对比度,由此减少视觉假象。
[0239] 另一种实施例提供了另一种可以由系统执行的用于调整视频图像中的像素亮度的方法。在操作过程中,系统确定光源的强度设置,并基于与视频图像关联的亮度度量缩放针对视频图像的亮度值,其中光源照射配置成显示视频图像的显示器。接下来,通过至少部分地减小视频图像中亮度值缩放导致与减小的对比度关联的视觉假象的区域中亮度值的缩放,系统恢复该区域中的对比度。
[0240] 另一种实施例提供了实现一种或多种上述实施例的一种或多种集成电路。
[0241] 另一种实施例提供便携式设备。这种设备可以包括显示器、光源和衰减机构。而且,该便携式设备可以包括一个或多个集成电路。
[0242] 另一种实施例提供了与系统一起使用的计算机程序产品。这种计算机程序产品可以包括对应于上述方法中的至少一些操作的指令。
[0243] 另一种实施例提供了计算机系统。这种计算机系统可以执行对应于上述方法中至少一些操作的指令。而且,这些指令可以包括程序模块中的高级代码和/或由计算机系统中处理器执行的低级代码。
[0244] 本发明实施例的以上描述仅仅是为例示和描述而给出的。它们并非旨在详尽或者将本发明限定到所公开的形式。因此,许多修改和变化对于本领域技术人员是显然的。另外,以上公开并非旨在限制本发明。本发明的范围是由所附权利要求定义的。