显示设备及控制该显示设备的方法转让专利

申请号 : CN201580054198.4

文献号 : CN106796775B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 韩升勳李尚昱徐贵原金昌源

申请人 : 三星电子株式会社

摘要 :

一种显示设备,包括:内容接收单元,配置成接收高动态范围图像;图像处理单元,配置成在高动态范围图像内检测亮度值等于或大于参考亮度值的第一区域,并且基于第一区域的图像的特征信息对第一区域的图像执行色调映射;以及显示单元,配置成显示已执行色调映射的低动态范围图像。

权利要求 :

1.一种显示设备,包括:

内容接收单元,配置成接收高动态范围图像和所述高动态范围图像的亮度信息;

图像处理单元,配置成基于所述亮度信息执行色调映射,以将所述高动态范围图像转换成低动态范围图像;以及显示单元,配置成显示所述低动态范围图像,

其中,所述亮度信息包括所述高动态范围图像的图像最大亮度值和图像最小亮度值,其中,所述图像处理单元在所述高动态范围图像内检测亮度值等于或大于参考亮度值的第一区域,并且基于所述第一区域的区域图像的特征信息生成第一映射函数从而对所述第一区域的所述区域图像执行色调映射,其中所述特征信息包括边缘信息、纹理信息和灰度信息中的至少一者。

2.根据权利要求1所述的显示设备,其中,所述图像处理单元在所述第一区域的区域图像内检测边缘区域,并且基于所述边缘区域中所包括的像素的直方图生成所述第一映射函数。

3.根据权利要求1所述的显示设备,其中,所述图像处理单元在所述第一区域的区域图像内检测纹理区域,并且基于所述纹理区域中所包括的像素的直方图生成所述第一映射函数。

4.根据权利要求1所述的显示设备,其中,所述图像处理单元在所述第一区域的区域图像内检测灰度区域,并且基于所述灰度区域中所包括的像素的直方图生成所述第一映射函数。

5.根据权利要求1所述的显示设备,其中,所述图像处理单元基于所述高动态范围图像的亮度值生成第二映射函数。

6.根据权利要求5所述的显示设备,其中,所述图像处理单元根据所述第二映射函数对所述高动态范围图像执行第二函数色调映射以生成经色调映射的图像,并且根据所述第一映射函数对已执行所述第二函数色调映射的所述经色调映射的图像执行第一函数色调映射。

7.根据权利要求1所述的显示设备,其中,所述图像处理单元基于所述高动态范围图像内的第二区域的亮度值生成第二映射函数,其中所述第二区域的亮度值小于所述参考亮度值。

8.根据权利要求7所述的显示设备,其中,所述图像处理单元基于所述第一映射函数和所述第二映射函数生成色调映射函数,并且根据所述色调映射函数将所述高动态范围图像转换成所述低动态范围图像。

9.根据权利要求1所述的显示设备,其中,所述图像处理单元对所述高动态范围图像中所包括的多个像素之中的第一像素执行线性色调映射,以及对所述多个像素之中的第二像素执行非线性色调映射,其中,所述第一像素的亮度值小于参考亮度值,所述第二像素的亮度值等于或大于所述参考亮度值。

10.根据权利要求1所述的显示设备,其中,当场景中所包括的所述高动态范围图像的场景平均亮度值小于参考亮度值时,所述图像处理单元对所述高动态范围图像中所包括的多个像素之中的第一像素执行线性色调映射,以及对所述多个像素之中的第二像素执行非线性色调映射,其中,所述第一像素的亮度值小于所述参考亮度值,所述第二像素的亮度值等于或大于所述参考亮度值。

11.根据权利要求1所述的显示设备,其中,当场景中所包括的所述高动态范围图像的场景平均亮度值等于或大于参考亮度值时,所述图像处理单元对所述高动态范围图像中所包括的多个像素之中的第一像素执行线性色调映射,以及对所述多个像素之中的第二像素执行非线性色调映射,其中,所述第一像素的亮度值小于所述场景平均亮度值,所述第二像素的亮度值等于或大于所述场景平均亮度值。

12.控制显示设备的方法,包括:

接收高动态范围图像以及所述高动态范围图像的亮度信息,其中,所述高动态范围图像是具有比所述显示设备的显示动态范围更大的图像动态范围的输入图像;

基于所述亮度信息执行色调映射,以将所述高动态范围图像转换成低动态范围图像;

以及

显示所述低动态范围图像,

其中,所述亮度信息包括所述高动态范围图像的图像最大亮度值和图像最小亮度值,其中,所述执行色调映射包括:在所述高动态范围图像内检测亮度值等于或大于参考亮度值的第一区域;

基于所述第一区域的区域图像的特征信息生成色调映射函数;以及

根据所述色调映射函数对所述高动态范围图像执行色调映射,以将所述高动态范围图像转换成所述低动态范围图像;以及其中所述特征信息包括所述高动态范围图像的边缘信息、纹理信息和灰度信息中的至少一者。

13.根据权利要求12所述的方法,其中,所述执行色调映射包括:

当场景中所包括的所述高动态范围图像的场景平均亮度值小于参考亮度值时,对所述高动态范围图像中所包括的多个像素之中的第一像素执行线性色调映射,以及对所述多个像素之中的第二像素执行非线性色调映射,其中,所述第一像素的亮度值小于所述参考亮度值,所述第二像素的亮度值等于或大于所述参考亮度值;以及当场景中所包括的所述高动态范围图像的场景平均亮度值等于或大于参考亮度值时,对所述高动态范围图像中所包括的多个像素之中的第一像素执行线性色调映射,以及对所述多个像素之中的第二像素执行非线性色调映射,其中,所述第一像素的亮度值小于所述场景平均亮度值,所述第二像素的亮度值等于或大于所述场景平均亮度值。

说明书 :

显示设备及控制该显示设备的方法

技术领域

[0001] 实施方式涉及一种液晶显示器及其驱动方法,该液晶显示器具有热生成单元以预热液晶显示面板。

背景技术

[0002] 通常,已知真实世界的亮度具有100,000,000:1的动态范围。此外,已知可由人眼区分的对比度范围(即,人眼的动态范围)为约1,000:1至10,000:1。已知根据最新技术的相机的动态范围为约10,000:1。
[0003] 另一方面,广泛用作显示设备的液晶显示面板、等离子体显示面板、有机发光二极管面板等具有约100:1至1000:1的动态范围。
[0004] 换言之,可从显示设备中输出的图像的动态范围比可由人眼区分的动态范围和可通过相机等检测的动态范围更窄。
[0005] 这样,将动态范围比可从常规显示设备输出的图像的动态范围更大的图像称为高动态范围(HDR)图像。与高动态范围图像相反,将动态范围等于或小于可从常规显示设备输出的图像的动态范围的图像称为低动态范围(LDR)图像。
[0006] 当从这样的图像源输入高动态范围图像时,显示设备执行将高动态范围图像转换成可显示的动态范围的操作。这样的操作称为“色调映射”。
[0007] 相关技术中的色调映射方法包括以下方法:压缩整个动态范围并将高动态范围图像转换成低动态范围图像的方法;将高动态范围图像直接显示在具有低动态范围的显示设备上的方法等。
[0008] 然而,根据将高动态范围图像的整个动态范围进行压缩的方法,存在的问题有:与原始图像相比,从显示设备输出的图像的明亮度显著降低。
[0009] 此外,根据将高动态范围图像直接显示在具有低动态范围的显示设备上的方法,存在的问题有:不显示具有不能在显示设备上显示的亮度的图像。

发明内容

[0010] 技术问题
[0011] 因此,本公开的方面在于提供显示设备及其控制方法,通过该显示设备和控制方法,显示在显示设备上的图像可维持原始图像的明亮度没有变化,并且可显示高亮度区域中所包括的图像信息。
[0012] 技术方案
[0013] 根据所公开的实施方式的方面,提供了一种显示设备,该显示设备包括:内容接收单元,配置成接收高动态范围图像和高动态范围图像的亮度信息;图像处理单元,配置成基于亮度信息执行色调映射,以使得高动态范围图像转换成低动态范围图像;以及显示单元,配置成显示低动态范围图像,其中,亮度信息包括高动态范围图像的最大亮度值和最小亮度值。
[0014] 亮度信息可包括场景中所包括的高动态范围图像的最大亮度值和最小亮度值。
[0015] 亮度信息可包括形成帧的高动态范围图像的最大亮度值和最小亮度值。
[0016] 亮度信息可包括整个内容中所包括的高动态范围图像的最大亮度值和最小亮度值。
[0017] 图像处理单元可在高动态范围图像内检测亮度值等于或大于参考亮度值的第一区域,并且基于第一区域的图像的特征信息对第一区域的图像执行色调映射;特征信息可包括高动态范围图像的边缘信息、纹理信息和灰度(gradation)信息中的至少一者。
[0018] 图像处理单元可在第一区域的图像内检测边缘区域,并且基于边缘区域中所包括的像素的直方图生成第一映射函数。
[0019] 第一映射函数可具有根据边缘区域中所包括的像素的数量而发生变化的斜率。
[0020] 在第一映射函数中,亮度值在边缘区域中所包括的像素数量多的位置处的斜率大于亮度值在边缘区域中所包括的数量少的位置处的斜率。
[0021] 第一映射函数可以是通过对边缘区域中所包括的像素的直方图进行积分而获得的累计直方图。
[0022] 图像处理单元可在第一区域的图像内检测纹理区域,并且基于纹理区域中所包括的像素的直方图生成第一映射函数。
[0023] 图像处理单元可在第一区域的图像内检测灰度区域,并且基于灰度区域中所包括的像素的直方图生成第一映射函数。
[0024] 图像处理单元可基于高动态范围图像的亮度值生成第二映射函数。
[0025] 图像处理单元可根据第二映射函数对高动态范围图像执行第二色调映射,并且根据第一映射函数对执行了第二色调映射的图像执行第一色调映射。
[0026] 图像处理单元可基于高动态范围图像内的第二区域的亮度值生成第二映射函数,其中,第二区域的亮度值小于参考亮度值。
[0027] 图像处理单元可基于第一映射函数和第二映射函数生成色调映射函数,并且根据色调映射函数将高动态范围图像转换成低动态范围图像。图像处理单元可对高动态范围图像中所包括的多个像素当中、亮度值小于参考亮度值的第一像素执行线性色调映射,以及对多个像素当中、亮度值等于或大于参考亮度值的第二像素执行非线性色调映射。
[0028] 当场景中所包括的高动态范围图像的场景平均亮度值小于参考亮度值时,图像处理单元可对高动态范围图像中所包括的多个像素当中、亮度值小于参考亮度值的第一像素执行线性色调映射,以及对多个像素当中、亮度值等于或大于参考亮度值的第二像素执行非线性色调映射。
[0029] 当场景中所包括的高动态范围图像的场景平均场景平均亮度值等于或大于参考亮度值时,图像处理单元可对高动态范围图像中所包括的多个像素当中、亮度值小于场景平均亮度值的第一像素执行线性色调映射,以及对多个像素当中、亮度值等于或大于场景平均亮度值的第二像素执行非线性色调映射。
[0030] 根据所公开的实施方式的另一方面,提供了控制显示设备的方法,该方法包括:接收高动态范围图像和高动态范围图像的亮度信息;基于亮度信息执行色调映射,以使得高动态范围图像转换成低动态范围图像;显示低动态范围图像,其中,亮度信息包括高动态范围图像的最大亮度值和最小亮度值。
[0031] 亮度信息可包括场景中所包括的高动态范围图像的最大亮度值和最小亮度值。
[0032] 亮度信息可包括形成帧的高动态范围图像的最大亮度值和最小亮度值。
[0033] 亮度信息可包括整个内容中所包括的高动态范围图像的最大亮度值和最小亮度值。
[0034] 执行色调映射可包括:在高动态范围图像内检测亮度值等于或大于参考亮度值的第一区域,并且基于第一区域的图像的特征信息生成色调映射函数;根据色调映射函数对高动态范围图像执行色调映射,以将高动态范围图像转换成低动态范围图像。特征信息可包括高动态范围图像的边缘信息、纹理信息和灰度信息中的至少一者。
[0035] 根据所公开的实施方式的方面,提供了这样的显示设备及其控制方法,通过该显示设备及其控制方法,对高亮度区域和低亮度区域使用了不同的色调映射函数,因此,显示在显示设备上的图像可维持原始图像的明亮度,并且可显示高亮度区域中所包括的图像信息。
[0036] 根据所公开的实施方式的另一方面,提供了控制显示设备的方法,该方法包括:确定图像的第一区域,所述图像的第一区域比图像的第二区域具有更高的亮度;确定与第一区域和第二区域相对应的第一映射函数和第二映射函数,其中,第一映射函数增强一个或多个图像特征,以及第二映射函数增加明亮度;以及响应于亮度、使用第一映射函数和第二映射函数对图像进行映射,以保持第二区域的图像的明亮度以及保持第一区域的图像的特征信息。
[0037] 发明的有益效果
[0038] 提供了这样的显示设备及其控制方法,通过该显示设备及其控制方法,显示在显示设备上的图像可维持原始图像的明亮度而不改变,并且可显示高亮度区域中所包括的图像信息。

附图说明

[0039] 结合附图,根据实施方式的以下描述,本公开的这些和/或其他方面将变得明显以及更容易地理解,在附图中:
[0040] 图1示出根据实施方式的显示设备的外型;
[0041] 图2示出根据实施方式的显示设备的控制配置(controlconfiguration);
[0042] 图3示出根据实施方式的显示设备中所包括的示例性图像处理单元;
[0043] 图4a和图4b示出根据实施方式由显示设备中所包括的图像处理单元进行的将图像数据线性化的示例性操作;
[0044] 图5示出示例性原始图像;
[0045] 图6示出图5中所示出的原始图像的亮度直方图;
[0046] 图7示出根据像素的亮度值将图5中所示出的原始图像进行划分的示例;
[0047] 图8示出根据亮度值将图5中所示出的原始图像进行划分所获得的示例性图像;
[0048] 图9a和图9b示出根据亮度值将图5中所示出的原始图像进行划分所获得的另一示例性图像;
[0049] 图10a和图10b示出图3中所示出的图像处理单元从第一区域提取特征点的示例;
[0050] 图11a和图11b示出图3中所示出的图像处理单元基于第一区域的特征点生成第一映射函数的示例;
[0051] 图12a和图12b示出图3中所示出的图像处理单元根据第一区域的特征点生成第一映射函数的另一示例;
[0052] 图13a和图13b示出图3中所示出的图像处理单元基于第二区域的图像生成第二映射函数的示例;
[0053] 图14示出由图3中所示出的图像处理单元生成的示例性色调映射函数;
[0054] 图15a和图15b示出相关技术的显示设备对高动态范围图像执行色调映射时获得的结果;
[0055] 图16a和图16b示出根据实施方式的显示设备对高动态范围图像执行色调映射时获得的结果;
[0056] 图17示出根据实施方式的显示设备的示例性高动态范围图像显示操作;
[0057] 图18示出根据实施方式的显示设备中所包括的另一示例性图像处理单元;
[0058] 图19a和图19b和图20示出图18中所示出的图像处理单元生成色调映射函数的示例;
[0059] 图21示出根据实施方式的显示设备的另一示例性高动态范围图像显示操作;
[0060] 图22示出根据实施方式的显示设备中所包括的另一示例性图像处理单元;
[0061] 图23a和图23b示出图22中所示出的图像处理单元对第一区域的图像执行色调映射的示例;
[0062] 图24a和图24b示出图22中所示出的图像处理单元对第二区域的图像执行色调映射的示例;
[0063] 图25示出根据实施方式的显示设备的另一示例性高动态范围图像显示操作;
[0064] 图26示出根据实施方式的显示设备中所包括的另一示例性图像处理单元;
[0065] 图27示出由图26中所示出的图像处理单元生成的第三映射函数;
[0066] 图28示出根据实施方式的显示设备的另一示例性高动态范围图像显示操作;
[0067] 图29示出根据实施方式的显示设备中所包括的另一示例性图像处理单元;
[0068] 图30和图31示出由图29中所示出的图像处理单元生成的第四映射函数;以及[0069] 图32示出根据实施方式的显示设备的另一示例性高动态范围图像显示操作。

具体实施方式

[0070] 现在将详细参考实施方式,其示例在附图中中示出,在全部附图中相同的参考标记表示相同的元件。以下参照附图对实施方式进行描述。
[0071] 本说明书中描述的实施方式和附图中示出的配置仅是本公开实施方式的示例性示例。实施方式覆盖在提交本申请时可以代替本文中的实施方式和附图的各种修改。
[0072] 下文中,将参照附图对实施方式进行详细描述。
[0073] 图1示出根据实施方式的显示设备的外型,以及图2示出根据实施方式的显示设备的控制配置。
[0074] 显示设备100是可将从外面接收的图像信号进行处理以及将已处理的图像进行视觉显示的设备。下文中,将举例说明显示设备100为电视(TV)的情况,但是本实施方式不受此限制。例如,显示设备100可以各种类型实现,诸如,监控设备、移动多媒体设备或移动通信设备。显示设备100的类型不受限制,只要是视觉上显示图像的设备即可。
[0075] 如图1和图2所示,显示设备100包括主体101,主体101形成显示设备100的外型并且容纳显示设备100的各部件。
[0076] 可在主体101下方提供支承主体101的立架(stand)102。主体101可稳定地设置在靠立架102的平面上。然而,本实施方式不限于此,而是主体101可通过支架等安装在竖直表面上,诸如,墙壁表面。
[0077] 在主体101的前部,可提供按钮组群121和显示面板143,其中,按钮组群121配置成从用户接收用户控制命令,显示面板143配置成根据用户控制命令显示图像。
[0078] 此外,主体101中可设置有配置成实现显示设备100的功能的各种部件。主体101中可设置有图2中示出的控制配置。
[0079] 具体地,显示设备100包括输入单元120、内容接收单元130、图像处理单元200、显示单元140、声音输出单元150和主控制单元110,其中,输入单元120配置成从用户接收用户控制命令;内容接收单元130配置成从外部设备接收包括图像和声音的内容;图像处理单元200配置成处理内容中所包括的图像数据;显示单元140配置成显示与内容中所包括的图像数据对应的图像;声音输出单元150配置成输出与内容中所包括的声音数据对应的声音;以及主控制单元110配置成从总体上控制显示设备100的操作。
[0080] 输入单元120可包括配置成从用户接收各种用户控制命令的按钮组群121。例如,按钮组群121可包括音量按钮、信道按钮和电源按钮,其中,音量按钮用于调节来自声音输出单元150的声音输出的大小,信道按钮用于更改内容接收单元130接收内容的通信信道,以及电源按钮用于显示设备100的电源的开启或关闭等。
[0081] 按钮组群121中所包括的各种按钮可使用按压开关、膜片开关或接触式开关,其中,按压开关配置成检测用户的按压,膜片开关或接触式开关配置成检测用户身体的部分的接触。然而,本实施方式不限于此,而是按钮组群121可使用各种输入方法,该输入方法可输出与用户的具体操作相对应的电信号。
[0082] 此外,输入单元120可包括遥控器,该遥控器远程地从用户接收用户控制命令并且将接收的用户控制命令传输至显示设备100。
[0083] 内容接收单元130可从各种外部设备接收各项内容。
[0084] 例如,内容接收单元130可从天线、机顶盒、多媒体回放设备(例如,DVD播放器、CD播放器或蓝光播放器)接收内容,其中,天线配置成无线接收广播信号,机顶盒配置成以有线或无线方式接收广播信号并适当地转换所接收的广播信号,以及多媒体回放设备配置成播放存储在多媒体存储介质等中的内容。
[0085] 具体地,内容接收单元130可包括多个连接器131、接收路径选择单元133和调谐器135,其中,连接器131连接至外部设备,接收路径选择单元133配置成从多个连接器131之中选择接收内容的路径,以及调谐器135配置成选择当接收广播信号等时接收广播信号的信道(或频率)。
[0086] 连接器131可包括同轴电缆连接器(RF同轴电缆连接器)、高清晰度多媒体接口(HDMI)连接器、分量视频连接器、复合视频连接器、D-sub连接器等,其中,同轴电缆连接器配置成从天线接收包括内容的广播信号,高清晰度多媒体接口连接器配置成从机顶盒或多媒体回放设备接收内容。
[0087] 接收路径选择单元133从如上所述的多个连接器131之中选择接收内容的连接器。例如,接收路径选择单元133可根据用户的用户控制命令自动地选择已接收内容的连接器
131,或人工地选择将接收内容的连接器131。
[0088] 调谐器135从接收广播信号时通过天线等接收的各种信号中提取特定频率(信道)的传输信号。换言之,调谐器135可根据用户的信道选择命令选择接收内容的信道(或频率)。
[0089] 图像处理单元200处理由内容接收单元130接收的内容中的图像内容,并且将已处理的图像数据提供给显示单元140。
[0090] 图像处理单元200可以是计算机,并且可包括图形处理器201和图形存储器203。
[0091] 图形存储器203可存储用于图像处理的图像处理程序和图像处理数据,或临时存储从图形处理器201输出的图像数据或从内容接收单元130接收的图像数据。
[0092] 图形存储器可包括诸如SRAM或DRAM的易失性存储器,以及诸如闪速存储器、只读存储器(ROM)、可擦可编程序只读存储器(EPROM)或电可擦可编程只读存储器(EEPROM)的非易失性存储器。
[0093] 例如,非易失性存储器可半永久地存储用于图像处理的图像处理程序和图像处理数据。易失性存储器可临时存储从非易失性存储器加载的图像处理程序和图像处理数据、从内容接收单元130接收的图像数据或从图形处理器201输出的图像数据。
[0094] 此外,非易失性存储器可设置成与易失性存储器分开,并且形成易失性存储器的辅助存储设备。
[0095] 图形处理器201可根据存储在图形存储器203中的图像处理程序对存储在图形存储器203中的图像数据进行处理。例如,图形处理器201可执行诸如以下将描述的图像线性化和色调映射的图像处理。
[0096] 虽然上文已单独描述图形处理器201和图形存储器203,但是本实施方式并不局限于图形处理器201和图形存储器203作为单独的芯片提供的情况。图形处理器201和图形存储器203可作为单个芯片提供。
[0097] 以下将详细描述图像处理单元200的详细操作。
[0098] 显示单元140可包括配置成视觉显示图像的显示面板143和配置成驱动显示面板143的显示驱动器141。
[0099] 显示面板143可根据从显示驱动器141接收的图像数据输出图像。
[0100] 显示面板143可包括像素,像素是显示图像的单位。每个像素可接收指示图像数据的电信号,并且输出与所接收的电信号相对应的光学信号。
[0101] 以这种方式,将从显示面板143中所包括的多个像素中输出的光学信号进行组合,由此在显示面板143上显示一个图像。
[0102] 此外,显示面板143可根据每个像素输出光学信号的方法分为若干类型。例如,显示面板143可分为发光显示器、透射式显示器或反射式显示器,其中,发光显示器中像素本身发光,透射式显示器配置成阻挡或透射从背光等发出的光,以及反射式显示器配置成反射或吸收来自外部光源的入射光。
[0103] 显示面板143可使用阴极射线管(CRT)显示器、液晶显示(LCD)面板、发光二极管(LED)面板、有机发光二极管(OLED)、等离子体显示面板(PDP)、场致发射显示(FED)面板等。然而,显示面板143不限于此,并且显示面板143可使用各种显示方法,通过这些显示方法可视觉显示与图像数据相对应的图像。
[0104] 显示驱动器141根据主控制单元110的控制信号从图像处理单元200接收图像数据,并且驱动显示面板143以显示与所接收的图像数据相对应的图像。
[0105] 具体地,显示驱动器141将与图像数据对应的电信号传送至显示面板143的多个像素中的每个像素。
[0106] 为了在短时间内将电信号传送至显示面板143的全部像素,显示驱动器141可使用各种方法将电信号传送至像素中的每一个。
[0107] 例如,根据隔行扫描的方法,显示驱动器141可交替地将电信号传送至多个像素之中的奇数列的像素和偶数列的像素。
[0108] 此外,根据逐行扫描的方法,显示驱动器141以列为单位顺序地将电信号传送多个像素。
[0109] 以这种方式,当显示驱动器141将与图像数据相对应的电信号传递至显示面板143的像素中的每一个时,像素中的每一个均输出与所接收的电信号相对应的光学信号,从像素输出的光学信号进行组合并且显示面板143上显示一个图像。
[0110] 声音输出单元150可根据主控制单元110的控制信号输出与内容接收单元130接收的内容内所包括的声音数据对应的声音。声音输出单元150可包括至少一个扬声器151,扬声器151配置成将电信号转换成声音信号。
[0111] 主控制单元110可包括主处理器111和主存储器113。
[0112] 主存储器113可存储用于控制显示设备100的操作的控制程序和控制数据,以及临时存储通过输入单元120接收的用户控制命令或从主处理器111输出的控制信号。
[0113] 主存储器113可包括诸如SRAM或DRAM的易失性存储器,以及诸如闪速存储器、只读存储器(ROM)、可擦可编程序只读存储器(EPROM)或电可擦可编程只读存储器(EEPROM)的非易失性存储器。
[0114] 例如,非易失性存储器可半永久地存储用于控制显示设备100的控制程序和控制数据。易失性存储器可临时存储从非易失性存储器加载的控制程序和控制数据、通过输入单元120接收的用户控制命令或从主处理器111输出的控制信号。
[0115] 此外,非易失性存储器可与易失性存储器分开提供,并且形成易失性存储器的辅助存储设备。
[0116] 主处理器111可根据存储在主存储器113中的控制程序对存储在主存储器113中的各种类型的数据进行处理。
[0117] 例如,主处理器111可对通过输入单元120输入的用户控制命令进行处理、根据用户控制命令生成用于选择供内容接收单元130接收内容的路径的信道选择信号、以及根据用户控制命令生成用于调节从声音输出设备输出的声音的大小的音量控制信号。
[0118] 虽然上文已单独描述主处理器111和主存储器113,但是本实施方式并不局限于主处理器111和主存储器113作为单独的芯片提供的情况。主处理器111和主存储器113可作为单个芯片提供。
[0119] 主控制单元110可根据用户的控制命令控制显示设备100中所包括的各种部件的操作。具体地,主控制单元110可控制图像处理单元200对由内容接收单元130接收的图像数据执行图像处理,以及控制显示单元140显示图像已被处理的图像数据。
[0120] 下文中将描述图像处理单元200的配置。
[0121] 图3示出根据实施方式的显示设备中所包括的示例性图像处理单元。
[0122] 如上所述,图像处理单元200包括作为硬件成分的图形处理器201和图形存储器203。
[0123] 此外,图像处理单元200可包括作为软件成分的各种图像处理模块。具体地,图形处理器201可根据存储在图形存储器203中的图像处理程序和图像处理数据执行各种图像处理操作。当图像处理单元200根据由图形处理器201执行的图像处理操作进行划分时,图像处理单元200可包括如图3中所示出的各种图像处理模块。
[0124] 如图3所示,图像处理单元200可包括:图像接收模块205,配置成接收图像数据ID和元数据MD;线性化模块210,配置成将图像数据线性化;区域划分模块220,配置成基于亮度划分图像;第一映射函数生成模块231,配置成生成具有高亮度的第一区域的色调映射函数;第二映射函数生成模块232,配置成生成具有低亮度的第二区域的色调映射函数;色调映射模块240,配置成执行色调映射;以及细节增强模块250,配置成对已执行色调映射的图像执行后处理操作。
[0125] 图像接收模块205从内容接收单元130接收内容C,并且输出图像数据ID和元数据MD,其中,图像数据ID包括在接收的内容C中,元数据MD与图像数据ID相关。这里,元数据MD可包括关于图像数据ID的信息。
[0126] 线性化模块210将图像数据ID线性化,并且输出线性化的原始图像I1。
[0127] 区域划分模块220从线性化模块210接收原始图像I1,将接收的原始图像I1划分成第一区域R1和第二区域R2,并且输出第一区域R1的图像和第二区域R2的图像。
[0128] 第一映射函数生成模块231从区域划分模块220接收第一区域R1的图像,并且基于第一区域R1的图像生成并输出第一映射函数MF1。
[0129] 第二映射函数生成模块232从区域划分模块220接收第二区域R2的图像,并且基于第二区域R2的图像生成并输出第二映射函数MF2。
[0130] 色调映射模块240分别从第一映射函数生成模块231和第二映射函数生成模块232接收第一映射函数MF1和第二映射函数MF2,并且基于第一映射函数MF1和第二映射函数MF2生成色调映射函数TMF。
[0131] 此外,色调映射模块240根据生成的色调映射函数TMF在原始图像I1上执行色调映射并输出第一图像I2。
[0132] 细节增强模块250从色调映射模块240接收第一图像I2,对接收的第一图像I2执行细节增强操作,并且输出执行了细节增强的第二图像I3。
[0133] 图像处理单元200从内容接收单元130接收高动态范围的图像数据,根据所接收的高动态范围的图像数据生成低动态范围的显示图像,并且将生成的显示图像传送至显示单元140。
[0134] 下文中将描述图像处理单元200中所包括的各个模块的操作。
[0135] 首先,将对图像接收模块205进行描述。
[0136] 图像接收模块205从由内容接收单元130接收的内容C中提取图像数据ID和元数据MD。
[0137] 内容C包括表示原始图像的图像数据ID和与图像数据ID相关的元数据MD。
[0138] 元数据MD可包括图像数据ID的亮度信息。当内容C是例如视频时,元数据MD则可包括整个内容C的亮度信息、内容C中所包括的每个场景的亮度信息、内容C中所包括的每个帧的亮度信息等。这里,帧是指形成视频的单个静止图像。此外,场景是指表示单个背景中的单个条件的一系列帧的束。换言之,场景可理解为图像没有显著变化的连续帧的束。
[0139] 具体地,元数据MD可包括内容C中所包括的多个图像的最大亮度值、最小亮度值和平均亮度值。此外,元数据MD可包括每个场景中所包括的图像的最大亮度值、最小亮度值和平均亮度值。此外,元数据MD可包括形成每个帧的图像的最大亮度值、最小亮度值和平均亮度值。
[0140] 以这种方式,除图像数据ID之外,图像接收模块205还可从内容C中提取每个场景的亮度信息或每个帧的亮度信息。
[0141] 接着,将对线性化模块210进行描述。
[0142] 图4a和图4b示出根据实施方式显示设备中所包括的图像处理单元将图像数据线性化的示例性操作。此外,图5示出示例性原始图像。
[0143] 图6示出图5中所示出的原始图像的亮度直方图。
[0144] 如图4a和图4b所示,线性化模块210将从图像接收模块205接收的图像数据ID线性化,并且计算线性化的图像中所包括的像素中的每一个的亮度值。
[0145] 由于各种原因,由内容接收单元130接收的图像数据可能与实际图像不同。例如,在根据图像传感器的实际成像目标的图像与根据图像数据的图像之间可能有差异,其中,图像传感器配置成获取图像目标的图像。此外,为了传输或存储图像数据而对图像进行压缩或编码的过程期间,最初传输的图像与根据图像数据的图像之间可能有差异。
[0146] 具体地,由于高动态范围图像包括大量的信息,因此,为了通过通信网络传输图像或将图像存储在存储介质中,必须对图像进行压缩或编码。
[0147] 最大亮度为L1max和最小亮度为L1min的原始图像可转换成可识别的动态范围为N1(N0至N1)的图像数据(在这种情况下,假定L1max与L1min之间的差值是大于N1的数)。例如,可将最大亮度L1max与最小亮度L1min之间的差值为10,000尼特(nits)的原始图像压缩成可表现范围为2000尼特的图像数据。
[0148] 当图像的动态范围减小时,图像数据的尺寸减小。然而,存在将原始图像中所包括的信息的一些部分丢失的担忧。以这种方式,当原始图像的动态范围L1大于图像数据的动态范围N1时,为了使编码或压缩处理期间丢失的信息最小化,可使用图4a中示出的第一非线性映射函数F1。
[0149] 当使用第一非线性映射函数F1时,以不同的压缩比将原始图像内包括大量信息的区域和包括少量信息的区域进行压缩。换言之,在包括大量信息的区域中,图像以低压缩比进行压缩。在包括少量信息的区域中,图像以高压缩比进行压缩。因此,能够提高压缩效率,并且图像数据可包括更大的信息量。
[0150] 由内容接收单元130接收的内容C中所包括的图像数据ID可以是由图4a中示出的第一非线性映射函数F1非线性压缩的图像数据。
[0151] 线性化模块210将以这种方式非线性压缩的图像数据线性化。
[0152] 具体地,线性化模块210可使用图4b中示出的第二非线性映射函数F2和原始图像I1的亮度信息将非线性压缩的图像数据线性化。此外,原始图像I1的亮度信息可从如上所述的图像接收模块205中接收,原始图像I1的亮度信息可包括以场景为单位的最大亮度值和最小亮度值,或以帧为单位的最大亮度值和最小亮度值。
[0153] 这里,第二非线性映射函数F2可使用第一非线性映射函数F1的反函数,其中,第一非线性映射函数F1用于将原始图像压缩为图像数据。
[0154] 将原始图像压缩成图像数据的第一非线性映射函数F1与通过国际标准等公知的函数对应。因此,线性化模块210可基于第一非线性映射函数F1生成第二非线性映射函数F2。此外,第二非线性映射函数F2可预先存储在图形存储器203中。
[0155] 从内容接收单元130接收的图像数据ID可由线性化模块210恢复成原始图像。
[0156] 例如,恢复的原始图像可以是如图5中所示出的原始图像I1。
[0157] 此外,线性化模块210可分析原始图像I1的亮度。
[0158] 具体地,线性化模块210可获取原始图像I1的最大亮度值L1max、最小亮度值L1min和平均亮度值。
[0159] 线性化模块210可使用各种方法获取原始图像I1的最大亮度值L1max、最小亮度值L1min和平均亮度值。
[0160] 如上所述,可以图像数据ID的元数据MD的形式从外部设备中接收原始图像I1的最大亮度值L1max、最小亮度值L1min和平均亮度值。
[0161] 在这种情况下,可以以内容C为单位、以图像的帧为单位或以图像的场景为单位提供最大亮度值L1max、最小亮度值L1min和平均亮度值。当以场景为单位提供该值时,线性化模块210可参考先前帧的最大亮度值L1max、最小亮度值L1min和平均亮度值。
[0162] 当所接收的内容C的元数据MD不包括最大亮度值L1max、最小亮度值L1min或平均亮度值时,线性化模块210可根据线性化的原始图像直接计算最大亮度值L1max、最小亮度值L1min和平均亮度值。
[0163] 线性化模块210可使用方程式1计算原始图像I1中所包括的像素的亮度值。这里,线性化的原始图像的像素中的每一个包括红色值、绿色值和蓝色值。
[0164] 【方程式1】
[0165] L=0.2126R+0.7152G+0.0722B
[0166] (其中,L表示像素的亮度值,R表示像素的红色值,G表示像素的绿色值,以及B表示像素的蓝色值。)
[0167] 可将原始图像中所包括的像素中的每一个的亮度值表示为亮度直方图。这里,原始图像I1的亮度直方图G1表示像素根据亮度值的频率分布。即,亮度直方图G1的X轴表示亮度值,以及Y轴表示与亮度值对应的像素的数量。
[0168] 例如,线性化模块210可将图5中示出的原始图像I1表示为图6所示出的亮度直方图G1。如图6所示,在图5中所示出的原始图像I1的示例中,具有最低亮度的像素的数量最大,并且随着亮度增加,像素的数量减少。
[0169] 上文已描述了亮度直方图G1以便理解,但是这仅是用于促进理解的示例。图像处理单元200并非一定生成亮度直方图G1。图像处理单元200可根据需要生成亮度直方图G1。
[0170] 接下来,将对区域划分模块220进行描述。
[0171] 图7示出根据像素的亮度值将图5中所示出的原始图像进行划分的示例。图8示出根据亮度值将图5中所示出的原始图像进行划分所获得的示例性图像。此外,图9a和图9b示出根据亮度值将图5中所示出的原始图像进行划分所获得的另一示例性图像。
[0172] 如图7、图8和图9a和图9b所示,区域划分模块220基于根据多个像素的亮度的第一参考亮度值m将原始图像划分成第一区域R1和第二区域R2。具体地,区域划分模块220可将原始图像划分成包括亮度等于或大于参考亮度值m的像素的第一区域和包括亮度小于第一参考亮度值m的像素的第二区域。
[0173] 当举例说明图6中所示的亮度直方图G1时,可基于如图7所示的第一参考亮度值m将原始图像I1的多个像素分为第一区域R1中所包括的像素或第二区域R2中所包括的像素。
[0174] 这里,第一参考亮度值m可设置为最大亮度值或小于最大亮度值的亮度值,其中,该最大亮度值可以是从显示设备100中的最大限度输出。
[0175] 此外,第一参考亮度值m可由用户设置,或可以是预定值。
[0176] 如图8所示,当根据第一参考亮度值m将图5中所示的原始图像I1划分成第一区域R1和第二区域R2时,图像可划分成像素的亮度值等于或大于第一参考亮度值m的第一区域R1和像素的亮度值小于第一参考亮度值m的第二区域R2。
[0177] 此外,区域划分模块220可将亮度值等于或大于第一参考亮度值m的像素以及处于亮度值等于或大于第一参考亮度值m的像素附近的像素设置为第一区域R1。这是因为在执行了色调映射之后需要维持图像的连续性。
[0178] 例如,如图9a所示,区域划分模块220可将原始图像I1划分成多个区域。
[0179] 然后,区域划分模块220可设置区域,以使得包括亮度值等于或大于第一参考亮度值m的像素的区域为第一区域R1,以及划分的区域中不包括亮度值等于或大于第一参考亮度值m的像素的区域为第二区域R2。
[0180] 如图9b所示,当以这种方式将图5中所示的原始图像I1划分成第一区域R1和第二区域R2时,区域划分模块220可将亮度值等于或大于第一参考亮度值m的像素以及处于亮度值等于或大于第一参考亮度值m的这些像素附近的像素设置为第一区域R1。
[0181] 接下来,将对第一映射函数生成模块231进行描述。
[0182] 图10a和图10b示出图3中所示出的图像处理单元从第一区域提取特征点的示例。此外,图11a和图11b示出图3中所示出的图像处理单元基于第一区域的特征点生成第一映射函数的示例。图12a和图12b示出图3中所示出的图像处理单元根据第一区域的特征点生成第一映射函数的另一示例。
[0183] 如图10a、图10b、图11a、图11b、图12a和图12b所示,第一映射函数生成模块231基于第一区域R1的图像生成第一映射函数MF1。
[0184] 这里,第一映射函数MF1是指将原始图像I1内第一区域R1的作为高动态范围图像的图像转换成低动态范围图像的参数函数。换言之,第一区域R1的图像通过第一映射函数MF1转换成低动态范围图像。
[0185] 具体地,第一映射函数MF1将亮度值介于第一参考亮度值m与最大原始亮度值L1max范围之间的高动态范围图像转换成亮度值介于第二参考亮度值n与最大显示亮度值L2max范围之间的低动态范围图像。这里,第二参考亮度值n可由用户设置,或可由显示设备100的设计者预先适当地设置。
[0186] 第一映射函数生成模块231提取包括特征信息的像素,并且基于所提取的像素的直方图生成第一映射函数MF1。这里,特征信息可包括第一区域R1中所包括的图像的边缘信息、图像的纹理信息和图像的灰度信息。
[0187] 第一映射函数生成模块231可生成第一映射函数MF1,该第一映射函数MF1用于直观显示第一区域R1的边缘、直观显示图像的纹理或直观显示图像的灰度。
[0188] 例如,为了直观显示边缘区域,第一映射函数生成模块231可从第一区域R1中所包括的像素中提取这样的像素:所述像素的亮度值与相邻像素的亮度值不同并且等于或大于参考值。换言之,第一映射函数生成模块231可从图10a中示出的第一区域R1的图像中提取如图10b所示的像素FP:像素具有的亮度值等于或大于参考值,与相邻象素的亮度值不同。这里,可将亮度值等于或大于参考值、与相邻象素的亮度值不同的像素确定为定位在图像的边缘区域处。
[0189] 此外,第一映射函数生成模块231可计算定位在边缘区域的像素(所述像素的亮度值等于或大于参考值、与相邻象素的亮度值不同)的频率分布。
[0190] 如图11a所示,可将定位在边缘区域的像素的频率分布表示为边缘直方图G2。具体地,边缘直方图G2的X轴表示亮度值,以及Y轴表示亮度值等于或大于参考值、与相邻象素的亮度值不同的像素的数量。
[0191] 如图11a所示,定位在边缘区域处的像素的数量在亮度值p附近时最大。在除亮度值p附近以外的亮度值中,亮度值等于或大于参考值、与相邻象素的亮度值不同的像素的数量很小。
[0192] 为了将显示在显示设备100上的图像的边缘区域直观显示,第一映射函数生成模块231可为边缘区域像素数量多的亮度范围分配显示在显示设备100上的较宽的亮度范围,以及为边缘区域像素数量少的亮度范围分配显示在显示设备100上的较窄的亮度范围。
[0193] 具体地,如图11b所示,第一映射函数生成模块231可生成第一映射函数MF1,在第一映射函数MF1中,定位在边缘区域处的像素数量多的位置处亮度值具有大的斜率,以及定位在边缘区域处的像素的数量少的位置处亮度值具有小的斜率。具体地,为了生成第一映射函数MF1,第一映射函数生成模块231可将通过对边缘直方图G2进行积分而获得的累计边缘直方图确定为第一映射函数MF1。
[0194] 然而,通过第一映射函数生成模块231生成的第一映射函数MF1不限于此。
[0195] 例如,当边缘直方图G2与图12a相同时,第一映射函数生成模块231可生成如图12b所示的第一映射函数MF1。
[0196] 具体地,如图12b所示,第一映射函数生成模块231可生成第一映射函数MF1,第一映射函数MF1在定位于边缘区域处的像素的数量大的位置处的亮度值上具有恒定的斜率。
[0197] 作为另一示例,为了直观显示图像的纹理,第一映射函数生成模块231可提取亮度值在恒定范围内变化的区域的像素。可将亮度值在恒定范围内变化的区域确定为呈现纹理的区域。
[0198] 此外,第一映射函数生成模块231可计算呈现纹理的区域(亮度值在恒定范围内变化的区域)的像素的频率分布。
[0199] 此外,第一映射函数生成模块231可生成第一映射函数,在第一映射函数中,呈现纹理的区域的像素数量多的位置处的亮度值附近出现大的斜率:以及呈现纹理的区域中的像素数量少的位置处的亮度值附近出现小的斜率。
[0200] 作为另一示例,为了直观显示图像的灰度,第一映射函数生成模块231可提取亮度值不断且连续地变化的区域的像素。可将亮度值不断地且连续地变化的区域确定为呈现灰度的区域。
[0201] 此外,第一映射函数生成模块231可计算呈现灰度的区域(亮度值不断地且连续地变化的区域)的像素的频率分布。
[0202] 此外,第一映射函数生成模块231可生成第一映射函数,在第一映射函数中,呈现灰度的区域的像素数量大的位置处的亮度值具有大斜率,以及呈现灰度的区域的像素数量少的位置处的亮度值具有小斜率。
[0203] 以这种方式,为了直观显示第一区域R1的图像中所包括的各项图像信息,第一映射函数生成模块231可生成各种第一映射函数MF1。
[0204] 具体地,为了直观显示第一区域R1的图像中所包括的各项图像信息,第一映射函数生成模块231可计算包括特征信息的像素的频率分布,并且基于生成的频率分布生成第一映射函数MF1。
[0205] 接下来,将对第二映射函数生成模块232进行描述。
[0206] 图13a和图13b示出图3中所示出的图像处理单元基于第二区域的图像生成第二映射函数的示例。
[0207] 如图13a和图13b所示,第二映射函数生成模块232基于第二区域R2的图像生成第二映射函数MF2。
[0208] 这里,第二映射函数MF2是指将原始图像I1内第二区域R2的作为高动态范围图像的图像转换成低动态范围图像的参数函数。换言之,第二区域R2的图像通过第二映射函数MF2转换成低动态范围图像。
[0209] 具体地,第二映射函数MF2将亮度值介于最小原始亮度值L1min与参考亮度值m范围之间的高动态范围图像转换成亮度值介于最小显示亮度值L2min与第二参考亮度值n范围之间的低动态范围图像。这里,如上所述,第二参考亮度值n可由用户设置,或可由显示设备100的设计者预先适当地设置。
[0210] 具体地,第二映射函数生成模块232提取第二区域R2的亮度信息,并且基于提取的亮度信息生成第二映射函数MF2。
[0211] 如图13a所示,第二区域R2的亮度信息可基于原始图像I1的亮度直方图G1获取。
[0212] 第二映射函数生成模块232可生成第二映射函数MF2,以用于充分地保持第二区域R2的明亮度,并且防止第二区域R2的图像中所包括的图像信息丢失。
[0213] 例如,第二映射函数生成模块232可为像素数量多的亮度区域分配显示在显示设备100上的较宽的亮度范围,以及为像素数量少的亮度区域分配显示在显示设备100上的较窄的亮度范围。
[0214] 具体地,如图13a所示,当随着亮度值增加像素的数量减少时,第二映射函数生成模块232可生成第二映射函数MF2,如图13b所示,在第二映射函数MF2中,随着亮度值增加斜率减小。具体地,为了生成第二映射函数MF2,第二映射函数生成模块232可基于通过对亮度直方图G1进行积分而获得的累计亮度直方图生成第二映射函数MF2。
[0215] 然而,通过第二映射函数生成模块232生成的第二映射函数MF2不限于此。
[0216] 例如,第二映射函数生成模块232可生成线性色调映射函数、对数色调映射函数等。
[0217] 线性色调映射函数将高动态范围图像转换成低动态范围图像,以使得高动态范围图像的亮度值和低动态范围图像的亮度值具有线性关系。
[0218] 线性色调映射函数,作为维持像素之间的对比度的色调映射函数,具有的优势在于原始图像I1与显示图像I2(也称为第一图像I2)之间很少出现视觉差异。
[0219] 对数色调映射函数将高动态范围图像转换成低动态范围图像,以使得高动态范围图像的亮度值和低动态范围图像的亮度值具有对数函数的关系。
[0220] 在对数色调映射函数中,使用了这样的特征:依据韦伯定律人类视觉特征类似于对数函数增加。韦伯定律表明,人类的眼睛会感测暗区中的明亮度的轻微的变化,但是不易感测亮区中的明亮度的大的变化。
[0221] 对数色调映射函数通常根据对数函数的特征增加图像的明亮度,并且在图像的暗区具有高对比度效果。
[0222] 以这种方式,第二映射函数生成模块232可基于对数函数生成第二映射函数,或基于分区式系统生成第二映射函数。
[0223] 接下来,将对色调映射模块240进行描述。
[0224] 图14示出由图3中所示出的图像处理单元生成的示例性色调映射函数。图15a和图15b示出当相关技术的显示设备对高动态范围图像执行色调映射时获得的结果。图16a和图
16b示出根据实施方式的显示设备对高动态范围图像执行色调映射时获得的结果。
[0225] 如图14、图15a、图15b和图16a和图16b所示,色调映射模块240组合第一映射函数MF1和第二映射函数MF2、生成色调映射函数MF并且利用色调映射函数MF对原始图像I1执行色调映射。
[0226] 这里,色调映射函数MF是指将作为高动态范围图像的原始图像I1转换成低动态范围图像的参数函数。换言之,原始图像I1根据色调映射函数MF转换成作为低动态范围图像的显示图像I2。
[0227] 具体地,色调映射函数MF将原始图像I1转换成显示图像I2,其中,原始图像I1的亮度值介于最小原始亮度值L1min与最大原始亮度值L1max范围之间,显示图像I2的亮度值介于最小显示亮度值L2min与最大显示亮度值L2max范围之间。
[0228] 当将图11b中示出的第一映射函数MF1和图13b中示出的第二映射函数MF2组合时,会生成根据图14中示出的实施方式的色调映射函数MF。
[0229] 以这种方式生成的色调映射函数MF可保持作为低亮度区域的第二区域R2的图像的明亮度,以及保持作为高亮度区域的第一区域R1的图像的特征信息。
[0230] 色调映射模块240可在原始图像I1上执行色调映射,并且生成第一图像I2。具体地,色调映射模块240可向色调映射函数MF应用原始图像I1中所包括的所有像素的亮度值,并且因此,执行色调映射。
[0231] 这里,第一图像I2具有与可从显示设备100输出的亮度范围相同的亮度范围。
[0232] 以这种方式,与基于对数函数的色调映射函数MF3相比,通过色调映射模块240生成的可保持低亮度区域的明亮度和高亮度区域的特征信息的色调映射函数MF可更直观显示高亮度区域中的图像。
[0233] 例如,当使用图15a中示出的基于对数函数的色调映射函数MF3对图5中示出的原始图像I1执行色调映射时,输出图15b中示出的显示图像I2。
[0234] 此外,当使用图16a中示出的色调映射函数MF对图5中示出的原始图像I1执行色调映射时,输出图16b中示出的显示图像I2。
[0235] 如图15b所示,在通过基于对数函数的色调映射函数MF3已执行色调映射的显示图像I2中,高亮度区域R1中不会直观地显示图像。另一方面,如图16b所示,在通过由色调映射模块240生成的色调映射函数MF已执行色调映射的显示图像I2中,高亮度区域R1中直观地显示了图像。
[0236] 接下来,将对细节增强模块250进行描述。
[0237] 为了为用户提供进一步直观的图像,细节增强涉及对已执行色调映射的图像I2的处理。
[0238] 这种细节增强可包括各种图像处理技术,诸如,对比度增强、直方图均衡化、图像锐化和图像平滑,其中,通过对比度增强最大化图像的亮区和暗区之间的差异;通过直方图均衡化调节直方图,从而将具有低对比度分布的图像变成具有统一对比度分布的图像;通过图像锐化细致地转换图像;以及通过图像平滑柔和地转换图像。
[0239] 细节增强模块250可利用早已公知的各种图像处理技术对第一图像I2进行处理,并且输出执行了细节增强的第二图像I3。
[0240] 以这种方式,图像处理单元200可将原始图像I1划分成第一区域R1(即,高亮度区域)和第二区域R2(即,低亮度区域),基于诸如图像的边缘、图像的纹理或图像的灰度的图像特征在第一区域R1上执行色调映射,以及基于图像的明亮度在第二区域R2上执行色调映射。
[0241] 因此,图像处理单元200可处理原始图像I1,以使得作为高动态范围图像的原始图像I1直观地显示在具有低动态范围的显示面板143上。
[0242] 下文中,将对根据实施方式的显示设备100的操作进行描述。
[0243] 图17示出根据实施方式的显示设备的示例性高动态范围图像显示操作。
[0244] 如图17所示,将对显示设备100的高动态范围图像的显示操作(1000)进行描述。
[0245] 显示设备100从外界接收图像(1010)。显示设备100可通过内容接收单元130从外界接收内容,并且提取所接收的内容中所包括的图像数据ID和元数据MD。
[0246] 元数据MD是包括关于图像数据ID的信息的数据,并且元数据MD可包括以场景的单位的亮度信息或以帧为单位的亮度信息。具体地,元数据MD可包括整个内容C的最大亮度值、最小亮度值和平均亮度值,每个场景中所包括的图像的最大亮度值、最小亮度值和平均亮度值,或形成每个帧的图像的最大亮度值、最小亮度值和平均亮度值。
[0247] 提取图像数据ID和元数据MD,然后,显示设备100将所接收的图像线性化(1020)。为了获取原始图像I1,显示设备100可将图像数据线性化。
[0248] 具体地,显示设备100的图像处理单元200可使用第二非线性映射函数F2,并且将图像数据恢复为原始图像I1。此外,图像处理单元200可基于恢复的原始图像I1中所包括的像素中的每一个的色值,计算原始图像I1的亮度信息。
[0249] 将图像线性化,然后,显示设备100将原始图像I1划分成多个区域(1030)。显示设备100可将原始图像I1划分成第一区域R1和第二区域R2,其中,第一区域R1是高亮度区域,第二区域R2是低亮度区域。
[0250] 具体地,显示设备100的图像处理单元200可将原始图像I1划分成第一区域R1和第二区域R2,其中,第一区域R1包括亮度值等于或大于参考亮度值的像素,第二区域R2包括亮度值小于参考亮度值m的像素。
[0251] 划分图像,然后,显示设备100生成第一映射函数MF1和第二映射函数MF2(1040)。显示设备100可生成第一区域R1的图像的第一映射函数MF1和第二区域R2的图像的第二映射函数MF2。
[0252] 具体地,显示设备100的图像处理单元200可从第一区域R1的图像中提取包括诸如边缘、纹理和灰度的特征信息的像素,并且基于包括特征信息的像素的直方图生成第一映射函数MF1。
[0253] 此外,图像处理单元200可基于第二区域R2的图像的亮度直方图生成第二映射函数MF2。
[0254] 在生成第一映射函数MF1和第二映射函数MF2之后,显示设备100生成色调映射函数并且在原始图像I1上执行色调映射(1050)。显示设备100可使用组合了第一映射函数MF1和第二映射函数MF2的色调映射函数MF,并且根据原始图像I1生成第一图像I2。
[0255] 具体地,显示设备100的图像处理单元200可组合第一映射函数MF1和第二映射函数MF2,并且生成色调映射函数MF。此外,图像处理单元200可向色调映射函数MF应用原始图像I1中所包括的所有像素的亮度值,并且根据原始图像I1生成第一图像I2。
[0256] 执行色调映射,然后,显示设备100对第一图像I2执行细节增强(1060)。为了进一步直观地显示第一图像I2,显示设备100可对第一图像I2执行诸如对比度增强的图像处理。
[0257] 具体地,显示设备100的图像处理单元200可对第一图像I2执行诸如对比度增强的细节增强,由此生成第二图像I3。
[0258] 执行细节增强,然后,显示设备100显示图像(1070)。显示设备100可通过显示单元140显示第二图像I3。
[0259] 以这种方式,显示设备100可将原始图像I1划分成第一区域R1(即,高亮度区域)和第一区域R2(即,低亮度区域),基于诸如图像的边缘、纹理或灰度的图像特征在第一区域R1上执行色调映射,以及基于图像的明亮度在第二区域R2上执行色调映射。
[0260] 因此,显示设备100可处理原始图像I1,以使得作为高动态范围图像的原始图像I1直观地显示在具有低动态范围的显示面板143上。
[0261] 上文已对根据实施方式的显示设备100和其中包括的图像处理单元200的示例性结构和操作进行了描述。
[0262] 然而,显示设备100中所包括的图像处理单元并不局限于图3中示出的图像处理单元200,而是各种显示设备100可包括各种图像处理单元。
[0263] 下文中,将对根据实施方式的显示设备100中所包括的各种图像处理单元进行描述。与上文描述的图像处理单元200的配置相同的配置使用相同的参考标记表示。
[0264] 图18示出根据实施方式的显示设备中所包括的另一示例性图像处理单元。图19a和图19b和图20示出图18中所示出的图像处理单元生成色调映射函数的示例。
[0265] 如图18所示,图像处理单元200’可包括:图像接收模块205,配置成接收图像数据ID和元数据MD;线性化模块210,配置成将图像数据线性化;区域划分模块220,配置成基于亮度划分图像;第一映射函数生成模块231,配置成生成高亮度区域的色调映射函数;色调映射模块240’,配置成执行色调映射;以及细节增强模块250,配置成对已执行色调映射的图像执行后处理操作。
[0266] 图像接收模块205从由内容接收单元130接收的内容C中提取图像数据ID和元数据MD。这里,内容C包括表示原始图像的图像数据ID和与图像数据ID相关的元数据MD。元数据MD可包括图像数据ID的亮度信息。当内容C是例如视频时,元数据MD则可包括整个内容C的亮度信息、内容C中所包括的每个场景的亮度信息和内容C中所包括的每个帧的亮度信息中至少一个。
[0267] 线性化模块210将从图像接收模块205接收的图像数据ID线性化,并且分析线性化的图像的亮度。具体地,当内容C的元数据MD中不包括最大亮度值L1max、最小亮度值L1min或平均亮度值时,线性化模块210可根据线性化的原始图像直接计算最大亮度值L1max、最小亮度值L1min和平均亮度值。
[0268] 区域划分模块220根据多个像素的亮度基于第一参考亮度值m将原始图像划分成第一区域R1和第二区域R2。具体地,区域划分模块220可将原始图像划分成第一区域和第二区域,其中,第一区域包括亮度等于或大于参考亮度值m的像素,第二区域包括亮度小于第一参考亮度值m的像素。
[0269] 第一映射函数生成模块231从第一区域R1中提取包括特征信息的像素,并且基于所提取的像素的直方图生成第一映射函数MF1。这里,特征信息可包括第一区域R1中所包括的图像的边缘信息、图像的纹理信息和图像的灰度信息。
[0270] 色调映射模块240’基于原始图像I1和第一映射函数MF1生成色调映射函数MF,并且利用色调映射函数MF对原始图像I1执行色调映射。
[0271] 这里,色调映射函数MF是指将作为高动态范围图像的原始图像I1转换成低动态范围图像的参数函数。换言之,原始图像I1通过色调映射函数MF转换成作为低动态范围图像的显示图像I2。
[0272] 首先,色调映射模块240’基于原始图像I1的亮度信息生成临时色调映射函数MF’。这里,临时色调映射函数MF’可用来最终生成色调映射函数MF。
[0273] 如图19a所示,原始图像I1的亮度信息可基于原始图像I1的亮度直方图G1获取。
[0274] 色调映射模块240’可生成临时色调映射函数MF’,以用于充分地维持原始图像I1的明亮度,并且防止原始图像I1中所包括的图像信息丢失。
[0275] 例如,色调映射模块240’可为像素数量多的亮度区域分配显示在显示设备100上的较宽的亮度范围,以及为像素数量少的亮度区域分配显示在显示设备100上的较窄的亮度范围。
[0276] 具体地,如图19a所示,当随着亮度值增加而像素的数量减少时,色调映射模块240’可生成临时色调映射函数MF’,如图19b所示,在临时色调映射函数MF’中,随着亮度值增加斜率减小。具体地,为了生成临时色调映射函数MF’,色调映射模块240’可将通过对亮度直方图G1进行积分而获得的累计亮度直方图确定为临时色调映射函数MF’。
[0277] 然而,通过色调映射模块240’生成的临时色调映射函数MF’不限于此。
[0278] 例如,色调映射模块240’可基于早已公知的对数函数生成色调映射函数,或基于早已公知的分区式系统生成色调映射函数。
[0279] 已生成临时色调映射函数MF’的色调映射模块240’将临时色调映射函数MF’与从第一映射函数生成模块231接收的第一映射函数MF1组合,并且生成色调映射函数MF。
[0280] 色调映射模块240’可使用各种方法将临时色调映射函数MF’与第一映射函数MF1组合。
[0281] 例如,色调映射模块240’可将高亮度区域的临时色调映射函数MF’与第一映射函数MF1合成,并且生成色调映射函数MF。
[0282] 具体地,色调映射模块240’可执行归一化,以使得第一映射函数MF1的输出具有“0”和“1”之间的值,将参考亮度值m以上的临时色调映射函数MF’与归一化的第一映射函数MF1合成,由此生成色调映射函数MF。
[0283] 因此,通过临时色调映射函数MF’对原始图像I1执行色调映射,并且可通过第一映射函数MF1对原始图像I1内的第一区域R1中所包括的图像再次执行色调映射。
[0284] 作为另一示例,色调映射模块240’可用第一映射函数MF1代替高亮度区域的临时色调映射函数MF’。具体地,色调映射模块240’可用第一映射函数MF1代替临时色调映射函数MF’内的参考亮度值m以上的部分。
[0285] 在这种情况下,色调映射模块240’可计算与参考亮度值m对应的低动态范围的亮度值l,并且基于计算的低动态范围的参考亮度值l与低动态范围的最大亮度值L2max之间的差值,标度第一映射函数MF1的输出范围。具体地,色调映射模块240’可标度第一映射函数MF1的输出范围,以使得第一映射函数MF1的输出介于低动态范围的参考亮度值l与低动态范围的最大亮度值L2max范围之间。
[0286] 当将图19b中示出的临时色调映射函数MF’和图11b中示出的第一映射函数MF1组合时,会生成图20中示出的色调映射函数MF。
[0287] 以这种方式生成的色调映射函数MF可保持原始图像I1的明亮度以及保持作为高亮度区域的第一区域R1的图像的特征信息。
[0288] 已生成色调映射函数MF的色调映射模块240’可使用色调映射函数MF对原始图像I1执行色调映射,并且生成第一图像I2。具体地,色调映射模块240’可向色调映射函数MF应用原始图像I1中所包括的所有像素的亮度值,并且因此,执行色调映射。
[0289] 这里,第一图像I2具有与可从显示设备100输出的亮度范围相同的亮度范围。
[0290] 以这种方式,通过色调映射模块240’生成的可保持低亮度区域的明亮度和高亮度区域的特征信息的色调映射函数MF与基于对数函数的色调映射函数相比,可更直观显示高亮度区域中的图像。
[0291] 为了为用户提供进一步直观的图像,细节增强模块250对已执行色调映射的图像I2进行处理。这里,细节增强可包括各种图像处理技术,诸如,对比度增强、直方图均衡化、图像锐化和图像平滑,其中,通过对比度增强最大化图像的亮区和暗区之间的差异;通过直方图均衡化调节直方图从而将具有低对比度分布的图像变成具有统一对比度分布的图像;通过图像锐化细致地转换图像;以及通过图像平滑柔和地转换图像。
[0292] 下文中,将对根据实施方式的显示设备100的操作进行描述。
[0293] 图21示出根据实施方式的显示设备的另一示例性高动态范围图像显示操作。
[0294] 如图21所示,将对显示设备100的高动态范围图像显示操作(1100)进行描述。
[0295] 显示设备100从外界接收图像(1110)。显示设备100可通过内容接收单元130从外界接收内容,并且提取所接收的内容中所包括的图像数据ID和元数据MD。
[0296] 元数据MD是包括关于图像数据ID的信息的数据,并且元数据MD可包括以场景为单位的亮度信息或以帧为单位的亮度信息。具体地,元数据MD可包括整个内容C的最大亮度值、最小亮度值和平均亮度值,每个场景中所包括的图像的最大亮度值、最小亮度值和平均亮度值,或形成每个帧的图像的最大亮度值、最小亮度值和平均亮度值。
[0297] 提取图像数据ID和元数据MD,然后,显示设备100将所接收的图像线性化(1120)。为了获取原始图像I1,显示设备100可将图像数据线性化。
[0298] 具体地,显示设备100的图像处理单元200’可使用第二非线性映射函数F2,并且将图像数据恢复为原始图像I1。此外,图像处理单元200’可基于恢复的原始图像I1中所包括的像素中的每一个的色值,计算原始图像I1的亮度信息。
[0299] 将图像线性化,然后,显示设备100从原始图像I1检测第一区域(1130)。显示设备100可从原始图像I1检测作为高亮度区域的第一区域R1。
[0300] 具体地,显示设备100的图像处理单元200’可从原始图像I1检测第一区域R1,第一区域R1包括亮度值等于或大于参考亮度值m的像素。
[0301] 检测第一区域R1,然后,显示设备100生成第一映射函数MF1(1140)。显示设备100可生成第一区域R1的图像的第一映射函数MF1。
[0302] 具体地,显示设备100的图像处理单元200’可从第一区域R1的图像中提取包括诸如边缘、纹理和灰度的特征信息的像素,并且基于包括特征信息的像素的直方图生成第一映射函数MF1。
[0303] 在生成第一映射函数MF1之后,显示设备100生成色调映射函数并且对原始图像I1执行色调映射(1150)。显示设备100可生成临时色调映射函数MF’,并且根据原始图像I1利用临时色调映射函数MF’和第一映射函数MF1生成第一图像I2。
[0304] 具体地,显示设备100的图像处理单元200’可基于原始图像I1的亮度直方图生成临时色调映射函数MF’,将临时色调映射函数MF’与第一映射函数MF1组合并生成色调映射函数MF。
[0305] 此外,图像处理单元200’可向色调映射函数MF应用原始图像I1中所包括的所有像素的亮度值,由此根据原始图像I1生成第一图像I2。
[0306] 执行色调映射,然后,显示设备100对第一图像I2执行细节增强(1160)。为了进一步直观地显示第一图像I2,显示设备100可对第一图像I2执行诸如对比度增强的图像处理。
[0307] 具体地,显示设备100的图像处理单元200’可对第一图像I2执行诸如对比度增强的细节增强,由此生成第二图像I3。
[0308] 执行细节增强,然后,显示设备100显示图像(1170)。显示设备100可通过显示单元140显示第二图像I3。
[0309] 以这种方式,显示设备100可从原始图像I1检测第一区域R1,基于图像的明亮度对原始图像I1执行色调映射,然后,基于诸如边缘、纹理或灰度的图像特征在第一区域R1上执行色调映射。
[0310] 因此,显示设备100可处理原始图像I1,以使得作为高动态范围图像的原始图像I1直观地显示在具有低动态范围的显示面板143上。
[0311] 图22示出根据实施方式的显示设备中所包括的另一示例性图像处理单元。此外,图23a和图23b示出图22中所示出的图像处理单元对第一区域的图像执行色调映射的示例。图24a和图24b示出图22中所示出的图像处理单元对第二区域的图像执行色调映射的示例。
此外,图25示出根据实施方式的显示设备的另一示例性高动态范围图像显示操作。
[0312] 如图22所示,图像处理单元200”可包括:图像接收模块205,配置成接收图像数据ID和元数据MD;线性化模块210,配置成将图像数据线性化;区域划分模块220,配置成根据亮度划分图像;第一色调映射模块241,配置成在高亮度区域上执行色调映射;第二色调映射模块242,配置成在低亮度区域上执行色调映射;图像合成模块260,配置成将已执行色调映射的图像合成;以及细节增强模块250,配置成对图像执行后处理操作。
[0313] 图像接收模块205从由内容接收单元130接收的内容C中提取图像数据ID和元数据MD。这里,内容C包括表示原始图像的图像数据ID和与图像数据ID相关的元数据MD。元数据MD可包括图像数据ID的亮度信息。当内容C是例如视频时,元数据MD可包括整个内容C的亮度信息、内容C中所包括的每个场景的亮度信息和内容C中所包括的每个帧的亮度信息中至少一个。
[0314] 线性化模块210将从图像接收模块205接收的图像数据ID线性化,并且分析线性化的图像的亮度。具体地,当内容C的元数据MD中不包括最大亮度值L1max、最小亮度值L1min或平均亮度值时,线性化模块210可根据线性化的原始图像直接计算最大亮度值L1max、最小亮度值L1min和平均亮度值。
[0315] 区域划分模块220基于根据多个像素的亮度的第一参考亮度值m将原始图像划分成第一区域R1和第二区域R2。具体地,区域划分模块220可将原始图像划分成第一区域和第二区域,其中,第一区域包括亮度等于或大于参考亮度值m的像素,以及第二区域包括亮度小于第一参考亮度值m的像素。
[0316] 第一色调映射模块241基于第一区域R1的图像生成第一映射函数MF1,并且使用第一映射函数MF1对第一区域R1的图像执行色调映射。
[0317] 这里,第一映射函数MF1是指将第一区域R1的作为高动态范围图像的图像转换成低动态范围图像的参数函数。换言之,第一区域R1的图像通过第一映射函数MF1转换成低动态范围图像。
[0318] 具体地,第一映射函数MF1将亮度值介于第一参考亮度值m与最大原始亮度值L1max范围之间的高动态范围图像转换成亮度值介于第二参考亮度值n与最大显示亮度值L2max范围之间的低动态范围图像。
[0319] 第一色调映射模块241提取包括特征信息的像素,并且基于所提取的像素的直方图生成第一映射函数MF1。这里,特征信息可包括第一区域R1中所包括的图像的边缘信息、图像的纹理信息和图像的灰度信息。
[0320] 例如,为了直观显示边缘区域,第一色调映射模块241可从第一区域R1中所包括的像素中提取这样的像素:所述像素的亮度值与相邻象素不同并且等于或大于参考值的亮度值;并且基于所提取的像素的直方图生成第一映射函数MF1。
[0321] 此外,第一色调映射模块241根据第一映射函数MF1对第一区域R1的图像执行色调映射,并且生成第一区域显示图像I2a。
[0322] 例如,第一色调映射模块241可使用图23a中示出的第一映射函数MF1对图8中示出的第一区域R1的图像执行色调映射,并且输出如图23b所示的第一区域显示图像I2a。
[0323] 第二色调映射模块242基于第二区域R2的图像生成第二映射函数MF2,并且使用第二映射函数MF2对第二区域R2的图像执行色调映射。
[0324] 这里,第二映射函数MF2是指将第二区域R2的作为高动态范围图像的图像转换成作为低动态范围图像的参数函数。换言之,第二区域R2的图像通过第二映射函数MF2转换成低动态范围图像。
[0325] 具体地,第二映射函数MF2将亮度值介于最小原始亮度值L1min与第一参考亮度值m范围之间的高动态范围图像转换成亮度值介于最小显示亮度值L2min与第二参考亮度值n范围之间的低动态范围图像。
[0326] 第二色调映射模块242基于第二区域R2的图像的亮度直方图生成第二映射函数MF2。具体地,第二色调映射模块242可基于通过对第二区域R2的图像的亮度直方图进行积分而获得的累计亮度直方图生成第二映射函数MF2。
[0327] 然而,本实施方式不限于此。第二色调映射模块242可基于线性函数、对数函数等生成第二映射函数MF2。
[0328] 此外,第二色调映射模块242根据第二映射函数MF2对第二区域R2的图像执行色调映射,并且生成第二区域显示图像I2b。
[0329] 例如,当使用图24a中示出的第二映射函数MF2对图8中示出的第二区域R2的图像执行色调映射时,第二色调映射模块242可生成如图24b所示的第二区域显示图像I2b。
[0330] 图像合成模块260将从第一色调映射模块241接收的第一区域显示图像I2a与从第二色调映射模块242接收的第二区域显示图像I2b合成,并且生成第一图像I2。
[0331] 例如,图像合成模块260可将第一区域显示图像I2a与图24b中示出的第二区域显示图像I2b合成,并且生成第一图像I2。
[0332] 以这种方式,第一色调映射模块241可使用高亮度区域的特征信息执行色调映射。第二色调映射模块242可使用低亮度区域的明亮度信息执行色调映射。此外,图像合成模块可将从第一色调映射模块241输出的第一区域显示图像I2a与从第二色调映射模块242输出的第二区域显示图像I2b合成。
[0333] 为了为用户提供进一步直观的图像,细节增强模块250对已执行色调映射的图像I2进行处理。这里,细节增强可包括各种图像处理技术,诸如,对比度增强、直方图均衡化、图像锐化和图像平滑,其中,通过对比度增强最大化图像的亮区和暗区之间的差异;通过直方图均衡化调节直方图,从而将具有低对比度分布的图像变成具有统一对比度分布的图像;通过图像锐化细致地转换图像;以及通过图像平滑柔和地转换图像。
[0334] 下文中,将对根据实施方式的显示设备100的操作进行描述。
[0335] 图25示出根据实施方式的显示设备的另一示例性高动态范围图像显示操作。
[0336] 如图25所示,将对显示设备100的高动态范围图像显示操作(1200)进行描述。
[0337] 显示设备100从外界接收图像(1210)。显示设备100可通过内容接收单元130从外界接收内容,并且提取所接收的内容中所包括的图像数据ID和元数据MD。
[0338] 元数据MD是包括关于图像数据ID的信息的数据,并且元数据MD可包括以场景为单位的亮度信息或以帧为单位的亮度信息。具体地,元数据MD可包括整个内容C的最大亮度值、最小亮度值和平均亮度值,每个场景中所包括的图像的最大亮度值、最小亮度值和平均亮度值,或形成每个帧的图像的最大亮度值、最小亮度值和平均亮度值。
[0339] 提取图像数据ID和元数据MD,然后,显示设备100将所接收的图像线性化(1120)。为了获取原始图像I1,显示设备100可将图像数据线性化。
[0340] 具体地,显示设备100的图像处理单元200”可使用第二非线性映射函数F2,并且将图像数据恢复为原始图像I1。此外,图像处理单元200”可基于恢复的原始图像I1中所包括的像素中的每一个的色值,计算原始图像I1的亮度信息。
[0341] 将图像线性化,然后,显示设备100将原始图像I1划分成多个区域(1230)。显示设备100可将原始图像I1划分成第一区域R1和第二区域R2,其中,第一区域R1是高亮度区域,第二区域R2是低亮度区域。
[0342] 具体地,显示设备100的图像处理单元200”可将原始图像I1划分成第一区域R1和第二区域R2,其中,第一区域R1包括亮度值等于或大于参考亮度值m的像素,以及第二区域R2包括亮度值小于参考亮度值m的像素。
[0343] 在划分图像之后,显示设备100生成第一映射函数MF1并对第一区域R1的图像执行色调映射(1240)。
[0344] 显示设备100可生成第一区域R1的图像的第一映射函数MF1。具体地,显示设备100的图像处理单元200”可从第一区域R1的图像中提取包括诸如边缘、纹理和灰度的特征信息的像素,并且基于与包括特征信息的像素相关的直方图生成第一映射函数MF1。
[0345] 此外,显示设备100可对第一区域R1的图像执行色调映射。具体地,显示设备100的图像处理单元200”可使用第一映射函数MF1,对第一区域R1的图像执行色调映射,并且生成第一区域显示图像I2a。
[0346] 此外,显示设备100生成第二映射函数MF2并对第二区域R2的图像执行色调映射(1250)。
[0347] 显示设备100可生成第二区域R2的图像的第二映射函数MF2。具体地,显示设备100的图像处理单元200”可基于第二区域R2的亮度直方图生成第二映射函数MF2。
[0348] 此外,显示设备100可对第二区域R2的图像执行色调映射。具体地,显示设备100的图像处理单元200”可使用第二映射函数MF2,对第二区域R2的图像执行色调映射,并且生成第二区域显示图像I2b。
[0349] 执行色调映射,然后,显示设备100将已执行色调映射的图像合成(1260)。具体地,显示设备100的图像处理单元200”可将第一区域显示图像I2a和第二区域显示图像I2b合成,并且生成第一图像I2。
[0350] 然后,显示设备100对第一图像I2执行细节增强(1270)。为了进一步直观地显示第一图像I2,显示设备100可对第一图像I2执行诸如对比度增强的图像处理。
[0351] 具体地,显示设备100的图像处理单元200”可对第一图像I2执行诸如对比度增强的细节增强,由此生成第二图像I3。
[0352] 执行细节增强,然后,显示设备100显示图像(1280)。显示设备100可通过显示单元140显示第二图像I3。
[0353] 以这种方式,显示设备100可将原始图像I1划分成作为高亮度区域的第一区域R1和作为低亮度区域的第一区域R2,基于诸如图像的边缘、纹理或灰度的图像特征在第一区域R1上执行色调映射,以及基于图像的明亮度在第二区域R2上执行色调映射。
[0354] 因此,显示设备100可处理原始图像I1,以使得高动态范围图像的原始图像I1直观地显示在具有低动态范围的显示面板143上。
[0355] 图26示出根据实施方式显示设备中所包括的另一示例性图像处理单元。图27示出由图26中所示出的图像处理单元生成的第三映射函数。
[0356] 如图26和图27所示,图像处理单元200”’可包括:图像接收模块205,配置成接收图像数据ID和元数据MD;线性化模块210,配置成将图像数据线性化;第三映射函数生成模块233,配置成生成高动态范围图像的色调映射函数;色调映射模块240,配置成执行色调映射;以及细节增强模块250,配置成对已执行色调映射的图像执行后处理操作。
[0357] 图像接收模块205从由内容接收单元130接收的内容C中提取图像数据ID和元数据MD。这里,内容C包括表示原始图像的图像数据ID和与图像数据ID相关的元数据MD。元数据MD可包括图像数据ID的亮度信息。当内容C是例如视频时,元数据MD可包括整个内容C的亮度信息、内容C中所包括的每个场景的亮度信息和内容C中所包括的每个帧的亮度信息中至少一个。
[0358] 线性化模块210将从图像接收模块205接收的图像数据ID线性化,并且分析线性化的图像的亮度。具体地,当内容C的元数据MD中不包括最大亮度值L1max和最小亮度值L1min时,线性化模块210可根据线性化的原始图像直接计算最大亮度值L1max和最小亮度值L1min。
[0359] 第三映射函数生成模块233从图像接收模块205接收元数据MD,并且基于所接收的元数据MD生成第三映射函数MF3。这里,元数据MD可包括整个内容C的亮度信息,即,整个内容C的最大亮度值L1max和最小亮度值L1min。
[0360] 此外,第三映射函数MF3可限定在内容C的最大亮度值L1max与最小亮度值L1min之间。换言之,向第三映射函数MF3输入的最大值是内容C的最大亮度值L1max,以及向第三映射函数MF3输入的最小值是内容C的最小亮度值L1min。
[0361] 以这种方式,通过基于整个内容C的亮度信息生成的第三映射函数MF3,可对整个内容C中所包括的原始图像I1执行色调映射。换言之,即使帧或场景发生变化,当内容C不发生变化时,则第三映射函数MF3不会变化。
[0362] 原始图像I1可基于第三参考亮度值Th分为低亮度部分或高亮度部分。低亮度部分和高亮度部分可通过第三映射函数MF3进行不同地映射。换言之,映射低亮度部分的映射函数和映射高亮度部分的映射函数可彼此不同。
[0363] 在这种情况下,原始图像I1的第三参考亮度值Th可与第一图像I2的目标平均亮度值Ave_target对应。换言之,第三参考亮度值Th映射为目标平均亮度值Ave_target。平均亮度值是指从显示面板143中所包括的所有像素输出的亮度值的平均值。目标平均亮度值Ave_target是平均亮度值的目标值。这样的目标平均亮度值Ave_target可根据显示面板143的类型和性能预先进行限定。
[0364] 具体地,原始图像I1的第三参考亮度值Th可与第一图像I2的预定目标平均亮度值Ave_target相同。
[0365] 第三映射函数MF3可包括低亮度部分的映射函数MF3-1和高亮度部分的映射函数MF3-2。
[0366] 如图27所示,可对亮度值小于第三参考亮度值Th的低亮度部分进行线性映射。具体地,当第三参考亮度值Th与目标平均亮度值Ave_target相同时,原始图像I1的低亮度部分的亮度值与第一图像I2的低亮度部分的亮度值相同。
[0367] 具体地,低亮度部分可根据方程式2进行映射。
[0368] 【方程式2】
[0369] L2=G1L1
[0370] (其中,L1表示向第三映射函数输入的亮度值,L2表示从第三映射函数输出的亮度值,以及G1表示常量)
[0371] 在方程式2中,G1的值可根据第三参考亮度值Th和目标平均亮度值Ave_target变化。具体地,确定G1以使得第三参考亮度值Th映射为目标平均亮度值Ave_target。
[0372] 具体地,当第三参考亮度值Th与目标平均亮度值Ave_target相同时,G1具有为“1”的值。
[0373] 如图27所示,可将亮度值大于第三参考亮度值Th的高亮度部分进行非线性映射。
[0374] 为了映射高亮度部分,可使用方程式3。
[0375] 【方程式3】
[0376] L2=a[1-(L1-1)2n]+(1-a)L1
[0377] (其中,L1表示向第三映射函数输入的亮度值,L2表示从第三映射函数输出的亮度值,以及a和n表示常量。)
[0378] 在方程式3中,可预先确定“n”的值,并且“n”的值可根据整个内容C中所包括的原始图像I1的最大亮度值L1max和最小亮度值L1min变化。
[0379] 色调映射模块240使用第三映射函数MF3并对原始图像I1执行色调映射。
[0380] 具体地,将原始图像I1中所包括的所有像素的亮度值输入至第三映射函数MF3,并且基于从第三映射函数MF3输出的亮度值生成第一图像I2。在这种情况下,亮度值小于第三参考亮度值Th的像素可通过方程式2进行映射,以及亮度值等于或大于第三参考亮度值Th的像素可通过方程式3进行映射。
[0381] 为了为用户提供进一步直观的图像,细节增强模块250对已执行色调映射的图像I2进行处理。这里,细节增强可包括各种图像处理技术,诸如,对比度增强、直方图均衡化、图像锐化和图像平滑,其中,通过对比度增强最大化图像的亮区和暗区之间的差异;通过直方图均衡化调节直方图从而将具有低对比度分布的图像变成具有统一对比度分布的图像;通过图像锐化细致地转换图像;以及通过图像平滑柔和地转换图像。
[0382] 下文中,将对根据实施方式的显示设备100的操作进行描述。
[0383] 图28示出根据实施方式的显示设备的另一示例性高动态范围图像显示操作。
[0384] 如图28所示,将对显示设备100的高动态范围图像显示操作(1300)进行描述。
[0385] 显示设备100从外界接收图像(1310)。显示设备100可通过内容接收单元130从外界接收内容,并且提取所接收的内容中所包括的图像数据ID和元数据MD。
[0386] 元数据MD是包括关于图像数据ID的信息的数据,并且元数据MD可包括以场景为单位的亮度信息或以帧为单位的亮度信息。具体地,元数据MD可包括整个内容C的最大亮度值、最小亮度值和平均亮度值,每个场景中所包括的图像的最大亮度值、最小亮度值和平均亮度值,或形成每个帧的图像的最大亮度值、最小亮度值和平均亮度值。
[0387] 提取图像数据ID和元数据MD,然后,显示设备100将所接收的图像线性化(1320)。为了获取原始图像I1,显示设备100可将图像数据线性化。
[0388] 具体地,显示设备100的图像处理单元200”’可使用第二非线性映射函数F2,并且将图像数据恢复为原始图像I1。此外,图像处理单元200”’可基于恢复的原始图像I1中所包括的像素中的每一个的色值,计算原始图像I1的亮度信息。
[0389] 线性化图像,然后,显示设备100生成第三映射函数MF3(1330)。显示设备100可基于元数据MD生成第三映射函数MF3。具体地,显示设备100可基于整个内容C的最大亮度值L1max和最小亮度值L1min生成第三映射函数MF3。
[0390] 当原始图像I1中所包括的像素的亮度值小于第三参考亮度值时,第三映射函数MF3是方程式2。当原始图像I1中所包括的像素的亮度值等于或大于第三参考亮度值时,第三映射函数MF3是方程式3。
[0391] 生成第三映射函数MF3,然后,显示设备100对原始图像I1执行色调映射(1340)。
[0392] 具体地,显示设备100将原始图像I1中所包括的所有像素的亮度值输入至第三映射函数MF3,并且基于从第三映射函数MF3输出的亮度值生成第一图像I2。在这种情况下,当亮度值小于第三参考亮度值时,原始图像I1中所包括的像素可通过方程式2进行映射。当亮度值等于或大于第三参考亮度值时,原始图像I1中所包括的像素可通过方程式3进行映射。
[0393] 执行色调映射,然后,显示设备100对第一图像I2执行细节增强(1350)。为了进一步直观地显示第一图像I2,显示设备100可在第一图像I2上执行诸如对比度增强的图像处理。
[0394] 具体地,显示设备100的图像处理单元200”’可在第一图像I2上执行诸如对比度增强的细节增强,由此生成第二图像I3。
[0395] 执行细节增强,然后,显示设备100显示图像(1360)。显示设备100可通过显示单元140显示第二图像I3。
[0396] 以这种方式,显示设备100可在原始图像I1的低亮度区域上执行线性色调映射,以及在高亮度区域上执行非线性色调映射。
[0397] 图29示出根据实施方式的显示设备中所包括的另一示例性图像处理单元。图30和图31示出由图29中所示出的图像处理单元生成的第四映射函数。
[0398] 如图29、图30和图31所示,图像处理单元200””可包括:图像接收模块205,配置成接收图像数据ID和元数据MD;线性化模块210,配置成将图像数据线性化;第四映射函数生成模块234,配置成生成高动态范围图像的色调映射函数;色调映射模块240,配置成执行色调映射;以及细节增强模块250,配置成对已执行色调映射的图像执行后处理操作。
[0399] 图像接收模块205从由内容接收单元130接收的内容C中提取图像数据ID和元数据MD。这里,内容C包括表示原始图像的图像数据ID和与图像数据ID相关的元数据MD。元数据MD可包括图像数据ID的亮度信息。当内容C是例如视频时,元数据MD则可包括整个内容C的亮度信息、内容C中所包括的每个场景的亮度信息和内容C中所包括的每个帧的亮度信息中至少一个。
[0400] 线性化模块210将从图像接收模块205接收的图像数据ID线性化,并且分析线性化的图像的亮度。具体地,当内容C的元数据MD中不包括最大亮度值L1max和最小亮度值L1min时,线性化模块210可根据线性化的原始图像直接计算最大亮度值L1max和最小亮度值L1min。
[0401] 第四映射函数生成模块234从图像接收模块205接收元数据MD,并且基于所接收的元数据MD生成第四映射函数MF4。这里,元数据MD可包括内容C中所包括的每个场景的亮度信息,即,每个场景的最大亮度值L1max和最小亮度值L1min。
[0402] 此外,第四映射函数MF4可限定在每个场景的最大亮度值L1max与最小亮度值L1min之间。换言之,向第四映射函数MF4输入的最大值是对应场景的最大亮度值L1max,以及向第四映射函数MF4输入的最小值是对应场景的最小亮度值L1min。
[0403] 以这种方式,通过基于场景的亮度信息生成的第四映射函数MF4,可对相应场景中所包括的原始图像I1执行色调映射。换言之,即使帧发生变化,当场景不发生变化时,则第四映射函数MF4不会变化。然而,即使内容C不发生变化,当场景发生变化时,第四映射函数MF4也改变。
[0404] 第四映射函数MF4可根据指示整个场景的平均亮度值的场景平均亮度值Ave_scene变化。此外,原始图像I1可分为低亮度部分或高亮度部分。低亮度部分和高亮度部分可通过第四映射函数MF4进行不同地映射。换言之,映射低亮度部分的映射函数和映射高亮度部分的映射函数可彼此不同。
[0405] 首先,将对场景平均亮度值Ave_scene小于第四参考亮度值Th时的第四映射函数MF4进行描述。
[0406] 第四映射函数MF4可包括原始图像I1的低亮度部分的映射函数MF4-1和原始图像I1的高亮度部分的映射函数MF4-2。
[0407] 在这种情况下,原始图像I1的低亮度部分和高亮度部分可基于第四参考亮度值Th进行划分。此外,原始图像I1的第四参考亮度值Th可与第一图像I2的目标平均亮度值Ave_target对应。换言之,第四参考亮度值Th映射为目标平均亮度值Ave_target。平均亮度值是指从显示面板143中所包括的所有像素中输出的亮度值的平均值。目标平均亮度值Ave_target是平均亮度值的目标值。这样的目标平均亮度值Ave_target可根据显示面板143的类型和性能预先进行限定。具体地,原始图像I1的第四参考亮度值Th可与第一图像I2的预定目标平均亮度值Ave_target相同。
[0408] 如图30所示,可将亮度值小于第四参考亮度值Th的低亮度部分进行线性映射。具体地,当第四参考亮度值Th与目标平均亮度值Ave_target相同时,原始图像I1的低亮度部分的亮度值与第一图像I2的低亮度部分的亮度值相同。
[0409] 具体地,低亮度部分可通过方程式2进行映射。
[0410] 【方程式2】
[0411] L2=G1L1
[0412] (其中,L1表示向第四映射函数输入的亮度值,L2表示从第四映射函数输出的亮度值,以及G1是常量。)
[0413] 在方程式2中,G1的值可根据第四参考亮度值Th和目标平均亮度值Ave_target变化。具体地,G1确定成使得第四参考亮度值Th映射为目标平均亮度值Ave_target。
[0414] 具体地,当第四参考亮度值Th与目标平均亮度值Ave_target相同时,G1具有为“1”的值。
[0415] 如图30所示,可将亮度等于或大于第四参考亮度等于或Th的高亮度部分进行非线性映射。
[0416] 高亮度部分可通过方程式3进行映射。
[0417] 以这种方式,当场景平均亮度值Ave_scene小于第四参考亮度值Th时,当原始图像I1中所包括的像素的亮度值小于第四参考亮度值Th时,则由第四映射函数生成模块234生成的第四映射函数MF4是方程式2,或当原始图像I1中所包括的像素的亮度值等于或大于第四参考亮度值Th时,则第四映射函数MF4是方程式3。
[0418] 接下来,将对场景平均亮度值Ave_scene等于或大于第四参考亮度值Th时的第四映射函数MF4进行描述。
[0419] 第四映射函数MF4可包括原始图像I1的低亮度部分的映射函数MF4-1和原始图像I1的高亮度部分的映射函数MF4-2。
[0420] 在这种情况下,原始图像I1的低亮度部分和高亮度部分可基于场景平均亮度值Ave_scene进行划分。此外,原始图像I1的场景平均亮度值Ave_scene可与第一图像I2的目标平均亮度值Ave_target对应。换言之,场景平均亮度值Ave_scene映射为目标平均亮度值Ave_target。平均亮度值是指从显示面板143中所包括的所有像素中输出的亮度值的平均值。目标平均亮度值Ave_target是平均亮度值的目标值。这样的目标平均亮度值Ave_target可根据显示面板143的类型和性能预先进行限定。
[0421] 如图31所示,可将亮度值小于场景平均亮度值Ave_scene的低亮度部分进行线性映射。
[0422] 具体地,低亮度部分可通过方程式5进行映射。
[0423] 【方程式5】
[0424] L2=G2L2
[0425] (其中,L1表示向第四映射函数输入的亮度值,L2表示从第四映射函数输出的亮度值,以及G2是常量。)
[0426] 在方程式5中,G2的值可根据场景平均亮度值Ave_scene和目标平均亮度值Ave_target变化。具体地,确定G2以使得场景平均亮度值Ave_scene映射为目标平均亮度值Ave_target。
[0427] 具体地,当场景变化时,由于场景平均亮度值变化,因此每当场景变化时G2便可能发生变化。
[0428] 如图31所示,可将亮度值等于或大于场景平均亮度值Ave_scene的高亮度部分进行非线性映射。
[0429] 高亮度部分可通过方程式6进行映射。
[0430] 【方程式6】
[0431] L2=a[1-(L1-1)2n]+(1-a)L1
[0432] (其中,L1表示向第四映射函数输入的亮度值,Ave_target表示目标平均亮度值,L2表示从第四映射函数输出的亮度值,Ave_scene表示场景平均亮度值,以及a和n是常量。)[0433] 在方程式6中,可预先确定n的值,并且a的值可根据每个场景中所包括的原始图像I1的最大亮度值L1max和最小亮度值L1min确定。
[0434] 以这种方式,当场景平均亮度值Ave_scene等于或大于第四参考亮度值Th时,当原始图像I1中所包括的像素的亮度值小于场景平均亮度值Ave_scene时,则由第四映射函数生成模块234生成的第四映射函数MF4是方程式5,或当原始图像I1中所包括的像素的亮度值等于或大于场景平均亮度值Ave_scene时,则第四映射函数MF4是方程式6。
[0435] 色调映射模块240使用第四映射函数MF4对原始图像I1执行色调映射。
[0436] 具体地,色调映射模块240将原始图像I1中所包括的所有像素的亮度值输入至第四映射函数MF4,并且基于从第四映射函数MF4输出的亮度值生成第一图像I2。
[0437] 在这种情况下,当场景平均亮度值Ave_scene小于第四参考亮度值Th时,亮度值小于第四参考亮度值Th的像素可通过方程式2进行映射,以及亮度值等于或大于第四参考亮度值Th的像素可通过方程式3进行映射。
[0438] 另外,当场景平均亮度值Ave_scene等于或大于第四场景平均亮度值Th时,亮度值小于场景平均亮度值Ave_scene的像素可通过方程式5进行映射,以及亮度值等于或大于场景平均亮度值Ave_scene的像素可通过方程式6进行映射。
[0439] 为了为用户提供进一步直观的图像,细节增强模块250对已执行色调映射的图像I2进行处理。这里,细节增强可包括各种图像处理技术,诸如,对比度增强、直方图均衡化、图像锐化和图像平滑,其中,通过对比度增强最大化图像的亮区和暗区之间的差异;通过直方图均衡化调节直方图从而将具有低对比度分布的图像变成具有统一对比度分布的图像;通过图像锐化细致地转换图像;以及通过图像平滑柔和地转换图像。
[0440] 下文中,将对根据实施方式的显示设备100的操作进行描述。
[0441] 图32示出根据实施方式显示设备的另一示例性高动态范围图像的显示操作。
[0442] 如图32所示,将对显示设备100的高动态范围图像的显示操作(1400)进行描述。
[0443] 显示设备100从外界接收图像(1410)。显示设备100可通过内容接收单元130从外界接收内容,并且提取所接收的内容中所包括的图像数据ID和元数据MD。
[0444] 元数据MD是包括关于图像数据ID的信息的数据,并且元数据MD可包括以场景为单位的亮度信息或以帧为单位的亮度信息。具体地,元数据MD可包括整个内容C的最大亮度值、最小亮度值和平均亮度值,每个场景中所包括的图像的最大亮度值、最小亮度值和平均亮度值,或形成每个帧的图像的最大亮度值、最小亮度值和平均亮度值。
[0445] 提取图像数据ID和元数据MD,然后,显示设备100将所接收的图像线性化(1420)。为了获取原始图像I1,显示设备100可将图像数据线性化。
[0446] 具体地,显示设备100的图像处理单元200””可使用第二非线性映射函数F2,并且可将图像数据恢复为原始图像I1。此外,图像处理单元200””可基于恢复的原始图像I1中所包括的像素中的每一个的色值,计算原始图像I1的亮度信息。
[0447] 线性化图像,然后,显示设备100生成第四映射函数MF4(1430)。显示设备100可基于元数据MD生成第四映射函数MF4。具体地,显示设备100可基于每个场景的最大亮度值L1max、最小亮度值L1min和场景平均亮度值Ave_scene生成第四映射函数MF4。
[0448] 具体地,当场景平均亮度值Ave_scene小于第四参考亮度值Th时,当原始图像I1中所包括的像素的亮度值小于第四参考亮度值Th时,则第四映射函数MF4是方程式2,或当原始图像I1中所包括的像素的亮度值等于或大于第四参考亮度值Th时,则第四映射函数MF4是方程式3。
[0449] 当场景平均亮度值Ave_scene等于或大于第四参考亮度值Th时,当原始图像I1中所包括的像素的亮度值小于场景平均亮度值Ave_scene时,则第四映射函数MF4是方程式5,或当原始图像I1中所包括的像素的亮度值等于或大于场景平均亮度值Ave_scene时,则第四映射函数MF4是方程式6。
[0450] 生成第四映射函数MF4,然后,显示设备100对原始图像I1执行色调映射(1440)。
[0451] 具体地,显示设备100将原始图像I1中所包括的所有像素的亮度值输入至第四映射函数MF4,并且基于从第四映射函数MF4输出的亮度值生成第一图像I2。
[0452] 在这种情况下,当场景平均亮度值Ave_scene小于第四参考亮度值Th时,亮度值小于第四参考亮度值Th的像素可通过方程式2进行映射,以及亮度值等于或大于第四参考亮度值Th的像素可通过方程式3进行映射。
[0453] 另外,当场景平均亮度值Ave_scene等于或大于第四场景平均亮度值Th时,亮度值小于场景平均亮度值Ave_scene的像素可通过方程式5进行映射,以及亮度值等于或大于场景平均亮度值Ave_scene的像素可通过方程式6进行映射。
[0454] 执行色调映射,然后,显示设备100对第一图像I2执行细节增强(1450)。为了进一步直观地显示第一图像I2,显示设备100可在第一图像I2上执行诸如对比度增强的图像处理。
[0455] 具体地,显示设备100的图像处理单元200””可在第一图像I2上执行诸如对比度增强的细节增强,由此生成第二图像I3。
[0456] 执行细节增强,然后,显示设备100显示图像(1460)。显示设备100可通过显示单元140显示第二图像I3。
[0457] 以这种方式,显示设备100可在原始图像I1的低亮度区域上执行线性色调映射,以及在高亮度区域上执行非线性色调映射。
[0458] 虽然已经示出和描述了若干实施方式,但是将理解的是,在不脱离实施方式的原理和精神的情况下,本领域技术人员可对这些实施方式进行改变,其中,实施方式的范围在权利要求及其等同物中进行限定。