用于成像设备的减少图像帧的图像数据的位深度的方法、装置和图像处理设备

摘要

一种用于成像设备的用于减少图像数据的位深度的方法包括接收图像帧以便显示给该成像设备。该方法另外包括针对图像帧应用时间误差扩散以产生多个图像子帧，其中，在图像帧的一个子帧中生成的时间误差被传递到该图像帧的下一子帧以便时间误差扩散。该方法还包括将空间误差扩散应用于来自该图像帧的该时间误差扩散的剩余时间误差。

权利要求

1.一种用于减少图像帧的图像数据的位深度的方法，所述方法包括：接收所述图像帧以便显示给成像设备；

由一个或多个处理器针对所述图像帧的多个图像子帧应用时间误差扩散，其中，应用时间误差扩散还包括：将所述多个图像子帧中的每个图像子帧中生成的时间误差划分成明度时间误差和色度时间误差；

将所述色度时间误差传递到下一子帧以便时间误差扩散，并且保持所述明度时间误差的至少一部分；以及在所述色度时间误差扩散针对所有子帧结束时，将来自最后一个子帧的色度时间误差和所保持的所述明度时间误差的至少一部分的总和进行传递以便空间误差扩散；以及针对已经被应用所述时间误差扩散的所述多个图像子帧应用所述空间误差扩散。

2.根据权利要求1所述的方法，还包括：针对所述多个图像子帧中的所有子帧积累所述色度时间误差。

3.根据权利要求1所述的方法，其中，在所述空间误差扩散之前应用所述时间误差扩散。

4.根据权利要求1所述的方法，其中，时间域中的误差被传播到所述多个图像子帧中每一个其它子帧。

5.根据权利要求1所述的方法，其中，所述多个图像子帧包括四个图像子帧，并且其中，允许所述四个子帧中的两个子帧将其整个时间误差传递到其下一子帧以便时间误差扩散，而另外两个子帧传递其明度时间误差以便空间误差扩散。

6.一种用于成像设备的用于减少图像帧的图像数据的位深度的装置，所述装置包括：用于接收所述图像帧以便显示给所述成像设备的单元；

用于将时间误差扩散应用于所述图像帧的多个图像子帧的单元，其中，所述用于应用时间误差扩散的单元还包括：用于将所述多个图像子帧中的每个图像子帧中生成的时间误差划分成明度时间误差和色度时间误差的单元；

用于将所述色度时间误差传递到下一子帧以便时间误差扩散，并且保持所述明度时间误差的至少一部分的单元；以及用于在所述色度时间误差扩散针对所有子帧结束时，将来自最后一个子帧的色度时间误差和所保持的所述明度时间误差的至少一部分的总和进行传递以便空间误差扩散的单元；以及用于将所述空间误差扩散应用于已经被应用所述时间误差扩散的所述多个图像子帧的单元。

7.根据权利要求6所述的装置，还包括：用于针对所述多个图像子帧中的所有子帧积累所述色度时间误差的单元。

8.根据权利要求6所述的装置，其中，在所述空间误差扩散之前应用所述时间误差扩散。

9.根据权利要求6所述的装置，其中，时间域中的误差被传播到所述多个图像子帧中每一个其它子帧。

10.根据权利要求6所述的装置，其中，所述多个图像子帧包括四个图像子帧，并且其中，允许所述四个子帧中的两个子帧将其整个时间误差传递到其下一子帧以便时间误差扩散，而另外两个子帧传递其明度时间误差以便空间误差扩散。

11.一种用于成像设备的用于减少图像帧的图像数据的位深度的图像处理设备，所述图像处理设备包括：存储器，其被配置为存储所述图像帧，以便显示给所述成像设备，以及一个或多个处理器，所述一个或多个处理器被配置为：接收所述图像帧；

针对所述图像帧的多个图像子帧应用时间误差扩散，其中，为了应用时间误差扩散，所述一个或多个处理器还被配置为：将所述多个图像子帧中的每个图像子帧中生成的时间误差划分成明度时间误差和色度时间误差；

将所述色度时间误差传递到下一子帧以便时间误差扩散，并且保持所述明度时间误差的至少一部分；以及在所述色度时间误差扩散针对所有子帧结束时，将来自最后一个子帧的色度时间误差和所保持的所述明度时间误差的至少一部分的总和进行传递以便空间误差扩散；以及针对已经被应用所述时间误差扩散的所述多个图像子帧应用所述空间误差扩散。

12.根据权利要求11所述的图像处理设备，其中，所述一个或多个处理器还被配置为：针对所述多个图像子帧中的所有子帧积累所述色度时间误差。

13.根据权利要求11所述的图像处理设备，其中，在所述空间误差扩散之前应用所述时间误差扩散。

14.根据权利要求11所述的图像处理设备，其中，时间域中的误差被传播到所述多个图像子帧中每一个其它子帧。

15.根据权利要求11所述的图像处理设备，其中，所述多个图像子帧包括四个图像子帧，并且其中，允许所述四个子帧中的两个子帧将其整个时间误差传递到其下一子帧以便时间误差扩散，而另外两个子帧传递其明度时间误差以便空间误差扩散。

说明书

用于成像设备的减少图像帧的图像数据的位深度的方法、装

置和图像处理设备

技术领域

[0001] 概括地说，本公开内容的方面涉及减少半色调伪影，而更具体地说，涉及一种允许不同子帧中的不同时间误差传播以减少半色调伪影的时空误差扩散方法。

背景技术

[0002] 成像设备具有用于再现图像的位深度限制。如果成像设备(例如，显示器或打印机)的位深度低于将呈现的图像数据的位深度，则可减少源图像数据的位深度以匹配该设备的位深度。量化是最简单的位深度减少途径。然而，图像质量可能劣化。半色调(例如，抖动或误差扩散)是一种用于减少数据的位深度，但仍保持宏观强度级的方法。已在打印中使用空间半色调，以将8位/通道数据转换为1位/通道二进制数据。如果分辨率足够高并且网点形状受到良好控制，则二进制打印机可产生照片质量的图像。由于显示器的分辨率通常更加受限，因此来自空间半色调的图案可能是可见的。

[0003] 为了提高图像质量，可并入时间半色调(或时间调制)以增加位深度。在模拟干涉测量调制(AiMOD)显示器中，只能开启或关闭各个像素，因而不能自然地产生灰阶。这极类似于打印，其中，网点置于或不置于页面上。尽管应用空间抖动(例如，误差扩散)可产生灰阶效应，但半色调图案可能因分辨率限制而可见。通常并入时间调制以增加位深度，并因此减少半色调伪影。空间半色调与时间半色调之间的视觉噪声不同。如果显示器的空间分辨率不足够高，则半色调图案将可见，并且因而嘈杂。当在其中刷新率高于人眼所能感觉的刷新率的显示器上实现时间半色调时，可不产生视觉伪影。然而，如果显示器的刷新率不足够高以针对时间调制布置子帧，则闪烁效应将非常嘈杂。在诸如AiMOD显示器之类的反射式显示器中，使用时间调制的另一副作用是其消耗更多功率。

[0004] 存在用于解决减少半色调伪影问题的其它尝试，但这些解决方案都经历限制或缺点。例如，一种解决方案仅计划使用空间矢量误差扩散，但此解决方案以不良图像质量换得潜在的无时间闪烁。另一解决方案仅计划使用时间调制。然而，虽然此解决方案可实现增加的位深度，但其并不针对二进制显示器设备产生足够的强度级。另外的解决方案计划使用空间半色调和时间抖动，例如将空间半色调用于两个以上级别，并且然后应用抖动掩模以产生灰度级。然而，此解决方案不是二进制显示器的理想选择。再一种解决方案是使时间误差扩散最大化，并且然后将来自最后一个子帧的剩余误差分配到空间半色调，但此解决方案也遭受潜在的时间闪烁。又一种解决方案涉及内容相关半色调，但这样的过程复杂且不可靠。

发明内容

[0005] 本文中描述了用于允许不同子帧中的不同时间误差传播以减少半色调伪影的时空误差扩散的技术。

[0006] 在一个方面中，一种用于成像设备的用于减少图像数据的位深度的方法包括接收图像帧以便显示给该成像设备。该方法另外包括针对该图像帧应用时间误差扩散以产生多个图像子帧，其中，在这多个图像子帧中的一个子帧中生成的时间误差被传递到这多个图像子帧中的下一子帧以便时间误差扩散。该方法还包括将空间误差扩散应用于来自该图像帧的该时间误差扩散的剩余时间误差。

[0007] 在另一方面中，一种用于成像设备的用于减少图像数据的位深度的装置包括用于接收图像帧以便显示给该成像设备的单元。该装置另外包括用于将时间误差扩散应用于该图像帧以产生多个图像子帧的单元，其中，在该图像帧的一个子帧中生成的时间误差被传递到这多个图像子帧中的下一子帧以便时间误差扩散。该装置还包括用于将空间误差扩散应用于来自该图像帧的该时间误差扩散的剩余时间误差的单元。

[0008] 在另外的方面中，一种计算机程序产品包括计算机可读介质。该计算机可读介质包括用于使得计算机接收图像帧以便显示给该成像设备的代码。该计算机可读介质另外包括用于使得计算机针对该图像帧应用时间误差扩散以产生多个图像子帧的代码，其中，在这多个图像子帧中的一个子帧中生成的时间误差被传递到这多个图像子帧中的下一子帧以便时间误差扩散。该计算机可读介质还包括用于使得计算机将空间误差扩散应用于来自该图像帧的该时间误差扩散的剩余时间误差的代码。

[0009] 在再一个方面中，一种用于成像设备的用于减少图像数据的位深度的图像处理设备包括至少一个处理器和耦合到该至少一个处理器的存储器。该至少一个处理器被配置为接收图像帧以便显示给该成像设备。该至少一个处理器被另外配置为针对该图像帧应用时间误差扩散以产生多个图像子帧，其中，在这多个图像子帧中的一个子帧中生成的时间误差被传递到这多个图像子帧中的下一子帧以便时间误差扩散。该至少一个处理器还被配置为将空间误差扩散应用于来自该图像帧的该时间误差扩散的剩余时间误差。

[0010] 下文进一步详细描述本公开内容的各种方面和特征。

附图说明

[0011] 图1是根据本公开内容的方面概念性描绘的实现图像处理设备的成像设备的例子的框图；

[0012] 图2根据本公开内容描绘了用于成像设备的用于减少图像数据的位深度的过程的示例性方框；

[0013] 图3根据现有技术描绘了常规时空矢量误差扩散过程的示例性方框；以及[0014] 图4描绘了其中来自时间误差扩散的明度误差可被保持并且重新定向到空间域以便空间误差扩散的时空矢量误差扩散过程的示例性方框。

具体实施方式

[0015] 下文结合附图阐述的详细描述旨在作为对各种配置的描述，而不是要表示可以实践本文描述的构思的唯一配置。详细描述包括具体细节，以提供对各种构思的透彻理解。然而，对本领域技术人员而言，将显而易见的是，没有这些具体细节也可以实践这些构思。在一些实例中，以框图形式示出公知的结构和组件，以避免使这样的构思不清楚。

[0016] 本公开内容通过将三维矢量误差扩散用于AiMOD显示器来提供一种时间调制和空间半色调的新方法。首先针对每个子帧执行时间误差扩散 (TED)，而最后执行空间误差扩散(SED)。此顺序防止来自一些或所有子帧TED的明度误差传播到后续子帧，而是针对SED累积。此所公开过程有效地减少来自时间调制的时间闪烁。

[0017] 时间抖动误差的传播可扩展到时间域和空间域二者。可调整来自时间调制的误差的扩展以使视觉伪影最小化或节省功率消耗。可针对亮度通道和色度通道以不同方式调整来自时间调制的误差到空间域的传播，以进一步优化图像质量。

[0018] 转向图1，设想，在一些方面中，本文中公开的图像处理装置可远程接收图像，并且可将图像显示给远程成像设备的远程显示器。然而，在其它方面中，本文中公开的该图像处理装置可与成像设备(例如成像设备100) 集成在一起。这样的成像设备100可以是智能电话、平板电脑、电视机或具有包括显示器的用户接口102的任何其它设备。设想该显示器可以是任何类型的显示器，但在讨论该所公开的图像处理装置的优点时，对二进制显示器特别感兴趣。例如，该显示器可以是AiMOD显示器。

[0019] 不同于其中产生每种原色中的多强度用于颜色再现的许多其它显示器，可仅开启或关闭AiMOD显示器中的原色。每种颜色的强度必须由时间调制和/或空间抖动生成。因为受限的刷新率，所以时间调制不能是不定的。基于该AiMOD显示器的空间分辨率和刷新率的技术规格，无法在不应用空间抖动和时间抖动二者的情况下获得良好的图像质量。因此，针对半色调应用时空误差扩散。

[0020] 时空误差扩散可实现为TED后接SED。来自每个子帧中的TED的误差扩展到下一子帧，并且最终扩展到空间域用于SED。开发了新的时空调制方法来减少明度中的时间调制，并因而避免时间调制闪烁。

[0021] 示例性成像设备100的另外的特征可包括通过任何适当的数据总线或其它通信介质连接到存储器106的一个或多个处理器104。连接到该数据总线或其它通信介质的另外的硬件组件可包括无线单元108、网络接口110和摄像头112。位于存储器106中的数据114和应用可将一个或多个处理器 104配置为以对本领域技术人员而言显而易见的方式来操作用户接口102、无线单元108、网络接口110和摄像头112。例如，网络通信应用116可操作无线单元108和网络接口110，以根据任何适当的协议实现网络通信，所述协议例如蜂窝协议(例如，LTE、CDMA、TDMA、CoMP等)和互联网协议(IP)。另外，用户接口应用118可操作输入和输出组件102，以接收数据和命令，以及向用户接口102的输出组件呈现图像、视频和声音。此外，图像捕捉应用120可操作摄像头112，以捕捉图像并且将这些图像存储在数据114中。这些组件中的任何组件结合处理器104、存储器106、数据 116和应用114-120可充当用于接收图像帧以便显示给成像设备100的单元。

[0022] 现转向图2，并且通常参考图1和图2，位于存储器106中的图像处理应用122可将一个或多个处理器104配置为根据图2中描绘的时间调制和空间半色调过程来处理图像。例如，图像处理应用122可将一个或多个处理器104配置为存取数据114并从存储器106取回图像帧。因此，一个或多个处理器104、存储器106、数据114和图像处理应用122可实现用于在方框200处接收图像帧以便显示给成像设备的单元。另外，由图像处理应用122配置的过程可包括在方框202处针对该图像帧应用时间误差扩散。如下文进一步解释的，在方框202中，在该图像帧的一个子帧中生成的时间误差可传递到该图像帧的下一子帧以便时间误差扩散。此外，由图像处理应用122配置的处理可包括在方框204处将空间误差扩散应用于来自由时间误差扩散产生的多个图像子帧的剩余时间误差。

[0023] 更详细地考虑方框202的过程，该过程可包括若干个操作框。例如，在方框206处，可将在这多个图像子帧中的每个图像子帧中生成的时间误差划分成明度时间误差和色度时间误差。另外，在方框208处，可将这些色度时间误差主要传递到下一子帧，同时可保持这些明度误差的至少一部分以重新定向到空间域以便空间误差扩散。在方框208处，传递到下一子帧的这些时间误差可仅包括色度时间误差是预期的。或者，在方框208处，传递到下一子帧的这些时间误差可包括这些色度时间误差的一部分和这些明度时间误差的较小部分是预期的。此外，在方框210处，该过程可包括将来自由时间误差扩散产生的这多个子帧的明度时间误差和色度时间误差积累成积累误差。进一步地，在方框212处，可将该积累误差传递到空间误差扩散过程以便在方框204处使用。下文参考图4论述图2的过程的另外的细节。然而，在转向图4之前，出于比较目的描述现有技术时空误差扩散过程。

[0024] 图3根据现有技术描绘了常规时空误差扩散过程。在此过程中，在300 处，第i个像素的颜色被标注为Ci。在302处，添加从相邻像素分散的误差使得该颜色在方框304处变成Ci+E0。在306处利用时间矢量误差扩散，在方框308处发现最接近原色P1，并且剩余误差E1在方框310处转入下一子帧。时间误差扩散在310和312处继续，直到达到子帧的限制为止，从而在方框316处产生最终剩余误差En。最后，最终剩余误差En在方框318 处通过空间误差扩散扩展到相邻像素，并且在方框320处，处理继续进行到下一像素。本领域技术人员应当易于意识到，此方法本质上将所有时间误差扩散误差从一个子帧转入到下一子帧，直到最后一个子帧的末尾为止。这样，其使时间域内的误差传播最大化。

[0025] 现转向图4，修改TED以调整时间半色调和空间半色调之间的误差传播。当在方框400处获得已添加从相邻像素分散的误差的颜色时，在方框 402处，可作出是否将在这多个图像子帧中的每个图像子帧中生成的时间误差划分成明度时间误差EL和色度时间误差EC的确定。在方框402处的此确定还可以是是否允许保持明度时间误差EL的至少一部分以重新定向到空间域以便空间误差扩散，而非传递到下一子帧的确定。如果在方框402处作出不将在这多个图像子帧中的每个图像子帧中生成的这些时间误差划分成明度时间误差EL和色度时间误差EC的确定，则在404处可按上文参考图3 所述的方式执行图像处理。可基于显示器的类型、用户设置、图像内容、视频帧速率或者任何其它标准或标准组合作出这样的确定。然而，如果在方框402处作出将在这多个图像子帧中的每个图像子帧中生成的这些时间误差划分成明度时间误差EL和色度时间误差EC的确定，则可在406处相应地执行图像处理。
下文进一步描述此处理。

[0026] 在图4中，E1＝EL+EC，其中EL和EC是明度误差和色度误差。此外，Ec＝Ea+Eb，其中Ea和Eb是两个色度通道中的色度误差。另外，Ci是第i个像素颜色，如果在CIELAB颜色空间中为(L*，a*，b*)，并且E0是从相邻像素扩展的SED误差。进一步地，E1是传递到TED的抖动误差，包括明度误差(EL)和颜色误差(EC)，所述颜色误差(EC)包括来自a* 和b*的误差。再进一步地，P1是来自TED的半色调颜色(原色)，并且颜色误差是所有通道中误差的组合。如果在CIEL*a*b*颜色空间中执行半色调，则颜色误差为：

[0027] EL*＝L*i–L*P

[0028] Ea*＝a*i–a*P

[0029] Eb*＝b*i–b*P

[0030] 其中，(L*i，a*i，b*i)是连续色调颜色的L*a*b*值，并且(L*P，a*P，b*P) 是所选原色的L*a*b*值。像素的半色调误差EL*、Ea*和Eb*转入到后续子帧以便时间调制和/或转入到相邻像素以便空间半色调。

[0031] 如在404处所示，如果未拆分时间误差，则所有误差被传递到下一子帧。此处理与常规方法相同。与此相反，在406处，因为人眼在明亮度闪烁中比色度闪烁更敏感，所以在方框408处可保持明度误差(EL)，并且在方框410处仅色度误差(EC)传递到下一子帧以便TED。在TED针对所有子帧结束时，将来自最后一个子帧的减少误差(明度和色度误差二者)和并不传递用于TED的所保持的明度误差(EL)加在一起并且将其传递用于 SED。依据减少或避免闪烁的需要，可保持来自一些或所有子帧的EL并且将其最终传递到空间域。

[0032] 设想，在一些方面中，可针对一些而非所有帧或针对一部分帧作出传播明度误差的决定。例如，如果四个帧用于时间调制，并且已作出减少TED 中的明度误差传播的决定，则可允许这四个帧中的两个帧将每个帧的整个误差传播到其下一帧，而另外2个帧可将明度误差传递到空间域。还设想，在一些方面中，可针对一些子帧保持来自TED的色度误差并且将其传递到空间域以便进一步时间调制。

[0033] 总之，公开了一种3D半色调方法。该半色调开始于时间误差扩散。时间半色调误差被参数化以在时间域和空间域之间分配，并且可在亮度通道和色度通道之间独立控制用于拆分该误差的参数。在针对所有子帧完成了时间误差扩散之后，将剩余时间半色调误差和来自留出用于空间抖动的每个子帧的半色调误差的总和传递到空间域以便空间误差扩散。

[0034] 本领域技术人员应当理解，信息和信号可以使用任意多种不同的技术和方法来表示。例如，在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或其任意组合来表示。

[0035] 本领域技术人员还应当意识到，结合本文的公开内容描述的各种说明性逻辑框、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或二者的组合。为了清楚地说明硬件和软件的这种可互换性，以上各种说明性组件、方框、模块、电路和步骤均围绕它们的功能来概括性描述。这样的功能被实现为硬件还是软件取决于具体应用和施加在整个系统上的设计约束。技术人员可以针对各个具体应用以变通方式来实现所描述的功能，但是这样的实现决策不应当被解释为使得脱离本公开内容的范围。

[0036] 利用被设计为执行本文所描述的功能的通用处理器、数字信号处理器 (DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其它可编程逻辑器件(PLD)、分立门或者晶体管逻辑器件、分立硬件组件或者其任意组合可以实现或执行结合本文的公开内容所描述的各种说明性逻辑框、模块和电路。通用处理器可以是微处理器，或者，该处理器可以是任何常规的处理器、控制器、微控制器或者状态机。处理器还可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合或者任何其它这样的配置。

[0037] 结合本文的公开内容所描述的方法或算法的步骤可直接体现为硬件、由处理器执行的软件模块或这二者的组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域知晓的任何其它形式的存储介质中。示例性的存储介质被耦合至处理器，从而使处理器能够从该存储介质中读取信息，且向该存储介质写入信息。或者，存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。或者，处理器和存储介质可以作为分立组件位于用户终端中。

[0038] 在一个或多个示例性设计中，可以使用硬件、软件、固件或其任意组合来实现描述的功能。如果使用软件实现，则可以将这些功能作为一个或多个指令或代码存储在计算机可读介质上或者通过计算机可读介质发送。计算机可读介质包括计算机存储介质和通信介质二者，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用计算机或专用计算机能够存取的任何可用介质。通过举例而非限制的方式，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM 或其它光盘存储、磁盘存储或其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码单元并能够由通用计算机或专用计算机或通用处理器或专用处理器存取的任何其它介质。此外，可以将任何连接适当地称作计算机可读介质。例如，如果软件是使用同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或其它远程源发送的，则所述同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的，磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。上面的组合也应当被包括在计算机可读介质的范围之内。

[0039] 提供前面对公开内容的描述以使本领域任何技术人员能够实施或使用本公开内容。对本领域技术人员而言，对本公开内容的各种修改将是显而易见的，并且在不脱离本公开内容的精神或范围的情况下，可以将本文所定义的一般性原理应用于其它变型。因而，本公开内容并不旨在要受限于本文描述的例子和设计，而是要符合与本文所公开的原理和新颖性特征相一致的最广泛的范围。