用于缓解LED闪烁的图像处理系统

摘要

本申请实施例涉及用于处理图像以检测所述图像内的LED导通脉冲的技术。图像处理设备和方法包括融合处理器和过程，所述融合处理器和过程用于接收连续的长曝光图像和短曝光图像并且输出融合图像，所述融合图像包括相邻连续的长曝光图像和短曝光图像的所添加对应区域。所述图像处理设备和方法还包括LED检测处理器和方法，所述LED检测处理器和方法用于接收所述融合图像、WDR图像以及所述连续的长曝光图像和短曝光图像，并且输出指示每个对应区域是否包括LED闪烁或运动的控制信号。所述图像处理设备和方法还包括混合处理器和方法，所述混合处理器和方法响应于所述控制信号而生成所述连续的长曝光图像和短曝光图像的混合图像。

权利要求

1.一种图像处理设备，其特征在于，包括：融合处理器，用于接收连续的长曝光图像和短曝光图像，并且生成融合图像，所述融合图像包括相邻连续的长曝光图像和短曝光图像的添加的对应区域；

LED检测处理器，用于接收所述融合图像、所述连续的长曝光图像和短曝光图像以及从所述连续的长曝光图像和短曝光图像形成的宽动态范围WDR图像，并且生成控制信号，所述控制信号用于指示对应区域是否包括LED闪烁或运动；以及混合处理器，响应于所述控制信号而生成混合图像。

2.根据权利要求1所述的图像处理设备，其特征在于，所述融合处理器用于通过将来自所述相邻的长连续图像和短连续图像的像素值相加在一起来输出所述融合图像。

3.根据权利要求1至2中任一项所述的图像处理设备，其特征在于，所述融合处理器在所述相邻的长连续图像和短连续图像的对应区域中逐像素添加像素值。

4.根据权利要求1至2中任一项所述的图像处理设备，其特征在于，所述融合处理器包括逐像素操作的饱和度检查机制。

5.根据权利要求1至2中任一项所述的图像处理设备，其特征在于，所述混合处理器基于所述控制信号从所述融合图像、所述WDR图像或所述融合图像与所述WDR图像的组合中的对应像素值中选择一个作为所述混合图像的像素值。

6.根据权利要求1至2中任一项所述的图像处理设备，其特征在于，所述LED检测处理器用于基于所述相邻连续的长图像和短图像中的像素值之间的关系来确定两个相邻连续的长曝光图像和短曝光图像、所述融合图像和所述WDR图像的至少一个对应区域是否包括运动或LED脉冲。

7.根据权利要求1至2中任一项所述的图像处理设备，其特征在于，WDR处理器、所述融合处理器和所述混合处理器中的一个确定一个区域是否过饱和并且校正所述过饱和区域。

8.根据权利要求1至2中任一项所述的图像处理设备，其特征在于，所述混合图像包括在图像捕获设备的长曝光图像期间显示LED的图像，所述图像捕获设备捕获并输出所述连续的长曝光图像和短曝光图像。

9.一种图像处理的方法，其特征在于，包括：接收连续的长曝光图像和短曝光图像以及基于相邻连续的长曝光图像和短曝光图像的宽动态范围WDR图像；

基于所述相邻连续的长曝光图像和短曝光图像生成融合图像，所述融合图像包括添加数据，所述添加数据来自所述相邻的长曝光图像和短曝光图像中的每一帧图像；

基于所述融合图像、所述WDR图像和所述相邻连续的长曝光图像和短曝光图像生成控制信号，所述控制信号指示所述融合图像或所述WDR图像中的像素是否包括LED闪烁；以及响应于所述控制信号生成混合图像。

10.根据权利要求9所述的图像处理的方法，其特征在于，所述生成融合图像包括将来自所述相邻的长连续图像和短连续图像的像素值相加在一起。

11.根据权利要求9至10中任一项所述的图像处理的方法，其特征在于，所述生成融合图像包括在所述相邻的长连续图像和短连续图像的对应区域中逐像素添加像素值。

12.根据权利要求9至10中任一项所述的图像处理的方法，其特征在于，所述生成融合图像包括逐像素限制像素饱和度。

13.根据权利要求9至10中任一项所述的图像处理的方法，其特征在于，所述生成所述混合图像包括基于所述控制信号从所述融合图像、所述WDR图像或所述融合图像与所述WDR图像的组合中的对应像素值中选择一个作为所述混合图像的像素值。

14.根据权利要求9至10中任一项所述的图像处理的方法，其特征在于，所述方法还包括：基于所述相邻连续的长图像和短图像中的像素值之间的关系来确定两个相邻连续的长曝光图像和短曝光图像、所述融合图像和所述WDR图像的至少一个对应区域是否包括运动或LED闪烁。

15.根据权利要求9至10中任一项所述的图像处理的方法，其特征在于，所述生成混合图像包括确定所述WDR图像、所述融合图像或所述混合图像中的区域是否过饱和；校正任何过饱和。

16.根据权利要求9至10中任一项所述的图像处理的方法，其特征在于，所述混合图像包括在图像捕获设备的长曝光图像期间显示LED的图像，所述图像捕获设备捕获并输出所述连续的长曝光图像和短曝光图像。

17.一种存储用于处理图像的计算机指令的非暂时性计算机可读介质，其特征在于，所述计算机指令在由一个或多个处理器执行时使所述一个或多个处理器执行如权利要求9至

16任一项所述的图像处理的方法。

18.一种图像处理的装置，其特征在于，所述装置包括处理器和接口电路，所述处理器被配置为调用存储在存储器中的计算机指令，以执行如权利要求9至16任一项所述的图像处理的方法。

说明书

用于缓解LED闪烁的图像处理系统

技术领域

[0001] 本公开总体上涉及图像处理，并且具体地涉及一种减少图像流中的LED闪烁伪影的图像处理管线。

背景技术

[0002] 在当前的成像系统中，图像光照变化引起照明设备和对象闪烁可能导致对象的部分丢失或对象失真。具体地，发光二极管(light‑emitting diode，LED)交通标志(其可以每
秒闪烁几百次)以及现代汽车的LED停车灯和前照灯已经被广泛地用于交通控制标志和交
通工具部件。然而，这些LED对于当前的图像处理系统存在检测问题。通常，图像传感器相对
于被捕获的景物异步地获取光。这表示图像的各部分在帧持续时间的部分中可能不会被曝
光。当积分时间比闪烁周期短得多时，这对于光照闪烁的对象尤其如此。图像中的区域没有
完全曝光于动态景物可能会导致对象失真、饱和度数据丢失和颜色伪影。

[0003] 交通工具摄像头需要能够捕获具有宽动态范围(wide dynamic range，WDR)光照条件(诸如进入或离开隧道)的图像。这些摄像头中的大多数摄像头配备有具有WDR技术的
CMOS传感器。这种WDR传感器的概念是通过组合多个曝光帧来捕获图像，每个曝光帧具有不
同的曝光持续时间。WDR模块通过在输入图像内为运动区域以及过饱和区域选择短曝光时
间帧来复合图像，同时通过长曝光时间帧来合成暗区域以及非运动区域(没有亮度过饱
和)。

[0004] 短曝光时间有时将导致图像传感器错过LED“导通”脉冲，随后导致图像具有闪烁伪影。这种闪烁问题不仅影响观看体验，而且可能降低在如高级驾驶员辅助系统(Advanced 
Driver Assistance System，ADAS)之类的系统中的判断准确度。

发明内容

[0005] 根据本公开的一个方面，提供了一种图像处理设备，所述图像处理设备包括融合处理器，所述融合处理器用于接收连续的长曝光图像和短曝光图像，并且生成融合图像，所
述融合图像包括相邻连续的长曝光图像和短曝光图像的所添加对应部分。所述图像处理设
备还包括LED检测处理器，所述LED检测处理器用于接收所述融合图像、所述连续的长曝光
图像和短曝光图像以及从所述连续的长曝光图像和短曝光图像形成的宽动态范围(WDR)图
像，并且生成指示所述对应区域是否包括LED闪烁或运动的控制信号。所述图像处理设备还
包括混合处理器，所述混合处理器响应于所述控制信号而生成混合图像。

[0006] 任选地，在前述任一方面中，所述图像处理设备可以用于使得所述融合处理器用于通过将来自所述相邻的长连续图像和短连续图像的像素值相加在一起来输出所述融合
图像。任选地，在前述任一方面中，所述图像处理设备可以包括融合处理器，所述融合处理
器在所述相邻的长连续图像和短连续图像的对应区域中逐像素添加像素值。任选地，在前
述任一方面中，所述图像处理设备可以包括融合处理器，所述融合处理器包括逐像素操作
的饱和度检查机制。任选地，在前述任一方面中，所述图像处理设备可以包括混合处理器，
所述混合处理器基于所述控制信号从所述融合图像或所述WDR图像或所述融合图像与所述
WDR图像的混合中的对应像素值中的一个中选择混合图像的像素值。任选地，在前述任一方
面中，所述图像处理设备可以包括LED检测处理器，所述LED检测处理器用于基于所述相邻
连续的长图像和短图像中的像素值之间的所述关系来确定两个相邻连续的长曝光图像和
短曝光图像、所述融合图像和所述WDR图像的至少对应区域是否包括运动或LED闪烁。任选
地，在前述任一方面中，所述混合图像是来自所述WDR图像，来自所述融合图像，或者来自所
述WDR与所述融合图像的所述混合。

[0007] 一个常见方面包括所述图像处理设备，其中所述混合图像包括示出在图像捕获设备的长曝光图像期间的LED光源的图像，所述图像捕获设备捕获并输出所述连续的长曝光
图像和短曝光图像。

[0008] 根据本公开的另一方面，提供了一种用于处理图像的计算机实施的方法，所述方法包括：接收连续的长曝光图像和短曝光图像以及基于相邻连续的长曝光图像和短曝光图
像的宽动态范围(WDR)图像。所述计算机实施的方法还包括基于所述相邻连续的长曝光图
像和短曝光图像生成融合图像，这种融合图像包括来自所述相邻的长曝光图像和短曝光图
像中的每一个的所添加数据。所述计算机实施的方法还包括基于所述融合图像、所述WDR图
像和所述相邻连续的长曝光图像和短曝光图像而生成控制信号，这种控制信号指示所述融
合图像或所述WDR图像中的像素是否包括LED闪烁。所述计算机实施的方法还包括响应于所
述控制信号而生成混合图像。

[0009] 任选地，在前述任一方面中，所述计算机实施的方法包括生成融合图像，所述生成融合图像包括将来自所述相邻的长连续图像和短连续图像的像素值相加在一起。任选地，
在前述任一方面中，所述计算机实施的方法包括生成融合图像，所述融合图像是通过在所
述相邻的长连续图像和短连续图像的对应区域中逐像素添加像素值而生成的。任选地，在
前述任一方面中，所述计算机实施的方法包括生成融合图像，生成融合图像融合图像包括
逐像素限制像素饱和度。任选地，在前述任一方面中，所述计算机实施的方法包括生成混合
图像，所述生成混合图像包括基于所述控制信号从所述融合图像中的对应像素值，或所述
WDR图像中的对应像素值、或所述融合图像与所述WDR图像两者中的对应像素值中的一个中
选择所述混合图像的像素值。任选地，在前述任一方面中，所述计算机实施的方法包括生成
控制信号，确定两个相邻连续的长曝光图像和短曝光图像、所述融合图像和所述WDR图像的
至少对应区域是否包括运动或LED闪烁。任选地，在前述任一方面中，所述计算机实施的方
法包括生成混合图像，所述生成混合图像包括确定所述WDR图像、所述融合图像或所述混合
图像中的区域是否过饱和；以及校正过饱和区域。

[0010] 根据本公开的又一个方面，提供了一种存储用于处理图像的计算机指令的非暂时性计算机可读介质，所述计算机指令在由一个或多个处理器执行时使所述一个或多个处理
器执行以下步骤：从图像传感器接收连续的长曝光图像和短曝光图像；基于相邻连续的长
曝光图像和短曝光图像生成宽动态范围(WDR)图像；基于所述相邻连续的长曝光图像和短
曝光图像生成融合图像，所述融合图像包括来自所述相邻的长曝光图像和短曝光图像中的
每一个的所添加数据；以及基于所述融合图像、所述WDR图像和所述相邻连续的长曝光图像
和短曝光图像而生成控制信号，所述控制信号指示所述融合图像或所述WDR图像中的像素
是否包括LED闪烁。所述非暂时性计算机可读介质还包括通过从所述WDR图像或所述融合图
像中的一个或所述混合组合中选择数据来响应于所述控制信号而生成混合图像。

[0011] 任选地，在前述任一方面中，所述非暂时性计算机可读介质包括生成融合图像，所述生成融合图像包括在所述相邻的长连续图像和短连续图像的对应区域中逐像素将来自
所述相邻的长连续图像和短连续图像的像素值相加在一起。任选地，在前述任一方面中，所
述非暂时性计算机可读介质包括生成融合图像，所述生成融合图像包括逐像素限制像素饱
和度。任选地，在前述任一方面中，所述非暂时性计算机可读介质包括生成控制信号，确定
两个相邻连续的长曝光图像和短曝光图像、所述融合图像和所述WDR图像的至少对应区域
是否包括运动或LED闪烁。任选地，在前述任一方面中，所述非暂时性计算机可读介质包括
生成混合图像，所述生成混合图像包括确定所述WDR图像、所述融合图像或所述混合图像中
的区域是否过饱和；以及校正过饱和区域。

[0012] 本发明内容的提供是为了以简化形式引入下文在具体实施方式中进一步描述的概念的选择。本发明内容不旨在表示所要求保护的主题的关键特征或本质特征，也不旨在
用作对确定所要求保护的主题的范围的辅助。所要求保护的主题不限于解决背景技术中提
到的任何或所有缺点的实施方式。

附图说明

[0013] 本公开的各方面通过示例的方式示出，并且不受附图的限制，附图中类似的附图标记指示元件。

[0014] 图1示出了所有LED部件在其中均可见的LED标志。

[0015] 图2示出了图1的LED标志，其中所有LED元件由于错误成像而不可见。

[0016] 图3是示出多重曝光图像传感器的输出时序的时序图。

[0017] 图4是图像处理系统的框图。

[0018] 图5示出了可以用于实施各种实施例的网络系统的框图。

[0019] 图6是示出在图像处理系统中使用的WDR单元的功能的流程图。

[0020] 图7是示出在图像处理系统中使用的融合单元的功能的流程图。

[0021] 图8是示出LED检测单元的功能的流程图。

[0022] 图9是示出在图像处理系统中使用的混合单元的功能的流程图。

[0023] 图10是示出由混合处理器或模块执行的过程的过程流程图。

具体实施方式

[0024] 现在将参考附图描述本公开，附图总体上涉及一种新颖的图像处理系统，该图像处理系统允许利用常规的CMOS图像检测器来检测环境LED照明，同时防止在最终产生的图
像中引入失真和运动伪影。图像处理系统包括宽动态范围(WDR)处理器或模块、融合处理器
或模块、LED检测处理器或模块以及混合处理器或模块。该系统用于从图像传感器接收连续
的长曝光图像和短曝光图像。该系统使用来自WDR处理器的WDR图像和来自融合处理器的融
合图像结合连续的长曝光图像和短曝光图像来检测来自产生长曝光图像和短曝光图像的
图像传感器的具有不同脉冲持续时间的LED脉冲。LED检测处理器输出指示连续的长曝光图
像和短曝光图像中的对应区域是否包括LED闪烁或运动的控制信号，并且混合处理器生成
连续的长曝光图像和短曝光图像与无闪烁最终图像的混合图像。

[0025] 应当理解，本公开的当前实施例可以许多不同的形式实施，并且权利要求范围不应当被解释为限于本文阐述的实施例。相反，提供这些实施例使得本公开将是彻底和完整
的，并且将本公开的实施例概念完全传达给所属领域技术人员。事实上，本公开旨在覆盖包
括在由所附权利要求书限定的本公开的精神和范围内的这些实施例的替代物、修改和等同
物。此外，在本公开的当前实施例的以下详细描述中，阐述了许多具体细节以提供透彻理
解。然而，所属领域的一般技术人员将明白，本公开的当前实施例可以在没有此类具体细节
的情况下实践。

[0026] 图1示出了LED标志100，该LED标志示出了单词“打开(OPEN)”，其中该标志由多个LED灯组成。如图3所示，组成单词OPEN的每个LED具有以10ms间隔重复出现的一系列导通
(ON)脉冲。导通脉冲对于人眼是不可检测的，但是可以由成像系统检测到。如图3所示，使用
CMOS传感器的宽动态范围(WDR)系统通过组合多个曝光帧来捕获图像，其中每个曝光帧具
有不同的曝光持续时间。图3在220处示出了长连续曝光帧和短连续曝光帧时序。在本公开
的上下文中，术语“帧”与术语“图像”同义地使用，因为帧可以包括构成完整运动画面的许
多静止图像中的一个。

[0027] 由于长曝光帧与短曝光帧之间的曝光时序，成像系统可能会错过LED标志的曝光脉冲，从而导致图像如图2所示地呈现为：部分或全部曝光不足的图像。

[0028] 如图3所示，示出了适于输出连续的长曝光图像和短曝光图像的图像捕获传感器与LED“导通”脉冲之间的时序差异。时序图210示出了LED的连续周期性脉冲。在一个实施例
中，LED导通脉冲每10ms重复一次，但是周期可以更长或更短，这取决于LED制造商和LED的
使用。图像捕获传感器依次捕获长曝光(242、244、246)和短曝光(232、234、236)。在包括长
曝光242和短曝光232的第一捕获序列250期间，短曝光232将会捕获对应LED脉冲213的部分
曝光数据，而长曝光242将会捕获来自脉冲212和213的数据。在包括长曝光244和短曝光234
的第二捕获序列252期间，短曝光234将不会捕获LED脉冲214或215的曝光数据，而长曝光
244将会捕获来自脉冲214的数据的完全曝光。在包括长曝光246和短曝光236的第三捕获序
列254期间，短曝光236将再次仅捕获对应LED脉冲216的部分曝光数据，而长曝光246将会捕
获来自脉冲215的数据的完全曝光。

[0029] 常规的WDR传感器的所检测图像由运动区域以及过饱和区域中的短曝光帧复合。另一方面，暗区域以及非运动区域(没有亮度过饱和)、图像可以由长曝光帧合成。这导致标
记100如图2所示呈现。

[0030] 图4示出了根据本技术的图像信号处理器(image signal processor，ISP)。ISP 400耦合到多重曝光传感器410，并且包括融合处理器420、WDR处理器430、LED脉冲检测处理
器440和混合处理器450。多重曝光传感器410提供连续的长曝光图像或帧和短曝光图像或
帧。将从多重曝光传感器410输出的曝光数据提供给融合处理器420、WDR处理器430和LED脉
冲检测处理器440。

[0031] 融合处理器420将来自连续的长图像和短图像的多个曝光数据相加在一起。在相邻的长图像和短图像中的像素的相应区域上逐像素执行多重曝光数据的相加。一方面，区
域可以是帧中的像素区域。区域可以由宽度上的像素数和高度上的像素数定义。在一个实
施例中，区域可以包括包含30像素宽×5像素高区域的区域。像素在帧内被布置成一系列行
和列，因此区域可以具有在相邻帧(下一连续长帧或短帧)中位于相邻帧中的相同行和列区
域处的相同对应区域。在一个实施例中，融合处理器420可以包括饱和检查机制以限制最终
输出像素值，从而避免亮曝光区域中的过饱和。在替代实施例中，在融合处理器中不使用过
饱和机制，并且在混合处理器450中可能发生过饱和处理。

[0032] 融合处理器420的输出包括提供给LED脉冲检测处理器440和混合处理器450的融合图像。

[0033] WDR处理器430输出宽动态范围图像(WDR图像)。WDR图像是清晰的、没有运动模糊的图片。为了输出WDR图像，WDR处理器430用于通过将长曝光时间帧与短曝光时间帧进行比
较来检测潜在运动。因此，它可以将LED的开关脉冲识别为运动。当这种情况发生时，WDR处
理器430输出短曝光时间帧，并且如上面关于图3所讨论的，短曝光时间帧经常错过LED光的
“导通”脉冲。将WDR图像输出到LED脉冲检测处理器440和混合处理器450。在一个实施例中，
WDR处理器430可以包括饱和度检查机制以避免WDR图像的亮曝光区域中的过饱和。在替代
实施例中，在WDR处理器430中不使用过饱和机制，并且在混合处理器450中可能发生过饱和
处理。

[0034] LED脉冲检测处理器440确定输入图像内的区域是否在LED闪烁区域内。因为运动区域可能看起来类似于LED闪烁，所以LED检测器判断原始曝光输入是否包括真实运动区域
或LED闪烁。如果这种判断不正确，则将在输出图像中引起运动模糊或运动不连续性伪影。
LED脉冲检测处理器440使用来自多重曝光传感器410的原始曝光数据、来自融合处理器420
的融合图像和来自WDR处理器430的WDR图像来做出关于区域是LED脉冲还是运动的这种判
断。如下所述，LED脉冲检测处理器440向混合处理器450输出控制信号，该控制信号指示混
合处理器450如何处理最终混合图像中的区域。

[0035] 混合处理器450创建并输出混合图像，包括融合图像与WDR图像的合成。根据来自LED脉冲检测处理器440的信息，混合图像提供的是WDR图像与融合图像的混合结果。当区域
包括LED源时，混合图像是成像区域的更精确表示。如上所述，在其中WDR处理器430和融合
处理器420不包括控制它们相应的输出图像中的过饱和的过饱和机制的实施例中，混合处
理器450可以包括过饱和机制。

[0036] 图4所示的处理器中的每一个可以包括专门用于执行本文所述功能的电路。每个处理器同样可以包括任何适当的可编程硬件元件，诸如可编程处理电路。每个处理器可以
作为单独的电路元件提供给其它处理器，或者处理器可以共享它们的一些或全部处理电
路。前述处理器中的每一个可以由一根或多根系统总线耦合，该系统总线在功能上由链接
各种处理器之间的数据的箭头来示出。指示数据流的箭头不应被认为指示处理器之间的数
据或控制总线的布置数量，而仅仅示出处理器之间的数据流。

[0037] 图5是可以用于实施各种实施例的网络设备500的框图。特定网络设备可以利用所有示出的部件，或者仅利用部件的子集，并且集成水平可以随设备而变化。此外，网络设备
500可以包含部件的多个实例，诸如多个处理单元、处理器、存储器、发射机、接收机等。网络
设备500可以包括与总线570连接的中央处理单元(central processing unit，CPU)510、存
储器520、大容量存储设备530和I/O接口560。总线570可以是任何类型的若干总线架构中的
一个或多个，包括存储器总线或存储器控制器、外围总线等。

[0038] 多重曝光传感器590耦合到总线570，并且可以等效于关于图4所讨论的多重图像传感器410。传感器590耦合到总线570并且将连续的长曝光图像和短曝光图像输出到可以
由CPU操作的存储器520。

[0039] CPU 510可以包括任何类型的电子数据处理器。存储器520可以包括任何类型的系统存储器，诸如静态随机存取存储器(static random access memory，SRAM)、动态随机存
取存储器(dynamic random access memory，DRAM)、同步DRAM(synchronous DRAM，SDRAM)、
只读存储器(read‑only memory，ROM)、其组合等。在一个实施例中，存储器520可以包括用
于在启动时使用的ROM，以及在执行程序时用于程序和数据存储的DRAM。在实施例中，存储
器520是非暂时性的。在一个实施例中，存储器520包括融合模块520A，该融合模块可以包括
使CPU 510将来自连续的长脉冲和短脉冲的多重曝光数据相加在一起的指令，以及任选地
包括用于实施饱和度检查机制以限制融合图像中的最终输出像素值从而避免亮曝光区域
中的过饱和的指令。存储器520可以进一步包括WDR模块520B，该WDR模块包括使CPU 510以
与WDR处理器430等效的方式创建和输出WDR图像的指令。存储器520可以进一步包括LED脉
冲检测模块520C，该LED脉冲检测模块包括使CPU 510确定来自曝光传感器590的输入融合
图像、WDR图像和连续的长曝光图像和短曝光图像内的对应区域是否在LED 闪烁区域内的
指令，该LED脉冲检测模块以等效于LED脉冲检测处理器440的方式进行操作。存储器520的
混合模块520D包括使CPU 510创建和输出混合图像的指令，该指令包括融合图像与WDR图像
的合成，并且提供图像内的区域是否是LED的更准确表示。混合模块520D以等效于混合处理
器450的方式进行操作。混合模块520D可以任选地包括用于实施饱和度检查机制以限制混
合图像中的最终输出像素值从而避免亮曝光区域中的过饱和度的指令，其中这种饱和度检
查任选地不包括在WDR模块520B和/或融合模块520A中。

[0040] 大容量存储设备530可以包括用于存储数据、程序和其它信息并且使数据、程序和其它信息可经由总线570访问的任何类型的存储设备。大容量存储设备530可以包括例如固
态驱动器、硬盘驱动器、磁盘驱动器、光盘驱动器等中的一个或多个。

[0041] 网络设备500还包括一个或多个网络接口550，该网络接口可以包括诸如以太网电缆等有线链路和/或到接入节点或一种或多种网络580的无线链路。网络接口550允许网络
设备500经由网络580与远程单元通信。例如，网络接口550可以经由一个或多个发射机/发
射天线和一个或多个接收机/接收天线提供无线通信。在一个实施例中，网络设备500耦合
到局域网或广域网580以用于数据处理和与诸如其它处理单元、因特网、远程存储设施等远
程设备的通信。

[0042] 图6是示出根据该技术的由WDR处理器或WDR模块520B执行的过程的流程图。在600处，图像传感器410或590捕获多个连续的长图像和短图像。应理解，图像传感器的捕获操作
不是WDR处理器执行的操作的一部分，并且图像传感器410或590可以是用于捕获和输出多
个连续的长曝光图像和短曝光图像的许多常规的基于CMOS技术的图像传感器中的任一种。

[0043] 在610处，WDR处理器430或WDR模块520B接收连续的长曝光图像和短曝光图像流。在620处，将长曝光时间帧与短曝光时间帧进行比较。这种比较可以逐区域发生，并且针对
连续帧或多个连续(长和短)帧中的对应区域而发生。在630处，确定图像(或区域)是否包括
运动。该确定可以是比较相邻图像中和区域内的曝光数据以分析区域内的紧密像素中的类
似曝光数据是否出现在连续图像中的结果。如果是，则可以确定运动。如果在630处确定运
动，则在650处基于630处的比较来输出包括长曝光图像与短曝光图像的混合WDR图像作为
WDR图像。如果确定图像中没有运动，则在640处输出作为WDR图像的长曝光图像。

[0044] 图7是示出由融合处理器420(或融合模块520A)执行的过程的流程图。在700处，融合处理器420或融合模块520A接收连续的长曝光图像和短曝光图像流。应理解，连续的长曝
光图像和短曝光图像流的时间序列将与由WDR处理器(或WDR模块430)和LED检测处理器440
(或LED检测模块520C)接收的流进行时间同步，使得所有处理器(或模块)对该流内的相同
时间序列图像进行操作。

[0045] 在710处，对于两个连续图像内的每个公共区域，以及在720处，对于每个公共区域内的每个像素，重复730至770处的步骤以生成融合图像。在730处，对准并确定相邻连续的
短曝光图像和长曝光图像中的公共区域。如所述，公共区域可以是相对于连续图像或多个
连续图像中的图像行和列位置的相同区域。该过程可以被执行两个相邻图像或多个连续图
像。在740处，将短曝光图像中的像素数据添加到相邻连续的长曝光图像中的像素数据。在
750处，如果所添加数据超过强度阈值，则使用饱和度检查机制来对输出图像应用颜色校
正。在750处，如果连续帧中的所添加数据在添加时超过强度阈值，则在760处应用颜色校
正。可以通过被设计使得不发生像素/区域的过饱和的过程将阈值设定为任何合适的水平。
在760处的颜色校正可以包括将乘数因子应用于强度数据以减小来自将对融合图像有贡献
的长曝光图像或短曝光图像中的一个或多个的数据的强度。在770处，输出所添加像素数据
(或颜色校正后的数据)并且移动该过程，因此处理下一像素和下一区域，直到处理图像中
的所有区域为止。一旦在780处理了所有区域，就生成整个融合图像。

[0046] 图8是示出由LED脉冲检测处理器440或LED脉冲检测模块520C执行的过程的流程图。在800处，LED脉冲检测处理器440或LED脉冲检测模块520C接收连续的长曝光图像和短
曝光图像流。同样，当由LED脉冲检测处理器440或LED脉冲检测模块520C接收时，连续的长
曝光图像和短曝光图像流将与融合图像和WDR图像进行时间同步。

[0047] 在810处，对于两个连续图像内的每个共同区域，以及在820处，对于每个共同区域内的每一像素，重复830至870处的步骤以生成到混合处理器450或混合模块520D的控制信
号，该控制信号指示混合处理器450或混合模块520D如何处理混合图像。在830处，如在步骤
730中那样对准并确定相邻连续的短曝光图像和长曝光图像中的公共区域。

[0048] 在840处，将短曝光图像、相邻连续的长曝光图像、融合图像和WDR图像中的像素数据进行比较。在850处，基于每个对应区域和每个像素中的数据，确定像素/区域是否包含运
动或LED脉冲。图9示出了关于步骤850的附加细节。如果对应区域中的像素被确定为LED，则
在860处(对于每个确定的像素)输出控制信号，该控制信号基于LED的确定为对最终帧的像
素贡献加权。然后将来自反映该输出的相应融合或WDR图像的强度数据用于混合图像。(通
常，这可能是融合图像或WDR图像中的较大者对混合图像的对应区域中的像素/区域的较高
强度贡献)。如果对应区域中的像素被确定为运动，则在870处(对于每个确定的像素)输出
控制信号，该控制信号基于运动的确定为对最终帧的像素贡献加权。在880处，对于图像中
的每个像素和区域继续该过程。

[0049] 图9是示出执行图8中的步骤850(确定图像是否包括运动或LED脉冲)的一个实施例的流程图。在900处，该过程将来自长曝光图像(LONG)、短曝光图像(SHORT)(在时间上与
长曝光图像相邻)、融合图像数据和WDR图像数据(其是以下项中的一项：LONG图像数据、
SHORT图像数据，或者LONG图像数据与SHORT图像数据的混合)的数据作为输入，该融合图像
数据可以是LONG数据和SHORT数据的相加或者是用于LONG和SHORT数据的颜色校正后的输
出。LED的脉冲频率范围非常宽，并且场中的LED可能在图像中具有带不同频率的许多LED。
当存在LED闪烁时，长曝光像素值与短曝光像素值之间的差值非常大(LONGt>>SHORTt)。对于
运动对象，前一对LONGt‑1和SHORTt‑1的关系将是(LONGt‑1≈SHORTt‑1)。然而，对于真正的LED
闪烁，前一对LONGt‑1和SHORTt‑1将仍然是(LONGt‑1>>SHORTt‑1)。

[0050] 示出了一种情况来确定是否需要执行分析(步骤910)或者基于该数据是否可以确定LED脉冲(步骤920或930)。

[0051] 在940处，如果步骤910为真或者920和930为假，则进行分析。在910处，LONG图像数据在强度上比SHORT图像数据高得多。在这种情况下，这个区域中的融合图像很可能包含颜
色校正(混合)的数据集，而WDR图像很可能包含SHORT图像数据(很可能已经确定了原始数
据中的运动)。如果步骤910为真，则该过程移动到步骤940，其中通过将先前的LONG图像和
SHORT图像的状态与当前的LONG图像和SHORT图像进行比较来进一步确定是否存在LED脉
冲。如果存在LED脉冲，则这两对LONG图像和SHORT图像的状态将是类似的。

[0052] 在920处，SHORT图像数据在强度上比LONG图像数据高得多。在这种情况下，这个区域中的融合图像很可能包含SHORT数据，而WDR图像很可能包含SHORT图像数据(很可能已经
确定了原始数据中没有运动)。在930处，LONG图像数据在强度上接近SHORT图像数据。在这
种情况下，这个区域中的融合图像将可能包含混合数据，并且来自WDR的图像将是混合数
据。如果920或930为真，则通过该方法确定在该区域中不存在LED。

[0053] 由LED确定处理器输出的控制信号允许混合处理器确定WDR图像数据或融合图像数据或WDR图像与融合图像的混合是否将用于输出图像。如下所述，混合处理器逐像素从
WDR图像或融合图像中的一个中选择数据来生成混合图像。因此，在允许使用标准CMOS传感
器技术的同时，混合图像与标准WDR图像相比更准确地检测图像内的LED照明。

[0054] 图10示出了由混合处理器450或混合模块520D执行的过程。混合处理器450或混合模块520D在1000处将融合图像作为输入以及在1010处将WDR图像作为输入。在1020处对于
融合图像和WDR图像的每一个中的每一个像素，在1030处并且响应于来自LED检测处理器的
控制信号，混合处理器450或混合模块520D选择融合图像或WDR图像或这两个图像的混合版
本的像素值以用于混合图像。在1070处，对每个像素继续该过程，直到处理完所有像素为
止，此时在1080处，该过程输出改善了LED检测的最终混合图像。这样，混合处理器450或混
合模块520D将输出以下图像中的一个：WDR图像、融合图像，或WDR图像与融合图像的混合。
如果LED检测处理器440或模块520C可以确定像素在LED闪烁区域中，则混合处理器450或混
合模块520D将输出该像素的融合结果。另一方面，如果LED检测处理器440或模块520C可以
确定像素在运动区域中，则混合处理器450或混合模块520D将输出该像素的WDR结果。然而，
如果不能肯定地确定像素在LED闪烁区域或运动区域中，则混合处理器450或混合模块520D
将输出该像素的WDR图像和融合图像的混合结果。所有模块的操作均是基于像素的。为了提
高准确度，检测操作还将参考目标像素的周围像素，它将是基于区域的。

[0055] 该技术可以进一步包括：装置400，用于接收从图像传感器410输出的连续的长曝光图像和短曝光图像；装置430，用于基于相邻连续的长曝光图像和短曝光图像生成宽动态
范围(WDR)图像；装置420，用于基于相邻连续的长曝光图像和短曝光图像生成融合图像，该
融合图像包括来自相邻的长曝光图像和短曝光图像中的每一个的所添加数据；装置440，用
于基于融合图像、WDR图像和相邻连续的长曝光图像和短曝光图像而生成控制信号，该控制
信号指示融合图像或WDR图像中的像素是否包括LED脉冲；以及装置450，用于通过从WDR图
像或融合图像中的一个中选择数据来响应于控制信号而生成混合图像。

[0056] 如上所述，在本文讨论的图像处理技术改善了用于多种应用的LED检测。该技术允许常规的CMOS图像传感器与WDR处理器或模块输出一起使用，同时缓解最终混合图像中的
LED闪烁。因此，制造成本可以相对较低。另外，与常规的LED捕获和检测过程相比，该技术还
可以从信噪比(signal to noise ratio，SNR)的角度改善图像质量。如本文讨论的WDR处理
器或模块的输出是包括LONG曝光帧与SHORT曝光帧的组合的WDR图像。这个WDR图像的混合
比取决于LONG曝光数据与SHORT曝光数据的差值。对于运动区域中的像素，这个差值将变得
更大，随后输出像素将包括更多的SHORT曝光数据。另一方面，如果像素处于静止且明亮的
区域中，则该差值将更小，随后输出像素将包括更多的LONG曝光数据。通常，SHORT曝光数据
具有较少的运动模糊，但是比LONG曝光数据噪声更大。当所检测像素处于静止但较暗区域
中时，WDR模块的输出可以包括更多的SHORT曝光数据，因为其对应的SHORT曝光像素的噪声
更大，随后该差值可能变得更大。为了避免这种不准确的检测，LED脉冲检测处理器440或模
块520C可以用于检查前一对(LONGt‑1、SHORTt‑1)的差值和当前对(LONGt、SHORTt)的差值之间
的关系。如果这两个差值是类似的，则所检测像素在LED闪烁区域或静止区域中，混合模块
将输出最终数据中更高比例的融合数据。如上所述，融合图像是添加LONG图像数据和SHORT
图像数据而不是仅仅SHORT图像数据的结果。因此，混合图像的SNR将优于噪声环境中的WDR
图像输出。

[0057] 本文公开了一种图像处理设备，包括：融合处理器，用于接收连续的长曝光图像和短曝光图像，并且生成融合图像，所述融合图像包括相邻连续的长曝光图像和短曝光图像
的所添加对应部分；LED检测处理器，用于接收所述融合图像、所述连续的长曝光图像和短
曝光图像以及从所述连续的长曝光图像和短曝光图像形成的宽动态范围(WDR)图像，并且
生成指示所述对应区域是否包括LED闪烁或运动的控制信号；以及混合处理器，所述混合处
理器响应于所述控制信号而生成混合图像。

[0058] 所述图像处理设备可以包括前述图像处理设备，其中所述融合处理器用于通过将来自所述相邻的长连续图像和短连续图像的像素值相加在一起来输出所述融合图像。

[0059] 所述图像处理设备可以包括前述任一图像处理设备，其中所述融合处理器在所述相邻的长连续图像和短连续图像的对应区域中逐像素添加像素值。

[0060] 所述图像处理设备可以包括前述任一图像处理设备，其中所述融合处理器包括逐像素操作的饱和度检查机制。

[0061] 所述图像处理设备可以包括前述任一图像处理设备，其中所述混合处理器基于所述控制信号从所述融合图像或所述WDR图像或所述融合图像与所述WDR图像的组合中的对
应像素值中的一个中选择混合图像的像素值。

[0062] 所述图像处理设备可以包括前述任一图像处理设备，其中所述LED检测处理器用于基于所述相邻连续的LONG图像和SHORT图像中的像素值之间的所述关系来确定两个相邻
连续的LONG曝光图像和SHORT曝光图像、所述融合图像和所述WDR图像的至少对应区域是否
包括运动或LED脉冲。

[0063] 所述图像处理设备可以包括前述任一图像处理设备，其中所述WDR处理器、所述融合处理器和所述混合处理器中的一个确定区域是否过饱和并且校正所述过饱和区域。

[0064] 所述图像处理设备可以包括前述任一图像处理设备，其中所述混合图像包括示出在图像捕获设备的长曝光图像期间的LED的图像，所述图像捕获设备捕获并输出所述连续
的长连续曝光图像和短连续曝光图像。

[0065] 还公开了一种用于处理图像的计算机实施的方法，包括：接收连续的长曝光图像和短曝光图像以及基于相邻连续的长曝光图像和短曝光图像的宽动态范围(WDR)图像；基
于所述相邻连续的长曝光图像和短曝光图像生成融合图像，所述融合图像包括来自所述相
邻的长曝光图像和短曝光图像中的每一个的所添加数据；基于所述融合图像、所述WDR图像
和所述相邻连续的长曝光图像和短曝光图像而生成控制信号，所述控制信号指示所述融合
图像或所述WDR图像中的像素是否包括LED闪烁；以及通过从以下各项中的一项中选择数据
来响应于所述控制信号而生成混合图像：WDR图像或所述融合图像，或两者。

[0066] 所述计算机实施的方法可以包括前述任一计算机实施的方法，其中生成融合图像包括将来自所述相邻的长连续图像和短连续图像的像素值相加在一起。

[0067] 所述计算机实施的方法可以包括前述任一计算机实施的方法，其中生成融合图像包括在所述相邻的长连续图像和短连续图像的对应区域中逐像素添加像素值。

[0068] 所述计算机实施的方法可以包括前述任一计算机实施的方法，其中生成融合图像包括逐像素限制像素饱和度。

[0069] 所述计算机实施的方法可以包括前述任一计算机实施的方法，其中生成混合图像包括基于所述控制信号从所述融合图像或所述WDR图像或所述融合图像与所述WDR图像的
组合中的对应像素值中的一个中选择所述混合图像的像素值。

[0070] 所述计算机实施的方法可以包括前述任一计算机实施的方法，其生成控制信号以基于所述相邻连续的LONG图像和SHORT图像中的像素值之间的所述关系来确定两个相邻连
续的长曝光图像和短曝光图像、所述融合图像和所述WDR图像的至少对应区域是否包括运
动或LED闪烁。

[0071] 所述计算机实施的方法可以包括前述任一计算机实施的方法，其中生成混合图像包括确定所述WDR图像、所述融合图像或所述混合图像中的区域是否过饱和；以及校正所述
过饱和区域。

[0072] 还公开了一种存储用于处理图像的计算机指令的非暂时性计算机可读介质，所述计算机指令在由一个或多个处理器执行时使所述一个或多个处理器执行以下步骤：接收连
续的长曝光图像和短曝光图像，以及基于相邻连续的长曝光图像和短曝光图像的宽动态范
围(WDR)图像；基于所述相邻连续的长曝光图像和短曝光图像生成融合图像，所述融合图像
包括来自所述相邻的长曝光图像和短曝光图像中的每一个的所添加数据；基于所述融合图
像、所述WDR图像和所述相邻连续的长曝光图像和短曝光图像而生成控制信号，所述控制信
号指示所述融合图像或所述WDR图像中的像素是否包括LED闪烁；以及通过从所述WDR图像
或所述融合图像中的一个中选择数据来响应于所述控制信号而生成混合图像。

[0073] 所述非暂时性计算机可读介质可以包括前述任一非暂时性计算机可读介质，其中生成融合图像包括在所述相邻的长连续图像和短连续图像的对应区域中逐像素将来自所
述相邻的长连续图像和短连续图像的像素值相加在一起。

[0074] 所述非暂时性计算机可读介质可以包括前述任一非暂时性计算机可读介质，其中生成融合图像包括逐像素限制像素饱和度。

[0075] 所述非暂时性计算机可读介质可以包括前述任一非暂时性计算机可读介质，其中基于所述融合图像而生成控制信号基于所述前几对LONG图像和SHORT图像与当前几对LONG
图像和SHORT图像之间的差值来确定两个相邻连续的长曝光图像和短曝光图像、所述融合
图像和所述WDR图像的至少对应区域是否包括运动或LED导通脉冲。

[0076] 所述非暂时性计算机可读介质可以包括前述任一非暂时性计算机可读介质，其中生成混合图像包括确定所述WDR图像、所述融合图像或所述混合图像中的区域是否过饱和；
以及校正过饱和区域。

[0077] 应理解，本发明可以具体体现为许多不同的形式且不应被解释为仅限于本文所阐述的实施例。相反，提供这些实施例使得本主题将是彻底和完整的，并且将向所属领域技术
人员充分传达本公开。事实上，本主题旨在覆盖包括在由所附权利要求书限定的本主题公
开的精神和范围内的这些实施例的替代物、修改和等同物。另外，在以下本请求保护的主题
的详细描述中，阐述了许多特定细节以便提供对本请求保护的主题的透彻理解。然而，所属
领域的普通技术人员将清楚到，可以在没有这样具体细节的情况下实践本请求保护的主
题。

[0078] 本文参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本公开的各方面。应理解，流程图和/或框图中的每个框以及流程图和/或
框图中的框组合可以由计算机程序指令来实施。这些计算机程序指令可以提供通用计算
机、专用计算机的处理器或其它可编程数据处理装置来启动机器，使得经由计算机的处理
器或其它可编程指令执行装置执行的指令产生用于实施流程图和/或框图框或多个框中指
定的功能/动作的机制。

[0079] 计算机可读非暂时性介质包括所有类型的计算机可读介质，包括磁存储介质、光存储介质和固态存储介质，并且具体地排除信号。应理解，软件可以安装在设备中并与设备
一起出售。任选地，可以获得软件并将其加载到设备中，包括经由盘介质或从任何形式的网
络或分发系统获得软件，包括例如从软件创建者拥有的服务器或从软件创建者不拥有但使
用的服务器获得软件。例如，可以将软件存储在服务器上以便通过因特网进行分发。

[0080] 计算机可读存储介质排除传播信号本身，可以由计算机和/或处理器访问，并且包括可移动和/或不可移动的易失性和非易失性内部和/或外部介质。对于计算机，各种类型
的存储介质适应以任何合适的数字格式存储数据。所属领域的技术人员应理解，可以采用
其它类型的计算机可读介质，诸如压缩驱动器(zip drive)、固态驱动器、磁带、闪存卡、闪
存驱动器、盒式磁带等，用于存储用于执行所公开的架构的新颖方法(动作)的计算机可执
行指令。

[0081] 本文中所用的术语仅仅是出于描述特定方面的目的，并且并不打算限制本公开。除非上下文清楚说明，否则本文所用的单数形式“一”和“所述”包括其复数形式。应进一步
理解，本说明书中所用的术语“包括”用于说明存在所述特征、整数、步骤、操作、元件和/或
部件，但并不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、部件和/或它们
的组合。

[0082] 已经出于说明和描述的目的呈现了对本公开的描述，但并不旨在穷举或将本公开限制为所公开的形式。在不偏离本公开的范围和精神的前提下，多种修改和改变对所属领
域技术人员而言是显而易见的。选择和描述的本公开各个方面以便更好地解释本公开的原
理和实际应用，并且使本领域技术人员能够理解本公开适合预期特定用途的各种修改。

[0083] 为了本文档的目的，与所公开的技术相关联的每个过程均可以连续地并且由一个或多个计算设备来执行。过程中的每个步骤可以由与其它步骤中使用的那些相同或不同的
计算设备来执行，并且每个步骤不必由单个计算设备来执行。

[0084] 虽然已经以特定于结构特征和/或方法动作的语言描述了主题，但是应理解，权利要求书定义的主题不必局限于上面描述的具体特征或动作。相反，上文所述的具体特征和
动作被公开为实施权利要求的示例性形式。