具有扩展的动态范围的图像传感器

摘要

图像传感器包括：多个像素；跨越像素的至少一部分的滤色器图案，其中，滤色器图案形成具有按照预定排列的色彩的滤色器核心；以及用于控制像素的积分时间的装置，其中，多个像素的积分时间在与滤色器阵列核心相关的图案中在空间上变化。

权利要求

1.一种具有增加的动态范围、基于半导体的图像传感器，包括：(a)多个像素；

(b)跨越所述像素的至少一部分的滤色器图案，其中，所述滤色器图案包括各具有多个像素和相应的滤色器图案的多个滤色器核心；以及(c)用于控制所述像素的积分时间的装置，其中，所述多个像素的积分时间在与滤色器核心相关的图案中在空间上变化，以及其中，每个滤色器核心包括相邻像素的2×2阵列，其中滤色器核心的第一集合的积分时间是在第一积分时间，以及滤色器核心的第二集合的积分时间是在第二积分时间，以及第一集合具有至少一个滤色器核心，以及第二集合具有至少一个滤色器核心，所述第二集合中的每一个滤色器核心与所述第一集合中的相应滤色器核心相邻。

2.一种照相机，包括：

(a)具有增加的动态范围、基于半导体的图像传感器，所述图像传感器包括：(a1)多个像素；

(a2)跨越所述像素的至少一部分的滤色器图案，其中，所述滤色器图案包括各具有多个像素和相应的滤色器图案的多个滤色器核心；以及(a3)用于控制所述像素的积分时间的装置，其中，所述多个像素的积分时间在与滤色器核心相关的图案中在空间上变化，以及其中，每个滤色器核心包括相邻像素的2×2阵列，其中滤色器核心的第一集合的积分时间是在第一积分时间，以及滤色器核心的第二集合的积分时间是在第二积分时间，以及第一集合具有至少一个滤色器核心，以及第二集合具有至少一个滤色器核心，所述第二集合中的每一个滤色器核心与所述第一集合中的相应滤色器核心相邻。

3.如权利要求2所述的照相机，其特征在于，用于控制所述像素的积分时间的装置包括用于控制积分时间的每行多个信号线。

说明书

具有扩展的动态范围的图像传感器

技术领域

[0001] 本发明涉及具有增加的动态范围、基于半导体的图像传感器。

背景技术

[0002] 固态图像传感器现在广泛地用于许多类型的图像捕捉应用。所采用的两种主要图像传感器技术是电荷耦合器件CCD和CMOS x-y可寻址器件。目前存在这两种技术的许多不同的具体实施例，其中包括有源像素传感器(APS)以及CMOS x-y可寻址器件的无源像素传感器(PPS)。基本上全部由光电检测器组或阵列构成，它们把入射光转换为可被读出并且用来构造与入射光图案相关的图像的电信号。光电检测器阵列的曝光或积分时间可由众所周知的装置来控制。信号表示入射到像素感光单元上的光的量。成像感应器件的动态范围(DR)被定义为通常称作饱和信号(Vsat的有效最大可检测信号电平与传感器的rms.噪声电平(σ噪声)之比。这如等式1所示。

[0003] 等式1：动态范围＝Vsat/σ噪声

[0004] 图像传感器器件、例如对入射光子建立的电荷积分的电荷耦合器件(CCD)的动态范围由给定感光单元中可收集并保持的电荷量(Vsat)来限制。例如，对于任何给定的CCD，在一个像素中可收集并检测的电荷量与像素面积成比例。因此，对于百万像素数字照相机(DSC)中使用的商用器件，表示Vsat的电子数量大约为13000到20000个电子。如果入射光极亮并且建立可在像素或光电检测器中保持的更多电子，则这些过剩电子由像素中的消除模糊装置提取，并且不构成增加的饱和信号。因此，最大可检测信号电平被限制到光电检测器或像素中可保持的电荷量。DR也由传感器噪声电平σ噪声来限制。由于对Vsat的限制，在CCD中进行许多工作将σ噪声降到极低水平。商用百万像素DSC器件具有1000∶1或以下的DR。

[0005] DR上的相同限制对于APS和PPS器件也存在。Vsat由光电检测器中可保持并隔离的电荷量来限制。过剩电荷丢失。与CCD相比，由于像素中限制可用于光电检测器的面积的有源和无源元件，以及由于CMOS器件中采用的低电压电源和时钟，这对于APS和PPS更成问题。另外，由于APS器件已经用来提供芯片上的图像传感器系统，因此，CCD上没有的、在APS器件上采用的数字和模拟电路、例如定时和控制及模数转换与CCD相比在APS器件上提供高得多的固有噪声电平。这是由于较高的瞬时噪声以及来自芯片上的模数转换器的可能的量化噪声。

[0006] 在共同转让的美国专利6069377中，Guidash公开了扩展APS器件的动态范围的先有技术方法，并且公开了扩展动态范围的一种新发明。这种方法的缺点是每个像素需要四个以上晶体管，并且限制了可制作的像素的尺寸。在美国专利6307195和6486504中，Guidash公开了通过收集从光电检测器大量出现的电荷以及通过把光电检测器和浮动扩散共同集成在单个像素中来扩展动态范围。这些方法可能的缺点是构成传感器中的固定图案噪声的光电检测器饱和电平的空间变化，并且不增加传感器的灵敏度。

[0007] 先有技术的APS器件还因像素中有源元件的集成以及入射光通过设置在像素上的滤色器层的传输损失导致的有限填充因数而具有对光的很差灵敏度。

[0008] 从以上论述中应当清楚，先有技术中仍然需要保持扩展的动态范围、同时保持低固定图案噪声、小像素和高灵敏度的器件。

发明内容

[0009] 本发明提供一种分别对图像传感器上的任何给定空间图案、更具体是对与CFA图案中的核心的一维或二维兼容的图案控制积分的装置。这通过为给定行或行集合中的像素提供分开的TG或RG总线，或者通过提供分别对图像传感器阵列中的像素的给定图案控制积分时间的任何装置来进行。这样，有效数据始终可同时用于图像的暗和亮区域。

[0010] 根据本发明的一个方面，一种具有增加的动态范围、基于半导体的图像传感器，包括：

[0011] (a)多个像素；

[0012] (b)跨越所述像素的至少一部分的滤色器图案，其中，所述滤色器图案包括各具有多个像素和相应的滤色器图案的多个滤色器核心；以及

[0013] (c)用于控制所述像素的积分时间的装置，其中，所述多个像素的积分时间在与滤色器核心相关的图案中在空间上变化，以及

[0014] 其中，每个滤色器核心包括相邻像素的2×2阵列，其中滤色器核心的第一集合的积分时间是在第一积分时间，以及与第一集合相邻的滤色器核心的第二集合的积分时间是在第二积分时间，以及

[0015] 第一集合具有至少一个滤色器核心，以及第二集合具有至少一个滤色器核心。

[0016] 根据本发明的另一个方面，一种照相机，包括：

[0017] (a)具有增加的动态范围、基于半导体的图像传感器，所述图像传感器包括：

[0018] (a1)多个像素；

[0019] (a2)跨越所述像素的至少一部分的滤色器图案，其中，所述滤色器图案包括各具有多个像素和相应的滤色器图案的多个滤色器核心；以及

[0020] (a3)用于控制所述像素的积分时间的装置，其中，所述多个像素的积分时间在与滤色器核心相关的图案中在空间上变化，以及

[0021] 其中，每个滤色器核心包括相邻像素的2×2阵列，其中滤色器核心的第一集合的积分时间是在第一积分时间，以及与第一集合相邻的滤色器核心的第二集合的积分时间是在第二积分时间，以及

[0022] 第一集合具有至少一个滤色器核心，以及第二集合具有至少一个滤色器核心。

[0023] 本发明的照相机还包括每行多个信号线被用于控制所述多个像素积分时间的装置。

[0024] 本发明的有利效果

[0025] 通过阅读以下优选实施例的详细说明和所附权利要求并参照附图，会更清晰地理解和认识本发明的这些和其它方面、目的、特征及优点。

附图说明

[0026] 图1a是先有技术的像素阵列；

[0027] 图1b是另一个先有技术的像素阵列；

[0028] 图2a是本发明的一个像素阵列；

[0029] 图2b是本发明的一个备选实施例；

[0030] 图3是图表，以图形方式说明图2a和图2b的实现；

[0031] 图4a是每行两个积分控制线的图示；

[0032] 图4b是每行一个积分时间信号线的图示；

[0033] 图5是用于把图2a和图2b的像素阵列实现为优选商用实施例的照相机。

具体实施方式

[0034] 典型的先有技术图像传感器像素阵列如图1a和图1b所示。图1a中的图像传感器可能属于任何技术类型、如CCD或CMOS APS。图1a中的像素阵列10包括一组光电检测器。积分时间对于各像素是恒定的，由全部具有相同积分时间的区域10a中的像素代表。这种方法的缺点在于，如果积分时间长，则图像的亮区中的像素将变为饱和，以及亮区域中的图像细节将丢失。如果积分时间被选择为较短，则图像的暗区域中的图像质量因低信号和高噪声而会很差。在Guidash于2002年7月17日提交的标题为“具有可编程色彩平衡的有源像素传感器”的美国专利申请序号08/960418中公开了图1b中的图像传感器，在其中，与CFA图案关联的像素阵列20的各色彩具有各自的积分时间，以便取得电荷域白平衡。这在图1b中由表示为20a的区域即绿-红行中的绿像素、区域20b即绿-红行中的红像素、区域20c即绿-蓝行中的蓝像素以及区域20d即绿-蓝行中的绿像素来表示。这具有与对于图1a中的图像传感器像素阵列所述的相同缺点。

[0035] 参照图2a，本发明的图像传感器像素阵列30包括有助于不同的可编程积分时间、但按照与图1b所示不同的空间图案的阵列。对于x-y可寻址CMOS图像传感器，这可采用分开的传输门或复位门来实现。对于CCD图像传感器，这可通过包含分开的传输门来实现。图2a中的图像传感器像素阵列30构造成包括对于与滤色器阵列图案节距或核心相关的成对的行40a和40b具有两个不同积分时间的像素。具有长积分时间的像素称作快像素。具有短积分时间的像素称作慢像素。在Bayer CFA图案的情况中，这是两行节距。通过在这个图案中具有分开的积分时间，图像传感器的有效动态范围如图3所示被扩展。在区域1、即低亮度级区域中，传感器的慢和快两种像素没有饱和。快像素将具有远高于固有噪声电平的信号电平。慢像素将具有与传感器固有噪声电平相比在预定比率内的信号电平。在区域2中，慢和快两种像素都没有饱和，并且两者都具有足够的信噪比。在区域3、即高亮度级区域中，快像素已经饱和或者被削减，并且没有包含有效信号电平信息。慢像素没有饱和，并且包含具有足够信噪比的有效信号电平信息。由于有效信息与CFA图案相关，因此，来自快像素的丢失信息可通过慢像素的内插来确定。对于图3所示的分开积分时间体系结构，采取单帧捕捉，并且执行空间自适应图像处理。在区域2中，标准的先有技术彩色图像处理方法用来呈现图像。对于属于区域3中的图像捕捉中的像素面积，慢像素的内插用来确定快像素中的丢失信号信息。这导致图像的极亮面积中的真实MTF的损失，但是产生有效的更高饱和照度Isat。这有效地扩展图像传感器的画面内动态范围。虽然真实空间分辨率在极亮区域中下降，但是，在图像捕捉中原本会丢失的图像内容被保存。

[0036] 图2a的传感器体系结构设计成为积分时间图案提供第一积分时间的两行，以及具有第二积分时间的两个相邻行。这可采用任何类型的图像传感器、通过在这个图案中具有积分时间的多个或分开的控制来实现。对于CMOS和其它x-y可寻址图像传感器，这可只是通过让图像传感器定时采用应用于控制积分时间的交替行信号线对的独立的两组积分指针来安排来实现。这可能是各行中的传输门线或各行中的复位门线或者用来控制那一行的积分时间的其它任何每行信号。在CCD图像传感器的情况中，这要求构造传输门互连，使得至少对于行的交替对存在到传输门线的独立和分隔的连接。

[0037] 本发明的第二实施例以图2b中的阵列来表示。在这个实施例中，传感器阵列50构造成在2×2像素图案60a和60b中具有两个分开且可编程的积分时间。在x-y可寻址图像传感器技术的情况中，这通过每行包括多个信号线来实现，它们用来控制积分时间，例如传输门或复位门。每行的多个信号线连接到像素的交替对，以便产生图2b所示的积分时间图案。

[0038] 参照图4a，说明控制积分时间的多个信号线70的路由选择。采用路由多个信号线70来控制各行的积分时间的一个缺点是填充因数减小或者更大的像素尺寸，以便使额外的信号线适合像素节距。这通过图4b所示的信号线路由选择体系结构来解决。在这种情况中，每行使用单个积分时间控制线80，但它实际上被路由到两个相邻行中的像素。相邻行中的信号线80以类似于创建图2b所示的积分时间图案的方式被路由。通过这种方法，虽然一次从传感器读出单行数据，但数据流中包含的像素是来自阵列中的物理上相邻的行。为了正确地重构图像，隔行数据必须在照相机图像存储器中进行校正。这也是本发明的一个特征。由于芯片上或照相机内的存储器可设置成把数据写入两行或两行以上的位置，因此不需要让传感器同时从物理行中读出所有像素。

[0039] 如上所述，这为图像传感器和图像捕捉系统提供了画面内动态范围和宽曝光宽容度。单一图像捕捉可呈现具有对于低亮度级的积分时间的优化的全范围的图像信息，而没有削减图像的高亮度区域中的信号信息。这可极大地简化成像系统中的曝光控制系统和算法，因为曝光或积分时间的选择不需要非常精确。

[0040] 还应当注意，采用这种传感器的图像捕捉系统可用来测量或确定画面的动态范围，以便适当设置两个积分时间。在照相机系统的计量阶段，两个分开很宽的积分时间可用来确定画面中的最大和最小亮度级。两个积分时间则可调整为覆盖画面中的照明范围。例如，如果要捕捉的画面的动态范围处于图像传感器的固有动态范围之内，则两个积分时间可设置为相同的值。如果画面包含比传感器的真实动态范围更宽的动态范围，则两个积分时间可设置为匹配或最佳地覆盖画面的动态范围。

[0041] 参照图5，说明用于实现本发明的图像传感器的照相机90，它是许多面向消费者的商业实施例之一。

[0042] 参照一个优选实施例描述了本发明。但是，大家会理解，本领域的技术人员可进行各种变更和修改，而没有背离本发明的范围。

[0043] 配件表

[0044] 10 像素阵列

[0045] 20 像素阵列

[0046] 20a 绿像素，在绿-红行中

[0047] 20b 红像素，在绿-红行中

[0048] 20c 蓝像素，在绿-蓝行中

[0049] 20d 绿像素，在绿-蓝行中

[0050] 30 像素阵列

[0051] 40a 成对的行

[0052] 40b 成对的行

[0053] 50 传感器阵列

[0054] 60a 2×2像素图案

[0055] 60b 2×2像素图案

[0056] 70 多个信号线

[0057] 80 单积分时间控制线

[0058] 90 照相机