彩色图像采样和重建转让专利

申请号 : CN201180045690.7

文献号 : CN103119721B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 郑苍隆

申请人 : 郑苍隆

摘要 :

一种图像捕获设备,其包括用于绿色、红色和品红色的彩色滤光片阵列,所述阵列采用原色贝尔模板(Bayer pattern)的方式布置在半导体基底的上方,不同之处在于用品红色替换了蓝色。穿过所述品红色滤光片的光单独积累在品红色像素中,以分别用于所述基底中的第一光电二极管和较深的第二光电二极管中的浅光电二极管信号和深光电二极管信号。中间光电二极管可以设置在所述第一光电二极管与所述第二光电二极管之间并且在电荷积累过程中保持为固定的电压电平或复位多次。所述品红色像素中的红色像素值是所述深光电二极管信号以及邻近的红色像素的红色像素信号的函数。在随后者(邻近的红色像素的红色像素信号)而变的前者(所述深光电二极管信号)的某个值处,它(所述品红色像素中的红色像素值)关于前者的导数中存在最小值。

权利要求 :

1.一种用于从马赛克图像形成彩色图像的方法,所述马赛克图像包括红色图像像素和品红色图像像素,其中所述红色图像像素具有第一信号,所述第一信号具有第一红色的光谱响应;并且所述品红色图像像素具有第二信号,所述第二信号具有第二红色的光谱响应,所述方法包括:产生第三信号来表示所述品红色图像像素中的红色,所述第三信号是至少所述第一信号和所述第二信号的函数。

2.根据权利要求1所述的方法,其中所述第三信号关于所述第二信号的导数量值具有最小值。

3.根据权利要求2所述的方法,其中所述量值在所述最小值与所述量值的最大值之间变化了至少两倍。

4.根据权利要求2所述的方法,其中在所述第二信号的范围内所述最小值的位置随所述第一信号而变。

5.根据权利要求4所述的方法,其中所述量值在所述最小值与所述量值的最大值之间变化了至少两倍。

6.根据权利要求2所述的方法,其中所述第三信号关于所述第一信号的导数,在所述第二信号达到所述最小值的情况下的值大于在所述第二信号处于另一不同状态的情况下的值。

7.根据权利要求1到6中任一项所述的方法,其中所述品红色图像像素进一步具有第四信号,所述第四信号具有品红色光谱响应,所述方法进一步包括:从所述第四信号的第二倍数中减去所述第二或第三信号的第一倍数以形成第五信号来表示所述品红色图像像素中的蓝色。

8.一种相机处理器,其包括:

去马赛克单元,所述去马赛克单元对权利要求1到6中任一项所述的马赛克图像执行该项所述的方法以产生所述彩色图像;

输入接口,所述输入接口经配置以从图像传感器接收所述马赛克图像的图像数据。

9.一种图像捕获设备,其包括:

透镜;

图像传感器像素阵列,其由第一导电型的半导体基底所支撑,且通过所述透镜接收光,且包括:排列在第一方向上的一对绿色滤光片;

邻近所述这对绿色滤光片的红色滤光片;以及

邻近所述这对绿色滤光片并且与所述红色滤光片关于所述这对绿色滤光片位于相对侧的品红色滤光片;以及去马赛克构件,所述去马赛克构件用于对权利要求1到6中任一项所述的马赛克图像执行该项所述的方法,以产生所述彩色图像,所述马赛克图像产生自所述图像传感器像素阵列。

10.一种相机处理器,其包括:

去马赛克单元,所述去马赛克单元对权利要求7所述的马赛克图像执行该权利要求所述的方法以产生所述彩色图像;

输入接口,所述输入接口经配置以从图像传感器接收所述马赛克图像的图像数据。

11.一种图像捕获设备,其包括:

透镜;

图像传感器像素阵列,其由第一导电型的半导体基底所支撑,且通过所述透镜接收光,且包括:排列在第一方向上的一对绿色滤光片;

邻近所述这对绿色滤光片的红色滤光片;以及

邻近所述这对绿色滤光片并且与所述红色滤光片关于所述这对绿色滤光片位于相对侧的品红色滤光片;以及去马赛克构件,所述去马赛克构件用于对权利要求7所述的马赛克图像执行该权利要求所述的方法,以产生所述彩色图像,所述马赛克图像产生自所述图像传感器像素阵列。

说明书 :

彩色图像采样和重建

[0001] 相关申请案的交叉参考
[0002] 本申请案主张2010年9月26日申请的第61/386,533号美国临时专利申请案的优先权、2010年10月12日申请的第61/392,069号美国临时专利申请案的优先权,以及2011年9月24日申请的第13/244,336号美国专利申请案的优先权。

技术领域

[0003] 本发明大体涉及用于在固态图像传感器上对彩色图像进行采样并且重建彩色图像的结构和方法。

背景技术

[0004] 例如数码照相机和数码摄像机等照相器材可以包含用于捕获光以处理成静态图像或视频图像的电子图像传感器。电子图像传感器通常包含数百万的光捕获元件,例如光电二极管。这些元件各自接收穿过二维彩色滤光片阵列中的滤光片的光。
[0005] 图1A和图1B所示为根据原色拜尔模板(Bayer pattern)的现有技术彩色滤光片阵列。
[0006] 图2A和图2B所示为只应用绿色和品红色的现有技术彩色滤光片阵列。

发明内容

[0007] 根据第一方面,本发明涉及一种由第一导电型的基底支撑的图像传感器,所述图像传感器包括邻近像素的二乘二阵列形式的一个二维阵列,其中所述二乘二阵列包括沿着对角线的一对绿色像素以及沿着另一对角线的由红色像素和品红像素组成的一对像素,其中每个所述绿色像素具有绿色滤光片以及从所述绿色滤光片接收光的光电检测器,其中所述红色像素具有红色滤光片以及从所述红色滤光片接收光的光电检测器,并且其中所述品红色像素包括(a)品红色滤光片,(b)一组第二导电型的垂直堆叠的第二区,所述组包括(i)浅二区,(ii)深二区,以及(iii)位于所述浅二区与所述深二区之间的中二区;(c)第一转换开关,所述第一转换开关经耦合以从所述浅二区转移电荷;以及(d)第二转换开关,所述第二转换开关经耦合以从所述深二区转移电荷。
[0008] 在第一方面,所述第一导电型可以是p型,而所述第二导电型可以是n型。
[0009] 在第一方面,进一步希望的是当空气中的光波长处于520nm与570nm之间时所述品红色滤光片具有最小透光率。
[0010] 在第一方面,进一步希望的是当空气中的光波长处于420nm与480nm之间时所述品红色滤光片具有最大透光率。又进一步希望的是当空气中的光波长为650nm时所述品红色滤光片的透光率超过50%。或者,又进一步希望的是当空气中的光波长为650nm时所述品红色滤光片的透光率至少是当光波长为550nm时其透光率的四倍。
[0011] 在第一方面,进一步希望的是所述红色像素具有一个光电检测器。又进一步希望的是所述一个光电检测器包括扩展到至少1.5μm深度的一个或多个电气连接的第二区。或者,又进一步希望的是所述一个光电检测器包括具有某种特征的第二区,即所述第二区不与非电气连接的另一第二区堆叠并且在复位过程中完全耗尽某种类型的载流子。
[0012] 在第一方面,进一步希望的是所述品红色像素进一步包括在所述浅二区与所述中二区之间的浅一区。还进一步希望的是所述像素阵列进一步包括在所述深二区与所述中二区之间的深一区。又进一步希望的是深或浅二区中的一者或两者在电荷积累过程中,浅(或深)一区的水平跨度上保持连续的中性区。更进一步希望的是所述中性区在第一耗尽区与第二耗尽区之间成楔形,所述第一耗尽区从所述中二区延伸出去,所述第二耗尽区从所述中性区另一侧上的深或浅二区延伸出去。
[0013] 在第一方面,进一步希望的是所述中二区保持中性区,所述中性区在第一耗尽区与第二耗尽区之间成楔形,所述第一耗尽区从浅二区发展而来,所述第二耗尽区从深二区发展而来,由此在浅二区与深二区之间的电容耦合被减弱。又进一步希望的是当在浅二区或深二区中开始电荷积累过程时所述中性区保持一个预定的电压电平,当所述电荷积累过程结束时所述中性区保持一个预定的电压电平。或者,又进一步希望的是当在浅二区或深二区中开始电荷积累过程时所述中性区保持第一电压电平,当所述电荷积累过程结束时所述中性区还保持所述第一电压电平。
[0014] 根据第二方面,本发明涉及一种用马赛克图像形成彩色图像的方法,所述马赛克图像包括图像像素的多个二乘二阵列形式的二维阵列,其中每个二乘二阵列包括沿着对角线的一对绿色图像像素以及沿着另一对角线的由红色图像像素和品红色图像像素组成的一对像素,所述红色图像像素包括具有基本上红色光谱响应的第一信号,所述品红色图像像素包括具有基本上红色光谱响应的第二信号,所述方法包括:形成第三信号来表示品红色图像像素中的红色,所述第三信号是至少所述第一信号和所述第二信号的函数。希望的是第三信号关于第二信号的导数量值具有最小值。进一步希望的是在第二信号的范围内所述最小值的位置随第一信号而变。更进一步希望的是所述量值在所述最小值与该量值的最大值之间以至少两倍变化。或者,进一步希望的是第三信号关于第一信号的导数,在第二信号达到最小值的情况下大于在第二信号处于另一不同状态的情况下。或者,进一步希望的是,在邻近于品红色图像像素的另一红色图像像素中的另一红色像素信号与所述第一信号相同的情况下,所述量值达到的最小值,小于在所述另一红色像素信号与所述第一信号相差马赛克图像中的红色像素信号值范围的四分之一的情况下的最小值。
[0015] 在第二方面,品红色图像像素可以进一步包括具有品红色光谱响应的第四信号。所述方法可以进一步包括:通过从第二多个第四信号中减去第一多个第二信号,形成第五信号来表示品红色图像像素中的蓝色。或者,所述方法可以进一步包括:通过从第二多个第四信号中减去第一多个第三信号,形成第五信号来表示品红色图像像素中的蓝色。
[0016] 根据第三方面,本发明涉及一种去马赛克单元(或构件),所述去马赛克单元接收以上结合第二方面所述的马赛克图像并且输出用于品红色图像像素的第三信号,使得第三信号具有基本上红色光谱响应并且比第二信号具有更好的SNR并且至少是第一和第二信号的函数。希望的是第三信号关于第二信号的导数量值具有最小值。进一步希望的是在第二信号的范围内所述最小值的位置随第一信号而变。更进一步希望的是所述量值在所述最小值与该量值的最大值之间以至少两倍变化。或者,更进一步希望的是第三信号关于第一信号的导数,在第二信号达到最小值的情况下大于在第二信号处于另一不同状态的情况下。
[0017] 根据第四方面,本发明涉及一种携带计算机可执行指令的非易失性计算机数据存储媒体,当所述指令由去马赛克单元执行时会使去马赛克单元实施所述方法的一个或多个以上方面。
[0018] 根据本发明的第五方面,品红色滤光片将光传输到浅光电二极管和深光电二极管。浅光电二极管连接到第一转换开关。深光电二极管连接到第二转换开关。当由深光电二极管产生的光响应输出信号被采样到位于像素阵列(包含浅和深光电二极管以及第一和第二转换开关)外的采样电容器上时,第二转换开关位于三极管区中;而在浅光电二极管上所积累的电荷已经转移到传感节点之后并且当相应的输出信号被采样到位于所述像素阵列外的采样电容器上时,所述第一转换开关处于非导电状态。

附图说明

[0019] 图1A和图1B所示为根据原色拜尔模板的现有技术彩色滤光片阵列;
[0020] 图2A和图2B所示为只应用绿色和品红色的现有技术彩色滤光片阵列;
[0021] 图3所示为图像传感器的一项实施例;
[0022] 图4所示为图像捕获系统的一项实施例;
[0023] 图5A和图5B所示为彩色滤光片阵列;
[0024] 图6所示为在像素阵列的一项实施例中,二乘二的邻近像素组中的四个像素中每一像素的滤光片以及相应的光电检测器(组)的示意图;
[0025] 图7A、图7B和图7C为像素阵列内的光电检测器和相关电路的示意图;
[0026] 图8所示为包括堆叠式光电二极管的品红色像素的一项实施例的纵断面;
[0027] 图9所示为沿着通过图8中所示品红色像素中堆叠式光电二极管的YY'垂直单点虚线的净掺杂浓度的纵剖面图;
[0028] 图10A、图10B、图10C所示为用于对连接到堆叠的光电二极管中的中间光电二极管的终端Vsink进行驱动的三种替代性配置;
[0029] 图11所示为作为穿透深度的函数的、光子在硅中的穿透概率;
[0030] 图12所示为作为空气中光波长的函数的、分别由深光电二极管和浅光电二极管带来的光子吸收效率;
[0031] 图13所示为作为空气中光波长的函数的、第一品红色滤光片的透光率;
[0032] 图14所示为连同第一品红色滤光片的深与浅光电二极管中的光谱响应,以及两者之间的加权差分的复合响应;
[0033] 图15所示为作为空气中光波长的函数的、第二品红色滤光片的透光率;
[0034] 图16所示为连同第二品红色滤光片的深与浅光电二极管中的光谱响应,以及为两者之间的加权差分的复合响应;
[0035] 图17所示为品红色像素的第二实施例的纵断面;
[0036] 图18所示为沿着品红色像素的第二实施例的图17中YY'垂直单点虚线的净掺杂浓度的纵剖面;
[0037] 图19所示为把中性区夹在中间的源于浅二区的耗尽区与源于深二区的耗尽区,所述中性区在中二区的跨度上水平地延伸;
[0038] 图20所示为品红色像素的第三实施例的纵断面;
[0039] 图21所示为沿着品红色像素的第三实施例的图20中YY'垂直单点虚线的净掺杂浓度的纵剖面;
[0040] 图22所示为作为空气中光波长的函数的、分别由第三实施例中的深光电二极管和第三实施例中的浅光电二极管带来的光子吸收效率;
[0041] 图23所示为连同第一品红色滤光片的、第三实施例中的深和浅光电二极管中的光谱响应,以及为两者之间的加权差分的复合响应;
[0042] 图24所示为红色像素的一项实施例的纵断面;
[0043] 图25所示为红色像素的替代性实施例的纵断面;
[0044] 图26所示为作为空气中光波长的函数的、第一红色滤光片的透光率;
[0045] 图27所示为作为空气中光波长的函数的、第二红色滤光片的透光率;
[0046] 图28所示为作为beta的函数的、由深光电二极管产生的信号D的权数wD的变化,其中beta测量以下二者的比率:信号D与无关D的内插信号Y之间的差值;D中噪音的多个标准差;
[0047] 图29所示为深光电二极管信号D与品红色像素中的所产生红色像素信号R之间的关系,图中具有一个较平直区段;
[0048] 图30所示为图29中的红色像素信号R关于深光电二极管信号D的导数;
[0049] 图31所示为深光电二极管信号D、第一红色像素信号RY以及第二红色像素信号RZ之间的关系;
[0050] 图32所示为深光电二极管信号D与所生成的红色像素信号R之间的关系,其具有两个不同的较平直区段;
[0051] 图33所示为图28中的红色像素信号关于深光电二极管信号D的导数;
[0052] 图34为相机处理器的方框图。

具体实施方式

[0053] 本文揭示了一种图像传感器,其包括由基底支撑的像素阵列上方的红色-绿色-品红色滤光片阵列。
[0054] 图3和图4分别描述了根据本发明的图像传感器10和根据本发明的图像捕获系统202。
[0055] 参照各图,确切地说借助参考编号,图3所示为图像传感器10的一项实施例,所述图像传感器包括像素阵列12、行解码器20、光读取机16以及ADC24。像素阵列包括二乘二像素组15的二维阵列,其中每个像素具有一个或多个光电检测器以及用于在光到达光电检测器(组)之前对其进行过滤的滤光片。总线18包括列输出信号,这些列输出信号按列将连接像素排成线。光读取机16如美国专利7,233,350中所述或如美国专利申请12/639941中所述。它具有用于对总线18中的每个列输出信号进行采样的一个或多个电容器。来自光读取机16的模拟输出信号(组)26被提供给ADC24以变换成数字图像数据,再输出到总线66上。行解码器20在总线22中提供行信号,以按行来选择像素,按行使像素复位,以及按行来转移像素中的电荷。彩色滤光片阵列13是覆盖像素阵列12中的光电检测器的滤光片二维阵列。
[0056] 图4所示为图像捕获系统202的一项实施例,所述图像捕获系统包括图像传感器10、聚焦透镜204、驱动马达和电路218、处理器212、输入装置206、显示器214,以及存储装置216。
[0057] 像素阵列
[0058] 图5A至图7C描述了像素阵列12。
[0059] 图5A和图5B所示为根据本发明的彩色滤光片阵列;
[0060] 图5A所示为根据本发明的彩色滤光片阵列13。从像素阵列12输出的图像在“垂直扫描”箭头所指示的方向上,从底部开始行进至顶部。彩色滤光片阵列13被组织成绿色(G)、红色(R)以及品红色(M)滤光片的二维阵列。更确切地说,彩色滤光片阵列13被组织成二乘二单元13a的二维阵列,其组成元素为沿着一条对角线设置的一对绿色(G)滤光片以及沿着另一条对角线设置的由红色(R)滤光片和品红色(M)滤光片组成的一对滤光片。
[0061] 图5B所示为作为根据本发明的彩色滤光片阵列的替代性实施例的彩色滤光片阵列13'。该彩色滤光片阵列13'关于垂直扫描方向旋转了45度。更确切地说,彩色滤光片阵列13'被组织成二乘二单元13a'的二维阵列,其关于垂直扫描方向旋转了45度。
[0062] 图6是二乘二像素组15中的四个像素的示意图,其示出了四个像素中每一个的滤光片和相应的光电检测器(组)。一对绿色滤光片114G、红色滤光片114R和品红色滤光片114M是根据图5A中所示的二乘二单元13a的顺序来布置。在右上角,绿色像素14a具有为光电二极管100a过滤光的绿色滤光片114G。在右下角,品红色像素14b具有为光电二极管114e和光电二极管100b过滤光的品红色滤光片114M。在左下角,绿色像素14c具有为光电二极管100c过滤光的绿色滤光片114G。在左上角,红色像素14d具有为光电二极管
100d过滤光的红色滤光片114R。
[0063] 图7A、图7B和图7C为像素组15内的光电检测器100a-100e和示例性电路的示意图。
[0064] 图7A所示分别为两个绿色像素14a、14c中的光电检测器100a、100c,它们分别通过转换开关117a、117c连接到传感节点111。来自总线22的行信号TF(n+1)121a(或TF(n)121b)上的高电平脉冲会接通转换开关117a(或117c),从而将电荷从光电二极管100a(或100c)转移到传感节点111。输出晶体管116经由选择开关114而将传感节点111上的传感节点电压信号缓存在列输出信号线OUT(m)124上,所述选择开关由通过行解码器20在总线22上输出的行信号SEL(n)122接通。
[0065] 在一种模式中,转换开关117a、117c可以分别接通,而不与各自的TF(n)和TF(n+1)信号上的电荷转移脉冲重叠。在另一种模式中,转换开关117a、117c可以同时处于导电状态,从而导致来自光电二极管110a、100c的电荷相加。
[0066] 列输出信号线OUT(m)124上的输出信号是总线18的一部分并且可以用光读取机16采样。美国专利申请案12/639941示出了对该电路中的开关进行操作以及对列输出信号进行采样的序列的各种方法,所述各种方法以引用的方式并入本文中。或者,可以根据用于针扎光电二极管中的常规的相关双采样方法,来对这些开关进行操作以及对列输出信号进行采样。
[0067] 可以根据美国专利申请案12/639941中所示的任何方法来操作光电二极管100a(或100c)、转换开关117a(或117c)、复位开关112以及选择开关114。确切地说,为了开始在光电检测器100a(或100c)上积累电荷,当复位开关112和转换开关117a(或117c)均位于三极管区中时,由输出晶体管116传输到列信号线OUT(m)124上的输出信号被光读取机采样;随后,当复位开关112被断开而转换开关117a(或117c)保持在三极管区中时,输出信号再次被采样;最后在转换开关117a(或117c)被断开之后,输出信号再次被采样;并且形成了这三个采样信号有正负之分的加权和,以提供噪音信号。为了结束电荷积累,当复位开关112位于三极管区中而转换开关处于非导电状态时,来自输出晶体管116的输出信号在列信号线OUT(m)124上被采样;随后,复位开关112被断开并且列信号线OUT(m)124上的输出信号被采样;当转换开关117a(或117c)被切换到三极管区中时,线OUT(m)124上的输出信号再次被采样;并且形成这三个采样信号有正负之分的加权和,以提供光响应信号。将所述噪音信号从所述光响应信号中减去,以提供去噪音的光响应输出信号。该减法可以在图像传感器10或处理器212上执行。
[0068] 或者,可以根据用于针扎光电二极管像素中的相关双采样方法,来操作光电二极管100a(或100c)、转换开关117a(或117c)、复位开关112以及选择开关114。开始电荷积累:(i)接通转换开关117a(或117c)和复位开关112并且完全耗尽光电二极管100a(或100c),(ii)断开转换开关117a(或117c)和复位开关112。结束电荷积累:(A)行信号RST(n)118具有接通和断开复位开关112的正脉冲,从而使传感节点111复位,(B)行信号SEL(n)122对选择开关114进行选择以将已缓存和电平移动的复位输出信号从输出晶体管116传输到光读取机16,(C)光读取机对输出信号进行采样,(D)接通转换开关117a(或117c),并且将来自光电二极管100a(或100c)的电荷转移到传感节点111,(E)光读取机从输出晶体管116采样输出信号,并且(F)取这两个采样出的输出信号之间的差值。
[0069] 图7B所示为分别支持品红色像素14b中的光电检测器100b和红色像素14d中的光电检测器100d的电路的示意图。图7c所示为支持品红色像素14b中的光电检测器100e的电路的示意图。如图7A所示,光电检测器100b、100d和100e中每一者的最初复位操作和最终传感操作可以根据美国专利申请案12/639941中的方法或者相关双采样方法来进行。
[0070] 光电二极管与行控制信号RST(n)、TF(n)和TF(n-1)之间以及光电二极管与列输出信号OUT(m)、OUT(m+1)和OUT2(m)之间的布置方案和相互连接可以用所属领域的技术人员能够使用的不同方法来重新布置,例如,以适于图5B中所述的旋转45度的彩色滤光片阵列。
[0071] 此外,任何一个光电检测器的相关电路可以根据上述美国专利申请案12/639941中的方法进行操作,而另一光电检测器的相关电路则可以根据相关的双采样方法进行操作。例如,光电检测器110e中的相关复位开关112"和转换开关117e可以根据常规的针扎光电二极管相关采样方法进行操作,而同一品红色像素114b中的光电检测器100b中的转换开关117d可以根据美国专利申请案12/639941中的方法进行操作。应注意,在这种情况下,当来自光电二极管100b的光响应输出信号被光读取机16采样时,光电二极管100b中的转换开关117d位于三极管区中,而当积累在光电二极管100e上的电荷已经转移到传感节点111"之后并且当OUT2(m)线上的相应输出信号被采样到采样电容器上时,光电二极管115e中的转换开关117e处于非导电状态。这样做有如下优点。首先,使用常规的针扎光电二极管相关双采样方法很难使深光电二极管完全复位,这是因为难以从其中完全耗尽电子,而美国专利申请案12/639941中的方法则无需从该光电二极管中耗尽电子即可消除复位噪音。第二,在常规的针扎光电二极管相关双采样方法下,浅光电二极管可以很好地运作,相比于美国专利申请12/639941中的方法,所述相关双采样方法中的电路更简单。此外,根据相关双采样方法进行操作的任何此类光电检测器可以在总线22中具备一组分开的行控制信号RST2(n)和/或TF2(n),所述这组行控制信号根据上述相关双采样控制序列(i)-(ii)和(A)-(E)来施以脉冲。
[0072] 品红色像素
[0073] 图8至图23描述了品红色像素14b。
[0074] 品红色像素的第一实施例
[0075] 图8所示为根据本发明的品红色像素14b的第一实施例的纵断面,其包括堆叠的光电二极管100e、100f、100b。深光电二极管100b和浅光电二极管100e形成于第一导电3
型(优选是p型)的轻微掺杂的半导体基底56中,进一步优选的是介于5e14/cm与5e15/
3
cm之间的掺杂浓度。基底56可以是轻微掺杂的p-epi层,该层位于掺杂浓度超过1e19/
3
cm的重度掺杂的p基底顶部。光电二极管100b位于基底56的最深处并且包括第二导电型(优选是n型)的深二区54c。浅光电二极管100e位于基底56的浅处并且包括第二导电型的浅二区54a,所述浅二区堆叠在深二区54c上方并且位于表面第一区63下方,所述表面第一区可以防止从浅二区54a发展而来的耗尽区到达基底56的顶界面。将光电二极管
100b、100e分开的是浅一区65a以及位于浅一区65a下方的深一区65b,这两个区都属于第一导电型。此外,浅一区65a和深一区65b之间夹着中间光电二极管100f,所述中间光电二极管包括第二导电型的中二区54b。浅光电二极管100e、中间光电二极管100f以及深光电二极管100b一起组成品红色像素14b中的堆叠式光电二极管。
[0076] 浅二区54a的深度优选达到0.4um到1.2um之间。深二区54c优选从1.7um与2.5um之间的深度开始。中二区54b占据的深度范围优选地深于1um并浅于2um,更优选地介于1.2um与1.8um之间。
[0077] 在该实施例中,从品红色像素14b上方入射的光首先由品红色滤光片114M过滤,随后经由一对级联的光导130、116而传输到堆叠式光电二极管。
[0078] 第一导电型的势垒区64设置在基底56中且靠近深二区54c,从而将深二区54c与从邻近的绿色像素114a、114c或红色像素114d中任一像素发展而来的耗尽区分离开。势垒3
区64的净掺杂浓度大于基底56的本底掺杂浓度,且其浓度峰值优选在1e16/cm与7e17/
3
cm之间。势垒区64在其自身内保持中性区,该中性区将从深二区54发展而来的耗尽区与从邻近的绿色和红色像素中的任一像素发展而来的耗尽区分离开,从而减少经由基底56上的电容耦合而发生的像素间串扰。
[0079] 深二区54c通过属于第二导电型的第二区57b、55b而电连接到转换开关117b。转换开关117b包括栅极58b和漏极扩散(第二导电型且位于基底56的顶界面处),所述漏极扩散也是传感节点111。传感节点111进一步连接到输出晶体管116和复位开关112(只以符号示出)。
[0080] 浅二区54a通过第二导电型的第二区55e而电连接到转换开关117e。转换开关117e包括栅极58e和漏极扩散(第二导电型),所述漏极扩散也是传感节点111"。传感节点
111"进一步连接到输出晶体管116"和复位开关112"(只以符号示出)。
[0081] 中二区54b通过一系列第二区57f而电连接到图8中的扩散节点Vsink,但是该扩散可以用类似于第二区55e和表面第一区66a的布置以及类似于转换开关117e的开关来替换,如图10c中示意性地示出,下文将对此进行描述。
[0082] 额外的第一区66a、66b防止从不同的光电二极管100b、100e、100f发展而来的耗尽区互相合并。
[0083] 图9所示为通过图8中所示品红色像素中的堆叠式光电二极管的净掺杂浓度的纵剖面。“A”表示浅二区54A的净掺杂浓度。“B”是浅一区65a的净掺杂浓度。“C”是中二区54b的净掺杂浓度。“D”是深一区65b的净掺杂浓度。“E”是深二区54c的净掺杂浓度。“E”之后是基底56的净掺杂浓度。
[0084] 图10A、图10B、图10C所示为用于对连接到该堆光电二极管内的中间光电二极管100f的终端Vsink进行驱动的三种替代性配置。图10A所示为连接到地线的Vsink终端。图
10B所示为由缓存器驱动的Vsink终端,所述缓存器在地线与电压源之间切换,其中所述电压源可以提供可调式电压电平。图10C所示为由缓存器通过开关驱动的Vsink终端,并且所述缓存器对可调式电压源进行缓存。
[0085] 当在浅光电二极管100e或深光电二极管100b中开始电荷积累过程时,Vsink终端可以保持一个预定的电压电平,并且当电荷积累过程结束时,保持一个预定的电压电平。更优选地,当在浅光电二极管100e或深光电二极管100b中开始电荷积累过程时,Vsink终端可以保持第一电压电平,并且当电荷积累过程结束时保持在所述第一电压电平。更优选地,在电荷积累的整个过程中,Vsink终端可以保持恒定电压。中性区从中二区54b延续到Vsink终端。该中性区具有Vsink终端的电压,并且用于扫除中二区54b内的电子。波长约500+/-20nm的光子不会被浅二区54a吸收但是会被中二区54b吸收,从而在中二区54b中产生自由电子。这些自由电子从基底中被清除,以便防止它们被深光电二极管100b捕获,否则这会使深光电二极管具有波长在500+/-20nm范围内的光谱响应。
[0086] 同样地,当转换开关117e(或117b)处于导电状态以将电荷从浅二区54a和深二区54c中的一者或另一者转移到处于漂浮状态的传感节点111"(或111)时,中二区可以电气地保持在某个电势。
[0087] 图11所示为作为穿透深度的函数的、光子在硅中的穿透概率。确切地说,它示出了:(A)450nm波长(蓝色)光子中约90%被吸收在硅中的前1μm内;(B)650nm波长(红色)光子中40%在2μm内被吸收,50%在3μm内被吸收;以及(C)在1μm与2μm之间,硅吸收650nm波长光子中的20%,550nm波长(绿色)光子中的30%以及450nm波长(蓝色)光子中的
10%。
[0088] 图12所示为作为空气中光波长的函数的、深光电二极管100b和浅光电二极管100e分别具有的光子吸收效率。该吸收效率是由特定波长(在空气中)的光子产生的载流子被光电二极管捕获的概率。被中间光电二极管100f捕获的载流子经由Vsink终端而移除。
如图12所示,浅光电二极管100e的吸收效率在紫色区(波长<450nm)中最大并且当波长增加到超过450nm时稳定地减小,直到在红色范围(波长>600nm)中趋近于0.2。另一方面,对于深光电二极管100b,吸收效率在红色范围内最大,约为0.25,而随着波长减小到500nm而稳定地下降到0.05以下。
[0089] 品红色滤光片114M对于波长在500nm与600nm之间的绿光应具有低透光率,最小值达到10%或更小。它对于波长在400nm与500nm之间的蓝光应具有高透光率,其峰值为450nm+/-20nm,从而实现该峰值透光率至少是绿色时最小值的四倍。它对于波长大于600nm的红光也应具有高透光率,在650nm+/-30nm处达到最大透光率的10%以内。
[0090] 图13所示为作为空气中光波长的函数的、第一品红色滤光片的透光率。该透光率具有两个峰区,一个以波长450nm(“蓝色峰”)为中心,另一个以波长650nm(“红色肩”)为中心,并且在波长500nm与600nm之间具有谷,此外,在波长小于410nm时下降到小于蓝色峰最大透光率的10%。
[0091] 应注意,如果在像素阵列12上应用的品红色滤光片和/或红色滤光片的透光率如图13所示在红色范围(600nm到700nm)内具有肩,而不是在650+/-20nm以后呈现下降趋势,那么红外线滤光片可以部署在像素阵列12前方的光路径中,使得品红色/红色滤光片与红外线滤光片的复合透光率在650+/-20nm以后下降到远远小于红色范围的峰值透光率,优选是在波长700nm时小于10%。
[0092] 图14所示为连同第一品红色滤光片的深光电二极管100b和浅光电二极管100e中的光谱响应,以及两者之间的加权差分。浅光电二极管100e中的光谱响应,标记为浅1,在蓝色范围(400nm到500nm)内呈钟形,其峰值中心在430nm与470nm之间,并且在550nm附近具有最小值。浅1在红色范围内具有肩,其高度约为蓝色范围内峰值的四分之一。
[0093] 另一方面,深光电二极管100b中的光谱响应,标记为深1,类似于浅1在红色范围内具有肩,但是在蓝色范围内的响应可忽略。
[0094] 浅1和深1中的光谱响应在约550nm+/-20nm处具有最小值,这是因为在该波长范围内第一品红色滤光片的透光率具有最小值。
[0095] 图14还示出了复合光谱响应,它是浅1与深1之间的加权差分,即浅1-K倍深1,其中权数K在该实例中为1,但是实际上可以大于1或小于1。该复合光谱响应在蓝色范围内遵照浅1响应,但是在红色范围内大大减弱,从而产生基本上只响应于蓝光的复合光谱响应,即,蓝色光谱响应。
[0096] 应注意,如先前所述,当红外线滤光片设置在像素阵列12前方的光路径中时,第一品红色滤光片与红外线滤光片的组合透光率在650nm+/-20nm与700nm之间呈现下降趋势。因此,考虑到红外线滤光片,浅1光谱响应将展示出中心在650nm+/-20nm的峰,它基本上是红色光谱响应,尽管是大大减弱的响应,其峰值响应只有0.2。
[0097] 图15所示为作为空气中光波长的函数的、第二品红色滤光片的透光率。类似于图13中的第一品红色滤光片,第二品红色滤光片的透光率具有两个峰值范围,一个以波长450nm(“蓝色峰”)为中心,另一个以波长650nm(“红色峰”)为中心,并且在波长500nm与
600nm之间具有谷,以及在波长小于410nm时下降到小于蓝色峰最大透光率的10%。
[0098] 图16所示为连同第二品红色滤光片的深光电二极管100b和浅光电二极管100e中的光谱响应,以及两者之间的加权差分。浅光电二极管100e中的光谱响应,标记为浅2,在蓝色范围内呈钟形,其峰值中心在430nm与470nm之间,并且在550nm附近具有最小值。不同于浅1的是,浅2在红色范围内具有峰而不是肩,这是因为第二红色滤光片的透光率中本身具有红外线分界。浅2在蓝色范围内的峰值水平约为其在红色范围内峰值的两倍。
[0099] 深光电二极管100b中的光谱响应,标记为深2,类似于浅2在红色范围内具有峰,但是在蓝色范围内的响应可忽略。
[0100] 浅2和深2中的光谱响应在约550nm+/-20nm处具有最小值,这是因为在该波长范围内第二品红色滤光片的透光率具有最小值。
[0101] 图16还示出了复合光谱响应,它是浅2与深2之间的加权差分,即浅2-K倍深2,其中权数K在该实例中为1,但是实际上可以大于1或小于1。该复合光谱响应在蓝色范围内遵照浅2光谱响应,但是在红色范围内大大减弱,从而产生基本上只响应于蓝光的光谱响应,即,蓝色光谱响应。
[0102] 注意,K的选择所依据的是红色范围内的浅2和深2(或同样地,上面的浅1和深1,或下面的浅3和深3)光谱响应的高度,这样,复合响应对红光的响应与对蓝光的响应相比可以忽略,这两者比率为1:7或更小。尽管在上述实例中,K为1,但是实际上K可以是不同的数,大于1或小于1均可。此外,尽管上述实例没有示出来自浅光电二极管的信号上的增益因数,但是实际上各信号(来自浅光电二极管和深光电二极管)都会有相应的增益。只出于说明的简洁性,在上述实例中去除了常见的增益因数,这样浅光电二极管信号的增益为1。换句话说,上述实例中的K因数可以被认为是以下两者的比:深光电二极管信号上的增益因数与浅光电二极管信号上的增益因数。
[0103] 品红色像素的第二实施例
[0104] 图17所示为根据本发明的品红色像素的第二实施例14b'的纵断面。其中不存在第一实施例中的浅一区65a和深一区65b。
[0105] 图18所示为品红色像素的第二实施例14b'的掺杂浓度的纵剖面;
[0106] 图19所示为从浅二区54a延伸的耗尽区(在中二区54b中上部虚线上方)以及从深二区54c延伸的耗尽区(在中二区54b中下部虚线与深二区54c中上部虚线之间),这两个区将在中二区54b的跨度上水平延伸的中性区(标为“yyyyy”并且以中二区54b内上部虚线和下部虚线为边界)夹在中间。在浅光电二极管100e'和深光电二极管100b'中一者或两者的电荷积累过程中,中性区可以得以保持。中性区将从附近耗尽区或受该中性区内光子吸收而进入其中的任何电子扫除到Vsink终端。中性区还减弱了浅光电二极管100e'与深光电二极管100b'之间的电容耦合,方法是通过将从它们各自的第二区54a、54c延伸出去的耗尽区之间的连接限制在中二区54b与图17中右方的势垒区64之间的窄通道(标为“xxxxx”)中,如果存在该窄通道的话。
[0107] 品红色像素的第三实施例
[0108] 图20所示为根据本发明的品红色像素的第三实施例14b"的纵断面。
[0109] 品红色像素14b"与品红色像素14b的不同之处在于,所述品红色像素14b"中不存在中二区100f和深一区65b。因此,深光电二极管100b"中的深二区54d可以在较浅的深度处开始,例如1.7um,并且向下延伸到基底56中。尽管图20示出了深二区54d开始于第一区65a结束的地方,但是在这两个区之间可以存在间隙并且该间隙可以具有基底56的掺杂浓度和导电型,因为耗尽区将从浅一区65a向下延伸,穿过该间隙,然后进入深二区54d。该耗尽区足够建立电场以将电子扫除到深二区54d中。
[0110] 第一区65a比基底56具有更大的净掺杂浓度并且被夹在浅二区54a与深二区54d之间。当转换开关117e(或117b)处于导电状态以将电荷从浅二区54d和深二区54d中的一者或另一者转移到处于漂浮状态中的传感节点111''(或111)时,第一区65a使分别从浅二区54a与深二区54d延伸出去的耗尽区保持分离。当浅二区54a和深二区54d中的一者或两者上积累电荷时,第一区65a也会使分别从浅二区54a与深二区54d延伸出去的耗尽区保持分离。
[0111] 图21所示为品红色像素的第三实施例14b"的纵掺杂剖面。“A”表示浅二区54a的掺杂浓度。“B”是浅一区65a的掺杂浓度。“E”是深二区54d的掺杂浓度。“E”之后是基底56的掺杂浓度。
[0112] 图22所示为作为未过滤的光波长的函数的、第三实施例中深光电二极管100b"和第三实施例中浅光电二极管100e分别具有的光子吸收效率。
[0113] 该吸收效率是由特定波长(在空气中)的光子产生的载流子被光电二极管捕获的概率。如图22所示,浅光电二极管100e的吸收效率在紫色范围(波长<450nm)内最大并且在450nm之后随着波长的增加而稳定地减小,而在红色范围(波长>600nm)中则趋近于0.2。另一方面,对于550nm与650nm之间的波长,深光电二极管100b"的吸收效率在红色范围内最大,值约为0.5,随着波长减小到450nm则稳定地下降到0.05以下。
[0114] 图23所示为连同第一品红色滤光片的、第三实施例中的深光电二极管100b"和浅光电二极管100e中的光谱响应,以及为两者之间的加权差分的复合光谱响应。
[0115] 浅光电二极管100e中的光谱响应,标记为浅3,在蓝色范围内呈钟形,其峰值中心在430nm与470nm之间,并且在550nm波长附近具有最小值。如同浅1,浅3在红色范围内具有肩,这是因为第一红色滤光片的透光率本身不具有红外线分界。浅3在红色范围内的峰值水平约为其在蓝色范围内峰值的四分之一。
[0116] 深光电二极管100b"中的光谱响应,标记为深3,在红色范围内具有形状类似于浅3的肩但高度是其两倍的肩。在蓝色范围内,光谱响应具有小峰,其中心在480nm波长附近,该峰值是肩的一半。
[0117] 浅3和深3中的光谱响应在550nm+/-20nm附近具有最小值,这是因为在该波长范围内第一品红色滤光片的透光率具有最小值。
[0118] 图23还示出了:为浅3与深3之间的加权差分的复合光谱响应,即,浅3-K倍深3,其中权数K经选择为0.5。该复合光谱响应在蓝色范围内几乎遵照浅3光谱响应,但是出于所选K值的缘故,所述符合光谱响应在红色范围内大大减弱,从而产生基本上只响应于蓝光的光谱响应,即,蓝色光谱响应。
[0119] 红色像素
[0120] 图24到图27描述了红色像素14d的各实施例。
[0121] 图24所示为根据本发明的红色像素14d的一项实施例的纵断面。光电二极管100d包括在基底56中垂直堆叠并且互相连接的多个第二区54d、54e、54f。第二区54d、54e、54f为第二导电型。在电荷积累过程中,存在连续的中性区,该中性区在所有这三个第二区上连续并且连接这三个第二区。最高的第二区54d位于表面第一区63下方,所述表面第一区防止从最高的第二区54d发展而来的耗尽区到达基底56的顶界面,否则将会产生高泄漏电流。从红色像素14d上方入射的光由红色滤光片114R过滤,继续穿过光导130、116,然后进入第二区54d、54e、54f。
[0122] 第二区54d、54e、54f通过第二导电型的连接式第二区55d而电连接到转换开关117d。转换开关117d包括栅极58d和漏极扩散(第二导电型并且在界面处),所述漏极扩散也是传感节点111'。传感节点111'进一步连接到输出晶体管116'和复位开关112'(只以符号示出)。
[0123] 尽管所示为三个区的堆叠,但是连接式第二区的堆叠可以包括四个,或五个或更多个连接式第二区,这些第二区在电荷积累过程中通过连续的中性区仍保持自身的电连接,所述连续的中性区从最低的第二区内延伸到最高的第二区54d。最低的第二区的深度优选在1.5μm到3μm之间。
[0124] 势垒区64,在第二区54e、54f的一侧各有一个,每个势垒区在其内具有中性区,所述中性区防止从第二像素14d中的第二区横向发展而来的耗尽区与来自邻近的绿色像素14a、14c或品红色像素14b中任一者的耗尽区发生合并。
[0125] 图25所示为根据本发明的红色像素的替代性实施例14d'的纵断面。第二区54d、54e、54f的堆叠用正好位于表面第一区63下方的第二区54d'替换。第二区54d'通过连接式第二区55d'连接到转换开关117d。该实施例14d'可以作为针扎光电二极管来进行构建和操作,这样在复位过程中,当转换开关117d和复位开关112'均接通时,第二区54d'和连接式第二区55d'完全耗尽电子。第二区55d'进入基底56中的深度优选不超过1μm,以便在光电二极管上的反偏压为3伏特或更小时确保完全耗尽。势垒区64产生横向电场,所述横向电场将电子横向地推向中心位于第二区54d下方的区域,从而减少像素间串扰。
[0126] 图26所示为作为光波长的函数的、第一红色滤光片的透光率。
[0127] 图27所示为作为光波长的函数的、第二红色滤光片的透光率。
[0128] 产生品红色像素中的红色像素值
[0129] 图34为相机处理器212的方框图。处理器212经由总线接口240来接收从图像传感器的像素阵列12中生成的马赛克图像。总线接口240可以是从图像传感器10所生成的图像数据一次接收一个数据位的串行接口,或同时接收像素的所有数据位的并行接口。或者,其可以是混合接口,它在一个时刻从总线66及时地接收像素的两个或两个以上数据位,在另一不同时刻及时地接收像素的另外一个或多个数据位。马赛克图像数据存储在缓存器220中。处理器可以具有DMA控制器,该控制器控制着马赛克图像数据往位于处理器
212外的存储器(未图示)的转移以及从该存储器的转移,以存储大量图像数据。缓存器将马赛克图像数据输出到去马赛克单元222。去马赛克单元222产生马赛克图像中丢失的色彩。色彩修正单元224对去马赛克单元222所输出的色彩内插图像执行色彩修正。相机处理器212可以包括白平衡修正单元(未图示),以将图像修正而达到更好的白平衡。图像压缩单元226接收彩色图像并且执行图像压缩,以产生压缩图像,所述压缩图像的图像数据量减小。所述压缩图像最终经由在输出接口242处连接到相机处理器212的数据总线而存储在存储装置216中。
[0130] 马赛克图像产生自像素阵列12,其包括多个红色图像像素、多个绿色图像像素和多个品红色图像像素,其布置方式如图5A或图5B中所示。该马赛克图像可以用图34中所示的处理器212经由总线66和总线接口240从图像传感器10接收到缓存器220中,随后用去马赛克单元222处理以重建完整的彩色图像。去马赛克单元222在总线246上输出完整的彩色图像。在马赛克图像中,每个红色图像像素具有红色像素值,但是不具有蓝色或绿色像素值。每个绿色图像像素具有绿色像素值,但是不具有蓝色或红色像素值。每个品红色图像像素具有从相应浅光电二极管100e产生的浅光电二极管值以及从相应深光电二极管100b产生的深光电二极管值。浅光电二极管值具有强的蓝色光谱响应。深光电二极管值主要具有红色光谱响应,该光谱响应的强度不到红色图像像素值的光谱响应强度的一半。为了从马赛克图像重建出完整的彩色图像,可以在去马赛克单元222中应用色彩内插方法,以便为绿色图像像素产生红色和蓝色图像像素值,并且为红色图像像素产生蓝色和绿色像素图像值。
[0131] 对于品红色图像像素,其蓝色图像像素值可以通过浅光电二极管信号与深光电二极管信号之间的加权差分而由去马赛克单元222来产生,如上文中浅1-K倍深1、浅2-K倍深2以及浅3-K倍深3的复合信号产生方法中所论述,其中K经选择使得复合信号中的红色响应可忽略。或者,如此形成的主要为蓝色响应而红色响应可忽略的复合信号,可以在图像传感器10中形成并且代替浅光电二极管信号而提供给处理器212。
[0132] 另一方面,仅仅从深光电二极管100b所产生的深光电二极管信号D中产生品红色图像像素中的红色图像像素值,存在重大缺点。这样做使所得的完整彩色图像在红色通道中的像素之间不均匀,这是因为红色像素中的光电二极管100d与品红色像素中的深光电二极管100b之间的光谱响应中存在差异。另外,在红色范围内,深光电二极管100b的峰值光谱响应远远弱于红色像素光电二极管100d,从而在深光电二极管信号D中产生较差的SNR。但是通过从邻近的红色图像像素(以及可能邻近的滤色像素)中插入而不考虑深光电二极管信号来产生品红色图像像素中的红色像素值,也是不合适的。
[0133] 本发明的一方面是要提供一种方法,所述方法使用深光电二极管信号D来产生品红色像素中的红色像素值R,而不具有上述缺点。
[0134] 图28到图33描述了品红色像素14b、14b'、14b"中的红色像素值是怎样产生的。
[0135] 可以观察到,如果从马赛克图像中的邻近图像像素中插入色彩(即,去马赛克)而产生的品红色图像像素(对应于像素阵列12中的品红色像素14b)中的内插红色像素值Y足够接近仅仅从深光电二极管信号D产生的红色像素值,那么选择或优选所述内插红色像素值Y是合适的,因为所得的SNR和色彩均匀性更好并且因为这两个红色像素值之间的差值可能存在,该差值存在原因是存在噪音,主要是因为需要将微弱的深光电二极管信号随着其从深光电二极管100b的传播行为来进行放大。
[0136] 还观察到,在品红色图像像素中存在两个(或两个以上)可能的内插红色像素值Y和Z的情况下,如果仅仅从深光电二极管信号D产生的红色像素值足够接近所述内插红色像素值中的一个值,那么应选择(或优选)最接近的内插红色像素值,同样是因为,噪声存在会产生所述差值。
[0137] 可进一步观察到,另一方面,如果没有一个内插红色像素值足够接近,那么应选择(或优选)仅仅从深光电二极管信号D中产生的红色像素值。
[0138] 在所有上述观察信息中,内插红色像素值Y(或Z)被认为足够接近仅仅从深光电二极管信号D中产生的红色像素值,前提是这两者之间的差值在后者的噪音标准差σD的预定倍数之内。例如,该倍数可以是2.5,这样当内插红色像素值在深光电二极管信号D的σD的2.5倍之内时,那么该内插红色像素值被选择或优选(例如在加权平均数中给予较高的权数,以产生品红色像素中的红色像素值),然而,如果情况相反,那么内插红色像素值不被选择或被给予较低优选权(例如,在加权平均数中给予较小权数)。注意,噪音标准差σD可以是深光电二极管信号D的函数并且是沿着深光电二极管信号D的信号路径的放大增益的函数。
[0139] 换句话说,当深光电二极管信号D单独指示的红色像素值足够接近内插红色像素值Y时,品红色像素中的所产生红色像素值R应较少地遵照深光电二极管信号D;而当情况相反时,应更多地遵照深光电二极管信号D。
[0140] 就去马赛克单元222的可测输入/输出参数而言,在本发明的该方面的方法中,品红色像素中的所产生红色像素值R是至少深光电二极管信号D以及邻近的红色图像像素的红色像素值的函数,这样品红色像素中的所产生红色像素值R关于深光电二极管信号D的导数具有至少一个最小值。与最小值的远距离值相比,在该最小值附近,品红色像素中的所产生红色像素值R的变化随深光电二极管信号D的变化较小(即,并不是很遵照深光电二极管信号D)。借助于该最小值,深光电二极管对该最小值处和附近产生的红色像素值R的噪音贡献较小。此外,由于该最小值,在该最小值处和附近产生的红色像素值R更多地受到内插红色像素值Y的“控制”,从而不易受到深光电二极管100b中的光谱响应与邻近的红色像素光电二极管100d中的光谱响应之间差值的影响。该最小值在深光电二极管信号D的范围内的位置应为马赛克图像中邻近的红色图像像素的至少一个红色像素值的函数(即,应随之变化)。
[0141] 从另个角度来看,在本发明的该方面的方法中,绘出的品红色图像像素中的所产生红色像素值R相对深光电二极管信号D呈现出一条曲线,该曲线具有较平直区段(例如,图29中在120与130的R值之间的信号R),该较平直区段表示所产生的红色像素值R中某些范围内的值,其中较平直区段比整体曲线更加平直。换句话说,在较平直区段中,所产生的红色像素值R在较平直区段内的导数值应小于整个曲线上的平均斜率。在该区段中,所产生的红色像素值R“不愿意”随深光电二极管信号D而变。此外,该较平直区段在可能的红色像素值的整个范围内的位置应为至少一个邻近的(与品红色图像像素相邻近)红色图像像素的红色像素值的函数。该位置还可能是邻近的绿色图像像素的绿色像素值的函数。
[0142] 该方法用以下两个实例来说明。为了说明的简单,将仅仅从深光电二极管信号D中产生的红色像素值取值为深光电二极管信号D本身,其中D被假定为经放大使得其在红色范围内的峰值响应等于或约等于红色像素值的峰值响应(从而其噪音比后者高数倍)。同样为了说明的简单,还假定预失真(例如,伽马预失真)已在深光电二极管信号D上执行,使得深光电二极管信号D与仅仅从深光电二极管信号D中产生的红色像素值之间的关系是线性的。
[0143] 图28所示为作为beta的函数的、深光电二极管信号D的权数wD的一项实例的变化,其中beta用于测量以下两者的比率:深光电二极管信号D与无关深光电二极管信号D的内插信号Y之间的差值,同深光电二极管信号D中噪音的多个标准差。(beta=1/a·|Y–D|/σD,其中a≥1)。
[0144] 作为第一说明,图28中所示的权数wD运用于深光电二极管信号D,而(1–wD)运用于内插红色像素值Y。即,R=wD·D+(1–wD)·Y,其中R是所产生的用于品红色图像像素的红色像素值。假定,对于邻近的图像像素的给定像素值,品红色图像像素中只存在单个内插红色像素值。图29所示为深光电二极管信号D与品红色像素中的所产生红色像素信号R之间的关系。内插红色像素值Y固定为125。σD为20。深光电二极管信号D发生变化。该图示出了在|Y–D|小于15(从而导致beta=1/a·|Y–D|/σD<0.75)的情况下,品红色图像像素中的所产生红色像素值R被拉向内插值Y,即125,否则它随着深光电二极管信号D变化更快。就图28中所示的权数wD而言,可以理解如下。随着beta下降到0.75以下,深光电二极管信号D对于品红色图像像素中的所产生红色像素值的贡献向着0.3下降,而对内插像素值Y的贡献向着0.7增加。
[0145] 图30所示为图29中的红色像素信号R关于深光电二极管信号D的导数。该导数在D=125时具有最小值0.4。远离最小值,例如,D>160或D<100,该导数呈现出基本上恒定的较大值1。注意,如果由去马赛克单元222接收到的深光电二极管信号D未预失真,而所产生的红色像素值需要预失真,那么在红色像素值Y的范围的上端,该导数将再次逐渐减小。进一步注意,如果由去马赛克单元222接收到的深光电二极管信号D未经预放大,从而无法将其在红色范围内的光谱响应与红色像素的红色像素值相匹配,或者如果马赛克图像的像素值信号与去马赛克单元222输出的重建的完整彩色图像占据不同的范围,那么该导数可能为不同于1的值。
[0146] 作为第二说明,图31到图33描述了两个不同的内插值Y和Z如何与深光电二极管信号D一起用于产生品红色像素中的红色像素值R。在该说明中,Y为165,Z为135,σD为20。
[0147] 图31所示为深光电二极管信号D、第一红色像素信号RY以及第二红色像素信号RZ之间的关系。第一红色像素信号RY示出了如果像第一说明中那样只考虑一个内插像素值,对于品红色图像像素中邻近的像素的给定像素值组,品红色图像像素中的所产生红色像素值将如何表现,其中内插像素值为Y。另一方面,第二红色像素信号RZ用于Z。该图示出了,RY和RZ各自“不愿意”分别在Y和Z附近变化。
[0148] 然而,根据本发明的该方面,所产生的红色像素应在两个位置处呈现这种“不愿意”(即,较平直区段)。这可以通过根据以下表达式来形成红色像素值R而实现:
[0149] R=wDY·wDZ·D+(1-wDY·wDZ)*[(1-wDY)·Y+(1-wDZ)·Z]/(2-wDY-wDZ),[0150] 其中wDY是图28中的wD函数,其中内插信号为Y;而wDZ是图28中的wD函数,其中内插信号为Z。
[0151] 图32所示为深光电二极管信号D与产生的红色像素信号R之间的关系,其具有两个不同的较平直区段。可以看到,较低的较平直区段在红色值130与140之间。可以看到,较高的较平直区段在红色值160与170之间。清楚的是,与这些较平直区段外部相比,在这两个较平直区段内部,来自深光电二极管100b的噪音被减弱,因为在这些较平直区段内部,产生的红色像素值R随深光电二极管信号D的变化比外部小。
[0152] 图33所示为图28中的红色像素信号R关于深光电二极管信号D的导数。该导数分别在深光电二极管信号D的值约为135和170处获得最小值水平0.4。
[0153] 产生品红色像素中的蓝色像素值
[0154] 用于产生品红色像素中的蓝色像素值的一种简单方法已经如上文参照图14进行描述,包括形成浅光电二极管信号与深光电二极管信号之间的加权差分。
[0155] 在替代性实施例中,蓝色像素值可以通过用红色像素信号R来替换深光电二极管信号而形成。
[0156] 结束语
[0157] 尽管图34所示的去马赛克单元222在处理器212中,但是在替代性实施例中它可以是图像传感器10的一部分并且经由ADC24的输出总线66而接收从像素阵列12产生的数字化图像数据并且在另一不同的总线上输出重建的完整彩色图像。
[0158] 去马赛克单元222可以只产生品红色像素中的红色像素值R,而不是产生所有的绿色、红色和品红色像素中所有丢失的色彩。作为代替,它可以在一条总线上提供品红色像素中的所产生红色像素值,而另一不同的去马赛克电路可以产生其他丢失色彩中的一者或多者。最后,所有产生的丢失色彩与马赛克图像中的色彩组合在一起,从而形成完整的彩色图像。
[0159] 尽管所示的重建的完整彩色图像在图34中被发送到色彩修正单元224,但是可以安排所属领域中已知的其他修正方案。例如,品红色像素中的所产生红色像素值可以存储在存储装置216中,随后可以用计算装置使其与其他色彩(包括马赛克图像中的其他丢失色彩)组合在一起,以形成重建的完整彩色图像。
[0160] 非易失性存储器,可以位于相机处理器212的外部或可以是相机处理器212的一部分,例如图34中所示的只读存储器(ROM)228,它可以存储指令以使去马赛克单元222根据本发明中描述的任何或所有方法来执行。
[0161] 尽管在附图中描述并且示出了某些示例性实施例,但是应理解这些实施例仅仅说明而不限制本发明,并且本发明不限于所示和所述的构造和布置,因为所属领域的技术人员可能想到各种其他修改。