用于增强图像动态范围的方法、装置和软件产品，其中所述图像由针对一个或多个颜色信道具有多重曝光像素模式的图像传感器(例如照相机)拍摄，其中所述图像的多个像素组具有不同曝光时间(例如，使用取景器反馈由用户通过用户接口预先选择或调整，或在拍摄并存储RAW图像之后由用户通过用户接口调整，等等)。处理所捕获的图像以用于构建所述图像的针对一个或多个颜色信道中的每一个的增强图像，可以使用根据预先确定的原则对具有不同预先选择的曝光时间的像素的曝光时间加权合并来进行。
1.一种用于增强具有多重曝光像素模式的图像的动态范围的方法，包含：
针对一个或多个颜色信道中的每一个颜色并针对不同曝光时间中的每一曝光时间将图像分割为子图像，其中所述图像由具有针对所述一个或多个颜色信道的多重曝光像素模式的图像传感器捕获，其中所述图像传感器的多个像素的组具有不同曝光时间，其中所述子图像包含仅对于所述不同曝光时间中的一个曝光时间具有曝光值的像素以及对于与所述一个曝光时间不同的曝光时间具有缺失曝光值的像素；
使用预先确定的算法，在所述子图像中的每个子图像中为所述具有缺失曝光值的像素内插曝光值，以提供所述子图像的内插图像；
根据预先确定的原则，针对所述一个或多个颜色信道中的每一个合并所述内插图像，以提供针对所述一个或多个颜色信道中的每一个的所述图像的增强图像，从而增强所述图像的动态范围；
使用所述多重曝光像素模式再合并针对所述一个或多个颜色信道中的颜色信道的所述增强图像，以用于提供所述图像的具有高动态范围的再合并图像，其中所述一个或多个颜色信道的数量是两个或两个以上；
使用显示在所述取景器中的所述再合并图像作为反馈，通过用户接口调整所述不同曝光时间，以用于优化所述再合并图像的所述动态范围，其中通过所述用户接口调整的所述不同曝光时间包括正常曝光周期、曝光不足周期和过分曝光周期，其中所述调整包括将单个参数调整为大于或等于1的值，其中由所述正常曝光周期乘以所调整的参数值来确定所述过分曝光周期，由所述正常曝光周期除以所调整的参数值来确定所述曝光不足周期。
2.根据权利要求1的方法，其中在所述捕获所述图像之后并且在所述分割所述图像之前，所述图像的所述不同曝光时间使用预先选择的处理过程通过用户接口被调整。
3.根据权利要求1的方法，其中所述图像是Bayer图像。
4.根据权利要求1的方法，其中所述多个所述像素的组包含具有三个不同曝光时间的所述像素的三个组。
5.根据权利要求1的方法，其中所述内插通过针对所述具有缺失曝光值的像素中的每个像素采用所述每个像素的一个或多个邻居像素的曝光值来计算内插值执行。
6.根据权利要求1的方法，其中所述内插图像的所述合并通过使用针对具有曝光值的所述像素的加权系数以及针对具有内插曝光值的所述像素的加权系数执行，其中所述内插曝光值用于具有缺失曝光值的所述像素，其中所述加权系数是使用所述预先确定的原则选择的。
7.根据权利要求6的方法，其中针对黑暗图像区域中具有较长曝光值的像素以及针对较明亮图像区域中具有较短曝光值的像素，所述加权系数较高。
8.一种用于增强具有多重曝光像素模式的图像的动态范围的装置，包含：
颜色/曝光分割器，其被配置为针对一个或多个颜色信道中的每一个颜色并针对不同曝光时间中的每一曝光时间将图像分割为子图像，其中所述图像由具有针对一个或多个颜色信道的多重曝光像素模式的图像传感器捕获，其中所述图像传感器的多个像素的组具有不同曝光时间，其中所述子图像包含仅对于所述不同曝光时间中的一个曝光时间具有曝光值的像素以及对于与所述一个曝光时间不同的曝光时间具有缺失曝光值的像素；
内插器，其被配置为使用预先确定的算法在所述子图像中的每个子图像中为具有所述缺失曝光值的像素内插曝光值，以提供所述子图像的内插图像；
合并器，其被配置为根据预先确定的原则针对所述一个或多个颜色信道中的每一个合并所述内插图像，以提供针对所述一个或多个颜色信道中的每一个的所述图像的增强图像，从而增强所述图像的动态范围；
再合并和进一步处理模块，其被配置为使用所述多重曝光像素模式再合并针对所述一个或多个颜色信道中的颜色信道的所述增强图像，以提供所述图像的高动态范围，其中所述一个或多个颜色信道的数量是两个或两个以上；
曝光像素模式调整模块，其被配置为提供曝光调整信号或进一步的曝光调整信号，用于响应于通过所述装置的用户接口提供的命令信号而调整所述不同曝光时间；以及取景器，配置用于显示所述再合并图像，从而使得所述曝光像素模式调整模块被配置为使用显示在所述取景器上的所述再合并图像作为反馈，响应于用于调整所述不同曝光时间的命令信号而提供曝光调整信号，以用于优化所述再合并图像的所述动态范围，其中所述不同曝光时间包括正常曝光周期、曝光不足周期和过分曝光周期，其中所述调整包括将单个参数调整为大于或等于1的值，其中由所述正常曝光周期乘以所调整的参数值来确定所述过分曝光周期，由所述正常曝光周期除以所调整的参数值来确定所述曝光不足周期。
10.根据权利要求8的装置，其中所述颜色/曝光分割器、所述内插器以及所述合并器被包含在从所述装置中可移除的处理模块中。
11.根据权利要求8的装置，其中集成电路包含所述装置的所有或选择的模块。
12.根据权利要求8的装置，其中所述装置是包含所述传感器的用于无线通信的电子设备。
13.根据权利要求8的装置，其中所述图像为Bayer图像。
14.根据权利要求8的装置，其中所述多个所述像素的组包含具有三个不同曝光时间的所述像素的三个组。
15.根据权利要求8的装置，其中所述内插器被配置为通过针对所述具有缺失曝光值的像素中的每个像素采用所述每个像素的一个或多个邻居像素的曝光值计算内插值，来为所述具有缺失曝光值的所述像素内插所述曝光值。
16.根据权利要求8的装置，其中所述合并器被配置用于通过使用针对具有曝光值的所述像素的加权系数以及针对具有内插曝光值的所述像素的加权系数来合并所述内插图像，其中所述内插曝光值用于具有缺失曝光值的所述像素，其中所述加权系数是使用所述预先确定的原则选择的。
17.根据权利要求8的装置，其中所述图像传感器是互补型金属氧化物半导体图像传感器。
图像传感器，配置用于针对一个或多个颜色信道采用多重曝光像素模式捕获图像，其中所述图像传感器的像素的多个组具有不同曝光时间；
处理模块，配置用于处理所述图像以构建所述图像的针对所述一个或多个颜色信道中的每一个的增强图像，从而增强所述图像的动态范围，其中所述处理使用根据预先确定的原则对具有不同预先选择的曝光时间的像素的曝光时间加权合并来进行，其中所述处理模块包括：颜色/曝光分割器，其被配置为针对一个或多个颜色信道中的每一个颜色并针对不同曝光时间中的每一曝光时间将图像分割为子图像，其中所述子图像包含仅对于所述不同曝光时间中的一个曝光时间具有曝光值的像素以及对于与所述一个曝光时间不同的曝光时间具有缺失曝光值的像素，内插器，其被配置为使用预先确定的算法在所述子图像中的每个子图像中为具有所述缺失曝光值的像素内插曝光值，以提供所述子图像的内插图像，以及合并器，其被配置为根据预先确定的原则针对所述一个或多个颜色信道中的每一个合并所述内插图像，以提供针对所述一个或多个颜色信道中的每一个的所述图像的增强图像；
再合并和进一步处理模块，配置用于使用所述多重曝光像素模式再合并针对所述一个或多个颜色信道中的颜色信道的所述增强图像，以提供所述图像的高动态范围，其中所述一个或多个颜色信道的数量是两个或两个以上；
曝光像素模式调整模块，配置用于用显示在所述取景器上的所述再合并图像作为反馈，通过所述电子设备的用户接口提供对所述不同曝光时间的调整，以用于优化所述再合并图像的所述动态范围，其中所述不同曝光时间包括正常曝光周期、曝光不足周期和过分曝光周期，其中所述调整包括将单个参数调整为大于或等于1的值，其中由所述正常曝光周期乘以所调整的参数值来确定所述过分曝光周期，由所述正常曝光周期除以所调整的参数值来确定所述曝光不足周期。
19.根据权利要求18的电子设备，其中所述多个所述像素的组包含具有三个不同曝光时间的所述像素的三个组。
20.一种用于增强具有多重曝光像素模式的图像的动态范围的装置，包含：
用于针对一个或多个颜色信道中的每一个并针对不同曝光时间中的每一曝光时间，将图像分割为子图像的装置，其中所述图像由具有针对一个或多个颜色信道的多重曝光像素模式的图像传感器捕获，其中所述图像传感器的多个像素的组具有不同曝光时间，其中所述子图像包含仅对于所述多个曝光时间中的一个曝光时间具有曝光值的像素以及对于与所述一个曝光时间不同的曝光时间具有缺失曝光值的像素；
用于使用预先确定的算法在所述子图像中的每个子图像中为所述具有缺失曝光值的像素内插曝光值，以提供所述子图像的经过内插的图像的装置；以及用于根据预先确定的原则针对所述一个或多个颜色信道中的每一个合并所述内插图像，以提供针对所述一个或多个颜色信道中的每一个的所述图像的增强图像，从而增强所述图像的动态范围的装置；
用于使用所述多重曝光像素模式再合并针对所述一个或多个颜色信道中的颜色信道的所述增强图像的装置，以用于提供所述图像的具有高动态范围的再合并图像，其中所述一个或多个颜色信道的数量是两个或两个以上；
用于使用显示在所述取景器中的所述再合并图像作为反馈，通过用户接口调整所述不同曝光时间的装置，以用于优化所述再合并图像的所述动态范围，其中通过所述用户接口调整的所述不同曝光时间包括正常曝光周期、曝光不足周期和过分曝光周期，其中所述调整包括将单个参数调整为大于或等于1的值，其中由所述正常曝光周期乘以所调整的参数值来确定所述过分曝光周期，由所述正常曝光周期除以所调整的参数值来确定所述曝光不足周期。
用于增强图像动态范围的多重曝光模式
[0001] 主张优先权
[0002] 本发明申请要求于2007年10月3日提交的美国专利申请11/906,990，的优先权。 技术领域
[0003] 本发明大体上涉及照相机或包含照相机的电子装置，以及更具体的，涉及使用多重曝光像素模式以增强由照相机拍摄的图像的动态范围。
背景技术
[0004] 人的视觉系统具有相当大的动态范围，能够检测到从直射阳光到黑暗阴影之间的10
宽范围的亮度水平(～10 )，并能够自适应的进行。另一方面，典型的数字照相机仅提供8比特或者256亮度水平。除了降低数值的动态范围，有效动态范围通常更低，这是由于像素值被人为的获取(通过模拟或数字方式)以便在所需的数值范围内展现场景。这种获取操作造成被记录的图像中的颗粒度损失而且噪声水平增加，而且由于较差的像素灵敏度无法恢复出动态范围的固有损失。实际上，当前像素尺寸的小型化(例如，小于2×2微米)也造成被降低而且无法被轻易补偿的灵敏度。因此，固有的动态范围至少被以下因素限制： [0005] ●由于有限的光子转换效率以及响应功能的非线性造成的传感器光灵敏度降低；
[0006] ●像素尺寸的小型化：由于半导体容量与像素面积成比例，不可避免的在像素尺寸和相关联的光灵敏度之间进行权衡；以及
[0007] ●在低光照条件下为了获得更好图片而对较长合成时间的需要，这可 能造成图像区域曝光不足而其他区域饱和。
[0008] 从用户角度而言，增强动态范围的成像在图片质量方面具有明显的视觉效果，尤其是因为业余用户不知道获得适当摄影结果的必要光照要求。因此增强固有动态范围的技术在移动成像场景下将非常有价值。
[0009] 大多数图像传感器对所有像素采用同样曝光时间。通常，这将造成某些图像区域中图像太暗而其他区域中的图像可能曝光饱和。实际上，照相机的曝光控制机制不得不统计地确定通用曝光间隔(对于所有像素)：通常通过选取适用于大部分像素的值来确定曝光间隔，这样牺牲了太暗或太亮的区域，即，造成固有动态范围降低的劣化。 [0010] 当前最明确的技术方法(例如，Debevec and J.Malik，Recovering HighDynamic Range Radiance Maps from Photographs.In SIGGRAPH 97，August 1997)是通过捕获多重曝光情况下的多个图像然后合并这些图像的方法增强固有动态范围，从而提高视觉动态范围。然而，上述方法基本上用于静态场景，而且由于映射来自多个图像中的像素需要不可避免的进行配准，因此在该方案中难以获得可靠的结果。精确图像配准仍然是有挑战性的算法方面。其他方案也在实验中。
[0011] 例如，(见US专利5801773，E.Ikeda，Image data processingapparatus for processing combined image signals in order to extenddynamic range，1998)通过使用将入射光线反射至不同传感器上的分光器可以同时拍摄多个图像拷贝，其中该不同传感器被预置为以不同曝光来对光抽样。本方案的优点是由于图像是同时捕获的不需要在线配准，然而由于需要额外的图像传感器以及光器件的精确排列因此相对较昂贵。 [0012] 另一方案是基于同一个CMOS传感器中不同曝光像素的，该方案在D.Yang，B.Fowler，A.El Gamal and H.Tian“A 640×512 CMOS ImageSensor with Ultrawide Dynamic Range Floating-Point Pixel-Level ADC”(IEEE Journal of Solid State Circuits，Vol.34，No.12，pp.1821-1834，December 1999)中提出。该方案中可以自由选择并读出曝光的数量和定时以及从每个像素获得的比特数量。然而这需要监控每个图像像素以判定它 的曝光是否应当被终止。此外，模糊的曝光机制可能造成整个图像平面不连贯的噪声水平，即，呈现出部分像素的噪声比其他像素更大，而且没有可靠的过滤机制来降低这种噪声。
发明内容
[0013] 根据本发明第一方面，一种方法包含：针对一个或多个颜色信道中的每一个颜色并针对不同曝光时间中的每一曝光时间，将图像分割为子图像，其中所述图像由具有针对一个或多个颜色信道的多重曝光像素模式的图像传感器捕获，其中所述图像传感器的多个像素的组具有不同曝光时间，其中所述子图像包含仅对于所述多个曝光时间中的一个曝光时间具有曝光值的像素以及对于与所述一个曝光时间不同的曝光时间具有缺失曝光值的像素；使用预先确定的算法在所述子图像中的每个子图像中为所具有述缺失曝光值的像素内插曝光值，以提供所述子图像的内插图像；以及根据预先确定的原则针对所述一个或多个颜色信道中的每一个合并所述内插图像，以提供针对所述一个或多个颜色信道中的每一个的所述图像的增强图像，从而增强所述图像的动态范围。
[0014] 进一步根据本发明的第一方面，可以通过包含所述传感器的电子设备的用户接口选择所述不同曝光时间。
[0015] 进一步根据本发明第一方面，所述方法可以进一步包含：使用所述多重曝光像素模式再合并针对所述一个或多个颜色信道中的颜色信道的所述增强图像，以用于提供所述图像的具有高动态范围的再合并图像，其中所述一个或多个颜色信道的数量是两个或两个以上。仍然进一步地，所述方法可以进一步包含：在取景器上显示所述再合并图像；以及使用显示在所述取景器中的所述再合并图像作为反馈，通过用户接口调整所述不同曝光时间，以用于优化所述再合并图像的动态范围。
[0016] 仍然进一步根据本发明的第一方面，在捕获所述图像之后并且在分割所述图像之前，所述图像的所述不同曝光时间可以使用预先选择的处理过程通过用户接口被调整。 [0017] 仍然进一步根据本发明的第一方面，所述图像可以是Bayer图像。 [0018] 仍然进一步根据本发明的第一方面，所述多个像素的组包含具有三个不同曝光时间的三个像素的组。
[0019] 仍然进一步根据本发明的第一方面，所述内插可以通过针对所述具有缺失曝光值的像素中的每个像素采用所述每个像素的一个或多个邻居像素的曝光值来计算内插值执行。
[0020] 仍然进一步根据本发明的第一方面，所述内插图像的所述合并可以通过使用针对具有曝光值的所述像素的加权系数以及针对具有内插曝光值的所述像素的加权系数来执行，其中所述内插曝光值用于具有缺失曝光值的所述像素，其中所述加权系数是使用所述预先确定的原则选择的。仍然进一步，所述加权系数可以针对黑暗图像区域中具有较长曝光值的像素以及针对较明亮图像区域中具有较短曝光值的像素较高。
[0021] 根据本发明第二方面，一种计算机程序产品，包含：其上具体化有计算机程序代码的计算机可读介质，用于计算机处理器利用所述计算机程序代码来执行，其中所述计算机程序代码包含用于进行本发明第一方面的指令。
[0022] 根据本发明第三方面，一种装置，包含：颜色/曝光分割器，其被配置为针对一个或多个颜色信道中的每一个颜色并针对不同曝光时间中的每一曝光时间将图像分割为子图像，其中所述图像由具有针对一个或多个颜色信道的多重曝光像素模式的图像传感器捕获，其中所述图像传感器的多个像素的组具有不同曝光时间，其中所述子图像包含仅对于所述不同曝光时间中的一个曝光时间具有曝光值的像素以及对于与所述一个曝光时间不同的曝光时间具有缺失曝光值的像素；内插器，其被配置为使用预先确定的算法在所述子图像中的每个子图像中为具有所述缺失曝光值的像素内插曝光值，以提供所述子图像的内插图像；以及合并器，其被配置为根据预先确定的原则针对所述一个或多个颜色信道中的每一个合并所述内插图像，以提供针对所述一个或多个颜色信道中的每一个的所述图像的增强图像，从而增强所述图像的动态范围。
[0023] 仍然进一步根据本发明的第三方面，所述装置可以包含图像传感器。 [0024] 仍然进一步根据本发明的第三方面，颜色/曝光分割器、所述内插器以及所述合并器可以被包含在从所述装置中可移除的处理模块中。
[0025] 进一步根据本发明的第三方面，所述装置可以进一步包含：再合并和进一步处理模块，其被配置为使用所述多重曝光像素模式再合并针对所述一个或多个颜色信道中的颜色信道的所述增强图像，以提供所述图像的高动态范围，其中所述一个或多个颜色信道中的数量是两个或两个以上。
[0026] 仍然进一步根据本发明的第三方面，所述装置可以进一步包含：曝光像素模式调整模块，其被配置为提供曝光调整信号或进一步的曝光调整信号，用于响应于通过所述装置的用户接口提供的命令信号而调整所述不同曝光时间。仍然进一步，所述装置可以进一步包含：取景器，其被配置为显示再合并图像，从而使得所述曝光像素模式调整模块可以被配置为使用显示在所述取景器上的所述再合并图像作为反馈，响应于用于调整所述不同曝光时间的命令信号而提供曝光调整信号，以用于优化所述再合并图像的所述动态范围。 [0027] 仍然进一步根据本发明的第三方面，集成电路可以包含所述装置的所有或选择的模块。
[0028] 仍然进一步根据本发明的第三方面，所述装置可以是包含所述传感器的用于无线通信的电子设备。
[0029] 进一步根据本发明的第三方面，所述图像可以为Bayer图像。
[0030] 仍然进一步根据本发明的第三方面，所述多个所述像素的组包含具有三个不同曝光时间的所述像素的三个组。
[0031] 仍然进一步根据本发明的第三方面，所述内插器可以被配置为通过针对所述具有缺失曝光值的像素中的每一个像素采用所述每个像素的一个或多个邻居像素的曝光值计算内插值，来为所述具有缺失曝光值的所述像素中内插所述曝光值。
[0032] 仍然进一步根据本发明的第三方面，所述合并器可以被配置用于通过使用针对具有曝光值的所述像素的加权系数以及针对具有内插曝光值的所 述像素的加权系数来合并所述内插图像，其中所述内插曝光值用于具有缺失曝光值的所述像素，其中所述加权系数是采用所述预先确定的原则选择的。
[0033] 仍然进一步根据本发明的第三方面，所述图像传感器是互补型金属氧化物半导体图像传感器。
[0034] 根据本发明第四方面，一种电子设备，包含：图像传感器，配置用于针对一个或多个颜色信道采用多重曝光像素模式捕获图像，其中所述图像传感器的像素的多个组具有不同曝光时间；处理器模块，配置用于处理所述图像以构建所述图像的针对所述一个或多个颜色信道中的每一个的增强图像，从而增强所述图像的动态范围，其中所述处理使用根据预先确定的原则对具有所述不同预先选择的曝光时间的像素的曝光时间加权合并来进行；再合并和进一步处理模块，配置用于使用所述多重曝光像素模式再合并针对一个或多个颜色信道中的颜色信道的所述增强图像，以提供所述图像的高动态范围，其中所述一个或多个颜色信道的数量是两个或两个以上；取景器，配置用于显示所述再合并图像；以及曝光像素模式调整模块，配置用于使用显示在所述取景器上的所述再合并图像作为反馈，通过所述电子设备的用户接口提供对所述不同曝光时间的调整，以用于优化所述再合并图像的所述动态范围。
[0035] 进一步根据本发明的第四方面，其中多个所述像素的组可以包含具有三个不同曝光时间的所述像素的三个组。
[0036] 根据本发明的第五方面，一种装置，包含：用于针对一个或多个颜色信道中的每一个并针对不同曝光时间中的每一曝光时间，将图像分割为子图像的装置，其中所述图像由具有针对一个或多个颜色信道的多重曝光像素模式的图像传感器捕获，其中所述图像传感器的多个像素的组具有不同曝光时间，其中所述子图像包含仅对于所述多个曝光时间中的一个曝光时间具有曝光值的像素以及对于与所述一个曝光时间不同的曝光时间具有缺失曝光值的像素；用于使用预先确定的算法在所述子图像中的每个子图像中为所述具有缺失曝光值的像素内插曝光值，以提供所述子图像的内插图 像；以及用于根据预先确定的原则针对所述一个或多个颜色信道中的每一个合并所述内插图像，以提供针对所述一个或多个颜色信道中的每一个的所述图像的增强图像，从而增强所述图像的动态范围的装置。 [0037] 进一步根据本发明的第四方面，所述用于分割的装置可以是颜色/曝光分割器。 附图说明
[0038] 为了更好理解本发明的实质和目的，结合以下附图来参考以下详细描述： [0039] 图1是根据本发明实施例使用包括4×4像素的组的、使用3个不同曝光间隔值的Bayer型像素模式的示意图，其中像素被空间交织，从而使得一半像素以中值曝光间隔被曝光(标准曝光的像素)，四分之一的像素被过分曝光而四分之一的像素被曝光不足； [0040] 图2是根据本发明实施例的图示，其中采用参数alpha示出曝光不足、标准曝光和过分曝光的像素组的曝光时间，以用于调节曝光间隔之间差异；
[0041] 图3是根据本发明实施例的电子设备的框图，所述电子设备包含照相机，用于使用多重曝光像素模式增强由照相机拍摄的图像的动态范围；
[0042] 图4是示出了根据本发明实施例、通过使用多重曝光像素模式来增强照相机拍摄的图像动态范围的流程图；以及
[0043] 图5是示出了根据本发明实施例、对于红色实现在图4流程图44～48步骤的示例的流程图。
具体实施方式
[0044] 一种用于增强具有多重曝光像素模式的图像动态范围的新方法、装置和软件产品，其中所述图像由图像传感器(例如照相机)针对一个或多个颜色信道拍摄，其中所述图像传感器的多个像素的组具有不同曝光时间(例如，电子预先选择的、由用户通过用户接口选择的、可编程的、使用取景器反馈通过用户接口调整的、在拍摄和存储RAW图像之后由用户通过用 户接口调整的，等等)。根据本发明实施例，针对一个或多个颜色信道中的每一个处理所捕获的图像以组建该图像的增强图像，其中所述处理可以通过根据预先确定的原则使用具有不同曝光时间的像素的曝光时间的加权合并来完成。照相机可以是例如，诸如用于无线通信的移动电话或移动摄像电话的电子设备，或者总体而言便携式电子设备的一部分。
[0045] 根据本发明其他实施例，被捕获图像的处理可以包含：a)针对一个或多个颜色信道中的每个颜色以及针对不同曝光时间中的每个曝光时间将图像分割子图像，其中子图像包含仅对于一个曝光时间具有曝光值的像素，以及对于与所述一个曝光时间不同的曝光时间具有缺失曝光值的像素；b)采用预先确定的算法，为所述子图像中的每个子图像中的具有缺失曝光值的像素内插曝光值，以提供所述子图像的内插图像；以及c)根据预先确定的原则，为一个或多个颜色信道中的每一个合并这些内插图像，从而提供针对一个或多个颜色信道中的每一个的所述图像的增强图像。
[0046] 此外，对于多色图像，可以使用原始的多重曝光像素模式，再合并对于不同颜色信道的增强图像，以提供所述多色图像的高动态范围。例如，根据一个实施例，多色图像可以是基于对颜色感应的Bayer传统模式，而所捕获图像的动态范围可以被提高从而使得能够以均一方式重建颜色。
[0047] 像素的不同曝光间隔可以通过使用CMOS(互补型金属氧化物半导体)图像传感器获得，其中根据固定的几何模式和电子的预先设置，所述像素可以具有不同曝光间隔。根据特定模式，不同曝光时间的像素是交替的，而且曝光时间可以在图像拍摄之前设置。重复的几何模式使得能够在任何给定的像素周围获得不同曝光。当对传感器记录的图像二次抽样时，成像场景中每个区域可以被表现出来。
[0048] 可以使用而且电子地预先设置具有不同曝光时间的多个像素模式，以实现此处描述的本发明实施例。图1中示出了多个示例中的一个，这是根据本发明的一个实施例、使用包括4×4像素的像素组、使用3个不同曝光间隔值的Bayer型像素模式的示意图，其中所述像素被空间交织，从而使得一半像素被以中值曝光间隔曝光(标准曝光的像素)，四分之一的像素 被过分曝光而四分之一的像素被曝光不足，如图1所示。
[0049] 根据本发明实施例，最终图像可以通过合并不同曝光的像素的值来构建。可以进行所述合并，从而使得对在黑暗图像区域中较长曝光的像素的重要性加权更多，以及另一方面，对与场景中较亮区域相应的较短曝光的像素值加权更多。
[0050] 仍然根据本发明的另一实施例，如图2所示，其中示出了曝光不足、标准曝光、过分曝光像素组的曝光时间，多重曝光之间的差异可以通过变化单独的参数(α)来控制，其中α≥1。通过设置α＝1可以恢复默认操作(传感器中所有像素被同样曝光)。用户接口机制(例如用户控制的转轮)可以用来通过调节该参数(α)控制“动态对比”，以及由此控制传感器平面中像素的曝光。
[0051] 图3是根据本发明实施例的电子设备10的框图示例之一，其中电子设备10包含照相机12，用于使用带有(例如，电子地)针对不同像素组的曝光时间的图像传感器16的多重曝光像素模式，来增强由照相机12拍摄的图像的动态范围，如上所述，其中多重曝光像素模式用于捕获照相机12拍摄的图像。
[0052] 电子设备10可以是但不限于照相机、无线通信设备、移动电话、摄像电话移动设备、便携式电子设备、非便携式电子设备等等。
[0053] 照相机12可以包含光学器件14(例如，镜头、颜色滤波器等等)以及图像传感器16(例如，CMOS传感器)，用于如上所述利用针对一个或多个颜色信道的多重曝光模式来捕获图像，以提供传感器信号26。预处理模块18可以完成某些预处理，其中包括但不限于，例如，消基座、渐晕校正、直方图分析、预设增益等等，而且随后将图像信号26提供给处理模块20。根据本发明实施例，模块20可以执行下列步骤：a)颜色/曝光分割至子图像(通过颜色/曝光分割器20a)，b)根据预先确定的算法内插子图像(通过内插器20b)，以及c)根据此处描述的不同实施例(见图5)，根据预先确定的原则，进行图像合并，以通过使用具有不同曝光时间的像素的曝光时间加权合并来合并被内插的子图像，来构建对于每一颜色的增强 图像(通过合并器20c)。值得注意的是，颜色/曝光分割器20a总体上可以是用于分割的装置或其结构上的等价物(或等价结构)。同样，内插器20b总体上可以是用于根据预先确定的算法内插子图像的装置或其结构上的等价物(或等价结构)。而且，合并器
20c总体上可以是用于合并被内插的子图像以针对每个颜色构建增强图像的装置或其结构上的等价物(或等价结构)。
[0054] 而且，模块20可以将针对每个颜色的合并的图像信号28提供给再合并和进一步处理模块22，以根据原始多重曝光像素模式执行对不同颜色的增强图像的再合并，并且于是执行标准的进一步处理，例如，自动白平衡(AWB)、颜色内插、对比增强、噪音削减、杂项修正等等，而且于是可以进一步作为输出提供(可选的)到电子设备10的不同模块，例如，提供到显示器(取景器)用于查看，提供到设备存储器用于存储，或者提供到输入/输出(I/O)端口以转发到所需的目的地。
[0055] 根据本发明其他实施例，照相机12可以进一步包含曝光像素模式调整模块25，曝光像素模式调整模块25被配置为提供曝光调整信号或进一步的曝光调整信号，以用于如上所述响应于用户通过用户接口提供的命令信号而调整不同曝光时间。所述曝光调整信号可以被提供至图像传感器16，以例如在捕获图像之前，选择像素的适当的不同曝光时间。可替换的，被合并的图像(在上文描述的处理之后)可以被显示到照相机显示器(取景器)上，从而使得所述曝光像素模式调整模块被配置用于使用显示在取景器上的该再合并的图像作为反馈，“动态”(响应于由用户通过用户接口提供的命令信号，使用曝光调整信号)提供对像素的这些不同曝光时间的调整，以优化再合并的图像的动态范围。 [0056] 而且，根据本发明另一实施例，图像可以采用预先选择的曝光像素模式拍摄(例如，如图1所示)，并且于是以RAW格式存储(例如，在处理模块20中的附加存储器中)。于是，该被捕获图像的单一参数α(参照图2介绍，其中α≥1)作为与RAW图像对应的元数据被存储，并可以进一步由用户通过用户接口进行调整，以便采用模块25向处理模块20提供 的进一步的曝光调整信号来(响应于用户提供的命令信号)精细调节最终图像中的对比度。后面的用于调整α的方法可以获得与图像对比度的数字增益相似的操作，然而它可能造成在曝光不足像素中噪声水平的放大。例如，处理可以通过将标准曝光的像素以及曝光不足和过分曝光像素的信息加权以提供所需的α值(即，平衡整体图像亮度并提高最终图像质量)来进行。如上所述，RAW图像的α的调整可以由处理模块20在模块20a、20b和20c进一步处理之前完成。
[0057] 根据本发明实施例，模块18、20、22或25可以采用软件或硬件模块或其他结合来实现。而且，模块18、20、22或25可以作为分立模块实现，或者与电子设备10的任何其他模块/框图合并，或者可以根据他们的功能被分成多个块。值得进一步注意的是处理模块20本身或与其他模块的结合(例如，模块18和/或22)可以被从电子设备10中移除。而且，值得注意的是，电子设备10中全部或被选择的模块可以采用集成电路实现。 [0058] 图4示出根据本发明实施例的流程图，其中示出了使用多重曝光像素模式增强由照相机拍摄的图像的动态范围。
[0059] 图4的流程图仅表示多个可能的场景中的一个。值得注意的是图4中示出的步骤的顺序并不是绝对需要的，因此原则上不同步骤可以不按照顺序执行。在根据本发明实施例的方法中，在第一步骤40，使用具有针对一个或多个颜色信道的多重曝光像素模式的传感器(例如CMOS)捕获图像，如文中所示。在下一步骤42，完成图像的预处理(例如消基座、渐晕校正、直方图分析等等)。
[0060] 在下一步骤44，为每种颜色进行曝光分割成为具有对不同曝光时间中的每一曝光时间的不同曝光的子图像，其中子图像包含仅对于不同曝光时间中的一个曝光时间具有曝光值的像素，以及对于与所述一个曝光时间不同的曝光时间具有缺失曝光值的像素。 [0061] 在下一步骤46，使用预先定义的算法(见参照图5讨论的示例)在子图像中执行对具有缺失曝光值的像素的内插，从而提供这些子图像的内插图像。
[0062] 在下一步骤48，根据预先定义的原则，针对每个颜色信道合并被内插的图像，例如使用具有不同曝光时间的像素的曝光时间的加权合并(见参照图5讨论的示例)，如在此描述的，从而提供具有高动态范围的增强图像。
[0063] 在下一步骤50，不同颜色的增强图像被再合并，并被进一步处理(例如，自动白平衡(AWB)、颜色内插、对比增强、噪音削减、杂项修正等等)。在下一步骤52，可以在照相机的取景器上显示被再合并的图像。在下一步骤54，可以使用显示在取景器中的再合并图像作为反馈，通过用户接口调整多重曝光像素模式的不同曝光时间，以用于优化再合并图像的动态范围。
[0064] 图5示出根据本发明实施例的流程图，其中示出了针对图1中示出的对于Bayer模式的一个颜色(例如红色)用于实现图4的流程图中步骤44-48的多种示例中的一个。 [0065] 步骤44(图5中示出针对红色信道)对应于针对不同颜色信道(图1的示例中的R、G、B、G)将所捕获的图像分割成为子图像。每个子图像对应于单独的频谱信道，并包含按照3种不同曝光的像素：每一4个像素的组包含1个曝光不足的像素，2个标准曝光的像素以及1个过分曝光的像素，如图1所示。于是，针对红色的子图像52a被进一步分割为分别与曝光不足、标准曝光和过分曝光像素对应的子图像54a、54b和54c。
[0066] 步骤46与在子图像54a、54b和54c中内插缺失曝光值相对应。该步骤基于这样的事实：所述传感器的每个像素仅仅以固定曝光时间捕获视觉信息，然而在传感器中不同曝光的空间排列确保在每个像素的一些邻居中存在所有曝光时间。因此，与每个像素中的缺失曝光时间相对应的视觉信息可以通过内插它邻居像素的值来估计。特别的，给定3个曝光时间Tk，其中k＝1、2、3，在每个像素(i，j)中需要多组这样的3个值，即v1(i，j)、v2(i，j)和v3(i，j)。在上述数值中，一个是直接在像素中测量的，而其他两个是通过内插相邻像素的(例如，子图像52a中的)相应曝光值估计的。存在很多方法来进行上述内插，而且我们不限于其中任意一种。一种简单的实现方式可以依赖于线性内插。例如，在子图像54a中，通过将曝光不足像素(UR)复制到向原始像素位置的左侧和下方的相邻的3个的缺失像素，来完成零阶内插；在子图像54b中，通过将标准曝光像素(NR)复制到向原始位置的右侧的相邻缺失像素，来完成零阶内插；以及在子图像54c中，通过将过分曝光像素(OR)复制到向原始像素位置的右侧和上方的相邻的3个缺失像素位置，来完成零阶内插。 [0067] 也可以使用其他类型的内插。例如，可以通过将表面适配到具有由有效传感的像素定义的相应初始表面高度的图像网格，来执行子图像54a、54b和54c的线性内插。缺失像素值可以通过首先定义这样的影响窗口进行计算，所述影响窗口包含有助于贡献缺失抽样的相邻抽样。计算在贡献抽样中的每一个与感兴趣像素的中心之间的距离。分配给相邻像素中的每一个的权重可以与它们与感兴趣像素之间的距离成反比(权重之和被调整为等于1)。可以作为贡献的相邻像素值的加权和，计算出最终的像素值。此外，用于从Bayer模式的颜色内插的已知技术可以被适用于执行该工作。由此，如图5所示，构建出被内插的图像56a、56b和56c。
[0068] 步骤48对应于合并所得到的多个被内插的图像以便获得场景的高动态范围图像58。本步骤基于使得图像系统能够增强它的动态范围的操作，这意味着在图像传感器处抽样的不同曝光将被合并，以便最优地将所述场景的动态范围映射到成像设备的动态范围中。在该步骤中，算法合并每个像素中呈现的不同曝光时间的视觉信息，从而使得获得扩展的动态范围的图像。该合并可以以多种方式完成，其中我们可以选择不同曝光的像素值的加权平均。
[0069] 例如，对于每个像素(i，j)，三个曝光值v1(i，j)、v2(i，j)和v3(i，j)可以被合并以组成最终输出f(i，j)，如下所示：
[0070]
[0071] 其中f(i，j)代表在最终图像中的像素值，Tk代表第k个曝光时间，而T是增益值，T理论上对应于具有扩展的动态范围能力的传感器的模拟的曝光时间。值wk(i，j)是与像素(i，j)的第k个曝光关联的权重值。权重值可以以多种方法选择，但是总体上它强调位于中间范围的像素，所述中间范围的像素既不饱和也不强烈的曝光不足。除此以外，并不是直接在像素中测量的而是通过步骤46中示出的内插算法获得的每个像素的两个值也可以具有较小权重。在公式中呈现的曝光时间更多的强调更长曝光时间的像素，因为这些像素噪声更小。
[0072] 根据本发明其他实施例，可以在步骤44和46之间插入额外的过滤操作以进一步提高图像质量。可以插入到步骤44和46之间的第一操作是对过分曝光和曝光不足的被内插的图像(56a和56c)应用预先设置的数字增益，从而与用于被内插的图像56b中的实例的中间(或默认)曝光值对应。例如，预先设置的增益可以使用α值参数化，以便均衡整个捕获图像的平均亮度。所述增益也可以通过诸如扩展从传感器中读出的比特的数量来完成；例如如果传感器提供10比特读数，那么所有分量因此应增益到12比特的精度。 [0073] 而且，可以被插入到步骤44和46之间的另一个滤波操作是将噪声滤波器分别应用于每个被内插的图像56a、56b和56c。所述噪声滤波器可以通过相应的曝光值进行调节，这意味着例如曝光不足的内插图像56a将以低于56b和56c的信噪比(SNR)表征，而且因此将被更多滤除以降低噪声产物，反之过分曝光的内插图像56c(如果没有饱和)将以最高信噪比(SNR)表征而且因此应被相应的保留。用于曝光自适应的噪声滤波的该步骤例如可以通过线性滤波器实现，并且相应的滤波器系数可以从由曝光值调整的查找表中得到。 [0074] 值得注意的是，由于所提出的感应模式在任意给定的像素邻居中改变了不同曝光，所述传感器记录的图像的内在空间分辨率可能被降低。这对应着在空间分辨率(像素密度)和动态分辨率(对比解析能力)之间的权衡。然而，对于视频输出，所述权衡是无效的，由于视频输出分辨率通常 远小于传感器分辨率。此外，即使对于静态图像捕获，用户可能希望选择提高对比度，例如当他们选择使用夜间模式时。
[0075] 值得注意的是，由于不需要大部分现有方案中类似的图像配准，如上所述的扩展动态范围可以节省计算资源。通过消除输入图像的错位的风险，本发明也将极大提高得到方案的鲁棒性。而且，由于视频通常被下抽样，可以在空间分辨率没有严重损耗的情况下完成对于视频输出动态范围的提高。此外，根据本文描述的一个实施例，在图像传感器的高动态范围功能(不同像素曝光)和标准功能(统一像素曝光)之间切换也存在可能性，这在之前没有完成过。
[0076] 值得进一步注意的是，此处描述的感应模式和相应的重建方法不影响整体图像构建流程。它可以通过在初始处理阶段插入个别功能，而被容易地插入到任何现有照相机重建链条中，而且不需要重新设计整个图像平台。而且，存在这种可能：通过开发较短和较长曝光信息的可用性，传送较少噪音的和/或模糊的图片。
[0077] 如上所述，本发明提供同时提供了方法和相应的设备，所述设备包含多种模块，所述模块提供用以完成所述方法的步骤的功能。所述模块可以被实现为硬件，或被实现为由计算机处理器执行的软件或固件。特别的，在固件或软件情况下，本发明可以作为包含计算机可读介质(例如存储结构)的计算机程序产品提供，在该介质上具体化用于计算机处理器执行的计算机程序代码(也即所述软件或固件)。
[0078] 值得注意到是，针对特定应用此处陈述的本发明不同实施例可以被独立使用、合并或选择性合并。
[0079] 应理解，上述配置仅是本发明基本原理的示意性应用。在本发明范围之内，本领域技术人员可以想出多种改进和替代配置，而所附的权利要求目的在于涵盖上述改进和配置。
