一种多次曝光组合中曝光次数确定及曝光时间分配的方法

摘要

本发明属于图像处理技术领域，涉及一种根据像素输出与光照强度和积分时间的乘积成正比的特点，通过分析图像中饱和像素与严重欠饱和像素的比例，得出目前拍摄场景中光照强度的变化范围，进而分别使用不同的积分时间获取多幅同一场景的图像，然后根据积分时间的长短进行组合。本发明能够扩展图像的动态范围，获得更佳图像效果。

权利要求

1.一种多次曝光组合中曝光次数确定及曝光时间分配的方法，其特征如下：

(1)设光强小于5Lux时属于低光强，大于500Lux为高光强，中等长度的曝光时间为

100Lux光照下达到50％满阱容量时曝光时间，使用中等长度的曝光时间，拍摄一幅图像，曝光时间为Tc；

(2)计算图像中心区域的平均亮度V、饱和像素数目Ns和严重欠曝光像素的数目Nn；

(3)当平均亮度V处于[30％饱和输出值AL，70％饱和输出值AH]之间，且饱和像素数目Ns和严重欠曝光像素的数目Nn均不超过设定上限，不调整曝光时间；

(4)下列三种情况下，1：当平均亮度V处于[20％饱和输出值ML，30％饱和输出值AL]或[70％饱和输出值AH，80％饱和输出值MH]之间，且饱和像素数目Ns和严重欠曝光像素的数目Nn均不超过设定上限；2：平均亮度V处于[20％饱和输出值ML，30％饱和输出值AL]或[70％饱和输出值AH，80％饱和输出值MH]之间，且饱和像素数目Ns不超过设定上限，而严重欠曝光像素的数目Nn超过设定上限；3：平均亮度V处于[20％饱和输出值ML，30％饱和输出值AL]或[70％饱和输出值AH，80％饱和输出值MH]之间，且饱和像素数目Ns超过设定上限，而严重欠曝光像素的数目Nn不超过设定上限，按照下面的公式调整曝光时间Tt：其中，Tmin为图像传感器能够使用的最小曝光时间，Nsd表示饱和像素数目Ns的规定上限，Ptotal表示一帧中像素的总数；K为调整系数，取0～1之间；

(5)如果饱和像素数目Ns和严重欠曝光像素的数目Nn均超过设定上限，平均亮度V在[20％饱和输出值ML，80％饱和输出值MH]之间，则再进行两次采样，一次采样低光强，一次采样高光强；

(6)如果平均亮度V低于20％饱和输出值ML且饱和像素数目Ns和严重欠曝光像素的数目Nn均超过设定上限，则再进行3次采样，其中两次低光强采样，一次高光强采样；

(7)如果平均亮度高于80％饱和输出值MH且饱和像素数目Ns和严重欠曝光像素的数目Nn均超过设定上限，则采样3次，其中两次高光强采样，一次低光强采样；

上述的步骤(5)、(6)、(7)中，

两次高光强采样的曝光时间分别按照下列两个公式确定，一次高光强采样的曝光时间按照下列两个公式的第一个公式确定，式中，Tt 1为第一高光强采样曝光时间，Tt 2为第二高光强采样曝光时间：两次低光强采样的曝光时间分别按照下列两个公式确定，一次低光强采样的曝光时间按照下列两个公式中的第一个公式确定，式中，Tmax为图像传感器能够使用的最大曝光时间，Tt 3为第一低光强采样曝光时间，Tt 4为第二低光强采样曝光时间：

说明书

一种多次曝光组合中曝光次数确定及曝光时间分配的方法

技术领域

[0001] 本发明属于图像处理技术领域，具体涉及图像传感器技术。

背景技术

[0002] CMOS图像传感器芯片是一种低功耗高速的“片上摄像系统”。图像传感器通过规模庞大的二维感光像素阵列来采集图像，将光信号转换成模拟的电信号之后，被信号读出处理电路中的放大器放大，然后直接转换成对应的数字信号并对应恢复成图像输出。在固定光照强度下，数字输出正比于像素的感光时间。

[0003] 在视频监控、汽车电子、军事等应用领域，由于被监控环境中光照强度的变化范围很大，所以要求图像传感器能够同时感应强度相差很大的光照，即要求CMOS图像传感器具有足够大的动态范围。动态范围的定义是指同一幅图像中可拍摄的最亮与最暗光照的比值。从人的视觉角度，能够同时识别出同一场景中很亮区域与很暗区域的图像细节即意味着图像传感器具有比较大的动态范围。

[0004] 由于图像传感器芯片设计以及图像数据存储、传输、显示等环节的制约，图像中所有像素具有相同的曝光时间，而且每一个像素的数据位长固定，因此制约了图像传感器的动态范围。多次曝光组合是一种有效扩展CMOS图像传感器动态范围的有效方法。通过将几幅不同曝光时间的图像组合起来，可以同时获得强光照和弱光照部分的更多细节，从而达到扩大动态范围的目的。多次曝光组合过程中需要获取多幅不同的同一场景成像，各自突出不同光照强度部分的细节。如何确定采样次数及每次采样的曝光时间是多次曝光组合的核心问题。

发明内容

[0005] 本发明的目的在于解决不同拍摄光照环境下采样次数确定以及每次采样积分时间的确定与调度问题，以期获得最佳图像效果。为此，本发明采用如下的技术方案：

[0006] 一种多次曝光组合中曝光次数确定及曝光时间分配的方法，其特征如下：

[0007] (1)使用中等长度的曝光时间，拍摄一幅图像，曝光时间为Tc；

[0008] (2)计算图像中心区域的平均亮度V、饱和像素数目Ns和严重欠曝光像素的数目Nn；

[0009] (3)当平均亮度V处于[30％饱和输出值AL，70％饱和输出值AH]之间，且饱和像素数目Ns和严重欠曝光像素的数目Nn均不超过设定上限，不调整曝光时间；

[0010] (4)下列三种情况下，1：当平均亮度V处于[20％饱和输出值ML，30％饱和输出值AL]或[70％饱和输出值AH，80％饱和输出值MH]之间，且饱和像素数目Ns和严重欠曝光像素的数目Nn均不超过设定上限；2：平均亮度V处于[20％饱和输出值ML，30％饱和输出值AL或[70％饱和输出值AH，80％饱和输出值MH]之间，且饱和像素数目Ns不超过设定上限，而严重欠曝光像素的数目Nn超过设定上限；3：平均亮度V处于[20％饱和输出值ML，30％饱和输出值AL]或[70％饱和输出值AH，80％饱和输出值MH]之间，且饱和像素数目Ns超过设定上限，而严重欠曝光像素的数目Nn不超过设定上限，按照下面的公式调整曝光时间，[0011]

[0012] 其中，Tmin为图像传感器能够使用的最小曝光时间，Nsd表示饱和像素Ns的规定上限，Ptotal表示一帧中像素的总数；K为调整系数，取0～1之间；

[0013] (5)如果且饱和像素数目Ns和严重欠曝光像素的数目Nn均超过设定上限，平均亮度V在[20％饱和输出值ML，80％饱和输出值MH]之间，则再进行两次采样，一次采样低光强，一次采样高光强；

[0014] (6)如果平均亮度V低于20％饱和输出值ML且饱和像素数目Ns和严重欠曝光像素的数目Nn均超过设定上限，则再进行3次采样，其中两次低光强，一次高光强；

[0015] (7)如果平均值高于80％饱和输出值MH且饱和像素数目Ns和严重欠曝光像素的数目Nn均超过设定上限，则采样3次，其中两次高光强，一次低光强；

[0016] 上述的步骤(5)、(6)、(7)中，

[0017] 两次高光强采样的曝光时间分别按照下列两个公式确定，一次高光强采样的曝光时间按照下列两个公式的第一个公式确定：

[0018]

[0019]

[0020] 两次低光强采样的曝光时间分别按照下列两个公式确定，一次低光强采样的曝光时间按照下列两个公式中的第一个公式确定，式中，Tmax为图像传感器能够使用的最大曝光时间。

[0021]

[0022]

[0023] 上述的多次曝光组合中曝光次数确定及曝光时间分配的方法，中等长度的曝光时间是指在100Lux光照下达到50％满阱容量时曝光时间；光强小于5Lux时属于低光强，大于500Lux为高光强。

[0024] 本发明利用CMOS图像传感器制造工艺与标准CMOS数字电路工艺兼容，从而可以将图像采集部分与图像处理部分集成于一块芯片之上的特点，实时对每次采样的图像进行分析。根据像素输出与光照强度和积分时间的乘积成正比的特点，通过实时分析图像中饱和像素与严重欠饱和像素的比例，得出目前拍摄场景中光照强度的变化范围，进而分别使用不同的积分时间获取多幅同一场景的图像，然后根据积分时间的长短进行组合，从而增大图像传感器的动态范围。本发明充分了CMOS图像传感器可以将图像传感部分和数字控制部分集成于同一片芯片上以及采样速度任意可调的特点，通过采用多次不同的曝光时间来获得适合不同光照强度的图片，然后根据积分时间的比值将多幅图像组合成一幅同时表现强光和暗光部分的图片，从而扩展图像的动态范围。

附图说明

[0025] 图1图像传感器的动态范围示意图。

[0026] 图2图像传感器像素输出与曝光时间、光照的关系图。

[0027] 图3光强范围划分示意图。

[0028] 图4(a)Ns(饱和像素点)与最大光强。

[0029] 图4(b)Ns与积分时间成线性关系。

具体实施方式

[0030] 通过参照下面，并结合附图进行详细的描述，将更加容易的了解，同时更好的理解本发明的上述特征和具有的优点。

[0031] 图1为图像传感器的动态范围示意图，图2为图像传感器像素输出与曝光时间、光照的关系。

[0032] 首先对本发明涉及的参数的物理意义进行定义：

[0033] 1、饱和像素数目Ns：达到饱和输出95％幅度的像素个数占全部像素数目的比例；

[0034] 2、严重欠曝光像素数目Nn：输出数值低于10％饱和输出数值的像素个数占全部像素数目的比例，与CMOS图像传感器本身的噪声水平有关；

[0035] 3、像素输出中间值A：50％饱和输出值；

[0036] 4、AL、AH：分别表示30％与70％饱和输出值；

[0037] 5、ML、MH：分别表示20％与80％饱和输出值；

[0038] 6、Tc：首次采样的曝光时间；

[0039] 7、Tt：调整后的曝光时间；

[0040] 8、Tmin：图像传感器可以使用的最小曝光时间；

[0041] 9、Tmax：图像传感器可以使用的最大曝光时间

[0042] 10、K：调整系数，0～1之间。

[0043] 11、Nsd：表示饱和像素Ns的规定上限。

[0044] 12、关于中等光强、高光强、低光强的合理范围

[0045] 自然界中光强的变化范围很大，例如夏天正午时间直接阳光照射下的光强可以达到10000～1000000Lux，而在无月光的夜晚光强只有0.1～0.01Lux，在晴天时有日光灯照射的室内，光强大致在50-150Lux。一般认为光强小于5Lux时属于低光强，大于500Lux为高光强，而100～150Lux为中等光强。

[0046] 对于CMOS图像传感器来讲，由于其光电转换的线性关系，可以直接测量的光强变化是有限的：①、由于图像传感器本身存在的噪声，一般情况下图像传感器可以直接测量的最小光强为0.1～1lux；②、图像传感器可以测量的最大光强与其本身的灵敏度和像素满量程(满阱容量)直接相关，灵敏度的定义为在1Lux光照下，曝光时间为1秒钟时产生的电压，单位是V/LuxS。像素满量程(满阱容量)是指感光像素可以输出的最大电压。在像素满量程一定的情况下，灵敏度越大对于暗光的感知效果越好，对于强光的感知效果越差；反之则低光性能差，强光效果好。目前使用的CMOS图像传感器的灵敏度大致为2～5V/LuxS，像素满量程在1～2V之间。

[0047] 按照上述描述，初始采用的中等长度曝光时间是在100Lux光照下达到50％满阱容量时曝光时间。例如对于灵敏度为4V/LuxS，像素满量程为1V的图像传感器，在100Lux光照下达到50％满量程时的曝光时间为1.25毫秒。

[0048] 下面分几个方面介绍本发明的曝光次数确定和曝光时间分配方法。

[0049] 1.场景光强信息获取

[0050] 首先使用中等强度光照的积分时间拍摄一幅图像，并判断图像中心区域的平均亮度以及饱和像素数目Ns和严重欠曝光像素的数目Nn，作为判断是否调整积分时间以及是否采用多次采样组合的依据。

[0051] 在图3中，A表示像素强度的中间值。确定CIS积分时间的原则如下：

[0052] (1)、当强度平均值V处于[AL，AH]之间，且Ns和Nn均不超过规定的上限，曝光时间不变；

[0053] (2)、如果在[ML，AL]和[AH，MH]之间，且Ns和Nn均不超过规定的上限；或小于ML且只有Nn超限，或大于MH且只有Ns超限，曝光时间调整；

[0054] (3)、在其他情况下需要采用多帧组合。

[0055] 光强范围判定值AL，AH，MH，ML与传感器本身的动态范围和噪声水平有关。使用时需要根据具体应用加以确定。

[0056] 2.曝光次数确定

[0057] 曝光次数的确定

[0058] (1)如果Nn和Ns都超过规定的上限，平均值在[ML，MH]之间，则采样3次，一次采样中等光强，一次采样低光强，一次采样高光强；

[0059] (2)如果平均值低于ML且Nn，Ns超过规定上限，采样3次，两次低光强，一次高光强；

[0060] (3)如果平均值高于MH且Nn，Ns超过规定上限，采样3次，两次高光强，一次低光强

[0061] 3.曝光时间确定

[0062] 显然饱和像素点Ns的大小和所有像素中超饱和光电流的程度是成正比的，因此可以通过Ns来获知最大场景光强的信息。由于自然界光强变化的连续性，认为超饱和的光强范围与Ns成线性关系，如图4所示：

[0063] 在图4(a)中，纵轴的原点代表在现在积分时间下达到饱和的光强，显然，Ns越大，则场景之中的最大光强越大。图4(b)说明了Ns与对应积分时间的关系，这里纵轴表示最长积分时间与当前积分时间的差值(表示为Tt)，显然Ns最大，则积分时间越短。因此使用下面的公式来计算获得最大光强的积分时间：

[0064]

[0065] 由公式(1)中，Tmin为CIS正常工作的最小时间，即相邻两帧的最小间隔，Nsd表示饱和像素Ns的规定上限，Ptotal表示一帧中像素的总数。

[0066] 如果饱和像素数量比较大，则意味着超饱和的光强范围也比较大，需要在高光强区域进行两次采样，其对应的时间点分别为：

[0067]

[0068]

[0069] 下面的公式用于计算获得最弱光强的积分时间：

[0070] 一次采样：

[0071]

[0072] 二次采样：

[0073]

[0074]