曝光调整方法和系统、驾驶员监控系统、高级驾驶辅助系统转让专利
申请号 : CN202011044803.9
文献号 : CN112153304B
文献日 : 2021-11-05
发明人 : 宋博 , 于奇 , 李靖 , 王勇
申请人 : 成都微光集电科技有限公司 , 电子科技大学
摘要 :
权利要求 :
1.一种曝光调整方法,其特征在于,用于调整一待测物的曝光,所述曝光调整方法包括以下步骤:
获取包含所述待测物的待测图像;
统计所述待测图像中感兴趣区域的亮度均值和直方图数据,所述直方图数据包括图像中每个像素值的统计分布图;
基于所述亮度均值和所述直方图数据判断当前的场景;
基于当前的场景,获取待测物区域的数据;
基于当前的场景和所述待测物区域的数据,计算所述待测物的曝光参数和增益参数;
所述感兴趣区域包括核心区域和背景区域;
所述核心区域为所述感兴趣区域中所述待测物所处的部分,所述背景区域为所述感兴趣区域中背景所处的部分;
所述获取待测物区域的数据包括将所述感兴趣区域中所述待测物的位置通过调整权重标注出来;
通过以下方式调整权重:
对于所述核心区域的亮度均值中,超出预设阈值的区域,按照反向S曲线分配权重;
对于所述核心区域的亮度均值中,低于所述预设阈值的区域,按照S曲线分配权重;
其中,所述S曲线为所述亮度均值的大小与所述权重的大小成正比关系,所述反向S曲线为所述亮度均值的大小与所述权重的大小成反比关系;
所述基于当前的场景和所述待测物区域的数据,计算所述待测物的曝光参数和增益参数,包括:
按照以下公式计算所述待测物曝光参数和增益参数:其中,NewExp为所述待测物的待计算的曝光参数;NewGain为所述待测物的待计算的增益参数;Target_Luma为目标亮度值;Current_Luma为当前核心区域中待测物的亮度值经所述权重加权计算后的平均亮度值;K为调整控制系数;Current_Exp为所述待测物的当前的曝光参数,Current_Gain为所述待测物的当前的增益参数。
2.如权利要求1所述的曝光调整方法,其特征在于,所述统计所述待测图像中感兴趣区域的亮度均值和直方图数据,包括:设置所述核心区域和所述背景区域;
分别统计所述核心区域的图像数据以及所述背景区域的图像数据;
基于所述核心区域的图像数据统计所述核心区域的亮度均值,基于所述背景区域的图像数据统计所述背景区域的亮度均值;
统计所述待测图像的直方图数据以及所述核心区域的直方图数据。
3.如权利要求2所述的曝光调整方法,其特征在于,所述基于所述亮度均值和所述直方图数据判断当前的场景,包括:基于所述背景区域的亮度均值、所述核心区域的亮度均值以及所述待测图像的直方图数据判断当前的场景。
4.如权利要求3所述的曝光调整方法,其特征在于,所述场景包括补光灯环境和逆光环境;
当所述背景区域的亮度均值小于所述核心区域的亮度均值时,判断当前的场景为所述补光灯环境;
当所述待测图像的直方图数据呈均匀分布时,判断当前的场景为所述逆光环境。
5.如权利要求4所述的曝光调整方法,其特征在于,所述逆光环境包括大逆光环境、侧光环境以及顶光环境;
当所述背景区域的亮度均值变大时,判断当前的场景为所述大逆光环境;
当所述背景区域的亮度均值呈现一侧值大而另一侧值小时,判断当前的场景为所述侧光环境;
当所述背景区域的亮度均值呈现上侧的值大时,判断当前的场景为所述顶光环境。
6.一种曝光调整系统,其特征在于,用于调整一待测物的曝光,所述曝光调整系统包括:
图像获取单元,其被配置为获取包含所述待测物的待测图像;
统计单元,其被配置为统计所述待测图像中感兴趣区域的亮度均值和直方图数据,所述直方图数据包括图像中每个像素值的统计分布图;
场景判断单元,其被配置为基于所述亮度均值和所述直方图数据判断当前的场景;
待测物区域获取单元,其被配置为基于当前的场景,获取待测物区域的数据;
计算单元,其被配置为基于当前的场景和所述待测物区域的数据,计算所述待测物的曝光参数和增益参数;
所述感兴趣区域包括核心区域和背景区域;
所述核心区域为所述感兴趣区域中所述待测物所处的部分,所述背景区域为所述感兴趣区域中背景所处的部分;
所述获取待测物区域的数据包括将所述感兴趣区域中所述待测物的位置通过调整权重标注出来;
通过以下方式调整权重:
对于所述核心区域的亮度均值中,超出预设阈值的区域,按照反向S曲线分配权重;
对于所述核心区域的亮度均值中,低于所述预设阈值的区域,按照S曲线分配权重;
其中,所述S曲线为所述亮度均值的大小与所述权重的大小成正比关系,所述反向S曲线为所述亮度均值的大小与所述权重的大小成反比关系;
所述基于当前的场景和所述待测物区域的数据,计算所述待测物的曝光参数和增益参数,包括:
按照以下公式计算所述待测物曝光参数和增益参数:其中,NewExp为所述待测物的待计算的曝光参数;NewGain为所述待测物的待计算的增益参数;Target_Luma为目标亮度值;Current_Luma为当前核心区域中待测物的亮度值经所述权重加权计算后的平均亮度值;K为调整控制系数;Current_Exp为所述待测物的当前的曝光参数,Current_Gain为所述待测物的当前的增益参数。
7.一种驾驶员监控系统,其特征在于,利用如权利要求1‑5中任一项所述的曝光调整方法或如权利要求6所述的曝光调整系统。
8.一种高级驾驶辅助系统,其特征在于,包括如权利要求7所述的驾驶员监控系统。
说明书 :
曝光调整方法和系统、驾驶员监控系统、高级驾驶辅助系统
技术领域
背景技术
System,高级驾驶辅助系统)利用安装在车上的各式各样传感器,在汽车行驶过程中随时来
感应周围的环境,收集数据,进行静态物体和动态物体的辨识、侦测以及追踪,并结合导航
仪的地图数据,进行系统的运算与分析,从而预先让驾驶者察觉到可能发生的危险,可有效
增加汽车驾驶的舒适性和安全性。ADAS中的DMS(Driver Monitor System,驾驶员监控系
统)能够在驾驶员行驶过程中,实时检测驾驶员的疲劳状态、驾驶行为等。在发现驾驶员出
现疲劳、打哈欠、眯眼睛及其他错误驾驶状态后,预警系统将会对此类行为进行及时的分
析,并进行语音或灯光提示。以此达到警示驾驶员以及预防发生事故的作用。
波段,当车辆逆光行驶,太阳光直射人脸时,人脸的曝光会偏离目标值。DMS摄像头输出数据
通常连接机器学习等应用单元,数据进行人脸识别、眼球追踪计算。由于车载光照环境变化
剧烈,人脸的曝光参数和增益参数不能准确调整,从而引起后续机器学习计算出现错误。
发明内容
能准确调整,引起后续机器学习计算出现错误的问题。
经所述权重加权计算后的平均亮度值;K为调整控制系数;Current_Exp为所述待测物的当
前的曝光参数,Current_Gain为所述待测物的当前的增益参数。
亮度均值和所述直方图数据判断当前的场景;通过当前的场景来获取待测物区域的数据,
最后计算出所述待测物的曝光参数和增益参数。利用本申请的方案,可以实现在各种光照
环境下,保证待测物的精准曝光。通过亮度和直方图数据的统计,区分前景、背景以及不同
的场景,根据当前的配置和场景,进一步设置曝光参数和增益参数。由于精准的曝光时间计
算,可以实现曝光实时跟随环境进行调整,满足机器学习对每帧数据精准性的要求,避免掉
帧或断帧影响后续机器学习的计算结果。利用本申请提出的所述曝光调整方法,可通过分
析大量场景数据,在不执行人脸检测等复杂算法的前提下,实现在DMS应用中,针对人脸做
到精准曝光,当应用在DMS中时,所述待测物即为人脸。利用本申请提出的所述曝光调整方
法可以节约计算、存储资源,降低功耗。另外,还可嵌入到DMS用的CIS(CMOS Image Sensor,
CMOS图像传感器)中,不用担心资源占用及功耗等成本问题,具有较高的性价比。
射到待测物上时,影响待测物区域的精准判断。因此,通过所述背景区域的亮度均值、所述
核心区域的亮度均值以及所述待测图像的直方图数据来判断当前的场景是补光灯环境还
是逆光环境。通过这样的场景区分可以实现不同的曝光调节方案,并提高了待测物区域的
精准判断。
进一步提高待测物区域的精准判断,又将所述逆光环境进一步区分为大逆光环境、侧光环
境以及顶光环境。
附图说明
获取单元,305‑计算单元。
具体实施方式
的比例,仅用以方便、明晰地辅助说明本发明实施例的目的。
述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,
因此不能理解为对本发明的限制。
隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两
个,三个等,除非另有明确具体的限定。
均值和直方图数据,并基于所述亮度均值和所述直方图数据判断当前的场景;通过当前的
场景来获取待测物区域的数据,最后计算出所述待测物10的曝光参数和增益参数。利用本
申请的方案,可以实现在各种光照环境下,保证待测物10的精准曝光。通过亮度和直方图数
据的统计,区分前景、背景以及不同的场景,根据当前的配置和场景,进一步设置曝光参数
和增益参数。由于精准的曝光时间计算,可以实现曝光实时跟随环境进行调整,满足机器学
习对每帧数据精准性的要求,避免掉帧或断帧影响后续机器学习的计算结果。利用本申请
提出的所述曝光调整方法,可通过分析大量场景数据,在不执行人脸检测等复杂算法的前
提下,实现在DMS应用中,针对人脸做到精准曝光,当应用在DMS中时,所述待测物10即为人
脸。利用本申请提出的所述曝光调整方法可以节约计算、存储资源,降低功耗。另外,还可嵌
入到DMS用的CIS(CMOS Image Sensor,CMOS图像传感器)中,不用担心资源占用及功耗等成
本花销,具有较高的性价比。本领域技术人员可以理解的是,所述感兴趣区域20(ROI,
region ofinterest),是指在机器视觉和图像处理中,从被处理的图像以方框、圆、椭圆或
者不规则多边形等方式勾勒出需要处理的区域。另外,所述待测物10可以为任何需要进行
曝光调整的物体,为了便于理解本申请的技术方案,以下所述待测物10均以人脸为例来具
体说明,其它的待测物10与人脸类似。
兴趣区域20中背景所处的部分。
意设置。从图2中可以看出,在本发明实施例中,所述核心区域201设置8x8共64个子区域。可
以理解的是,由于DMS摄像头安装位置,驾驶员的身高、脸型,坐姿等不同会出现人脸区域有
所不同,因此,所述核心区域201及其子区域可根据实际情况,任意调整大小和位置。另外,
所述核心区域201只需完成对人脸区域大范围的覆盖,不必完全精确,后续算法将把人脸区
域从所述核心区域201中识别出来。所述背景区域202一般是围绕所述核心区域201分布的
多个小块ROI统计窗口。通过设置这种可以自由选择范围的核心区域201和背景区域202,可
以满足各种不同情况下的需求,提高了所述曝光调整方法的普适性。
计区域的划分方法示例,不能理解为对本申请方案中所述背景区域202和所述核心区域201
划分的限制,在其它实施例中,所述核心区域201和所述背景区域202还有很多种其它的划
分方法,只要其主要目的是针对人脸核心区域201和背景区域202分别进行统计均可用于实
施,统计的数据用以支撑对人脸的精确识别和对当前场景的判断功能。
判断当前的场景。直方图数据是图像每个像素值的统计分布图,直方图数据可以了解一幅
图像中亮暗像素的分布情况,因此结合直方图数据及亮度均值,可以方便的区分光照环境。
由于在不同的光照环境下,所述背景区域202、所述核心区域201以及所述待测图像的直方
图数据和亮度均值,会呈现出不同的特征,基于这些区别特征可以区分出不同的场景。
到待测物10上时,影响待测物区域的精准判断。因此,通过所述背景区域202的亮度均值、所
述核心区域201的亮度均值以及所述待测图像的直方图数据来判断当前的场景是补光灯环
境还是逆光环境。通过这样的场景区分可以实现不同的曝光调节方案,并提高了待测物区
域的精准判断。
进一步提高待测物区域的精准判断,又将所述逆光环境进一步区分为大逆光环境、侧光环
境以及顶光环境。
分为纯补光环境、阳光直射条件的大逆光环境、阳光侧面照射的侧光环境及阳光从头顶(通
过天窗或敞篷车)照射的顶光环境。其中,纯补光环境是人脸曝光的基准环境,最容易实现
理想的曝光调节。由于阳光中含有较强的940nm波段近红外光,因此大逆光环境、侧光环境
和顶光环境都比较容易出现面部曝光不均匀的现象,影响对人脸区域的精准判断。因此,需
要根据环境不同实现不同的曝光调节方案。
940nm的近红外光源,光源直接照射到人脸上。因此,仅有人脸及周边,比如衣服,座椅等具
备反光条件,而背景的反光较弱,CIS几乎不能感应到背景反光。此时,根据感兴趣区域20统
计的亮度均值,如果背景区域202的亮度均值均远低于核心区域201的亮度均值,则判断此
时的场景为纯补光环境。
的分布特点,图4中横坐标为像素值,图4中纵坐标为像素数量。此时,若感兴趣区域20的亮
度均值以及背景区域的亮度均值有所均匀提升,则可判断此时的场景为大逆光环境。除了
阳光正面直射环境外,若阳光通过侧面或顶部直射,则通过感兴趣区域20的亮度均值判断。
在侧光环境下,背景区域202会呈现一侧的亮度均值较大,一侧亮度均值较小的特点。若阳
光从顶部天窗照射也即在顶光环境下,则会出现背景区域202的上侧亮度均值较大的特点。
需要注意的是,对于场景的判断,并不局限于上述描述的场景,可以根据感兴趣区域20和直
方图的情况,区分更多场景细节,在此不一一赘述。
能位置的完整覆盖。步骤S4的目的是将感兴趣区域20中人脸的精确位置通过调整权重的方
式标注出来。
脸的反光率高于一般物体,使得人脸区域亮度更大。根据图5的S型曲线,将图像像素值按S
曲线的走向,设定权重,就可以将人脸区域标注出来。如图2中人脸的区域更亮,则分配的权
重较高,其余区域权重较低。某些情况下,存在衣服材质等反光率高于人脸,此时需要执行
反向S曲线进行反向标注,也即超过正常人脸曝光值的区域,需要分配更低的权重,这样可
以排除更高反光率的材质对人脸区域标注产生的影响。图6是正常情况下,核心区域201的
统计直方图,图6中横坐标为像素值,图6中纵坐标为像素数量。如果仅人脸存在高反射,则
直方图的分布为单峰分布。当出现反光率高于人脸的材质时,直方图则呈现高亮区域双峰
分布的特点。此时,根据直方图双峰分布,自适应设定合适的阈值,高于阈值的部分,采用图
5中的反向S型曲线进行权重标注,而低于阈值的部分,采用S型曲线标注权重。
10的亮度值经所述权重加权计算后的平均亮度值;K为调整控制系数;Current_Exp为所述
待测物10的当前的曝光参数,Current_Gain为所述待测物10的当前的增益参数。
距离较远,则启动新曝光及新增益值的计算。
心区域201中待测物10的亮度值经所述权重加权计算后的平均亮度值亮度时,则相应减小
曝光参数和增益参数。具体调整过程如下:当画面从暗到亮调整时,曝光优先,当曝光未达
到最大值时,先调整曝光;当曝光达到最大值后,再调整增益。当画面从亮到暗调整时,增益
优先,当增益未达到最小值时,先调整增益;当增益达到最小后,再调整曝光。K可用于控制
调整速度,当K=1时,调整可以一步到位,但是存在画面闪烁的可能性,实际使用时,在收敛
速度和图像稳定性之间折中考虑。若K=1,则可以一步调整到位,达到快速曝光收敛的目
的。
镜头及补光灯分布示意图;图8为DMS模组补光方式的示意图;图9为补光灯的控制策略示意
图;根据对场景的分类及人脸曝光区域识别后的核心区域201的曝光均值,进行补光控制及
人脸曝光计算。一般来讲,DMS模组存在4颗或4颗及以上的LED补光灯,为了便于理解,在本
发明实施例中以4颗LED补光灯为例进行说明,其它数量的LED补光灯情况与之类似,在此不
做赘述。如图8所示,一般补光灯的范围会被设计成可以使得补光基本可覆盖核心区域201。
补光控制分场景进行,若识别结果是纯补光环境,则补光灯全开,直接进行曝光计算。请参
考图9,若识别为大逆光环境,由于阳光中的940nm成分较强,极易造成人脸区域及周边背景
区域202的过曝,因此首先降低LED补光灯强度,甚至完全关闭补光灯,在补光灯降低后,直
接使用阳光中的940nm光源,进行人脸曝光计算。若识别为侧光或是顶光环境,则关闭较亮
侧光源,而打开较暗侧光源。通过较暗侧光源对人脸的阴影部分进行补光,使其反光强度和
阳光接近一致,避免出现阴阳脸的状态。
的任意一个模块可以被拆分成多个子模块,或者,所述图像获取单元301、所述统计单元
302、所述场景判断单元303、所述待测物区域获取单元304以及所述计算单元305中的一个
或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个功能模块中
实现。根据本发明的实施例,所述图像获取单元301、所述统计单元302、所述场景判断单元
303、所述待测物区域获取单元304以及所述计算单元305中的至少一个可以至少被部分地
实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上
的系统、封装上的系统、专用集成电路(ASIC),或可以以对电路进行集成或封装的任何其他
的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式的适当组合来实
现。或者,所述图像获取单元301、所述统计单元302、所述场景判断单元303、所述待测物区
域获取单元304以及所述计算单元305中的至少一个可以至少被部分地实现为计算机程序
模块,当该程序被计算机运行时,可以执行相应模块的功能。
亮度均值和所述直方图数据判断当前的场景;通过当前的场景来获取待测物区域的数据,
最后计算出所述待测物的曝光参数和增益参数。利用本申请的方案,可以实现在各种光照
环境下,保证待测物的精准曝光。通过亮度和直方图数据的统计,区分前景、背景以及不同
的场景,根据当前的配置和场景,进一步设置曝光参数和增益参数。由于精准的曝光时间计
算,可以实现曝光实时跟随环境进行调整,满足机器学习对每帧数据精准性的要求,避免掉
帧或断帧影响后续机器学习的计算结果。利用本申请提出的所述曝光调整方法,可通过分
析大量场景数据,在不执行人脸检测等复杂算法的前提下,实现在DMS应用中,针对人脸做
到精准曝光,当应用在DMS中时,所述待测物即为人脸。利用本申请提出的所述曝光调整方
法可以节约计算、存储资源,降低功耗。另外,还可嵌入到DMS用的CIS(CMOS Image Sensor,
CMOS图像传感器)中,不用担心资源占用及功耗等成本花销,具有较高的性价比。
射到待测物上时,影响待测物区域的精准判断。因此,通过所述背景区域的亮度均值、所述
核心区域的亮度均值以及所述待测图像的直方图数据来判断当前的场景是补光灯环境还
是逆光环境。通过这样的场景区分可以实现不同的曝光调节方案,并提高了待测物区域的
精准判断。
进一步提高待测物区域的精准判断,又将所述逆光环境进一步区分为大逆光环境、侧光环
境以及顶光环境。
的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相
同的实施例或示例。而且描述的具体特征、结构、材料或者特点可以在任何的一个或多个实
施例中以合适的方式结合。此外,本领域的技术人员可以将本说明书中描述的不同实施例
或示例进行接合和组合。
技术内容做任何形式的等同替换或修改等变动,均属未脱离本发明的技术方案的内容,仍
属于本发明的保护范围之内。