一种感兴趣区域亮度值的计算方法及装置转让专利

申请号 : CN201810481113.6

文献号 : CN110505412B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 陈磊刘刚曾峰

申请人 : 杭州海康威视数字技术股份有限公司

摘要 :

本发明实施例提供了一种感兴趣区域亮度值的计算方法及装置,所述方法包括:确定当前视频帧中感兴趣对象所在的感兴趣区域,并确定所述感兴趣对象的状态;将所述感兴趣区域划分为预设数量个子区域块,获得各个子区域块的亮度值;根据所述感兴趣对象的状态,确定所述感兴趣区域中的各个子区域块的亮度权重值;按照各个子区域块的亮度权重值,对所述感兴趣区域中的各个子区域块的亮度值进行统计,得到所述感兴趣区域的亮度值;应用本发明实施例提供的方案可以提高感兴趣对象所在感兴趣区域亮度值的准确度。

权利要求 :

1.一种感兴趣区域亮度值的计算方法,其特征在于,所述方法包括:确定当前视频帧中感兴趣对象所在的感兴趣区域,并确定所述感兴趣对象的状态;

将所述感兴趣区域划分为预设数量个子区域块,获得各个子区域块的亮度值;

根据所述感兴趣对象的状态,确定所述感兴趣区域中的各个子区域块的亮度权重值;

按照各个子区域块的亮度权重值,对所述感兴趣区域中的各个子区域块的亮度值进行统计,得到所述感兴趣区域的亮度值;

在所述感兴趣区域为多个时,所述方法还包括:

在计算所述感兴趣区域的亮度值之后,对每一所述感兴趣区域进行区域评估,确定每一所述感兴趣区域的亮度值对感兴趣区域平均亮度值的影响程度;

根据所确定的每一所述感兴趣区域的亮度值对感兴趣区域平均亮度值的影响程度,将影响程度高的感兴趣区域确定为第一类感兴趣区域;

根据每一第一类感兴趣区域的亮度值,计算所述当前视频帧的感兴趣区域平均亮度值;

根据所述当前视频帧的感兴趣区域平均亮度值,调整所述当前视频帧的下一视频帧的曝光参数。

2.根据权利要求1所述的方法,其特征在于,所述确定所述感兴趣对象的状态,包括:确定所述感兴趣对象的运动方向,并基于所确定的运动方向,确定所述感兴趣对象的状态。

3.根据权利要求2所述的方法,其特征在于,所述确定所述感兴趣对象的运动方向的步骤,包括:根据所述当前视频帧以及所述当前视频帧之前的预设数量帧中所述感兴趣对象相对于视频采集设备的位置,确定所述感兴趣对象的运动方向。

4.根据权利要求1-3任一项所述的方法,其特征在于,所述感兴趣对象为人脸,所述感兴趣对象的状态包括:正脸、左侧脸、右侧脸、上侧脸、下侧脸。

5.根据权利要求1所述的方法,其特征在于,所述根据所述感兴趣对象的状态,确定所述感兴趣区域中的各个子区域块的亮度权重值的步骤,包括:根据预设的感兴趣对象的状态与感兴趣区域中各个子区域块的亮度权重值的对应关系,以及所述感兴趣对象的状态,确定所述感兴趣区域中的各个子区域块的亮度权重值。

6.根据权利要求1所述的方法,其特征在于,在所述感兴趣区域为一个时,所述方法还包括;

在计算所述感兴趣区域的亮度值之后,将所述感兴趣区域的亮度值作为所述当前视频帧的感兴趣区域平均亮度值;

根据所述当前视频帧的感兴趣区域平均亮度值,调整所述当前视频帧的下一视频帧的曝光参数。

7.根据权利要求1所述的方法,其特征在于,所述根据每一第一类感兴趣区域的亮度值,计算所述当前视频帧的感兴趣区域平均亮度值,包括:根据每一第一类感兴趣区域的亮度值对感兴趣区域平均亮度的影响程度,确定每一第一类感兴趣区域的权重值;

根据每一第一类感兴趣区域的亮度值以及权重值,计算所述当前视频帧的感兴趣区域平均亮度值。

8.根据权利要求6-7任一项所述的方法,其特征在于,所述根据所述当前视频帧的感兴趣区域平均亮度值,调整所述当前视频帧的下一视频帧的曝光参数,包括:判断所述当前视频帧的感兴趣区域平均亮度值是否大于第一预设阈值;

如果大于所述第一预设阈值,判断所述当前视频帧的感兴趣区域平均亮度值是否等于所述当前视频帧的上一视频帧的感兴趣区域平均亮度值;

如果等于所述当前视频帧的上一视频帧的感兴趣区域平均亮度值,根据所述当前视频帧的感兴趣区域平均亮度值更新历史帧感兴趣区域平均亮度值;

根据更新后的历史帧感兴趣区域平均亮度值和预设的亮度参考值,调整所述当前视频帧的下一视频帧的曝光参数。

9.根据权利要求8所述的方法,其特征在于,在判断出所述当前视频帧的感兴趣区域平均亮度值等于所述当前视频帧的上一视频帧的感兴趣区域平均亮度值的情况下,还包括:针对所述当前视频帧中各个感兴趣对象,判断所述当前视频帧中该感兴趣对象所在的感兴趣区域的亮度值是否与所述当前视频帧的上一视频帧中该感兴趣对象所在的感兴趣区域的亮度值相同;

如果是,确定所述当前视频帧的全局亮度值;

所述根据更新后的历史帧感兴趣区域平均亮度值和预设的亮度参考值,调整所述当前视频帧的下一视频帧的曝光参数,包括:确定所述当前视频帧之后的第一预设数量帧的曝光参数等于所述当前视频帧的曝光参数;

在所述全局亮度值不小于预设的亮度上限值时,减小所述预设的亮度参考值,根据减小后的亮度参考值和更新后的历史帧感兴趣区域平均亮度值,调整第一目标视频帧的曝光参数,其中,所述第一目标视频帧为:所述第一预设数量帧中最后一帧的下一帧;

在所述全局亮度值不大于预设的亮度下限值时,增大所述预设的亮度参考值,根据增大后的亮度参考值和更新后的历史帧感兴趣区域平均亮度值,调整所述第一目标视频帧的曝光参数;

在所述全局亮度值大于所述预设的亮度下限值且小于所述预设的亮度上限值时,根据所述预设的亮度参考值和更新后的历史帧感兴趣区域平均亮度值,调整所述第一目标视频帧的曝光参数。

10.根据权利要求9所述的方法,其特征在于,在判断出所述当前视频帧的感兴趣区域平均亮度值不等于所述当前视频帧的前一视频帧的感兴趣区域平均亮度值的情况下,还包括:判断目标差值的绝对值是否大于第二预设阈值,其中,所述目标差值为:所述当前视频帧的感兴趣区域平均亮度值与历史帧感兴趣区域平均亮度值的差值;

如果否,根据所述当前视频帧的感兴趣区域平均亮度值更新历史帧感兴趣区域平均亮度值,并根据更新后的历史帧感兴趣区域平均亮度值和所述预设的亮度参考值,调整所述当前视频帧的下一视频帧的曝光参数;

如果是,确定所述当前视频帧之后的第二预设数量帧的曝光参数等于所述当前视频帧的曝光参数,并根据所述当前视频帧的感兴趣区域平均亮度值更新历史帧感兴趣区域平均亮度值,再根据更新后的历史帧感兴趣区域平均亮度值和所述预设的亮度参考值,调整第二目标视频帧的曝光参数,其中,所述第二目标视频帧为:所述第二预设数量帧中最后一帧的下一帧。

11.根据权利要求8所述的方法,其特征在于,在判断出所述当前视频帧的感兴趣区域平均亮度值不大于所述第一预设阈值的情况下,还包括:判断所述当前视频帧之前的第三预设数量帧的感兴趣区域平均亮度值是否均不大于所述第一预设阈值;

如果是,确定所述当前视频帧的全局亮度值,在所述全局亮度值不小于预设的亮度上限值时,或在所述全局亮度值不大于预设的亮度下限值时,根据所述全局亮度值和所述预设的亮度参考值,调整所述当前视频帧的下一视频帧的曝光参数,在所述全局亮度值小于所述预设的亮度上限值并且大于所述预设的亮度下限值时,确定所述当前视频帧的下一视频帧的曝光参数等于所述当前视频帧的曝光参数;

如果否,确定所述当前视频帧的全局亮度值,根据所述全局亮度值和所述预设的亮度参考值,调整所述当前视频帧的下一视频帧的曝光参数。

12.一种感兴趣区域亮度值的计算装置,其特征在于,所述装置包括:第一确定模块,用于确定当前视频帧中感兴趣对象所在的感兴趣区域,并确定所述感兴趣对象的状态;

获得模块,用于将所述感兴趣区域划分为预设数量个子区域块,获得各个子区域块的亮度值;

第二确定模块,用于根据所述感兴趣对象的状态,确定所述感兴趣区域中的各个子区域块的亮度权重值;

统计模块,用于按照各个子区域块的亮度权重值,对所述感兴趣区域中的各个子区域块的亮度值进行统计,得到所述感兴趣区域的亮度值;

在所述感兴趣区域为多个时,所述装置还包括:

第二计算模块,用于在计算所述感兴趣区域的亮度值之后,根据每一所述感兴趣区域的亮度值,计算所述当前视频帧的感兴趣区域平均亮度值;触发调整模块;

所述调整模块用于根据所述当前视频帧的感兴趣区域平均亮度值,调整所述当前视频帧的下一视频帧的曝光参数;

第三确定模块,用于在所述第二计算模块根据每一所述感兴趣区域的亮度值,计算所述当前视频帧的感兴趣区域平均亮度值之前,对每一所述感兴趣区域进行区域评估,确定每一所述感兴趣区域的亮度值对感兴趣区域平均亮度值的影响程度;

第四确定模块,用于根据所确定的每一所述感兴趣区域的亮度值对感兴趣区域平均亮度值的影响程度,将影响程度高的感兴趣区域确定为第一类感兴趣区域;

所述第二计算模块,具体用于:

根据每一第一类感兴趣区域的亮度值,计算所述当前视频帧的感兴趣区域平均亮度值。

13.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现权利要求1-11任一所述的方法步骤。

14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-11任一所述的方法步骤。

说明书 :

一种感兴趣区域亮度值的计算方法及装置

技术领域

[0001] 本发明涉及图像处理技术领域,特别是涉及一种感兴趣区域亮度值的计算方法及装置。

背景技术

[0002] 曝光是通过调节光圈、快门、增益等手段使得图像的亮度达到合适的目标值,当环境光照变化较大时(比如,环境光照在顺光环境和逆光环境之间变化),图像的整体亮度可能不会出现太大的变化,但是图像中局部感兴趣区域的亮度可能会变化较大,不利于对图像中的对象进行识别及后期的数据分析,因此需要调整曝光参数,来调节感兴趣区域的亮度,使得在不同的光照条件下感兴趣区域的亮度保持在一个合适的亮度区间内。
[0003] 下面以基于人脸的视频监控为例进行说明。
[0004] 在基于人脸的视频监控中,人脸为视频帧中的感兴趣对象,视频帧中人脸所在的区域即为感兴趣区域,对视频帧的曝光参数进行调整以调节人脸所在区域的亮度也就是人脸曝光。一个视频帧中感兴趣区域可能有多个也可能有一个,目前,在人脸曝光时需要获得各个感兴趣对象所在的感兴趣区域的亮度值。然而,实际应用中,感兴趣区域中人脸的状态会有多种情况,如正脸和不同类型的侧脸,对于侧脸的情况,在统计感兴趣区域的亮度时,由于将非人脸区域的亮度也统计在内,使得计算得到的感兴趣区域的亮度值不准确。

发明内容

[0005] 本发明实施例的目的在于提供一种感兴趣区域亮度值的计算方法、装置、电子设备及计算机可读存储介质,以提高感兴趣对象所在感兴趣区域亮度值的准确度。具体技术方案如下:
[0006] 第一方面,本发明实施例提供了一种感兴趣区域亮度值的计算方法,所述方法包括:
[0007] 确定当前视频帧中感兴趣对象所在的感兴趣区域,并确定所述感兴趣对象的状态;
[0008] 将所述感兴趣区域划分为预设数量个子区域块,获得各个子区域块的亮度值;
[0009] 根据所述感兴趣对象的状态,确定所述感兴趣区域中的各个子区域块的亮度权重值;
[0010] 按照各个子区域块的亮度权重值,对所述感兴趣区域中的各个子区域块的亮度值进行统计,得到所述感兴趣区域的亮度值。
[0011] 可选的,所述确定所述感兴趣对象的状态,包括:
[0012] 确定所述感兴趣对象的运动方向,并基于所确定的运动方向,确定所述感兴趣对象的状态。
[0013] 可选的,所述确定所述感兴趣对象的运动方向的步骤,包括:
[0014] 根据所述当前视频帧以及所述当前视频帧之前的预设数量帧中所述感兴趣对象相对于视频采集设备的位置,确定所述感兴趣对象的运动方向。
[0015] 可选的,所述感兴趣对象为人脸,所述感兴趣对象的状态包括:正脸、左侧脸、右侧脸、上侧脸、下侧脸。
[0016] 可选的,所述根据所述感兴趣对象的状态,确定所述感兴趣区域中的各个子区域块的亮度权重值的步骤,包括:
[0017] 根据预设的感兴趣对象的状态与感兴趣区域中各个子区域块的亮度权重值的对应关系,以及所述感兴趣对象的状态,确定所述感兴趣区域中的各个子区域块的亮度权重值。
[0018] 可选的,在所述感兴趣区域为一个时,所述方法还包括;
[0019] 在计算所述感兴趣区域的亮度值之后,将所述感兴趣区域的亮度值作为所述当前视频帧的感兴趣区域平均亮度值;
[0020] 根据所述当前视频帧的感兴趣区域平均亮度值,调整所述当前视频帧的下一视频帧的曝光参数。
[0021] 可选的,在所述感兴趣区域为多个时,所述方法还包括:
[0022] 在计算所述感兴趣区域的亮度值之后,根据每一所述感兴趣区域的亮度值,计算所述当前视频帧的感兴趣区域平均亮度值;
[0023] 根据所述当前视频帧的感兴趣区域平均亮度值,调整所述当前视频帧的下一视频帧的曝光参数。
[0024] 可选的,在所述根据每一所述感兴趣区域的亮度值,计算所述当前视频帧的感兴趣区域平均亮度值之前,还包括:
[0025] 对每一所述感兴趣区域进行区域评估,确定每一所述感兴趣区域的亮度值对感兴趣区域平均亮度值的影响程度;
[0026] 根据所确定的每一所述感兴趣区域的亮度值对感兴趣区域平均亮度值的影响程度,将影响程度高的感兴趣区域确定为第一类感兴趣区域;
[0027] 所述根据每一所述感兴趣区域的亮度,计算所述当前视频帧的感兴趣区域平均亮度值,包括:
[0028] 根据每一第一类感兴趣区域的亮度值,计算所述当前视频帧的感兴趣区域平均亮度值。
[0029] 可选的,所述根据每一第一类感兴趣区域的亮度值,计算所述当前视频帧的感兴趣区域平均亮度值,包括:
[0030] 根据每一第一类感兴趣区域的亮度值对感兴趣区域平均亮度的影响程度,确定每一第一类感兴趣区域的权重值;
[0031] 根据每一第一类感兴趣区域的亮度值以及权重值,计算所述当前视频帧的感兴趣区域平均亮度值。
[0032] 可选的,所述根据所述当前视频帧的感兴趣区域平均亮度值,调整所述当前视频帧的下一视频帧的曝光参数,包括:
[0033] 判断所述当前视频帧的感兴趣区域平均亮度值是否大于第一预设阈值;
[0034] 如果大于所述第一预设阈值,判断所述当前视频帧的感兴趣区域平均亮度值是否等于所述当前视频帧的上一视频帧的感兴趣区域平均亮度值;
[0035] 如果等于所述当前视频帧的上一视频帧的感兴趣区域平均亮度值,根据所述当前视频帧的感兴趣区域平均亮度值更新历史帧感兴趣区域平均亮度值;
[0036] 根据更新后的历史帧感兴趣区域平均亮度值和预设的亮度参考值,调整所述当前视频帧的下一视频帧的曝光参数。
[0037] 可选的,在判断出所述当前视频帧的感兴趣区域平均亮度值等于所述当前视频帧的上一视频帧的感兴趣区域平均亮度值的情况下,还包括:
[0038] 针对所述当前视频帧中各个感兴趣对象,判断所述当前视频帧中该感兴趣对象所在的感兴趣区域的亮度值是否与所述当前视频帧的上一视频帧中该感兴趣对象所在的感兴趣区域的亮度值相同;
[0039] 如果是,确定所述当前视频帧的全局亮度值;
[0040] 所述根据更新后的历史帧感兴趣区域平均亮度值和预设的亮度参考值,调整所述当前视频帧的下一视频帧的曝光参数,包括:
[0041] 确定所述当前视频帧之后的第一预设数量帧的曝光参数等于所述当前视频帧的曝光参数;
[0042] 在所述全局亮度值不小于预设的亮度上限值时,减小所述预设的亮度参考值,根据减小后的亮度参考值和更新后的历史帧感兴趣区域平均亮度值,调整第一目标视频帧的曝光参数,其中,所述第一目标视频帧为:所述第一预设数量帧中最后一帧的下一帧;
[0043] 在所述全局亮度值不大于预设的亮度下限值时,增大所述预设的亮度参考值,根据增大后的亮度参考值和更新后的历史帧感兴趣区域平均亮度值,调整所述第一目标视频帧的曝光参数;
[0044] 在所述全局亮度值大于所述预设的亮度下限值且小于所述预设的亮度上限值时,根据所述预设的亮度参考值和更新后的历史帧感兴趣区域平均亮度值,调整所述第一目标视频帧的曝光参数。
[0045] 可选的,在判断出所述当前视频帧的感兴趣区域平均亮度值不等于所述当前视频帧的前一视频帧的感兴趣区域平均亮度值的情况下,还包括:
[0046] 判断目标差值的绝对值是否大于第二预设阈值,其中,所述目标差值为:所述当前视频帧的感兴趣区域平均亮度值与历史帧感兴趣区域平均亮度值的差值;
[0047] 如果否,根据所述当前视频帧的感兴趣区域平均亮度值更新历史帧感兴趣区域平均亮度值,并根据更新后的历史帧感兴趣区域平均亮度值和所述预设的亮度参考值,调整所述当前视频帧的下一视频帧的曝光参数;
[0048] 如果是,确定所述当前视频帧之后的第二预设数量帧的曝光参数等于所述当前视频帧的曝光参数,并根据所述当前视频帧的感兴趣区域平均亮度值更新历史帧感兴趣区域平均亮度值,再根据更新后的历史帧感兴趣区域平均亮度值和所述预设的亮度参考值,调整第二目标视频帧视频帧的曝光参数,其中,所述第二目标视频帧为:所述第二预设数量帧中最后一帧的下一帧。
[0049] 可选的,在判断出所述当前视频帧的感兴趣区域平均亮度值不大于所述第一预设阈值的情况下,还包括:
[0050] 判断所述当前视频帧之前的第三预设数量帧的感兴趣区域平均亮度值是否均不大于所述第一预设阈值;
[0051] 如果是,确定所述当前视频帧的全局亮度值,在所述全局亮度值不小于预设的亮度上限值时,或在所述全局亮度值不大于预设的亮度下限值时,根据所述全局亮度值和所述预设的亮度参考值,调整所述当前视频帧的下一视频帧的曝光参数,在所述全局亮度值小于所述预设的亮度上限值并且大于所述预设的亮度下限值时,确定所述当前视频帧的下一视频帧的曝光参数等于所述当前视频帧的曝光参数;
[0052] 如果否,确定所述当前视频帧的全局亮度值,根据所述全局亮度值和所述预设的亮度参考值,调整所述当前视频帧的下一视频帧的曝光参数。
[0053] 第二方面,本发明实施例提供了一种感兴趣区域亮度值的计算装置,所述装置包括:
[0054] 第一确定模块,用于确定当前视频帧中感兴趣对象所在的感兴趣区域,并确定所述感兴趣对象的状态;
[0055] 获得模块,用于将所述感兴趣区域划分为预设数量个子区域块,获得各个子区域块的亮度值;
[0056] 第二确定模块,用于根据所述感兴趣对象的状态,确定所述感兴趣区域中的各个子区域块的亮度权重值;
[0057] 统计模块,用于按照各个子区域块的亮度权重值,对所述感兴趣区域中的各个子区域块的亮度值进行统计,得到所述感兴趣区域的亮度值。
[0058] 可选的,所述第一确定模块确定所述感兴趣对象的状态,具体为:
[0059] 确定所述感兴趣对象的运动方向,并基于所确定的运动方向,确定所述感兴趣对象的状态。
[0060] 可选的,所述第一确定模块确定所述感兴趣对象的运动方向,具体为:
[0061] 根据所述当前视频帧以及所述当前视频帧之前的预设数量帧中所述感兴趣对象相对于视频采集设备的位置,确定所述感兴趣对象的运动方向。
[0062] 可选的,所述感兴趣对象为人脸,所述感兴趣对象的状态包括:正脸、左侧脸、右侧脸、上侧脸、下侧脸。
[0063] 可选的,所述第二确定模块,用于:
[0064] 根据预设的感兴趣对象的状态与感兴趣区域中各个子区域块的亮度权重值的对应关系,以及所述感兴趣对象的状态,确定所述感兴趣区域中的各个子区域块的亮度权重值。
[0065] 可选的,在所述感兴趣区域为一个时,所述装置还包括;
[0066] 第一计算模块,用于在计算所述感兴趣区域的亮度值之后,将所述感兴趣区域的亮度值作为所述当前视频帧的感兴趣区域平均亮度值;
[0067] 调整模块,用于根据所述当前视频帧的感兴趣区域平均亮度值,调整所述当前视频帧的下一视频帧的曝光参数。
[0068] 可选的,在所述感兴趣区域为多个时,所述装置还包括:
[0069] 第二计算模块,用于在计算所述感兴趣区域的亮度值之后,根据每一所述感兴趣区域的亮度值,计算所述当前视频帧的感兴趣区域平均亮度值;触发所述调整模块。
[0070] 可选的,所述装置还包括:
[0071] 第三确定模块,用于在所述第二计算模块根据每一所述感兴趣区域的亮度值,计算所述当前视频帧的感兴趣区域平均亮度值之前,对每一所述感兴趣区域进行区域评估,确定每一所述感兴趣区域的亮度值对感兴趣区域平均亮度值的影响程度;
[0072] 第四确定模块,用于根据所确定的每一所述感兴趣区域的亮度值对感兴趣区域平均亮度值的影响程度,将影响程度高的感兴趣区域确定为第一类感兴趣区域;
[0073] 所述第二计算模块,具体用于:
[0074] 根据每一第一类感兴趣区域的亮度值,计算所述当前视频帧的感兴趣区域平均亮度值。
[0075] 可选的,所述计算子模块,包括:
[0076] 确定单元,用于根据每一第一类感兴趣区域的亮度值对感兴趣区域平均亮度值的影响程度,确定每一第一类感兴趣区域的权重值;
[0077] 计算单元,用于根据每一第一类感兴趣区域的亮度值以及权重值,计算所述当前视频帧的感兴趣区域平均亮度值。
[0078] 可选的,所述调整模块,包括:
[0079] 第一判断子模块,用于判断所述当前视频帧的感兴趣区域平均亮度值是否大于第一预设阈值;
[0080] 第二判断子模块,用于在判断出所述当前视频帧的感兴趣区域平均亮度值大于所述第一预设阈值时,判断所述当前视频帧的感兴趣区域平均亮度值是否等于所述当前视频帧的上一视频帧的感兴趣区域平均亮度值;
[0081] 更新子模块,用于在判断出所述当前视频帧的感兴趣区域平均亮度值等于所述当前视频帧的上一视频帧的感兴趣区域平均亮度值时,根据所述当前视频帧的感兴趣区域平均亮度值更新历史帧感兴趣区域平均亮度值;
[0082] 第一调整子模块,用于根据更新后的历史帧感兴趣区域平均亮度值和预设的亮度参考值,调整所述当前视频帧的下一视频帧的曝光参数。
[0083] 可选的,所述装置还包括:
[0084] 第三判断子模块,用于在判断出所述当前视频帧的感兴趣区域平均亮度值等于所述当前视频帧的上一视频帧的感兴趣区域平均亮度值的情况下,针对所述当前视频帧中各个感兴趣对象,判断所述当前视频帧中该感兴趣对象所在的感兴趣区域的亮度值是否与所述当前视频帧的上一视频帧中该感兴趣对象所在的感兴趣区域的亮度值相同;
[0085] 第一确定子模块,用于在针对所述当前视频帧中各个感兴趣对象,均判断出所述当前视频帧中该感兴趣对象所在的感兴趣区域的亮度值与所述当前视频帧的上一视频帧中该感兴趣对象所在的感兴趣区域的亮度值相同时,确定所述当前视频帧的全局亮度值;
[0086] 所述第一调整子模块,包括:
[0087] 确定单元,用于确定所述当前视频帧之后的第一预设数量帧的曝光参数等于所述当前视频帧的曝光参数;
[0088] 第一调整单元,用于在所述全局亮度值不小于预设的亮度上限值时,减小所述预设的亮度参考值,根据减小后的亮度参考值和更新后的历史帧感兴趣区域平均亮度值,调整第一目标视频帧的曝光参数,其中,所述第一目标视频帧为:所述第一预设数量帧中最后一帧的下一帧;
[0089] 第二调整单元,用于在所述全局亮度值不大于预设的亮度下限值时,增大所述预设的亮度参考值,根据增大后的亮度参考值和更新后的历史帧感兴趣区域平均亮度值,调整所述第一目标视频帧的曝光参数;
[0090] 第三调整单元,用于在所述全局亮度值大于所述预设的亮度下限值且小于所述预设的亮度上限值时,根据所述预设的亮度参考值和更新后的历史帧感兴趣区域平均亮度值,调整所述第一目标视频帧的曝光参数。
[0091] 可选的,所述装置还包括:
[0092] 第四判断子模块,用于在判断出所述当前视频帧的感兴趣区域平均亮度值不等于所述当前视频帧的前一视频帧的感兴趣区域平均亮度值的情况下,判断目标差值的绝对值是否大于第二预设阈值,其中,所述目标差值为:所述当前视频帧的感兴趣区域平均亮度值与历史帧感兴趣区域平均亮度值的差值;
[0093] 第二调整子模块,用于在判断出目标差值的绝对值不大于所述第二预设阈值时,根据所述当前视频帧的感兴趣区域平均亮度值更新历史帧感兴趣区域平均亮度值,并根据更新后的历史帧感兴趣区域平均亮度值和所述预设的亮度参考值,调整所述当前视频帧的下一视频帧的曝光参数;
[0094] 第三调整子模块,用于在判断出目标差值的绝对值大于所述第二预设阈值时,确定所述当前视频帧之后的第二预设数量帧的曝光参数等于所述当前视频帧的曝光参数,并根据所述当前视频帧的感兴趣区域平均亮度值更新历史帧感兴趣区域平均亮度值,再根据更新后的历史帧感兴趣区域平均亮度值和所述预设的亮度参考值,调整第二目标视频帧视频帧的曝光参数,其中,所述第二目标视频帧为:所述第二预设数量帧中最后一帧的下一帧。
[0095] 可选的,所述装置还包括:
[0096] 第五判断子模块,用于在判断出所述当前视频帧的感兴趣区域平均亮度值不大于所述第一预设阈值的情况下,判断所述当前视频帧之前的第三预设数量帧的感兴趣区域平均亮度值是否均不大于所述第一预设阈值;
[0097] 第四调整子模块,用于在判断出所述当前视频帧之前的第三预设数量帧的感兴趣区域平均亮度值均不大于所述第一预设阈值时,确定所述当前视频帧的全局亮度值,在所述全局亮度值不小于预设的亮度上限值时,或在所述全局亮度值不大于预设的亮度下限值时,根据所述全局亮度值和所述预设的亮度参考值,调整所述当前视频帧的下一视频帧的曝光参数,在所述全局亮度值小于所述预设的亮度上限值并且大于所述预设的亮度下限值时,确定所述当前视频帧的下一视频帧的曝光参数等于所述当前视频帧的曝光参数;
[0098] 第五调整子模块,用于在判断出所述当前视频帧之前的第三预设数量帧的感兴趣区域平均亮度值不是均不大于所述第一预设阈值时,确定所述当前视频帧的全局亮度值,根据所述全局亮度值和所述预设的亮度参考值,调整所述当前视频帧的下一视频帧的曝光参数。
[0099] 第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
[0100] 存储器,用于存放计算机程序;
[0101] 处理器,用于执行存储器上所存放的程序时,实现上述任一所述的感兴趣区域亮度值的计算方法的方法步骤。
[0102] 第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述的感兴趣区域亮度值的计算方法的方法步骤。
[0103] 本发明实施例提供的方案,确定当前视频帧中感兴趣对象所在的感兴趣区域,并确定感兴趣对象的状态,然后将感兴趣区域划分为预设数量个子区域块,获得各个子区域块的亮度值,再根据感兴趣对象的状态,确定感兴趣区域中的各个子区域块的亮度权重值,进而可以按照各个子区域块的亮度权重值,对感兴趣区域中的各个子区域块的亮度值进行统计,得到感兴趣区域的亮度值。可见,本发明实施例提供的方案,考虑了感兴趣区域对应的感兴趣对象的状态,将感兴趣区域划分为多个子区域块,基于感兴趣对象的状态对各个子区域块赋予亮度权重值,使得计算得到的感兴趣区域的亮度值更加准确。

附图说明

[0104] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0105] 图1为本发明实施例提供的一种感兴趣区域亮度值的计算方法的流程示意图;
[0106] 图2为本发明实施例提供的感兴趣对象为人脸时感兴趣区域划分为子区域块的示意图;
[0107] 图3为本发明实施例提供的感兴趣区域为左侧脸时划分为子区域块的示意图;
[0108] 图4为本发明实施例提供的不同状态的人脸对应的感兴趣区域中各个子区域块的亮度权重值图;
[0109] 图5为本发明实施例提供的一种感兴趣区域亮度值的计算装置的结构示意图;
[0110] 图6为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

[0111] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0112] 为提高感兴趣区域亮度值的准确度,本发明实施例提供了一种感兴趣区域亮度值的计算方法、装置、电子设备以及计算机可读存储介质。下面首先对本发明实施例提供的一种感兴趣区域亮度值的计算方法进行介绍。
[0113] 如图1所示,本发明实施例提供的一种感兴趣区域亮度值的计算方法,包括如下步骤:
[0114] S101,确定当前视频帧中感兴趣对象所在的感兴趣区域,并确定感兴趣对象的状态。
[0115] 其中,感兴趣对象可以为人脸、车牌等监控对象。视频帧中包含感兴趣对象的区域即为感兴趣区域。在一种实现方式中,可以通过人脸识别或车牌识别等图像识别算法检测出视频帧中的感兴趣对象所在感兴趣区域。
[0116] 可以理解的,在监控过程中感兴趣对象可以处于运动状态,那么视频帧中感兴趣对象的状态可能不同。以感兴趣对象为人脸为例,人脸的状态可以为正脸或侧脸,其中侧脸还可以分为左侧脸、右侧脸、上侧脸、下侧脸等。在一种实现方式中,可以通过预设的分类模型确定对感兴趣对象的状态,分类模型的类别可以包括:正脸、左侧脸、右侧脸、上侧脸、下侧脸等,该分类模型的训练方法可以参见现有技术的方法,在此不做赘述。
[0117] 在一种实现方式中,可以确定感兴趣对象的运动方向,并基于所确定的运动方向,确定感兴趣对象的状态。
[0118] 具体的,上述感兴趣对象的运动方向可以理解为:感兴趣对象相对于视频采集设备的运动方向。
[0119] 以感兴趣对象为人脸为例,发明人通过对视频采集设备所采集视频帧中人脸的运动方向以及人脸的状态进行分析发现:
[0120] 当人脸的运动方向是:朝着视频采集设备运动时,人脸的状态为:正脸;
[0121] 当人脸象的运动方向是:向视频采集设备的左侧运动时,人脸的状态为;左侧脸;
[0122] 当人脸的运动方向是:向视频采集设备的右侧运动时,人脸的状态为:右侧脸。
[0123] 综合以上可以得知,感兴趣对象的运动方向与感兴趣对象的状态具有对应关系。鉴于此,本申请的一种实现方式中,可以预先设定运动方向与状态之间的对应关系,上述基于所确定的运动方向,确定感兴趣对象的状态时,可以在上述预先设定的对应关系中查找包含所确定运动方向的对应关系,并将所查找到对应关系中的状态作为感兴趣对象的状态。
[0124] 需要说明的是,本申请实施例仅仅以上述为例说明感兴趣对象的运动方向与感兴趣对象的状态之间的关系,并不对本申请实施例提供的方案构成限定。
[0125] 具体的,可以根据当前视频帧以及当前视频帧之前的预设数量帧中感兴趣对象相对于视频采集设备的位置,来确定感兴趣对象的运动方向。举例而言,确定当前视频帧以及当前视频帧之前的5帧中感兴趣对象相对于视频采集设备的位置,由这6帧中感兴趣对象的位置变化可以确定感兴趣对象相对于视频采集设备的运动方向,以人脸为例,若运动方向为朝向视频采集设备的方向,则感兴趣对象的状态为正脸,若运动方向为朝向视频采集设备左侧的方向,则感兴趣对象的状态为左侧脸。
[0126] S102,将感兴趣区域划分为预设数量个子区域块,获得各个子区域块的亮度值。
[0127] 在一种实现方式中,可以将不同大小的感兴趣区域均划分为相同数量个子区域块,如图2所示,感兴趣对象为人脸,识别框内即为感兴趣区域,将感兴趣区域划分为16个子区域块,各个子区域块的亮度值可以为该子区域块中各个像素点的亮度值的平均值。当然,也可以根据视频帧中感兴趣区域的大小将感兴趣区域划分为不同数量个子区域块,例如,若感兴趣区域大于预设值,则划分为16个子区域块,若感兴趣区域小于预设值,则划分为8个子区域块。
[0128] S103,根据感兴趣对象的状态,确定感兴趣区域中的各个子区域块的亮度权重值。
[0129] 可以理解的,若感兴趣对象的状态不同,则对应的感兴趣区域中各个子区域块的亮度值对该感兴趣区域的整体亮度值的影响程度也就不同。如图3所示,该感兴趣区域对应的感兴趣对象为左侧脸,可以理解的,实际上子区域块1、5、9、13块并不属于人脸区域的亮度块,将这四个子区域块的亮度值统计在感兴趣区域的亮度值中会使得感兴趣区域的亮度值不准确,另外,对于子区域块2、6、7,由于这三个子区域块处于人脸区域的不同位置,则这三个子区域块的亮度值对感兴趣区域的亮度值的影响程度也是不一样的。因此,根据感兴趣对象的状态,对感兴趣区域中的各个子区域块的亮度值赋予不同的权重值,可以使得统计得到的感兴趣区域的亮度值更加准确。
[0130] 具体的,可以根据预设的感兴趣对象的状态与感兴趣区域中各个子区域块的亮度权重值的对应关系,以及感兴趣对象的状态,确定感兴趣区域中的各个子区域块的亮度权重值。
[0131] 以侧脸为例,不同侧脸的感兴趣区域中各个子区域块的亮度权重值如图4所示,其中,图4(a)为左侧脸时各个子区域块的亮度权重值,图4(b)为右侧脸时各个子区域块的亮度权重值,图4(c)为上侧脸时各个子区域块的亮度权重值,图4(d)为下侧脸和正脸时各个子区域块的亮度权重值。
[0132] 具体的,以图4(a)所示的亮度权重值为例,子区域块1、5、9、13的亮度权重值为0,子区域块2、3、4、8、12、14、15、16的亮度权重值均为2/40,子区域块6、10的亮度权重值均为4/40,子区域块7、11的亮度权重值均为8/40。
[0133] S104,按照各个子区域块的亮度权重值,对感兴趣区域中的各个子区域块的亮度值进行统计,得到感兴趣区域的亮度值。
[0134] 具体的,感兴趣区域的亮度值等于该感兴趣区域中各个子区域块的亮度乘以对应的亮度权重值之后求和。
[0135] 可见,本发明实施例提供的方案,考虑了感兴趣区域对应的感兴趣对象的状态,将感兴趣区域划分为多个子区域块,基于感兴趣对象的状态对各个子区域块赋予亮度权重值,使得计算得到的感兴趣区域的亮度值更加准确。
[0136] 在一种实现方式中,为了提高感兴趣区域的曝光效果,在得到感兴趣区域的亮度值之后,还可以计算出当前视频帧的感兴趣区域平均亮度值,从而调整当前视频帧的下一视频帧的曝光参数。
[0137] 具体的,一种情况,在感兴趣区域为一个时,可以在计算感兴趣区域的亮度值之后,将感兴趣区域的亮度值作为当前视频帧的感兴趣区域平均亮度值;然后,根据当前视频帧的感兴趣区域平均亮度值,调整当前视频帧的下一视频帧的曝光参数。
[0138] 另一种情况,在感兴趣区域为多个时,可以在计算感兴趣区域的亮度值之后,根据每一感兴趣区域的亮度值,计算当前视频帧的感兴趣区域平均亮度值;然后,根据当前视频帧的感兴趣区域平均亮度值,调整当前视频帧的下一视频帧的曝光参数。
[0139] 可以理解的是,对于第二种情况,在得到各个感兴趣区域的亮度值后,可以计算各个感兴趣区域的亮度值的平均值,作为当前视频帧的感兴趣区域平均亮度值。
[0140] 在一种实现方式中,若视频帧中所包含的感兴趣区域较多(如人员密集的商场),而不同感兴趣区域的亮度值对当前视频帧的感兴趣区域平均亮度值的影响程度是不同的,若某一感兴趣区域的亮度值对当前视频帧的感兴趣区域平均亮度值的影响程度较小,则不需要将该感兴趣区域的亮度值统计在感兴趣区域平均亮度值中。
[0141] 鉴于此,在上述根据每一感兴趣区域的亮度值,计算当前视频帧的感兴趣区域平均亮度值之前,该方法还可以包括:对每一感兴趣区域进行区域评估,确定每一感兴趣区域的亮度值对感兴趣区域平均亮度值的影响程度;根据所确定的每一感兴趣区域的亮度值对感兴趣区域平均亮度值的影响程度,将影响程度高的感兴趣区域确定为第一类感兴趣区域。
[0142] 具体的,上述对每一感兴趣区域进行区域评估,可以为根据感兴趣区域的大小、感兴趣对象的状态进行区域评估。可以理解的,感兴趣区域越大,则对感兴趣区域平均亮度值的影响程度就越大,感兴趣对象为正脸相比于侧脸,对感兴趣区域平均亮度值的影响程度大,而不同程度的侧脸,对感兴趣区域平均亮度值的影响程度也不同。
[0143] 例如,可以预先设置当感兴趣区域的大小处于不同区间时,对应的影响程度为不同的数值,另外预先设置各个感兴趣对象的状态对应的影响程度为不同的数值。则对任一感兴趣区域进行区域评估时,确定感兴趣区域的大小和感兴趣对象的状态,按照上述评估规则,确定该感兴趣区域的亮度对感兴趣区域平均亮度的影响程度,这种评估规则也称为评分机制。
[0144] 在一种实现方式中,可以对感兴趣区域平均亮度值的影响程度大于某一预设阈值的感兴趣区域确定为第一类感兴趣区域,也可以将对感兴趣区域平均亮度值的影响程度较大的预设数量个感兴趣区域确定为第一类感兴趣区域。
[0145] 相应的,根据每一感兴趣区域的亮度值,计算当前视频帧的感兴趣区域平均亮度值的步骤,可以包括:根据每一第一类感兴趣区域的亮度值,计算当前视频帧的感兴趣区域平均亮度值。
[0146] 在一种实现方式中,可以计算各个第一类感兴趣区域的亮度值的平均值,作为当前视频帧的感兴趣区域平均亮度值。
[0147] 在另一种实现方式中,由于各个第一类感兴趣区域的亮度值对感兴趣区域平均亮度值的影响程度不同,因此为了计算得到更准确的感兴趣区域平均亮度值,可以对各个第一类感兴趣区域赋予不同的权重值,例如,预先设定感兴趣区域的亮度值对感兴趣区域平均亮度值的影响程度对应的数值处于不同的区间时,对应的第一类感兴趣区域的权重值不同,并且,影响程度越大,对应的第一类感兴趣区域的权重值也越大。
[0148] 因此,上述根据每一第一类感兴趣区域的亮度值,计算当前视频帧的感兴趣区域平均亮度值,可以包括:根据每一第一类感兴趣区域的亮度值对感兴趣区域平均亮度值的影响程度,确定每一第一类感兴趣区域的权重值;根据每一第一类感兴趣区域的亮度值以及权重值,计算当前视频帧的感兴趣区域平均亮度值。
[0149] 具体的,感兴趣区域平均亮度值等于各个第一类感兴趣区域的亮度值乘以对应的权重值之后求和。
[0150] 可见,本发明实施例在进行感兴趣区域的亮度统计时,对识别出的感兴趣区域的亮度值进行分块加权处理,并且针对各个感兴趣区域的亮度值对感兴趣区域平均亮度的影响程度引入评分机制,从而合理选择感兴趣区域进行亮度统计,在计算感兴趣区域平均亮度值时根据评分机制的结果进行加权处理,使得感兴趣区域平均亮度值的计算结果更加准确。
[0151] 下面对于上述两种情况中的根据当前视频帧的感兴趣区域平均亮度值,调整当前视频帧的下一视频帧的曝光参数的步骤进行介绍。
[0152] 具体的,可以先判断当前视频帧的感兴趣区域平均亮度值与预设的亮度参考值的差值的绝对值是否小于预设的曝光误差值,如果是,则直接确定当前视频帧的下一视频帧的曝光参数等于当前视频帧的曝光参数,如果否,再根据当前视频帧的感兴趣区域平均亮度值,调整当前视频帧的下一视频帧的曝光参数。
[0153] 其中,预设的曝光误差值y_ref_range的计算公式可以为:y_ref_range=local_y*(chg_range-1)/((1+chg_range)+0.5);其中,chg_range为与曝光的调节步数有关的参数,可以设置为1.2,local_y表示感兴趣区域平均亮度值。
[0154] 在一种实现方式中,在根据当前视频帧的感兴趣区域平均亮度值,调整当前视频帧的下一视频帧的曝光参数时,可以将感兴趣区域平均亮度值与预设的亮度参考值传入预设的曝光算法,计算得到当前视频帧的下一视频帧对应的曝光参数,利用光圈、快门、增益等调节下一视频帧的亮度值,预设的曝光算法可以为:AE(Auto Exposure,自动曝光)曝光算法或其他的曝光算法。
[0155] 由以上可知,本发明实施例提供的方案,考虑了感兴趣区域中感兴趣对象的状态,将每一感兴趣区域划分为多个子区域块,基于每一感兴趣对象的状态对各个子区域块赋予亮度权重值,使得统计得到的每一感兴趣区域的亮度值更加准确,从而使得计算得到的当前视频帧的感兴趣区域平均亮度值更加准确,因此根据当前视频帧的感兴趣区域平均亮度值,调整当前视频帧的下一视频帧的曝光参数,可以提高下一视频帧中感兴趣区域的曝光效果。
[0156] 可以理解的是,由于在监控过程中,当前视频帧相对于上一帧的场景可能发生变化,当前视频帧的场景模式可以分为稳定场景、亮度突变场景、正常曝光场景等,因此,针对不同的场景模式按照不同的方式调整下一视频帧的曝光参数,则更有针对性,具有更强的场景自适应性。其中,稳定场景为:若当前视频帧的感兴趣区域平均亮度值与上一帧的感兴趣区域平均亮度值相同,则当前视频帧为稳定场景;亮度突变场景为:当存在外界亮度突然干扰或感兴趣对象的运动方向突变时,导致当前视频帧的感兴趣区域平均亮度值与上一帧感兴趣区域平均亮度值的差值较大,则当前视频帧为亮度突变场景;正常曝光场景为:若当前视频帧及其当前视频帧之前的预设数量帧的感兴趣区域平均亮度值均为零,则当前视频帧为正常曝光场景。
[0157] 鉴于此,在一种实现方式中,上述根据当前视频帧的感兴趣区域平均亮度值,调整当前视频帧的下一视频帧的曝光参数的步骤,可以包括:
[0158] 判断当前视频帧的感兴趣区域平均亮度是否大于第一预设阈值;
[0159] 如果大于第一预设阈值,判断当前视频帧的感兴趣区域平均亮度值是否等于当前视频帧的上一视频帧的感兴趣区域平均亮度值;
[0160] 如果等于当前视频帧的上一视频帧的感兴趣区域平均亮度值,根据当前视频帧的感兴趣区域平均亮度值更新历史帧感兴趣区域平均亮度值;
[0161] 根据更新后的历史帧感兴趣区域平均亮度值和预设的亮度参考值,调整当前视频帧的下一视频帧的曝光参数。
[0162] 可以理解的是,理论上,当视频帧中没有感兴趣区域,则视频帧的感兴趣区域平均亮度值即为零,因此第一预设阈值可以设为零。实际上,第一预设阈值也可以设置为其它接近零或者较小的数值,如1、10等,本发明实施例对第一预设阈值的取值不做限定。另外,此处“预设的亮度参考值”为预先设置的视频帧的全局亮度对应的亮度参考值。
[0163] 若当前视频帧的感兴趣区域平均亮度值大于第一预设阈值,表示当前视频帧中包含感兴趣对象,进而,若当前视频帧的感兴趣区域平均亮度值等于当前视频帧的上一视频帧的感兴趣区域平均亮度值,表示上一视频帧到当前视频帧的场景是稳定的。此时,可以根据当前视频帧的感兴趣区域平均亮度值更新历史帧感兴趣区域平均亮度值,这是因为不同的感兴趣区域的亮度值差异明显,为防止曝光频繁调节,需要对历史帧感兴趣区域平均亮度值进行平滑处理。
[0164] 具体的,可以根据以下公式对历史帧感兴趣区域平均亮度值进行更新:yuv_history_y=yuv_history_y’×[(128.0-update_rate)+update_rate×yuv_cur_y)]/128.0;其中,yuv_cur_y表示当前视频帧的感兴趣区域平均亮度值,yuv_history_y表示更新后的历史帧感兴趣区域平均亮度值,yuv_history_y’表示更新前的历史帧感兴趣区域平均亮度值,update_rate表示更新速率,update_rate的大小与历史帧感兴趣区域平均亮度值和亮度参考值相关,update_rate的更新速率决定感兴趣区域平均亮度值的调节速率,update_rate取值范围为0-128。
[0165] 得到更新后的历史帧感兴趣区域平均亮度值后,可以将更新后的历史帧感兴趣区域平均亮度值和预设的亮度参考值传入AE曝光算法,调整当前视频帧的下一视频帧的曝光参数,利用光圈快门增益来调节下一视频帧的亮度。其中,预设的亮度参考值为预先设置的视频帧的目标亮度值。本实施例中在调整下一视频帧的曝光参数时不仅考虑了历史帧感兴趣区域平均亮度值,也考虑到预设的亮度参考值,使得曝光参数更加准确,曝光效果更好。
[0166] 在一种实现方式中,在判断出当前视频帧的感兴趣区域平均亮度值等于当前视频帧的前一视频帧的感兴趣区域平均亮度值的情况下,还可以进一步判断当前视频帧中各个感兴趣区域的亮度值是否与当前视频帧的前一视频帧中各个感兴趣区域的亮度值相同,如果是,确定当前视频帧的全局亮度值。
[0167] 可以理解的,若当前视频帧中各个感兴趣区域的亮度值与当前视频帧的上一视频帧中各个感兴趣区域的亮度值相同,表示当前视频帧与上一视频帧相比,各个感兴趣区域均相同,即感兴趣对象没有运动(这种情况也称为无运动物体)。
[0168] 在这种情况下,上述根据更新后的历史帧感兴趣区域平均亮度值和预设的亮度参考值,调整当前视频帧的下一视频帧的曝光参数,可以包括:
[0169] 确定当前视频帧之后的第一预设数量帧的曝光参数等于当前视频帧的曝光参数;
[0170] 在全局亮度值不小于预设的亮度上限值时,减小预设的亮度参考值,根据减小后的亮度参考值和更新后的历史帧感兴趣区域平均亮度值,调整第一目标视频帧的曝光参数,其中,第一目标视频帧为:所述第一预设数量帧中最后一帧的下一帧;
[0171] 在全局亮度值不大于预设的亮度下限值时,增大预设的亮度参考值,根据增大后的亮度参考值和更新后的历史帧感兴趣区域平均亮度值,调整第一目标视频帧的曝光参数;
[0172] 在全局亮度值大于预设的亮度下限值且小于预设的亮度上限值时,根据预设的亮度参考值和更新后的历史帧感兴趣区域平均亮度值,调整第一目标视频帧的曝光参数。
[0173] 可见,在视频帧中无运动物体的情况下,确定当前视频帧之后的第一预设数量帧的曝光参数等于当前视频帧的曝光参数,也就是,在一定的时间内保持场景稳定。并判断全局亮度值与预设的亮度上限值和亮度下限值的关系,在全局亮度值高于亮度上限值时,表示当前视频帧的亮度较大,需要适当降低下一视频帧的全局亮度值,因此减小预设的亮度参考值,以防止图像局部区域过曝导致无法检测到感兴趣对象;在全局亮度低于亮度下限值时,表示当前视频帧的亮度较小,需要适当提高下一视频帧的全局亮度值,因此增大预设的亮度参考值,以防止图像局部区域欠曝导致无法检测到感兴趣对象;在全局亮度值处于亮度下限值和亮度上限值之间时,当前视频帧的亮度正常,因此不需要调整预设的亮度参考值,直接根据预设的亮度参考值和更新后的历史帧感兴趣区域平均亮度值,调整第一目标视频帧的曝光参数。其中,亮度上限值和亮度下限值的数值大小与曝光算法的数据精度有关。
[0174] 在一种实现方式中,在判断出当前视频帧的感兴趣区域平均亮度值不等于当前视频帧的前一视频帧的感兴趣区域平均亮度值的情况下,该方法还可以包括:
[0175] 判断目标差值的绝对值是否大于第二预设阈值,其中,目标差值为:当前视频帧的感兴趣区域平均亮度值与历史帧感兴趣区域平均亮度值的差值;
[0176] 如果否,根据当前视频帧的感兴趣区域平均亮度值更新历史帧感兴趣区域平均亮度值,并根据更新后的历史帧感兴趣区域平均亮度值和预设的亮度参考值,调整当前视频帧的下一视频帧的曝光参数;
[0177] 如果是,确定当前视频帧之后的第二预设数量帧的曝光参数等于当前视频帧的曝光参数,并根据当前视频帧的感兴趣区域平均亮度值更新历史帧感兴趣区域平均亮度值,再根据更新后的历史帧感兴趣区域平均亮度值和预设的亮度参考值,调整第二目标视频帧的曝光参数,其中,第二目标视频帧为:第二预设数量帧中最后一帧的下一帧。
[0178] 可以理解的,若目标差值的绝对值大于第二预设阈值,表示场景亮度发生突变,这种情况下,需要保证在连续一定帧数内保持曝光参数不变,即确定当前视频帧之后的第二预设数量帧的曝光参数等于当前视频帧的曝光参数,防止曝光调节太过频繁导致画面震荡跳变。并且根据当前视频帧的感兴趣区域平均亮度值更新历史帧感兴趣区域平均亮度值,再根据更新后的历史帧感兴趣区域平均亮度值和预设的亮度参考值,调整第二目标视频帧的曝光参数。若目标差值的绝对值不大于第二预设阈值,表示场景亮度未发生突变,这种情况下,可以直接根据感兴趣区域平均亮度值更新历史帧感兴趣区域平均亮度值,并根据更新后的历史帧感兴趣区域平均亮度值和预设的亮度参考值,调整当前视频帧的下一视频帧的曝光参数。其中,第二预设阈值可以根据曝光算法的数据精度进行设置,例如第二预设阈值的经验值可以为30。第二预设数量帧的经验值可以为30帧。
[0179] 上述第一预设数量帧与上述第二预设数量帧可以相等,也可以不等,本发明实施例对此不做限定。
[0180] 在一种实现方式中,在判断出当前视频帧的感兴趣区域平均亮度值不大于第一预设阈值的情况下,该方法还可以包括:
[0181] 判断当前视频帧之前的第三预设数量帧的感兴趣区域平均亮度值是否均不大于第一预设阈值;
[0182] 如果是,确定当前视频帧的全局亮度值,在全局亮度值不小于预设的亮度上限值时,或在全局亮度值不大于预设的亮度下限值时,根据全局亮度值和预设的亮度参考值,调整当前视频帧的下一视频帧的曝光参数,在全局亮度值小于预设的亮度上限值并且大于预设的亮度下限值时,确定当前视频帧的下一视频帧的曝光参数等于当前视频帧的曝光参数;
[0183] 如果否,确定当前视频帧的全局亮度值,根据全局亮度值和预设的亮度参考值,调整当前视频帧的下一视频帧的曝光参数。
[0184] 可以理解的,若当前视频帧之前的第三预设数量帧的感兴趣区域平均亮度值均不大于第一预设阈值,表示当前视频帧及当前视频帧之前的第三预设数量帧中均没有感兴趣区域,即当前视频帧处于正常曝光场景。此时,可以根据当前视频帧的全局亮度值,判断出当前视频帧的亮度过暗(全局亮度值不大于预设的亮度下限值)、过亮(全局亮度值不小于预设的亮度上限值)时,将全局亮度值和预设的亮度参考值传入预设的曝光算法,计算得到当前视频帧的下一视频帧的曝光参数。判断出当前视频帧的亮度正常(全局亮度值小于预设的亮度上限值并且大于预设的亮度下限值)时,则可以不需要调节下一视频帧的亮度,此时可以确定当前视频帧的下一视频帧的曝光参数等于当前视频帧的曝光参数。若当前视频帧之前的第三预设数量帧中存在感兴趣区域平均亮度大于第一预设阈值的视频帧,这种情况下,确定当前视频帧的全局亮度值,根据全局亮度值和预设的亮度参考值,调整当前视频帧的下一视频帧的曝光参数。
[0185] 可见,本发明实施例提供的方案中,对当前视频帧所处的场景进行划分,针对不同的场景的特点,按照不同的方式确定下一视频帧的曝光参数,更有针对性,并且具有场景自适应性,从而可以进一步提高曝光效果。
[0186] 与上述的感兴趣区域亮度值的计算方法相对应,本发明实施例提供了一种感兴趣区域亮度值的计算装置。与图1所示的方法实施例相对应,图5为本发明实施例提供的一种感兴趣区域亮度值的计算装置的结构示意图,该装置可以包括:
[0187] 第一确定模块501,用于确定当前视频帧中感兴趣对象所在的感兴趣区域,并确定所述感兴趣对象的状态;
[0188] 获得模块502,用于将所述感兴趣区域划分为预设数量个子区域块,获得各个子区域块的亮度值;
[0189] 第二确定模块503,用于根据所述感兴趣对象的状态,确定所述感兴趣区域中的各个子区域块的亮度权重值;
[0190] 统计模块504,用于按照各个子区域块的亮度权重值,对所述感兴趣区域中的各个子区域块的亮度值进行统计,得到所述感兴趣区域的亮度值。
[0191] 可见,本发明实施例提供的方案,考虑了感兴趣区域对应的感兴趣对象的状态,将感兴趣区域划分为多个子区域块,基于感兴趣对象的状态对各个子区域块赋予亮度权重值,使得计算得到的感兴趣区域的亮度值更加准确。
[0192] 作为本发明的一个具体实施例,所述第一确定模块501确定所述感兴趣对象的状态,具体可以为:
[0193] 确定所述感兴趣对象的运动方向,并基于所确定的运动方向,确定所述感兴趣对象的状态。
[0194] 作为本发明的一个具体实施例,所述第一确定模块501确定所述感兴趣对象的运动方向,具体可以为:
[0195] 根据所述当前视频帧以及所述当前视频帧之前的预设数量帧中所述感兴趣对象相对于视频采集设备的位置,确定所述感兴趣对象的运动方向。
[0196] 作为本发明的一个具体实施例,所述感兴趣对象为人脸,所述感兴趣对象的状态包括:正脸、左侧脸、右侧脸、上侧脸、下侧脸。
[0197] 作为本发明的一个具体实施例,所述第二确定模块503,可以用于:
[0198] 根据预设的感兴趣对象的状态与感兴趣区域中各个子区域块的亮度权重值的对应关系,以及所述感兴趣对象的状态,确定所述感兴趣区域中的各个子区域块的亮度权重值。
[0199] 作为本发明的一个具体实施例,在所述感兴趣区域为一个时,所述装置还可以包括;
[0200] 第一计算模块,用于在计算所述感兴趣区域的亮度值之后,将所述感兴趣区域的亮度值作为所述当前视频帧的感兴趣区域平均亮度值;
[0201] 调整模块,用于根据所述当前视频帧的感兴趣区域平均亮度值,调整所述当前视频帧的下一视频帧的曝光参数。
[0202] 作为本发明的一个具体实施例,在所述感兴趣区域为多个时,所述装置还可以包括:
[0203] 第二计算模块,用于在计算所述感兴趣区域的亮度值之后,根据每一所述感兴趣区域的亮度值,计算所述当前视频帧的感兴趣区域平均亮度值;触发所述调整模块。
[0204] 作为本发明的一个具体实施例,所述装置还可以包括:
[0205] 第三确定模块,用于在所述第二计算模块根据每一所述感兴趣区域的亮度值,计算所述当前视频帧的感兴趣区域平均亮度值之前,对每一所述感兴趣区域进行区域评估,确定每一所述感兴趣区域的亮度值对感兴趣区域平均亮度值的影响程度;
[0206] 第四确定模块,用于根据所确定的每一所述感兴趣区域的亮度值对感兴趣区域平均亮度值的影响程度,将影响程度高的感兴趣区域确定为第一类感兴趣区域;
[0207] 所述第二计算模块,具体可以用于:
[0208] 根据每一第一类感兴趣区域的亮度值,计算所述当前视频帧的感兴趣区域平均亮度值。
[0209] 作为本发明的一个具体实施例,所述计算子模块,可以包括:
[0210] 确定单元,用于根据每一第一类感兴趣区域的亮度值对感兴趣区域平均亮度值的影响程度,确定每一第一类感兴趣区域的权重值;
[0211] 计算单元,用于根据每一第一类感兴趣区域的亮度值以及权重值,计算所述当前视频帧的感兴趣区域平均亮度值。
[0212] 作为本发明的一个具体实施例,所述调整模块,可以包括:
[0213] 第一判断子模块,用于判断所述当前视频帧的感兴趣区域平均亮度值是否大于第一预设阈值;
[0214] 第二判断子模块,用于在判断出所述当前视频帧的感兴趣区域平均亮度值大于所述第一预设阈值时,判断所述当前视频帧的感兴趣区域平均亮度值是否等于所述当前视频帧的上一视频帧的感兴趣区域平均亮度值;
[0215] 更新子模块,用于在判断出所述当前视频帧的感兴趣区域平均亮度值等于所述当前视频帧的上一视频帧的感兴趣区域平均亮度值时,根据所述当前视频帧的感兴趣区域平均亮度值更新历史帧感兴趣区域平均亮度值;
[0216] 第一调整子模块,用于根据更新后的历史帧感兴趣区域平均亮度值和预设的亮度参考值,调整所述当前视频帧的下一视频帧的曝光参数。
[0217] 作为本发明的一个具体实施例,所述装置还可以包括:
[0218] 第三判断子模块,用于在判断出所述当前视频帧的感兴趣区域平均亮度值等于所述当前视频帧的上一视频帧的感兴趣区域平均亮度值的情况下,针对所述当前视频帧中各个感兴趣对象,判断所述当前视频帧中该感兴趣对象所在的感兴趣区域的亮度值是否与所述当前视频帧的上一视频帧中该感兴趣对象所在的感兴趣区域的亮度值相同;
[0219] 第一确定子模块,用于在针对所述当前视频帧中各个感兴趣对象,均判断出所述当前视频帧中该感兴趣对象所在的感兴趣区域的亮度值与所述当前视频帧的上一视频帧中该感兴趣对象所在的感兴趣区域的亮度值相同时,确定所述当前视频帧的全局亮度值;
[0220] 相应的,所述第一调整子模块,包括:
[0221] 确定单元,用于确定所述当前视频帧之后的第一预设数量帧的曝光参数等于所述当前视频帧的曝光参数;
[0222] 第一调整单元,用于在所述全局亮度值不小于预设的亮度上限值时,减小所述预设的亮度参考值,根据减小后的亮度参考值和更新后的历史帧感兴趣区域平均亮度值,调整第一目标视频帧的曝光参数,其中,所述第一目标视频帧为:所述第一预设数量帧中最后一帧的下一帧;
[0223] 第二调整单元,用于在所述全局亮度值不大于预设的亮度下限值时,增大所述预设的亮度参考值,根据增大后的亮度参考值和更新后的历史帧感兴趣区域平均亮度值,调整所述第一目标视频帧的曝光参数;
[0224] 第三调整单元,用于在所述全局亮度值大于所述预设的亮度下限值且小于所述预设的亮度上限值时,根据所述预设的亮度参考值和更新后的历史帧感兴趣区域平均亮度值,调整所述第一目标视频帧的曝光参数。
[0225] 作为本发明的一个具体实施例,所述装置还可以包括:
[0226] 第四判断子模块,用于在判断出所述当前视频帧的感兴趣区域平均亮度值不等于所述当前视频帧的前一视频帧的感兴趣区域平均亮度值的情况下,判断目标差值的绝对值是否大于第二预设阈值,其中,所述目标差值为:所述当前视频帧的感兴趣区域平均亮度值与历史帧感兴趣区域平均亮度值的差值;
[0227] 第二调整子模块,用于在判断出目标差值的绝对值不大于所述第二预设阈值时,根据所述当前视频帧的感兴趣区域平均亮度值更新历史帧感兴趣区域平均亮度值,并根据更新后的历史帧感兴趣区域平均亮度值和所述预设的亮度参考值,调整所述当前视频帧的下一视频帧的曝光参数;
[0228] 第三调整子模块,用于在判断出目标差值的绝对值大于所述第二预设阈值时,确定所述当前视频帧之后的第二预设数量帧的曝光参数等于所述当前视频帧的曝光参数,并根据所述当前视频帧的感兴趣区域平均亮度值更新历史帧感兴趣区域平均亮度值,再根据更新后的历史帧感兴趣区域平均亮度值和所述预设的亮度参考值,调整第二目标视频帧视频帧的曝光参数,其中,所述第二目标视频帧为:所述第二预设数量帧中最后一帧的下一帧。
[0229] 作为本发明的一个具体实施例,所述装置还可以包括:
[0230] 第五判断子模块,用于在判断出所述当前视频帧的感兴趣区域平均亮度值不大于所述第一预设阈值的情况下,判断所述当前视频帧之前的第三预设数量帧的感兴趣区域平均亮度值是否均不大于所述第一预设阈值;
[0231] 第四调整子模块,用于在判断出所述当前视频帧之前的第三预设数量帧的感兴趣区域平均亮度值均不大于所述第一预设阈值时,确定所述当前视频帧的全局亮度值,在所述全局亮度值不小于预设的亮度上限值时,或在所述全局亮度值不大于预设的亮度下限值时,根据所述全局亮度值和所述预设的亮度参考值,调整所述当前视频帧的下一视频帧的曝光参数,在所述全局亮度值小于所述预设的亮度上限值并且大于所述预设的亮度下限值时,确定所述当前视频帧的下一视频帧的曝光参数等于所述当前视频帧的曝光参数;
[0232] 第五调整子模块,用于在判断出所述当前视频帧之前的第三预设数量帧的感兴趣区域平均亮度值不是均不大于所述第一预设阈值时,确定所述当前视频帧的全局亮度值,根据所述全局亮度值和所述预设的亮度参考值,调整所述当前视频帧的下一视频帧的曝光参数。
[0233] 本发明实施例还提供了一种电子设备,如图6所示,包括处理器601、通信接口602、存储器603和通信总线604,其中,处理器601,通信接口602,存储器603通过通信总线604完成相互间的通信,
[0234] 存储器603,用于存放计算机程序;
[0235] 处理器601,用于执行存储器603上所存放的程序时,实现如下步骤:
[0236] 确定当前视频帧中感兴趣对象所在的感兴趣区域,并确定所述感兴趣对象的状态;
[0237] 将所述感兴趣区域划分为预设数量个子区域块,获得各个子区域块的亮度值;
[0238] 根据所述感兴趣对象的状态,确定所述感兴趣区域中的各个子区域块的亮度权重值;
[0239] 按照各个子区域块的亮度权重值,对所述感兴趣区域中的各个子区域块的亮度值进行统计,得到所述感兴趣区域的亮度值。
[0240] 关于该方法各个步骤的具体实现以及相关解释内容可以参见上述图1所示的方法实施例,在此不做赘述。
[0241] 另外,处理器601执行存储器603上所存放的程序而实现的曝光参数的调整方法的其他实现方式,与前述方法实施例部分所提及的实现方式相同,这里也不再赘述。
[0242] 本发明实施例提供的电子设备,考虑了感兴趣区域对应的感兴趣对象的状态,将感兴趣区域划分为多个子区域块,基于感兴趣对象的状态对各个子区域块赋予亮度权重值,使得计算得到的感兴趣区域的亮度值更加准确。
[0243] 上述电子设备提到的通信总线可以是外设部件互连标准(PeripheralComponent Interconnect,PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
[0244] 通信接口用于上述电子设备与其他设备之间的通信。
[0245] 存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
[0246] 上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0247] 在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例所述的曝光参数的调整方法。
[0248] 通过运行本发明实施例提供的计算机程序产品,考虑了感兴趣区域对应的感兴趣对象的状态,将感兴趣区域划分为多个子区域块,基于感兴趣对象的状态对各个子区域块赋予亮度权重值,使得计算得到的感兴趣区域的亮度值更加准确。
[0249] 需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0250] 本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备以及计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
[0251] 以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。