一种基于代理模型辅助进化算法的视频区域调光方法

摘要

本发明提供了一种基于代理模型辅助进化算法的视频区域调光方法，将需要调光的视频序列中的第一帧图像作为起始的当前帧并设定为参考背光帧；使用样本数据组成的数据集对卷积神经网络CNN模型进行训练，训练后卷积神经网络CNN模型作为代理模型替换进化算法中的评估函数评价输入背光值的适应度值。本发明一种基于代理模型辅助进化算法的视频区域调光方法，通过代理模型来提升进化算法的计算效率，引入背光更新策略和模型迁移策略进一步提升区域调光算法的运算效率与调节质量，更好地满足LCD‑LED双调制系统中视频序列区域调光任务对算法实时性与调节质量的需求。

权利要求

1.一种基于代理模型辅助进化算法的视频区域调光方法，其特征在于：包括：步骤一：将需要调光的视频序列中的第一帧图像作为起始的当前帧并设定为参考背光帧；使用样本数据组成的数据集对卷积神经网络CNN模型进行训练，训练后卷积神经网络CNN模型作为代理模型替换进化算法中的评估函数评价输入背光值的适应度值，样本数据包括随机产生的多组背光值，每组背光值的标签是对应的适应度值，适应度值由图像质量计算函数 计算得出， 是一组背光值矩阵，是被调光图像的灰度图矩阵；

步骤二：使用基于代理模型的进化算法搜索当前帧的最优背光值并输出；

步骤三：判断是否存在下一帧图像，如不存在，则完成调光；如存在下一帧图像，则进入步骤四；

步骤四：计算新的当前帧与距离最近的参考背光帧之间的相关度 ，如果大于等于设定的阈值 ，则当前帧判定是一般背光帧，以距离最近的参考背光帧的最优背光值作为当前帧的最优背光值并输出后，继续返回步骤三；如果 小于设定的阈值 ，则当前帧判定是参考背光帧并继续返回步骤二计算最优背光值, 是当前帧灰度图，是距离最近的参考背光帧灰度图；

在步骤二中，进化算法是遗传算法，使用遗传算法得到当前帧的最优背光值过程如下：步骤（1）：在解空间中随机生成m个H*W的矩阵，H和W分别表示每帧图像的高和宽，每个矩阵对应一组背光值，m个矩阵构成了初始种群，将这些矩阵输到代理模型中，基于代理模型评估各矩阵对应的适度应值；

步骤（2）：将所有m个矩阵变型为m个向量，则每个向量的维度是H*W，在遗传算法中，每个向量可以理解为一个染色体序列；

步骤（3）：随机从种群中选择两个染色体序列，两个染色体序列进行交叉产生新个体，即从两个向量各取出一部分元素拼接成一个新的维度为H*W的向量，然后对新染色体进行变异操作，即从新生成的向量中随机选择部分元素替换为随机生成的新元素；重复随机选择两个染色体交叉、变异这一过程，直到生成m个新染色体，然后将m个新染色体变形回m个矩阵，用代理模型评估m个矩阵的适应度值；

步骤（4）：m个新矩阵和m个原始矩阵混合，根据矩阵对应的适应度值选择其中适应度值最优的前m个矩阵组成新的种群，将适应度值排序在第m位之后的矩阵淘汰；判断是否达到算法终止条件，若是，则进入步骤（5），否则更新代理模型后返回进入步骤（3）；

更新代理模型的过程如下：用当前种群中的m个矩阵构成新的数据集，基于显示图像质量计算函数计算数据集中m个矩阵对应的适应度值，以适应度值作为样本标签，基于m个矩阵构成新的数据集对代理模型进行微调训练；

步骤（5）：算法终止，输出当前种群中适应度最优的矩阵，该矩阵即为搜索到的图像帧最优背光值；

在步骤四中，相关度 包括：

其中，是当前帧灰度图，是距离最近的参考背光帧灰度图， 是当前帧第（ ）个像素点的像素值， 是距离最近的参考背光帧第（ ）个像素点的像素值，H*W分别表示每帧图像的高和宽，表示像素点行数，表示像素点的列数。

2.根据权利要求1所述的一种基于代理模型辅助进化算法的视频区域调光方法，其特征在于：在步骤四中，当前帧是参考背光帧，继续返回步骤二时，以前一参考背光帧的代理模型作为当前帧代理模型的预训练模型，然后使用样本数据构成的训练集对预训练模型进行微调，获得当前帧的代理模型，将获得的代理模型应用到进化算法中得到当前帧的最优背光值并输出。

3.根据权利要求1所述的一种基于代理模型辅助进化算法的视频区域调光方法，其特征在于：图像质量计算函数 包括：

其中， 是一组背光值矩阵，是被调光图像的灰度图矩阵， 是调光后的显示图像灰度图矩阵，  是被调光图像的灰度图矩阵 和调光后的显示图像灰度图矩阵 之间的峰值信噪比， 是一个光扩散函数，把背光值矩阵扩散成被调光图像的灰度图矩阵 相同的尺寸。

说明书

一种基于代理模型辅助进化算法的视频区域调光方法

技术领域

[0001] 本发明属于视频显示技术领域，尤其是涉及一种基于代理模型辅助进化算法的视频区域调光方法。

背景技术

[0002] 在现有技术中，传统视频显示系统一般包括两个部分，背光模块及液晶模块。其中背光模块为显示系统提供背光，液晶模块决定每个像素点的透光率，背光模块和液晶模块
共同作用将图像呈现在显示屏上。传统的LCD显示系统的背光模块是一块背光板，不同的图
像区域共用同一个光源，因此不同图像区域的背光亮度相同，然而图像区域本身有亮暗之
分，对图像的暗区和亮区采用相同亮度的背光，会造成显示图像整体对比度较低，影响图像
的视觉效果。

[0003] 针对传统显示系统的不足，LCD‑LED双调制系统被提出，不同于传统的显示系统，LCD‑LED双调制系统的背光模块是一个包含多个LED背光块的阵列，每个背光块照亮图像中
的一个区域，不同背光块的亮度可以独立调节，因此在LCD‑LED双调制系统中，可以为不同
的图像区域设置不同的背光，因此图像的暗区和亮区可以分别采用不同的背光亮度，有效
提升了显示图像的对比度，改善了显示图像的视觉效果，同时也有效降低了能耗，在现有技
术中，常用的背光块显示亮度调节方式，普遍存在着调节响应时间慢，调节质量需要进一步
提高的问题。

发明内容

[0004] 有鉴于此，本发明旨在提出一种基于代理模型辅助进化算法的视频区域调光方法，通过代理模型来提升进化算法的计算效率，引入背光更新策略和模型迁移策略进一步
提升区域调光算法的运算效率与调节质量，更好地满足LCD‑LED双调制系统中视频序列区
域调光任务对算法实时性与调节质量的需求。

[0005] 为达到上述目的，本发明的技术方案是这样实现的：

[0006] 一种基于代理模型辅助进化算法的视频区域调光方法，包括：

[0007] 步骤一：将需要调光的视频序列中的第一帧图像作为起始的当前帧并设定为参考背光帧；使用样本数据组成的数据集对卷积神经网络CNN模型进行训练，训练后卷积神经网
络CNN模型作为代理模型替换进化算法中的评估函数评价输入背光值的适应度值，样本数
据包括随机产生的多组背光值，每组背光值的标签是对应的适应度值，适应度值由图像质
量计算函数 计算得出,  是一组背光值矩阵，是被调光图像的灰度图矩阵；

[0008] 步骤二：使用基于代理模型的进化算法搜索当前帧的最优背光值并输出；

[0009] 步骤三：判断是否存在下一帧图像，如不存在，则完成调光；如存在下一帧图像，则进入步骤四；

[0010] 步骤四：计算新的当前帧与距离最近的参考背光帧之间的相关度 ，如果大于等于设定的阈值 ，则当前帧判定是一般背光帧，以距离最近的参考背
光帧的最优背光值作为当前帧的最优背光值并输出后，继续返回步骤三；如果 小
于设定的阈值 ，则当前帧判定是参考背光帧并继续返回步骤二计算最优背光值, 
是当前帧灰度图，是距离最近的参考背光帧灰度图。

[0011] 进一步的，在步骤二中，在使用基于代理模型的进化算法搜索当前帧的最优背光值时，对代理模型进行多次更新，每次更新以当前的代理模型作为预训练模型，然后基于搜
索过程中新获得的样本数据构成数据集对预训练模型进行微调，获得更新后的代理模型。

[0012] 进一步的，在步骤四中，当前帧是参考背光帧，继续返回步骤二时，以前一参考背光帧的代理模型作为当前帧代理模型的预训练模型，然后使用样本数据构成的训练集对预
训练模型进行微调，获得当前帧的代理模型，将获得的代理模型应用到进化算法中得到当
前帧的最优背光值并输出。

[0013] 进一步的，图像质量计算函数 包括：

[0014]

[0015] 其中， 是一组背光值矩阵，是被调光图像的灰度图矩阵， 是调光后的显示图像灰度图矩阵，  是被调光图像的灰度图矩阵 和调光后的显示图像灰度图矩阵
之间的峰值信噪比， 是一个光扩散函数，把背光值矩阵扩散成被调光图像的灰度
图矩阵 相同的尺寸。

[0016] 在步骤四中：相关度 包括：

[0017]

[0018] 其中，是当前帧灰度图， 是距离最近的参考背光帧灰度图， 是当前帧第（）个像素点的像素值， 是距离最近的参考背光帧第（ ）个像素点的像素值，Ｈ和Ｗ
分别表示每帧图像的高和宽，表示像素点行数，表示像素点的列数。

[0019] 进一步的，进化算法是遗传算法。

[0020] 相对于现有技术，本发明所述的一种基于代理模型辅助进化算法的视频区域调光方法，具有以下优势：

[0021] 第一，本发明使用代理模型替换进化算法的评估函数，可以有效降低计算复杂程度，提升区域调光方法的计算速度，提高调光效果，降低能耗。

[0022] 第二，本发明使用背光更新策略：利用视频序列相邻帧在图像内容上具有较强的相关性，因此相邻帧的背光值之间也具有一定相关性的原理，可以直接选择相应的背光值
作为当前帧的最优背光值，进一步减低了计算量，提升了区域调光算法的效率。

[0023] 第三，本发明使用模型迁移策略：在使用基于代理模型的进化算法进行当前帧的背光值搜索时，代理模型可作为预训练模型进行迁移并再次训练，从而获得更新后的代理
模型，提高区域调光算法的效率以及计算质量。

附图说明

[0024] 构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

[0025] 在附图中：

[0026] 图1为本发明实施例所述的一种基于代理模型辅助进化算法的视频区域调光方法流程示意图。

具体实施方式

[0027] 需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

[0028] 在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为
基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗
示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对
本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相
对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可
以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”
的含义是两个或两个以上。

[0029] 在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可
以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是
两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语
在本发明中的具体含义。

[0030] 下面将参考附图并结合实施例来详细说明本发明。

[0031] 如图1所示，一种基于代理模型辅助进化算法的视频区域调光方法，包括：

[0032] 步骤一：将需要调光的视频序列中的第一帧图像作为起始的当前帧并设定为参考背光帧；使用样本数据组成的数据集对卷积神经网络CNN模型进行训练，训练后卷积神经网
络CNN模型作为代理模型替换进化算法中的评估函数评价输入背光值的适应度值，样本数
据包括随机产生的多组背光值，每组背光值的标签是对应的适应度值，适应度值由图像质
量计算函数 计算得出,  是一组背光值矩阵，是被调光图像的灰度图矩阵；

[0033] 步骤二：使用基于代理模型的进化算法搜索当前帧的最优背光值并输出；

[0034] 步骤三：判断是否存在下一帧图像，如不存在，则完成调光；如存在下一帧图像，则进入步骤四；

[0035] 步骤四：计算新的当前帧与距离最近的参考背光帧之间的相关度 ，如果大于等于设定的阈值 ，则当前帧判定是一般背光帧，以距离最近的参考背
光帧的最优背光值作为当前帧的最优背光值并输出后，继续返回步骤三；如果 小
于设定的阈值 ，则当前帧判定是参考背光帧并继续返回步骤二计算最优背光值, 
是当前帧灰度图，是距离最近的参考背光帧灰度图。

[0036] 在步骤二中，在使用基于代理模型的进化算法搜索当前帧的最优背光值时，对代理模型进行多次更新，每次更新以当前的代理模型作为预训练模型，然后基于搜索过程中
新获得的样本数据构成数据集对预训练模型进行微调，获得更新后的代理模型。

[0037] 在步骤四中，当前帧是参考背光帧，继续返回步骤二时，以前一参考背光帧的代理模型作为当前帧代理模型的预训练模型，然后使用样本数据构成的训练集对预训练模型进
行微调，获得当前帧的代理模型，将获得的代理模型应用到进化算法中得到当前帧的最优
背光值并输出。

[0038] 图像质量计算函数 包括：

[0039]

[0040] 其中， 是一组背光值矩阵，是被调光图像的灰度图矩阵， 是调光后的显示图像灰度图矩阵，  是被调光图像的灰度图矩阵 和调光后的显示图像灰度图矩阵
之间的峰值信噪比， 是一个光扩散函数，把背光值矩阵扩散成被调光图像的灰度
图矩阵 相同的尺寸。

[0041] 在步骤四中：相关度 包括：

[0042]

[0043] 其中，是当前帧灰度图， 是距离最近的参考背光帧灰度图， 是当前帧第（）个像素点的像素值， 是距离最近的参考背光帧第（ ）个像素点的像素值，Ｈ和Ｗ
分别表示每帧图像的高和宽，表示像素点行数，表示像素点的列数。

[0044] 在本实施例中，进化算法是遗传算法。

[0045] 在本实施例中，使用遗传算法得到当前帧的最优背光值过程如下：

[0046] 步骤 ：在解空间中随机生成m个H*W的矩阵，Ｈ和Ｗ分别表示每帧图像的高和宽,每个矩阵对应一组背光值，m个矩阵构成了初始种群,将这些矩阵输到代理模型中，基于代
理模型评估各矩阵对应的适度应值。

[0047] 步骤 ：将所有m个矩阵变型为m个向量，则每个向量的维度是H*W,在遗传算法中，每个向量可以理解为一个染色体序列。

[0048] 步骤 ：随机从种群中选择两个染色体序列，两个染色体序列进行交叉产生新个体，即从两个向量各取出一部分元素拼接成一个新的维度为H*W的向量，然后对新染色体进
行变异操作，即从新生成的向量中随机选择部分元素替换为随机生成的新元素；重复随机
选择两个染色体交叉、变异这一过程，直到生成m个新染色体，然后将m个新染色体变形回m
个矩阵，用代理模型评估m个矩阵的适应度值。

[0049] 步骤 ：m个新矩阵和m个原始矩阵混合，根据矩阵对应的适应度值选择其中适应度值最优的前m个矩阵组成新的种群，将适应度值排序在第m位之后的矩阵淘汰。判断是否
达到算法终止条件（在本实施例中，终止条件是矩阵淘汰迭代1000次），若是，则进入步骤
，否则更新代理模型后返回进入步骤 。

[0050] 在步骤 中，更新代理模型的过程如下：用当前种群中的m个矩阵构成新的数据集，基于显示图像质量计算函数计算数据集中m个矩阵对应的适应度值，以适应度值作为样
本标签，基于m个矩阵构成新的数据集对代理模型进行微调训练。

[0051] 步骤 ：算法终止，输出当前种群中适应度最优的矩阵，该矩阵即为搜索到的图像帧最优背光值。

[0052] 本发明公开的基于代理模型辅助进化算法的视频区域调光方法相比与传区域调光方法，在算法耗时上平均减少96.7%，算法效率有了大幅度的提升，效果对比如下表所示：

[0053]

[0054] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。