一种针对多镜头拍摄的白平衡调整方法

摘要

本发明公开了一种针对多镜头拍摄的白平衡调整方法，包括：1、对多相机拍照的重合区域进行标定；2、对重合区域进行白平衡差异评估；3、基于白平衡差异相机进行相机间色偏调整。其基于重合区域的标定、判定、白平衡调整，不需要做基于全局图像的统计特征分析，提高了分析效率，省去了不必要的调整环节，保证了调整过程的实时性与泛化能力，同时，调整过程中采用的模型简单，以自然过渡为主，对实时处理以及嵌入式处理都没有限制，可实现性强，满足了全景图拼接、多目视觉、多焦距拍摄等多镜头拍摄过程中拍摄图像的白平衡协调调整要求。

权利要求

1.一种针对多镜头拍摄的白平衡调整方法，其特征在于，具体步骤包括：步骤1、对多相机拍照的重合区域进行标定，标定过程包括：步骤1-1、设有 个相机，每个相机的拍摄图像为 ，i为相机标号， ；

步骤1-2、以 中图像信息熵最大的图像为基准图 ，并以拍摄 的相机为参考相机，r为相机标号， ；

步骤1-3、确定空间位置上与参考相机拍摄区域有重叠的相机，并按照离参考相机空间位置的远近对与参考相机拍摄区域有重叠的相机进行排序，确定空间位置最接近参考相机的相机及其拍摄的图像 ，k为相机标号， ；

步骤1-4、设 与 之间的重合区域的坐标集合 ， ， ，分别为重合区域的高、宽的最大值；

步骤1-5、设图像 在图像 坐标系下的重合图像 与图像 的空间交集图像；

步骤1-6、设图像 在图像 坐标系下的重合图像 与图像 的空间交集图像；

步骤1-7、利用参考相机和上述过程确定的空间位置最接近参考相机的相机进行有规律图像标志信息的实景拍摄，提取拍摄图像的RTS不变特征，包括SIFT、HARRIS、SURF或者HOG特征，利用提取到的特征来做特征匹配，得到匹配的特征点位置描述，根据匹配的特征点位置描述估算 、 与 ；

步骤2、对重合区域 和 进行白平衡差异评估，评估过程包括：将重合区域变换至Lab颜色空间，假设 的宽度与高度分别为 、 ，同时 的宽度与高度也分别为 、 ，其中，表示 在 处a通道的值；

表示 在 处b通道的值；

表示 在 处a通道的值；

表示 在 处b通道的值；

计算 与 在a、b通道的平均差值，计算公式如下：；

；

计算色调平均差值 ；

若 ， 为相机间色调敏感门限阈值， ，相机间需进行白平衡调整，进入步骤3；

否则，相机间不需进行白平衡调整，返回步骤1-3中，以上述过程确定的空间位置最接近参考相机的相机为新的参考相机，继续进行下一相邻相机间重合区域的评估，直至所有评估完成；

步骤3、基于白平衡差异相机进行相机间色偏调整，调整过程包括：步骤3-1、计算 的R、B与G通道的比值 与 ，同时，计算 的R、B与G通道的比值与 ：

步骤3-2、设 分别为与 大小相等的三个矩阵；

对于 与 中重合区域相同位置的元素值为 ；对于中的其它元素以重合区域的元素值为拟合目标，通过曲面拟合得到；

对于 与 中重合区域相同位置的元素值为 ；对于中其它元素以重合区域的元素值为拟合目标，通过曲面拟合得到；

中的所有元素值为1；

步骤3-3、设 调整后图像在 处R、G、B通道的灰度值分别是 ，和，计算方法为：

步骤3-4、以 白平衡调整后的图作为新基准图，将拍摄新基准图的相机作为新的参考相机，返回步骤1-3中，继续进行下一相邻相机间重合区域的评估，直至所有评估和调整完成。

2.根据权利要求1所述的一种针对多镜头拍摄的白平衡调整方法，其特征在于，所述步骤1-2中，计算熵的方法为通过统计直方图计算有效灰度范围，有效灰度范围越广，图像信息熵越大。

说明书

一种针对多镜头拍摄的白平衡调整方法

技术领域

[0001] 本发明涉及一种调整方法，特别涉及一种针对相机、手机等多镜头拍摄时的白平衡调整方法，属于相机或手机图像质量评价领域。

背景技术

[0002] 随着手机、相机的普及，多镜头成像功能开始被广泛使用。多镜头成像过程主要包括全景图拼接、多目视觉、多焦距拍摄等。针对这种多镜头成像功能需要对多个拍照过程进
行白平衡统一调整，以实现不同相机拍摄的图像白平衡状态保持一致。

[0003] 现阶段，多镜头拍摄时白平衡调整方法包括：

[0004] 1) 基于离线标定的方法

[0005] 在拍摄前对所有相机都做一次基于标识物的白平衡调整，通过调整后，认为相机间不存在白平衡不统一的问题，即可进行多镜头拍摄。

[0006] 2) 同步自动白平衡方法

[0007] 通过外部色彩传感器进行检测、同步每个相机的白平衡数据，提供公共白平衡结果给图像信号处理流水线，在使用公共白平衡结果执行白平衡和色彩校正之后，通过组合
每个相机单元的帧而获得合并的帧。如专利申请号：201510970897.5，专利名称：用于同步
自动白平衡的多相机装置和方法。

[0008] 上述方式存在的问题：

[0009] 1) 离线标定方法存在假设，即相机的白平衡属性不会随着拍摄对象的变化而变化，该假设是不成立的，对于拍摄物发生变化时，不同相机呈现出的色彩敏感度不同，因此
可能会出现白平衡没有适应特性，泛化能力弱，造成白平衡调整效果的不稳定。

[0010] 2) 用外部色彩传感器做白平衡评估和感知，前提是要处理好传感器之间的同步与属性差异，毕竟相机也是一种传感器，因此，这种传感器要能感知真实色域，即传感器与
色域信号相关，但不能过度相关，过度相关的结果跟相机呈现出的效果是一样的，即可能会
随着拍摄场景变换而发生变化，如此，这种方式不属于方法的范畴，应属于传感器设计或者
优化范畴。

[0011] 于是，为使多镜头拍照时各角度相机白平衡状态保持一致，设计一种全新的针对多镜头拍摄的白平衡调整方法就成为本发明想要解决的问题。

发明内容

[0012] 鉴于上述现有情况，在多个拍摄相机相对位置固定的前提下，本发明的目的是：提供一种在拍照时可对多个相机进行实时白平衡状态调整，并给出每个相机最优白平衡调整
策略，使多相机拍摄出的图像不会受到拍摄对象色调改变而发生变化，最终实现不同相机
的白平衡状态保持一致。

[0013] 本发明是通过以下技术方案来实现的：

[0014] 一种针对多镜头拍摄的白平衡调整方法，具体步骤包括：

[0015] 步骤1、对多相机拍照的重合区域进行标定，标定过程包括：

[0016] 步骤1-1、设有 个相机，每个相机的拍摄图像为 ，i为相机标号， 。

[0017] 步骤1-2、以 中图像信息熵最大的图像为基准图 ，并以拍摄 的相机为参考相机，r为相机标号， 。

[0018] 步骤1-3、确定空间位置上与参考相机拍摄区域有重叠的相机，并按照离参考相机空间位置的远近对与参考相机拍摄区域有重叠的相机进行排序，确定空间位置最接近参考
相机的相机及其拍摄的图像 ，k为相机标号， 。

[0019] 步骤1-4、设 与 之间的重合区域的坐标集合 ， ，， 分别为重合区域的高、宽的最大值。

[0020] 步骤1-5、设图像 在图像 坐标系下的重合图像 与图像 的空间交集图像。

[0021] 步骤1-6、设图像 在图像 坐标系下的重合图像 与图像 的空间交集图像 。

[0022] 步骤1-7、利用参考相机和上述过程确定的空间位置最接近参考相机的相机进行有规律图像标志信息的实景拍摄，提取拍摄图像的RTS不变特征，包括SIFT、HARRIS、SURF或
者HOG特征，利用提取到的特征来做特征匹配，得到匹配的特征点位置描述，根据匹配的特
征点位置描述估算 、 与 。

[0023] 步骤2、对重合区域 和 进行白平衡差异评估，评估过程包括：

[0024] 将重合区域变换至Lab颜色空间，假设 的宽度与高度分别为 、 ，同时的宽度与高度也分别为 、 ，其中：

[0025] 表示 在 处a通道的值；

[0026] 表示 在 处b通道的值；

[0027] 表示 在 处a通道的值；

[0028] 表示 在 处b通道的值。

[0029] 计算 与 在a、b通道的平均差值，计算公式如下：

[0030] ；

[0031] ；

[0032] 计算色调平均差值 。

[0033] 若 ， 为相机间色调敏感门限阈值， ，相机间需进行白平衡调整，进入步骤3。

[0034] 否则，相机间不需进行白平衡调整，返回步骤1-3中，以上述过程确定的空间位置最接近参考相机的相机为新的参考相机，继续进行下一相邻相机间重合区域的评估，直至
所有评估完成。

[0035] 步骤3、基于白平衡差异相机进行相机间色偏调整，调整过程包括：

[0036] 步骤3-1、计算 的R、B与G通道的比值 与 ，同时，计算 的R、B与G通道的比值 与 。

[0037]

[0038] 步骤3-2、设 分别为与 大小相等的三个矩阵。

[0039] 对于 与 中重合区域相同位置的元素值为 ；对于中的其它元素以重合区域的元素值为拟合目标，通过曲面拟合得到。

[0040] 对于 与 中重合区域相同位置的元素值为 ；对于中其它元素以重合区域的元素值为拟合目标，通过曲面拟合得到。

[0041] 中的所有元素值为1。

[0042] 步骤3-3、设 调整后图像在 处R、G、B通道的灰度值分别是 ，和 ，计算方法为：

[0043]

[0044] 步骤3-4、以 白平衡调整后的图作为新基准图，将拍摄新基准图的相机作为新的参考相机，返回步骤1-3中，继续进行下一相邻相机间重合区域的评估，直至所有评估和
调整完成。

[0045] 所述步骤1-2中，计算熵的方法为通过统计直方图计算有效灰度范围，有效灰度范围越广，图像信息熵越大。

[0046] 本发明所述的一种针对多镜头拍摄的白平衡调整方法的有益效果包括：

[0047] 1、基于重合区域标定和判定，然后调整白平衡，不需要做基于全局图像的统计特征分析，提高了分析效率；

[0048] 2、利用Lab色域计算重合区域色调平均差值来判定是否需要做白平衡调整，与现有方法相比，极大地省去了不必要的调整环节，保证了调整过程的实时性与泛化能力；

[0049] 3、本方法与现有方法相比，调整过程中采用的模型简单，以自然过渡为主，对实时处理以及嵌入式处理都没有限制，可实现性强。

[0050] 4、对有规律图像标志信息的实景进行拍摄，可以避免对固定样本图像拍摄带来的不便，方便实际评估和白平衡调整过程，提高了拍摄图像的灵活性。

[0051] 5、可适合全景图拼接、多目视觉、多焦距拍摄等多镜头拍摄过程中拍摄图像的白平衡协调调整。

具体实施方式

[0052] 本发明的中心是：在多个拍摄相机相对位置固定的条件下，在保证每个相机可以实时调整白平衡的前提下，通过本方法给出每个相机的最优白平衡实时调整策略，使多相
机拍摄出的图像不会受到拍摄对象色调改变而发生变化，进而实现拍摄到的每个图像色调
一致。

[0053] 本发明所述的一种针对多镜头拍摄的白平衡调整方法主要包括三个部分：1、对多相机拍照的重合区域进行标定；2、对重合区域进行白平衡差异评估；3、基于白平衡差异相
机进行相机间色偏调整。

[0054] 下面以C个相机组成的多相机拍照过程为例，对本发明所述的一种针对多镜头拍摄的白平衡调整方法作进一步的详细描述，具体方法包括：

[0055] 步骤1、对多相机拍照的重合区域进行标定，标定过程包括：

[0056] 步骤1-1、设有 个相机，每个相机的拍摄图像为 ，i为相机标号， 。

[0057] 在进行白平衡调整前，需要先将C个相机的位置相对固定，使相机间形成固定的位置和相邻关系，为后续拍摄图像的位置判断和白平衡调整提供必要的物质条件。本例中，每
个相机的拍摄图像分别记为 ，其中，i为相机的标号， 。

[0058] 步骤1-2、以 中图像信息熵最大的图像为基准图 ，并以拍摄 的相机为参考相机，r为相机标号， 。其中，计算熵的方法为通过统计直方图计算有效灰度范围，
有效灰度范围越广，图像信息熵越大。

[0059] 步骤1-3、确定空间位置上与参考相机拍摄区域有重叠的相机，并按照离参考相机空间位置的远近对与参考相机拍摄区域有重叠的相机进行排序，确定空间位置最接近参考
相机的相机及其拍摄的图像 ，k为相机标号， 。

[0060] 本步骤以参考相机为基础，对与参考相机拍摄区域有重叠的相机进行远近空间位置的排序，从而确定出哪个相机离参考相机最近，哪个相机与参考相机最远，列出相应的排
列顺序，为后续由近向远的拍摄图像比对和调整过程提供依据。本例中，被确定空间位置最
接近参考相机的相机标号为k，其拍摄的图像为 。

[0061] 步骤1-4、设 与 之间的重合区域的坐标集合 ， ，， 分别为重合区域的高、宽的最大值。

[0062] 步骤1-5、设图像 在图像 坐标系下的重合图像 与图像 的空间交集图像 。

[0063] 步骤1-6、设图像 在图像 坐标系下的重合图像 与图像 的空间交集图像 。

[0064] 步骤1-7、利用参考相机和上述过程确定的空间位置最接近参考相机的相机进行有规律图像标志信息的实景拍摄，提取拍摄图像的RTS不变特征，包括SIFT、HARRIS、SURF或
者HOG特征，利用提取到的特征来做特征匹配，得到匹配的特征点位置描述，根据匹配的特
征点位置描述估算 、 与 。

[0065] 其中，有规律图像标志信息包括建筑、植物、动物、山川、连续的图案、几何图形等等。而对实景进行拍摄，可以避免对固定样本图像拍摄带来的不便，方便实际评估和白平衡
调整过程。通过匹配特征点确定拍摄图像位置关系，进而得出准确的重合区域图像位置描
述。

[0066] 步骤2、对重合区域 和 进行白平衡差异评估，评估过程包括：

[0067] 将重合区域变换至Lab颜色空间，假设 的宽度与高度分别为 、 ，同时，的宽度与高度也分别为、 ，其中，

[0068] 表示 在 处a通道的值；

[0069] 表示 在 处b通道的值；

[0070] 表示 在 处a通道的值；

[0071] 表示 在 处b通道的值；

[0072] 计算 与 在a、b通道的平均差值，计算公式如下：

[0073] ；

[0074] ；

[0075] 计算色调平均差值 ；

[0076] 若 ， 为相机间色调敏感门限阈值， ，相机间需进行白平衡调整，进入步骤3；否则，相机间不需进行白平衡调整，返回步骤1-3中，以上述过程确定的空间位
置最接近参考相机的相机为新的参考相机，继续进行下一相邻相机间重合区域的评估，直
至所有评估完成。

[0077] 步骤3、基于白平衡差异相机进行相机间色偏调整，调整过程包括：

[0078] 步骤3-1、计算 的R、B与G通道的比值 与 ，同时，计算 的R、B与G通道的比值 与 ：

[0079]

[0080] 步骤3-2、设 分别为与 大小相等的三个矩阵。

[0081] 对于 与 中重合区域相同位置的元素值为 ；对于中的其它元素以重合区域的元素值为拟合目标，通过曲面拟合得到。

[0082] 对于 与 中重合区域相同位置的元素值为 ；对于中其它元素以重合区域的元素值为拟合目标，通过曲面拟合得到。

[0083] 中的所有元素值为1。

[0084] 步骤3-3、设 调整后图像在 处R、G、B通道的灰度值分别是 ，和 ，计算方法为：

[0085]

[0086] 步骤3-4、以 白平衡调整后的图作为新基准图，将拍摄新基准图的相机作为新的参考相机，返回步骤1-3中，继续进行下一相邻相机间重合区域的评估，直至所有评估和
调整完成。

[0087] 至此，位置固定的所有C个相机拍摄的图像在基于重合区域图像基础上的白平衡调整过程完成，其避免了基于全局图像的统计特征分析，省去了不必要的调整环节，保证了
调整过程的实时性与泛化能力。