一种场景自适应的色调迁移方法

摘要

本发明公开了一种场景自适应的色调迁移方法，首先将执行色调迁移的图像转换到LAB颜色空间，进而使用基于累计直方图分布的非线性映射算法对辐照度进行迁移；然后使用线性蒙特卡罗仿射变化算法对色度进行迁移；针对图像内容显著不同的情况，执行基于监督的前后背景分割过程，进而针对源图像和目标图像的前后背景相应进行映射；最后，添加目标图像和源图像的权重调节，使色调迁移结果同时保持源图像的色调特征和目标图像的色调特征。本方法由于能够考虑到了图像的内容分布不同而执行自适应聚类，因此在不同的输入下都能具有鲁棒、高质量的迁移结果。除此之外，该方法能够实现无监督执行，自动化程度高，适用于影视后期处理、图像序列色调配准等领域。

权利要求

1.一种场景自适应的色调迁移方法，其特征在于包括如下步骤：

(1)将源图像和目标图像转换至LAB颜色空间；

(2)通过执行累计直方图非线性映射来匹配源图像和目标图像之间的辐照度分布；标准直方图迁移函数定义为Lt＝H-1(Tl)；其中操作符H表示归一化的辐照度累计分布函数，Tl代表目标图像中某像素在L通道下的累计概率分布值，Lt表示辐照度迁移后的值；

(3)通过执行线性蒙特卡罗线性映射算法来匹配目标图像和源图像的色度分布；在辐照度迁移的基础上，利用K-medoids算法将源图像和目标图像依照辐照度值分别聚类成不同的亮度带；进而，在每一个聚类点集中选择相应的代表点；此时的聚类结果被视作源图像和目标图像的初始分类；经过K-medoids算法聚类之后，聚类结果被保存在二元组中，其中 表示辐照度代表点向量， 表示各聚类点集的像素数目，m表示聚类数目；基于向量，聚类点集频数低于阈值σ的点集将会与它临近的点集进行合并；基于 向量，通过计算每个聚类C的类内辐照度平均距离d(C)同时合并d(C)低于阈值的类；至此，则分别获得了源图像和目标图像的最终聚类，并将它们作为最终的亮度带划分；

进而以计算出的亮度聚类为基础在源图像和目标图像之间相应辐照度带之间进行配对，然后依据亮度带划分的像素带为基础，在相应的像素带对之间再次执行色度变换；通过计算各个亮度带在LAB空间的a和b通道的平均值，a和b通道的平均值构成了一个平均值向量[μa，μb]T和一个2x2的方阵Tst；进而通过对目标图像的色度通道值at和bt实行蒙特卡罗线性变换，得到at’和bt’；蒙特卡罗线性变换算法的公式如下所示：其中μas和μbs表示源图像a和b通道的平均值；μat和μbt表示目标图像中a和b通道的平均值，Tst表示色度变换矩阵，Tst定义如下所示：其中∑s和∑t分别表示源图像和目标图像的协方差矩阵；

(4)经过步骤(2)和(3)的算法处理，继而将辐照度迁移结果和色度迁移结果分别作为LAB颜色空间中的L通道和AB通道合成为最终的色调迁移图像；

(5)为了进一步实施真实感场景融合，添加权重调节，使结果图像依照权重同时保持源图像和目标图像的颜色特征；其中源图像和目标图像的差异通过辐照度和色度差异两部分进行建模，同时辐照度和色度差异分别是在相应的亮度聚类间进行建模计算，之后通过加权整合差异；

源图像S和目标图像T的辐照度差异通过如下公式定义：

其中m表示亮度带的数目， 和 分别表示位于S和T中第m个亮度带的辐照度平均值；

源图像S和目标图像T的色度差异通过如下公式定义：

其中m表示亮度带的数目， 和 分别表示S中第m个亮度带的协方差矩阵和色度平均值；相应的，定义 和 分别表示T中第m个亮度带的协方差矩阵和色度平均值。

2.根据权利要求1所述的一种场景自适应的色调迁移方法，其特征在于：将辐照度和色度通道分离进行处理，其中针对辐照度通道执行累计直方图非线性映射，针对色度通道执行蒙特卡罗仿射映射。

3.根据权利要求1所述的一种场景自适应的色调迁移方法，其特征在于：针对源图像具有显著局部对比的输入情况执行基于监督的前后背景分割，之后在源图像和目标图像相应的前景或背景区域进行映射，实现更加准确、鲁棒的迁移结果。

4.根据权利要求1所述的一种场景自适应的色调迁移方法，其特征在于：所述步骤(5)通过添加基于动态权重调节的色调迁移，从而使色调迁移结果同时保持源图像和目标图像的色调特征。

说明书

一种场景自适应的色调迁移方法

技术领域

[0001] 本发明属于虚拟现实技术领域，具体涉及一种场景自适应的色调迁移方法。

背景技术

[0002] 如何获得使目标图像在无监督条件下高效真实的具有源图像的颜色分布特征是影视制作、电脑动画和广告传媒等领域所普遍面临的问题，一条行之有效却鲜有人提及的方案是利用自适应的色调迁移算法执行目标图像和源图像之间的颜色自动迁移和匹配。本发明正是基于这种方案提出的一种场景自适应的色调迁移方法。

[0003] 色调迁移是指将源图像的色调特征映射到目标图像上，包含了图像的辐照度特征和色度特征，是影响场景风格和内容的重要因素。

[0004] 通过提取并映射源图像中的色调特征，即可使用这些数据来完成源图像色调到目标图像色调的迁移。非线性映射类算法如累计直方图分布能够更好的表现出图像的细节但是依赖于图像的色调分布，对图像内容不太强调的利用简单统计特征的方法不能充分表达图像内容。针对这两类方法的适用环境，本发明综合两类方法的优势，在各种极端的输入下获得鲁棒的自适应迁移结果。

[0005] 目前很少有方案综合非线性映射算法和简单统计特征方法的优势，一个相近的工作是Bonneel等人提出的色调迁移模型，他们对辐照度通道使用累计直方图映射，从而使辐照度更好的体现源图像的细节；对色度通道使用蒙特卡罗仿射映射，从来使色度分布不依赖于图像的内容。然而，该模型仅仅对辐照度通道使用三等分亮度带的方式，使得对于源图像和目标图像具有明显不同的辐照度分布时会出现不理想的差错。

[0006] 本发明提出的场景自适应的色调迁移方法完全解决了现有方法所存在的主要问题。通过对图像内像素的辐照度通道进行聚类，自适应的将辐照度划分成若干个不等数目像素的亮度带，进而在源图像和目标图像间相应亮度带之间进行色调迁移可以解决现有方法在图像间的分布显著不同时不能有效处理的问题；同时针对典型的色调迁移方法得到的色调迁移结果仅保留源图像的色调特征，本发明提出一种动态权重调节模型能够使迁移结果同时保持源图像和目标图像的特征，对于场景融合等应用有了更广泛的应用性和适用性。

发明内容

[0007] 本发明的目的是解决在影视制作、电脑动画和广告传媒等领域难以实现的无监督且高效、鲁棒的色调迁移问题，提出了一种场景自适应的色调迁移方法，可以实现源图像的图像特征到目标图像的无监督高效迁移，并能根据需要动态的调整色调迁移结果。

[0008] 为完成本发明的目的，本发明采用的技术方案是：一种场景自适应的色调迁移方法，包括以下步骤：

[0009] (1)将源图像和目标图像转换至LAB颜色空间；

[0010] (2)通过执行累计直方图非线性映射来匹配源图像和目标图像之间的辐照度分布；标准直方图迁移函数定义为Lt＝H-1(Tl)；其中操作符H表示归一化的辐照度累计分布函数，Tl代表目标图像中某像素在L通道下的累计概率分布值，Lt表示表示辐照度迁移后的值；

[0011] (3)通过执行线性蒙特卡罗线性映射算法来匹配目标图像和源图像的色度分布；在辐照度迁移的基础上，利用K-medoids算法将源图像和目标图像依照辐照度值分别聚类成不同的亮度带；进而，在每一个聚类点集中选择相应的代表点；此时的聚类结果被视作源图像和目标图像的初始分类；经过K-medoids算法聚类之后，聚类结果被保存在二元组中，其中 表示辐照度代表点向量， 表示各聚类点集的像素数目，m表示聚类数目；
基于 向量，聚类点集频数低于阈值σ的点集将会与它临近的点集进行合并；基于 向量，通过计算每个聚类C的类内辐照度平均距离d(C)同时合并d(C)低于阈值的类；至此，则分别获得了源图像和目标图像的最终聚类，并将它们作为最终的亮度带划分；

[0012] 进而以计算出的亮度聚类为基础在源图像和目标图像之间相应辐照度带之间进行配对，然后依据亮度带划分的像素带为基础，在相应的像素带对之间再次执行色度变换；通过计算各个亮度带在LAB空间的a和b通道的平均值，a和b通道的平均值构成了一个平均值向量[μa，μb]T和一个2x2的方阵Tst；进而通过对目标图像的色度通道值at和bt实行蒙特卡罗线性变换，得到at’和bt’；蒙特卡罗线性变换算法的公式如下所示：

[0013]

[0014] 其中μas和μbs表示源图像a和b通道的平均值；μat和μbt表示目标图像中a和b通道的平均值，Tst表示色度变换矩阵，Tst定义如下所示：

[0015]

[0016] 其中∑s和∑t分别表示源图像和目标图像的协方差矩阵；

[0017] (4)、经过步骤(2)和(3)的算法处理，继而将辐照度迁移结果和色度迁移结果分别作为LAB颜色空间中的L通道和AB通道合成为最终的色调迁移图像；

[0018] (5)为了进一步实施真实感场景融合，添加权重调节，使结果图像依照权重同时保持源图像和目标图像的颜色特征。

[0019] 其中，辐照度迁移执行时，事先需要提取原图像和目标图像的辐照度数据。之后针对辐照度数据，通过实现标准累计直方图分布算法来匹配源图像和目标图像之间的辐照度分布。图像的辐照度计算通过将输入图像的颜色空间转换到LAB颜色空间，图像像素的L通道值即为相应的辐照度值。特别的，当累计分布函数不可逆时，通过利用累计分布函数的广义逆实施这种变换。同时针对输入图像对具有明显的噪声或具有显著不同直方图分布的情况，采用一些滤波算法对其进行预处理。

[0020] 其中，通过使用线性蒙特卡罗线性映射算法来匹配目标图形和源图像的色度分布。在辐照度迁移的基础上，利用K-medoids算法将源图像和目标图像分别聚类成不同的亮度带。进而，我们在每一个聚类点集中选择相应的代表点。此时的聚类结果被视作源图像和目标图像的初始分类。经过K-medoids算法聚类之后，通过计算每个聚类的类内辐照度平均距离后合并平均距离低于指定阈值的类。至此，我们分别获得了源图像和目标图像的最终聚类，并将它们作为最终的亮度带划分。进而在源图像和目标图像之间相应辐照度带之间进行配对，然后在相应的亮度带对之间进行变换。

[0021] 其中，针对源图像具有显著局部对比的情况，需要对源图像和目标图像进行前后背景分割后实施区域映射。首先提取初始蒙版，利用一系列的局部分类器来分类输入图像局部特征，进而通过各种分类器的协作提取出前景物体。进而通过腐蚀和膨胀操作对初始的蒙版进一步精化，通过求解稀疏线性方程系统可以获得全局最优化的蒙版。

[0022] 其中，针对传统的色调迁移图像仅和源图像的色调保持一致，为了进一步实施真实感场景融合，需要添加权重调节，使结果图像依照权重同时保持源图像和目标图像的颜色特征。其中源图像和目标图像的差异通过辐照度和色度差异两部分进行建模，同时辐照度和色度差异分别是在相应的亮度聚类间进行建模计算，之后通过加权整合差异。

[0023] 本发明的原理在于：

[0024] 基于图像的辐照度累积直方图非线性变换，实现源图像到目标图像间的辐照度映射从而保留源图像的辐照度细节。利用基于辐照度的亮度聚类，将图像自适应的划分成若干亮度带，进而在源图像和目标图像相应的亮度带之间通过线性蒙特卡罗线性映射进行色度迁移，可以得到更加准确、鲁棒的色度迁移结果。利用前后背景分割实现前后背景分离迁移，可以在源图像具有显著的局部色调对比的情况下获得准确的色调迁移结果。利用源图像和目标图像的权重调节色调迁移结果，使迁移结果根据需要同时保持源图像和目标图像的特征。

[0025] 与现有技术相比，本发明的有益效果是：

[0026] (1)使用辐照度和色度分离进行迁移的机制，解决了现有方法不能保持源图像的细节同时不依赖于图像内容的问题。

[0027] (2)使用基于累积直方图分布的辐照度迁移，解决了部分现有方法不能保持源图像细节的问题。

[0028] (3)使用自适应的色度聚类，解决了源图像和目标图像具有明显不同的色调分布时现有方法出现错误色调迁移结果的问题。

[0029] (4)使用基于前后景分割的色调迁移，解决了部分现有方法不能解决源图像具有明显局部对比时的映射问题。

[0030] (5)使用基于权重调节的色调迁移结果动态调节，解决了现有方法仅能使迁移结果具有源图像的色调特征，而不能同时保持源图像和目标图像特征的问题。

[0031] (6)与现有方法使用线性色调迁移、非线性色调迁移或者综合类方法，本方法的色调迁移具有更高的准确性、调节性。

[0032] (7)与现有方法使用线性色调迁移、非线性色调迁移或者综合类方法，本方法的色调迁移具有更高的鲁棒性，能够在各种输入条件下获得正确稳定的输出结果。

附图说明

[0033] 图1为本发明的色调迁移流程示意图；

[0034] 图2为本发明的色调迁移辐照度迁移示意图。其中图2(a)所在列分别代表目标图像，目标辐照度图像，目标图像辐照度直方图统计；图2(b)所在列分别代表源图像，源图像辐照度图像，目标图像辐照度直方图统计；图2(c)所在列分别代迁移结果图像，迁移结果辐照度图像，迁移结果辐照度直方图统计。

[0035] 图3为本发明的色调迁移色度迁移示意图。其中图3(a)表示目标图像，图3(b)表示源图像，图3(c)表示色度迁移后的图像。

[0036] 图4为本发明的各前后背景分割示意图。其中图4(a)表示输入图像；图4(b)表示提取的蒙版图像；图4(c)表示通过蒙版提取的前景图像。

[0037] 图5为本发明的使用前后背景分割的色调迁移结果示意图。其中图5(a)表示目标图像；图5(b)表示源图像；图5(c)表示不使用前后背景分割的色调迁移结果；图5(d)表示使用前后背景分割的色调迁移结果。

[0038] 图6为本发明的添加权重调节的色调迁移结果示意图。其中图6(a)表示目标图像；图6(b)表示源图像；图6(c)表示不使用权重调节的色调迁移结果；图6(d)表示使用权重调节的色调迁移结果。

[0039] 图7本发明的流程图。

具体实施方式

[0040] 下面结合附图和实施例对本发明作进一步的描述。

[0041] 本发明提出了一种场景自适应的色调迁移方法，该方法基于累积直方图非线性变换的辐照度迁移和基于蒙特卡罗仿射变换的色度迁移。针对不同输入下的色调迁移，本方法首先基于辐照度进行聚类获得若干亮度带，继而在源图像和目标图像的相应亮度带之间进行映射，可以获得更加准确、鲁棒的性能。同时针对现有方法获得的色调迁移结果仅能具有源图像的色调特征，本发明提出了基于动态权重调节的色调迁移，能够使色调迁移结果根据需要同时保持源图像和目标图像的色调特征。下面结合附图1-6表述自适应色调迁移方法的执行过程。

[0042] 本发明提出的自适应色调迁移算法由辐照度变换，色度变换，前后背景分割和权重调节几个构件组成。

[0043] 图2描述了辐照度迁移的过程和结果。为了使源图像和目标图像的辐照度分布需要保持一致，而辐照度的对于保持图像的细节具有决定作用。通过执行累计直方图非线性映射来匹配源图像和目标图像之间的辐照度分布。标准直方图迁移函数定义为Lt＝H-1(Tl)。其中操作符H表示归一化的辐照度累计分布函数，Tl代表目标图像中某像素在L通道下的累计概率分布值，Lt表示表示辐照度迁移后的值。特别的，当累计分布函数H不可逆时利用H的广义逆实施这种变换。针对输入图像对具有明显的噪声或具有显著不同直方图分布的情况，通过采用一些滤波算法对其进行预处理。其中图2(a)所在列分别代表目标图像，目标辐照度图像，目标图像辐照度直方图统计；图2(b)所在列分别代表源图像，源图像辐照度图像，目标图像辐照度直方图统计；图2(c)所在列分别代迁移结果图像，迁移结果辐照度图像，迁移结果辐照度直方图统计。其中图3(a)表示目标图像，图3(b)表示源图像，图3(c)表示色度迁移后的图像。

[0044] 图3描述了色度迁移的过程和结果。为了使源图像和目标图像的色度分布需要保持一致，因此利用线性蒙特卡罗线性映射算法来匹配目标图像和源图像的色度分布。在辐照度迁移的基础上，利用K-medoids算法将源图像和目标图像分别聚类成不同的亮度带。进而，我们在每一个聚类点集中选择相应的代表点。此时的聚类结果被视作源图像和目标图像的初始分类。经过K-medoids算法聚类之后，聚类结果被保存在二元组 中，其中表示辐照度代表点向量， 表示各聚类点集的像素数目，m表示聚类数目。基于 向量，聚类点集频数低于阈值σ的点集将会与它临近的点集进行合并。基于 向量，通过计算每个聚类C的类内辐照度平均距离d(C)同时合并d(C)低于阈值的类。至此，则分别获得了源图像和目标图像的最终聚类，并将它们作为最终的亮度带划分。

[0045] 通过在源图像和目标图像之间相应辐照度带之间进行配对，然后在相应的亮度带对之间进行变换。通过计算各个亮度带在LAB空间的a和b通道的平均值。a和b通道的平均值构成了一个平均值向量[μa，μb]T和一个2x2的方阵Tst。进而通过对目标图像的色度通道值at和bt实行蒙特卡罗线性变换，得到at’和bt’。该算法的主要公式如下所示：

[0046]

[0047] 其中μas和μbs表示源图像a和b通道的平均值。μat和μbt表示目标图像中a和b通道的平均值。Tst表示色度变换矩阵。Tst定义如下所示：

[0048]

[0049] 其中∑s和∑t表示源图像的协方差矩阵。

[0050] 图4、图5描述了前后背景分割和基于前后背景分割的色调迁移的过程和结果。其中图4(a)表示输入图像；图4(b)表示提取的蒙版图像；图4(c)表示通过蒙版提取的前景图像。其中图5(a)表示目标图像；图5(b)表示源图像；图5(c)表示不使用前后背景分割的色调迁移结果；图5(d)表示使用前后背景分割的色调迁移结果。针对源图像具有显著局部对比的情况，需要对源图像和目标图像进行前后背景分割后实施区域映射。针对源图像对具有显著局部对比的情况，需要执行分割算法将图像中的前后背景分开进行处理。首先提取初始蒙版，利用一系列的局部分类器来分类输入图像局部特征，进而通过各种分类器的协作提取出前景物体。进而通过腐蚀和膨胀操作对初始的蒙版进一步精化，通过求解稀疏线性方程系统可以获得全局最优化的蒙版。

[0051] 图6表述了执行动态权重调节的结果。其中图6(a)表示目标图像；图6(b)表示源图像；图6(c)表示不使用权重调节的色调迁移结果；图6(d)表示使用权重调节的色调迁移结果。针对传统的色调迁移图像仅和源图像的色调保持一致，为了进一步实施真实感场景融合，需要添加权重调节，使结果图像依照权重同时保持源图像和目标图像的颜色特征。

[0052] 源图像S和目标图像T的辐照度差异通过如下公式定义：

[0053]

[0054] 其中m表示亮度带的数目， 和 分别表示位于S和T中第m个亮度带的辐照度平均值。

[0055] 源图像S和目标图像T的色度差异通过如下公式定义：

[0056]

[0057] 其中m表示亮度带的数目， 和 分别表示S中第m个亮度带的协方差矩阵和色度平均值。相应的，定义 和 分别表示T中第m个亮度带的协方差矩阵和色度平均值。

[0058] 本发明未详细阐述的部分属于本领域的技术人员公知技术。

[0059] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。如未来出现更加鲁棒的分割性蒙版算法可替代目前方案中的基于监督的前后背景分割方式。