图像精细化阴影区域分割系统、方法、装置

摘要

本发明属于图像处理领域，具体涉及一种图像精细化阴影区域分割系统、方法、装置，旨在为了解决解决图像中阴影区域分割精细化程度不高的问题，本发明系统包括特征提取网络、反向融合网络、加权融合网络；特征提取网络包括顺次设置的多个采样层，通过各采样层依次获取多个输入图像阴影区域分割特征；反向融合网络包括分层设置的多个反向融合分支，所述反向融合分支包括顺次设置的多个特征融合层，通过各特征融合层依次对输入的两个特征进行融合；加权融合网络，配置为对多个反向融合分支的输出进行加权融合，获得最终的输入图像的阴影区域分割结果。本发明可以获得精细化程度较高的阴影区域分割结果。

权利要求

1.一种图像精细化阴影区域分割系统，其特征在于，所述系统包括特征提取网络、反向融合网络、加权融合网络；所述特征提取网络包括顺次设置的多个采样层，通过各采样层依次获取多个输入图像阴影区域分割特征；顺次设置的多个采样层具体为堆叠设置的卷积层和下采样层，通过连续的卷积层和下采样层，获得多尺度的特征，可表示为：；其中，X表示输入图像， 为特征提

取网络的权重，N为下采样层的个数， 表示基于权重 对输入图像X

的特征提取， 表示输入图像前向传播后不同下采样层后特征提

取网络多尺度、多类型的特征；所述反向融合网络包括分层设置的多个反向融合分支，所述反向融合分支包括顺次设置的多个特征融合层，通过各特征融合层依次对输入的两个特征进行融合；所述反向融合分支中的特征融合层与所述特征提取网络中采样层对应设置，特征融合层的上采样倍率与采样层的下采样倍率对应且等值设置；所述反向融合网络中，第一层反向融合分支中特征融合层的输入为前一特征融合层的输出和对应采样层的输出；其余各层的反向融合分支中特征融合层的输入为前一特征融合层的输出和上一层反向融合分支中对应特征融合层的输出；所述加权融合网络，配置为对多个反向融合分支的输出进行加权融合，获得最终的输入图像的阴影区域分割结果。

2.根据权利要求1所述的图像精细化阴影区域分割系统，其特征在于，所述反向融合分支中的特征融合层在融合两个层次的特征时，先将较深层特征按照设定倍率进行上采样，再通过特征拼接的方式融合这两个含有不同信息的特征，最后通过卷积层获得最终的融合后特征。

3.根据权利要求1所述的图像精细化阴影区域分割系统，其特征在于，所述反向融合分支为三个。

4.根据权利要求1所述的图像精细化阴影区域分割系统，其特征在于，特征融合层的上采样倍率与采样层的下采样倍率均为2。

5.根据权利要求2所述的图像精细化阴影区域分割系统，其特征在于，获得最终的融合后特征所用卷积层的卷积核为3*3。

6.据权利要求1-5任一项所述的图像精细化阴影区域分割系统，其特征在于，所述特征提取网络和所述反向融合分支，利用二分类交叉熵损失函数作为损失函数，基于具有人工标注阴影区域的训练样本进行阴影区域预测的训练。

7.据权利要求6所述的图像精细化阴影区域分割系统，其特征在于，所述加权融合网络，利用二分类交叉熵损失函数作为损失函数，基于具有人工标注阴影区域的训练样本对加权融合的权重参数进行优化。

8.一种图像精细化阴影区域分割方法，其特征在于，基于权利要求1-7任一项所述的图像精细化阴影区域分割系统，包括以下步骤：步骤S10，将输入图像经所述特征提取网络进行逐层下采样，获取多个输入图像阴影区域分割特征；步骤S20，基于步骤S10得到的多个输入图像阴影区域分割特征，分别获取各所述反向融合分支输出的阴影区域预测结果；步骤S30，通过所述加权融合网络对各所述反向融合分支输出的阴影区域预测结果进行加权融合，获得最终的输入图像的阴影区域分割结果。

9.一种计算机存储介质，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求8所述的图像精细化阴影区域分割方法。

10.一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现权利要求8所述的图像精细化阴影区域分割方法。

说明书

图像精细化阴影区域分割系统、方法、装置

技术领域

[0001] 本发明属于图像处理领域，具体涉及一种图像精细化阴影区域分割系统、方法、装置。

背景技术

[0002] 自然场景下的阴影经常发生，图像阴影区域的信息对于估计场景中光源、照明情况、场景几何等物理特性提供重要的信息。理解图像中的阴影区域也可以帮助一些其他的计算机视觉任务，比如图像分割。此外，图像阴影去除在计算成像领域有很多应用。在这些任务中，阴影区域分割，是核心的步骤。本发明聚焦于图像阴影区域的精细化分割。

[0003] 给定单一输入图像，分割阴影区域是非常具有挑战性的。由于缺乏场景几何、表面特性、光源条件等信息，从二维图像中准确分割阴影区域这一问题本身也属于“病态”问题。早期的方法主要是利用基于照明、颜色等信息的图像先验和物理模型。然而如果假设条件难以满足，这些基于模型的方法就很难准确定位图像中的阴影区域。为了应对这一挑战，基于学习和手工设计特征的方法被提出。然而，受限于手工设计特征的表达能力，之前的基于学习的方法也难于应对自然条件下的困难情况。

[0004] 之后，由于基于深度神经网络的方法可以根据大量采集的有标注样本进行端到端学习，从而学习到鲁棒的特征表达，基于深度神经网络的阴影区域分割方法也取得了快速的进展。然而之前的阴影区域分割方法仍然难以获得精细化的阴影区域分割结果。

[0005] 由于精细化地分割阴影区域需要同时具有较强的判别分类能力和较强的空间定位能力，获得较强的判别分类能力和空间定位能力的有效融合是精细化阴影区域分割的关键。较强的判别分类特征一般编码在深度神经网络的较深层，较深层次的特征具有丰富的分类判别信息，然而这些较深层特征尺度较小，空间细节信息不足。与之不同，较强的空间定位特征一般编码在深度神经网络的较浅层，较浅层次的特征具有丰富的空间细节信息，然而这些较深层特征判别分类能力较弱。

发明内容

[0006] 为了解决现有技术中的上述问题，即为了解决图像中阴影区域分割精细化程度不高的问题，本发明的第一方面，提出了一种图像精细化阴影区域分割系统，所述系统包括特征提取网络、反向融合网络、加权融合网络；

[0007] 所述特征提取网络包括顺次设置的多个采样层，通过各采样层依次获取多个输入图像阴影区域分割特征；

[0008] 所述反向融合网络包括分层设置的多个反向融合分支，所述反向融合分支包括顺次设置的多个特征融合层，通过各特征融合层依次对输入的两个特征进行融合；

[0009] 所述反向融合分支中的特征融合层与所述特征提取网络中采样层对应设置，特征融合层的上采样倍率与采样层的下采样倍率对应且等值设置；

[0010] 所述反向融合网络中，第一层反向融合分支中特征融合层的输入为前一特征融合层的输出和对应采样层的输出；其余各层的反向融合分支中特征融合层的输入为前一特征融合层的输出和上一层反向融合分支中对应特征融合层的输出；

[0011] 所述加权融合网络，配置为对多个反向融合分支的输出进行加权融合，获得最终的输入图像的阴影区域分割结果。

[0012] 在一些优选的实施方式中，所述反向融合分支中的特征融合层在融合两个层次的特征时，先将较深层特征按照设定倍率进行上采样，再通过特征拼接的方式融合这两个含有不同信息的特征，最后通过卷积层获得最终的融合后特征。

[0013] 在一些优选的实施方式中，所述反向融合分支为三个。

[0014] 在一些优选的实施方式中，特征融合层的上采样倍率与采样层的下采样倍率均为2。

[0015] 在一些优选的实施方式中，获得最终的融合后特征所用卷积层的卷积核为3*3。

[0016] 在一些优选的实施方式中，所述特征提取网络和所述反向融合分支，利用二分类交叉熵损失函数作为损失函数，基于具有人工标注阴影区域的训练样本进行阴影区域预测的训练。

[0017] 在一些优选的实施方式中，所述加权融合网络，利用二分类交叉熵损失函数作为损失函数，基于具有人工标注阴影区域的训练样本对加权融合的权重参数进行优化。

[0018] 本发明的第二方面，提出了一种图像精细化阴影区域分割方法，基于上述的图像精细化阴影区域分割系统，包括以下步骤：

[0019] 步骤S10，将输入图像经所述特征提取网络进行逐层下采样，获取多个输入图像阴影区域分割特征；

[0020] 步骤S20，基于步骤S10得到的多个输入图像阴影区域分割特征，分别获取各所述反向融合分支输出的阴影区域预测结果；

[0021] 步骤S30，通过所述加权融合网络对各所述反向融合分支输出的阴影区域预测结果进行加权融合，获得最终的输入图像的阴影区域分割结果。

[0022] 本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的图像精细化阴影区域分割方法。

[0023] 本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的图像精细化阴影区域分割方法。

[0024] 本发明的有益效果：

[0025] 本发明提出阴影区域分割系统、方法、装置，可以有效地融合编码输入图像的判别分类信息和空间细节信息的多尺度特征，从而获得精细化程度较高的阴影区域分割结果。

附图说明

[0026] 通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

[0027] 图1是本发明一种实施例的图像精细化阴影区域分割系统框架示意图；

[0028] 图2是本发明另一种实施例的图像精细化阴影区域分割系统框架示意图；

[0029] 图3是本发明图像精细化阴影区域分割结果示例图。

具体实施方式

[0030] 为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0031] 下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

[0032] 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

[0033] 该方法的核心思想是通过多个并行的反向融合分支逐级依次堆栈，通过融合特征提取网络或上一级融合分支的多尺度特征，编码判别分类信息、空间细节信息的多尺度特征的有效融合，最终利用多个反向融合分支预测结果的加权融合作为最终的精细化阴影区域分割结果。思想要点主要为以下三点是：1)图像阴影区域的精细化分割需要有效地融合较强的判别分类能力和空间细节信息，给定输入图像后，本发明提出的图像精细化阴影区域分割系统的特征提取网络前向传播获得多尺度、不同类型的特征表达，深层次特征编码更强的判别分类信息，浅层次特征编码更丰富的空间细节信息；2)本发明提出的图像精细化阴影区域分割系统通过多个堆栈的、并行的反向融合分支，以由深至浅的反向融合方式逐渐融合特征提取网络和上一层级反向融合分支的多尺度特征，从而依次逐渐获得输入图像多尺度、多类型特征的有效融合；3)本发明提出的深度监督加权融合方式通过对图像精细化阴影区域分割系统的多个反向融合分支都进行阴影区域分割的预测，再利用多个分支预测结果的加权融合作为最终的阴影区域精细化分割结果。

[0034] 本发明的一种图像精细化阴影区域分割系统，如图1所示，该图像精细化阴影区域分割系统100包括特征提取网络101、反向融合网络102、加权融合网络103；

[0035] 特征提取网络101包括顺次设置的多个采样层，通过各采样层依次获取多个输入图像阴影区域分割特征；

[0036] 反向融合网络102包括分层设置的多个反向融合分支，反向融合分支包括顺次设置的多个特征融合层，通过各特征融合层依次对输入的两个特征进行融合；

[0037] 反向融合分支102中的特征融合层与特征提取网络101中采样层对应设置，特征融合层的上采样倍率与采样层的下采样倍率对应且等值设置；

[0038] 反向融合网络102中，第一层反向融合分支中特征融合层的输入为前一特征融合层的输出和对应采样层的输出；其余各层的反向融合分支中特征融合层的输入为前一特征融合层的输出和上一层反向融合分支中对应特征融合层的输出；

[0039] 加权融合网络103，配置为对多个反向融合分支的输出进行加权融合，获得最终的输入图像的阴影区域分割结果。

[0040] 为了更清晰地对本发明系统进行说明，下面结合附图对本方发明系统一种实施例中各部分进行展开详述。

[0041] 本发明一种实施例的图像精细化阴影区域分割系统，如图2所示，包括特征提取网络201、反向融合网络202、加权融合网络203。

[0042] 1、特征提取网络

[0043] 特征提取网络201包括顺次设置的多个采样层，通过各采样层依次获取多个输入图像阴影区域分割特征。

[0044] 特征提取网络201堆叠连续的卷积层和下采样层，获得输入图像更深层次的特征表达，判别分类能力更强，然而多个下采样层的存在使得空间细节信息不断丢失，特征尺度不断减小。具体地，特征提取网络前向传播，通过连续的卷积层和下采样层，获得多尺度的特征，可表示为：

[0045]

[0046] 其中，X表示输入图像，Wmain为特征提取网络的权重，N为下采样层的个数，表示基于权重Wmain对输入图像X的特征提取，表示输入图像前向传播后不同下采样层后特征提取网络多尺
度、多类型的特征，其中浅层特征尺度较大，具有丰富的细节信息，深层特征由于连续的下采样层，分辨率较低，丢失了大部分的空间细节信息，然而由于其更深的网络层次，学习到更鲁棒的特征表达，分类能力更强。图2中，W、H分别为输入图像的宽、高，不同层下采样(或融合)得到的特征图像的大小在图中进行相应的标注。

[0047] 2、反向融合网络

[0048] 反向融合网络202包括分层设置的多个反向融合分支，所述反向融合分支包括顺次设置的多个特征融合层，通过各特征融合层依次对输入的两个特征进行融合。反向融合分支中的特征融合层与所述特征提取网络中采样层对应设置，特征融合层的上采样倍率与采样层的下采样倍率对应且等值设置；反向融合网络中，第一层反向融合分支中特征融合层的输入为前一特征融合层的输出和对应采样层的输出；其余各层的反向融合分支中特征融合层的输入为前一特征融合层的输出和上一层反向融合分支中对应特征融合层的输出。

[0049] 特征提取网络201前线传播获得用于阴影区域分割的所输入图像的多尺度特征：编码丰富判别分类信息的深层次特征、以及编码丰富空间细节信息的浅层次特征，然而精细化的阴影区域分割需要判别分类信息和空间细节信息的有效融合。为此，本发明实施例采用包含依次堆栈的、并行的、多层级的反向融合分支逐渐获得上述多尺度特征的有效融合。可表示为：

[0050]

[0051]

[0052] …

[0053]

[0054] 其中M表示所采用的并行的反向融合分支的个数，本发明实施例中M＝3。表示各反向融合分支中多尺度特征进行由深至浅的反
向融合，
表示融合后的多
尺度特征。

[0055] 具体地，在特征提取网络201产生的多尺度特征 基础上，本发明首先采用第一个反向融合分支 以“由深至浅”的方式每次融合相邻两个尺度的特征，从而逐渐融合特征提取网络201的多尺度特征，同时逐渐生成多尺度的融合后特征。具体而言，该反向融合分支由最深层 开始多尺度特征的融合操作，逐渐融合相邻两个尺度的特征，生成的融合后特征作为新的较浅层特征，直至到尺度为原始图像尺度的最浅层特征 其中，每次在融合两个层次的特征时，先将较深层特征上采样2倍，再通过特征拼接的方式融合这两个含有不同信息的特征，最后通过一个卷积核为3*
3的卷积层获得最终的融合后特征。所生成的融合后特征作为新的较浅层特征进行下一步融合。可表示为：

[0056]

[0057] 其中 表示第n层尺度较小的较深层特征，up()表示上采样操作，fconcat表示特征拼接操作，fconv表示生成融合后特征的3*3的卷积层， 表示新的第n-1层尺度较大较深层特征。该反向融合分支由最底层开始，逐渐融合特征提取网络201多尺度特征，特征尺度逐渐增大，并在与最浅层特征融合后获得和输入图像相同尺度的融合特征。

[0058] 上述第一个反向融合分支融合是一个尺度逐渐增大的渐进过程，在这个过程中，逐渐产生了多个中间层特征 然而这些中间层特征也是不同尺度的，同样编码了不同类型、不同层次的特征表达，这些不同类型的特征同样编码了有利于精细化阴影区域分割的判别分类信息和空间细节信息。类似特征提取网络201的多尺度待融合特征，第一个反向融合分支产生的多尺度、多类型的融合后特征表达同样可以看作待融合特征，得到进一步的融合。因此，本发明利用第二个反向融合分支 对第一个反向融合分支产生的多尺度融合后特征进行进一步的融合。同样地，第二个反向融合分支采用“由深至浅”的方式，从第一个反向融合分支的多尺度特征中尺度最小的、最深层次特征开始，逐渐融合相邻两个尺度特征，直至具有和输入图像具有相同尺度的最浅层次特征。同样地，第二个反向融合分支融合过程中，逐渐产生多尺度、多类型的融合后特征为此，本发明在第二个反向融合分支基础上，叠加第三个
反向融合分支 对第二个反向融合分支产生的多尺度特征进行再次“由深至浅”的融合。

[0059] 这样，上述三个并行的反向融合分支依次堆叠，编码判别分类信息和空间细节信息的输入图像的多尺度特征得到有效的融合，从而精细化地分割图像阴影区域。

[0060] 3、加权融合网络

[0061] 加权融合网络203，配置为对多个反向融合分支的输出进行加权融合，获得最终的输入图像的阴影区域分割结果。

[0062] 多个并行的反向融合分支逐渐获得输入图像多尺度特征的更有效的融合，这些多个并行的反向融合分支同样是不同层级的，包含了不同层次的图像特征，也编码了判别分类信息和空间细节信息这些不同类型的特征。为了准确分割图像阴影区域，多尺度、多类型特征的有效融合是至关重要的。因此，本实施例采用深度加权融合的方式融合这些并行的反向融合分支的输出结果，获得多层级特征的进一步融合。可表示为：

[0063]

[0064] 其中Lossdeep_fuse表示对M个反向融合分支都利用人工标注信息进行监督学习，(Y1,Y2,…,YM)表示M个反向融合分支的输出结果(如图2中的初始结果1、初始结果2、初始结果3)。最终利用多个反向融合分支的预测结果的加权融合作为最终输出结果。可表示为：

[0065]

[0066] 其中Wm为第m个反向融合分支加权求和的权重，Y为最终输出的结果。

[0067] 4、网络训练

[0068] 由于多个并行的反向融合分支的最浅层融合后特征 均和输入图像具有相同尺度，也是不同层级下多尺度特征的初步有效融合，因此，本发明利用二分类交叉熵损失函数作为损失函数，在人工标注阴影区域的训练样本作为监督信息下，对多个并行的反向融合分支均利用相应的最浅层特征进行阴影区域预测的学习。这些初始阴影区域预测结果(Y1,Y2,…,YM)分别编码了不同层级的融合分支的多尺度特征。接着，将这些并行的反向融合分支的初始预测结果进行加权求和 得到最终的
阴影区域分割结果作为输出结果，并同样利用人工标注阴影区域的训练样本和二分类交叉熵损失函数，通过端到端学习，调节加权融合的权重参数。这样，多个并行的反向融合分支的加权融合结果便编码了多个层级的融合分支的信息，阴影区域分割结果也会更加精细化。

[0069] 本发明一种实施例的图像精细化阴影区域分割方法，基于上述的图像精细化阴影区域分割系统，包括以下步骤：

[0070] 步骤S10，将输入图像经所述特征提取网络进行逐层下采样，获取多个输入图像阴影区域分割特征；

[0071] 步骤S20，基于步骤S10得到的多个输入图像阴影区域分割特征，分别获取各所述反向融合分支输出的阴影区域预测结果；

[0072] 步骤S30，通过所述加权融合网络对各所述反向融合分支输出的阴影区域预测结果进行加权融合，获得最终的输入图像的阴影区域分割结果。

[0073] 如图3所示为本发明图像精细化阴影区域分割示例图，第一行为输入图像，第二行为利用本发明得到的图像阴影区域分割结果。

[0074] 所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法中部分工作过程及有关说明，可以参考前述系统实施例中的对应过程，在此不再赘述。

[0075] 本发明一种实施例的存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的图像精细化阴影区域分割方法。

[0076] 本发明一种实施例的处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的图像精细化阴影区域分割方法。

[0077] 所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0078] 本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

[0079] 术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

[0080] 至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。