一种基于证据推理的语义分割网络模型不确定性量化方法

摘要

本发明提供了一种基于证据推理的语义分割网络模型不确定性量化方法。该方法包括：构建FCN网络模型，利用训练数据集对FCN网络模型进行训练，得到用于图像数据的语义分割的训练后的FCN网络模型；将D‑S证据理论移植于所述训练后的FCN网络模型，得到重构后的FCN网络模型；将待分割的图像数据输入到重构后的FCN网络模型，FCN网络模型输出待分割图像的分类结果，利用D‑S证据理论指标计算出每个像素点的分类结果不确定值。本发明可以在短时间内有效完成对语义分割不确定度的量化计算，极大提高计算效率，节约时间、资源成本。

权利要求

1.一种基于证据推理的语义分割网络模型不确定性量化方法，其特征在于，包括：构建FCN网络模型，利用训练数据集对FCN网络模型进行训练，得到用于图像数据的语义分割的训练后的FCN网络模型；

将D‑S证据理论移植于所述训练后的FCN网络模型，得到重构后的FCN网络模型；

将待分割的图像数据输入到重构后的FCN网络模型，FCN网络模型输出待分割图像的分类结果，利用D‑S证据理论指标计算出每个像素点的分类结果不确定值；

所述的将D‑S证据理论移植于所述训练后的FCN网络模型，得到重构后的FCN网络模型，包括：

将D‑S证据理论移植于所述训练后的FCN网络模型，通过D‑S证据理论计算得到原始证据池mjk；再将Dempster组合规则应用于原始证据池mjk，通过计算得到对K个类别的置信度ml和不确定性度量指标，不确定性度量指标用于评估预测结果的不确定性，K个类别的置信度ml经过似然变换得到归一化似然函数Pm，将FCN网络模型的输出结果P(Ck)等价于基于证据推理方法得到的似然函数Pm(Ck)，得到重构后的FCN网络模型。

2.根据权利要求1所述的方法，其特征在于，所述的构建FCN网络模型，包括：将卷积神经网络中经卷积层和池化层缩小的特征图通过上采样/反卷积操作，实现特征空间信息的恢复，得到全卷积网络FCN网络模型，对FCN网络模型的参数进行训练，所述FCN网络模型的参数包括特征图的激活值和滤波器的权重，FCN网络模型的参数层均为卷积层，最后一个卷积层的卷积核大小为1*1，FCN网络模型的全连接层不用于执行图像分割任务。

3.根据权利要求2所述的方法，其特征在于，所述的利用训练数据集对FCN网络模型进行训练，得到用于图像数据的语义分割的训练后的FCN网络模型，包括：获取已知的原始图像数据集和标签数据，所述原始图像数据集中的预处理图像为相同尺度大小m*n，将所述原始图像数据集和标签数据构成训练数据集，将所述训练数据集输入到FCN网络模型中，利用损失函数自动计算优化分类模型的参数，得到用于图像数据的语义分割的训练后的FCN网络模型。

4.根据权利要求1所述的方法，其特征在于，所述的将待分割的图像数据输入到重构后的FCN网络模型，FCN网络模型输出FCN网络模型输出待所述分割的图像数据的图像分割结果，包括：

将待分割的图像数据输入到重构后的FCN网络模型，假设需要将待分割的图像数据分割为K+1类，外加“背景”类别，设置FCN网络模型的最后一个卷积层包括K个滤波器，FCN网络模型的最后一层特征图的尺寸及通道数分别为nH，nW和nC；

所述重构后的FCN网络模型对待分割的图像数据进行语义分割，从FCN网络模型的最后一组特征图提取激活值 是J维的激活值，J＝nH*nW*nC，同时提取FCN的最后一个卷积层的滤波器的权重w及偏置b；利用所述激活值 权重w及偏置b，通过计算得到原始证据池mjk；

将Dempster组合规则应用于所述原始证据池mjk，通过计算得到对K个类别的置信度ml，FCN网络模型的输出结果P(CK)为：得到N*nH*nW*nC*(K+1)维的预测数据，其中N为输入图片样本数量，nH，nW，nC分别为原始图片的尺寸：高度、宽度、颜色通道数，K为分类类别数。

5.根据权利要求4所述的方法，其特征在于，所述的利用D‑S证据理论指标计算出每个像素点的分类结果不确定值，包括：提取FCN网络模型的最后一层特征图的所有激活值 和训练得到的滤波器的权重w及偏置b，在D‑S证据理论中，冲突度用来表示证据间的矛盾程度，对于两条证据m1和m2的冲突度F的计算方法为公式(2‑5)；

当F≠0时，则正交和m也是一个概率分配函数，当F＝0时，则不存在正交和m，此时称作m1与m2相矛盾；

所述待分割的图像数据的最终分割结果的冲突度F的计算方法为(2‑7)、(2‑8)和(2‑

9)；

其中 表示证据的总权重的正相关支持， 表示负相关支持。

6.根据权利要求5所述的方法，其特征在于，所述的利用D‑S证据理论指标计算出每个像素点的分类结果不确定值，还包括：信息无效度 是指对类别全集 分配的基本概率，在两条证据情况下, 的计算方法为：

当 时，意味着对命题完全未知；

待分割的图像数据的最终分割结果的信息无效度 表示无法进行分配的信任度，计算公式为式(2‑11)；

‑1 + ‑

其中，η＝(1‑F) ，η与η参见公式(2‑8)与(2‑9)。

7.根据权利要求5所述的方法，其特征在于，所述的利用D‑S证据理论指标计算出每个像素点的分类结果不确定值，还包括：采用总不确定熵来度量神经网络的不确定性，其定义如下：公式(2‑14)由(2‑15)与(2‑16)代入计算得出其中；其中|a|为子集a中元素的个数；pl_Pm(x)为概率mass函数，计算方法见公式(2‑15)，pl(xi)为似然函数；m(a)为集合 的子集的‑1

mass函数，计算方法见公式(2‑16)，η＝(1‑F) ；

使用m({θk})表示根据D‑S证据理论的组合规则计算所得到的对分类{θk}的总置信度，‑1

其计算公式为式(2‑10)，其中η＝(1‑F) ；

‑1 + ‑

其中，η＝(1‑F) ，η与η参见公式(2‑8)与(2‑9)；

第一部分Hs(pl_Pm)是对应于bpa基本概率分配的香农熵，第二部分Hd(m)计算分配给非单一元素集合基本概率的不确定熵之和，两部分度量值相加即为神经网络对一个样本预测结果的总不确定熵，总不确定熵用来度量模型预测结果的不确定性。

说明书

一种基于证据推理的语义分割网络模型不确定性量化方法

技术领域

[0001] 本发明涉及语义分割技术领域，尤其涉及一种基于证据推理的语义分割网络模型不确定性量化方法。

背景技术

[0002] 语义分割为识别图像中存在的内容以及位置(通过查找属于它的所有像素)。语义分割是一种典型的计算机视觉问题，其涉及将一些原始数据(例如，平面图像)作为输入并
将它们转换为具有突出显示的感兴趣区域的新数据。语义分割是在像素级别上的分类，属
于同一类的像素都要被归为一类。

[0003] D‑S证据理论(Dempster‑ShaferTheory of Evidence)也称D‑S理论，最早是Dempster在利用上下限概率来解决多值映射问题方面所做的工作，他试图使用一个概率范
围而不是一个确定的概率值来描述不确定性。证据理论将概率论中对事件的单点赋值扩展
为对事件集合赋值，弱化了相应的公理系统，满足了比概率更弱的要求，可看作一种广义的
概率论。

[0004] 为了能够更好地理解D‑S证据理论，下面介绍D‑S证据理论的样本空间、基本函数和证据之间的组合规则。

[0005] (1)样本空间

[0006] 设Θ为变量X的所有可能取值的有限集合，也称为样本空间，Θ中元素两两互斥，Θ
则由Θ中所有子集构成的集合称为幂集，记为2 。当Θ中的元素个数为N时，其幂集中元素
N
的个数为2。

[0007] (2)基本函数

[0008] D‑S证据理论中，有基本概率分配函数(mass)、信任函数(belief)和似然函数(plausibility)三个重要的概念，下面分别对其进行介绍。

[0009] 1)基本概率分配函数(mass)

[0010] 在样本空间Θ上的基本概率分配是把Θ的任意一个子集都映射为[0,1]上的函数m，称为mass函数，并且满足公式(2‑1)。

[0011]

[0012] 此时称m是2Θ上的概率分配函数，m(A)称为A的基本概率数，m(A)表示依据当前的证据对假设集合A的信任程度。

[0013] 2)信任函数(belief)

[0014] 在样本空间Θ上基于基本概率分配函数的信任函数定义为：对任意的A包含于Θ，均满足公式(2‑2)。

[0015]

[0016] Bel(A)表示在当前证据下，对假设集合A的信任程度。Bel(A)的值等于A的所有子集的基本概率之和。

[0017] 3)似然函数(plausibility)

[0018] 在样本空间θ上基于基本概率分配函数的似然函数定义为：对任意的A包含于θ，均满足公式(2‑3)。

[0019]

[0020] 由于信任函数Bel(A)表示对A为真的信任度， 表示对A为假的信任度，因此Pl(A)表示对A为非假的信任度，似然函数又称为不可驳斥函数或上限函数。

[0021] (3)证据之间的组合规则

[0022] 在实际问题中，对于相同的证据，由于来源不同，可能会得到不同的概率分配函数，这时，在D‑S证据理论框架下，两组独立的mass函数可以通过正交和进行数据融合。假设
m1和m2是两个不同的概率分配函数，融合公式为式(2‑4)。

[0023]

[0024] 其中F值的计算方式如式(2‑5)所示：

[0025]

[0026] 当F≠0时，则正交和m也是一个概率分配函数，当F＝0时，则不存在正交和m，此时称作m1与m2相矛盾。

[0027] 目前，D‑S证据理论被广泛应用于统计模式识别中，研究的方向有分类器融合、证据校准和分类器设计。在分类器设计领域，Denoeux基于D‑S证据理论证明多项式逻辑回归
模型以及它的非线性扩展(即神经网络分类器)可以将输入层或更高层的特征转换成D‑S质
量函数，然后利用D‑S证据理论的组合规则进行信息推理，从而辅助基于不确定性信息的精
准决策。

[0028] 在多分类决策问题中，假设有类别集合Θ＝{θ1,…,θK}，K表示类别的个数，各个类别之间相互独立；特征集合为 J表示特征的个数，特征间相
互独立。传统的分类器一般通过最小化损失函数来学习特征 和参数β0k与βk，之后使
用softmax将输入映射为0‑1之间的实数，输出对各个类别的判别概率，并归一化保证和为
1。如图1展示了传统分类器结构。

[0029] D‑S分类器通过将输入或高层神经元的特征输出转化为质量函数，然后进行组合计算和似然转化，最后输出对各个类别的信任程度。图1为现有技术中的一种D‑S分类器的
结构图。当仅仅考虑输出分类，二者是等效的，但D‑S决策视图奠定了一个潜在的质量函数，
相比概率输出，归一化的组合质量函数输出更具有信息量，在特征组合的过程中，可计算得
到特征之间的冲突以及无效的信息量。

[0030] 在进行证据间的组合运算时，定义证据的权重为w，计算公式为式(2‑6),其中为两个系数。

[0031]

[0032] 其中：

[0033]

[0034] 公式(2‑6)中μj为特征集合 的均值。

[0035] 使用F来表示证据之间的冲突值，计算公式为式(2‑7)，其中η+和η‑的计算方法为公式(2‑8)和公式(2‑9)。

[0036]

[0037]

[0038]

[0039] 其中 表示证据的总权重的正相关支持， 表示负相关支持。

[0040] 使用m({θk})表示根据D‑S证据理论的组合规则计算所得到的对分类{θk}的总置信‑1
度，其计算公式为式(2‑10)，其中η＝(1‑F) 。

[0041]

[0042] 使用m(Θ)表示无法进行分配的信任度，计算公式为式(2‑11)。

[0043]

[0044] 使用D‑S证据理论进行证据组合的过程中，F值可以表示出证据之间的冲突性，m(θ)可以表示无法进行分配的信任度，这些值能够辅助理解深度神经网络的不确定性，在本
发明用于测试数据的生成工作方面起到了良好的指导作用。

[0045] 神经网络语义分割预测结果不确定性的定量研究最早开始于贝叶斯神经网络(Bayesian Neural Networks，BNN)。研究者开拓性地使用概率分布代替模型训练过程中对
参数的点估计，因此通过神经网络的训练不但可以得到预测结果，还可以得到参数的概率
分布，即估计预测结果的不确定性。然而，使用BNN模型在选择合适的先验分布或精确地推
理后验参数时面临着棘手的挑战。随后，有研究者提出了一系列近似推理方法，亦称为变分
推理(variational inference)，即假设一组后验分布q(ω)，通过最小化q(ω)与真实后验
p(ω)之间的KL散度(Kullback‑Leibler Divergence)，寻找近似的参数后验分布 然
而，最早的变分推理方法和引入了新的近似方法的变分推理，如基于采样的变分推理和随
机变分推理等都无法避免计算量过大的问题。而且为了度量预测不确定性，对于同样规模
的网络模型，参数的数量甚至需要加倍。

[0046] 为避免贝叶斯神经网络带来的计算量过大的问题，近些年研究者们先后提出了使用非贝叶斯方法来定量评估神经网络的不确定性。Gal和Ghahramani证明了对于任意一个
非线性的神经网络，在所有参数层之前增加dropout操作(随机丢弃一定比例的隐藏节点输
出值，以防止模型过拟合的操作)，该模型在数学上等同一个概率深度高斯过程的近似(近
似边缘化的隐空间)；模型训练的优化目标(损失函数加L2正则化)实际上就是在最小化假
设的近似分布和深度高斯过程的真实后验之间的KL散度。最后利用蒙特卡洛(Monte 
Carlo)采样方法，在测试阶段同样使用dropout操作，模拟T随机前向计算，得到各输出节点
的平均值及方差估计值，即预测结果的不确定性，因此该方法也称为MC dropout。

[0047] 目前，基于上述方法发展出的贝叶斯深度学习(Bayesian Deep Learning，BDL)被用于不确定性建模，它在深度学习架构基础上提供了不确定性估计。这些深层结构可以利
用深层学习的层次表示能力对复杂任务进行建模，同时还可以推断复杂的多模态后验分
布。贝叶斯深度学习模型通常通过在模型权重上放置分布或通过学习得到概率输出的直接
映射来形成不确定性估计。

[0048] 然而，基于上述技术的贝叶斯深度学习方法的缺点为：普遍存在权重分布估计困难，计算量极大的问题。而基于改进的MC Dropout方法也需要进行大规模的模型推理才能
得到多个预测结果，从而计算预测方差，即不确定度。而且在将贝叶斯学习方法与神经网络
结合时，由于神经网络本身已经具有非常巨大的参数量，再加上贝叶斯学习方法的大量模
型推理，导致计算量非常庞大，无法在短时间内有效完成对语义分割不确定度的推理计算。

发明内容

[0049] 本发明的实施例提供了一种基于证据推理的语义分割网络模型不确定性量化方法，以实现有效进行语义分割不确定度的量化计算。

[0050] 为了实现上述目的，本发明采取了如下技术方案。

[0051] 一种基于证据推理的语义分割网络模型不确定性量化方法，包括：

[0052] 构建FCN网络模型，利用训练数据集对FCN网络模型进行训练，得到用于图像数据的语义分割的训练后的FCN网络模型；

[0053] 将D‑S证据理论移植于所述训练后的FCN网络模型，得到重构后的FCN网络模型；

[0054] 将待分割的图像数据输入到重构后的FCN网络模型，FCN网络模型输出待分割图像的分类结果，利用D‑S证据理论指标计算出每个像素点的分类结果不确定值。

[0055] 优选地，所述的构建FCN网络模型，包括：

[0056] 将卷积神经网络中经卷积层和池化层缩小的特征图通过上采样/反卷积操作，实现特征空间信息的恢复，得到全卷积网络FCN网络模型，对FCN网络模型的参数进行训练，所
述FCN网络模型的参数包括特征图的激活值和滤波器的权重，FCN网络模型的参数层均为卷
积层，最后一个卷积层的卷积核大小为1*1，FCN网络模型的全连接层不用于执行图像分割
任务。

[0057] 优选地，所述的利用训练数据集对FCN网络模型进行训练，得到用于图像数据的语义分割的训练后的FCN网络模型，包括：

[0058] 获取已知的原始图像数据集和标签数据，所述原始图像数据集中的预处理图像为相同尺度大小m*n，将所述原始图像数据集和标签数据构成训练数据集，将所述训练数据集
输入到FCN网络模型中，利用损失函数自动计算优化分类模型的参数，得到用于图像数据的
语义分割的训练后的FCN网络模型。

[0059] 优选地，所述的将D‑S证据理论移植于所述训练后的FCN网络模型，得到重构后的FCN网络模型，包括：

[0060] 将D‑S证据理论移植于所述训练后的FCN网络模型，通过D‑S证据理论计算得到原始证据池mjk；再将Dempster组合规则应用于原始证据池mjk，通过计算得到对K个类别的置
信度ml和不确定性度量指标，不确定性度量指标用于评估预测结果的不确定性，K个类别的
置信度ml经过似然变换得到归一化似然函数Pm，将FCN网络模型的输出结果P(Ck)等价于基
于证据推理方法得到的似然函数Pm(Ck)，得到重构后的FCN网络模型。

[0061] 优选地，所述的将待分割的图像数据输入到重构后的FCN网络模型，FCN网络模型输出FCN网络模型输出待所述分割的图像数据的图像分割结果，包括：

[0062] 将待分割的图像数据输入到重构后的FCN网络模型，假设需要将待分割的图像数据分割为K+1类，外加“背景”类别，设置FCN网络模型的最后一个卷积层包括K个滤波器，FCN
网络模型的最后一层特征图的尺寸及通道数分别为nH，nW和nC；

[0063] 所述重构后的FCN网络模型对待分割的图像数据进行语义分割，从FCN网络模型的最后一组特征图提取激活值 是J维(J＝nH*nW*nC)的激活值，同时提取FCN的最后
一个卷积层的滤波器的权重w及偏置b；利用所述激活值 权重w及偏置b，通过计算得
到原始证据池mjk；

[0064] 将Dempster组合规则应用于所述原始证据池mjk，通过计算得到对K个类别的置信度ml，FCN网络模型的输出结果P(CK)为：

[0065]

[0066] 得到N*nH*nW*nC*(K+1)维的预测数据，其中N为输入图片样本数量，nH，nW，nC分别为原始图片的尺寸：高度、宽度、颜色通道数，K为分类类别数。

[0067] 优选地，所述的利用D‑S证据理论指标计算出每个像素点的分类结果不确定值，包括：

[0068] 提取FCN网络模型的最后一层特征图的所有激活值 和训练得到的滤波器的权重w及偏置b，在D‑S证据理论中，冲突度用来表示证据间的矛盾程度，对于两条证据m1和m2
的冲突度F的计算方法为公式(2‑5)；

[0069]

[0070] 当F≠0时，则正交和m也是一个概率分配函数，当F＝0时，则不存在正交和m，此时称作m1与m2相矛盾；

[0071] 所述待分割的图像数据的最终分割结果的冲突度F的计算方法为(2‑7)、(2‑8)和(2‑9)；

[0072]

[0073]

[0074]

[0075] 其中 表示证据的总权重的正相关支持， 表示负相关支持。

[0076] 优选地，所述的利用D‑S证据理论指标计算出每个像素点的分类结果不确定值，还包括：

[0077] 信息无效度 是指对全集 分配的基本概率， 的计算方法为：

[0078]

[0079] 当 时，意味着对该命题完全未知

[0080] 待分割的图像数据的最终分割结果的信息无效度m(Θ)表示无法进行分配的信任度，计算公式为式(2‑11)。

[0081]

[0082] 其中，η＝(1‑F)‑1，η+与η‑参见公式(2‑8)与(2‑9)。

[0083] 优选地，所述的利用D‑S证据理论指标计算出每个像素点的分类结果不确定值，还包括：

[0084] 采用总不确定熵来度量神经网络的不确定性，其定义如下：

[0085]

[0086]

[0087]

[0088] 公式(2‑14)由(2‑15)与(2‑16)代入计算得出其中；其中|a|为子集a中元素的个数；pl_Pm(x)为概率mass函数，计算方法见公式(2‑15)，pl(xi)为似然函数；m(a)为集合 的
子集的mass函数，计算方法见公式(2‑16)，η＝(1‑F)‑1；

[0089] 使用m({θk{)表示根据D‑S证据理论的组合规则计算所得到的对分类{θk}的总置信‑1
度，其计算公式为式(2‑10)，其中η＝(1‑F) ；

[0090]

[0091] 其中，η＝(1‑F)‑1，η+与η‑参见公式(2‑8)与(2‑9)；

[0092] 第一部分Hs(pl_Pm)是对应于bpa的香农熵，第二部分Hd(m)计算分配给非单一元素集合基本概率的不确定熵之和，两部分度量值相加即为神经网络对一个样本预测结果的总
不确定熵，总不确定熵用来度量模型预测结果的不确定性。

[0093] 由上述本发明提供的技术方案可以看出，本发明实施例可以在短时间内有效完成对语义分割不确定度的量化计算，极大提高计算效率，节约时间、资源成本。

[0094] 本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

[0095] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本
领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的
附图。

[0096] 图1为现有技术中的一种D‑S分类器的结构图；

[0097] 图2为本发明实施例提供的一种基于证据推理的语义分割网络模型不确定性量化方法的处理流程图；

[0098] 图3为本发明实施例提供的一种基于证据推理的语义分割网络模型不确定性量化方法的实现原理示意图。

具体实施方式

[0099] 下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参
考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

[0100] 本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措
辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加
一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元
件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在
中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞
“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

[0101] 本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该
理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意
义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

[0102] 为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

[0103] 本发明实施例基于D‑S证据理论，采用证据推理的方法，从用于语义分割的全卷积神经网络(Fully Convolutional Network,FCN)模型(如SegNet，Unet)中提取预测不确定
(predictive uncertainty)信息。具体来说，通过FCN网络模型最后一组特征图(feature 
maps)的激活值及一个卷积层的参数值计算对应的质量函数mjk，进而推理出两类可区分“缺
乏特征”和“特征冲突”的预测结果不确定性，用于决策辅助。

[0104] 本发明实施例提供的一种基于证据推理的语义分割网络模型不确定性量化方法的实现原理示意图如图3所示，具体处理流程如图2所示，包括如下的处理步骤：

[0105] 步骤S10、获取原始训练集。

[0106] 首先获取原始图像数据集和标签数据，上述原始图像数据集中的预处理图像为相同尺度大小m*n，这里以CamVid数据集为例，如图3(a)所示。上述原始图像数据集和标签数
据构成训练数据集，用于对FCN网络模型进行训练。

[0107] 步骤S20、构建FCN网络模型，利用训练数据集对FCN网络模型进行训练，得到用于图像数据的语义分割的训练好的FCN网络模型。

[0108] 基于卷积神经网络(Convolutional NeuralNetworks，CNN)的分类模型通常以若干层全连接层结尾，这样会将原来二维的矩阵(图片)压扁成一维，从而丢失了空间信息，最
后训练输出一个标量，即分类标签。而图像语义分割的输出是二维分割图，为了得到与原图
等大的分割图，本发明实施例将卷积神经网络中经卷积层和池化层缩小的特征图通过上采
样/反卷积操作，实现特征空间信息的恢复。这类将CNN网络的全连接层转化为上采样层/反
卷积层的模型，统称为全卷积网络FCN网络模型。为实现本发明方法，需搭建如图3(a)所示
的语义分割网络模型，并对语义分割网络模型的参数进行训练，其中要求语义分割网络模
型最后一个卷积层的卷积核大小为1*1(在数值计算上等价于全连接层，为不确定信息推理
做铺垫)。

[0109] 本发明实施例中的FCN中的神经网络中有参数层均为卷积层，全连接层不用于执行图像分割任务。FCN的参数包括特征图的激活值，滤波器的权重。

[0110] 将上述训练数据集输入到FCN网络模型中，利用损失函数自动计算优化分类模型的参数，得到训练后的FCN网络模型，该训练后的FCN网络模型即为本发明实施例的图像数
据的语义分割网络模型。

[0111] 步骤S30、将D‑S证据理论体系移植于FCN网络模型，得到重构后的FCN网络模型。

[0112] 首先，在D‑S证据理论体系中，对一个命题的信任程度用基本概率分配(basic probability assignment，以下简称为bpa)来衡量，bpa也被称为质量函数(mass 
function)，其定义为：对于有限集 集合 的质量函数为由 的幂集到
区间[0,1]的映射： 满足：

[0113] 其中，幂集 中满足m(A)>0的子集A称为焦点集合；满足以下形式的bpa称为简单(simple)bpa：m(A)＝s, 对于简单bpa，变量ω:＝‑ln(1‑s)叫做证据的权
ω
重。那么，此简单bpa用证据权重ω可表示为：A 。

[0114] 对于一个基于FCN解决图像分割的问题，假设每个像素点的目标类别为为最后一层特征图(featuremaps)的J维(J＝nH*nW*nC)激活值。在
此，每一个 特征值(激活值)都被视为支持分类结果 的一条证据。在此定义，一
条证据 是否支持输入样本归类于Ck将取决于下面权重值的符号：

[0115]

[0116] 其中k＝1,…,K，j＝1,…,J，βjk，αjk为参数。当权重值ωjk>0时，本条证据支持样本+
属于子集{Ck}，证据权重(支持度)等于ωjk:＝max(0,ωjk)；当权重值ωjk<0时，本条证据支
‑
持样本属于{Ck}的补集 证据权重(支持度)等于ωjk :＝max(0,‑ωjk)。因此，对于每
个神经元的输出值 都有2个简单bpa：

[0117]

[0118] 因此，对于J个特征值(激活值)，K个目标类别，可抽取出J×K×2条证据，形成“原始证据池mjk”(如图3(c)所示)。

[0119] 然后，通过D‑S证据理论体系中的Dempster组合规则，得到J个特征值(激活值)对K个类别的置信度ml。最后，通过似然变换等一系列证据推理，针对K个类别得到归一化的似
然函数Pm(Ck)。该似然函数等价于通过神经网络全连接层线性计算，及由softmax函数归一
化处理后得到的预测概率值。本发明方法进一步将上述方法移植于FCN网络模型中，将FCN
网络模型的输出结果P(Ck)等价于基于证据推理方法得到的似然函数Pm(Ck)。

[0120] 图3(c)描述了将D‑S证据理论体系应用于(迁移至)FCN网络的完整过程，即，首先通过D‑S证据理论计算得到原始证据池mjk；再将Dempster组合规则应用于原始证据池mjk，
通过计算得到对K个类别的置信度ml和不确定性度量指标Conflict,Ignorance以及
Entropy。不确定性度量指标用于评估预测结果的不确定性。

[0121] K个类别的置信度ml经过似然变换得到归一化似然函数Pm。经过论证得出Pm与标准FCN的输出是等价的，该结论证明将D‑S证据理论体系迁移至FCN网络是完全可行的。本发明
将D‑S证据理论体系与FCN结合，并且提出的不确定性度量指标是对D‑S证据理论体系的扩
展。

[0122] 步骤S40、将待分割的图像数据输入到重构后的FCN网络模型，FCN网络模型输出待分割的图像数据中每个像素点的分类结果，利用D‑S证据理论指标计算出每个像素点的分
类结果不确定值。

[0123] 将待分割的图像数据输入到重构后的FCN网络模型，假设需要将图像分割为K+1类，外加“背景”类别，FCN网络模型的最后一个卷积层需要K个滤波器(filter)。将网络最后
两层(卷积层和softmax输出层)展开如图3(b)所示，最后一层特征图(featuremaps)的尺寸
及通道数分别为nH，nW和nC， 为特征图的激活值(输出值).

[0124] 上述重构后的FCN网络模型进行语义分割需要的参数及步骤：

[0125] 1、从FCN网络模型最后一组特征图(feature maps)提取激活值 是J维(J＝nH*nW*nC)的激活值，同时提取FCN的最后一个卷积层的滤波器的权重w及偏置b；

[0126] 2、利用步骤1中得到的激活值 权重w及偏置b，通过计算得到原始证据池mjk；

[0127] 3、将Dempster组合规则应用于原始证据池mjk，通过计算得到对K个类别的置信度ml和不确定性度量指标Conflict，Ignorance以及Entropy。

[0128] 本发明中的FCN网络模型的输出结果P(CK)可简要表达为：

[0129]

[0130] 通过训练后的模型推理计算，得到N*nH*nW*nC*(K+1)维的预测数据，其中N为输入图片样本数量，nH，nW，nC分别为原始图片的尺寸：高度、宽度、颜色通道数，K为分类类别数。

[0131] 提取最后一层特征图的所有激活值 和训练得到的滤波器的权重w及偏置b，计算以下三类模型预测结果的不确定值。

[0132] 下面的三个参数：冲突度F、信息无效度 和不确定熵H(m)是用来评估图像最终分割结果的不确定性。FCN网络模型仅能输出每个像素点的分类结果，即图像分割结果，
但结果可能是错误的，原模型无法判断结果的真实性，尤其针对安全关键系统，需要通过其
他指标判断预测结果，本发明提出的三个指标均能判断每个像素点的分类结果的不确定
性，也就是分割结果的不确定性，例如三个指标很高的情况，可以选择不信任或丢弃预测结
果。

[0133] 信息冲突度(Conflict)：在D‑S证据理论中，冲突度用来表示证据间的矛盾程度，对于代表两条证据的bpa：m1和m2冲突度的定义为(2‑5)。该指标计算各证据对相斥命题支持
度的正交和，意在度量不同证据的相互矛盾程度。因此，本发明根据公式(2‑7)推理图像最
终分割结果的F。

[0134] 在D‑S证据理论中，冲突度用来表示证据间的矛盾程度，对于两条证据m1和m2的冲突度F的计算方法为公式(2‑5)；

[0135]

[0136] m1为证据1的mass函数，m2为证据2的mass函数。

[0137] 当F≠0时，则正交和m也是一个概率分配函数，当F＝0时，则不存在正交和m，此时称作m1与m2相矛盾；

[0138] 所述待分割的图像数据的最终分割结果的冲突度F的计算方法为(2‑7)、(2‑8)和(2‑9)；

[0139]

[0140]

[0141]

[0142] 其中 表示证据的总权重的正相关支持， 表示负相关支持，K为分类的类别+ ‑
数，η，η是推理公式的中间变量。

[0143] 精确计算特征图的激活值对预测结果的信息冲突度，即一组激活值支持不同分类成果的程度。

[0144] 信息无效度(Ignorance)：信息无效度是指对全集 分配的基本概率，即 定义为：

[0145]

[0146] 当 时，意味着对该命题完全未知。同理，本发明根据公式(2‑11)推理待分割的图像数据的最终分割结果的信息无效度m(Θ)，精确计算每个样本的激活值对预测
结果的信息无效度，即一组激活值缺乏有效信息来确定分类结果的程度。

[0147] 使用m(Θ)表示无法进行分配的信任度，计算公式为式(2‑11)。

[0148]‑1 + ‑

[0149] 其中，η＝(1‑F) ， 表示负相关支持，K为分类的类别数，η，η，η是推理公式的+ ‑
中间变量，η与η参见公式(2‑8)与(2‑9)。

[0150] 不确定熵(Entropy)：熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。在信息论里面，Shannon熵是对不确定性的测量。D‑S证据理论的扩展理论中，也有
大量研究采用熵来度量bpa的不确定度。本发明综述并全面比对了bpa熵的各类度量方法，
并提出了一个新的bpa熵的定义，用来衡量bpa的总不确定熵(total  uncertainty 
entropy)。本发明采用总不确定熵来度量神经网络的不确定性，其定义如下：

[0151]

[0152]

[0153]

[0154] 公式(2‑14)由(2‑15)与(2‑16)代入计算得出其中；其中|a|为子集a中元素的个数；pl_Pm(x)为概率mass函数(即归一化似然函数)，计算方法见公式(2‑15)，pl(xi)为似然
‑1
函数；m(a)为集合 的子集的mass函数，计算方法见公式(2‑16)，η＝(1‑F) 。

[0155] 使用m({θk})表示根据D‑S证据理论的组合规则计算所得到的对分类{θk}的总置信‑1
度，其计算公式为式(2‑10)，其中η＝(1‑F) 。

[0156]

[0157] 其中，η＝(1‑F)‑1，η+与η‑参见公式(2‑8)与(2‑9)。

[0158] 第一部分Hs(pl_Pm)是对应于bpa的香农熵，第二部分Hd(m)计算分配给非单一元素集合基本概率的不确定熵之和。两部分度量值相加即为神经网络对一个样本预测结果的总
不确定熵。总不确定熵用来度量模型预测结果的不确定性。

[0159] 本发明利用全卷积网络的结构特点，将用于神经网络或多层感知器(Multilayer Perceptron，MLP)的证据分类器，迁移至用于图像语义分割的各类全卷积网络，如FCN，
SegNet，U‑Net。

[0160] 本发明将证据分类器与用于图像语义分割的全卷积网络结合，是一种基于D‑S证据理论进行模型预测不确定性量化和辅助决策的方法；

[0161] 本发明基于证据推理，可量化三类具有明确语义的不确定性指标，即能够区分“缺乏证据”、“冲突证据”及“香农熵”的不确定性。本发明解决了如何量化语义分割网络模型输
出的不确定性，如何评估语义分割网络模型的不确定性和如何量化语义分割网络模型决策
的可信度的问题。

[0162] 综上所述，本发明实施例方法只需通过一次模型推理就能得到不确定度的量化值；与现有技术相比较，本发明可在短时间内有效完成对语义分割不确定度的量化计算，克
服了现有技术方法的计算量非常庞大，无法在短时间内有效完成对语义分割不确定度的推
理计算。极大提高计算效率，节约时间、资源成本。

[0163] 本发明解决了如何量化神经网络输出的不确定性，如何评估语义分割网络模型的不确定性和如何量化神经网络决策的可信度的问题，效果显著。

[0164] 此外，本发明基于证据推理，可量化三类具有明确语义的不确定性指标，即能够区分“缺乏证据”、“冲突证据”及“香农熵”的不确定性，为基于模型预测值进行决策提供更多
的有效支持。

[0165] 回答：本发明采用证据推理方法从语义分割的网络模型中提取预测不确定信息，提出了不确定性量化指标。

[0166] 发明将证据分类器与用于图像语义分割的全卷积网络结合，是一种基于D‑S证据理论进行模型预测不确定性量化和辅助决策的方法。

[0167] 本发明方法只需通过一次模型推理就能得到不确定度的量化值。

[0168] 与现有技术相比较，本发明可在短时间内有效完成对语义分割不确定度的量化计算，极大提高计算效率，节约时间、资源成本。

[0169] 本发明解决了如何量化神经网络输出的不确定性，如何评估语义分割模型的不确定性和如何量化神经网络决策的可信度的问题，效果显著。

[0170] 本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

[0171] 通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质
上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品
可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备
(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些
部分所述的方法。

[0172] 本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或
系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法
实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为
分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或
者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根
据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术
人员在不付出创造性劳动的情况下，即可以理解并实施。

[0173] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，
都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围
为准。