本发明提出一种基于属性的多模态可解释分类的方法与系统，通过批归一化通道交换及邓普斯特‑谢弗理论，利用多模态数据的互补能力，有效提高分类准确性；根据对象具有的属性以及决策树推理规则对预测结果进行解释，运用不同的损失函数描述对象在决策树叶层级和内部层级的推理损失，以及分类属性原型在决策树叶层级和内部层级的损失；进行训练时，将多模态分类数据集输入至模型中，反向传播训练网络权重以最小化训练损失，将损失函数降低至最低点；进行分类预测时，将多模态数据输入至训练完成的网络，得到检测物体的预测结果，通过可视化展示物体具有的属性及决策树推理规则及路由信息，以对预测结果进行很好地解释。
1.一种基于属性的多模态可解释分类方法，其特征在于，所述方法包括如下步骤：步骤一、通过多种传感器，获取图片中待分类识别的对象的多模态原始数据；
步骤二、将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图，并使用全局最大池化从模态特征图中提取模态属性强度；
步骤三、在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换，利用正则化损失函数稀疏批归一化层，用于增强各模态之间的数据互补能力；
步骤四、计算所述模态属性强度的置信度和不确定度，并利用邓普斯特‑谢弗理论对所述模态属性强度的置信度与不确定度进行融合，以计算得到对象的属性强度；
步骤五、将所述对象的属性强度输入至决策树，在决策树中利用嵌入决策推理规则进行软推理，以预测得到各类别概率并选择概率最大的一个类别作为预测结果，通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数，内部层级推理损失函数以及类别原型损失函数，对所述ResNet卷积神经网络进行优化；
步骤六、根据所述对象的属性强度、决策树推理规则以及路由信息，对所述预测结果进行解释；
在所述步骤二中，提取模态属性强度的方法包括如下步骤：将所述多模态原始数据 输入至对应模态的ResNet卷积神经网络中的网络特征提取模块中，以提取得到模态特征图 ；
利用全局最大池化对所述模态特征图进行提取，以得到模态属性强度；
使用带泄露整流函数对所述模态属性强度进行约束，微调后保证模态属性强度为非负数 ；
其中， 表示模态原始数据，表示模态特征图，表示模态属性强度， 表示第 个模态原始数据，表示第 个模态特征图， 表示第 个模态属性强度，表示模态数量， 表示第 个模态的ResNet卷积神经网络的特征提取操作，表示模态属性的数量， 表示最大值函数， 表示最小值函数， 表示泄露值为0.01的带泄露整流函数， 表示全局最大池化，表示微调偏移量；
在所述步骤三中，批归一化通道交换的计算公式表示为：其中， 表示第 个模态的批归一化通道交换结果， 表示第 个模态的批归一化缩放因子， 表示第 个模态的批归一化偏移量， 表示第 个模态的批归一化缩放因子， 表示第 个模态的批归一化偏移量， 表示第 个模态原始数据， 表示样本平均值，表示样本方差，表示批归一化通道交换阈值；
在所述步骤四中，计算对象的属性强度的方法包括如下步骤：计算各模态属性强度的狄利克雷分布 ，公式表示为：其中， 表示第 个模态的第 个属性强度， 表示第 个模态的第 个属性强度的狄利克雷分布；
计算模态属性强度的置信度 与不确定度 ，公式表示为：其中， 表示第 个模态属性强度的狄利克雷强度， 表示第 个模态的第 个属性强度的置信度， 表示第 个模态属性强度的不确定度；
根据邓普斯特‑谢弗理论对模态属性强度的置信度与不确定度进行融合，计算得到对象的属性强度 ，公式表示为：其中，表示模态间数据的冲突程度， 表示模态的第 个属性融合置信度，表示模态属性强度的融合不确定度， 表示第 个模态属性强度的不确定度， 表示对象的第 个属性强度，表示模态属性强度的狄利克雷强度；
在所述步骤五中，利用嵌入决策推理规则进行软推理的方法包括如下步骤：构建决策树，计算类别层次矩阵，公式表示为：
其中， 表示类别层次矩阵，用于确认根到节点 是否经过节点 ；
计算经softmax函数处理的节点决策概率 ，公式表示为：其中， 表示节点 的决策概率， 表示对象的属性强度， 表示归一化操作，表示嵌入决策推理规则， ， 表示类别数量；
计算每个节点所代表类别的预测概率 ，公式表示为：将多个预测概率中数值最大的预测概率作为预测结果；
其中， 表示正则化损失函数，表示正则化损失系数，表示进行批归一化通道交换的层次数量， 表示样本绝对值， 表示第 个模态的第 层批归一化缩放因子平均值，；
其中， 表示改进的交叉熵损失函数， 表示KL散度， 表示多模态融合损失函数， 表示决策树推理损失函数， 表示推理损失函数， 表示叶层级推理损失函数，表示对象的类别向量， 表示双伽马函数， 表示第 个模态的狄利克雷分布， 表示去除不正确证据后第 个模态的狄利克雷分布， 表示属性强度的狄利克雷分布，表示去除不正确证据后属性强度的狄利克雷分布，表示向量内积， 表示伽马函数， 表示狄利克雷函数，表示KL散度权重， 表示交叉熵损失函数，表示叶子节点代表类别的预测概率， 表示ReLU函数的平滑操作， 表示叶子节点的嵌入决策推理规则；
其中，表示类别具有的原型属性强度， 表示类别具有的独特属性；
其中， 表示第 类原型属性强度的叶层级损失函数， 表示第 类原型属性强度， 表示决策树推理损失函数， 表示叶子节点；
其中， 表示类别的原型属性强度的内部损失函数， 表示决策树中除叶子节点以外的所有节点；
其中，表示类别原型损失函数， 均表示损失函数权重参数。
2.一种基于属性的多模态可解释分类系统，其特征在于，所述系统应用如上述权利要求1所述的基于属性的多模态可解释分类方法，所述系统包括：信息获取模块，用于：
通过多种传感器，获取图片中待分类识别的对象的多模态原始数据；
将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图，并使用全局最大池化从模态特征图中提取模态属性强度；
在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换，利用正则化损失函数稀疏批归一化层，用于增强各模态之间的数据互补能力；
计算所述模态属性强度的置信度和不确定度，并利用邓普斯特‑谢弗理论对所述模态属性强度的置信度与不确定度进行融合，以计算得到对象的属性强度；
将所述对象的属性强度输入至决策树，在决策树中利用嵌入决策推理规则进行软推理，以预测得到各类别概率并选择概率最大的一个类别作为预测结果，通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数，内部层级推理损失函数以及类别原型损失函数，对所述ResNet卷积神经网络进行优化；
根据所述对象的属性强度、决策树推理规则以及路由信息，对所述预测结果进行解释。
基于属性的多模态可解释分类的方法与系统
技术领域
[0001] 本发明涉及计算机数据处理技术领域，特别涉及一种基于属性的多模态可解释分类的方法与系统。
背景技术
[0002] 由于人工智能存在着脆弱和易受攻击的缺陷，高度的不确定性与复杂性使人们无法理解决策背后的原因。因此，探索一种更为安全准确并且可解释的人工智能，是非常有必要的。
[0003] 目前，神经网络的准确性已经得到了极大提高，但人工智能可解释性的研究仍处于初期阶段。常见的人工智能可解释性的研究包括：影响函数分析训练数据对人工智能模型的影响；Grad‑CAM可视化地分析人工智能模型利用的数据特征；LIME利用可解释模型局部近似复杂的黑盒模型；决策树层层推理实现最终的分类。然而，上述这些可解释方法的理论框架仍有待完善，方法的准确性和有效性仍然较低。
[0004] 基于此，有必要提出一种新型的基于属性的多模态可解释分类方法，以尽可能提高人工智能的可解释性，同时增强可解释方法的准确性和有效性，提高运行效率。
发明内容
[0005] 为此，本发明的实施例提出一种基于属性的多模态可解释分类的方法与系统，以解决上述技术问题。
[0006] 本发明提出一种基于属性的多模态可解释分类方法，其中，所述方法包括如下步骤：
[0007] 步骤一、通过多种传感器，获取图片中待分类识别的对象的多模态原始数据；
[0008] 步骤二、将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图，并使用全局最大池化从模态特征图中提取模态属性强度；
[0009] 步骤三、在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换，利用正则化损失函数稀疏批归一化层，用于增强各模态之间的数据互补能力；
[0010] 步骤四、计算所述模态属性强度的置信度和不确定度，并利用邓普斯特‑谢弗理论对所述模态属性强度的置信度与不确定度进行融合，以计算得到对象的属性强度；
[0011] 步骤五、将所述对象的属性强度输入至决策树，在决策树中利用嵌入决策推理规则进行软推理，以预测得到各类别概率并选择概率最大的一个类别作为预测结果，通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数，内部层级推理损失函数以及类别原型损失函数，对所述ResNet卷积神经网络进行优化；
[0012] 步骤六、根据所述对象的属性强度、决策树推理规则以及路由信息，对所述预测结果进行解释。
[0013] 本发明提出一种基于属性的多模态可解释分类方法，通过批归一化通道交换及邓普斯特‑谢弗理论，利用多模态数据的互补能力，有效提高分类的准确性；同时，根据图片中待分类识别的对象所具有的属性以及决策树推理规则对预测结果进行解释，运用四种不同的损失函数描述对象在决策树叶层级和内部层级的推理损失，以及分类属性原型在决策树叶层级和内部层级的损失；
[0014] 在进行训练时，将多模态分类数据集输入至模型中，反向传播训练网络权重以最小化训练损失，将损失函数降低至最低点；在进行分类预测时，只需要将多模态数据输入至训练完成的网络，便能得到检测物体的预测结果，通过可视化展示物体具有的属性及决策树推理规则及路由信息，得到预测的过程及依据，以对预测结果进行很好地解释。
[0015] 本发明还提出一种基于属性的多模态可解释分类系统，其中，所述系统包括：
[0016] 信息获取模块，用于：
[0017] 通过多种传感器，获取图片中待分类识别的对象的多模态原始数据；
[0018] 属性提取模块，用于：
[0019] 将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图，并使用全局最大池化从模态特征图中提取模态属性强度；
[0020] 通道交换模块，用于：
[0021] 在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换，利用正则化损失函数稀疏批归一化层，用于增强各模态之间的数据互补能力；
[0022] 属性融合模块，用于：
[0023] 计算所述模态属性强度的置信度和不确定度，并利用邓普斯特‑谢弗理论对所述模态属性强度的置信度与不确定度进行融合，以计算得到对象的属性强度；
[0024] 卷积优化模块，用于：
[0025] 将所述对象的属性强度输入至决策树，在决策树中利用嵌入决策推理规则进行软推理，以预测得到各类别概率并选择概率最大的一个类别作为预测结果，通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数，内部层级推理损失函数以及类别原型损失函数，对所述ResNet卷积神经网络进行优化；
[0026] 模型解释模块，用于：
[0027] 根据所述对象的属性强度、决策树推理规则以及路由信息，对所述预测结果进行解释。
[0028] 本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
[0029] 本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0030] 图1为本发明提出的基于属性的多模态可解释分类方法的流程图；
[0031] 图2为本发明提出的基于属性的多模态可解释分类系统的结构图。
具体实施方式
[0032] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0033] 请参阅图1，本发明提出一种基于属性的多模态可解释分类方法，其中，所述方法包括如下步骤：
[0034] S101、通过多种传感器，获取图片中待分类识别的对象的多模态原始数据。
[0035] S102、将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图，并使用全局最大池化从模态特征图中提取模态属性强度。
[0036] 在步骤S102中，提取模态属性强度的方法包括如下步骤：
[0037] S1021、将所述多模态原始数据 输入至对应模态的ResNet卷积神经网络中的网络特征提取模块中，以提取得到模态特征图 ；
[0038] S1022、利用全局最大池化对所述模态特征图进行提取，以得到模态属性强度；
[0039] S1023、使用带泄露整流函数对所述模态属性强度进行约束，微调后保证模态属性强度为非负数 ；
[0040] 对应的计算公式表示为：
[0041]
[0042] 其中， 表示模态原始数据，表示模态特征图，表示模态属性强度， 表示第个模态原始数据，表示第 个模态特征图， 表示第 个模态属性强度， 表示模态数量，表示第 个模态的ResNet卷积神经网络的特征提取操作， 表示模态属性的数量，表示最大值函数， 表示最小值函数， 表示泄露值为0.01的带泄露整流函数，表示全局最大池化，表示微调偏移量。
[0043] S103、在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换，利用正则化损失函数稀疏批归一化层，用于增强各模态之间的数据互补能力。
[0044] 在步骤S103中，批归一化通道交换的计算公式表示为：
[0045]
[0046] 其中， 表示第 个模态的批归一化通道交换结果， 表示第 个模态的批归一化缩放因子， 表示第 个模态的批归一化偏移量， 表示第 个模态的批归一化缩放因子，表示第 个模态的批归一化偏移量， 表示第 个模态原始数据， 表示样本平均值，表示样本方差，表示批归一化通道交换阈值。
[0047] 进一步的，上述正则化损失函数表示为：
[0048]
[0049] 其中， 表示正则化损失函数，表示正则化化损失系数，表示进行批归一化通道交换的层次数量， 表示样本绝对值， 表示第 个模态的第 层批归一化缩放因子平均值， 。
[0050] S104、计算所述模态属性强度的置信度和不确定度，并利用邓普斯特‑谢弗理论对所述模态属性强度的置信度与不确定度进行融合，以计算得到对象的属性强度。
[0051] 在步骤S104中，计算对象的属性强度的方法包括如下步骤：
[0052] S1041、计算各模态属性强度的狄利克雷分布 ，公式表示为：
[0053]
[0054] 其中， 表示第 个模态的第 个属性强度， 表示第 个模态的第 个属性强度的狄利克雷分布；
[0055] S1042、计算模态属性强度的置信度 与不确定度 ，公式表示为：
[0056]
[0057] 其中， 表示第 个模态属性强度的狄利克雷强度， 表示第 个模态的第 个属性强度的置信度， 表示第 个模态属性强度的不确定度；
[0058] S1043、根据邓普斯特‑谢弗理论对模态属性强度的置信度与不确定度进行融合，计算得到对象的属性强度 ，公式表示为：
[0059]
[0060] 其中，表示模态间数据的冲突程度， 表示模态的第 个属性融合置信度， 表示模态属性强度的融合不确定度， 表示第 个模态属性强度的不确定度， 表示对象的第 个属性强度，表示模态属性强度的狄利克雷强度。
[0061] S105、将所述对象的属性强度输入至决策树，在决策树中利用嵌入决策推理规则进行软推理，以预测得到各类别概率并选择概率最大的一个类别作为预测结果，通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数，内部层级推理损失函数以及类别原型损失函数，对所述ResNet卷积神经网络进行优化。
[0062] 在步骤S105中，利用嵌入决策推理规则进行软推理的方法包括如下步骤：
[0063] S1051、构建决策树，计算类别层次矩阵，公式表示为：
[0064]
[0065] 其中， 表示类别层次矩阵，用于确认根到节点 是否经过节点 ；
[0066] S1052、计算经softmax函数处理的节点决策概率 ，公式表示为：
[0067]
[0068] 其中， 表示节点 的决策概率， 表示对象的属性强度， 表示归一化操作， 表示嵌入决策推理规则， ， 表示类别数量；
[0069] S1053、计算每个节点所代表类别的预测概率 ，公式表示为：
[0070]
[0071] 其中， 表示节点 的决策概率；
[0072] S1054、将多个预测概率中数值最大的预测概率作为预测结果。
[0073] 进一步的，上述的叶层级推理损失函数表示为：
[0074] 其中， 表示改进的交叉熵损失函数， 表示KL散度， 表示多模态融合损失函数，
表示决策树推理损失函数， 表示推理损失函数， 表示叶层级推理损失函
数，表示对象的类别向量， 表示双伽马函数， 表示第 个模态的狄利克雷分布， 表示去除不正确证据后第 个模态的狄利克雷分布， 表示属性强度的狄利克雷分布，表示去除不正确证据后属性强度的狄利克雷分布，表示向量内积， 表示伽马函数， 表示狄利克雷函数，表示KL散度权重， 表示交叉熵损失函数， 表示叶子节点代
表类别的预测概率， 表示ReLU函数的平滑操作， 表示叶子节点的嵌入决策推理规则。
[0075] 进一步的，上述内部层级推理损失函数表示为：
[0076]
[0077] 其中， 表示内部层级推理损失函数。
[0078] 上述的类别原型损失函数计算的步骤包括：
[0079] 计算类别的原型属性强度：
[0080]
[0081] 其中，表示类别具有的原型属性强度， 表示类别具有的独特属性；
[0082] 计算类别的原型属性强度的叶层级损失函数：
[0083]
[0084] 其中， 表示第 类原型属性强度的叶层级损失函数， 表示第 类原型属性强度， 表示决策树推理损失函数， 表示叶子节点；
[0085] 计算类别的原型属性强度的内部损失函数：
[0086]
[0087] 其中， 表示类别的原型属性强度的内部损失函数， 表示决策树中除叶子节点以外的所有节点；
[0088] 类别原型损失函数表示为：
[0089]
[0090] 其中，表示类别原型损失函数， 均表示损失函数权重参数。
[0091] S106、根据所述对象的属性强度、决策树推理规则以及路由信息，对所述预测结果进行解释。
[0092] 本发明提出一种基于属性的多模态可解释分类方法，通过批归一化通道交换及邓普斯特‑谢弗理论，利用多模态数据的互补能力，有效提高分类的准确性；同时，根据图片中待分类识别的对象所具有的属性以及决策树推理规则对预测结果进行解释，运用四种不同的损失函数描述对象在决策树叶层级和内部层级的推理损失，以及分类属性原型在决策树叶层级和内部层级的损失；
[0093] 在进行训练时，将多模态分类数据集输入至模型中，反向传播训练网络权重以最小化训练损失，将损失函数降低至最低点；在进行分类预测时，只需要将多模态数据输入至训练完成的网络，便能得到检测物体的预测结果，通过可视化展示物体具有的属性及决策树推理规则及路由信息，得到预测的过程及依据，以对预测结果进行很好地解释。
[0094] 请参阅图2，本发明还提出一种基于属性的多模态可解释分类系统，其中，所述系统包括：
[0095] 信息获取模块，用于：
[0096] 通过多种传感器，获取图片中待分类识别的对象的多模态原始数据；
[0097] 属性提取模块，用于：
[0098] 将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图，并使用全局最大池化从模态特征图中提取模态属性强度；
[0099] 通道交换模块，用于：
[0100] 在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换，利用正则化损失函数稀疏批归一化层，用于增强各模态之间的数据互补能力；
[0101] 属性融合模块，用于：
[0102] 计算所述模态属性强度的置信度和不确定度，并利用邓普斯特‑谢弗理论对所述模态属性强度的置信度与不确定度进行融合，以计算得到对象的属性强度；
[0103] 卷积优化模块，用于：
[0104] 将所述对象的属性强度输入至决策树，在决策树中利用嵌入决策推理规则进行软推理，以预测得到各类别概率并选择概率最大的一个类别作为预测结果，通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数，内部层级推理损失函数以及类别原型损失函数，对所述ResNet卷积神经网络进行优化；
[0105] 模型解释模块，用于：
[0106] 根据所述对象的属性强度、决策树推理规则以及路由信息，对所述预测结果进行解释。
[0107] 应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
[0108] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0109] 尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
