基于多模态图像数据的多层次融合皮肤病诊断系统

摘要

本公开实施例中提供了一种基于多模态图像数据的多层次融合皮肤病诊断系统，属于医学诊断技术领域，具体包括：数据集构建模块采集临床图像和皮肤镜图像数据；将多模态图像数据集中两种模态数据分别输入两个模态特征提取模块中；通过通道维加权模块对输入特征进行加权，根据特征图对诊断的重要性，增加或减少相关特征的权重；特征融合模块提取两个模态特征提取模块中多个层次的特征，对同一维度的特征进行特征级融合；初步诊断模块包括多个分类器；最终诊断模块包括自适应性决策融合模块，通过自适应决策融合模块融合分析初步诊断结果，得到最终诊断结果。通过本公开的方案，有效解决多模态融合时的信息丢失问题，并提高皮肤病早期诊断的准确性。

权利要求

1.一种基于多模态图像数据的多层次融合皮肤病诊断系统，其特征在于，包括：数据集构建模块，所述数据集构建模块采集临床图像和皮肤镜图像数据，并对获取的数据进行预处理，获取对应的多模态图像数据集；

模态特征提取模块，模态特征提取模块与数据集构建模块连接，将所述多模态图像数据集中两种模态数据分别输入两个模态特征提取模块中，得到模态提取特征；

通道维加权模块，所述通道维加权模块与两个模态特征提取模块连接，在特征提取过程中，通过通道维加权模块对输入特征进行加权，根据特征图对诊断的重要性，增加或减少相关特征的权重；

特征融合模块，所述特征融合模块与两个模态特征提取模块连接，所述特征融合模块提取两个模态特征提取模块中多个层次的特征，对同一维度的特征进行特征级融合，得到多组融合特征；

初步诊断模块，两个模态特征提取模块和所述特征融合模块均与所述初步诊断模块连接，所述初步诊断模块包括多个分类器，将模态提取特征和融合特征分别传入多个分类器，从而得到多组初步诊断结果；

最终诊断模块，所述最终诊断模块与所述初步诊断模块连接，所述最终诊断模块包括自适应性决策融合模块，通过自适应决策融合模块融合分析初步诊断结果，得到最终诊断结果。

2.根据权利要求1所述的系统，其特征在于,所述模态特征提取模块为残差网络。

3.根据权利要求2所述的系统，其特征在于,所述残差网络包括四个由不同层数的BottleBlock块组成的卷积部分，每个卷积部分后均嵌入一个通道维加权模块。

4.根据权利要求3所述的系统，其特征在于,所述通过通道维加权模块对输入特征进行加权，根据特征图对诊断的重要性，增加或减少相关特征的权重过程具体包括：对于具有C个通道的特征图X，将其沿着通道维度进行特征压缩，将每个通道的二维特征图通过全局平均池化压缩成一个实数，得到压缩特征图；

对压缩特征图通过1×1的卷积分配其通道维度间的权重关系，得到带权压缩特征图；

将带权压缩特征图与原始特征图逐步相乘，完成在原始特征上的通道维度权重再分配。

5.根据权利要求4所述的系统，其特征在于,所述提取两个模态特征提取模块中多个层次的特征，对同一维度的特征进行特征级融合，得到多组融合特征过程具体包括：提取两个模态特征提取模块四个卷积部分输出的特征，经过通道维加权后，对同一维度特征采用相乘的方式进行融合，得到四个不同维度的融合特征。

6.根据权利要求5所述的系统，其特征在于,所述分类器为SVM分类器，所述将模态提取特征和融合特征分别传入多个分类器，从而得到多组初步诊断结果过程具体包括：将所述两个模态特征提取模块提取的特征和四个融合特征分别传入SVM分类器，得到六组初步诊断结果。

7.根据权利要求6所述的系统，其特征在于,所述通过自适应决策融合模块融合分析初步诊断结果，得到最终诊断结果过程具体包括：将每个分类器的分类结果和每个分类器的准确率作为自适应决策融合算法的输入；

统计得出具有最多相同诊断结果的分类器数量N；

比较N与设定的阈值 ，当N大于 时，直接输出N个分类器的结果作为最终诊断结果，否则计算基于D‑S证据理论融合产生的冲突因子K，若冲突因子大于0.5，则选用多数投票原则作为融合方法，反之则通过D‑S证据理论作为融合规则，最后，输出通过融合得到的结果做为最终诊断。

说明书

基于多模态图像数据的多层次融合皮肤病诊断系统

技术领域

[0001] 本公开实施例涉及医学诊断技术领域，尤其涉及一种基于多模态图像数据的多层次融合皮肤病诊断系统。

背景技术

[0002] 目前，皮肤病是世界上最常见的疾病之一，具有很高的致癌率。皮肤癌大致可分为两种类型：非黑色素瘤皮肤癌和黑色素瘤。其中非黑色素瘤皮肤癌如果没有及早发现和治疗会造成局部的毁容。而相比之下黑色素瘤则更加危险，其死亡率极高，然而如果能在早期发现可以使生存率大大提高，达到93%以上。因此，对于皮肤病的早期诊断尤为重要。

[0003] 许多研究人员开始研究基于计算机的皮肤病自动诊断分类系统，以辅助临床诊断。传统的基于图像数据的皮肤病诊断方法通常可分为两类：第一种是基于单模态数据的皮肤病自动诊断模型，然而单一模态数据可能只包含病变的部分信息，无法满足疾病诊断的高精度需求；于是许多专家都开始转向基于多模态数据的诊断方法研究，多模态数据在输入信息的完备性和抗噪方面具有显著优势，即每个模态都会包含一定其它模态所没有的信息。综合不同数据的观测优势，实现信息的互补，可以获得更加全面的语义表达，为模型决策提供更多的信息，从而提高疾病诊断结果的准确率。

[0004] 在传统基于多模态数据的皮肤病诊断研究都是单一阶段进行信息的融合，或是特征层面的融合，或是决策层面的融合，而不管是哪个层次的融合都会造成不同方面及程度的信息丢失。所有的特征级融合过程中都需要对不同模态特征进行统一结构的表示学习，这一过程不可避免的会丧失各模态本身的特有信息。而决策级融合则忽略了模态特征之间的关系，没有考虑不同模态的低维特征的相互作用。

[0005] 可见，亟需一种有效解决现有在多模态融合时产生的信息丢失问题，并提高皮肤病早期诊断的准确性的基于多模态图像数据的多层次融合皮肤病诊断系统。

发明内容

[0006] 有鉴于此，本公开实施例提供一种基于多模态图像数据的多层次融合皮肤病诊断系统，至少部分解决现有技术中存在信息丢失和诊断准确性较差的问题。

[0007] 本公开实施例提供了一种基于多模态图像数据的多层次融合皮肤病诊断系统，包括：

[0008] 数据集构建模块，所述数据集构建模块采集临床图像和皮肤镜图像数据，并对获取的数据进行预处理，获取对应的多模态图像数据集；

[0009] 模态特征提取模块，模态特征提取模块与数据集构建模块连接，将所述多模态图像数据集中两种模态数据分别输入两个模态特征提取模块中，得到模态提取特征；

[0010] 通道维加权模块，所述通道维加权模块与两个模态特征提取模块连接，在特征提取过程中，通过通道维加权模块对输入特征进行加权，根据特征图对诊断的重要性，增加或减少相关特征的权重；

[0011] 特征融合模块，所述特征融合模块与两个模态特征提取模块连接，所述特征融合模块提取两个模态特征提取模块中多个层次的特征，对同一维度的特征进行特征级融合，得到多组融合特征；

[0012] 初步诊断模块，两个模态特征提取模块和所述特征融合模块均与所述初步诊断模块连接，所述初步诊断模块包括多个分类器，将模态提取特征和融合特征分别传入多个分类器，从而得到多组初步诊断结果；

[0013] 最终诊断模块，所述最终诊断模块与所述初步诊断模块连接，所述最终诊断模块包括自适应性决策融合模块，通过自适应决策融合模块融合分析初步诊断结果，得到最终诊断结果。

[0014] 根据本公开实施例的一种具体实现方式，所述模态特征提取模块为残差网络。

[0015] 根据本公开实施例的一种具体实现方式，所述残差网络包括四个由不同层数的BottleBlock块组成的卷积部分，每个卷积部分后均嵌入一个通道维加权模块。

[0016] 根据本公开实施例的一种具体实现方式，所述通过通道维加权模块对输入特征进行加权，根据特征图对诊断的重要性，增加或减少相关特征的权重过程具体包括：

[0017] 对于具有C个通道的特征图X，将其沿着通道维度进行特征压缩，将每个通道的二维特征图通过全局平均池化压缩成一个实数，得到压缩特征图；

[0018] 对压缩特征图通过1×1的卷积分配其通道维度间的权重关系，得到带权压缩特征图；

[0019] 将带权压缩特征图与原始特征图逐步相乘，完成在原始特征上的通道维度权重再分配。

[0020] 根据本公开实施例的一种具体实现方式，所述提取两个模态特征提取模块中多个层次的特征，对同一维度的特征进行特征级融合，得到多组融合特征过程具体包括：

[0021] 提取两个模态特征提取模块四个卷积部分输出的特征，经过通道维加权后，对同一维度特征采用相乘的方式进行融合，得到四个不同维度的融合特征。

[0022] 根据本公开实施例的一种具体实现方式，所述分类器为SVM分类器，所述将模态提取特征和融合特征分别传入多个分类器，从而得到多组初步诊断结果过程具体包括：

[0023] 将所述两个模态特征提取模块提取的特征和四个融合特征分别传入SVM分类器，得到六组初步诊断结果。

[0024] 根据本公开实施例的一种具体实现方式，所述通过自适应决策融合模块融合分析初步诊断结果，得到最终诊断结果过程具体包括：

[0025] 将每个分类器的分类结果和每个分类器的准确率作为自适应决策融合算法的输入；

[0026] 统计得出具有最多相同诊断结果的分类器数量N；

[0027] 比较N与设定的阈值 ，当N大于 时，直接输出N个分类器的结果作为最终诊断结果，否则计算基于D‑S证据理论融合产生的冲突因子K，若冲突因子大于0.5，则选用多数投票原则作为融合方法，反之则通过D‑S证据理论作为融合规则，最后，输出通过融合得到的结果做为最终诊断。

[0028] 本公开实施例中的基于多模态图像数据的多层次融合皮肤病诊断系统，包括：数据集构建模块，所述数据集构建模块采集临床图像和皮肤镜图像数据，并对获取的数据进行预处理，获取对应的多模态图像数据集；模态特征提取模块，两个模态特征提取模块与采集模块连接，将所述多模态图像数据集中两种模态数据分别输入两个模态特征提取模块中，得到模态提取特征；通道维加权模块，所述通道维加权模块与两个模态特征提取模块连接，在特征提取过程中，通过通道维加权模块对输入特征进行加权，根据特征图对诊断的重要性，增加或减少相关特征的权重；特征融合模块，所述特征融合模块与两个模态特征提取模块连接，所述特征融合模块提取两个模态特征提取模块中多个层次的特征，对同一维度的特征进行特征级融合，得到多组融合特征；初步诊断模块，两个模态特征提取模块和所述特征融合模块均与所述初步诊断模块连接，所述初步诊断模块包括多个分类器，将模态提取特征和融合特征分别传入多个分类器，从而得到多组初步诊断结果；最终诊断模块，所述最终诊断模块与所述初步诊断模块连接，所述最终诊断模块包括自适应性决策融合模块，通过自适应决策融合模块融合分析初步诊断结果，得到最终诊断结果。

[0029] 本公开实施例的有益效果为：通过本公开的方案，引入了一种通道维加权模块，学习通道之间的依赖关系，有效的增强特征中对于病变诊断相关的信息。并且基于卷积神经网络的分层特征提取特性，通过对多个层次特征的交互融合获得数据间的相关和互补信息，特别的，引入决策级融合策略，进一步对基于多个特征通道的初步分类结果进行分析融合，提取诊断信息来获得更准确的诊断结果，能够有效的应用于临床上辅助医生对皮肤病进行早期诊断。

附图说明

[0030] 为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

[0031] 图1为本公开实施例提供的一种基于多模态图像数据的多层次融合皮肤病诊断系统的结构示意图；

[0032] 图2为本公开实施例提供的一种基于多模态图像数据的多层次融合皮肤病诊断系统使用过程的流程示意图；

[0033] 图3为本公开实施例提供的一种基于多模态图像数据的多层次融合皮肤病诊断系统使用时的原理框架示意图；

[0034] 图4为本公开实施例提供的一种通道维加权模块结构示意图；

[0035] 图5为本公开实施例提供的一种自适应决策融合算法流程示意图。

[0036] 附图标记汇总：

[0037] 基于多模态图像数据的多层次融合皮肤病诊断系统100；

[0038] 数据集构建模块110，模态特征提取模块120，通道维加权模块130，特征融合模块140，初步诊断模块150，最终诊断模块160。

具体实施方式

[0039] 下面结合附图对本公开实施例进行详细描述。

[0040] 以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

[0041] 需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

[0042] 还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

[0043] 另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

[0044] 本公开实施例提供一种基于多模态图像数据的多层次融合皮肤病诊断系统，所述方法可以应用于医疗场景的皮肤病早期诊断过程中。

[0045] 参见图1，为本公开实施例提供的一种基于多模态图像数据的多层次融合皮肤病诊断系统的结构示意图。如图1所示，所述基于多模态图像数据的多层次融合皮肤病诊断系统100主要包括：

[0046] 数据集构建模块110，所述数据集构建模块110采集临床图像和皮肤镜图像数据，并对获取的数据进行预处理，获取对应的多模态图像数据集；

[0047] 模态特征提取模块120，模态特征提取模块120与数据集构建模块110连接，将所述多模态图像数据集中两种模态数据分别输入两个模态特征提取模块120中，得到模态提取特征；

[0048] 通道维加权模块130，所述通道维加权模块130与两个模态特征提取模块120连接，在特征提取过程中，通过通道维加权模块130对输入特征进行加权，根据特征图对诊断的重要性，增加或减少相关特征的权重；

[0049] 特征融合模块140，所述特征融合模块140与两个模态特征提取模块120连接，所述特征融合模块140提取两个模态特征提取模块120中多个层次的特征，对同一维度的特征进行特征级融合，得到多组融合特征；

[0050] 初步诊断模块150，两个模态特征提取模块120和所述特征融合模块140均与所述初步诊断模块150连接，所述初步诊断模块150包括多个分类器，将模态提取特征和融合特征分别传入多个分类器，从而得到多组初步诊断结果；

[0051] 最终诊断模块160，所述最终诊断模块160与所述初步诊断模块150连接，所述最终诊断模块160包括自适应性决策融合模块，通过自适应决策融合模块融合分析初步诊断结果，得到最终诊断结果。

[0052] 具体装配时，可以将两个模态特征提取模块120与数据集构建模块110连接，然后将所述通道维加权模块130与两个模态特征提取模块120连接，再将所述特征融合模块140与两个模态特征提取模块120连接，同时，两个模态特征提取模块120和所述特征融合模块140均与所述初步诊断模块150连接，最后将所述最终诊断模块160与所述初步诊断模块150连接。

[0053] 在使用时，所述基于多模态图像数据的多层次融合皮肤病诊断系统100使用过程如图2所示，所述数据集构建模块110采集临床图像和皮肤镜图像数据，并对获取的数据进行预处理，获取对应的多模态图像数据集，然后将所述多模态图像数据集中两种模态数据分别输入两个模态特征提取模块120中，得到模态提取特征，在特征提取过程中，通过通道维加权模块130对输入特征进行加权，根据特征图对诊断的重要性，增加或减少相关特征的权重，所述特征融合模块140提取两个模态特征提取模块120中多个层次的特征，对同一维度的特征进行特征级融合，得到多组融合特征，再将模态提取特征和融合特征分别传入多个分类器，从而得到多组初步诊断结果，然后通过自适应决策融合模块融合分析初步诊断结果，得到最终诊断结果。

[0054] 本实施例提供的基于多模态图像数据的多层次融合皮肤病诊断系统，通过引入了一种通道维加权模块，学习通道之间的依赖关系，有效的增强特征中对于病变诊断相关的信息。并且基于卷积神经网络的分层特征提取特性，通过对多个层次特征的交互融合获得数据间的相关和互补信息，特别的，引入决策级融合策略，进一步对基于多个特征通道的初步分类结果进行分析融合，提取诊断信息来获得更准确的诊断结果，能够有效的应用于临床上辅助医生对皮肤病进行早期诊断。

[0055] 可选的，所述模态特征提取模块120为残差网络。

[0056] 进一步的，所述残差网络包括四个由不同层数的BottleBlock块组成的卷积部分，每个卷积部分后均嵌入一个通道维加权模块130。

[0057] 具体实施时，图3示出了本发明实施例中基于多模态图像数据的多层次融合皮肤病诊断方法框架图；构建两个结构层次相同的残差网络ResNet‑101分别作为临床图像和皮肤镜图像的模态特征提取网络，并且将输入图像大小重建为224×224×3。残差网络主要分成由不同数量的BottleBlock块组成的四个卷积部分，每一个卷积部分的输出都是不同维度大小的特征图，在网络结构中每个卷积部分后嵌入通道维加权模块130，特征提取过程中，根据特征图中各个通道特征对诊断的重要性，增加或减少相关特征的权重。

[0058] 在上述实施例的基础上，所述通过通道维加权模块130对输入特征进行加权，根据特征图对诊断的重要性，增加或减少相关特征的权重过程具体包括：

[0059] 对于具有C个通道的特征图X，将其沿着通道维度进行特征压缩，将每个通道的二维特征图通过全局平均池化压缩成一个实数，得到压缩特征图；

[0060] 对压缩特征图通过1×1的卷积分配其通道维度间的权重关系，得到带权压缩特征图；

[0061] 将带权压缩特征图与原始特征图逐步相乘，完成在原始特征上的通道维度权重再分配。

[0062] 具体实施时，图4示出了通道维加权模块130结构示意图，主要包括如下步骤：

[0063] (1).对于维度为H×W×C的特征图X（C代表通道数，H和W分别代表第C个通道特征图的高和宽），将其沿着通道维度进行特征压缩，将每个通道的二维特征图通过全局平均池化压缩成一个实数：

[0064]

[0065] (2).对 通过带有Sigmoid激活函数的1×1的卷积分配其通道维度间的权重关系，得到维度为1×1×C的带权压缩特征图：

[0066]

[0067] (3).将权重图与原始特征逐步相乘，完成在原始特征上的通道维度权重再分配，得到加权特征图：

[0068] 。

[0069] 在上述实施例的基础上，所述提取两个模态特征提取模块120中多个层次的特征，对同一维度的特征进行特征级融合，得到多组融合特征过程具体包括：

[0070] 提取两个模态特征提取模块120四个卷积部分输出的特征，经过通道维加权后，对同一维度特征采用相乘的方式进行融合，得到四个不同维度的融合特征。

[0071] 例如，提取两个特征提取网络中各个卷积部分输出的特征，经过通道维加权后，对同一维度的特征采用相乘的方式进行融合，得到融合特征：

[0072]

[0073] 其中 和 分别代表经过通道维加权后的皮肤镜图像特征和临床图像特征。

[0074] 进一步的，所述分类器为SVM分类器，所述将模态提取特征和融合特征分别传入多个分类器，从而得到多组初步诊断结果过程具体包括：

[0075] 将所述两个模态特征提取模块120提取的特征和四个融合特征分别传入SVM分类器，得到六组初步诊断结果。

[0076] 具体实施时，在得到所述两个模态特征提取模块120提取的特征和四个融合特征后，可以将所述两个模态特征提取模块120提取的特征和四个融合特征分别传入SVM分类器，得到六组初步诊断结果。

[0077] 在上述实施例的基础上，所述通过自适应决策融合模块融合分析初步诊断结果，得到最终诊断结果过程具体包括：

[0078] 将每个分类器的分类结果和每个分类器的准确率作为自适应决策融合算法的输入；

[0079] 统计得出具有最多相同诊断结果的分类器数量N；

[0080] 比较N与设定的阈值 ，当N大于 时，直接输出该N个分类器的结果作为最终诊断结果，否则计算基于D‑S证据理论融合产生的冲突因子K，若冲突因子大于0.5，则选用多数投票原则作为融合方法，反之则通过D‑S证据理论作为融合规则，最后，输出通过融合得到的结果做为最终诊断。

[0081] 具体实施时，基于所述六组初步诊断结果，通过自适应决策融合算法融合分析，获得最终诊断结果；

[0082] 图5示出了自适应决策融合算法流程示意图，自适应决策级融合算法主要基于多数投票和D‑S证据理论。

[0083] 其中多数投票的方法利用多个分类器对给定测试样本的输出结果，以大多数分类器的识别结果作为最终结果输出。

[0084] 而D‑S证据理论用来处理不确定信息推理问题，其思想如下：

[0085] 首先定义一个命题集合 ：

[0086]

[0087] 其中命题 代表了分类的各个结果，其子集集合为：

[0088]

[0089] 引入一个基本概率赋值函数（BPA）代表每个分类器对命题的信任程度，其中任意都是 的子集，且属于 ，BPA满足以下准则：

[0090]

[0091] 代表分类器对于命题 的支持度，在本发明即为对各个类别的诊断概率。

[0092] 而利用DS理论将多个分类器结果 融合方式为：

[0093]

[0094] 其中K表示合成过程中产生的冲突因子：

[0095]

[0096] 本发明设计的结合多数投票和D‑S证据理论的自适应决策融合算法的输入为：1）六个分类器的分类结果（以概率的形式表示）；2）每个分类器的准确率；

[0097] 自适应决策融合算法具体流程包括如下步骤：

[0098] (1).统计得出具有最多相同诊断结果的分类器数量N；

[0099] (2).比较N与设定的阈值t1，当N大于t1时，直接输出这N个分类器的结果作为最终诊断结果；

[0100] (3).否则，计算基于D‑S证据理论融合产生的冲突因子K，如果冲突因子大于0.5时，选用多数投票原则作为融合方法。

[0101] (4).反之，则通过D‑S证据理论作为融合规则。

[0102] (5).最后，输出通过融合得到的结果做为最终诊断。

[0103] 应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。

[0104] 以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。