基于图神经网络的肝脏影像识别方法及装置

摘要

本发明提供了一种基于图神经网络的肝脏影像识别方法及装置，涉及医疗影像分析技术领域，包括获取第一信息和第二信息；根据预设的多模态注意力数学模型对第一信息进行融合处理得到融合特征集；根据融合特征集进行特征映射，通过将多通道图像进行超像素分割处理构建得到图数据表示集；根据图数据表示集和预设的图神经网络数学模型进行训练和优化，构建得到肝脏影像识别模型；根据肝脏影像识别模型对第二信息进行识别处理得到识别结果。通过将多通道图像进行超像素分割处理并基于超像素块之间的空间关系和模态特征构建图数据表示集，使得图神经网络能够更好地捕捉肝脏影像的结构(56)对比文件CN 113313164 A,2021.08.27CN 116524369 A,2023.08.01CN 116740419 A,2023.09.12US 2022164946 A1,2022.05.26WO 2021233112 A1,2021.11.25US 2017278289 A1,2017.09.28US 2023230408 A1,2023.07.20US 2023252644 A1,2023.08.10WO 2023159073 A1,2023.08.24WO 2020244434 A1,2020.12.10US 2022058429 A1,2022.02.24李文静等.图卷积神经网络及其在图像识别领域的应用综述《.计算机工程与应用》.2023,第1-26页.Yanni Dong等.Weighted Feature Fusionof Convolutional Neural Network and GraphAttention Network for Hyperspectral ImageClassification《.IEEE Transactions onImage Processing》.2022,第31卷1559-1572.

权利要求

1.一种基于图神经网络的肝脏影像识别方法，其特征在于，包括：获取第一信息和第二信息，所述第一信息为至少两种病变类型下的多模态影像数据集，所述第二信息为待识别患者的肝脏影像数据；

根据预设的多模态注意力数学模型对所述第一信息进行融合，通过引入注意力机制对每个模态的输入图像进行卷积提取处理得到融合特征集，其中所述多模态注意力数学模型为通过对不同模态的影像数据自动赋予不同的权重，引入注意力机制对重要的模态信息进行关注并利用卷积神经网络对每个模态的输入图像进行特征提取与融合的模型；

根据所述融合特征集进行特征映射，通过将多通道图像进行超像素分割处理并基于超像素块之间的空间关系和模态特征构建得到图数据表示集；

根据所述图数据表示集和预设的图神经网络数学模型进行训练和优化，构建得到肝脏影像识别模型；

根据所述肝脏影像识别模型对所述第二信息进行识别处理得到识别结果，所述识别结果包括病变类型、病变位置标定和可信度；

其中,根据预设的多模态注意力数学模型对所述第一信息进行融合，通过引入注意力机制对每个模态的输入图像进行卷积提取处理得到融合特征集，包括：根据所述第一信息中每种模态的图像进行特征提取得到模态特征集；

根据所述模态特征集中相同病变类型下的所有模态特征进行相似度检测得到相似度检测结果；

根据所述模态特征集和相似度检测结果，引入注意力机制，通过学习每个模态的特征贡献度进行权重分配处理得到权重集；

根据所述权重集对所述模态特征集中相同病变类型下的各个模态特征进行加权融合处理得到融合特征集；

其中,根据所述融合特征集进行特征映射，通过将多通道图像进行超像素分割处理并基于超像素块之间的空间关系和模态特征构建得到图数据表示集，包括：基于超像素分割算法对所述融合特征集中各通道图像进行分割处理和边缘融合得到超像素块融合结果；

根据所述超像素块融合结果中肝脏结构和病变区域的简化图像块构建得到节点集合；

根据所述超像素块融合结果中超像素块间的空间关系和模态特征构建得到边集合；

根据所述超像素块融合结果中超像素块的灰度值、纹理特征和位置信息进行相似度计算得到边权重集合；

根据所述节点集合、边集合和所述边权重集合构建得到图数据表示集；

其中,基于超像素分割算法对所述融合特征集中各通道图像进行分割处理和边缘融合得到超像素块融合结果，包括：基于超像素分割算法对所述融合特征集中各通道图像进行分割处理，将图像划分为多个超像素块得到初步分割结果，所述初步分割结果包括肝脏结构和病变区域的图像；

根据所述初步分割结果中同种类型下的每个通道图像的所有超像素块进行边缘检测得到边缘集合；

将所述边缘集合中每个超像素块的边缘进行置信度计算得到边缘置信度计算结果；

根据所述边缘置信度计算结果对所述边缘集合进行加权合并处理，通过保留每个通道中置信度高的超像素块边缘得到超像素块融合结果，并根据所述超像素块融合结果构建得到节点集合。

2.根据权利要求1所述的基于图神经网络的肝脏影像识别方法，其特征在于,根据所述图数据表示集和预设的图神经网络数学模型进行训练和优化，构建得到肝脏影像识别模型，包括：根据所述图数据表示集进行自适应核密度估计，计算得到每个超像素块的核密度信息；

根据所述核密度信息对所述图数据表示集中的特征进行特征加权处理，得到加权数据集；

根据预设的图神经网络数学模型和所述加权数据集，采用基于概率图的传播方式并将所述核密度信息中密度最大的超像素块作为种子节点进行迭代传播，构建得到肝脏影像识别模型。

3.一种基于图神经网络的肝脏影像识别装置，其特征在于，包括：获取模块，用于获取第一信息和第二信息，所述第一信息为至少两种病变类型下的多模态影像数据集，所述第二信息为待识别患者的肝脏影像数据；

融合模块，用于根据预设的多模态注意力数学模型对所述第一信息进行融合，通过引入注意力机制对每个模态的输入图像进行卷积提取处理得到融合特征集，其中所述多模态注意力数学模型为通过对不同模态的影像数据自动赋予不同的权重，引入注意力机制对重要的模态信息进行关注并利用卷积神经网络对每个模态的输入图像进行特征提取与融合的模型；

映射模块，用于根据所述融合特征集进行特征映射，通过将多通道图像进行超像素分割处理并基于超像素块之间的空间关系和模态特征构建得到图数据表示集；

构建模块，用于根据所述图数据表示集和预设的图神经网络数学模型进行训练和优化，构建得到肝脏影像识别模型；

识别模块，用于根据所述肝脏影像识别模型对所述第二信息进行识别处理得到识别结果，所述识别结果包括病变类型、病变位置标定和可信度；

其中,所述融合模块包括：

第一提取单元，用于根据所述第一信息中每种模态的图像进行特征提取得到模态特征集；

第一检测单元，用于根据所述模态特征集中相同病变类型下的所有模态特征进行相似度检测得到相似度检测结果；

第一分配单元，用于根据所述模态特征集和相似度检测结果，引入注意力机制，通过学习每个模态的特征贡献度进行权重分配处理得到权重集；

第一融合单元，用于根据所述权重集对所述模态特征集中相同病变类型下的各个模态特征进行加权融合处理得到融合特征集；

其中,所述映射模块包括：

第一分割单元，基于超像素分割算法对所述融合特征集中各通道图像进行分割处理和边缘融合得到超像素块融合结果；

第一构建单元，用于根据所述超像素块融合结果中肝脏结构和病变区域的简化图像块构建得到节点集合；

第二构建单元，用于根据所述超像素块融合结果中超像素块间的空间关系和模态特征构建得到边集合；

第一计算单元，用于根据所述超像素块融合结果中超像素块的灰度值、纹理特征和位置信息进行相似度计算得到边权重集合；

第三构建单元，用于根据所述节点集合、边集合和所述边权重集合构建得到图数据表示集；

其中,所述第一分割单元包括：

第二分割单元，基于超像素分割算法对所述融合特征集中各通道图像进行分割处理，将图像划分为多个超像素块得到初步分割结果，所述初步分割结果包括肝脏结构和病变区域的图像；

第二检测单元，用于根据所述初步分割结果中同种类型下的每个通道图像的所有超像素块进行边缘检测得到边缘集合；

第二计算单元，用于将所述边缘集合中每个超像素块的边缘进行置信度计算得到边缘置信度计算结果；

第一合并单元，用于根据所述边缘置信度计算结果对所述边缘集合进行加权合并处理，通过保留每个通道中置信度高的超像素块边缘得到超像素块融合结果，并根据所述超像素块融合结果构建得到节点集合。

4.根据权利要求3所述的基于图神经网络的肝脏影像识别装置，其特征在于,所述构建模块包括：第三计算单元，用于根据所述图数据表示集进行自适应核密度估计，计算得到每个超像素块的核密度信息；

第一处理单元，用于根据所述核密度信息对所述图数据表示集中的特征进行特征加权处理，得到加权数据集；

第四构建单元，用于根据预设的图神经网络数学模型和所述加权数据集，采用基于概率图的传播方式并将所述核密度信息中密度最大的超像素块作为种子节点进行迭代传播，构建得到肝脏影像识别模型。

说明书

基于图神经网络的肝脏影像识别方法及装置

技术领域

[0001] 本发明涉及医疗影像分析技术领域，具体而言，涉及一种基于图神经网络的肝脏影像识别方法及装置。

背景技术

[0002] 在当今医学影像领域，影像识别技术在疾病诊断和治疗规划中扮演着越来越重要的角色。肝脏影像识别作为其中的一部分，在肝脏疾病的早期检测、病变类型分类、病变位置标定等方面具有重要意义。但肝脏影像识别仍存在挑战，肝脏影像的多模态数据、异构性病变和大规模数据处理增加了难度。现有的肝脏影像分析和识别主要采用手工规则方法。这些方法使用基于人工设计的规则和逻辑来处理肝脏影像，通过设定阈值和形状特征来检测肝脏病变，从而确定病变的位置和大小。但是由于肝脏影像的复杂性和多样性，设计合适的规则和特征往往是困难的，导致识别的准确性和鲁棒性不足。

[0003] 基于上述现有技术的缺点，现亟需一种基于图神经网络的肝脏影像识别方法及装置。

发明内容

[0004] 本发明的目的在于提供一种基于图神经网络的肝脏影像识别方法及系统，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：

[0005] 一方面，本申请提供了一种基于图神经网络的肝脏影像识别方法，包括：

[0006] 获取第一信息和第二信息，所述第一信息为至少两种病变类型下的多模态影像数据集，所述第二信息为待识别患者的肝脏影像数据；

[0007] 根据预设的多模态注意力数学模型对所述第一信息进行融合，通过引入注意力机制对每个模态的输入图像进行卷积提取处理得到融合特征集；

[0008] 根据所述融合特征集进行特征映射，通过将多通道图像进行超像素分割处理并基于超像素块之间的空间关系和模态特征构建得到图数据表示集；

[0009] 根据所述图数据表示集和预设的图神经网络数学模型进行训练和优化，构建得到肝脏影像识别模型；

[0010] 根据所述肝脏影像识别模型对所述第二信息进行识别处理得到识别结果，所述识别结果包括病变类型、病变位置标定和可信度。

[0011] 另一方面，本申请还提供了一种基于图神经网络的肝脏影像识别装置，包括：

[0012] 获取模块，用于获取第一信息和第二信息，所述第一信息为至少两种病变类型下的多模态影像数据集，所述第二信息为待识别患者的肝脏影像数据；

[0013] 融合模块，用于根据预设的多模态注意力数学模型对所述第一信息进行融合，通过引入注意力机制对每个模态的输入图像进行卷积提取处理得到融合特征集；

[0014] 映射模块，用于根据所述融合特征集进行特征映射，通过将多通道图像进行超像素分割处理并基于超像素块之间的空间关系和模态特征构建得到图数据表示集；

[0015] 构建模块，用于根据所述图数据表示集和预设的图神经网络数学模型进行训练和优化，构建得到肝脏影像识别模型；

[0016] 识别模块，用于根据所述肝脏影像识别模型对所述第二信息进行识别处理得到识别结果，所述识别结果包括病变类型、病变位置标定和可信度。

[0017] 本发明的有益效果为：

[0018] 本发明通过多模态注意力数学模型对不同病变类型下的多模态影像数据集进行融合，引入注意力机制对每个模态的输入图像进行卷积提取处理，得到融合特征集，这种融合方式能够综合利用不同模态图像的特点，提高对肝脏影像信息的全面性和准确性。通过将多通道图像进行超像素分割处理并基于超像素块之间的空间关系和模态特征构建图数据表示集，使得图神经网络能够更好地捕捉肝脏影像的结构和特征信息，增强对潜在病变区域的敏感性。

[0019] 本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。

附图说明

[0020] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

[0021] 图1为本发明实施例中所述的基于图神经网络的肝脏影像识别方法流程示意图;

[0022] 图2为本发明实施例中所述的基于图神经网络的肝脏影像识别装置结构示意图。

[0023] 图中标记：1、获取模块；2、融合模块；21、第一提取单元；22、第一检测单元；23、第一分配单元；24、第一融合单元；3、映射模块；31、第一分割单元；311、第二分割单元；312、第二检测单元；313、第二计算单元；314、第一合并单元；32、第一构建单元；33、第二构建单元；34、第一计算单元；35、第三构建单元；4、构建模块；41、第三计算单元；42、第一处理单元；
43、第四构建单元；5、识别模块。

具体实施方式

[0024] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0025] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

[0026] 实施例1

[0027] 本实施例提供了一种基于图神经网络的肝脏影像识别方法。

[0028] 参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300、步骤S400和步骤S500。

[0029] 步骤S100、获取第一信息和第二信息，第一信息为至少两种病变类型下的多模态影像数据集，第二信息为待识别患者的肝脏影像数据。

[0030] 可以理解的是，本步骤中第一信息是由至少两种不同病变类型下的多模态影像数据集组成，这些数据集可能包含来自不同影像设备的肝脏图像，如CT和MRI等。这些多模态影像数据集能够提供丰富的图像信息，涵盖了肝脏不同结构和病变类型的特征。第二信息是指待识别的患者的肝脏影像数据，通常是CT或MRI等影像。这些待识别的患者影像是需要进行病变类型和位置标定的目标，也是本发明中要进行识别处理的输入数据。

[0031] 步骤S200、根据预设的多模态注意力数学模型对第一信息进行融合，通过引入注意力机制对每个模态的输入图像进行卷积提取处理得到融合特征集，其中所述多模态注意力数学模型为通过对不同模态的影像数据自动赋予不同的权重，引入注意力机制对重要的模态信息进行关注并利用卷积神经网络对每个模态的输入图像进行特征提取与融合的模型。

[0032] 可以理解的是，本步骤首先根据预设的多模态注意力数学模型，对不同模态的影像数据赋予不同的权重。这些权重反映了每个模态在肝脏影像识别中的重要程度，能够根据实际情况灵活地调整。通过这种注意力机制，我们能够更加关注那些对于肝脏影像分析和病变检测更有帮助的模态信息，提高了模型的敏感性和准确性。随后，对每个模态的输入图像进行卷积提取处理，利用卷积神经网络等深度学习技术从图像中提取特征。这些特征能够捕捉到图像中的局部和全局信息，包括肝脏的解剖结构和病变的形态等特征。最终将不同模态的特征融合成一个统一的融合特征集。这样的融合特征集综合了多种模态的信息，具有更高的表征能力，有助于提升肝脏影像识别模型的性能和稳定性。需要说明的是，步骤S200包括步骤S210、步骤S220、步骤S230和步骤S240。

[0033] 步骤S210、根据第一信息中每种模态的图像进行特征提取得到模态特征集。

[0034] 可以理解的是，本步骤针对每个模态的图像数据，利用卷积神经网络等深度学习技术进行特征提取。卷积神经网络可以有效地从图像中学习到具有表征能力的特征，这些特征能够捕捉到图像中的局部和全局信息，包括肝脏的解剖结构和病变的形态等特征。

[0035] 步骤S220、根据模态特征集中相同病变类型下的所有模态特征进行相似度检测得到相似度检测结果。

[0036] 可以理解的是，本步骤对不同模态的肝脏影像数据进行相似度计算，以衡量它们在特征表示上的相似程度。需要说明的是，步骤S220包括步骤S221、步骤S222和步骤S223。

[0037] 步骤S221、对模态特征集进行归一化处理。

[0038] 可以理解的是针对每个模态的特征集，我们需要对其进行归一化处理。归一化可以将不同模态的特征数据缩放到相同的范围，使得它们在相似度计算中具有一致的重要性。

[0039] 步骤S222、计算模态权重。

[0040] 针对模态特征集中的每个模态，根据模态的特点和对应任务的重要性给予不同的权重。例如，在识别某种病变类型时，CT和MRI可能在不同程度上对病变区域的描述有所贡献。优选地，本实施例中通过一些先验知识或者数据分析的方式，给予每个模态不同的权重值。

[0041] 步骤S223、加权余弦相似度计算。

[0042] 在计算相似度时，我们将考虑每个模态的权重，以反映其在相似度计算中的重要性。通过对每个模态进行加权余弦相似度计算，可以得到每对模态之间的相似度值。涉及公式如下:

[0043] ;

[0044] 其中，Weighted Cosine Similarity为加权余弦相似度，表示计算得到的相似度值；n为模态特征集中的模态个数；i为模态的索引值； 第i个模态的特征向量； 为权重集中的第i个权重。

[0045] 步骤S230、根据模态特征集和相似度检测结果，引入注意力机制，通过学习每个模态的特征贡献度进行权重分配处理得到权重集。

[0046] 步骤S240、根据权重集对模态特征集中相同病变类型下的各个模态特征进行加权融合处理得到融合特征集。

[0047] 可以理解的是，通过相似度检测得到相似度矩阵，该矩阵记录了每对模态之间的相似度值，能够反映不同模态之间的关系和差异性。接着，引入注意力向量并利用Softmax函数对相似度矩阵进行处理，计算每个模态的注意力权重。具体计算公式如下：

[0048] ；

[0049] 其中，为相似度矩阵；A为注意力向量；i和j为模态的索引值；N为特征集中的特征总数； 为第i个模态的注意力权重； 表示相似度矩阵 中第i行第i列的元素；为第i个模态与第j个模态之间的相似度。通过这样计算后注意力向量A中每个元素都表示对应模态的特征贡献度，且所有元素之和为1。最后，根据注意力向量A对模态特征集进行加权融合。对于每个模态的特征，我们将其与对应注意力权重相乘，然后将所有加权后的特征进行累加得到融合特征。具体计算公式如下：

[0050] ；

[0051] 其中，i为模态的索引值；N为特征集中的特征总数； 为融合特征； 为模态特征集； 为第i个模态的注意力权重。使用注意力机制权重分配方法能够自动学习每个模态的特征贡献度，并根据模态之间的相似度和差异性来调整权重。这样的处理方式能够更好地结合每个模态的特征信息，使得在融合过程中更加关注重要的特征，提高网络对肝脏影像中不同区域的表征能力。同时，该方法避免了手动设定权重的繁琐过程，使得网络的构建更加自动化和灵活。

[0052] 步骤S300、根据融合特征集进行特征映射，通过将多通道图像进行超像素分割处理并基于超像素块之间的空间关系和模态特征构建得到图数据表示集。

[0053] 可以理解的是，本步骤将多通道图像转化为图的形式，每个超像素块都被视为图中的一个节点，而超像素块之间的空间关系和模态特征将被用于构建图的边，从而形成了图数据表示集。这个过程能够更好地捕捉图像中不同区域的信息，并在后续的图神经网络中进行更加准确和细粒度的分析和识别。需要说明的是，步骤S300包括步骤S310、步骤S320、步骤S330、步骤S340和步骤S340。

[0054] 步骤S310、基于超像素分割算法对融合特征集中各通道图像进行分割处理和边缘融合得到超像素块融合结果。

[0055] 可以理解的是，本步骤中超像素块是对图像进行更高级别的区域划分，能够将相邻的像素点组合成更大的块，从而减少图像中的冗余信息。采用超像素分割可以将图像转换为一组更加紧凑和代表性的区域块，有助于提取更具有区分度的特征，从而提高肝脏影像识别的性能。超像素分割可能会导致一些不完整的边缘或过度分割的情况，因此在边缘融合的过程中，采用形态学操作、边缘连接算法等技术，将相邻的超像素块的边缘合并，形成更加平滑和准确的超像素块边界。需要说明的是，步骤S310包括步骤S311、步骤S312、步骤S313和步骤S314。

[0056] 步骤S311、基于超像素分割算法对融合特征集中各通道图像进行分割处理，将图像划分为多个超像素块得到初步分割结果，初步分割结果包括肝脏结构和病变区域的图像。

[0057] 可以理解的是，本步骤针对多模态影像数据集中的每个通道图像（例如肝脏CT和MRI影像）进行基于聚类的超像素分割可以充分利用不同模态图像的特点，从而更好地捕捉肝脏结构和病变区域的特征。对于肝脏CT影像，CT图像的像素值反映了不同组织在X射线吸收方面的差异。由于肝脏组织和病变区域在CT图像中具有不同的密度，使用基于灰度值的聚类方法对CT图像进行分割。在聚类过程中，将相似灰度值的像素点划分为一个超像素块，从而有效地分离肝脏结构和病变区域。而对于肝脏MRI影像，MRI图像反映了组织在磁场中的信号强度。MRI图像中的不同序列（如T1加权和T2加权图像）对应不同的组织对比度。因此采用基于序列和纹理特征的聚类方法对MRI图像进行分割。在聚类过程中，将具有相似序列和纹理特征的像素点划分为一个超像素块，以更好地区分肝脏结构和病变区域。同时，对于肝脏CT和MRI影像的聚类分割，还需结合空间信息，使得超像素块能够更好地捕捉图像中的结构和形态特征。具体地，在聚类分割过程中，通过考虑像素点之间的空间关系，将相邻的像素点优先划分到同一个超像素块中，以保持图像的连续性。通过针对肝脏CT和MRI影像分别采用不同的聚类方法，结合像素值、序列、纹理和空间信息，可以有效地将图像中的肝脏结构和病变区域进行分割，并生成具有代表性和连续性的超像素块。

[0058] 步骤S312、根据初步分割结果中同种类型下的每个通道图像的所有超像素块进行边缘检测得到边缘集合。

[0059] 优选地，本步骤采用改进的Canny边缘检测算法。Canny边缘检测是一种经典的边缘检测方法，它能够在图像中准确地找到边缘点，并以亮度变化最大的位置标记这些边缘点。本实施例中根据肝脏CT和MRI影像的特点，对Canny算法进行调整，以提高对肝脏结构和病变区域的边缘检测效果。首先，Canny算法中有两个重要的参数，即高斯滤波的标准差和边缘梯度阈值，本步骤根据肝脏影像的特点调整这些参数。具体地，肝脏影像通常具有较高的噪声水平，因此可以适当增大高斯滤波的标准差以平滑图像；同时根据肝脏影像的灰度变化情况，调整边缘梯度阈值，使得能够更准确地检测出肝脏结构和病变区域的边缘。其次，在超像素分割的步骤中，已经将图像划分为多个超像素块。这些超像素块包含了图像中的一些结构信息，可以利用这些超像素块的边缘信息来引导Canny边缘检测，具体地，可以将超像素块的边缘点作为Canny算法的输入，并设置一个合适的梯度阈值，以使得Canny算法更倾向于检测这些边缘点。

[0060] 步骤S313、将边缘集合中每个超像素块的边缘进行置信度计算得到边缘置信度计算结果。

[0061] 可以理解的是，由于图像噪声、超像素块大小等因素的影响，提取的边缘点可能存在一定的不确定性和错误。因此，在本步骤中，需要对每个超像素块的边缘进行置信度计算，以确定哪些边缘是较为可信的，从而在后续的步骤中更好地利用这些边缘信息。边缘置信度计算包括边缘强度计算、边缘连通性计算和超像素块内一致性计算。边缘强度，即边缘点的像素值梯度或亮度变化程度。边缘强度较大的边缘点通常更加清晰和准确，因此可以给予较高的置信度。边缘连通性是指对于每个超像素块的边缘，检测其是否连通到相邻超像素块的边缘。如果边缘在整个图像中具有较好的连通性，那么该边缘也更具有可信度。超像素块内一致性是指对于每个超像素块内的边缘点，检测它们之间是否存在一致的方向和排列。如果超像素块内的边缘点呈现一定的规律性，那么该超像素块的边缘也更可信。

[0062] 步骤S314、根据边缘置信度计算结果对边缘集合进行加权合并处理，通过保留每个通道中置信度高的超像素块边缘得到超像素块融合结果，并根据超像素块融合结果构建得到节点集合。

[0063] 需要说明的是，步骤S314包括步骤S3141、步骤S3142和步骤S3143。

[0064] 步骤S3141、对每个超像素块的边缘点赋予一个权重，权重值根据边缘置信度来确定。边缘置信度越高的边缘点，其权重值越大，表示其在融合过程中的重要性更高。

[0065] 步骤S3142、对于重叠的超像素块，对它们之间的边缘进行加权平均处理。这样可以保留更多可信的边缘信息，并减少因重叠而引入的不确定性。

[0066] 步骤S3143、融合结果中的每个超像素块边缘是在相应通道中置信度高的边缘的组合。因此，在加权合并过程中，选择保留每个通道中置信度最高的边缘，以确保融合结果的可靠性和准确性。

[0067] 步骤S320、根据超像素块融合结果中肝脏结构和病变区域的简化图像块构建得到节点集合。

[0068] 步骤S330、根据超像素块融合结果中超像素块间的空间关系和模态特征构建得到边集合。

[0069] 步骤S340、根据超像素块融合结果中超像素块的灰度值、纹理特征和位置信息进行相似度计算得到边权重集合。

[0070] 步骤S350、根据节点集合、边集合和边权重集合构建得到图数据表示集。

[0071] 可以理解的是，图数据表示集合由节点集合和边集合组成，其中节点集合对应着超像素块融合结果中的肝脏结构和病变区域的简化图像块，而边集合表示了超像素块之间的空间关系和模态特征。边权重集合则为边集合中的每条边赋予了相似度值，用于描述超像素块之间的相似程度。通过这样的图数据表示，能够更全面地捕捉肝脏影像的特征信息，充分利用超像素块之间的关联性和相似性，从而提高肝脏影像的识别准确性和鲁棒性。

[0072] 步骤S400、根据图数据表示集和预设的图神经网络数学模型进行训练和优化，构建得到肝脏影像识别模型。

[0073] 可以理解的是，图神经网络具有更好的图结构建模能力，能够有效地捕捉图中节点和边的信息，实现节点之间的信息传递和特征融合。在本步骤中，将图数据表示集输入到预设的图神经网络数学模型中，通过图神经网络的计算和优化，逐步更新网络参数，从而使得网络能够更好地理解和表示肝脏影像的特征。通过不断的训练和优化，图神经网络会逐渐学习到更准确的特征表征方式，使得肝脏影像的识别性能得到提升。最终经过训练和优化，得到一个完整的肝脏影像识别模型。需要说明的是，步骤S400包括步骤S410、步骤S420和步骤S430。

[0074] 步骤S410、根据图数据表示集进行自适应核密度估计，计算得到每个超像素块的核密度信息。

[0075] 可以理解的是，核密度估计是一种用于估计概率密度函数的非参数统计方法，用于描述随机变量的概率分布。在本实施例中，我们将其应用于图数据表示集中的超像素块，以估计每个超像素块的概率密度分布，从而衡量其在图像中的重要性。具体而言，对于每个超像素块，首先计算其周围一定距离范围内的其他超像素块与之的距离，并根据这些距离计算出每个超像素块的核密度值。核密度值可以视为一个度量超像素块重要性的指标，较大的核密度值表示该超像素块在图像中更为显著和重要。通过自适应核密度估计能够获取每个超像素块的核密度信息，即每个超像素块在图像中的重要性程度。

[0076] 步骤S420、根据核密度信息对图数据表示集中的特征进行特征加权处理，得到加权数据集。

[0077] 可以理解的是，本步骤对于图数据表示集中的每个超像素块，将其特征与对应的核密度值进行相乘，得到加权后的特征。这样做的目的是强化重要超像素块的特征表达，使其在后续的图神经网络训练过程中能够更为突出地影响模型的学习和表示能力。通过特征加权处理得到的加权数据集，其中每个超像素块的特征都经过了调整和加强。这样的加权数据集在图神经网络的训练中能够更好地引导模型学习到重要区域的特征，并且在后续的识别过程中有助于提高模型对肝脏影像的识别准确性和鲁棒性。

[0078] 步骤S430、根据预设的图神经网络数学模型和加权数据集，采用基于概率图的传播方式并将核密度信息中密度最大的超像素块作为种子节点进行迭代传播，构建得到肝脏影像识别模型。

[0079] 可以理解的是，本步骤将加权数据集中的每个超像素块视为图神经网络中的节点，将图数据表示集中的边视为图神经网络中的边。然后，通过基于概率图的传播方式，从密度最大的超像素块（种子节点）开始，逐步向其他节点传播信息。在传播过程中，每个节点将根据其邻居节点的特征和边权重来更新自己的特征表示。这样的迭代传播过程可以在图数据表示集中传递信息，并且根据边权重和节点的特征贡献度来影响信息传播的方向和强度。通过迭代传播，每个节点的特征表示将不断更新和优化，逐渐学习到图数据表示集中的复杂结构和特征信息。最终得到了一个经过训练和优化的肝脏影像识别模型，它能够综合考虑多模态影像数据集中不同模态的特征贡献度，并根据超像素块之间的空间关系和模态特征进行信息传播，从而实现对肝脏影像的准确识别和分析。这样的图神经网络模型具有很好的拟合能力和表征能力，能够有效地利用多模态影像数据中的信息，提高对肝脏影像进行识别和分析的精度和鲁棒性。同时，采用基于概率图的传播方式和核密度信息作为初始种子节点，使得模型的训练过程更加稳定和高效。

[0080] 步骤S500、根据肝脏影像识别模型对第二信息进行识别处理得到识别结果，识别结果包括病变类型、病变位置标定和可信度。

[0081] 可以理解的是，本步骤通过肝脏影像识别模型，能够判断待识别患者肝脏影像中出现的病变类型，例如肿瘤、囊肿、脂肪变性等。根据模型训练时的多模态影像数据集，模型能够将患者的影像与各种病变类型进行对比，并确定最匹配的病变类型。除了识别病变类型，肝脏影像识别模型还能够在图像中准确地标定病变的位置。这意味着模型能够识别出病变在肝脏中的具体位置和范围，对医生在诊断和治疗过程中提供重要的参考信息。识别结果还包括对每个病变类型和位置的可信度评估。模型会给出一个表示置信程度的数值，反映了识别结果的准确性和可靠性。医生可以根据可信度来判断识别结果的可信程度，并在需要时进行进一步的确认和核实。通过肝脏影像识别模型，可以高效地对患者的影像数据进行自动化分析和识别，从而快速准确地获取病变类型和位置信息，并为医生提供诊断参考。这种自动化识别过程不仅节省了医生的时间和精力，还大大提高了肝脏影像识别的准确性和效率。

[0082] 实施例2

[0083] 如图2所示，本实施例提供了一种基于图神经网络的肝脏影像识别装置，装置包括：

[0084] 获取模块1，用于获取第一信息和第二信息，第一信息为至少两种病变类型下的多模态影像数据集，第二信息为待识别患者的肝脏影像数据。

[0085] 融合模块2，用于根据预设的多模态注意力数学模型对第一信息进行融合，通过引入注意力机制对每个模态的输入图像进行卷积提取处理得到融合特征集，其中所述多模态注意力数学模型为通过对不同模态的影像数据自动赋予不同的权重，引入注意力机制对重要的模态信息进行关注并利用卷积神经网络对每个模态的输入图像进行特征提取与融合的模型。

[0086] 映射模块3，用于根据融合特征集进行特征映射，通过将多通道图像进行超像素分割处理并基于超像素块之间的空间关系和模态特征构建得到图数据表示集。

[0087] 构建模块4，用于根据图数据表示集和预设的图神经网络数学模型进行训练和优化，构建得到肝脏影像识别模型。

[0088] 识别模块5，用于根据肝脏影像识别模型对第二信息进行识别处理得到识别结果，识别结果包括病变类型、病变位置标定和可信度。

[0089] 在本发明公开的一种具体实施方式中，融合模块2包括：

[0090] 第一提取单元21，用于根据第一信息中每种模态的图像进行特征提取得到模态特征集。

[0091] 第一检测单元22，用于根据模态特征集中相同病变类型下的所有模态特征进行相似度检测得到相似度检测结果。

[0092] 第一分配单元23，用于根据模态特征集和相似度检测结果，引入注意力机制，通过学习每个模态的特征贡献度进行权重分配处理得到权重集。

[0093] 第一融合单元24，用于根据权重集对模态特征集中相同病变类型下的各个模态特征进行加权融合处理得到融合特征集。

[0094] 在本发明公开的一种具体实施方式中，映射模块3包括：

[0095] 第一分割单元31，基于超像素分割算法对融合特征集中各通道图像进行分割处理和边缘融合得到超像素块融合结果。

[0096] 第一构建单元32，用于根据超像素块融合结果中肝脏结构和病变区域的简化图像块构建得到节点集合。

[0097] 第二构建单元33，用于根据超像素块融合结果中超像素块间的空间关系和模态特征构建得到边集合。

[0098] 第一计算单元34，用于根据超像素块融合结果中超像素块的灰度值、纹理特征和位置信息进行相似度计算得到边权重集合。

[0099] 第三构建单元35，用于根据节点集合、边集合和边权重集合构建得到图数据表示集。

[0100] 在本发明公开的一种具体实施方式中，第一分割单元31包括：

[0101] 第二分割单元311，基于超像素分割算法对融合特征集中各通道图像进行分割处理，将图像划分为多个超像素块得到初步分割结果，初步分割结果包括肝脏结构和病变区域的图像。

[0102] 第二检测单元312，用于根据初步分割结果中同种类型下的每个通道图像的所有超像素块进行边缘检测得到边缘集合。

[0103] 第二计算单元313，用于将边缘集合中每个超像素块的边缘进行置信度计算得到边缘置信度计算结果。

[0104] 第一合并单元314，用于根据边缘置信度计算结果对边缘集合进行加权合并处理，通过保留每个通道中置信度高的超像素块边缘得到超像素块融合结果，并根据超像素块融合结果构建得到节点集合。

[0105] 在本发明公开的一种具体实施方式中，构建模块4包括：

[0106] 第三计算单元41，用于根据图数据表示集进行自适应核密度估计，计算得到每个超像素块的核密度信息。

[0107] 第一处理单元42，用于根据核密度信息对图数据表示集中的特征进行特征加权处理，得到加权数据集。

[0108] 第四构建单元43，用于根据预设的图神经网络数学模型和加权数据集，采用基于概率图的传播方式并将核密度信息中密度最大的超像素块作为种子节点进行迭代传播，构建得到肝脏影像识别模型。

[0109] 需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

[0110] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

[0111] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。