一种基于双层图卷积神经网络的肝癌病理预后系统及装置

摘要

本发明公开了一种基于双层图卷积神经网络的肝癌病理预后系统及装置，包括：预处理模块，提取病理组织并切块；识别模块，用于识别肿瘤图块和坏死图块；坏死图构建模块，用于提取图块特征作为节点，相近图块之间形成边，进行坏死图构建；注意力池化模块，用于将图块特征聚合成患者级别的影像特征；患者图构建模块，用于将影像特征作为节点，非影像信息作为边，进行患者图构建；图卷积神经网络模块，用于基于构建的图进行更新和训练；风险评分模块，用于将图卷积神经网络模块的输出结果转换成患者的生存风险评分。本发明对患者的肿瘤和坏死

权利要求

1.一种基于双层图卷积神经网络的肝癌病理预后系统，其特征在于，该系统包括预处理模块、识别模块、坏死图构建模块、注意力池化模块、患者图构建模块、图卷积神经网络模块和风险评分模块；

所述预处理模块用于将原始病理切片进行组织提取并切成图块；

所述识别模块用于识别出预处理模块得到的图块中的肿瘤图块和坏死图块；通过预训练好的基于模糊比例标签的坏死识别模型对图块进行分类，筛选出坏死图块和肿瘤图块，并将分类结果作为图块的伪标签；

所述坏死图构建模块用于根据识别模块得到的坏死图块和肿瘤图块，提取图块特征作为节点，基于欧式距离使相近的图块之间形成边，进行坏死图构建；所述坏死图构建模块包括特征提取子模块和图块级节点子模块；

所述特征提取子模块用于将分类好的图块放入预训练好的卷积层，提取多维特征，结合图块的伪标签形成多维节点特征向量；

所述图块级节点子模块用于将每个肿瘤图块或坏死图块均视为一个节点，空间坐标取自图块在图像中的位置，基于k‑NN算法和欧氏距离阈值使得空间坐标最近的k个图块之间形成边，构造坏死图；

所述注意力池化模块用于对图块节点进行池化，将图块级别特征聚合成患者级别的影像特征；

所述患者图构建模块用于将患者级别的影像特征作为节点，使用非影像信息TACE治疗构建边，根据患者是否接受过TACE治疗分为两组，同组内的所有患者特征间均计算一次的欧氏距离，使用k‑NN算法取同组内距离最近的k个患者之间形成边，进行患者图构建；

所述图卷积神经网络模块用于基于构建好的坏死图和患者图进行更新和训练；

所述风险评分模块用于将图卷积神经网络模块的输出结果转换成患者的生存风险评分，以坏死图得到的纯病理风险评分为基准，以患者图得到的影像信息和非影像信息结合的多模态风险评分为辅助，进行预后判断。

2.根据权利要求1所述的一种基于双层图卷积神经网络的肝癌病理预后系统，其特征在于，所述预处理模块基于最大类间方差法Otsu方法进行前景组织分割，使用滑动窗口将WSI进行切块。

3.根据权利要求1所述的一种基于双层图卷积神经网络的肝癌病理预后系统，其特征在于，所述图卷积神经网络模块使用深度图卷积神经网络DeepGCN实现相邻节点的消息传递和更新。

4.根据权利要求3所述的一种基于双层图卷积神经网络的肝癌病理预后系统，其特征在于，深度图卷积神经网络DeepGCN中，GCN的输出和输入相加，作为下一层GCN的输入，使多层GCN的输出结果迭代叠加，得到最终输出结果。

5.根据权利要求1所述的一种基于双层图卷积神经网络的肝癌病理预后系统，其特征在于，所述风险评分模块将患者的生存时间均匀离散为四个区间，训练图卷积神经网络模型预测患者死亡事件发生的时间段，根据患者死亡事件发生的概率，计算期望值，拟合患者风险评分。

6.根据权利要求5所述的一种基于双层图卷积神经网络的肝癌病理预后系统，其特征在于，训练图卷积神经网络模型预测患者死亡事件发生的时间段的损失函数表示为：其中，Yi是患者死亡事件发生的时间段，Zi是患者死亡事件发生的前一个时间段；f(Xi)th是患者死亡事件发生的概率，因此f(Xi)[y]是患者死亡事件在y 时间间隔内发生的概率，thy 代表条件指定的时间间隔y；Oi表示第i个是患者的删失标签，根据是否删失有两种损失函数计算方法，最后求和。

7.一种基于双层图卷积神经网络的肝癌病理预后装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，实现如权利要求1‑6中任一项所述的一种基于双层图卷积神经网络的肝癌病理预后系统。

说明书

一种基于双层图卷积神经网络的肝癌病理预后系统及装置

技术领域

[0001] 本发明涉及肝癌预后领域，尤其涉及一种基于双层图卷积神经网络的肝癌病理预后系统及装置。

背景技术

[0002] 原发性肝癌，目前是我国第 4 位常见恶性肿瘤及第 2 位肿瘤致死病因，严重威胁我国人民的生命和健康。根据病理类型的不同，原发性肝癌可分为肝细胞癌（Hepatocellular carcinoma, HCC）、肝内胆管癌和混合型肝细胞癌‑胆管癌，其中 HCC 占75% 85%。本发明中肝癌指 HCC。我国每年HCC 的新发病例数约占全球的一半，且大部分患~
者在发现时已处于肿瘤的中晚期，无法接受手术、消融等根治性治疗，5 年总生存率不超过
12.1%。

[0003] 建立肝癌的预后分析系统可以辅助医生判断患者疾病的未来进展，密切关注预后较差的患者，提升患者的预后生存。组织病理学图像分析是目前临床实践中确诊肝癌的核心标准。病理微坏死是指数字病理图像中肉眼不可见，在显微镜下可以被观察到的微小坏死区域。在没有进行术前治疗的情况下，若在肿瘤患者的手术标本中观察到坏死，通常是由肿瘤中心缺乏血流（含氧和营养）引起的，提示肿瘤进展迅速，在包括肝癌在内的多种癌症中与患者较差预后相关。但是目前很少有研究从微坏死的角度对肝癌的组织病理学图像分析评估肝癌患者的生存风险，大部分计算病理学的研究都是从活的肿瘤细胞的角度出发分析肝癌患者的预后。

[0004] 近年来，在计算病理学领域中，肝癌预后分析得到了很大的发展。其中，Charlie Saillard, Benoit Schmauch等人提出了一种基于注意力机制的卷积神经网络用于肝癌预后分析。该现有技术通过对病理切片的图块进行特征提取，然后计算单个图块的生存评分，最后挑选得分最高和最低的25的图块拟合成患者的风险评分。其创新点在于使用注意力机制对医生标记的肿瘤区域进行了权重提高，并通过特征融合结合了带有标注的注意力模型和无监督模型。但是现有技术存在如下缺点：

[0005] 1.现有技术只使用了病人的50个图块进行患者级预测，在没有被选择的图块中，有可能存在对预后有较大影响的影响特征，因此模型得出风险评分不能完全的反映患者的实际情况。

[0006] 2.模型只分析了癌组织对于预后的影像，对于和预后高度相关的坏死组织，模型无法学习到这类组织的信息，也无法利用坏死特征参与预后分析。

[0007] 3.现有技术是较为传统的深度学习方法，只对图块进行了简单的编码，图块与图块之间的位置信息没有使用，因此模型学习不到组织切片上各组织成分之间的空间信息。这与临床医生手动评估患者的肿瘤进展是相违背的。

[0008] 4.单一的影像信息不能完全反映患者的状态，因此预后的效果的有限的。

发明内容

[0009] 本发明目的在于针对现有技术的不足，提出一种基于双层图卷积神经网络的肝癌病理预后系统及装置。

[0010] 本发明的目的是通过以下技术方案来实现的：一种基于双层图卷积神经网络的肝癌病理预后系统，该系统包括预处理模块、识别模块、坏死图构建模块、注意力池化模块、患者图构建模块、图卷积神经网络模块和风险评分模块；

[0011] 所述预处理模块用于将原始病理切片进行组织提取并切成图块；

[0012] 所述识别模块用于识别出预处理模块得到的图块中的肿瘤图块和坏死图块；

[0013] 所述坏死图构建模块用于根据识别模块得到的坏死图块和肿瘤图块，提取图块特征作为节点，基于欧式距离使相近的图块之间形成边，进行坏死图构建；

[0014] 所述注意力池化模块用于对图块节点进行池化，将图块级别特征聚合成患者级别的影像特征；

[0015] 所述患者图构建模块用于将患者级别的影像特征作为节点，以非影像信息作为边，进行患者图构建；

[0016] 所述图卷积神经网络模块用于基于构建好的坏死图和患者图进行更新和训练；

[0017] 所述风险评分模块用于将图卷积神经网络模块的输出结果转换成患者的生存风险评分，以坏死图得到的纯病理风险评分为基准，以患者图得到的影像信息和非影像信息结合的多模态风险评分为辅助，进行预后判断。

[0018] 进一步地，所述预处理模块基于最大类间方差法Otsu方法进行前景组织分割，使用滑动窗口将WSI进行切块。

[0019] 进一步地，所述识别模块通过预训练好的基于模糊比例标签的坏死识别模型对图块进行分类，筛选出坏死图块和肿瘤图块，并将分类结果作为图块的伪标签。

[0020] 进一步地，所述坏死图构建模块包括特征提取子模块和图块级节点子模块；

[0021] 所述特征提取子模块用于将分类好的图块放入预训练好的卷积层，提取多维特征，结合图块的伪标签形成多维节点特征向量；

[0022] 所述图块级节点子模块用于将每个肿瘤图块或坏死图块均视为一个节点，空间坐标取自图块在图像中的位置，基于k‑NN 算法和欧氏距离阈值使得空间坐标最近的k个图块之间形成边，构造坏死图。

[0023] 进一步地，所述患者图构建模块使用非影像信息TACE治疗构建边，根据患者是否接受过TACE治疗分为两组，同组内的所有患者特征间均计算一次的欧氏距离，使用k‑NN算法取同组内距离最近的k个患者之间形成边。

[0024] 进一步地，所述图卷积神经网络模块使用深度图卷积神经网络DeepGCN实现相邻节点的消息传递和更新。

[0025] 进一步地，深度图卷积神经网络DeepGCN中，GCN的输出和输入相加，作为下一层GCN的输入，使多层GCN的输出结果迭代叠加，得到最终输出结果。

[0026] 进一步地，所述风险评分模块将患者的生存时间均匀离散为四个区间，训练图卷积神经网络模型预测患者死亡事件发生的时间段，根据患者死亡事件发生的概率，计算期望值，拟合患者风险评分。

[0027] 进一步地，训练图卷积神经网络模型预测患者死亡事件发生的时间段的损失函数表示为：

[0028]

[0029] 其中，是患者死亡事件发生的时间段，是患者死亡事件发生的前一个时间段；是患者死亡事件发生的概率，因此 是患者死亡事件在 时间间隔内发生的概
率， 代表条件指定的时间间隔y； 表示第i个是患者的删失标签，根据是否删失有两种损失函数计算方法，最后求和。

[0030] 另一方面，本发明还提供了一种基于双层图卷积神经网络的肝癌病理预后装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的一种基于双层图卷积神经网络的肝癌病理预后系统。

[0031] 本发明的有益效果：

[0032] 1.现有技术只通过注意力机制重点关注了肿瘤组织区域，然而研究表明病理切片上存在多种组织均对预后高度相关。本发明引入坏死标签和肿瘤伪标签，并使用标签对图块进行标注，两种对肝癌患者预后高度相关的组织类型标签能显著提高模型的预测性能。

[0033] 2.现有技术只选用了50个图块参与预后预测，可能会遗漏关键预后信息。本发明对患者的全部肿瘤和坏死图块构建了第一级图网络，同时将图块信息与非影像信息融合构建了第二级图网络，充分利用了一张切片上的信息。

[0034] 3.现有技术只对图块进行了特征提取，没有考虑图块之间的空间关系。本发明在构建坏死图时，通过图块间的欧几里得距离构建边，使模型能学习到病理切片丰富的组织空间信息，提高了预后的性能。

[0035] 4.现有技术为纯影像模型，没有利用到临床非影像数据参与预后。本发明构建了患者图网络，通过患者病理切片特征构建节点，非影像数据构建边，巧妙的结合影像和非影像的数据，通过引入更多的患者信息，从而提高预后精确度。

附图说明

[0036] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

[0037] 图1是本发明的一种基于双层图卷积神经网络的肝癌病理预后系统的示意图；

[0038] 图2是本发明的坏死图构建示意图；

[0039] 图3是本发明的患者图构建示意图；

[0040] 图4是本发明一种基于双层图卷积神经网络的肝癌病理预后装置的结构图。

具体实施方式

[0041] 以下结合附图对本发明具体实施方式作进一步详细说明。

[0042] 如图1所示，本发明提供的一种基于双层图卷积神经网络的肝癌病理预后系统，分为纯影像和影像结合非影像共两层，具体包括预处理模块、识别模块、坏死图构建模块、注意力池化模块、患者图构建模块、图卷积神经网络模块（GCN模块）、风险评分模块共七个模块。其中预处理模块将原始病理切片进行组织提取、切块。识别模块识别出肿瘤图块和坏死图块用于后续的图构建。注意力池化模块将图块级别特征聚合成患者级别特征。坏死图构建模块主要根据识别模块得到的坏死图块和肿瘤图块进行空间图构建，为第一层图卷积神经网络。患者图构建模块则将患者级别的影像特征结合非影像信息进行图构建，为第二层图卷积神经网络。图卷积神经网络模块（GCN模块）将构建好的坏死图和患者图进行更新和训练。风险评分模块将图卷积网络输出结果转换成患者的生存风险评分。

[0043] 所述预处理模块用于利用幻灯片缩略图的RGB 通道之间的差异，基于最大类间方差法Otsu方法（Otsu N. A threshold selection method from gray‑level histograms[J]. IEEE transactions on systems, man, and cybernetics. 1979,9(1):62‑6）可以计算阈值从而丢弃空白背景并去除边缘伪影和不同颜色的笔迹。前景组织分割后，使用滑动窗口将病理切片切成大小为224×224 像素的图块，放大倍数×5，得到每个切块的质心点坐标。

[0044] 所述识别模块用于将预处理后的图块输入肝癌微坏死分类器，该分类器为预训练好的基于模糊比例标签的坏死识别模型（Ye Q, Zhang Q, Tian Y, Zhou T, et al. Method of tumor pathological micronecrosis quantification via deep learning from label fuzzy proportions[J]. IEEE Journal of Biomedical and Health Informatics. 2021,25(9):3288‑99），可对图块进行四分类，得到肿瘤、坏死、正常、非肝四种类别的图块。分类结束后，筛选出坏死图块和肿瘤图块，并将该分类结果作为图块的伪标签用于后续的图构建。

[0045] 所述坏死图构建模块包括特征提取子模块和图块级节点子模块；

[0046] 所述特征提取子模块用于将分类好的图块放入预训练好的resnet34的卷积层，得到512维的特征，结合图块的伪标签的一维特征转化为513维的节点特征。

[0047] 所述图块级节点子模块用于将每个肿瘤图块或坏死图块均视为一个节点，空间坐标取自图块在图像中的位置即切块的质心点坐标。因为具有较小欧几里得距离的图块更有可能相互作用，使用 k‑NN 算法（Zhou Y, Graham S, Alemi Koohbanani N, et al. Cgc‑net: Cell graph convolutional network for grading of colorectal cancer histology images[C]. Proceedings of the IEEE/CVF international conference on computer vision workshops. Seoul, Korea (South): IEEE Computer Society, 2019: 0‑0）使得空间坐标较近的图块之间形成边。边的形式可以表示如下：

[0048] 其中 、 分别表示第i、j个图块节点， 表示第i、j个图块节点之间形成的边。指的是，离节点i最近的k个节点，k为提前设置的个数阈值。 表示两个节点间特征向量的欧氏距离，d是设置的距离阈值。最后，根据节点特征向量、质心坐标和边构造坏死图。坏死图构造流程如图2所示。

[0049] 为了得到患者级别的节点特征，所述注意力池化模块用于对图块节点进行池化，传统方法一般直接对所有节点进行平均池化，这样处理会弱化模型对关键区域的关注。因此本发明采用基于注意力机制的池化方案，将注意力池化模块放置在模型倒数第二层，最后接入全连接层拟合WSI级风险评分进行迭代训练。训练好的模型去掉全连接层，得到经过注意力层融合后的513维影像特征作为患者图网络的节点。

[0050] 所述患者图构建模块使用单个非影像信息：TACE治疗构建边。根据患者是否接受过TACE治疗分为两组，同组内的所有患者特征间均计算一次的欧氏距离，使用k‑NN算法取同组内距离较近的k个患者之间形成边。边的生成如图3所示，只有同组且欧氏距离相近的患者之间会形成边，这种边构建实际上挑选出了影像特征类似且治疗手段相同的患者构建了节点对；

[0051] 所述图卷积神经网络模块（GCN模块）基于坏死图和患者图进行更新和训练，在网络架构部分，使用深度图卷积神经网络DeepGCN实现相邻节点的消息传递和更新。它包含多个隐藏层，通过这些隐藏层，节点特征在各自的空间域中传输和聚合。DeepGCN 消息传递函数可以表示为：

[0052]

[0053]

[0054]

[0055] 其中， 、 、 分别对应第l隐藏层节点u、节点v和vu边的特征。 表示第l隐藏层的消息构造函数，将节点和边的特征进行加运算，再进行 激活，从而得到第l隐藏层的消息传递函数 。 表示消息聚合函数，是一个Softmax聚合计算，它计算了一个注意力权重 ，这个权重 决定了多少比例的 组成第l隐藏层的聚合消息传递函数 ，指的与节点v有边连接的节点集合。 表示节点更新函数，将当前节点特征和聚合消息加在一起，再传入多层感知器。最后，GCN的输出和输入相加，作为下一层GCN的输入，使多层GCN的输出结果迭代叠加，防止因GCN层数过多而导致过度平滑：

[0056]

[0057] 其中 是当前层的GCN网络， 、 对应引入了残差连接的当前层和上一层的最终输出结果。

[0058] 为了解决回归任务难收敛和对数据量要求巨大的弊端，所述风险评分模块使用分类任务取代了传统的回归任务，将患者的生存时间均匀离散为四个区间，训练图卷积神经网络模型预测患者死亡事件发生的时间段，从预后的意义上，图卷积神经网络模型实际上将患者分成了不同的风险区间。损失函数可表示为：

[0059]

[0060] 其中 是患者死亡事件发生的时间段， 是患者死亡事件发生的前一个时间段。是患者死亡事件发生的概率，因此 是患者死亡事件在 时间间隔内发生的概
率， 代表条件指定的时间间隔y。 指的是第i个患者的删失标签，根据是否删失有两种损失函数计算方法，最后求和。根据4个时间间隔的概率，计算期望值，拟合患者风险评分。
由于存在两层GCN网络，因此会输出两个风险评分，第一层对应的是纯病理风险评分，第二层是多模态结合风险评分。风险评分越高，对应模型预测患者的预后越差，死亡风险越高，以坏死图得到的纯病理风险评分为基准判断，以患者图得到的影像信息和非影像信息结合的多模态风险评分为辅助判断，综合进行预后判断后建议医生高度关注并制定治疗方案。

[0061] 与前述一种基于双层图卷积神经网络的肝癌病理预后方法的实施例相对应，本发明还提供了一种基于双层图卷积神经网络的肝癌病理预后装置的实施例。

[0062] 参见图4，本发明实施例提供的一种基于双层图卷积神经网络的肝癌病理预后装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述实施例中的一种基于双层图卷积神经网络的肝癌病理预后方法。

[0063] 本发明提供的一种基于双层图卷积神经网络的肝癌病理预后装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本发明提供的一种基于双层图卷积神经网络的肝癌病理预后装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

[0064] 上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

[0065] 对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

[0066] 本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种基于双层图卷积神经网络的肝癌病理预后方法。

[0067] 所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

[0068] 上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。