一种支气管分级及模型训练方法、装置及电子设备

摘要

本发明提供了一种支气管分级及模型训练方法、装置及电子设备，方法包括：获取支气管训练数据集，对支气管训练数据中的每一像素点所属的支气管分级进行标注；提取每一支气管训练数据的中线及关键点；根据关键点对中线进行分段，依据分段的邻接关系，构建中线邻接矩阵；依据支气管段中标注的每一像素点所属的支气管分级，确定该支气管段所属的支气管分级；将支气管训练数据包含的各支气管段的像素点坐标矩阵与中线邻接矩阵，作为待训练的深度图神经网络的输入，对待训练的深度图神经网络进行训练；依据支气管段所属的支气管分级以及待训练的深度图神经网络的输出，确定待训练的深度图神经网络收敛，得到支气管分级模型。可以提高支气管分级精度。

权利要求

1.一种支气管分级模型训练方法，其特征在于，包括：获取支气管训练数据集，针对支气管训练数据集中的每一支气管训练数据，对该支气管训练数据中的每一像素点所属的支气管分级进行标注；

提取支气管训练数据集中每一支气管训练数据的中线，确定中线的关键点；

根据中线的关键点，对中线进行分段，依据分段的支气管段之间的邻接关系，构建中线邻接矩阵；

针对每一支气管段，依据该支气管段中标注的每一像素点所属的支气管分级，确定该支气管段所属的支气管分级；

针对每一支气管训练数据，将该支气管训练数据包含的各支气管段的像素点坐标矩阵与中线邻接矩阵，作为待训练的深度图神经网络的输入，对该待训练的深度图神经网络进行训练；

依据支气管段所属的支气管分级以及待训练的深度图神经网络的输出，确定待训练的深度图神经网络收敛，得到支气管分级模型；

所述将该支气管训练数据包含的各支气管段的像素点坐标矩阵与中线邻接矩阵，作为待训练的深度图神经网络的输入之前，所述方法还包括：针对每一支气管段，获取该支气管段在各维度方向上的像素点数；

依据深度图神经网络要求的各维度方向上的像素点数阈值，利用线性插值方法，将支气管段在各维度方向上的像素点数变换为对应维度方向上的像素点数阈值；

所述深度图神经网络包括依次相连的多个操作处理相同的深度图网络块，所述将该支气管训练数据包含的各支气管段的像素点坐标矩阵与中线邻接矩阵，作为待训练的深度图神经网络的输入，对该待训练的深度图神经网络进行训练，包括：将由各支气管段的像素点坐标矩阵组成的坐标点特征矩阵输入待训练的深度图神经网络，与待训练的深度图神经网络的训练参数矩阵相乘，得到第一特征；

对第一特征进行批量归一化，得到第二特征；

对第二特征进行激活处理，得到第三特征；

将第三特征与中线邻接矩阵进行相乘，得到第四特征；

对第四特征进行图归一化处理，得到第五特征；

将第五特征与坐标点特征矩阵进行相加处理，得到第六特征；

对第六特征进行激活处理，得到用于输入下一深度图网络块的输出特征。

2.根据权利要求1所述的方法，其特征在于，所述根据中线的关键点，对中线进行分段，包括：

从中线最上端的端点开始遍历，采用深度优先搜索或者广度优先搜索方法，对该中线进行遍历；

当遍历经过一关键点，则得到一支气管段。

3.根据权利要求1所述的方法，其特征在于，所述依据分段的支气管段之间的邻接关系，构建中线邻接矩阵，包括：对从中线进行分段得到的支气管段进行标识；

构建数值为空的初始邻接矩阵，初始邻接矩阵的行数与列数相等，行数为提取的支气管段数，行、列对应支气管段的标识；

针对每一提取的支气管段，在该支气管段对应的初始邻接矩阵的行中，根据邻接关系，将与该支气管段相邻的支气管段对应的列值置1，与该支气管段不相邻的支气管段对应的列值置0，得到中线邻接矩阵。

4.根据权利要求1所述的方法，其特征在于，所述依据该支气管段中标注的每一像素点所属的支气管分级，确定该支气管段所属的支气管分级，包括：遍历支气管段中标注的每一像素点，对每一像素点所属的支气管分级进行统计；

从统计的支气管分级中，获取最多像素点数对应的支气管分级，确定为该支气管段所属的支气管分级。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：从支气管训练数据集中进行随机抽样，并对随机抽样的支气管训练数据进行数据扩充，将进行数据扩充得到的数据置于支气管训练数据集中。

6.一种支气管分级方法，其特征在于，包括：获取待分级支气管数据；

提取待分级支气管数据的待分级中线，确定待分级中线的关键点；

根据待分级中线的关键点，对待分级中线进行分段，依据分段的支气管段之间的邻接关系，构建待分级中线邻接矩阵；

将各支气管段的像素点坐标矩阵与待分级中线邻接矩阵输入支气管分级模型，得到各支气管段对应所属的支气管分级，所述支气管分级模型根据权利要求1至5中任一项所述的方法训练得到；

将支气管段所属的支气管分级映射至待分级支气管数据，得到所述待分级支气管数据的支气管分级结果。

7.一种支气管分级模型训练装置，其特征在于，包括：分级标注模块，用于获取支气管训练数据集，针对支气管训练数据集中的每一支气管训练数据，对该支气管训练数据中的每一像素点所属的支气管分级进行标注；

关键点确定模块，用于提取支气管训练数据集中每一支气管训练数据的中线，确定中线的关键点；

邻接矩阵构建模块，用于根据中线的关键点，对中线进行分段，依据分段的支气管段之间的邻接关系，构建中线邻接矩阵；

分级确定模块，用于针对每一支气管段，依据该支气管段中标注的每一像素点所属的支气管分级，确定该支气管段所属的支气管分级；

训练模块，用于针对每一支气管训练数据，将该支气管训练数据包含的各支气管段的像素点坐标矩阵与中线邻接矩阵，作为待训练的深度图神经网络的输入，对该待训练的深度图神经网络进行训练；

模型获取模块，用于依据支气管段所属的支气管分级以及待训练的深度图神经网络的输出，确定待训练的深度图神经网络收敛，得到支气管分级模型；

训练模块包括：

第一相乘单元，用于将由各支气管段的像素点坐标矩阵组成的坐标点特征矩阵输入待训练的深度图神经网络，与待训练的深度图神经网络的训练参数矩阵相乘，得到第一特征；

批量归一化单元，用于对第一特征进行批量归一化，得到第二特征；

第一激活单元，用于对第二特征进行激活处理，得到第三特征；

第二相乘单元，用于将第三特征与中线邻接矩阵进行相乘，得到第四特征；

图归一化单元，用于对第四特征进行图归一化处理，得到第五特征；

相加单元，用于将第五特征与坐标点特征矩阵进行相加处理，得到第六特征；

第二激活单元，用于对第六特征进行激活处理，得到用于输入下一深度图网络块的输出特征。

8.一种支气管分级装置，其特征在于，包括：数据获取模块，用于获取待分级支气管数据；

关键点提取模块，用于提取待分级支气管数据的待分级中线，确定待分级中线的关键点；

邻接矩阵生成模块，用于根据待分级中线的关键点，对待分级中线进行分段，依据分段的支气管段之间的邻接关系，构建待分级中线邻接矩阵；

支气管段分级模块，用于将各支气管段的像素点坐标矩阵与待分级中线邻接矩阵输入支气管分级模型，得到各支气管段对应所属的支气管分级，所述支气管分级模型根据权利要求1至5中任一项所述的方法训练得到；

支气管分级模块，用于将支气管段所属的支气管分级映射至待分级支气管数据，得到所述待分级支气管数据的支气管分级结果。

9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至5任一所述的支气管分级模型训练方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至5任一所述的支气管分级模型训练方法的步骤。

说明书

一种支气管分级及模型训练方法、装置及电子设备

技术领域

[0001] 本发明涉及支气管技术领域，具体而言，涉及一种支气管分级及模型训练方法、装置及电子设备。

背景技术

[0002] 支气管是呼吸系统的重要组成部分，与气管连通，与支气管共同构成人体的呼吸通道，通过支气管管壁上分布的分泌粘液的腺体，滋润支气管黏膜，对吸入的气体进行加
温、加湿，而通过支气管内纤毛的摆动，将灰尘和异物向上推送至咽喉，利于咳出。

[0003] 用计算机断层成像(CT，Computed Tomography)扫描仪获得的支气管原始CT图像中包含有大量能够反映支气管疾病的病理生理信息，但由于支气管数量庞大，形成的三维
树形网络结构非常复杂，因此很难直接对支气管进行观察分析。因而，通过支气管树分割提
取和分级，以对支气管树生理解剖结构进行量化，进而能够对支气管病灶进行定位，精确定
位支气管疾病的区域，对支气管疾病规划和活检具有重要意义。

[0004] 支气管分级是指对从支气管开始至肺泡之间形成的呼吸结构，依据承担的功能进行分段的过程，使得不同分级的支气管段完成不同的呼吸功能，以便于在临床上发生呼吸
功能疾病时，能够依据发生的呼吸功能疾病定位具体的支气管段，利于采取对应的治疗措
施。

[0005] 目前，一般采用传统算法或者深度学习模型方法、模板匹配方法及语义分割算法三种支气管分级算法，对支气管进行分级。其中，通过传统算法或者深度学习模型方法，对
肺叶肺段进行分割得到支气管分级结果，但该方法，由于肺段没有固定边界，或者支气管变
异较多，或者，支气管存在缺失，都会使得分割不确定性较大，造成支气管分级精度很低；通
过模板匹配方法进行支气管分级，利用预先获得的多个支气管分级模板，根据预设算法对
目标支气管图像进行匹配，依据匹配的支气管分级模板确定该目标支气管图像对应的支气
管分级，但该方法，由于支气管变异很多，尤其是病变图像，或者，支气管存在缺失，使得支
气管分级模板与目标支气管图像的匹配差异较大，鲁棒性较低，导致支气管分级精度较低；
通过语义分割算法对支气管进行多分类分割得到支气管分级的方法，该方法强烈依赖于图
像质量，同样地，对于支气管变异多或支气管分支有缺失的目标支气管图像，很难提升其图
像质量，也使得支气管分级精度较低。

发明内容

[0006] 有鉴于此，本发明的目的在于提供支气管分级及模型训练方法、装置及电子设备，以提高支气管分级精度。

[0007] 第一方面，本发明实施例提供了支气管分级模型训练方法，包括：

[0008] 获取支气管训练数据集，针对支气管训练数据集中的每一支气管训练数据，对该支气管训练数据中的每一像素点所属的支气管分级进行标注；

[0009] 提取支气管训练数据集中每一支气管训练数据的中线，确定中线的关键点；

[0010] 根据中线的关键点，对中线进行分段，依据分段的支气管段之间的邻接关系，构建中线邻接矩阵；

[0011] 针对每一支气管段，依据该支气管段中标注的每一像素点所属的支气管分级，确定该支气管段所属的支气管分级；

[0012] 针对每一支气管训练数据，将该支气管训练数据包含的各支气管段的像素点坐标矩阵与中线邻接矩阵，作为待训练的深度图神经网络的输入，对该待训练的深度图神经网
络进行训练；

[0013] 依据支气管段所属的支气管分级以及待训练的深度图神经网络的输出，确定待训练的深度图神经网络收敛，得到支气管分级模型。

[0014] 结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述根据中线的关键点，对中线进行分段，包括：

[0015] 从中线最上端的端点开始遍历，采用深度优先搜索或者广度优先搜索方法，对该中线进行遍历；

[0016] 当遍历经过一关键点，则得到一支气管段。

[0017] 结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述依据分段的支气管段之间的邻接关系，构建中线邻接矩阵，包括：

[0018] 对从中线进行分段得到的支气管段进行标识；

[0019] 构建数值为空的初始邻接矩阵，初始邻接矩阵的行数与列数相等，行数为提取的支气管段数，行、列对应支气管段的标识；

[0020] 针对每一提取的支气管段，在该支气管段对应的初始邻接矩阵的行中，根据邻接关系，将与该支气管段相邻的支气管段对应的列值置1，与该支气管段不相邻的支气管段对
应的列值置0，得到中线邻接矩阵。

[0021] 结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述依据该支气管段中标注的每一像素点所属的支气管分级，确定该支气管段所属的支气管
分级，包括：

[0022] 遍历支气管段中标注的每一像素点，对每一像素点所属的支气管分级进行统计；

[0023] 从统计的支气管分级中，获取最多像素点数对应的支气管分级，确定为该支气管段所属的支气管分级。

[0024] 结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述将该支气管训练数据包含的各支气管段的像素点坐标矩阵与中线邻接矩阵，作为待训练
的深度图神经网络的输入之前，所述方法还包括：

[0025] 针对每一支气管段，获取该支气管段在各维度方向上的像素点数；

[0026] 依据深度图神经网络要求的各维度方向上的像素点数阈值，利用线性插值方法，将支气管段在各维度方向上的像素点数变换为对应维度方向上的像素点数阈值。

[0027] 结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述深度图神经网络包括依次相连的多个操作处理相同的深度图
网络块，所述将该支气管训练数据包含的各支气管段的像素点坐标矩阵与中线邻接矩阵，
作为待训练的深度图神经网络的输入，对该待训练的深度图神经网络进行训练，包括：

[0028] 将由各支气管段的像素点坐标矩阵组成的坐标点特征矩阵输入待训练的深度图神经网络，与待训练的深度图神经网络的训练参数矩阵相乘，得到第一特征；

[0029] 对第一特征进行批量归一化，得到第二特征；

[0030] 对第二特征进行激活处理，得到第三特征；

[0031] 将第三特征与中线邻接矩阵进行相乘，得到第四特征；

[0032] 对第四特征进行图归一化处理，得到第五特征；

[0033] 将第五特征与坐标点特征矩阵进行相加处理，得到第六特征；

[0034] 对第六特征进行激活处理，得到用于输入下一深度图网络块的输出特征。

[0035] 结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述方法还包括：

[0036] 从支气管训练数据集中进行随机抽样，并对随机抽样的支气管训练数据进行数据扩充，将进行数据扩充得到的数据置于支气管训练数据集中。

[0037] 第二方面，本发明实施例还提供了一种支气管分级方法，包括：

[0038] 获取待分级支气管数据；

[0039] 提取待分级支气管数据的待分级中线，确定待分级中线的关键点；

[0040] 根据待分级中线的关键点，对待分级中线进行分段，依据分段的支气管段之间的邻接关系，构建待分级中线邻接矩阵；

[0041] 将各支气管段的像素点坐标矩阵与待分级中线邻接矩阵输入支气管分级模型，得到各支气管段对应所属的支气管分级，所述支气管分级模型根据上述方法训练得到；

[0042] 将支气管段所属的支气管分级映射至待分级支气管数据，得到所述待分级支气管数据的支气管分级结果。

[0043] 第三方面，本发明实施例提供了一种支气管分级模型训练装置，包括：

[0044] 分级标注模块，用于获取支气管训练数据集，针对支气管训练数据集中的每一支气管训练数据，对该支气管训练数据中的每一像素点所属的支气管分级进行标注；

[0045] 关键点确定模块，用于提取支气管训练数据集中每一支气管训练数据的中线，确定中线的关键点；

[0046] 邻接矩阵构建模块，用于根据中线的关键点，对中线进行分段，依据分段的支气管段之间的邻接关系，构建中线邻接矩阵；

[0047] 分级确定模块，用于针对每一支气管段，依据该支气管段中标注的每一像素点所属的支气管分级，确定该支气管段所属的支气管分级；

[0048] 训练模块，用于针对每一支气管训练数据，将该支气管训练数据包含的各支气管段的像素点坐标矩阵与中线邻接矩阵，作为待训练的深度图神经网络的输入，对该待训练
的深度图神经网络进行训练；

[0049] 模型获取模块，用于依据支气管段所属的支气管分级以及待训练的深度图神经网络的输出，确定待训练的深度图神经网络收敛，得到支气管分级模型。

[0050] 第四方面，本发明实施例提供了一种支气管分级装置，包括：

[0051] 数据获取模块，用于获取待分级支气管数据；

[0052] 关键点提取模块，用于提取待分级支气管数据的待分级中线，确定待分级中线的关键点；

[0053] 邻接矩阵生成模块，用于根据待分级中线的关键点，对待分级中线进行分段，依据分段的支气管段之间的邻接关系，构建待分级中线邻接矩阵；

[0054] 支气管段分级模块，用于将各支气管段的像素点坐标矩阵与待分级中线邻接矩阵输入支气管分级模型，得到各支气管段对应所属的支气管分级，所述支气管分级模型根据
上述方法训练得到；

[0055] 支气管分级模块，用于将支气管段所属的支气管分级映射至待分级支气管数据，得到所述待分级支气管数据的支气管分级结果。

[0056] 第五方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实
现上述方法的步骤。

[0057] 第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。

[0058] 本发明实施例提供的支气管分级及模型训练方法、装置及电子设备，通过获取支气管训练数据集，针对支气管训练数据集中的每一支气管训练数据，对该支气管训练数据
中的每一像素点所属的支气管分级进行标注；提取支气管训练数据集中每一支气管训练数
据的中线，确定中线的关键点；根据中线的关键点，对中线进行分段，依据分段的支气管段
之间的邻接关系，构建中线邻接矩阵；针对每一支气管段，依据该支气管段中标注的每一像
素点所属的支气管分级，确定该支气管段所属的支气管分级；针对每一支气管训练数据，将
该支气管训练数据包含的各支气管段的像素点坐标矩阵与中线邻接矩阵，作为待训练的深
度图神经网络的输入，对该待训练的深度图神经网络进行训练；依据支气管段所属的支气
管分级以及待训练的深度图神经网络的输出，确定待训练的深度图神经网络收敛，得到支
气管分级模型。这样，基于深度图神经网络学习支气管的各种拓扑结构，获取支气管的中线
以及每一支气管段的邻接关系，基于像素点坐标特征、中线邻接矩阵以及确定的支气管段
所属的支气管分级，对深度图神经网络进行训练，使得训练得到的支气管分级模型对于支
气管异常、病变的图像，具有较好的分级效果，从而可以有效提高支气管分级的精度和鲁棒
性。

[0059] 为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

[0060] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对
范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这
些附图获得其他相关的附图。

[0061] 图1示出了本发明实施例所提供的支气管分级模型训练方法流程示意图；

[0062] 图2示出了本发明实施例所提供的支气管分级方法流程示意图；

[0063] 图3示出了本发明实施例所提供的支气管分级模型训练装置结构示意图；

[0064] 图4示出了本发明实施例所提供的支气管分级装置结构示意图；

[0065] 图5为本申请实施例提供的一种计算机设备500的结构示意图。

具体实施方式

[0066] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅
是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实
施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的
实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实
施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所
有其他实施例，都属于本发明保护的范围。

[0067] 目前，对支气管进行分级的方法，无论是采用传统算法或者深度学习模型方法或模板匹配方法，还是语义分割算法，在支气管变异较多或支气管存在缺失的情形下，都会造
成支气管分级精度较低，难以得到较好的分级结果。本发明实施例中，基于深度图神经网
络，通过学习支气管的拓扑结构，可以有效提高支气管分级的精度和鲁棒性。

[0068] 本发明实施例提供了一种支气管分级及模型训练方法、装置及电子设备，下面通过实施例进行描述。

[0069] 图1示出了本发明实施例所提供的支气管分级模型训练方法流程示意图。如图1所示，该方法包括：

[0070] 步骤101，获取支气管训练数据集，针对支气管训练数据集中的每一支气管训练数据，对该支气管训练数据中的每一像素点所属的支气管分级进行标注；

[0071] 本发明实施例中，作为一可选实施例，支气管训练数据可以是支气管CT图像，其中，支气管CT图像包括：支气管存在变异或病变或缺失的CT图像以及正常支气管CT图像。

[0072] 本发明实施例中，对于支气管原始CT图像，为了提取支气管原始CT图像中的支气管区域，作为一可选实施例，支气管CT图像可以是利用预先设置的分割算法对拍摄的支气
管原始CT图像进行分割操作得到的掩膜(mask)图像。针对每一掩膜图像，对该掩膜图像中
的每一像素点所属的支气管分级进行标注。其中，分割算法可以是深度学习网络算法，例
如，UNet网络算法，也可以是图像分割算法，例如，区域生长算法、海森(Hessian)矩阵算法
等。

[0073] 本发明实施例中，分割的级数越多，后续得到的支气管分级精度就越高。

[0074] 本发明实施例中，对支气管训练数据中的每一像素点所属的支气管分级进行标注，可通过机器标注结合人工校正的方式进行。

[0075] 本发明实施例中，对于作为训练样本的支气管训练数据较少的情形，由于后续的深度图神经网络具有较强的学习能力，在训练样本量较少的情形下，会导致深度图神经网
络的过拟合，使得训练得到的深度图神经网络难以应用。因而，作为一可选实施例，该方法
还包括：

[0076] 从支气管训练数据集中进行随机抽样，并对随机抽样的支气管训练数据进行数据扩充，将进行数据扩充得到的数据置于支气管训练数据集中。

[0077] 本发明实施例中，数据扩充包括但不限于：仿射变换、弹性形变、加入噪声、对气管树进行剪枝等。这样，通过对已有的支气管训练数据进行变化，有效扩充了支气管训练数据
集中的样本量。

[0078] 步骤102，提取支气管训练数据集中每一支气管训练数据的中线，确定中线的关键点；

[0079] 本发明实施例中，中线为训练数据的骨架，能反应出原始的支气管的拓扑结构。作为一可选实施例，若支气管训练数据为分割的掩膜图像，针对每一掩膜图像进行中线提取。

[0080] 本发明实施例中，作为一可选实施例，关键点包括分叉点和端点。

[0081] 本发明实施例中，关于中线提取以及关键点确定的流程，具体可参见相关技术文献，在此略去详述。例如，对于中线提取，获取掩膜图像的中心点坐标，使用烈火模拟法或最
大内接球等方法，以该中心点坐标为起点进行三维空间内的26邻域分析，得到该掩膜图像
的中心线。对于分叉点和端点，可以通过判断目标点的26邻域，如果邻域内的点的个数大于
3，则该目标点为分叉点，若邻域内的点的个数只有1，则该目标点是端点，在确定分叉点和
端点后，还可以通过算法计算分叉点之间的距离，将距离小于预设距离阈值的分叉点去除，
以提升对分叉点确定的精度，避免误检的分叉点。

[0082] 本发明实施例中，每一支气管训练数据对应一中线。

[0083] 步骤103，根据中线的关键点，对中线进行分段，依据分段的支气管段之间的邻接关系，构建中线邻接矩阵；

[0084] 本发明实施例中，作为一可选实施例，根据中线的关键点，对中线进行分段，包括：

[0085] 从中线最上端的端点开始遍历，采用深度优先搜索或者广度优先搜索方法，对该中线进行遍历；

[0086] 当遍历经过一关键点，则得到一支气管段。

[0087] 本发明实施例中，通过关键点对中线进行分段，当遍历完中线的所有关键点，完成对中线的分段，依据不同支气管段之间的邻接关系，可以得到所有段之间的邻接矩阵，即中
线邻接矩阵。

[0088] 本发明实施例中，作为一可选实施例，依据分段的支气管段之间的邻接关系，构建中线邻接矩阵，包括：

[0089] 对从中线进行分段得到的支气管段进行标识；

[0090] 构建数值为空的初始邻接矩阵，初始邻接矩阵的行数与列数相等，行数为提取的支气管段数，行、列对应支气管段的标识；

[0091] 针对每一提取的支气管段，在该支气管段对应的初始邻接矩阵的行中，根据邻接关系，将与该支气管段相邻的支气管段对应的列值置1，与该支气管段不相邻的支气管段对
应的列值置0，得到中线邻接矩阵。

[0092] 本发明实施例中，以中线对应的支气管树包含七个支气管段为例，对应支气管段的标识为1至7，记为段1至段7，其中，段1分别与段2和段5相邻，段2分别与段1、段3、段4和段
5相邻，段3分别与段2和段4相邻，段4分别与段2和段3相邻，段5分别与段1、段2、段6和段7相
邻，段6分别与段5和段7相邻，段7分别与段5和段6相邻。

[0093] 作为一可选实施例，以支气管段的标识小至大的顺序构建初始邻接矩阵的行和列，具体来说，初始邻接矩阵的第一行和第一列对应段1，初始邻接矩阵的第二行和第二列
对应段2，…，初始邻接矩阵的第七行和第七列对应段7，以段1为例，段1分别与段2和段5相
邻，段1对应初始邻接矩阵的第一行，则对于初始邻接矩阵的第一行，将第二列和第五列的
行列值置1，其余列的行列值置1。当然，实际应用中，也可以通过随机的支气管段的标识构
建初始邻接矩阵的行和列，只要初始邻接矩阵的行中，包含所有的支气管段的标识，初始邻
接矩阵的列中，包含所有的支气管段的标识即可，本发明实施例对此不作限定。

[0094] 本发明实施例中，邻接关系没有方向和权重，即构建的邻接矩阵是行列值只为0和1的对称矩阵，行列值没有权重。

[0095] 步骤104，针对每一支气管段，依据该支气管段中标注的每一像素点所属的支气管分级，确定该支气管段所属的支气管分级；

[0096] 本发明实施例中，依据像素点的统计特性确定支气管段所属的支气管分级，作为一可选实施例，依据该支气管段中标注的每一像素点所属的支气管分级，确定该支气管段
所属的支气管分级，包括：

[0097] 遍历支气管段中标注的每一像素点，对每一像素点所属的支气管分级进行统计；

[0098] 从统计的支气管分级中，获取最多像素点数对应的支气管分级，确定为该支气管段所属的支气管分级。

[0099] 本发明实施例中，针对每一支气管段，通过遍历支气管段上每一个像素点的标注，统计该支气管段中出现次数最多的标注，作为该支气管段的支气管分级。

[0100] 步骤105，针对每一支气管训练数据，将该支气管训练数据包含的各支气管段的像素点坐标矩阵与中线邻接矩阵，作为待训练的深度图神经网络的输入，对该待训练的深度
图神经网络进行训练；

[0101] 本发明实施例中，对于支气管训练数据包含的各支气管段，支气管段的长度不一，而对于深度图神经网络(Deep GNN，Deep Graph Neural Network)，其输入有统一的数据要
求，因而，作为一可选实施例，将该支气管训练数据包含的各支气管段的像素点坐标矩阵与
中线邻接矩阵，作为待训练的深度图神经网络的输入之前，该方法还包括：

[0102] 针对每一支气管段，获取该支气管段在各维度方向上的像素点数；

[0103] 依据深度图神经网络要求的各维度方向上的像素点数阈值，利用线性插值方法，将支气管段在各维度方向上的像素点数变换为对应维度方向上的像素点数阈值。

[0104] 本发明实施例中，设在各维度方向上的像素点数阈值均为n，若某一支气管段在各维度方向上的像素点数均为m，则先对该支气管段提取每个像素点的x维度方向坐标，得到
长度为m的数组，按照线性插值方法，将长度为m的数组变换成长度为n的数组；对于y维度方
向、z维度方向坐标，进行同样的操作，得到总维度方向上长度为3n的数组，从而实现对支气
管段尺寸的统一化处理。

[0105] 本发明实施例中，深度图神经网络由一系列相同结构的深度图网络块(block)组成，每个block中执行相同的操作。作为一可选实施例，深度图神经网络包括依次相连的多
个操作处理相同的深度图网络块，将该支气管训练数据包含的各支气管段的像素点坐标矩
阵与中线邻接矩阵，作为待训练的深度图神经网络的输入，对该待训练的深度图神经网络
进行训练，包括：

[0106] A11，将由各支气管段的像素点坐标矩阵组成的坐标点特征矩阵输入待训练的深度图神经网络，与待训练的深度图神经网络的训练参数矩阵相乘，得到第一特征；

[0107] A12，对第一特征进行批量归一化，得到第二特征；

[0108] A13，对第二特征进行激活处理，得到第三特征；

[0109] A14，将第三特征与中线邻接矩阵进行相乘，得到第四特征；

[0110] A15，对第四特征进行图归一化处理，得到第五特征；

[0111] A16，将第五特征与坐标点特征矩阵进行相加处理，得到第六特征；

[0112] A17，对第六特征进行激活处理，得到用于输入下一深度图网络块的输出特征。

[0113] 本发明实施例中，坐标点特征矩阵与训练参数矩阵相乘，然后经过批量归一化(batch normalization)进行归一化，再经过激活函数(比如relu)进行激活。然后，与中线
邻接矩阵相乘，以进行相邻支气管段的聚合。将聚合后的特征进行图归一化(graph 
normalization)操作。再将进行graph normalization操作得到的特征与坐标点特征矩阵
相加，然后激活，即完成一个深度图网络块的操作。经过多层上述操作堆叠，得到深度图神
经网络的输出。

[0114] 本发明实施例中，深度图网络块执行下式的操作：

[0115] f(Hl,A)＝σ(Hl+g(A·σ(bn(Hl·W))))

[0116] 其中，

[0117] Hl为第l层的输入特征；

[0118] W为训练参数矩阵；

[0119] bn为批量归一化；

[0120] σ为激活函数；

[0121] A为中线邻接矩阵；

[0122] g为图归一化。

[0123] 本发明实施例中，由于深度图神经网络不需要计算拉普拉斯矩阵，因而，可以有效处理非固定图的输入，能够学习拓扑结构；而通过batch normalization和graph 
normalization，可以处理变化(变异或有缺失)的图，且能加快收敛，减少梯度消失的现象；
此外，进行求和(相加)操作，也能够有效减少梯度消失。

[0124] 步骤106，依据支气管段所属的支气管分级以及待训练的深度图神经网络的输出，确定待训练的深度图神经网络收敛，得到支气管分级模型。

[0125] 本发明实施例中，步骤104可在步骤105之前执行，也可以在步骤105之后执行，本发明实施例对此不作限定。

[0126] 本发明实施例中，待训练的深度图神经网络依据输入的支气管训练数据，输出该支气管训练数据包含的各支气管段对应所属的支气管分级，再结合步骤104确定的支气管
段所属的支气管分级，计算分级损失(loss)以确定待训练的深度图神经网络是否收敛，并
在分级损失大于预先设置的分级损失阈值的情形下，进行梯度反传，更新待训练的深度图
神经网络的参数(训练参数矩阵)，直至待训练的深度图神经网络收敛，将收敛的待训练的
深度图神经网络作为支气管分级模型。

[0127] 本发明实施例中，如果待训练的深度图神经网络没有收敛，输入下一支气管训练数据，继续进行训练。

[0128] 本发明实施例的支气管分级模型训练方法，通过获取支气管训练数据集，针对支气管训练数据集中的每一支气管训练数据，对该支气管训练数据中的每一像素点所属的支
气管分级进行标注；提取支气管训练数据集中每一支气管训练数据的中线，确定中线的关
键点；根据中线的关键点，对中线进行分段，依据分段的支气管段之间的邻接关系，构建中
线邻接矩阵；针对每一支气管段，依据该支气管段中标注的每一像素点所属的支气管分级，
确定该支气管段所属的支气管分级；针对每一支气管训练数据，将该支气管训练数据包含
的各支气管段的像素点坐标矩阵与中线邻接矩阵，作为待训练的深度图神经网络的输入，
对该待训练的深度图神经网络进行训练；依据支气管段所属的支气管分级以及待训练的深
度图神经网络的输出，确定待训练的深度图神经网络收敛，得到支气管分级模型。这样，由
于支气管训练数据包含支气管存在变异或病变或缺失的CT图像以及正常支气管CT图像，因
而，基于深度图神经网络，可以学习到支气管的各种拓扑结构，获取支气管的骨架(中线)以
及每一支气管段的邻接关系，基于像素点坐标特征、中线邻接矩阵以及确定的支气管段所
属的支气管分级，对深度图神经网络进行训练，深度图神经网络能够进行特征的自动提取，
对于支气管异常、病变的图像，具有较好的分级效果，从而可以有效提高支气管分级的精度
和鲁棒性。

[0129] 图2示出了本发明实施例所提供的支气管分级方法流程示意图。如图2所示，该方法包括：

[0130] 步骤201，获取待分级支气管数据；

[0131] 步骤202，提取待分级支气管数据的待分级中线，确定待分级中线的关键点；

[0132] 步骤203，根据待分级中线的关键点，对待分级中线进行分段，依据分段的支气管段之间的邻接关系，构建待分级中线邻接矩阵；

[0133] 步骤204，将各支气管段的像素点坐标矩阵与待分级中线邻接矩阵输入支气管分级模型，得到各支气管段对应所属的支气管分级；

[0134] 本发明实施例中，支气管分级模型为依据图1对待训练的深度图神经网络进行训练得到的。

[0135] 步骤205，将支气管段所属的支气管分级映射至待分级支气管数据，得到所述待分级支气管数据的支气管分级结果。

[0136] 本发明实施例中，依据每一支气管段的像素点，通过区域生长(region growing)操作，直到生长到待分级支气管数据中包含的全部像素点，得到最终的支气管分级结果。

[0137] 图3示出了本发明实施例所提供的支气管分级模型训练装置结构示意图。如图3所示，包括：

[0138] 分级标注模块301，用于获取支气管训练数据集，针对支气管训练数据集中的每一支气管训练数据，对该支气管训练数据中的每一像素点所属的支气管分级进行标注；

[0139] 本发明实施例中，作为一可选实施例，支气管训练数据可以是支气管CT图像，其中，支气管CT图像包括：支气管存在变异或病变或缺失的CT图像以及正常支气管CT图像。

[0140] 关键点确定模块302，用于提取支气管训练数据集中每一支气管训练数据的中线，确定中线的关键点；

[0141] 本发明实施例中，每一支气管训练数据对应一中线，关键点包括分叉点和端点。

[0142] 邻接矩阵构建模块303，用于根据中线的关键点，对中线进行分段，依据分段的支气管段之间的邻接关系，构建中线邻接矩阵；

[0143] 本发明实施例中，作为一可选实施例，邻接矩阵构建模块303包括：

[0144] 分段单元(图中未示出)，用于根据中线的关键点，对中线进行分段；

[0145] 邻接矩阵构建单元，用于依据分段的支气管段之间的邻接关系，构建中线邻接矩阵。

[0146] 本发明实施例中，作为一可选实施例，分段单元具体用于：

[0147] 从中线最上端的端点开始遍历，采用深度优先搜索或者广度优先搜索方法，对该中线进行遍历；当遍历经过一关键点，则得到一支气管段。

[0148] 本发明实施例中，作为一可选实施例，邻接矩阵构建单元具体用于：

[0149] 对从中线进行分段得到的支气管段进行标识；构建数值为空的初始邻接矩阵，初始邻接矩阵的行数与列数相等，行数为提取的支气管段数，行、列对应支气管段的标识；针
对每一提取的支气管段，在该支气管段对应的初始邻接矩阵的行中，根据邻接关系，将与该
支气管段相邻的支气管段对应的列值置1，与该支气管段不相邻的支气管段对应的列值置
0，得到中线邻接矩阵。

[0150] 分级确定模块304，用于针对每一支气管段，依据该支气管段中标注的每一像素点所属的支气管分级，确定该支气管段所属的支气管分级；

[0151] 本发明实施例中，作为一可选实施例，分级确定模块304包括：

[0152] 统计单元(图中未示出)，用于遍历支气管段中标注的每一像素点，对每一像素点所属的支气管分级进行统计；

[0153] 分级单元，用于从统计的支气管分级中，获取最多像素点数对应的支气管分级，确定为该支气管段所属的支气管分级。

[0154] 训练模块305，用于针对每一支气管训练数据，将该支气管训练数据包含的各支气管段的像素点坐标矩阵与中线邻接矩阵，作为待训练的深度图神经网络的输入，对该待训
练的深度图神经网络进行训练；

[0155] 本发明实施例中，作为一可选实施例，深度图神经网络包括依次相连的多个操作处理相同的深度图网络块，训练模块305包括：

[0156] 第一相乘单元(图中未示出)，用于将由各支气管段的像素点坐标矩阵组成的坐标点特征矩阵输入待训练的深度图神经网络，与待训练的深度图神经网络的训练参数矩阵相
乘，得到第一特征；

[0157] 批量归一化单元，用于对第一特征进行批量归一化，得到第二特征；

[0158] 第一激活单元，用于对第二特征进行激活处理，得到第三特征；

[0159] 第二相乘单元，用于将第三特征与中线邻接矩阵进行相乘，得到第四特征；

[0160] 图归一化单元，用于对第四特征进行图归一化处理，得到第五特征；

[0161] 相加单元，用于将第五特征与坐标点特征矩阵进行相加处理，得到第六特征；

[0162] 第二激活单元，用于对第六特征进行激活处理，得到用于输入下一深度图网络块的输出特征。

[0163] 模型获取模块306，用于依据支气管段所属的支气管分级以及待训练的深度图神经网络的输出，确定待训练的深度图神经网络收敛，得到支气管分级模型。

[0164] 本发明实施例中，待训练的深度图神经网络输出支气管训练数据包含的各支气管段对应所属的支气管分级，再结合确定的支气管段所属的支气管分级，计算分级损失，在分
级损失大于预先设置的分级损失阈值的情形下，进行梯度反传，更新待训练的深度图神经
网络的参数，直至待训练的深度图神经网络收敛。

[0165] 本发明实施例中，作为一可选实施例，该装置还包括：

[0166] 尺寸一致处理模块(图中未示出)，用于针对每一支气管段，获取该支气管段在各维度方向上的像素点数；依据深度图神经网络要求的各维度方向上的像素点数阈值，利用
线性插值方法，将支气管段在各维度方向上的像素点数变换为对应维度方向上的像素点数
阈值。

[0167] 本发明实施例中，作为另一可选实施例，该装置还包括：

[0168] 数据扩充模块，用于从支气管训练数据集中进行随机抽样，并对随机抽样的支气管训练数据进行数据扩充，将进行数据扩充得到的数据置于支气管训练数据集中。

[0169] 本发明实施例中，数据扩充包括但不限于：仿射变换、弹性形变、加入噪声、对气管树进行剪枝等。

[0170] 图4示出了本发明实施例所提供的支气管分级装置结构示意图。如图4所示，包括：

[0171] 数据获取模块401，用于获取待分级支气管数据；

[0172] 关键点提取模块402，用于提取待分级支气管数据的待分级中线，确定待分级中线的关键点；

[0173] 邻接矩阵生成模块403，用于根据待分级中线的关键点，对待分级中线进行分段，依据分段的支气管段之间的邻接关系，构建待分级中线邻接矩阵；

[0174] 支气管段分级模块404，用于将各支气管段的像素点坐标矩阵与待分级中线邻接矩阵输入支气管分级模型，得到各支气管段对应所属的支气管分级，所述支气管分级模型
根据权利要求1至7中任一项所述的方法训练得到；

[0175] 支气管分级模块405，用于将支气管段所属的支气管分级映射至待分级支气管数据，得到所述待分级支气管数据的支气管分级结果。

[0176] 本发明实施例中，依据每一支气管段的像素点，通过区域生长操作，直到生长到待分级支气管数据中包含的全部像素点，得到最终的支气管分级结果。

[0177] 如图5所示，本申请一实施例提供了一种计算机设备500，用于执行图1中的支气管分级模型训练方法以及图2中的支气管分级方法，该设备包括存储器501、处理器502及存储
在该存储器501上并可在该处理器502上运行的计算机程序，其中，上述处理器502执行上述
计算机程序时实现上述支气管分级模型训练方法以及支气管分级方法的步骤。

[0178] 具体地，上述存储器501和处理器502能够为通用的存储器和处理器，这里不做具体限定，当处理器502运行存储器501存储的计算机程序时，能够执行上述支气管分级模型
训练方法以及支气管分级方法。

[0179] 对应于图1中的支气管分级模型训练方法以及图2中的支气管分级方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该
计算机程序被处理器运行时执行上述支气管分级模型训练方法以及支气管分级方法的步
骤。

[0180] 具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述支气管分级模型训练方法以及支气管分级方法。

[0181] 在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻
辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可
以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间
的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连
接，可以是电性，机械或其它的形式。

[0182] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个
网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。

[0183] 另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

[0184] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说
对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计
算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个
人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read‑Only Memory，ROM)、随机存取存
储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

[0185] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第
一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

[0186] 最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申
请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员
在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻
易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使
相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护
范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。