支气管镜的位置确定方法、装置、系统、设备与介质

摘要

本发明提供了一种支气管镜的位置确定方法、装置、系统、设备与介质，支气管镜的位置确定方法，包括：获取目标对象的虚拟支气管树；识别所述目标对象的虚拟支气管树的分叉节点，并基于识别出的分叉节点，获得所述目标对象的虚拟支气管树中各肺段与分叉节点的标识信息；获取所述目标对象的术中图像；通过将所述术中图像与所述目标对象的虚拟支气管树的虚拟切片图进行匹配，确定匹配于所述术中图像的目标虚拟切片图；确定所述目标对象的虚拟支气管树中匹配于所述目标虚拟切片图的相应的肺段与分叉节点的标识信息，确定出的标识信息被用于表征所述支气管镜在所述目标对象中的当前位置。

权利要求

1.一种支气管镜的位置确定装置，其特征在于，包括：支气管树获取模块，用于获取目标对象的虚拟支气管树；

识别模块，用于识别所述目标对象的虚拟支气管树的分叉节点，并基于识别出的分叉节点，获得所述目标对象的虚拟支气管树中各肺段与分叉节点的标识信息；

其中，基于识别出的分叉节点，获得所述目标对象的虚拟支气管树中各肺段与分叉节点的标识信息，包括：

通过将所述目标对象的虚拟支气管树内识别出的分叉节点与支气管树的知识图谱进行匹配，确定所述标识信息；

术中图像获取模块，用于获取所述目标对象的术中图像，所述术中图像是支气管镜在所述目标对象内行进时拍摄到的；

图像匹配模块，用于通过将所述术中图像与所述目标对象的虚拟支气管树的虚拟切片图进行匹配，确定匹配于所述术中图像的目标虚拟切片图；其中，通过将所述术中图像与所述目标对象的虚拟支气管树的虚拟切片图进行匹配，确定匹配于所述术中图像的目标虚拟切片图，包括：

获取历史匹配信息；所述历史匹配信息表征了：历史术中图像所匹配到的虚拟切片图在所述目标对象的虚拟支气管树中的位置与切片角度；

根据所述历史匹配信息，确定当前匹配范围；其中，所述当前匹配范围表征了：所述目标虚拟切片图在所述目标对象的虚拟支气管树中所处的位置范围；

通过将所述术中图像与所述当前匹配范围对应的虚拟切片图进行匹配，确定所述目标虚拟切片图；

标识匹配模块，用于确定所述目标对象的虚拟支气管树中匹配于所述目标虚拟切片图的相应的肺段与分叉节点的标识信息，确定出的标识信息被用于表征所述支气管镜在所述目标对象中的当前位置。

2.根据权利要求1所述的支气管镜的位置确定装置，其特征在于，识别所述目标对象的虚拟支气管树的分叉节点，包括：将获取到的所述目标对象的虚拟支气管树输入预先训练的节点识别神经网络，获得所述节点识别神经网络输出的所述目标对象的虚拟支气管树所含的各个分叉节点的位置。

3.根据权利要求2所述的支气管镜的位置确定装置，其特征在于，所述节点识别神经网络由下述方式训练得到：

分别提取训练样本集合中的各个训练样本的样本特征，所述训练样本所含的虚拟支气管树上被标注有标签，所述标签用于标记所述训练样本所含虚拟支气管树中各个分叉节点的实际位置；

通过将提取到的样本特征输入所述节点识别神经网络中，获得所述节点识别神经网络输出的所述训练样本所含虚拟支气管树中各个分叉节点的预测位置；

根据所述实际位置与所述预测位置之间的差异信息调整所述节点识别神经网络，获得训练后的节点识别神经网络。

4.根据权利要求1所述的支气管镜的位置确定装置，其特征在于，通过将所述目标对象的虚拟支气管树内识别出的分叉节点与支气管树的知识图谱进行匹配，确定所述标识信息，包括：

以所述识别出的分叉节点为顶点、所述目标对象的虚拟支气管树中用于连接识别出的分叉节点的肺段为边，构建第三图数据；

将所述第三图数据输入预先训练的第二图卷积网络，以利用所述第二图卷积网络确定所述目标对象的虚拟支气管树中的分叉节点与肺段之间的对应关系；

根据所述对应关系以及所述知识图谱，确定所述目标对象的虚拟支气管树中各肺段与分叉节点的标识信息。

5.根据权利要求4所述的支气管镜的位置确定装置，其特征在于，所述第二图卷积网络被配置为能够计算出所述第三图数据中任一肺段对应于各分叉节点的概率，且所述任一肺段所属的分叉节点为其中概率最高的分叉节点。

6.根据权利要求1所述的支气管镜的位置确定装置，其特征在于，根据所述历史匹配信息，确定当前匹配范围，包括：

将所述历史匹配信息与所述历史术中图像的拍摄时间转换为向量，得到当前向量，并将所述当前向量输入至预先训练的长短期记忆网络，以利用所述长短期记忆网络确定所述当前匹配范围。

7.根据权利要求1所述的支气管镜的位置确定装置，其特征在于，通过将所述术中图像与所述当前匹配范围内对应的虚拟切片图进行匹配，确定所述目标虚拟切片图，包括：通过将所述术中图像对应的第二待匹配图数据输入长短期记忆网络，获得所述长短期记忆网络输出的拼接后的待匹配图数据；其中，所述拼接后的待匹配图数据指：所述术中图像对应的第二待匹配图数据与至少一张历史术中图像对应的第二待匹配图数据拼接后的待匹配图数据；

通过将所述拼接后的待匹配图数据与所述当前匹配范围内对应的虚拟切片图的第一待匹配图数据进行匹配，确定所述目标虚拟切片图。

8.一种电子设备，其特征在于，包括处理器与存储器，所述存储器，用于存储代码；

所述处理器，用于执行所述存储器中的代码用以实现权利要求1至7任意之一所述的支气管镜的位置确定装置的功能。

9.一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至7任意之一所述的支气管镜的位置确定装置的功能。

10.一种支气管镜导航系统，其特征在于，包括：支气管镜与数据处理部，所述数据处理部用于实施权利要求1至7任一项所述的支气管镜的位置确定装置的功能。

说明书

支气管镜的位置确定方法、装置、系统、设备与介质

技术领域

[0001] 本发明涉及支气管镜领域，尤其涉及一种支气管镜的位置确定方法、装置、系统、设备与介质。

背景技术

[0002] 支气管镜导航，指的是：通过对支气管镜位置的确定，给术中实际拍摄视频图像提供导航指导。

[0003] 然而，现有相关技术中，在确定支气管镜位置时，并不能准确定位并描述出支气管镜处于何种肺段，可见，现有技术中，导航定位时所反馈的信息较为有限，难以满足支气管
镜导航需求。

发明内容

[0004] 本发明提供一种支气管镜的位置确定方法、装置、系统、设备与介质，以解决导航结果难以满足需求的问题。

[0005] 根据本发明的第一方面，提供了一种支气管镜的位置确定方法，包括：

[0006] 获取目标对象的虚拟支气管树；

[0007] 识别所述目标对象的虚拟支气管树的分叉节点，并基于识别出的分叉节点，获得所述目标对象的虚拟支气管树中各肺段与分叉节点的标识信息；

[0008] 获取所述目标对象的术中图像，所述术中图像是支气管镜在所述目标对象内行进时拍摄到的；

[0009] 通过将所述术中图像与所述目标对象的虚拟支气管树的虚拟切片图进行匹配，确定匹配于所述术中图像的目标虚拟切片图；

[0010] 确定所述目标对象的虚拟支气管树中匹配于所述目标虚拟切片图的相应的肺段与分叉节点的标识信息，确定出的标识信息被用于表征所述支气管镜在所述目标对象中的
当前位置。

[0011] 可选的，识别所述目标对象的虚拟支气管树的分叉节点，包括：

[0012] 将获取到的所述目标对象的虚拟支气管树输入预先训练的节点识别神经网络，获得所述节点识别神经网络输出的所述目标对象的虚拟支气管树所含的各个分叉节点的位
置。

[0013] 可选的，所述节点识别神经网络由下述方式训练得到：

[0014] 分别提取训练样本集合中的各个训练样本的样本特征，所述训练样本所含的虚拟支气管树上被标注有标签，所述标签用于标记所述训练样本所含虚拟支气管树中各个分叉
节点的实际位置；

[0015] 通过将提取到的样本特征输入所述节点识别神经网络中，获得所述节点识别神经网络输出的所述训练样本所含虚拟支气管树中各个分叉节点的预测位置；

[0016] 根据所述实际位置与所述预测位置之间的差异信息调整所述节点识别神经网络，获得训练后的节点识别神经网络。

[0017] 可选的，基于识别出的分叉节点，获得所述目标对象的虚拟支气管树中各肺段与分叉节点的标识信息，包括：

[0018] 通过将所述目标对象的虚拟支气管树内识别出的分叉节点与支气管树的知识图谱进行匹配，确定所述标识信息。

[0019] 可选的，通过将所述目标对象的虚拟支气管树内识别出的分叉节点与支气管树的知识图谱进行匹配，确定所述标识信息，包括：

[0020] 以所述识别出的分叉节点为顶点、所述目标对象的虚拟支气管树中用于连接识别出的分叉节点的肺段为边，构建第三图数据；

[0021] 将所述第三图数据输入预先训练的第二图卷积网络，以利用所述第二图卷积网络确定所述目标对象的虚拟支气管树中的分叉节点与肺段之间的对应关系；

[0022] 根据所述对应关系以及所述知识图谱，确定所述目标对象的虚拟支气管树中各肺段与分叉节点的标识信息。

[0023] 可选的，所述第二图卷积网络被配置为能够计算出所述第三图数据中任一肺段对应于各分叉节点的概率，且所述任一肺段所属的分叉节点为其中概率最高的分叉节点。

[0024] 可选的，通过将所述术中图像与所述目标对象的虚拟支气管树的虚拟切片图进行匹配，确定匹配于所述术中图像的目标虚拟切片图，包括：

[0025] 获取对应于任一虚拟切片图的第一待匹配图数据，所述第一待匹配图数据包括所述虚拟切片图中肺段开口的数量与分布方式；

[0026] 获取对应于所述术中图像的第二待匹配图数据，所述第二待匹配图数据包括所述术中图像中肺段开口的数量与分布方式；

[0027] 将所述第一待匹配图数据与提取到的第二待匹配图数据进行比较，并根据比较结果确定所述目标虚拟切片图。

[0028] 可选的，获取对应于任一虚拟切片图的第一待匹配图数据，包括：

[0029] 确定所述任一虚拟切片图中的虚拟开口区域，每个虚拟开口区域对应所述虚拟切片图中的一个肺段开口；

[0030] 以所述虚拟开口区域的中心为顶点、各个中心之间的连线为边，构造第一图数据；所述第一图数据包括所述任一虚拟切片图中顶点的数量、位置，以及顶点间相对距离；

[0031] 利用第一图卷积网络，将所述第一图数据映射为所述任一虚拟切片图的第一待匹配图数据。

[0032] 可选的，获取对应于所述术中图像的第二待匹配图数据，包括：

[0033] 在所述术中图像中，确定实际开口区域；每个实际开口区域对应表征所述术中图像中的一个肺段开口；

[0034] 以所述实际开口区域的中心为顶点、中心间的连线为边，构造第二图数据；所述第二图数据包括所述术中图像中顶点的数量、位置，以及顶点间相对距离；

[0035] 利用所述第一图卷积网络，将所述第二图数据映射为所述术中图像的第二待匹配图数据。

[0036] 可选的，所述第一图卷积网络为抗形变卷积网络；

[0037] 所述抗形变卷积网络包括空间变换层和卷积处理单元：

[0038] 所述空间变换层，用于：获取所述第一图数据与所述第二图数据，对所述第一图数据和/或所述第二图数据进行空间变换，得到所述第一图数据对应的第一待卷积图数据以
及所述第二图数据对应的第二待卷积图数据；

[0039] 所述卷积处理单元，用于对所述第一待卷积图数据进行卷积，得到所述任一虚拟切片图的第一待匹配图数据，对所述第二待卷积图数据进行卷积，得到所述术中图像的第
二待匹配图数据。

[0040] 可选的，通过将所述术中图像与所述目标对象的虚拟支气管树的虚拟切片图进行匹配，确定匹配于所述术中图像的目标虚拟切片图，包括：

[0041] 获取历史匹配信息；所述历史匹配信息表征了：历史术中图像所匹配到的虚拟切片图在所述目标对象的虚拟支气管树中的位置与切片角度；

[0042] 根据所述历史匹配信息，确定当前匹配范围；其中，所述当前匹配范围表征了：所述目标虚拟切片图在所述目标对象的虚拟支气管树中所处的位置范围；

[0043] 通过将所述术中图像与所述当前匹配范围对应的虚拟切片图进行匹配，确定所述目标虚拟切片图。

[0044] 可选的，根据所述历史匹配信息，确定当前匹配范围，包括：

[0045] 将所述历史匹配信息与所述历史术中图像的拍摄时间转换为向量，得到当前向量，并将所述当前向量输入至预先训练的长短期记忆网络，以利用所述长短期记忆网络确
定所述当前匹配范围。

[0046] 可选的，通过将所述术中图像与所述当前匹配范围内对应的虚拟切片图进行匹配，确定所述目标虚拟切片图，包括：

[0047] 通过将所述术中图像对应的第二待匹配图数据输入所述长短期记忆网络，获得所述长短期记忆网络输出的拼接后的待匹配图数据；其中，所述拼接后的待匹配图数据指：所
述术中图像对应的第二待匹配图数据与至少一张历史术中图像对应的第二待匹配图数据
拼接后的待匹配图数据；

[0048] 通过将所述拼接后的待匹配图数据与所述当前匹配范围内对应的虚拟切片图的第一待匹配图数据进行匹配，确定所述目标虚拟切片图。

[0049] 根据本发明的第二方面，提供了一种支气管镜的位置确定装置，包括：

[0050] 支气管树获取模块，用于获取目标对象的虚拟支气管树；

[0051] 识别模块，用于识别所述目标对象的虚拟支气管树的分叉节点，并基于识别出的分叉节点，获得所述目标对象的虚拟支气管树中各肺段与分叉节点的标识信息；

[0052] 术中图像获取模块，用于获取所述目标对象的术中图像，所述术中图像是支气管镜在人体内行进时拍摄到的；

[0053] 图像匹配模块，用于通过将所述术中图像与所述目标对象的虚拟支气管树的虚拟切片图进行匹配，确定匹配于所述术中图像的目标虚拟切片图；

[0054] 标识匹配模块，用于确定所述目标对象的虚拟支气管树中匹配于所述目标虚拟切片图的相应的肺段与分叉节点的标识信息，确定出的标识信息被用于表征所述支气管镜在
所述目标对象中的当前位置。

[0055] 根据本发明的第三方面，提供了一种电子设备，包括处理器与存储器，

[0056] 所述存储器，用于存储代码；

[0057] 所述处理器，用于执行所述存储器中的代码用以实现第一方面及其可选方案涉及的方法。

[0058] 根据本发明的第四方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面及其可选方案涉及的方法。

[0059] 根据本发明的第五方面，提供了一种支气管镜导航系统，包括：支气管镜与数据处理部，所述数据处理部用于实施第一方面及其可选方案涉及的方法。

[0060] 本发明提供的支气管镜的位置确定方法、装置、系统、设备与介质中，针对于目标对象的虚拟支气管树，识别了其分叉节点，并基于此确定了虚拟支气管树中各肺段、分叉节
点的标识信息，相较于直接使用虚拟支气管树进行导航定位而不对分叉节点、标识信息进
行识别、确定的方案，本发明可准确有效地对支气管镜到达哪个肺段、交叉口进行定位和显
示，满足支气管镜导航的需求。进一步的，基于训练好的模型进行识别、确定时，可有效兼顾
各种虚拟支气管树情形。

[0061] 进一步的可选方案中，先根据历史匹配信息确定当前匹配范围，然后针对于当前匹配范围查找匹配的目标虚拟切片图，相较于现有技术中全局匹配的方式，该方案可有效
降低匹配所需处理的数据量，提高处理效率。

附图说明

[0062] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可
以根据这些附图获得其他的附图。

[0063] 图1是本发明一示例性的实施例中支气管导航系统的构造示意图；

[0064] 图2是本发明一示例性的实施例中支气管镜的位置确定方法的流程示意图；

[0065] 图3是本发明一示例性的实施例中识别分叉节点的流程示意图；

[0066] 图4是本发明一示例性的实施例中节点识别神经网络的原理示意图；

[0067] 图5是本发明一示例性的实施例中确定标识信息的流程示意图；

[0068] 图6是本发明一示例性的实施例中一种知识图谱的示意图；

[0069] 图7是本发明一示例性的实施例中另一种知识图谱的示意图；

[0070] 图8是本发明另一示例性的实施例中确定标识信息的流程示意图；

[0071] 图9是本发明一示例性的实施例中虚拟支气管树的肺段和分叉节点局部命名补全后的结果示意图；

[0072] 图10是本发明一示例性的实施例中确定目标虚拟切片图的流程示意图；

[0073] 图11是本发明一示例性的实施例中肺段开口的示意图；

[0074] 图12是本发明一示例性的实施例中确定第一待匹配图数据的流程示意图；

[0075] 图13是本发明一示例性的实施例中虚拟开口区域与实际开口区域的示意图；

[0076] 图14是本发明一示例性的实施例中确定第二待匹配图数据的流程示意图；

[0077] 图15是本发明一示例性的实施例中确定目标虚拟切片图的原理示意图；

[0078] 图16是本发明另一示例性的实施例中确定目标虚拟切片图的流程示意图；

[0079] 图17是本发明一示例性的实施例中支气管镜的位置确定装置的程序模块示意图；

[0080] 图18是本发明一示例性的实施例中电子设备的构造示意图。

具体实施方式

[0081] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。

[0082] 本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理
解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在
这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，
意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设
备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过
程、方法、产品或设备固有的其它步骤或单元。

[0083] 下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

[0084] 请参考图1，本发明实施例提供了一种支气管镜导航系统100，包括：支气管镜101与数据处理部102。

[0085] 支气管镜101可以包括图像采集部，支气管镜101可理解为在进入人体气管后，能够利用图像采集部采集相应图像的装置或装置的组合。其中，支气管镜101还可以包括弯曲
管（例如主动弯曲管和/或被动弯曲管），图像采集部可设于弯曲管的一端，此外，不论采用
何种支气管镜，均不脱离本发明实施例的范围。

[0086] 所述数据处理部102，可理解为具有数据处理能力的任意装置或装置的组合，在本发明实施例中，数据处理部102可用于实施后文涉及的位置确定方法，进而，该数据处理部
102可直接或间接与支气管镜101中的图像采集部进行数据交互，使得数据采集部102可以
接收术中图像。

[0087] 请参考图2，本发明实施例提供了一种支气管镜的位置确定方法，包括：

[0088] S201：获取目标对象的虚拟支气管树；

[0089] 在一实施例中，虚拟支气管树是3D的，也可理解为支气管树的3D虚拟模型。其中，虚拟支气管树可以是通过CT数据重构而得到的支气管树的3D虚拟模型，当然，还可以采用
别的方式获得虚拟支气管树，本说明书并不对此进行限制。对应的，目标对象，可理解为当
前需体内导航的人体。

[0090] S202：识别所述目标对象的虚拟支气管树的分叉节点，并基于识别出的分叉节点，确定所述目标对象的虚拟支气管树中各肺段与分叉节点的标识信息；

[0091] 在一实施例中，分叉节点可理解为能够对虚拟支气管树的分叉口的位置进行描述的任意节点，针对于每个分叉口，可形成一个分叉节点来表征。例如，可采用虚拟支气管树
中分叉口部位的中心位置的坐标作为分叉节点的坐标。进而，其中对分叉节点识别的过程，
也可视作在目标对象的虚拟支气管树中将分叉口标记出来的过程，还可视作确定分叉节点
的位置的过程。

[0092] 在一实施例中，标识信息可理解为能够对分叉节点与肺段进行标识，以使不同肺段被区别标识、不同分叉节点被区别标识的任意信息。一种举例中，所述标识信息包括肺段
的名称与分叉节点的标识。

[0093] S203：获取所述目标对象的术中图像；

[0094] 所述术中图像是支气管镜在相应的目标对象内行进时拍摄到的；

[0095] S204：通过将所述术中图像与所述目标对象的虚拟支气管树的虚拟切片图进行匹配，确定匹配于所述术中图像的目标虚拟切片图；

[0096] 其中，虚拟支气管树中某位置的虚拟切片图可理解为：对虚拟支气管树的该位置进行切片而形成的图。虚拟切片图可以包括切面图和/或截面图等。

[0097] S205：确定所述目标对象的虚拟支气管树中匹配于所述目标虚拟切片图的相应的肺段与分叉节点的标识信息；

[0098] 其中，确定出的标识信息被用于表征所述支气管镜在所述目标对象中的当前位置。

[0099] 所述当前位置匹配于所述目标虚拟切片图在所述目标对象的虚拟支气管树中的位置。即：所述目标虚拟切片图在目标对象的虚拟支气管树中的位置，可体现出支气管镜在
所述目标对象内的当前位置。

[0100] 一种举例中，基于步骤S205，可显示完整的虚拟支气管树，并在所显示的虚拟支气管树中显示出所述标识信息，以及所述支气管镜在所述目标对象内的当前位置；再一举例
中，基于步骤S205，也可显示支气管镜的当前位置附近的局部虚拟支气管树以及相应的标
识信息。又一举例中，基于步骤S205，还可利用一个第一界面显示完整的虚拟支气管树，利
用另一个第二界面显示局部虚拟支气管树，同时，还可在两个界面中显示出标识信息，在第
一界面中显示出支气管镜在目标对象内的当前位置；

[0101] 相较于只显示出当前位置的方案，以上方案可以为支气管镜的导航提供更丰富的信息。

[0102] 以上方案中，针对于目标对象的虚拟支气管树，识别了其分叉节点，并基于此确定了虚拟支气管树中各肺段、分叉节点的标识信息，相较于直接使用虚拟支气管树进行导航
定位而不对分叉节点、肺段的标识信息进行识别、确定的方案，本发明可准确有效地对支气
管镜到达哪个肺段、交叉口进行定位和显示，满足支气管镜导航的需求。

[0103] 其中一种实施方式中，请参考图3，识别所述目标对象的虚拟支气管树的分叉节点的过程，可以包括：

[0104] S301：将获取到的所述目标对象的虚拟支气管树输入预先训练的节点识别神经网络，获得所述节点识别神经网络输出的所述目标对象的虚拟支气管树所含的各个分叉节点
的位置。

[0105] 步骤S301可理解为图2所示步骤S202中识别所述目标对象的虚拟支气管树的分叉节点的过程的一种实现方式，对于图2所示实施例中已经阐述过的内容，在此不再赘述。

[0106] 其中的节点识别神经网络可以是能够对所输入的虚拟支气管树识别分叉节点的任意神经网络，例如可以为卷积神经网络，其他举例中，也可能采用感知机神经网络、循环
神经网络等实现。以卷积神经网络为例，训练时，可基于正向传播与反向传播的算法更新卷
积神经网络中各层的权重值，进而，在足够训练样本的情况下，可有效保障节点识别神经网
络识别的准确性。

[0107] 所述节点识别神经网络由下述方式训练得到：

[0108] 分别提取训练样本集合中的各个训练样本的样本特征，所述训练样本所含的虚拟支气管树上被标注有标签，所述标签用于标记所述训练样本所含虚拟支气管树中各个分叉
节点的实际位置；

[0109] 通过将提取到的样本特征输入所述节点识别神经网络中，获得所述节点识别神经网络输出的所述训练样本所含虚拟支气管树中各个分叉节点的预测位置；

[0110] 根据所述实际位置与所述预测位置之间的差异信息调整所述节点识别神经网络，获得训练后的节点识别神经网络。

[0111] 其中，所述节点识别神经网络训练时所采用的代价函数的函数值匹配于所述差异信息，所述差异信息表征了：针对于所述训练样本所含虚拟支气管树，标签中标记出的分叉
节点的实际位置与节点识别神经网络预测出的分叉节点的预测位置之间的误差。例如：可
将虚拟支气管树所有分叉节点位置的误差的方差之和作为节点识别神经网络的代价函数
的函数值。

[0112] 同时，正常人的虚拟支气管树一般有18个肺段，17个分叉口，但因为每个患者具有的自身特异性，变异情况在检查中仍然数量很多，针对于此，在训练节点识别神经网络时，
训练样本中会涵盖支气管树的各种情形，进而，节点识别结果可有效兼顾各种支气管树的
情形，例如可兼顾17个分叉口、18个肺段的情形，也可兼顾其他变异的情况，从而可以使得
训练后的节点识别神经网络可以识别出各种不同虚拟支气管树所含的分叉节点和肺段，提
升训练后的节点识别神经网络输出结果的准确性。

[0113] 以下以3D卷积神经网络作为节点识别神经网络为例，对一种训练、建立该3D卷积神经网络的过程进行说明：

[0114] 步骤a：构造深度学习数据集，该数据集中的数据为：基于所收集到的病人的CT数据重建并渲染得到的3D支气管树（即训练样本所含虚拟支气管树）。对训练样本所含虚拟支
气管树的分叉节点位置进行标记后，可形成标签，进而，训练样本所含虚拟支气管树及对应
的标签可作为训练样本，从而形成训练样本集合作为数据集。

[0115] 步骤b：取数据集的50%作为训练集，10%作为验证集，40%作为测试集。其他举例中，数据集也可采用其他比例进行分配。

[0116] 通过以上步骤a与步骤b，可完成训练样本集合的构建与分配。

[0117] 步骤c：建立3D卷积神经网络，并采用Xavier初始化方法来对3D卷积神经网络的权重参数进行初始化。

[0118] 步骤c之后，可以针对于每个训练样本所形成的输入数据X，循环实施后续的步骤d‑步骤f。

[0119] 步骤d：对输入数据X做数值的最大最小归一化。公式如下：

[0120]

[0121] 其中的输入数据X可理解为：将虚拟支气管树转换为三维矩阵后，虚拟支气管树的每个点即为三维矩阵的一个元素，每个元素的数值，例如可以为表征颜色、灰度、像素值等
信息的数值，即为此处的输入数据X，对应的，X’为归一化之后的数据。

[0122] 其中的min（X），可理解为虚拟支气管树的三维矩阵的所有点中最小的数值，max（X）可理解为虚拟支气管树的三维矩阵的所有点中最大的数值。进而，通过以上最大最小归
一化的过程，可将数据映射到0～1范围之内处理，便于提高后续处理的速度与便捷性。

[0123] 以上步骤d可在将输入数据X输入3D卷积神经网络后由3D卷积神经网络实现，也可在每次将输入数据X输入3D卷积神经网络之前实施归一化，然后将归一化之后的数据输入
3D卷积神经网络。

[0124] 步骤e：归一化之后的数据输入至3D卷积神经网络之后，3D卷积神经网络对分叉节点进行预测后，可通过正向传播算法计算3D卷积神经网络预测的分叉节点的位置和标签所
标记的分叉节点的位置间的差值（即位置误差信息），从而计算出损失函数值，其中的损失
函数，也可描述为代价函数。

[0125] 正向传播过程使用代价函数计算标签所标记的分叉节点的位置（例如坐标）与预测到的分叉节点的位置（例如坐标）之间的误差，为方便理解，可使用对应位置之间的均方
误差作为代价函数的函数值C，即 。若输入样本数，则有
，其中 表示第j个分叉节点， 为标签中标记的分叉节点的坐标，
代表预测值，即识别出来的分叉节点的坐标，L对应神经网络的最大层数。

[0126] 步骤f：将正向传播过程中计算出的代价函数的函数值应用于误差反向传播算法，从而优化3D卷积神经网络的权值参数。

[0127] 重复以上步骤d至步骤f，直至完成设定的轮数（例如200轮）的训练。每轮训练都在验证集上做验证，200轮训练后，取验证集最好结果的3D卷积神经网络在测试集上测试，得
到训练后的3D卷积神经网络作为节点识别神经网络。

[0128] 其中，误差反向传播优化算法如下：

[0129] 以图4为例，在误差反向传播算法中，使用 表示第 层第 个神经元与第层的第 个神经元之间的权重值， 为第 层第 个神经元对应的偏置量， 为第 层第
个神经元的输出，该取值可用 表示，其中 为激活函数，
为第 层第 个神经元的输入值，该取值可用 表示。此外，其中的
表示第 层第 个输入数据；

[0130] 反向传播时，最终的目的是得到整体损失值（即代价函数的函数值）相对参数的梯度值，为计算这两个参数的梯度，需首先把损失值相对神经元输出值和神经元经
过激活函数的输出值先计算出来。若以 表示整体损失值对网络末层L的第 个
神经元输入值产生的梯度值，由于 为 经过激活后得到的值，根据链式法则：

[0131]

[0132] 使用矩阵或向量形式将第L层的所有神经元同时考虑，则有，

[0133]

[0134] 其中符号 表示Hadamard乘积。不同于末层L, 隐藏层 中单个神经元的输入值来自多个上一层 的神经元，故有：

[0135]

[0136] 同理，用矩阵或向量形式进行表示，有 ；

[0137] 最后，可根据上述结果直接计算的梯度值，其中：

[0138]

[0139]

[0140] 至此，反向传播过程完成，随后使用梯度下降算法对参数 的梯度值进行更新，形成符合更新后梯度值的参数w、b，即： ，
其中 为学习率，该学习率可以为人为设置的值。

[0141] 通过以上步骤，获得训练后的3D卷积神经网络（也可理解为一种虚拟支气管树节点分割模型），该训练后的3D卷积神经网络可用于识别出各种虚拟支气管树的分叉节点。

[0142] 其中一种实施方式中，请参考图5，基于识别出的分叉节点，确定所述目标对象的虚拟支气管树中各肺段与分叉节点的标识信息的过程可以包括：

[0143] S501：通过将所述目标对象的虚拟支气管树内识别出的分叉节点与支气管树的知识图谱进行匹配，确定所述标识信息。

[0144] 步骤S501可理解为图2所示步骤S202中基于识别出的分叉节点，确定所述目标对象的虚拟支气管树中各肺段与分叉节点的标识信息的过程的一种实现方式，对于图2所示
实施例中已经阐述过的内容，在此不再赘述。

[0145] 支气管树的知识图谱可以为任意能够对交叉口（或交叉节点）和肺段之间的连接关系进行一定程度表征的一种信息载体，支气管树的知识图谱的数量可以为一个或者多
个，本说明书并不对此进行限制。例如，图6示意了一种知识图谱的举例，图7也示意了一种
知识图谱的举例。

[0146] 通过所识别的分叉节点和知识图谱，可有效结合实际的支气管情况与客观的支气管树的知识，从而准确匹配出虚拟支气管树中各肺段、交叉口的标识信息。

[0147] 一种实施例中，可基于所识别出的交叉节点，直接从主气道开始，沿着虚拟支气管树的各个分叉节点匹配知识图谱中各分叉口、肺段的名称、标识，得到标识信息；

[0148] 另一实施例中，如图8所示，也可在匹配标识信息之前，先基于神经网络（例如第二图卷积网络）对分叉节点、肺段之间的对应关系进行进一步的确认，例如，若分叉节点的定
位、识别结果发生偏差，可能会导致分叉节点、肺段的对应关系发生错漏，此时，通过神经网
络（例如第二图卷积网络）对该对应关系的进一步确认调整，可保证各分叉节点与肺段之间
的对应关系能够被调整纠正，从而能够更准确地匹配到标识信息。

[0149] 在图8所示的实施例中，通过将所述目标对象的虚拟支气管树内识别出的分叉节点与支气管树的知识图谱进行匹配，确定所述标识信息的过程，可以包括：

[0150] S801：以所述识别出的分叉节点为顶点，以所述目标对象的虚拟支气管树中连接分叉节点的肺段为边，构建第三图数据；

[0151] 第三图数据为能够表征出顶点（即所述识别出的分叉节点）间连接关系的矩阵；其可表征为G(V,E)，第三图数据中，V可理解为分叉口或分叉节点，其中的E可理解为肺段；

[0152] S802：将所述第三图数据输入所述第二图卷积网络，以利用所述第二图卷积网络确定所述目标对象的虚拟支气管树中的分叉节点与肺段之间的对应关系；

[0153] 其中的第二图卷积网络，可理解为能够对第三图数据进行处理的神经网络；具体的，所述第二图卷积网络可被配置为能够计算出所述第三图数据中任一肺段对应于各分叉
节点的概率，并选择概率最高的分叉节点作为所述任一肺段所属的分叉节点。

[0154] S803：根据所述对应关系，以及所述知识图谱，确定所述目标对象的虚拟支气管树中各肺段与分叉节点的标识信息。

[0155] 步骤S801至S803的具体过程可例如：

[0156] 步骤a：通过分叉节点（表征了分叉口）的识别（即节点分割，例如步骤S301中的识别），由于支气管树的分叉口处于相邻的肺段之间，基于此，可构建第三图数据，即：G(V,E)，
其中，V为分叉口，E为肺段，该步骤a即为步骤S801的一种实现方式。

[0157] 步骤b：因为已经标记出分叉口（即识别出了分叉节点），接下来需要求解的是肺段，和常用图卷积做顶点分类不同，此处可以使用第二图卷积网络做边的分类，即通过将边
分类到对应顶点，从而确定边与顶点的对应关系，第二图卷积网络的输入为第三图数据G
(V,E)，输出为V和E的对应关系，图卷积网络可起到平滑的作用，可以更好地建立了节点和
边的关系；该步骤b即为步骤S802的一种实现方式。

[0158] 其他实施方式中，也可将常用图卷积网络的处理方式应用于此而确定边与顶点的对应关系，即：以该常用图卷积网络作为第二图卷积网络；对应的，若采用常用图卷积网络，
则：在确定对应关系时，可通过将顶点分类到边的方式，确定边与顶点的对应关系，例如：训
练该常用图卷积网络时，训练样本所含虚拟支气管树的图数据可被标注标签，该标签用于
标记任意一个顶点（分叉节点）属于（即对应于）每个边（肺段）的实际概率；训练后，该常用
图卷积网络可用于输出第三图数据的任一顶点分类到（即对应到）任一边的实际概率。

[0159] 区别于此种采用常用图卷积网络的方案，通过第二图卷积网络可将边分类到对应顶点，从而确定边与顶点间对应关系，在训练该第二图卷积网络时，训练样本所含虚拟支气
管树的图数据可被标注有标签，标签用于标记任一个边（肺段）属于（即对应于）每个顶点
（分叉节点）的实际概率；那么训练后的第二图卷积网络可用于输出第三图数据的任一边分
类到（即对应到）任一顶点的实际概率。

[0160] 将第三图数据输入至第二图卷积网络后，第二图卷积网络中的处理过程可例如以下步骤c‑步骤e所示：

[0161] 步骤c:首先根据G(V,E)求解邻接矩阵A，公式如下：

[0162]

[0163] 步骤d：定义第二图卷积网络的第l层的输入为 ，输出为 ，其关系如下：

[0164]

[0165]

[0166] 其中 为非线性变换层，A为邻接矩阵，D为每条边的度矩阵， 为第二图卷积网络第l层的权重。

[0167] 步骤e：定义第二图卷积的输出，做边的分类，采用的公式如下所示：

[0168]

[0169] 其中Z为每个边对应于各顶点的概率（亦即任一肺段对应于各分叉节点的概率），然后，针对每个边，可选择概率最高的顶点作为其所对应的顶点（亦即选择概率最高的分叉
节点作为所述任一肺段所属的分叉节点）；softmax为输出层的激活函数， 为输出
层的权重，可以使用反向传播算法更新。

[0170] 通过以上步骤a‑e，可实现步骤S801与S802。

[0171] 进而，步骤S803的具体实现方式可例如以下步骤f所示。

[0172] 步骤f：根据医生总结的知识图谱，逐一遍历知识图谱中的每个分叉口，将知识图谱中肺段、分叉口的标识信息匹配到虚拟支气管树的分叉口（即分叉节点）与肺段，从而对
目标对象的虚拟支气管树做边和节点的命名（即标识信息，该标识信息亦即肺段的名称与
交叉口/交叉节点的标识）补全，其结果可参照于图9所示，其中示意了虚拟支气管树的肺段
和分叉节点局部命名补全后的结果。

[0173] 具体的匹配命名的过程可例如：

[0174] 初始化位置，从主气道开始，按照知识图谱，第一个为第一分叉口，分开左、右主支气管；

[0175] 从左主支气管开始依次往下，按照知识图谱补全每条边（即虚拟支气管树的每个肺段）和顶点（即虚拟支气管树的每个分叉口或分叉节点）的命名；

[0176] 从右主支气管开始依次往下，按照知识图谱补全每条边和节点的命名。

[0177] 即：通过遍历知识图谱，将虚拟支气管树中各个边和节点（即虚拟支气管树的每个肺段、分叉口或分叉节点）匹配到知识图谱中的标识信息，遍历的顺序可不限于以上举例。

[0178] 可见，以上步骤S801至S803的具体方案中，通常第二图卷积网络的作用对第三图数据G(V,E)进行顶点V（即分叉口或分叉节点）的分类，虚拟支气管树的每个分叉口都会聚
合几个肺段E，进而，通过第二图卷积网络做边的聚合，从而建立了顶点和边的关系，即分叉
口（分叉节点）与肺段的对应关系。在此基础上，通过引入知识图谱，可以对分类好的边和顶
点做命名补全（即确定标识信息）。

[0179] 其中一种实施方式中，为了准确有效地实现虚拟切片图与术中图像之间的匹配，可预先对图的特征进行提取，形成更适于匹配的形式，当然，本发明实施例也不排除直接将
图片进行匹配的方案。在图10所示的实施例中，将会基于虚拟切片图、术中图像形成待匹配
图数据，可以包括以下步骤：

[0180] S1001：获取目标对象的虚拟支气管树；

[0181] S1002：获取所述术中图像；

[0182] 在一实施例中，步骤S1001的执行过程与上述图2所示的实施例中的步骤S201相同，步骤1002的执行过程与上述图2所示的实施例中的步骤S203相同，此处不再赘述。

[0183] 步骤S1001之后，还可包括：

[0184] S1003：获取对应于任一虚拟切片图的第一待匹配图数据；

[0185] 步骤S1002之后，还可包括：

[0186] S1004：获取对应于所述术中图像的第二待匹配图数据。

[0187] 其中，利用其中的待匹配图数据能够表征出对应图中肺段开口的数量与分布方式。

[0188] 步骤S1003与步骤S1004之后，可以执行步骤S1005：将所述第一待匹配图数据与提取到的第二待匹配图数据进行比较，并根据比较结果确定所述目标虚拟切片图；

[0189] 例如在比较结果为第一待匹配图数据与第二待匹配图数据一致、或者第一待匹配图数据与第二待匹配图数据近似的情况下，可以将相应的第一待匹配图数据对应的虚拟切
片图确定为所述目标虚拟切片图。

[0190] 以上步骤S1005的执行过程与图2所示的实施例中的步骤S204相同，此处不再赘述。

[0191] 其中的肺段开口，可理解为肺段的入口，其可在二维的虚拟切片图或术中图像中显示为一个呈闭环的开口。例如：针对于某第一肺段分叉至第二肺段与第三肺段的分叉口，
肺段开口可理解为第二肺段的入口与第三肺段的入口。以图11所示的术中图像（也可视作
虚拟切片图）为例，其中的肺段开口可例如图11所示的肺段开口1101、肺段开口1102与肺段
开口1103。

[0192] 进一步的，部分待匹配图数据中，也可表征出肺段开口的形状、尺寸等信息。其中，所述虚拟切片图的第一待匹配图数据至少能表征出所述虚拟切片图中虚拟的肺段开口的
数量与分布方式，所述术中图像的第二待匹配图数据至少能表征出所述术中图像中真实的
肺段开口的数量与分布方式。其中的分布方式例如指每两个肺段开口之间的相对位置、距
离等，其中的分布方式也可例如指肺段开口中心在虚拟切片图中的位置等。

[0193] 相较于直接利用术中图像与虚拟切片图进行匹配的方案，以上利用第一待匹配图数据与第二待匹配图数据进行匹配的方式可避免术中图像、虚拟切片图中与肺段开口无关
的信息（例如图像中的颜色、与肺段开口无关的气管壁纹路等）对匹配结果的干扰。

[0194] 第一待匹配数据和第二待匹配数据均可以采用矩阵的方式进行表征，当然也可以采用别的方式进行表示，且均不脱离本发明实施例的范围。

[0195] 请参考图12所示的实施例中，形成所述虚拟切片图的第一待匹配图数据的过程，可以包括：

[0196] S1201：确定所述任一虚拟切片图中的虚拟开口区域；

[0197] 每个虚拟开口区域对应表征所述虚拟切片图中的一个肺段开口；

[0198] S1202：以所述虚拟开口区域的中心为节点、中心间的连线为边，构造第一图数据；

[0199] 所述第一图数据为能够表征出所述任一虚拟切片图中顶点的数量、位置特征，以及顶点间相对距离的矩阵；

[0200] S1203：利用第一图卷积网络，将所述第一图数据映射为所述任一虚拟切片图的第一待匹配图数据。

[0201] 以上步骤S1201至步骤S1203可视作图10所示实施例中步骤S1003的一种实现方式，对于图10所述实施例已经阐述过的内容，在此不再赘述。

[0202] 其中的虚拟开口区域（以及后文中的实际开口区域）均可参照于图13右侧所示的闭环图形理解。该虚拟开口区域的识别（也可理解为划定、分割）可以是利用开口识别模型
识别出来的。当然，也可通过对图像中线条的提取、筛选，以及封闭线条的提取等方式，实现
虚拟开口区域、实际开口区域的确定，而无需借助开口识别模型，本说明书并不对此进行限
制。

[0203] 一种实施例中，步骤S1201可以包括：利用开口识别模型识别所述虚拟切片图中的开口区域，以确定所述虚拟开口区域。

[0204] 其中的开口识别模型，可理解为能够将肺段对应的肺段开口分割、划定的任意模型，由于其中的开口即为图中显著性的内容，故而，开口识别模型也可理解为能够将图中的
显著性区域给分割出来，其也可描述为显著性检测的神经网络。每个分叉口包含一个或者
多个肺段开口，每个肺段开口对应一个肺段，肺段开口本身或者之间的纹理信息，大小信
息，形状信息具有独特性。

[0205] 其中显著性检测的神经网络（即开口识别模型）可以为卷积神经网络，其可用于对虚拟切片图与术中图像进行显著性分割（即开口区域的识别），部分举例中，也可利用两个
神经网络分别对虚拟切片图与术中图像进行显著性分割（即开口识别）。以下对该卷积神经
网络（即开口识别模型）的一种建立、训练过程进行举例：

[0206] 步骤a，使用图形界面的图像标注软件（例如label me软件）标记好虚拟切片图和术中图像的显著性区域（也可理解为标记出图中的肺段开口），得到标注了显著性区域的标
记结果作为标签，进而，可以将每个虚拟切片图及对应标签作为样本，还可以将术中图像及
对应标签作为样本，进而，可构造样本的集合作为数据集，取数据集的50%作为训练集，10%
作为验证集，40%作为测试集。

[0207] 步骤b，对数据集中的样本做归一化，使得样本中图的大小统一为500×500；即将各图的尺寸统一；

[0208] 步骤c，建立卷积神经网络，并采用Xavier初始化方式来初始化该卷积神经网络的权重参数；

[0209] 步骤d. 将卷积神经网络的输出矩阵大小设为500×500×26，26代表在变异的情况下，人体最多会有25个肺段的类别，加上背景一共有26个类。

[0210] 在步骤d后，可将样本逐一输入到卷积神经网络，该卷积神经网络可实施以下步骤e与步骤f。

[0211] 步骤e：以该卷积神经网络的预测得到的输出矩阵和标签的差值为损失函数的函数值；

[0212] 步骤f：将损失函数的函数值应用于误差反向传播算法，优化卷积神经网络的权值优化参数。

[0213] 重复步骤e与步骤f，直至完成设定轮数（例如1000轮）的训练。每轮训练都在验证集上做验证，1000轮训练后，取验证集做好结果的卷积神经网络在测试集上测试，得到训练
后的卷积神经网络作为开口识别模型。

[0214] 与获取对应于任一所述第一待匹配图数据的过程相对应的，请参考图14，获取对应于所述术中图像的第二待匹配图数据的过程，可以包括：

[0215] S1401：在所述术中图像中，确定实际开口区域；

[0216] 每个实际开口区域对应表征所述术中图像中的一个肺段开口；

[0217] S1402：以所述实际开口区域的中心为顶点、中心间的连线为边，构造第二图数据；

[0218] 所述第二图数据为能够表征出所述术中图像中顶点的数量、位置特征，以及顶点间相对距离的矩阵；其可参照第一图数据的内容理解；

[0219] S1403：利用所述第一图卷积网络，将所述第二图数据映射为所述术中图像的第二待匹配图数据。

[0220] 一种实施例中，步骤S1301可以包括：利用开口识别模型识别所述术中图像中的开口区域，以确定所述实际开口区域。

[0221] 步骤S1401至S1403与图12所示实施例相类似，此处不再赘述。

[0222] 其中所提及的开口区域（例如实际开口区域、虚拟开口区域），也可如图15所示的封闭的椭圆形、圆形或橄榄型曲线，其中，中间一列所示为虚拟切片图，其中的封闭的椭圆
形、圆形或橄榄型曲线内区域为虚拟开口区域，其中心即作为构建第一图数据时的顶点，中
心的连线即作为构建第一图数据的边；右边一列所示为术中图像，其中的封闭的椭圆形、圆
形或橄榄型曲线内区域为实际开口区域，其中心即作为构建第二图数据时的顶点，中心的
连线即作为构建第二图数据的边。

[0223] 一种实施例中，第一图卷积网络可采用非抗性变的卷积网络（例如不具有后文所提及的空间变换层），进而，通过该第一图卷积网络，仅实现针对第一图数据、第二图数据的
卷积。

[0224] 另一实施例中，考虑到虚拟切片图和术中图像会存在一些刚性变换的差别，如左右旋转，上下颠倒等。故而，以上所采用的第一图卷积网络可以为抗形变卷积网络；

[0225] 不论哪种实施方式，通过第一图卷积网络的卷积，均可萃取图数据的特征，更好地体现出第一图数据、第二图数据的特征，使匹配结果更准确。

[0226] 所述抗形变卷积网络可以包括：

[0227] 空间变换层，用于：获取所述第一图数据与所述第二图数据，对所述第一图数据和/或第二图数据进行变换，得到所述第一图数据对应的第一待卷积图数据，以及所述第二
图数据对应的第二待卷积图数据；

[0228] 其中：

[0229] 若对第一图数据进行变换，不对第二图数据进行变换，则第一待卷积图数据为第一图数据变换后的图数据，第二待卷积图数据为第二图数据；

[0230] 若对第二图数据进行变换，不对第一图数据进行变换，则第二待卷积图数据为第二图数据变换后的图数据，第一待卷积图数据为第一图数据；

[0231] 若对第一图数据、第二图数据均进行变换，则第一待卷积图数据为第一图数据变换后的图数据，第二待卷积图数据为第二图数据变换后的图数据；

[0232] 所述变换包括：对齐变换；

[0233] 所述对齐变换指：在所述术中图像与所述任一虚拟切片图相匹配时，将所述第一图数据表征的顶点的位置与第二图数据表征的顶点的位置变换为一致或相近；

[0234] 以图15中顶点连接所形成的三角形、线段为例，其中变换所表征效果可以包括：对由顶点所形成的三角形进行旋转、对由顶点所形成的三角形进行平移、对由顶点所形成的
线段进行旋转、对由顶点所形成的线段进行平移等。

[0235] 在所述术中图像与所述任一虚拟切片图不相匹配时，空间变换层也可对第一图数据和/或第二图数据进行变换，因其不会影响最终术中图像与虚拟切片图的匹配结果，故
而，不论如何变换，均不脱离本发明实施例的范围。

[0236] 所述卷积处理单元，用于对所述第一待卷积图数据进行卷积，得到所述任一虚拟切片图的第一待匹配图数据，对所述第二待卷积图数据进行卷积，得到所述术中图像的第
二待匹配图数据。

[0237] 其中一种实施方式中，所述卷积处理单元包括：

[0238] 嵌入层，用于将所述第一待卷积图数据中表征顶点间相对距离的数据转换为固定向量，得到第三待卷积图数据，将所述第二待卷积图数据中表征顶点间相对距离的数据转
换为所述固定向量，得到第四待卷积图数据；

[0239] 图卷积层，用于对所述第三待卷积图数据进行卷积，得到所述任一虚拟切片图的第一待匹配图数据，对所述第四待卷积图数据进行卷积，得到所述术中图像的第二待匹配
图数据。

[0240] 另一实施方式中，所述卷积处理单元也可包括空间变换层与图卷积层而不包含嵌入层，进而可直接对第一待卷积图数据、第二待卷积图数据进行卷积。

[0241] 进而，通过以上抗形变卷积网络，可实现图数据之间的对齐变换，在此基础上所得到的待匹配图数据可准确、有效地实现图片的匹配。

[0242] 使用该抗形变卷积网络之前，所需完成的过程可例如包括：

[0243] 步骤a：基于显著性检测的卷积神经网络（即开口识别模型） 的输出矩阵，生成 的01矩阵，其中0代表背景（即虚拟开口区域、实际开口区域之外的区域），1
代表显著性区域（即虚拟开口区域、实际开口区域内的区域）。

[0244] 步骤b:将虚拟切片图和术中图像转换为矩阵后，分别乘以对应的01矩阵，得到第一矩阵与第二矩阵。

[0245] 步骤c：针对于第一矩阵与第二矩阵，以肺段开口为连通域，计算其中心位置，以每个肺段开口的中心点为顶点，中心点连线为边，构造图数据（即第一图数据与第二图数据）。

[0246] 针对于虚拟切片图实施以上步骤a、步骤b、步骤c的过程，即为步骤S1202的一种实现方式，针对于术中图像实施以上步骤a、步骤b、步骤c的过程，即为步骤S1402的一种实现
方式。

[0247] 假设抗形变图卷积网络一共包含三层，其中，第一层是空间变换层，第二层是嵌入层，第三层是图卷积层。

[0248] 第一层空间变换层可以用于对第一图数据和/或第二图数据进行空间变换，其效果可体现为对应图像（例如术中图像、虚拟切片图）中肺段开口中心点所构成图形、线段的
6D自由度的变换。

[0249] 第二层嵌入层的作用可理解为：因为肺段的大小存在区别，通过嵌入层把它们统一为固定向量，有利于后面图卷积层的计算；

[0250] 第三层图卷积层作用如下：

[0251] 首先根据G(V,E)求解邻接矩阵A，公式如下：

[0252]     (1)

[0253] 定义图卷积的第l层的输入为 ，输出为 ，其关系如下：

[0254]           (2)

[0255]

[0256] 其中 为非线性变换层，A为邻接矩阵，D为每条边的度矩阵， 为图卷积权重。

[0257] 经过抗形变卷积网络，虚拟切片图的待匹配图数据和术中图像的待匹配图数据实现了对齐和特征平滑，之后，可在待匹配图数据之间（即第一待匹配图数据与第二待匹配图
数据之间）进行匹配，进而通过图数据之间的匹配，实现虚拟切片图与术中图像间的匹配。

[0258] 其中，因为虚拟切片图的图数据（例如第一图数据、待匹配图数据）都对应虚拟支气管树的具体位置和切片角度，所以通过图数据的匹配，对应可查找到目标对象的术中图
像匹配的目标虚拟切片图，从而基于匹配的目标虚拟切片图在虚拟支气管树中位置，判断
支气管镜在人体内的当前位置，实现导航。

[0259] 部分方案中，也可在对第一图数据、第二图数据进行对齐变换后，直接利用变换后的第一图数据、第二图数据作为待匹配图数据，从而进行匹配。

[0260] 此外，以上所提及的图数据均可采用矩阵进行表示。

[0261] 其中一种实施方式中，为了有效提高匹配效果，请参考图16，通过将所述术中图像与所述目标对象的虚拟支气管树的虚拟切片图进行匹配，确定匹配于所述术中图像的目标
虚拟切片图的过程，可以包括：

[0262] S1601：获取历史匹配信息；

[0263] 所述历史匹配信息表征了：历史术中图像所匹配到的虚拟切片图在所述目标对象的虚拟支气管树中的位置与切片角度；

[0264] S1602：根据所述历史匹配信息，确定当前匹配范围；

[0265] 其中，所述当前匹配范围表征了：所述目标虚拟切片图在所述虚拟支气管树中所处的位置范围；

[0266] S1603：通过将所述术中图像与所述当前匹配范围内对应的虚拟切片图进行匹配，确定所述目标虚拟切片图。

[0267] 步骤S1601至步骤S1603可理解为图2所示步骤S204的一种实现方式，对于图2所示实施例已阐述的内容，在此不再赘述。

[0268] 因为基于视觉的支气管镜导航是具有时空逻辑的，例如如果当前支气管镜在第15分叉口，那接下来它可能只能去第16分叉口，第13分叉口，加入术中多张术中图像的归纳推
理可以缩小虚拟真实图匹配的匹配范围，无需将术中图像与目标对象的虚拟支气管树的所
有虚拟切片图进行匹配，有效减少了匹配数据量，加快匹配速度，排除一些不符合逻辑的
解。

[0269] 可见，以上方案中，可有效降低匹配所需处理的数据量，提高处理效率。

[0270] 在一实施例中，步骤S1602的具体过程可以包括：

[0271] 将所述历史匹配信息与所述历史术中图像的拍摄时间转换为向量，得到当前向量；并将所述当前向量输入至长短期记忆网络，以利用所述长短期记忆网络确定所述当前
匹配范围。

[0272] 具体的，可将术中图像的6D自由度的信息（代表其在虚拟支气管树的位置和切片角度）和对应的拍摄时间做向量化，例如可将该些信息逐一并列而形成当前向量。

[0273] 其中的长短期记忆网络，在训练时，可将各训练用术中图像，训练用虚拟切片图，作为素材训练长短期记忆网络，通过长短期记忆网络输出的权重，逐步更新其确定匹配范
围的能力。

[0274] 在步骤S1602中，可基于图10所示实施例中步骤S1003与步骤S1004确定的待匹配图数据实现匹配，例如：在步骤S1603中，可以包括：

[0275] 通过将所述术中图像对应的第二待匹配图数据输入所述长短期记忆网络，获得所述长短期记忆网络输出的拼接后的待匹配图数据；其中，所述拼接后的待匹配图数据指：所
述术中图像对应的第二待匹配图数据与至少一张历史术中图像对应的第二待匹配图数据
拼接后的待匹配图数据；

[0276] 通过将所述拼接后的待匹配图数据与所述当前匹配范围内的虚拟切片图的第一待匹配图数据进行匹配，确定所述目标虚拟切片图。

[0277] 由于匹配时使用了术中图像与历史术中图像，相较于仅采用术中图像进行匹配的方式，以上方案可有效提高匹配的准确性。

[0278] 其他举例中，也可不进行拼接，而通过将所述术中图像的第二待匹配图数据与当前匹配范围内的虚拟切片图的第一待匹配图数据进行局部匹配，确定所述目标虚拟切片
图。

[0279] 请参考图17，本发明实施例还提供了一种支气管镜的位置确定装置1700，包括：

[0280] 支气管树获取模块1701，用于获取目标对象的虚拟支气管树；

[0281] 识别模块1702，用于识别所述目标对象的虚拟支气管树的分叉节点，并基于识别出的分叉节点，获得所述目标对象的虚拟支气管树中各肺段与分叉节点的标识信息；

[0282] 术中图像获取模块1703，用于获取所述目标对象的术中图像，所述术中图像是支气管镜在人体内行进时拍摄到的；

[0283] 图像匹配模块1704，用于通过将所述术中图像与所述目标对象的虚拟支气管树的虚拟切片图进行匹配，确定匹配于所述术中图像的目标虚拟切片图；

[0284] 标识匹配模块1705，用于确定所述目标对象的虚拟支气管树中匹配于所述目标虚拟切片图的相应的肺段与分叉节点的标识信息，确定出的标识信息被用于表征所述支气管
镜在所述目标对象中的当前位置。

[0285] 可选的，所述识别模块1702，具体用于：

[0286] 将获取到的所述目标对象的虚拟支气管树输入预先训练的节点识别神经网络，获得所述节点识别神经网络输出的所述目标对象的虚拟支气管树所含的各个分叉节点的位
置。

[0287] 可选的，所述节点识别神经网络由下述方式训练得到：

[0288] 分别提取训练样本集合中的各个训练样本的样本特征，所述训练样本所含的虚拟支气管树上被标注有标签，所述标签用于标记所述训练样本所含虚拟支气管树中各个分叉
节点的实际位置；

[0289] 通过将提取到的样本特征输入所述节点识别神经网络中，获得所述节点识别神经网络输出的所述训练样本所含虚拟支气管树中各个分叉节点的预测位置；

[0290] 根据所述实际位置与所述预测位置之间的差异信息调整所述节点识别神经网络，获得训练后的节点识别神经网络。

[0291] 可选的，所述识别模块1702，具体用于；

[0292] 通过将所述目标对象的虚拟支气管树内识别出的分叉节点与支气管树的知识图谱进行匹配，确定所述标识信息。

[0293] 可选的，所述识别模块1702，具体用于；

[0294] 以所述识别出的分叉节点为顶点、所述目标对象的虚拟支气管树中用于连接识别出的分叉节点的肺段为边，构建第三图数据；

[0295] 将所述第三图数据输入预先训练的第二图卷积网络，以利用所述第二图卷积网络确定所述目标对象的虚拟支气管树中的分叉节点与肺段之间的对应关系；

[0296] 根据所述对应关系以及所述知识图谱，确定所述目标对象的虚拟支气管树中各肺段与分叉节点的标识信息。

[0297] 可选的，所述第二图卷积网络被配置为能够计算出所述第三图数据中任一肺段对应于各分叉节点的概率，且所述任一肺段所属的分叉节点为其中概率最高的分叉节点。

[0298] 可选的，所述图像匹配模块1704，具体用于：

[0299] 获取对应于任一虚拟切片图的第一待匹配图数据，所述第一待匹配图数据包括所述虚拟切片图中肺段开口的数量与分布方式；

[0300] 获取对应于所述术中图像的第二待匹配图数据，所述第二待匹配图数据包括所述术中图像中肺段开口的数量与分布方式；

[0301] 将所述第一待匹配图数据与提取到的第二待匹配图数据进行比较，并根据比较结果确定所述目标虚拟切片图。

[0302] 可选的，所述图像匹配模块1704，具体用于：

[0303] 确定所述任一虚拟切片图中的虚拟开口区域，每个虚拟开口区域对应所述虚拟切片图中的一个肺段开口；

[0304] 以所述虚拟开口区域的中心为顶点、各个中心之间的连线为边，构造第一图数据；所述第一图数据包括所述任一虚拟切片图中顶点的数量、位置，以及顶点间相对距离；

[0305] 利用第一图卷积网络，将所述第一图数据映射为所述任一虚拟切片图的第一待匹配图数据。

[0306] 可选的，所述图像匹配模块1704，具体用于：

[0307] 在所述术中图像中，确定实际开口区域；每个实际开口区域对应表征所述术中图像中的一个肺段开口；

[0308] 以所述实际开口区域的中心为顶点、中心间的连线为边，构造第二图数据；所述第二图数据包括所述术中图像中顶点的数量、位置，以及顶点间相对距离；

[0309] 利用所述第一图卷积网络，将所述第二图数据映射为所述术中图像的第二待匹配图数据。

[0310] 可选的，所述第一图卷积网络为抗形变卷积网络；

[0311] 所述抗形变卷积网络包括空间变换层和卷积处理单元：

[0312] 所述空间变换层，用于：获取所述第一图数据与所述第二图数据，对所述第一图数据和/或所述第二图数据进行空间变换，得到所述第一图数据对应的第一待卷积图数据以
及所述第二图数据对应的第二待卷积图数据；

[0313] 所述卷积处理单元，用于对所述第一待卷积图数据进行卷积，得到所述任一虚拟切片图的第一待匹配图数据，对所述第二待卷积图数据进行卷积，得到所述术中图像的第
二待匹配图数据。

[0314] 可选的，所述图像匹配模块1704，具体用于：

[0315] 获取历史匹配信息；所述历史匹配信息表征了：历史术中图像所匹配到的虚拟切片图在所述目标对象的虚拟支气管树中的位置与切片角度；

[0316] 根据所述历史匹配信息，确定当前匹配范围；其中，所述当前匹配范围表征了：所述目标虚拟切片图在所述目标对象的虚拟支气管树中所处的位置范围；

[0317] 通过将所述术中图像与所述当前匹配范围对应的虚拟切片图进行匹配，确定所述目标虚拟切片图。

[0318] 可选的，所述图像匹配模块1704，具体用于：

[0319] 将所述历史匹配信息与所述历史术中图像的拍摄时间转换为向量，得到当前向量，并将所述当前向量输入至预先训练的长短期记忆网络，以利用所述长短期记忆网络确
定所述当前匹配范围。

[0320] 可选的，所述图像匹配模块1704，具体用于：

[0321] 通过将所述术中图像对应的第二待匹配图数据输入所述长短期记忆网络，获得所述长短期记忆网络输出的拼接后的待匹配图数据；其中，所述拼接后的待匹配图数据指：所
述术中图像对应的第二待匹配图数据与至少一张历史术中图像对应的第二待匹配图数据
拼接后的待匹配图数据；

[0322] 通过将所述拼接后的待匹配图数据与所述当前匹配范围内对应的虚拟切片图的第一待匹配图数据进行匹配，确定所述目标虚拟切片图。

[0323] 请参考图18，提供了一种电子设备1800，包括：

[0324] 处理器1801；以及，

[0325] 存储器1802，用于存储所述处理器的可执行指令；

[0326] 其中，所述处理器1801配置为经由执行所述可执行指令来执行以上所涉及的方法。

[0327] 处理器1801能够通过总线1803与存储器1802通讯。

[0328] 本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所涉及的方法。

[0329] 本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程
序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或
者光盘等各种可以存储程序代码的介质。

[0330] 最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依
然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进
行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术
方案的范围。