一种基于CT图像的肋骨计数方法、装置、设备及存储介质

摘要

本公开提供了一种基于CT图像的肋骨计数方法、装置、设备及存储介质，通过将待测图像输入肋骨计数模型内的采样区，获得第一特征图像与第二特征图像；将所述第一特征图像输入所述肋骨计数模型内的肋骨检测区，确定肋骨实例化中心线；将所述第二特征图像输入所述肋骨计数模型内的胸椎检测区，确定胸椎椎体位置；将所述肋骨实例化中心线与所述胸椎椎体位置输入所述肋骨计数模型内的匹配区，并根据所述肋骨实例化中心线与所述胸椎椎体位置的空间对应关系，确定所述待测图像中各个肋骨的真实标签，完成所述待测图像的肋骨计数，能够避免存在颈肋、腰肋或者未扫到第一根肋骨等情况导致肋骨计数错误的问题，能够提高肋骨计数的准确度。

权利要求

1.一种基于CT图像的肋骨计数方法，其特征在于，所述方法包括：将待测图像输入肋骨计数模型内的采样区，获得第一特征图像与第二特征图像；

将所述第一特征图像输入所述肋骨计数模型内的肋骨检测区，确定肋骨实例化中心线；

将所述第二特征图像输入所述肋骨计数模型内的胸椎检测区，确定胸椎椎体位置；

将所述肋骨实例化中心线与所述胸椎椎体位置输入所述肋骨计数模型内的匹配区，并根据所述肋骨实例化中心线与所述胸椎椎体位置的空间对应关系，确定所述待测图像中各个肋骨的真实标签，完成所述待测图像的肋骨计数；

其中，所述根据所述肋骨实例化中心线与所述胸椎椎体位置的空间对应关系，确定所述待测图像中肋骨的真实标签，完成所述待测图像的肋骨计数，包括：分左右两侧，分别计算各个肋骨实例化中心线的3D骨骼线；将所述各个肋骨实例化中心线的3D骨骼线按照第二预设方向排序，以确定所述各个肋骨实例化中心线的起始点；通过计算所述各个肋骨实例化中心线的起始点与所述各个胸椎椎体的中心位置的距离，确定与所述各个肋骨实例化中心线相匹配的目标胸椎椎体；根据所述目标胸椎椎体的参照计数标签，更正所述各个肋骨实例化中心线的第二肋骨伪标签为真实标签，完成所述待测图像的肋骨计数。

2.根据权利要求1所述的方法，其中，所述肋骨检测区包括肋骨语义分割网络与中心线后处理单元；相应的，所述将所述第一特征图像输入所述肋骨计数模型内的肋骨检测区，确定肋骨实例化中心线，包括：将所述第一特征图像输入所述肋骨语义分割网络，确定所述第一特征图像内的多个肋骨中心线特征；

将所述多个肋骨中心线特征输入所述中心线后处理单元进行实例化处理，获得多个肋骨实例化中心线。

3.根据权利要求2所述的方法，其特征在于，所述将所述多个肋骨中心线特征进行实例化处理，获得多个肋骨实例化中心线，包括：通过DBSCAN聚类算法，将所述多个肋骨中心线特征进行初整合与初分类，确定多个第一中心线特征及其相对应的第一肋骨伪标签；

通过逐个计算所述第一中心线特征与胸椎在冠状位上的相对位置，确定所述多个第一中心线特征的左右位置，作为多个第二中心线特征，并将所述第一肋骨伪标签变更为第二肋骨伪标签；

判断在所述多个第二中心线特征中，是否存在断裂特征；

若存在若干第二中心线特征有所述断裂特征，则将所述若干第二中心线特征归为同一肋骨，更正所述若干第二中心线特征的第二肋骨伪标签，并将带有第二肋骨伪标签的多个第二中心线特征作为所述肋骨实例化中心线。

4.根据权利要求3所述的方法，其特征在于，所述判断在所述多个第二中心线特征中，是否存在断裂特征，包括：分左右两侧，分别沿所述多个第二中心线特征的两端进行像素点延展操作，并将延展后的所述多个第二中心线特征的两端进行两两遍历的试交操作；

若存在某两个第二中心线特征的试交操作具有交集重叠区域，且所述交集重叠区域内的像素点数大于预设点数阈值，则判断该两个第二中心线特征存在断裂特征。

5.根据权利要求4所述的方法，其特征在于，所述分左右两侧，分别沿所述多个第二中心线特征的两端进行像素点延展操作，包括：分左右两侧，分别在各个第二中心线特征的两端选取预设掩码片段；

通过最小二乘法计算所述预设掩码片段的法向量，其中，所述法向量指向与其相应的第二中心线特征外端的延展方向；

基于所述预设掩码片段的法向量，延展预设尺寸的像素点群。

6.根据权利要求5所述的方法，其特征在于，所述将所述第二特征图像输入胸椎检测区，确定胸椎椎体位置，包括：将所述第二特征图像输入胸椎多目标检测网络，确定所述待测图像中各个胸椎椎体的中心位置及其相对应的初始计数标签；

将所述各个胸椎椎体的中心位置按照第一预设方向进行排序，并确定最长连续序列的多个胸椎椎体，作为参照胸椎区段；

根据所述参照胸椎区段中胸椎椎体的初始计数标签，更正其他胸椎椎体的初始计数标签，并作为所述各个胸椎椎体的参照计数标签。

7.一种基于CT图像的肋骨计数装置，其特征在于，所述装置包括：特征提取模块，用于将待测图像输入肋骨计数模型中的采样区，获得第一特征图像与第二特征图像；

中心线处理模块，用于将所述第一特征图像输入肋骨检测区，得到肋骨实例化中心线；

胸椎处理模块，用于将所述第二特征图像输入胸椎检测区，确定胸椎椎体位置；

肋骨计数模块，用于根据所述肋骨实例化中心线与所述胸椎椎体位置的空间对应关系，确定肋骨真实标签，完成所述待测图像的肋骨计数；

其中，所述肋骨计数模块，具体用于：分左右两侧，分别计算各个肋骨实例化中心线的

3D骨骼线；将所述各个肋骨实例化中心线的3D骨骼线按照第二预设方向排序，以确定所述各个肋骨实例化中心线的起始点；通过计算所述各个肋骨实例化中心线的起始点与所述各个胸椎椎体的中心位置的距离，确定与所述各个肋骨实例化中心线相匹配的目标胸椎椎体；根据所述目标胸椎椎体的参照计数标签，更正所述各个肋骨实例化中心线的第二肋骨伪标签为真实标签，完成所述待测图像的肋骨计数。

8.根据权利要求7所述的装置，其特征在于，所述中心线处理模块，具体用于：所述肋骨检测区包括肋骨语义分割网络与中心线后处理单元；将所述第一特征图像输入所述肋骨语义分割网络，确定所述第一特征图像内的多个肋骨中心线特征；将所述多个肋骨中心线特征输入所述中心线后处理单元进行实例化处理，获得多个肋骨实例化中心线。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1‑6中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1‑6中任一项所述的方法。

说明书

一种基于CT图像的肋骨计数方法、装置、设备及存储介质

技术领域

[0001] 本公开涉及医学图像处理领域，尤其涉及一种基于CT图像的肋骨计数方法、装置、设备及存储介质。

背景技术

[0002] 随着医学影像技术的不断进步，CT医学影像在肋骨检测中被广泛应用。通过CT影像来定位肋骨病灶的位置，对CT影像实现肋骨计数起到重要作用。

[0003] 在现有技术中，肋骨计数方法大多依赖深度学习网络模型，但由于肋骨在CT影像中的空间分布和形态具有较高的相似性，容易出现分类错误的问题，以及当存在颈肋或者CT影像中未扫到第一根肋骨的情况时，亦会出现肋骨计数错误。

发明内容

[0004] 本公开提供了一种基于CT图像的肋骨计数方法、装置、设备及存储介质，以至少解决现有技术中存在的以上技术问题。

[0005] 根据本公开的第一方面，提供了一种基于CT图像的肋骨计数方法，包括：

[0006] 将待测图像输入肋骨计数模型内的采样区，获得第一特征图像与第二特征图像；

[0007] 将所述第一特征图像输入所述肋骨计数模型内的肋骨检测区，确定肋骨实例化中心线；

[0008] 将所述第二特征图像输入所述肋骨计数模型内的胸椎检测区，确定胸椎椎体位置；

[0009] 将所述肋骨实例化中心线与所述胸椎椎体位置输入所述肋骨计数模型内的匹配区，并根据所述肋骨实例化中心线与所述胸椎椎体位置的空间对应关系，确定所述待测图像中各个肋骨的真实标签，完成所述待测图像的肋骨计数。

[0010] 在一可实施方式中，所述将所述第一特征图像输入所述肋骨计数模型内的肋骨检测区，确定肋骨实例化中心线，包括：

[0011] 将所述第一特征图像输入肋骨语义分割网络，以确定所述第一特征图像内的多个肋骨中心线特征；

[0012] 将所述多个肋骨中心线特征进行实例化处理，以获得多个肋骨实例化中心线。

[0013] 在一可实施方式中，所述将所述多个肋骨中心线特征进行实例化处理，以获得多个肋骨实例化中心线，包括：

[0014] 通过DBSCAN聚类算法，将所述多个肋骨中心线特征进行初整合与初分类，以确定多个第一中心线特征及其相对应的第一肋骨伪标签；

[0015] 通过逐个计算所述第一中心线特征与胸椎在冠状位上的相对位置，确定所述多个第一中心线特征的左右位置，作为多个第二中心线特征，并将所述第一肋骨伪标签变更为第二肋骨伪标签；

[0016] 判断在所述多个第二中心线特征中，是否存在断裂特征；

[0017] 若存在若干第二中心线特征有所述断裂特征，则将所述若干第二中心线特征归为同一肋骨，更正所述若干第二中心线特征的第二肋骨伪标签，并将带有第二肋骨伪标签的多个第二中心线特征作为所述肋骨实例化中心线。

[0018] 在一可实施方式中，所述判断在所述多个第二中心线特征中，是否存在断裂特征，包括：

[0019] 分左右两侧，分别沿所述多个第二中心线特征的两端进行像素点延展操作，并将延展后的所述多个第二中心线特征的两端进行两两遍历的试交操作；

[0020] 若存在某两个第二中心线特征的试交操作具有交集重叠区域，且所述交集重叠区域内的像素点数大于预设点数阈值，则判断该两个第二中心线特征存在断裂特征。

[0021] 在一可实施方式中，所述分左右两侧，分别沿所述多个第二中心线特征的两端进行像素点延展操作，包括：

[0022] 分左右两侧，分别在各个第二中心线特征的两端选取预设掩码片段；

[0023] 通过最小二乘法计算所述预设掩码片段的法向量，其中，所述法向量指向与其相应的第二中心线特征外端的延展方向；

[0024] 基于所述预设掩码片段的法向量，延展预设尺寸的像素点群。

[0025] 在一可实施方式中，所述将所述第二特征图像输入胸椎检测区，确定胸椎椎体位置，包括：

[0026] 将所述第二特征图像输入胸椎多目标检测网络，确定所述待测图像中各个胸椎椎体的中心位置及其相对应的初始计数标签；

[0027] 将所述各个胸椎椎体的中心位置按照第一预设方向进行排序，并确定最长连续序列的多个胸椎椎体，作为参照胸椎区段；

[0028] 根据所述参照胸椎区段中胸椎椎体的初始计数标签，更正其他胸椎椎体的初始计数标签，并作为所述各个胸椎椎体的参照计数标签。

[0029] 在一可实施方式中，所述根据所述肋骨实例化中心线与所述胸椎椎体位置的空间对应关系，确定肋骨真实标签，完成所述待测图像的肋骨计数，包括：

[0030] 分左右两侧，分别计算各个肋骨实例化中心线的3D骨骼线；

[0031] 将所述各个肋骨实例化中心线的3D骨骼线按照第二预设方向排序，以确定所述各个肋骨实例化中心线的起始点；

[0032] 通过计算所述各个肋骨实例化中心线的起始点与所述各个胸椎椎体的中心位置的距离，确定与所述各个肋骨实例化中心线相匹配的目标胸椎椎体；

[0033] 根据所述目标胸椎椎体的参照计数标签，更正所述各个肋骨实例化中心线的第二肋骨伪标签为真实标签，完成所述待测图像的肋骨计数。

[0034] 根据本公开的第二方面，提供了一种基于CT图像的肋骨计数装置，包括：

[0035] 特征提取模块，用于将待测图像输入肋骨计数模型中的采样区，获得第一特征图像与第二特征图像；

[0036] 中心线处理模块，用于将所述第一特征图像输入肋骨检测区，得到肋骨实例化中心线；

[0037] 胸椎处理模块，用于将所述第二特征图像输入胸椎检测区，确定胸椎椎体位置；

[0038] 肋骨计数模块，用于根据所述肋骨实例化中心线与所述胸椎椎体位置的空间对应关系，确定肋骨真实标签，完成所述待测图像的肋骨计数。

[0039] 在一可实施方式中，所述中心线处理模块具体用于：

[0040] 将所述第一特征图像输入肋骨语义分割网络，以确定所述第一特征图像内的多个肋骨中心线特征；

[0041] 将所述多个肋骨中心线特征进行实例化处理，以获得多个肋骨实例化中心线。

[0042] 在一可实施方式中，所述中心线处理模块具体还用于：

[0043] 通过DBSCAN聚类算法，将所述多个肋骨中心线特征进行初整合与初分类，以确定多个第一中心线特征及其相对应的第一肋骨伪标签；

[0044] 通过逐个计算所述第一中心线特征与胸椎在冠状位上的相对位置，确定所述多个第一中心线特征的左右位置，作为多个第二中心线特征，并将所述第一肋骨伪标签变更为第二肋骨伪标签；

[0045] 判断在所述多个第二中心线特征中，是否存在断裂特征；

[0046] 若存在若干第二中心线特征有所述断裂特征，则将所述若干第二中心线特征归为同一肋骨，更正所述若干第二中心线特征的第二肋骨伪标签，并将带有第二肋骨伪标签的多个第二中心线特征作为所述肋骨实例化中心线。

[0047] 在一可实施方式中，所述中心线处理模块具体还用于：

[0048] 分左右两侧，分别沿所述多个第二中心线特征的两端进行像素点延展操作，并将延展后的所述多个第二中心线特征的两端进行两两遍历的试交操作；

[0049] 若存在某两个第二中心线特征的试交操作具有交集重叠区域，且所述交集重叠区域内的像素点数大于预设点数阈值，则判断该两个第二中心线特征存在断裂特征。

[0050] 在一可实施方式中，所述中心线处理模块具体还用于：

[0051] 分左右两侧，分别在各个第二中心线特征的两端选取预设掩码片段；

[0052] 通过最小二乘法计算所述预设掩码片段的法向量，其中，所述法向量指向与其相应的第二中心线特征外端的延展方向；

[0053] 基于所述预设掩码片段的法向量，延展预设尺寸的像素点群。

[0054] 在一可实施方式中，所述胸椎处理模块用于：

[0055] 将所述第二特征图像输入胸椎多目标检测网络，确定所述待测图像中各个胸椎椎体的中心位置及其相对应的初始计数标签；

[0056] 将所述各个胸椎椎体的中心位置按照第一预设方向进行排序，并确定最长连续序列的多个胸椎椎体，作为参照胸椎区段；

[0057] 根据所述参照胸椎区段中胸椎椎体的初始计数标签，更正其他胸椎椎体的初始计数标签，并作为所述各个胸椎椎体的参照计数标签。

[0058] 在一可实施方式中，肋骨计数模块用于：

[0059] 分左右两侧，分别计算各个肋骨实例化中心线的3D骨骼线；

[0060] 将所述各个肋骨实例化中心线的3D骨骼线按照第二预设方向排序，以确定所述各个肋骨实例化中心线的起始点；

[0061] 通过计算所述各个肋骨实例化中心线的起始点与所述各个胸椎椎体的中心位置的距离，确定与所述各个肋骨实例化中心线相匹配的目标胸椎椎体；

[0062] 根据所述目标胸椎椎体的参照计数标签，更正所述各个肋骨实例化中心线的第二肋骨伪标签为真实标签，完成所述待测图像的肋骨计数。

[0063] 根据本公开的第三方面，提供了一种电子设备，包括：

[0064] 至少一个处理器；以及

[0065] 与所述至少一个处理器通信连接的存储器；其中，

[0066] 所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开所述的方法。

[0067] 根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开所述的方法。

[0068] 本公开的基于CT图像的肋骨计数方法、装置、设备及存储介质，通过将待测图像输入肋骨计数模型内的采样区，获得第一特征图像与第二特征图像；将所述第一特征图像输入所述肋骨计数模型内的肋骨检测区，确定肋骨实例化中心线；将所述第二特征图像输入所述肋骨计数模型内的胸椎检测区，确定胸椎椎体位置；将所述肋骨实例化中心线与所述胸椎椎体位置输入所述肋骨计数模型内的匹配区，并根据所述肋骨实例化中心线与所述胸椎椎体位置的空间对应关系，确定所述待测图像中各个肋骨的真实标签，完成所述待测图像的肋骨计数，能够避免存在颈肋、腰肋或者未扫到第一根肋骨等情况导致肋骨计数错误的问题，能够提高肋骨计数的准确度。

[0069] 应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

[0070] 通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：

[0071] 在附图中，相同或对应的标号表示相同或对应的部分。

[0072] 图1A示出了本公开实施例基于CT图像的肋骨计数方法的实现流程示意图；

[0073] 图1B示出了本公开实施例的一种肋骨计数模型内部分网络结构示意图；

[0074] 图2示出了本公开实施例基于CT图像的肋骨计数方法的实现流程示意图；

[0075] 图3示出了本公开实施例基于CT图像的肋骨计数装置的结构示意图；

[0076] 图4示出了本公开实施例一种电子设备的组成结构示意图。

具体实施方式

[0077] 为使本公开的目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

[0078] 实施例一

[0079] 图1A为本公开实施例一提供的一种基于CT图像的肋骨计数方法的流程图，该方法可以由本公开实施例提供的基于CT图像的肋骨计数装置来执行，该装置可采用软件和/或硬件的方式实现。该方法具体包括：

[0080] S110、将待测图像输入肋骨计数模型内的采样区，获得第一特征图像与第二特征图像。

[0081] 其中，待测图像可以是包含有肋骨的CT图像。肋骨计数模型可以是具有多任务的深度学习网络模型，包含有采样区、肋骨检测区、胸椎检测区以及匹配区，用于对待测图像中的肋骨进行计数。

[0082] 其中，采样区用于对待测图像提取多层图像，本实施例中的采样区可以采用UNet网络作为骨干网络。UNet网络包括上采样层与下采样层，其中，上采样层用于输出分辨率由小到大的多层特征图。本实施例使用上采样层中的特征图像，具体为将分辨率最大的图像作为第一特征图像，将预设层数的较大分辨率的特征图作为第二特征图像。

[0083] 例如，当UNet网络中的上采样层与下采样层均为四层时，本实施例可以将分辨率最大的特征图作为第一特征图像，将分辨率较大的前三层特征图作为第二特征图像。需要说明的是，本实施例举例的上采样层与下采样层的层数为四层仅仅是一种示例，本实施例不对UNet网络中上采样层与下采样层的层数进行限定，且不对第二特征图像的预设层数进行限定。

[0084] 具体的，本实施例中的肋骨计数模型可以是多任务深度学习网络模型，该模型的训练数据是大量具有胸椎与肋骨的完整CT图像，且该CT图像上标记有肋骨体素数据与胸椎检测框。为了提高该模型的学习精确度，肋骨体素数据可以是先采取人工标注的方式形成初始肋骨体素数据，而后再对初始肋骨体素数据进行后处理生成肋骨中心线体素。

[0085] 具体的，初始肋骨体素数据可以采用体素区域生长与逐层修正的方式，或者人工2D勾画肋骨轮廓线生成。肋骨中心线体素则需要对初始肋骨体素数据提取肋骨3D骨骼线，由于3D骨骼线有可能是不连续的，因此为了保证其连续性，本实施例可以将提取的3D骨骼线膨胀预设个数的像素点，将膨胀像素后的3D骨骼线结果作为肋骨中心线体素。例如，本实施例可以将提取的3D骨骼线膨胀2的像素点。

[0086] 通过训练数据训练得到的多任务深度学习网络模型，可以对CT影像进行处理，在经过肋骨检测区与胸椎检测区后，即可得到肋骨掩码和肋骨中心线掩码，同时得到胸椎各节椎体的检测结果。

[0087] S120、将第一特征图像输入肋骨计数模型内的肋骨检测区，确定肋骨实例化中心线。

[0088] 其中，肋骨检测区包括肋骨语义分割网络与中心线后处理单元通过将第一特征图像输入肋骨语义分割网络得到肋骨掩码与肋骨中心线掩码，再将肋骨中心线掩码输入中心线后处理单元进行实例化处理，以得到肋骨实例化中心线。

[0089] 其中，肋骨实例化中心线可以是带有肋骨伪标签的中心线掩码(mask)，例如标记有L1‑L12以及R1‑R12。其中，肋骨伪标签并非真正的肋骨真实标签，而是在将肋骨中心线实例化过程中，用于计量肋骨个数而暂时标记的伪标签，且该肋骨实例化中心线的肋骨伪标签由于通过实例化处理，能够将其区分属于左肋骨还是右肋骨。

[0090] 在本公开实施例中，将第一特征图像输入肋骨计数模型内的肋骨检测区，确定肋骨实例化中心线，包括：将第一特征图像输入肋骨语义分割网络，以确定第一特征图像内的多个肋骨中心线特征；将多个肋骨中心线特征进行实例化处理，以获得多个肋骨实例化中心线。

[0091] 其中，肋骨语义分割网络用于分割肋骨掩码与肋骨中心线掩码(即肋骨中心线特征)，可以采用现有技术中任一款成熟网络模型，其损失函数可以采用clDice函数。需要说明的是，由于clDice函数需要用到肋骨掩码信息，因此本实施例通过肋骨语义分割网络对第一特征图像进行分割，不仅需要肋骨中心线掩码信息还需要肋骨掩码信息。

[0092] 具体的，由于本实施例中的肋骨语义分割网络为二值化分割，因此得到的肋骨中心线特征为肋骨中心线掩码。通常人类的肋骨包括胸椎左右各12组，共24根肋骨，每根肋骨都有一个中心线特征，因此，将第一特征图像输入肋骨语义分割网络，可以得到24个肋骨中心线特征。又由于肋骨语义分割网络仅仅是能识别并分割出第一特征图像中的肋骨，并未对其进行分类贴计数标签，因此本实施例需要通过对肋骨中心线特征进行实例化处理，才能得到具有肋骨伪标签的肋骨实例化中心线。

[0093] S130、将第二特征图像输入肋骨计数模型内的胸椎检测区，确定胸椎椎体位置。

[0094] 其中，胸椎检测区可以包括胸椎多目标检测网络与胸椎椎体后处理阶段。其中，胸椎多目标检测网络可以采用现有技术中任一款成熟网络模型，只要能够检测到胸椎椎体位置即可，其中胸椎椎体位置包含有胸椎椎体的中心位置以及各个胸椎椎体的检测框标签。胸椎椎体后处理阶段用于精确胸椎椎体的定位。

[0095] 在本公开实施例中，将第二特征图像输入胸椎检测区，确定胸椎椎体位置，包括：将第二特征图像输入胸椎多目标检测网络，确定待测图像中各个胸椎椎体的中心位置及其相对应的初始计数标签；将各个胸椎椎体的中心位置按照第一预设方向进行排序，并确定最长连续序列的多个胸椎椎体，作为参照胸椎区段；根据参照胸椎区段中胸椎椎体的初始计数标签，更正其他胸椎椎体的初始计数标签，并作为各个胸椎椎体的参照计数标签。

[0096] 其中，初始计数标签为将第二特征图像输入胸椎多目标检测网络后得到的各个胸椎椎体的检测框标签，由于该检测框标签是根据深度学习而得，不一定准确，因此该标签有可能标记为T1‑T12不重复的数字，还有可能标记为具有重复数字的标签，例如标签数字为{T1，T1，T3‑T8，T9，T9，T11‑T12}。

[0097] 其中，第一预设方向指的是由轴向方向由上至下。参照胸椎区段指的是含有最长连续序列标签的多个胸椎椎体，本实施例将其作为胸椎多目标检测网络识别最准的胸椎椎体区段，并以该胸椎椎体区段作为基准，更正其他胸椎椎体的标签。

[0098] 具体的，以初始计数标签{T1，T1，T3‑T8，T9，T9，T11‑T12}为例进行说明。本实施例将第二特征图像输入胸椎多目标检测网络，得到待测图像中多个胸椎椎体的中心位置及其相对应的初始计数标签{T1，T1，T3‑T8，T9，T9，T11‑T12}；将各个胸椎椎体的中心位置按照轴向方向从大到小进行排序，并确定最长连续序列为T3‑T8，则将T3‑T8对应的多个胸椎椎体作为参照胸椎区段；根据参照胸椎区段中胸椎椎体的初始计数标签T3‑T8，更正其他胸椎椎体的初始计数标签，并作为各个胸椎椎体的参照计数标签T1‑T12。

[0099] 图1B为本公开实施例一提供的一种肋骨计数模型内部分网络结构示意图，包括待测图像10，采样区20、肋骨语义分割网络30和胸椎多目标检测网络40。

[0100] 由图1B所示，采样区20示例性的使用UNet网络为主干网络，且上采样层与下采样层的层数均为四层。由于不同神经网络模型的任务不同，因此相对应的损失函数也不同，在肋骨语义分割网络中，本实施例可以采用clDice函数作为损失函数；在胸椎多目标检测网络中，本实施例可以采用3D anchors作为候选框，在类别子网络中采用Focal Loss损失函数计算损失，在检测框子网络中采用smooth L1 Loss损失函数计算损失。

[0101] 在另一实施例中，肋骨计数模型可以分割成多个任务的深度学习网络模型，比如由独立的采样模型、肋骨语义分割网络模型以及胸椎多目标检测模型等组合完成肋骨计数的任务。

[0102] S140、将肋骨实例化中心线与胸椎椎体位置输入肋骨计数模型内的匹配区，并根据肋骨实例化中心线与胸椎椎体位置的空间对应关系，确定待测图像中各个肋骨的真实标签，以完成待测图像的肋骨计数。

[0103] 其中，匹配区为通过肋骨实例化中心线与胸椎椎体位置的空间对应关系，将肋骨实例化中心线贴上最后的真实标签的处理区域。真实标签为各个肋骨最后显示的标签。

[0104] 具体的，现有技术中的肋骨计数模型都是针对肋骨单独计数，且脊椎计数模型也是针对脊椎单独计数，而并未想到根据脊椎中的胸椎与肋骨的空间对应关系，将胸椎作为参照来计数肋骨。因此，本实施例将根据肋骨实例化中心线与胸椎椎体位置的空间对应关系，通过根据已确定的胸椎椎体的标签来更正待测图像中各个肋骨的真实标签，以完成待测图像的肋骨计数。

[0105] 本公开的基于CT图像的肋骨计数方法，通过将待测图像输入肋骨计数模型内的采样区，获得第一特征图像与第二特征图像；将所述第一特征图像输入所述肋骨计数模型内的肋骨检测区，确定肋骨实例化中心线；将所述第二特征图像输入所述肋骨计数模型内的胸椎检测区，确定胸椎椎体位置；将所述肋骨实例化中心线与所述胸椎椎体位置输入所述肋骨计数模型内的匹配区，并根据所述肋骨实例化中心线与所述胸椎椎体位置的空间对应关系，确定所述待测图像中各个肋骨的真实标签，完成所述待测图像的肋骨计数，能够避免存在颈肋、腰肋或者未扫到第一根肋骨等情况导致肋骨计数错误的问题，能够提高肋骨计数的准确度。

[0106] 在本公开实施例中，将多个肋骨中心线特征进行实例化处理，以获得多个肋骨实例化中心线，包括：通过DBSCAN聚类算法，将多个肋骨中心线特征进行初整合与初分类，以确定多个第一中心线特征及其相对应的第一肋骨伪标签；通过逐个计算第一中心线特征与胸椎在冠状位上的相对位置，确定多个第一中心线特征的左右位置，作为多个第二中心线特征，并将第一肋骨伪标签变更为第二肋骨伪标签；判断在多个第二中心线特征中，是否存在断裂特征；若存在若干第二中心线特征有断裂特征，则将若干第二中心线特征归为同一肋骨，更正若干第二中心线特征的第二肋骨伪标签，并将带有第二肋骨伪标签的多个第二中心线特征作为肋骨实例化中心线。

[0107] 需要说明的是，本实施例中的实例化处理共分为三个阶段：第一阶段为对肋骨实例化中心线进行初整合与初分类，得到第一中心线特征；第二阶段为对第一中心线特征进行左右识别，归为左侧肋骨或右侧肋骨，作为第二中心线特征；第三阶段为判断第二中心线特征中是否存在断裂情况，并对其断裂的第二中心线特征进行统一标记。

[0108] 具体的，在实例化处理的第一阶段中，DBSCAN聚类算法具有初整合和初分类两个作用。由于肋骨中心线特征是肋骨中心线掩码二值图，因此，DBSCAN聚类算法的初整合可以去除该二值图中一些尺寸较小的假阳的非肋骨中心线，并且将肋骨中心线特征中一些明显距离较近的断裂区段进行整合连接。又由于肋骨中心线特征是一组组具有标注的体素数据，DBSCAN聚类算法的初分类则可以将其分成24组，也即分为24个贴有第一肋骨伪标签的第一中心线特征。

[0109] 其中，第一中心线特征仅为第一阶段实例化处理后的中间量；第一肋骨伪标签也仅仅是初步给第一中心线特征贴上1‑24个不同数字的标签，只需不重复即可，并非肋骨的真实标签。需要说明的是，当肋骨存在断裂情况时，本实施例DBSCAN聚类算法的初分类则可以根据实际情况将其分成大于24组。

[0110] 具体的，在实例化处理的第二阶段中，虽然每一根肋骨都是通过对应的胸椎椎体上长出来的，但是有些人存在生理曲度侧弯等异常情况，导致在轴位上面对应的话，有可能存在有两根肋骨发生偏移，从而对应于同一个胸椎椎体，因此，本实施例需要对每根肋骨区分左右，进行左右对齐，并从上到下进行排序。

[0111] 由于考虑到有些人存在侧弯，导致胸椎椎体的形状存在畸形，因此本实施例计算各节胸椎椎体的中心点坐标在冠状位上的平均值，并计算各个第一中心线特征的质心在冠状位上的坐标。若该第一中心线特征的质心坐标小于胸椎各节椎体中心点坐标在冠状位上的平均值时，将该第一中心线特征归为右侧肋骨，反之归为左侧肋骨，并将带有左右属性分类的第一中心线特征作为第二中心线特征。同时，将第二中心线特征从上到下进行排序，并贴上L1‑L12或者R1‑R12的第二肋骨伪标签。

[0112] 其中，第二中心线特征为带有左右属性的第一中心线特征，为第二阶段实例化处理后的中间量；第二肋骨伪标签为将第二中心线特征区分上下左右而进行标记的标签，也不是肋骨的真实标签。需要说明的是，当肋骨存在断裂情况时，本实施例亦可以根据实际情况将第二肋骨伪标签标记为大于L12或者大于R12的标签。

[0113] 具体的，实例化处理的第三阶段为针对在CT影像中存在术后金属伪影、较大程度移位骨折或者肋骨融合畸形等情况，导致肋骨中心线分割掩码在该区段发生断裂的问题。若存在若干第二中心线特征有断裂特征，则将该若干第二中心线特征归类为同一肋骨，并统一该若干第二中心线特征的第二肋骨伪标签，将带有第二肋骨伪标签的多个第二中心线特征作为肋骨实例化中心线。

[0114] 需要说明的是，由于第二肋骨伪标签也不是真实标签，因此当存在有若干第二中心线特征有断裂区域，则可以选择其中任意一个第二肋骨伪标签进行统一。例如，若存在两个第二中心线特征的第二肋骨伪标签分别为L1与L13，则可以将该两个第二中心线特征的标签统一为L1或者L13。

[0115] 在本公开实施例中，判断在多个第二中心线特征中，是否存在断裂特征，包括：分左右两侧，分别沿多个第二中心线特征的两端进行像素点延展操作，并将延展后的多个第二中心线特征的两端进行两两遍历的试交操作；若存在某两个第二中心线特征的试交操作具有交集重叠区域，且交集重叠区域内的像素点数大于预设点数阈值，则判断该两个第二中心线特征存在断裂特征。

[0116] 其中，交集重叠区域为延展后的第二中心线特征进行试交所重叠的像素点区域，预设点数阈值为根据经验值而设定的像素点个数值。

[0117] 具体的，由于实例化处理的第二阶段已经将第二中心线特征分至左右两侧，为了防止左右两侧误连接，因此本实施例分左右两侧，分别进行试交操作。本实施例在每侧的12个第二中心线特征的两端都通过延展像素点的方式来多长出一块肋骨，再将多长出肋骨的第二中心线特征的两端进行两两遍历的试交操作。如果是同一个肋骨断裂成的两个第二中心线特征，那么该两个第二中心线特征的试交肯定具有交集重叠区域，且该交集重叠区域内的像素点数大于预设点数阈值。

[0118] 在本公开实施例中，分左右两侧，分别沿多个第二中心线特征的两端进行像素点延展操作，包括：分左右两侧，分别在各个第二中心线特征的两端选取预设掩码片段；通过最小二乘法计算预设掩码片段的法向量，其中，法向量指向与其相应的第二中心线特征外端的延展方向；基于预设掩码片段的法向量，延展预设尺寸的像素点群。

[0119] 其中，预设掩码片段为在第二中心线特征的末端截取的一小块儿含有预设个数像素点的片段，该片段类似于圆柱体形状。预设尺寸为根据经验值提前设置的长度与半径。

[0120] 由于第二中心线特征为最初的肋骨中心线掩码处理而来，所以在第二中心线特征的两端截取片段也是掩码片段。本实施例分别在左右两侧，对各个第二中心线特征的两端截取一块儿类似于圆柱体的预设掩码片段，通过最小二乘法计算该预设掩码片段法向量，并基于该法向量的方向延展固定长度像素点的直线，而后再在该固定长度的直线周边膨胀几圈像素点，则可以得到与原有第二中心线特征具有相同或者不同直径的片段，且该片段由预设尺寸的像素点群组成。

[0121] 例如，将肋骨中心线掩码(即第二中心线特征)分左右两侧逐类进行两端延展，对每类肋骨中心线的两端分别选取特定点数的掩码区段，通过最小二乘法计算其法向量，该法向量指向肋骨两端外侧的方向，并设置为延展方向。在延展方向上对每类肋骨中心线两端延展3个像素直径的特定长度的圆柱体，对延展后的肋骨中心线掩码结果分左右两侧进行两两遍历，如果两者存在交集并且大于一定阈值，可确定两类为同一根肋骨中心线。

[0122] 在另一实施例中，在判断两个第二中心线特征归类为同一根肋骨后，还可以对其进行断裂连接操作，具体可以是保留之前延展预设尺寸的像素点群，并进行平滑和膨胀处理。

[0123] 在针对肋骨计数问题，在CT图像中存在术后金属伪影、较大程度移位骨折或者肋骨融合畸形等情况时，现有的肋骨计数方法均未充分考虑这些难例影响，容易发生计数错误问题。本实施例采用多任务深度学习网络模型对CT图像处理得到肋骨和肋骨中心线语义分割掩码，在网络模型中肋骨掩码采用人工标注的方式进行训练，使得肋骨中心线掩码结果精度得到保证，且肋骨在CT中的空间分布更适合中心线提取。另外针对相邻肋骨较近或CT中带有肋骨融合畸形的情况，肋骨中心线提取性能更加鲁棒，通过后处理对肋骨中心线掩码因术后金属伪影或者较大程度移位骨折区段发生断裂进行连接修复，可以大幅度提高肋骨计数的精准度。

[0124] 实施例二

[0125] 图2为本公开实施例二提供的一种基于CT图像的肋骨计数方法的流程图，本公开实施例在上述实施例的基础上，其中，根据肋骨实例化中心线与胸椎椎体位置的空间对应关系，确定肋骨真实标签，以完成待测图像的肋骨计数，包括：分左右两侧，分别计算各个肋骨实例化中心线的3D骨骼线；将各个肋骨实例化中心线的3D骨骼线按照第二预设方向排序，以确定各个肋骨实例化中心线的起始点；通过计算各个肋骨实例化中心线的起始点与各个胸椎椎体的中心位置的距离，确定与各个肋骨实例化中心线相匹配的目标胸椎椎体；根据目标胸椎椎体的参照计数标签，更正各个肋骨实例化中心线的第二肋骨伪标签为真实标签，以完成待测图像的肋骨计数。

[0126] 该方法具体包括：

[0127] S210、将待测图像输入肋骨计数模型内的采样区，获得第一特征图像与第二特征图像。

[0128] S220、将第一特征图像输入肋骨计数模型内的肋骨检测区，确定肋骨实例化中心线。

[0129] S230、将第二特征图像输入肋骨计数模型内的胸椎检测区，确定胸椎椎体位置，其中，胸椎椎体位置包含胸椎椎体的中心位置。

[0130] S240、分左右两侧，分别计算各个肋骨实例化中心线的3D骨骼线。

[0131] 由于肋骨实例化中心线是之前经过处理过的具有一定半径的连续掩码，形状类似于粗曲线，而3D骨骼线为针对该粗曲线进行中心线的提取，用一条细线去表示。其中，3D骨骼线中的每个点都带有xyz坐标。

[0132] 需要说明的是，由于实例化处理的第二阶段已将肋骨实例化中心线区分左右，所以在计算3D骨骼线的过程也是分开处理。

[0133] S250、将各个肋骨实例化中心线的3D骨骼线按照第二预设方向排序，以确定各个肋骨实例化中心线的起始点。

[0134] 其中，第二预设方向为从后背的胸椎椎体开始沿至前胸胸骨的方向。各个肋骨实例化中心线的起始点为临近胸椎椎体的第一个像素点。

[0135] 具体的，按照第二预设方向，通过3D骨骼线中每个点的位置坐标，对3D骨骼线的各个点进行排序，并将靠近胸椎椎体的第一个点作为该肋骨实例化中心线的起始点。

[0136] S260、通过计算各个肋骨实例化中心线的起始点与各个胸椎椎体的中心位置的距离，确定与各个肋骨实例化中心线相匹配的目标胸椎椎体。

[0137] 其中，目标胸椎椎体为与肋骨实例化中心线相对应的胸椎椎体，例如，目标胸椎椎体T1对应肋骨实例化中心线L1与肋骨实例化中心线R1；目标胸椎椎体T2对应肋骨实例化中心线L2与肋骨实例化中心线R2，依次类推。

[0138] 具体的，本实施例计算各个肋骨实例化中心线的起始点与各个胸椎椎体中心位置的距离，也即在z轴方向，分别计算每个肋骨实例化中心线起始点的z坐标与12个胸椎椎体中心位置z坐标之间的距离，将距离最近的胸椎椎体作为该肋骨实例化中心线相匹配的目标胸椎椎体。

[0139] 本实施例通过对肋骨中心线实例化结果分左右两侧逐类计算其对应的3D骨骼线起始点与排序后的胸椎各节椎体检测框中心点距离，选择其中距离最小的，并且最小距离小于一定阈值所对应的胸椎进行标记，通过该方式可以将真实肋骨与胸椎进行对应，排除了非肋骨、颈肋和腰肋的干扰。

[0140] S270、根据目标胸椎椎体的参照计数标签，更正各个肋骨实例化中心线的第二肋骨伪标签为真实标签，以完成待测图像的肋骨计数。

[0141] 由于各个肋骨实例化中心线的第二肋骨伪标签只是本实施例暂时标记的伪标签，并不是真实标签，因此，本实施例将根据目标胸椎椎体的参照计数标签，更正各个肋骨实例化中心线的第二肋骨伪标签为真实标签。例如，若之前存在某一肋骨实例化中心线的第二肋骨伪标签为L12，通过空间对应关系匹配到的目标胸椎椎体的参照计数标签为T11，那么将该肋骨实例化中心线的第二肋骨伪标签更正为L11，从而将胸椎椎体T1‑T12与肋骨L1‑L12、肋骨R1‑R12标签对应。

[0142] 具体的，对肋骨中心线实例化结果分左右两侧进行统计，例如统计胸椎椎体检测框的最长连续区段，连续性判断为相邻胸椎椎体检测框类别标签相邻，统计得到最长连续区段的起始胸椎椎体标签为肋骨计数依赖胸椎，胸椎各节标签与肋骨各类标签对应，胸椎T1‑T12与L1‑L12以及肋骨R1‑R12标签相对应，从而完成肋骨计数。

[0143] 本实施例结合了肋骨的空间信息，以及肋骨在CT图像中的空间分布与胸椎椎体之间的对应关系，提出了一种多任务深度学习网络模型，该模型对CT图像处理可以得到肋骨和肋骨中心线语义分割掩码，同时得到胸椎各节椎体的检测结果，由于肋骨靠近脊椎的肋骨头部分从上到下与胸椎各节椎体具有一定的对应关系，因此通过两者的空间对应关系进行对齐，可显著提高肋骨计数精准度，这种肋骨计数方式也与影像科医生对CT影像在横断面自上向下阅片来区分肋骨类别的习惯相符合。

[0144] 实施例三

[0145] 图3是本公开实施例提供的一种基于CT图像的肋骨计数装置的结构示意图，该装置具体包括：

[0146] 特征提取模块310，用于将待测图像输入肋骨计数模型中的采样区，获得第一特征图像与第二特征图像；

[0147] 中心线处理模块320，用于将第一特征图像输入肋骨检测区，得到肋骨实例化中心线；

[0148] 胸椎处理模块330，用于将第二特征图像输入胸椎检测区，确定胸椎椎体位置；

[0149] 肋骨计数模块340，用于根据肋骨实例化中心线与胸椎椎体位置的空间对应关系，确定肋骨真实标签，以完成待测图像的肋骨计数。

[0150] 在一可实施方式中，中心线处理模块320具体用于：将第一特征图像输入肋骨语义分割网络，以确定第一特征图像内的多个肋骨中心线特征；将多个肋骨中心线特征进行实例化处理，以获得多个肋骨实例化中心线。

[0151] 在一可实施方式中，中心线处理模块320具体还用于：通过DBSCAN聚类算法，将多个肋骨中心线特征进行初整合与初分类，以确定多个第一中心线特征及其相对应的第一肋骨伪标签；通过逐个计算第一中心线特征与胸椎在冠状位上的相对位置，确定多个第一中心线特征的左右位置，作为多个第二中心线特征，并将第一肋骨伪标签变更为第二肋骨伪标签；判断在多个第二中心线特征中，是否存在断裂特征；若存在若干第二中心线特征有断裂特征，则将若干第二中心线特征归为同一肋骨，更正若干第二中心线特征的第二肋骨伪标签，并将带有第二肋骨伪标签的多个第二中心线特征作为肋骨实例化中心线。

[0152] 在一可实施方式中，中心线处理模块320具体还用于：分左右两侧，分别沿多个第二中心线特征的两端进行像素点延展操作，并将延展后的多个第二中心线特征的两端进行两两遍历的试交操作；若存在某两个第二中心线特征的试交操作具有交集重叠区域，且交集重叠区域内的像素点数大于预设点数阈值，则判断该两个第二中心线特征存在断裂特征。

[0153] 在一可实施方式中，中心线处理模块320具体还用于：分左右两侧，分别在各个第二中心线特征的两端选取预设掩码片段；通过最小二乘法计算预设掩码片段的法向量，其中，法向量指向与其相应的第二中心线特征外端的延展方向；基于预设掩码片段的法向量，延展预设尺寸的像素点群。

[0154] 在一可实施方式中，胸椎处理模块330用于：将第二特征图像输入胸椎多目标检测网络，确定待测图像中各个胸椎椎体的中心位置及其相对应的初始计数标签；将各个胸椎椎体的中心位置按照第一预设方向进行排序，并确定最长连续序列的多个胸椎椎体，作为参照胸椎区段；根据参照胸椎区段中胸椎椎体的初始计数标签，更正其他胸椎椎体的初始计数标签，并作为各个胸椎椎体的参照计数标签。

[0155] 在一可实施方式中，肋骨计数模块340用于：分左右两侧，分别计算各个肋骨实例化中心线的3D骨骼线；将各个肋骨实例化中心线的3D骨骼线按照第二预设方向排序，以确定各个肋骨实例化中心线的起始点；通过计算各个肋骨实例化中心线的起始点与各个胸椎椎体的中心位置的距离，确定与各个肋骨实例化中心线相匹配的目标胸椎椎体；根据目标胸椎椎体的参照计数标签，更正各个肋骨实例化中心线的第二肋骨伪标签为真实标签，以完成待测图像的肋骨计数。

[0156] 根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。

[0157] 图4示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

[0158] 如图4所示，设备400包括计算单元401，其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序，来执行各种适当的动作和处理。在RAM 403中，还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

[0159] 设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

[0160] 计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理，例如基于CT图像的肋骨计数方法。例如，在一些实施例中，基于CT图像的肋骨计数方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时，可以执行上文描述的基于CT图像的肋骨计数方法的一个或多个步骤。备选地，在其他实施例中，计算单元401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于CT图像的肋骨计数方法。

[0161] 本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

[0162] 用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

[0163] 在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD‑ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

[0164] 为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

[0165] 可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

[0166] 计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端‑服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

[0167] 应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

[0168] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

[0169] 以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。