壁冠状动脉检测方法及装置、电子设备和存储介质转让专利

申请号 : CN202111627728.3

文献号 : CN114387436B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 隋雨桐梁隆恺刘盼吴振洲

申请人 : 北京安德医智科技有限公司

摘要 :

本公开涉及一种壁冠状动脉检测方法及装置、电子设备和存储介质,所述方法包括:对待处理图像进行预处理,获得待处理图像块;将待处理图像块输入壁冠状动脉检测网络,获得第一特征信息;将第一特征信息输入第一器官特征网络,获得第二特征信息,将第一特征信息输入第二器官特征网络,获得第三特征信息;根据第一特征信息、第二特征信息和第三特征信息,获得第一检测结果和第二检测结果;根据第一检测结果、第二检测结果和待处理图像,获得第三检测结果。根据本公开的实施例的壁冠状动脉检测方法,通过第二特征信息和第三特征信息提升检测准确性。并基于待处理图像和第二检测结果对检测结果进行后处理,进一步提升准确性。

权利要求 :

1.一种壁冠状动脉检测方法,其特征在于,包括:

对待处理图像进行第一预处理,获得多个待处理图像块;

将所述待处理图像块输入壁冠状动脉检测网络,获得多个网络层级的第一特征信息;

将所述第一特征信息输入第一器官特征网络,获得第二特征信息,并将所述第一特征信息输入第二器官特征网络,获得第三特征信息,其中,所述第二特征信息为与目标组织相连接的第一器官所在区域的特征信息,所述第三特征信息为所述目标组织所属的第二器官的特征信息,其中,所述目标组织包括壁冠状动脉;

根据所述第一特征信息、所述第二特征信息和所述第三特征信息,获得所述待处理图像块中针对所述目标组织的第一检测结果,以及所述第二器官的第二检测结果;

根据所述第一检测结果、第二检测结果和所述待处理图像,获得所述目标组织的第三检测结果,其中,所述第三检测结果为与所述待处理图像尺寸相同的掩膜图像,所述掩膜图像用于表示所述目标组织在所述待处理图像中所在的区域;

其中,所述壁冠状动脉检测网络、所述第一器官特征网络和所述第二器官特征网络的结构是U型网络或V型网络,包括下采样和上采样的功能;

所述根据所述第一特征信息、所述第二特征信息和所述第三特征信息,获得所述待处理图像块中针对所述目标组织的第一检测结果,以及所述第二器官的第二检测结果,包括:将所述第二特征信息输入所述第一器官特征网络的第二下采样子网络,获得所述第二下采样子网络的多个网络层级的输出特征信息;

将所述第三特征信息输入所述第二器官特征网络的第三下采样子网络,获得所述第三下采样子网络的多个网络层级的输出特征信息;

将所述壁冠状动脉检测网络的第三上采样子网络中至少一个网络层级的输出特征信息,与所述第二下采样子网络中对应网络层级的输出特征信息,以及所述第三下采样子网络中对应网络层级的输出特征信息进行特征融合,获得所述第三上采样子网络输出的所述第一检测结果;

将所述第三特征信息输入所述第二器官特征网络进行激活处理,获得所述第二检测结果。

2.根据权利要求1所述的方法,其特征在于,将所述第一特征信息输入第一器官特征网络,获得第二特征信息,并将所述第一特征信息输入所述第二器官特征网络,获得第三特征信息,包括:将所述壁冠状动脉检测网络的第一下采样子网络输出的第一特征信息输入所述第一器官特征网络的第一上采样子网络,并将所述第一下采样子网络的至少一个网络层级的第一特征信息与所述第一上采样子网络中对应网络层级的输出特征信息进行特征融合,获得所述第一上采样子网络输出的第二特征信息;

将所述壁冠状动脉检测网络的第一下采样子网络输出的第一特征信息输入所述第二器官特征网络的第二上采样子网络,并将所述第一下采样子网络的至少一个网络层级的第一特征信息与所述第二上采样子网络中对应网络层级的输出特征信息进行特征融合,获得所述第二上采样子网络输出的第三特征信息。

3.根据权利要求1所述的方法,其特征在于,根据所述第一检测结果、第二检测结果和所述待处理图像,获得所述目标组织的第三检测结果,包括:分别对所述第一检测结果和所述第二检测结果进行拼接,获得所述目标组织的第四检测结果和所述第二器官的第五检测结果;

根据所述第五检测结果,对所述第四检测结果进行筛选,获得第六检测结果;

对所述第六检测结果进行连通域分析,获得所述第六检测结果中的多个连通域;

根据所述连通域中体素的数量,对所述连通域进行筛选,获得第七检测结果;

对所述第七检测结果进行膨胀卷积处理,并根据所述第五检测结果对所述膨胀卷积处理的输出结果进行筛选,获得第八检测结果,所述第八检测结果为所述目标组织的外层组织的检测结果;

根据所述待处理图像以及预设的筛选参数,对所述第八检测结果进行筛选,获得所述第三检测结果。

4.根据权利要求3所述的方法,其特征在于,所述筛选参数包括第一灰度阈值和第一比例值,所述方法还包括:

根据外层组织检测网络对第一样本图像进行处理,获得第一外层检测结果,其中,所述外层组织检测网络的结构与所述壁冠状动脉检测网络、所述第一器官特征网络和所述第二器官特征网络的组合相同,但网络参数不同;

根据所述第一外层检测结果,以及所述第一样本图像的第一标注信息,确定所述第一外层检测结果中的真阳性掩膜和假阳性掩膜;

在所述第一样本图像的灰度值区间内,获取多个第二灰度阈值;

对于各第二灰度阈值,确定所述第一样本图像与所述真阳性掩膜对应的体素中,灰度值大于所述第二灰度阈值的第一体素数量占比,以及所述第一样本图像与所述假阳性掩膜对应的体素中,灰度值大于所述第二灰度阈值的第二体素数量占比;

根据所述第一体素数量占比和所述第二体素数量占比,在所述第二灰度阈值中确定出所述第一灰度阈值;

对预设区间进行采样,获得多个第二比例值;

对于各第二比例值,根据所述第一体素数量占比、所述第二体素数量占比和所述第二比例值,确定所述第二比例值的信息增益;

根据所述信息增益,在所述多个第二比例值中确定出所述第一比例值。

5.根据权利要求4所述的方法,其特征在于,根据所述待处理图像以及预设的筛选参数,对所述第八检测结果进行筛选,获得所述第三检测结果,包括:对于所述第八检测结果的各掩膜区域,确定在所述待处理图像中对应区域的体素的灰度值大于所述第一灰度阈值的第三体素数量占比;

在所述第八检测结果的多个掩膜区域中,筛选出所述第三体素数量占比大于或等于第一比例值的目标掩膜区域;

根据所述目标掩膜区域,确定所述第三检测结果。

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:将第二样本图像进行第二预处理,获得多个样本图像块;

将所述多个样本图像块输入所述壁冠状动脉检测网络,获得多个网络层级的第一样本特征信息;

将所述第一样本特征信息输入所述第一器官特征网络,获得第一器官的第一样本检测结果以及第二样本特征信息;

将所述第一样本特征信息输入所述第二器官特征网络,获得第二器官的第二样本检测结果以及第三样本特征信息;

根据所述第一样本特征信息、所述第二样本特征信息和所述第三样本特征信息,获得目标组织的第三样本检测结果;

根据所述第一样本检测结果和所述第二样本图像的第二标注信息,获得第一网络损失;

根据所述第二样本检测结果和所述第二样本图像的第三标注信息,获得第二网络损失;

根据所述第三样本检测结果和所述第二样本图像的第四标注信息,获得第三网络损失;

根据所述第一网络损失、所述第二网络损失和所述第三网络损失,获得综合网络损失;

根据所述综合网络损失,训练所述壁冠状动脉检测网络、所述第一器官特征网络和所述第二器官特征网络。

7.一种壁冠状动脉检测装置,其特征在于,包括:

预处理模块,用于对待处理图像进行第一预处理,获得多个待处理图像块;

检测模块,用于将所述待处理图像块输入壁冠状动脉检测网络,获得多个网络层级的第一特征信息;

特征获取模块,用于将所述第一特征信息输入第一器官特征网络,获得第二特征信息,并将所述第一特征信息输入第二器官特征网络,获得第三特征信息,其中,所述第二特征信息为与目标组织相连接的第一器官所在区域的特征信息,所述第三特征信息为所述目标组织所属的第二器官的特征信息,其中,所述目标组织包括壁冠状动脉;

结果获取模块,用于根据所述第一特征信息、所述第二特征信息和所述第三特征信息,获得所述待处理图像块中针对所述目标组织的第一检测结果,以及所述第二器官的第二检测结果;

后处理模块,用于根据所述第一检测结果、第二检测结果和所述待处理图像,获得所述目标组织的第三检测结果,其中,所述第三检测结果为与所述待处理图像尺寸相同的掩膜图像,所述掩膜图像用于表示所述目标组织在所述待处理图像中所在的区域;

其中,所述壁冠状动脉检测网络、所述第一器官特征网络和所述第二器官特征网络的结构是U型网络或V型网络,包括下采样和上采样的功能;

所述结果获取模块进一步用于:

将所述第二特征信息输入所述第一器官特征网络的第二下采样子网络,获得所述第二下采样子网络的多个网络层级的输出特征信息;

将所述第三特征信息输入所述第二器官特征网络的第三下采样子网络,获得所述第三下采样子网络的多个网络层级的输出特征信息;

将所述壁冠状动脉检测网络的第三上采样子网络中至少一个网络层级的输出特征信息,与所述第二下采样子网络中对应网络层级的输出特征信息,以及所述第三下采样子网络中对应网络层级的输出特征信息进行特征融合,获得所述第三上采样子网络输出的所述第一检测结果;

将所述第三特征信息输入所述第二器官特征网络进行激活处理,获得所述第二检测结果。

8.一种电子设备,其特征在于,包括:

处理器;用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至6中任意一项所述的方法。

9.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。

说明书 :

壁冠状动脉检测方法及装置、电子设备和存储介质

技术领域

[0001] 本公开涉及计算机技术领域,尤其涉及一种壁冠状动脉检测方法及装置、电子设备和存储介质。

背景技术

[0002] 心肌桥是一种常见的心脏疾病,正常的冠状动脉是位于心脏表面,而心肌桥患者的冠状动脉的某一段会从心肌内穿过,临床上将这段血管上的心肌纤维称为心肌桥,将行走于心肌内动脉称为壁冠状动脉。严重心肌桥患者会受到心脏供血不足的影响,而壁冠状动脉的长度和位于心肌内的深度对医生判断心肌桥患者是否需要治疗有重要价值。因此,壁冠状动脉的自动检测可帮助医生进行诊断。
[0003] 在相关技术中,心肌桥的诊断主要靠医生人工判读,壁冠状动脉的分割主要通过一些标注软件,如3d‑slicer、itk‑snap等工具进行人工标注。这种心肌桥诊断方法非常依赖医生的诊断水平和临床经验,医生的培养成本高,同时水平参差不齐,易出现漏诊,错诊等现象。同时人工诊断也有诊断耗时长,需要额外的交流成本,以及无法随时待命等缺点。同时壁冠状动脉的手工分割方法费时费力,成本较高。

发明内容

[0004] 本公开提出了一种壁冠状动脉检测方法及装置、电子设备和存储介质。
[0005] 根据本公开的一方面,提供了一种壁冠状动脉检测方法,包括:对待处理图像进行第一预处理,获得多个待处理图像块;将所述待处理图像块输入壁冠状动脉检测网络,获得多个网络层级的第一特征信息;将所述第一特征信息输入第一器官特征网络,获得第二特征信息,并将所述第一特征信息输入第二器官特征网络,获得第三特征信息,其中,所述第二特征信息为与目标组织相连接的第一器官所在区域的特征信息,所述第三特征信息为所述目标组织所属的第二器官的特征信息,其中,所述目标组织包括壁冠状动脉;根据所述第一特征信息、所述第二特征信息和所述第三特征信息,获得所述待处理图像块中针对所述目标组织的第一检测结果,以及所述第二器官的第二检测结果;根据所述第一检测结果、第二检测结果和所述待处理图像,获得所述目标组织的第三检测结果,其中,所述第三检测结果为与所述待处理图像尺寸相同的掩膜图像,所述掩膜图像用于表示所述目标组织在所述待处理图像中所在的区域。
[0006] 在一种可能的实现方式中,将所述第一特征信息输入第一器官特征网络,获得第二特征信息,并将所述第一特征信息输入所述第二器官特征网络,获得第三特征信息,包括:将所述壁冠状动脉检测网络的第一下采样子网络输出的第一特征信息输入所述第一器官特征网络的第一上采样子网络,并将所述第一下采样子网络的至少一个网络层级的第一特征信息与所述第一上采样子网络中对应网络层级的输出特征信息进行特征融合,获得所述第一上采样子网络输出的第二特征信息;将所述壁冠状动脉检测网络的第一下采样子网络输出的第一特征信息输入所述第二器官特征网络的第二上采样子网络,并将所述第一下采样子网络的至少一个网络层级的第一特征信息与所述第二上采样子网络中对应网络层级的输出特征信息进行特征融合,获得所述第二上采样子网络输出的第三特征信息。
[0007] 在一种可能的实现方式中,根据所述第一特征信息、所述第二特征信息和所述第三特征信息,获得所述待处理图像块中针对所述目标组织的第一检测结果,包括:将所述第二特征信息输入所述第一器官特征网络的第二下采样子网络,获得所述第二下采样子网络的多个网络层级的输出特征信息;将所述第三特征信息输入所述第二器官特征网络的第三下采样子网络,获得所述第三下采样子网络的多个网络层级的输出特征信息;将所述壁冠状动脉检测网络的第三上采样子网络中至少一个网络层级的输出特征信息,与所述第二下采样子网络中对应网络层级的输出特征信息,以及所述第三下采样子网络中对应网络层级的输出特征信息进行特征融合,获得所述第三上采样子网络输出的所述第一检测结果。
[0008] 在一种可能的实现方式中,根据所述第一检测结果、第二检测结果和所述待处理图像,获得所述目标组织的第三检测结果,包括:分别对所述第一检测结果和所述第二检测结果进行拼接,获得所述目标组织的第四检测结果和所述第二器官的第五检测结果;根据所述第五检测结果,对所述第四检测结果进行筛选,获得第六检测结果;对所述第六检测结果进行连通域分析,获得所述第六检测结果中的多个连通域;根据所述连通域中体素的数量,对所述连通域进行筛选,获得第七检测结果;对所述第七检测结果进行膨胀卷积处理,并根据所述第五检测结果对所述膨胀卷积处理的输出结果进行筛选,获得第八检测结果,所述第八检测结果为所述目标组织的外层组织的检测结果;根据所述待处理图像以及预设的筛选参数,对所述第八检测结果进行筛选,获得所述第三检测结果。
[0009] 在一种可能的实现方式中,所述筛选参数包括第一灰度阈值和第一比例值,所述方法还包括:根据外层组织检测网络对第一样本图像进行处理,获得第一外层检测结果,其中,所述外层组织检测网络的结构与所述壁冠状动脉检测网络、所述第一器官特征网络和所述第二器官特征网络的组合相同,但网络参数不同;根据所述第一外层检测结果,以及所述第一样本图像的第一标注信息,确定所述第一外层检测结果中的真阳性掩膜和假阳性掩膜;在所述第一样本图像的灰度值区间内,获取多个第二灰度阈值;对于各第二灰度阈值,确定所述第一样本图像与所述真阳性掩膜对应的体素中,灰度值大于所述第二灰度阈值的第一体素数量占比,以及所述第一样本图像与所述假阳性掩膜对应的体素中,灰度值大于所述第二灰度阈值的第二体素数量占比;根据所述第一体素数量占比和所述第二体素数量占比,在所述第二灰度阈值中确定出所述第一灰度阈值;对预设区间进行采样,获得多个第二比例值;对于各第二比例值,根据所述第一体素数量占比、所述第二体素数量占比和所述第二比例值,确定所述第二比例值的信息增益;根据所述信息增益,在所述多个第二比例值中确定出所述第一比例值。
[0010] 在一种可能的实现方式中,根据所述待处理图像以及预设的筛选参数,对所述第八检测结果进行筛选,获得所述第三检测结果,包括:对于所述第八检测结果的各掩膜区域,确定在所述待处理图像中对应区域的体素的灰度值大于所述第一灰度阈值的第三体素数量占比;在所述第八检测结果的多个掩膜区域中,筛选出所述第三体素数量占比大于或等于第一比例值的目标掩膜区域;根据所述目标掩膜区域,确定所述第三检测结果。
[0011] 在一种可能的实现方式中,所述方法还包括:将第二样本图像进行第二预处理,获得多个样本图像块;将所述多个样本图像块输入所述壁冠状动脉检测网络,获得多个网络层级的第一样本特征信息;将所述第一样本特征信息输入所述第一器官特征网络,获得第一器官的第一样本检测结果以及第二样本特征信息;将所述第一样本特征信息输入所述第二器官特征网络,获得第二器官的第二样本检测结果以及第三样本特征信息;根据所述第一样本特征信息、所述第二样本特征信息和所述第三样本特征信息,获得目标组织的第三样本检测结果;根据所述第一样本检测结果和所述第二样本图像的第二标注信息,获得第一网络损失;根据所述第二样本检测结果和所述第二样本图像的第三标注信息,获得第二网络损失;根据所述第三样本检测结果和所述第二样本图像的第四标注信息,获得第三网络损失;根据所述第一网络损失、所述第二网络损失和所述第三网络损失,获得综合网络损失;根据所述综合网络损失,训练所述壁冠状动脉检测网络、所述第一器官特征网络和所述第二器官特征网络。
[0012] 根据本公开的一方面,提供了一种壁冠状动脉检测装置,包括:预处理模块,用于对待处理图像进行第一预处理,获得多个待处理图像块;检测模块,用于将所述待处理图像块输入壁冠状动脉检测网络,获得多个网络层级的第一特征信息;特征获取模块,用于将所述第一特征信息输入第一器官特征网络,获得第二特征信息,并将所述第一特征信息输入第二器官特征网络,获得第三特征信息,其中,所述第二特征信息为与目标组织相连接的第一器官所在区域的特征信息,所述第三特征信息为所述目标组织所属的第二器官的特征信息,其中,所述目标组织包括壁冠状动脉;结果获取模块,用于根据所述第一特征信息、所述第二特征信息和所述第三特征信息,获得所述待处理图像块中针对所述目标组织的第一检测结果,以及所述第二器官的第二检测结果;后处理模块,用于根据所述第一检测结果、第二检测结果和所述待处理图像,获得所述目标组织的第三检测结果,其中,所述第三检测结果为与所述待处理图像尺寸相同的掩膜图像,所述掩膜图像用于表示所述目标组织在所述待处理图像中所在的区域。
[0013] 在一种可能的实现方式中,所述特征获取模块进一步用于:将所述壁冠状动脉检测网络的第一下采样子网络输出的第一特征信息输入所述第一器官特征网络的第一上采样子网络,并将所述第一下采样子网络的至少一个网络层级的第一特征信息与所述第一上采样子网络中对应网络层级的输出特征信息进行特征融合,获得所述第一上采样子网络输出的第二特征信息;将所述壁冠状动脉检测网络的第一下采样子网络输出的第一特征信息输入所述第二器官特征网络的第二上采样子网络,并将所述第一下采样子网络的至少一个网络层级的第一特征信息与所述第二上采样子网络中对应网络层级的输出特征信息进行特征融合,获得所述第二上采样子网络输出的第三特征信息。
[0014] 在一种可能的实现方式中,所述结果获取模块进一步用于:将所述第二特征信息输入所述第一器官特征网络的第二下采样子网络,获得所述第二下采样子网络的多个网络层级的输出特征信息;将所述第三特征信息输入所述第二器官特征网络的第三下采样子网络,获得所述第三下采样子网络的多个网络层级的输出特征信息;将所述壁冠状动脉检测网络的第三上采样子网络中至少一个网络层级的输出特征信息,与所述第二下采样子网络中对应网络层级的输出特征信息,以及所述第三下采样子网络中对应网络层级的输出特征信息进行特征融合,获得所述第三上采样子网络输出的所述第一检测结果。
[0015] 在一种可能的实现方式中,所述后处理模块进一步用于:分别对所述第一检测结果和所述第二检测结果进行拼接,获得所述目标组织的第四检测结果和所述第二器官的第五检测结果;根据所述第五检测结果,对所述第四检测结果进行筛选,获得第六检测结果;对所述第六检测结果进行连通域分析,获得所述第六检测结果中的多个连通域;根据所述连通域中体素的数量,对所述连通域进行筛选,获得第七检测结果;对所述第七检测结果进行膨胀卷积处理,并根据所述第五检测结果对所述膨胀卷积处理的输出结果进行筛选,获得第八检测结果,所述第八检测结果为所述目标组织的外层组织的检测结果;根据所述待处理图像以及预设的筛选参数,对所述第八检测结果进行筛选,获得所述第三检测结果。
[0016] 在一种可能的实现方式中,所述筛选参数包括第一灰度阈值和第一比例值,所述装置还包括:筛选参数获取模块,用于根据外层组织检测网络对第一样本图像进行处理,获得第一外层检测结果,其中,所述外层组织检测网络的结构与所述壁冠状动脉检测网络、所述第一器官特征网络和所述第二器官特征网络的组合相同,但网络参数不同;根据所述第一外层检测结果,以及所述第一样本图像的第一标注信息,确定所述第一外层检测结果中的真阳性掩膜和假阳性掩膜;在所述第一样本图像的灰度值区间内,获取多个第二灰度阈值;对于各第二灰度阈值,确定所述第一样本图像与所述真阳性掩膜对应的体素中,灰度值大于所述第二灰度阈值的第一体素数量占比,以及所述第一样本图像与所述假阳性掩膜对应的体素中,灰度值大于所述第二灰度阈值的第二体素数量占比;根据所述第一体素数量占比和所述第二体素数量占比,在所述第二灰度阈值中确定出所述第一灰度阈值;对预设区间进行采样,获得多个第二比例值;对于各第二比例值,根据所述第一体素数量占比、所述第二体素数量占比和所述第二比例值,确定所述第二比例值的信息增益;根据所述信息增益,在所述多个第二比例值中确定出所述第一比例值。
[0017] 在一种可能的实现方式中,所述后处理模块进一步用于:对于所述第八检测结果的各掩膜区域,确定在所述待处理图像中对应区域的体素的灰度值大于所述第一灰度阈值的第三体素数量占比;在所述第八检测结果的多个掩膜区域中,筛选出所述第三体素数量占比大于或等于第一比例值的目标掩膜区域;根据所述目标掩膜区域,确定所述第三检测结果。
[0018] 在一种可能的实现方式中,所述装置还包括:训练模块,用于将第二样本图像进行第二预处理,获得多个样本图像块;将所述多个样本图像块输入所述壁冠状动脉检测网络,获得多个网络层级的第一样本特征信息;将所述第一样本特征信息输入所述第一器官特征网络,获得第一器官的第一样本检测结果以及第二样本特征信息;将所述第一样本特征信息输入所述第二器官特征网络,获得第二器官的第二样本检测结果以及第三样本特征信息;根据所述第一样本特征信息、所述第二样本特征信息和所述第三样本特征信息,获得目标组织的第三样本检测结果;根据所述第一样本检测结果和所述第二样本图像的第二标注信息,获得第一网络损失;根据所述第二样本检测结果和所述第二样本图像的第三标注信息,获得第二网络损失;根据所述第三样本检测结果和所述第二样本图像的第四标注信息,获得第三网络损失;根据所述第一网络损失、所述第二网络损失和所述第三网络损失,获得综合网络损失;根据所述综合网络损失,训练所述壁冠状动脉检测网络、所述第一器官特征网络和所述第二器官特征网络。
[0019] 根据本公开的一方面,提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以执行上述方法。
[0020] 根据本公开的一方面,提供了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。
[0021] 根据本公开的实施例的壁冠状动脉检测方法,可将壁冠状动脉检测网络、第一器官特征网络和第二器官特征网络中对应网络层级的特征信息进行特征融合,并由壁冠状动脉检测网络输出目标组织(例如,壁冠状动脉)的第一检测结果,可在运算中参照与目标组织相连接的第一器官的特征信息和目标组织所属的第二器官的特征信息,提升第一检测结果的准确性。并可基于第二检测结果、待处理图像和外层组织检测网络对第一检测结果进行进一步的后处理,获得第三检测结果,以进一步提升检测结果的准确性。通过自动检测的方式,减少人工诊断的时间,并可提升诊断准确性,且可用于壁冠状动脉的形态学参数计算。
[0022] 应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。

附图说明

[0023] 此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
[0024] 图1示出根据本公开实施例的壁冠状动脉检测方法的流程图;
[0025] 图2示出根据本公开实施例的深度学习神经网络的示意图;
[0026] 图3示出根据本公开实施例的深度学习神经网络的示意图;
[0027] 图4示出根据本公开实施例的壁冠状动脉检测方法的应用示意图;
[0028] 图5示出根据本公开实施例的壁冠状动脉检测装置的框图;
[0029] 图6示出根据本公开实施例的一种电子设备的框图;
[0030] 图7示出根据本公开实施例的一种电子设备的框图。

具体实施方式

[0031] 以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
[0032] 在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
[0033] 本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
[0034] 另外,为了更好地说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
[0035] 图1示出根据本公开实施例的壁冠状动脉检测方法的流程图,如图1所示,所述方法包括:
[0036] 在步骤S11中,对待处理图像进行第一预处理,获得多个待处理图像块;
[0037] 在步骤S12中,将所述待处理图像块输入壁冠状动脉检测网络,获得多个网络层级的第一特征信息;
[0038] 在步骤S13中,将所述第一特征信息输入第一器官特征网络,获得第二特征信息,并将所述第一特征信息输入第二器官特征网络,获得第三特征信息,其中,所述第二特征信息为与目标组织相连接的第一器官所在区域的特征信息,所述第三特征信息为所述目标组织所属的第二器官的特征信息,其中,所述目标组织包括壁冠状动脉;
[0039] 在步骤S14中,根据所述第一特征信息、所述第二特征信息和所述第三特征信息,获得所述待处理图像块中针对所述目标组织的第一检测结果,以及所述第二器官的第二检测结果;
[0040] 在步骤S15中,根据所述第一检测结果、第二检测结果和所述待处理图像,获得所述目标组织的第三检测结果,其中,所述第三检测结果为与所述待处理图像尺寸相同的掩膜图像,所述掩膜图像用于表示所述目标组织在所述待处理图像中所在的区域。
[0041] 根据本公开的实施例的壁冠状动脉检测方法,可通过与壁冠状动脉相连接的第一器官所在区域的特征信息,以及壁冠状动脉所属的第二器官的特征信息来提升对壁冠状动脉检测的准确性。并可基于待处理图像和第二器官的检测结果对壁冠状动脉的检测结果进行进一步处理,以进一步提升对壁冠状动脉检测的准确性。通过自动检测的方式,减少人工诊断的时间,并可提升诊断准确性,且可用于壁冠状动脉的形态学参数计算。
[0042] 在一种可能的实现方式中,为了能够自动检测出心脏区域的医学图像(例如,CTA,computed tomography angiography,计算机断层扫描血管造影)中的壁冠状动脉等目标组织,以帮助医生等人员进行诊断,本公开可将待处理图像(例如,心脏区域的CTA等医学图像)进行分割等预处理,获得多个待处理图像块,并通过深度学习神经网络获得待处理图像块中与目标组织相连接的第一器官(例如,心脏)的特征信息,以及目标组织所属的第二器官(例如,动脉)的特征信息,用以帮助提升检测目标组织的准确性。此外,通过深度学习神经网络等方式检测壁冠状动脉可能存在假阳性(例如,误检)的问题,可基于目标组织所属的第二器官的检测结果以及待处理图像进行后处理,减少假阳性的检测结果,进一步提升检测准确性。
[0043] 在一种可能的实现方式中,在步骤S11中,可对待处理图像进行第一预处理,在示例中,待处理图像可包括三维医学图像,例如,心脏区域的CTA图像,可对待处理图像进行归一化处理,使得待处理图像的体素值按照特定的规则映射为[0,1]区间中的数值。随后,可对归一化后的待处理图像进行分割,在分割过程中,为保证信息完整,可使分割获得的待处理图像块互相之间存在部分重叠区域。本公开对第一预处理的具体处理方式不做限制。
[0044] 在一种可能的实现方式中,如上所述,可通过深度学习神经网络获得待处理图像块中与目标组织相连接的第一器官(例如,心脏)的特征信息,以及目标组织所属的第二器官(例如,动脉)的特征信息,用以帮助提升检测目标组织的准确性。具体来说,可通过深度学习神经网络分别获取目标组织的第一特征信息,第一器官的第二特征信息和第二器官的第三特征信息,并将三种特征信息进行特征融合,以通过第二特征信息和第三特征信息来提升对于目标组织的检测准确性。
[0045] 在一种可能的实现方式中,上述深度学习神经网络可包括壁冠状动脉检测网络,该神经网络可以是卷积神经网络等深度学习神经网络,其结构可以是U型网络或V型网络,包括下采样(例如,编码)和上采样(例如,解码)的功能,本公开对壁冠状动脉检测网络的类型和结构不做限制。
[0046] 在一种可能的实现方式中,在步骤S12中,可利用壁冠状动脉检测网络来获得第一特征信息,该第一特征信息可以是壁冠状动脉检测网络的多个网络层级中输出的特征信息,而不仅是最后一个输出层级输出的特征信息。该特征信息可表示目标组织的特征信息。
[0047] 在一种可能的实现方式中,在步骤S13中,为获取上述第一器官的第二特征信息和第二器官的第三特征信息,所述深度学习神经网络还可包括用于获取第一器官的第二特征信息的第一器官特征网络,和用于获取第二器官的第三特征信息的第二器官特征网络。第一器官特征网络和第二器官特征网络也可以是U型网络或V型网络,包括下采样(例如,编码)和上采样(例如,解码)的功能,本公开对第一器官特征网络和第二器官特征网络的类型和结构不做限制。
[0048] 在一种可能的实现方式中,第一器官特征网络和第二器官特征网络均可利用第一特征信息来进行进一步地处理,以分别获取第二特征信息和第三特征信息。第一特征信息虽然是用于检测目标组织的特征信息,但第一特征信息为多个网络层级输出的特征信息,可包括待处理图像块的多个尺度的特征信息,第一器官特征网络和第二器官特征网络可利用这些特征信息,来分别确定第一器官的第二特征信息和第二器官的第三特征信息。
[0049] 在一种可能的实现方式中,步骤S13可包括:将所述壁冠状动脉检测网络的第一下采样子网络输出的第一特征信息输入所述第一器官特征网络的第一上采样子网络,并将所述第一下采样子网络的至少一个网络层级的第一特征信息与所述第一上采样子网络中对应网络层级的输出特征信息进行特征融合,获得所述第一上采样子网络输出的第二特征信息;将所述壁冠状动脉检测网络的第一下采样子网络输出的第一特征信息输入所述第二器官特征网络的第二上采样子网络,并将所述第一下采样子网络的至少一个网络层级的第一特征信息与所述第二上采样子网络中对应网络层级的输出特征信息进行特征融合,获得所述第二上采样子网络输出的第三特征信息。
[0050] 图2示出根据本公开实施例的深度学习神经网络的示意图。如图2所示,第一特征信息可以是壁冠状动脉检测网络中用于编码的第一下采样子网络(壁冠状动脉检测网络中的一部分网络层级)的多个网络层级获取的特征信息,则这些特征信息在针对目标组织所在区域进行解码前(如果直接使用壁冠状动脉检测网络针对目标组织所在区域对第一特征信息进行解码,例如,利用第三上采样子网络进行上采样处理,则可确定目标组织所在区域,尽管其误差可能大于利用第一特征信息、第二特征信息和第三特征信息共同确定的目标组织所在区域),可表示待处理图像块的多种尺度的特征信息。利用第一器官特征网络针对第一器官所在区域对第一特征信息进行解码(例如,利用第一上采样子网络进行上采样处理),可获得表示第一器官所在区域的第二特征信息。类似地,利用第二器官特征网络针对第二器官所在区域对第一特征信息进行解码(例如,利用第二上采样子网络进行上采样处理),可获得表示第二器官所在区域的第三特征信息。
[0051] 图3示出根据本公开实施例的深度学习神经网络的示意图。具体来说,壁冠状动脉检测网络包括第一下采样子网络和第三上采样子网络,第一器官特征网络包括第一上采样子网络和第二下采样子网络,第二器官特征网络包括第二上采样子网络和第三下采样子网络,壁冠状动脉检测网络的第一下采样子网络可包括多个网络层级,例如,每个网络层级可具有对应功能的模块,例如,卷积模块,下采样模块等。其他子网络中也可包括多个网络层级,例如,卷积模块,上采样模块,下采样模块等,其中,待处理图像块为三维图像块,卷积模块可对其进行3D卷积,例如,卷积模块可包括3×3×3卷积模块,组归一化模块,relu激活模块,通道注意力模块等。本公开对各子网络中包含的功能模块以及功能模块的结构不做限制。
[0052] 在一种可能的实现方式中,第一下采样子网络输出的第一特征信息可输入第一上采样子网络,并且,第一下采样子网络中的多个网络层级的第一特征信息还可与第一上采样子网络中对应网络层级的输出特征信息进行特征融合(即,将两种特征信息进行拼接),其中,进行特征融合的特征信息的尺度一致(例如,尺寸和/或分辨率相同)。特征融合的方式可包括相乘、相加、保留所有特征信息等方式,本公开对特征融合的方式不做限制。例如,第一下采样子网络中的三个卷积模块对应的三个第一特征信息可与第一上采样子网络中对应网络层级的三个输出特征信息进行特征融合,第一上采样子网络可对融合后的特征信息进行运算,最终可输出第二特征信息,本公开对进行特征融合的网络层级不做限制。类似地,第一下采样子网络输出的第一特征信息可输入第二上采样子网络,并且,第一下采样子网络中的多个网络层级的第一特征信息还可与第二上采样子网络中对应网络层级的输出特征信息进行特征融合,第二上采样子网络可对融合后的特征信息进行运算,最终可输出第三特征信息,在此不再赘述。
[0053] 在一种可能的实现方式中,在步骤S14中,第二上采样子网络输出的第三特征信息以及第一上采样子网络输出的第二特征信息可用于帮助壁冠状动脉检测网络提升对目标组织的检测准确性。例如,可将第二特征信息、第三特征信息以及第一下采样子网络最后一层级输出的第一特征信息均输入至壁冠状动脉检测网络的第三上采样子网络进行解码,获得目标组织的第一检测结果。或者,可参考以上特征融合的方式,将第一下采样子网络最后一层级输出的第一特征信息输入第三上采样子网络,并将第三上采样子网络中多个网络层级特征信息与第二下采样子网络中对应网络层级的特征信息和第三下采样子网络中对应网络层级的特征信息进行特征融合,以获得目标组织的第一检测结果。
[0054] 在一种可能的实现方式中,步骤S14可包括:将所述第二特征信息输入所述第一器官特征网络的第二下采样子网络,获得所述第二下采样子网络的多个网络层级的输出特征信息;将所述第三特征信息输入所述第二器官特征网络的第三下采样子网络,获得所述第三下采样子网络的多个网络层级的输出特征信息;将所述壁冠状动脉检测网络的第三上采样子网络中至少一个网络层级的输出特征信息,与所述第二下采样子网络中对应网络层级的输出特征信息,以及所述第三下采样子网络中对应网络层级的输出特征信息进行特征融合,获得所述第三上采样子网络输出的所述第一检测结果。
[0055] 在示例中,将第二特征信息输入第一器官特征网络的第二下采样子网络,第二下采样子网络中的多个网络层级可输出对应的输出特征信息,类似地,将第三特征信息输入第二器官特征网络的第三下采样子网络,第三下采样子网络中的多个网络层级可输出对应的输出特征信息。并且,第一下采样子网络最后一层级输出的第一特征信息可输入壁冠状动脉检测网络的第三上采样子网络,第三上采样子网络的多个网络层级可输出对应的输出特征信息。可将第二下采样子网络、第三下采样子网络和第三上采样子网络中对应层级的输出特征信息进行特征融合,第三上采样子网络可对融合后的特征信息进行运算,最终可输出目标组织的第一检测结果。
[0056] 通过这种方式,可将壁冠状动脉检测网络、第一器官特征网络和第二器官特征网络中对应网络层级的特征信息进行特征融合,并由壁冠状动脉检测网络输出目标组织(例如,壁冠状动脉)的第一检测结果,可在运算中参照与目标组织相连接的第一器官的特征信息和目标组织所属的第二器官的特征信息,提升第一检测结果的准确性。
[0057] 在一种可能的实现方式中,除了输出第一检测结果外,第一器官特征网络还可输出第一器官的检测结果,例如,第二特征信息为表示第一器官所在区域的特征信息,可对该特征信息进行激活处理(例如,通过softmax函数进行激活),可获得第一器官的检测结果,类似地,第二器官特征网络可对第三特征信息进行激活处理,获得第二器官的检测结果,即,第二检测结果。目标组织的第一检测结果、第二器官的第二检测结果以及第一器官的检测结果可以是掩膜图像块,即,目标区域(目标组织所在区域、第二器官所在区域或第一器官所在区域)的体素值为1,其他区域的体素值为0的图像。本公开对上述检测结果的形式不做限制。
[0058] 在一种可能的实现方式中,上述深度学习神经网络可在训练后再进行上述处理。训练方法包括:将第二样本图像进行第二预处理,获得多个样本图像块;将所述多个样本图像块输入所述壁冠状动脉检测网络,获得多个网络层级的第一样本特征信息;将所述第一样本特征信息输入所述第一器官特征网络,获得第一器官的第一样本检测结果以及第二样本特征信息;将所述第一样本特征信息输入所述第二器官特征网络,获得第二器官的第二样本检测结果以及第三样本特征信息;根据所述第一样本特征信息、所述第二样本特征信息和所述第三样本特征信息,获得目标组织的第三样本检测结果;根据所述第一样本检测结果和所述第二样本图像的第二标注信息,获得第一网络损失;根据所述第二样本检测结果和所述第二样本图像的第三标注信息,获得第二网络损失;根据所述第三样本检测结果和所述第二样本图像的第四标注信息,获得第三网络损失;根据所述第一网络损失、所述第二网络损失和所述第三网络损失,获得综合网络损失;根据所述综合网络损失,训练所述壁冠状动脉检测网络、所述第一器官特征网络和所述第二器官特征网络。
[0059] 在一种可能的实现方式中,第二样本图像可以是心脏区域的医学图像,例如,CTA图像,可对第二样本图像进行数据增强处理,例如,对第二样本图像进行旋转、对称、剪裁、随机灰度变化等处理,可参照上述对待处理图像的第一预处理方式,对数据增强后的第二样本图像进行第二预处理,获得多个样本图像块。可将多个样本图像块输入壁冠状动脉检测网络,获得多个网络层级的第一样本特征信息。并参照以上特征融合的方式,将第一样本特征信息与第一器官特征网络的对应层级的特征信息进行融合,获得第二样本特征信息,并且,还可对第二样本特征信息进行激活,获得第一器官的第一样本检测结果。类似地,将第一样本特征信息与第二器官特征网络的对应层级的特征信息进行融合,获得第三样本特征信息,并且,还可对第三样本特征信息进行激活,获得第二器官的第二样本检测结果。进一步地,还可参照上述特征融合的方式,将第一样本特征信息输入第三上采样子网络,将第二样本特征信息输入第二下采样子网络,并将第三样本特征信息输入第三下采样子网络,并将这些子网络中对应网络层级的特征信息进行特征融合,并经过第三上采样子网络对融合后的特征进行进一步地运算,获得目标组织的第三样本检测结果。
[0060] 在一种可能的实现方式中,上述第一样本检测结果、第二样本检测结果和第三样本检测结果可能存在误差,可分别基于上述检测结果与第二样本图像的标注信息(准确的结果)之间的误差确定网络损失。如图2所示,所述标注信息包括第二标注信息(例如,心脏的二值化标签),可基于第一样本检测结果和第二标注信息之间的误差确定第一网络损失Lhrt,所述标注信息包括第三标注信息(例如,动脉的二值化标签),可基于第二样本检测结果和第三标注信息之间的误差确定第二网络损失Lvsl,所述标注信息包括第四标注信息(例如,壁冠状动脉的二值化标签),可基于第三样本检测结果和第四标注信息之间的误差确定第三网络损失Lmb。在确定上述网络损失时,可使用均方误差损失函数、交叉熵损失函数等,本公开对损失函数的具体形式不做限制。
[0061] 在一种可能的实现方式中,可将上述网络损失进行加权求和,获得壁冠状动脉检测网络、第一器官特征网络和第二器官特征网络的综合网络损失,并将综合网络损失进行反向传播,并通过梯度下降法调整各神经网络的网络参数。可迭代执行上述训练处理,直到上述综合网络损失小于或等于预设阈值或收敛于预设区间,则可确定训练完成,获得训练后的上述深度学习神经网络,并可将其用于以上检测目标组织的处理中。
[0062] 在一种可能的实现方式中,以上参照第二特征信息和第三特征信息获得的目标组织的检测结果的准确性相较于仅通过第一特征信息进行检测的检测结果有所提升。然而,如上所述,通过深度学习神经网络等方式检测壁冠状动脉仍可能存在假阳性(例如,误检)的问题,为进一步提升检测结果的准确性,可对第一检测结果进行进一步地后处理,获得准确性更高的第三检测结果。
[0063] 在一种可能的实现方式中,步骤S14可包括:分别对所述第一检测结果和所述第二检测结果进行拼接,获得所述目标组织的第四检测结果和所述第二器官的第五检测结果;根据所述第五检测结果,对所述第四检测结果进行筛选,获得第六检测结果;对所述第六检测结果进行连通域分析,获得所述第六检测结果中的多个连通域;根据所述连通域中体素的数量,对所述连通域进行筛选,获得第七检测结果;对所述第七检测结果进行膨胀卷积处理,并根据所述第五检测结果对所述膨胀卷积处理的输出结果进行筛选,获得第八检测结果,所述第八检测结果为所述目标组织的外层组织的检测结果;根据所述待处理图像以及预设的筛选参数,对所述第八检测结果进行筛选,获得所述第三检测结果。
[0064] 在一种可能的实现方式中,第一检测结果可以是掩膜图像块,即,目标组织所在区域的体素值为1,其他区域的体素值为0的图像块。类似地,第二检测结果也可以是掩膜图像块,即,第二器官所在区域的体素值为1,其他区域的体素值为0的图像块。可对上述掩膜图像块分别进行拼接,通过对第一检测结果的掩膜图像块进行拼接获得目标组织的第四检测结果,通过对对第二检测结果的掩膜图像块进行拼接获得第二器官的第五检测结果。第四检测结果和第五检测结果可以是与待处理图像尺寸相同的掩模图像,其中,第四检测结果中目标组织所在区域的体素值为1,其他区域的体素值为0,第五检测结果中第二器官所在区域的体素值为1,其他区域的体素值为0。
[0065] 在一种可能的实现方式中,由于在对待处理图像进行分割时,各待处理图像块之间存在重叠区域,因此,上述掩模图像块之间也可存在重叠区域,可对重叠区域的体素的体素值进行取或处理,即,两个掩模图像块中表示相同位置的两个体素中,只要存在一个体素值为1,则可将拼接后的掩模图像中的该体素的体素值设置为1。本公开对重叠区域的处理方式不做限制。
[0066] 在一种可能的实现方式中,可利用第二器官(例如,动脉)的第五检测结果,对目标组织的第四检测结果进行筛选,获得第六检测结果。在示例中,由于目标组织(例如,壁冠状动脉)属于第二器官(例如,动脉),即,目标组织是第二器官的一部分,因此,在第四检测结果的掩模图像中,体素为1的区域应包含在第五检测结果的掩模图像中体素为1的区域中,基于此,可将第四检测结果的体素为1的区域中,与第五检测结果的体素为1的区域不重叠的部分去除,获得第六检测结果。
[0067] 在一种可能的实现方式中,由于目标组织可在图像中占有一定区域,这个区域通常为连续的区域,如果在掩模图像中出现孤立的体素点的体素值为1,则该体素点的检测结果可能是错误的。因此,可对第六检测结果进行连通域分析,获得第六检测结果中的多个连通域,即,将第六检测结果中体素为1的区域划分为多个连通域,每个连通域中可包括一个或更多个体素。可设置体素的数量阈值,将多个连通域中,包括的体素数量少于数量阈值的连通域删除,以去除相对孤立的检测结果,保留能够连成多个区域的检测结果,即,获得第七检测结果。
[0068] 在一种可能的实现方式中,可对第七检测结果进行膨胀卷积处理。在示例中,卷积核的尺寸为3‑5,可使用边长为3‑5个体素的卷积核进行3D膨胀卷积处理,膨胀卷积的结果可使第七检测结果中体素值为1的区域的范围有所扩大,例如,可扩大到第二器官的第五检测结果中体素值为1的区域范围之外。在示例中,经过以上膨胀卷积处理,壁冠状动脉所在区域的膨胀卷积结果扩大到动脉所在区域之外,该动脉所在区域之外,且由壁冠状动脉衍生出的区域即为壁冠状动脉外层组织所在的区域。可去除膨胀卷积的输出结果中,与第五检测结果中体素值为1的区域重叠的部分,即可获得目标组织(例如壁冠状动脉)的外层组织所在的区域,即,第八检测结果。其中,外层组织可包覆于目标组织之外。
[0069] 在一种可能的实现方式中,在第八检测结果中,可包括多个连通域,可基于待处理图像的体素值(例如,灰度值)以及预设的筛选参数,对多个连通域进行筛选。
[0070] 在一种可能的实现方式中,筛选参数包括第一灰度阈值和第一比例值,筛选参数的确定方法包括:根据外层组织检测网络对第一样本图像进行处理,获得第一外层检测结果,其中,所述外层组织检测网络的结构与所述壁冠状动脉检测网络、所述第一器官特征网络和所述第二器官特征网络的结构相同,但网络参数不同;根据所述第一外层检测结果,以及所述第一样本图像的第一标注信息,确定所述第一外层检测结果中的真阳性掩膜和假阳性掩膜;在所述第一样本图像的灰度值区间内,获取多个第二灰度阈值;对于各第二灰度阈值,确定所述第一样本图像与所述真阳性掩膜对应的体素中,灰度值大于所述第二灰度阈值的第一体素数量占比,以及所述第一样本图像与所述假阳性掩膜对应的体素中,灰度值大于所述第二灰度阈值的第二体素数量占比;根据所述第一体素数量占比和所述第二体素数量占比,在所述第二灰度阈值中确定出所述第一灰度阈值;对预设区间进行采样,获得多个第二比例值;对于各第二比例值,根据所述第一体素数量占比、所述第二体素数量占比和所述第二比例值,确定所述第二比例值的信息增益;根据所述信息增益,在所述多个第二比例值中确定出所述第一比例值。
[0071] 在一种可能的实现方式中,外层组织检测网络的结构与上述深度学习神经网络(即,包括壁冠状动脉检测网络、第一器官特征网络和第二器官特征网络的组合)的结构相同,但外侧组织检测网络训练使用的数据集与上述深度学习神经网络不同,因此,外侧组织检测网络的网络参数与上述深度学习神经网络有一定差异,二者获得的检测结果也可存在一定差异。可通过外层组织检测网络对第一样本图像(例如,与待处理图像类似的心脏区域的医学图像,例如,CTA)进行处理,获得对目标组织的检测结果以及对第二器官的检测结果。
[0072] 在一种可能的实现方式中,可利用外层组织检测网络获得的对目标组织的检测结果以及对第二器官的检测结果,获得对目标组织的外层组织的第一外层检测结果。获得的方式与上述获得第八检测结果的方式相同,在此不再赘述。
[0073] 在一种可能的实现方式中,与第八检测结果类似,第一外层检测结果也可包括多个连通域,即,多个掩膜区域,可在这些掩膜区域中,确定出检测结果正确的真阳性掩膜,以及检测结果错误的假阳性掩膜。
[0074] 在示例中,第一样本图像可具有针对目标组织的位置的第一标注信息,根据第一标注信息,可判断上述掩膜区域中那些检测结果正确,哪些检测结果错误。例如,如果某个掩膜区域中,与第一标注信息标注的体素点重合的体素点(即,检测正确的体素点)在整个掩膜区域的所有体素点中的占比达到预设比例,则可认为该掩膜区域的检测结果正确,该掩膜区域即为真阳性掩膜,反之,则可认为该掩膜区域的检测结果错误,该掩膜区域即为假阳性掩膜。
[0075] 在一种可能的实现方式中,可在第一样本图像的灰度值区间内,获取多个第二灰度阈值。在示例中,第一样本图像的灰度值区间为[‑1024,2048],可在此区间内按照一定步长取值,例如,每4个整数值选取一个第二灰度阈值,则可选取‑1024,‑1020,‑1016…2048等多个第二灰度阈值。本公开对第二灰度阈值的选取方式和步长不做限制,例如,步长还可以是1,选取方式还可以是随机选取等。
[0076] 在一种可能的实现方式中,对于某个第二灰度阈值,可确定第一样本图像与真阳性掩膜对应的体素中,灰度值大于第二灰度阈值的第一体素数量在该真阳性掩膜的所有体素中的数量占比,即,第一体素数量占比,并按照这种方式统计每个真阳性掩膜的第一体素数量占比,可获得该第二灰度阈值对应的第一体素数量占比的集合。进一步地,还可获得所有第二灰度阈值的第一体素数量占比的集合。类似地,可对于某个第二灰度阈值,可确定第一样本图像与假阳性掩膜对应的体素中,灰度值大于第二灰度阈值的第一体素数量在该假阳性掩膜的所有体素中的数量占比,即,第二体素数量占比,还可获得每个假阳性掩膜的第二体素数量占比,即,该第二灰度阈值对应的第二体素数量占比的集合,并且,还可获得所有第二灰度阈值的第二体素数量占比的集合。
[0077] 在一种可能的实现方式中,对于每个第二灰度阈值的第一体素数量占比的集合和第二体素数量占比的集合,可分别确定两个集合之间的统计学学参数,例如,统计二者之间的差异的p值。p值越小,则可认为二者之间差异越大。可通过上述方式确定每个第二灰度阈值对应的p值,并确定出最小的p值对应的第二灰度阈值,即,第一灰度阈值。
[0078] 在一种可能的实现方式中,可在预设区间中进行采样,获得多个第二比例值。在示例中,比例值为0‑1之间的值,上述预设区间可设置为[0,1],可在该区间中进行采样,例如,可每隔0.05进行一次采样,获得多个第二比例阈值,例如,可获得0.05,0.1,0.15…1。本公开对预设区间以及采样方式不做限制,例如,预设区间可以是[1,2],采样方式可以是随机采样,或者采样的步长可以是0.1等。
[0079] 在一种可能的实现方式中,对于某个第二比例值,可确定上述所有第一体素数量占比的集合中,第一体素数量占比大于或等于该第二比例值的总数量NPT,第一体素数量占比小于该第二比例值的总数量NPF,还可确定上述所有第二体素数量占比的集合中,第二体素数量占比大于或等于该第二比例值的总数量NNT,以及第二体素数量占比小于该第二比例值的总数量NNF。并可基于以下公式(1)确定该第二比例值对应的信息增益G:
[0080]
[0081] 进一步地,可确定每个第二比例值的信息增益,并确定信息增益的最大值,以及该信息增益最大值对应的第二比例值,即,第一比例值,第一比例值为使第一体素数量占比的集合和第二体素数量占比的集合之间的差异最大的比例值。
[0082] 在一种可能的实现方式中,可根据以上确定的筛选参数,对第八检测结果进行筛选,获得所述第三检测结果,该步骤可包括:对于所述第八检测结果的各掩膜区域,确定在所述待处理图像中对应区域的体素的灰度值大于所述第一灰度阈值的第三体素数量占比;在所述第八检测结果的多个掩膜区域中,筛选出所述第三体素数量占比大于或等于第一比例值的目标掩膜区域;
[0083] 根据所述目标掩膜区域,确定所述第三检测结果。
[0084] 在一种可能的实现方式中,可确定第八检测结果的某个掩膜区域中,待处理图像中对应位置的体素的灰度值大于第一灰度阈值的体素数量,与该掩膜区域中全部体素之间的比值,即,第三体素数量占比,可基于此方式,确定每个掩膜区域的第三体素数量占比,并确定出第三体素数量占比大于或等于第一比例值的目标掩膜区域,可保留目标掩膜区域,并删除其他掩膜区域,获得所述第三检测结果。所述第三检测结果为掩模图像,即,目标组织(例如,壁冠状动脉)所在区域的体素值为1,其他区域体素值为0的图像。
[0085] 通过这种方式,可基于第二检测结果、待处理图像和外层组织检测网络对第一检测结果进行进一步的后处理,获得第三检测结果,以进一步提升检测结果的准确性。
[0086] 图4示出根据本公开实施例的壁冠状动脉检测方法的应用示意图。如图4所示,可将心脏区域的CTA图像进行第一预处理,例如,归一化、分割等处理,获得多个图像块。并将图像块输入深度学习神经网络,所述深度学习神经网络可包括壁冠状动脉检测网络、第一器官特征网络和第二器官特征网络。
[0087] 在一种可能的实现方式中,壁冠状动脉检测网络可获得各图像块的第一特征信息,第一器官特征网络可获得各图像块中心脏所在区域的第二特征信息,第二器官特征网络可获得各图像块中动脉所在区域的第三特征信息。第一器官特征网络可基于第二特征信息获得多个层级的输出特征信息,第二器官特征网络可基于第三特征信息获得多个层级的输出特征信息,壁冠状动脉检测网络可基于第一特征信息获得多个层级的输出特征信息,可将对应层级的输出特征进行特征融合,由壁冠状动脉检测网络输出壁冠状动脉的第一检测结果,和动脉的第二检测结果。
[0088] 在一种可能的实现方式中,可基于第二检测结果,CTA图像以及与深度学习神经网络结构相同但参数不通的外层组织检测网络,对第一检测结果进行后处理,以进一步提升检测准确性,获得壁冠状动脉的第三检测结果。第三检测结果为掩模图像,即,壁冠状动脉所在区域的体素值为1,其他区域体素值为0的图像。
[0089] 根据本公开的实施例的壁冠状动脉检测方法,可将壁冠状动脉检测网络、第一器官特征网络和第二器官特征网络中对应网络层级的特征信息进行特征融合,并由壁冠状动脉检测网络输出目标组织(例如,壁冠状动脉)的第一检测结果,可在运算中参照与目标组织相连接的第一器官的特征信息和目标组织所属的第二器官的特征信息,提升第一检测结果的准确性。并可基于第二检测结果、待处理图像和外层组织检测网络对第一检测结果进行进一步的后处理,获得第三检测结果,以进一步提升检测结果的准确性。通过自动检测的方式,减少人工诊断的时间,并可提升诊断准确性,且可用于壁冠状动脉的形态学参数计算。
[0090] 图5示出根据本公开实施例的壁冠状动脉检测装置的框图,如图5所示,所述装置包括:预处理模块11,用于对待处理图像进行第一预处理,获得多个待处理图像块;检测模块12,用于将所述待处理图像块输入壁冠状动脉检测网络,获得多个网络层级的第一特征信息;特征获取模块13,用于将所述第一特征信息输入第一器官特征网络,获得第二特征信息,并将所述第一特征信息输入第二器官特征网络,获得第三特征信息,其中,所述第二特征信息为与目标组织相连接的第一器官所在区域的特征信息,所述第三特征信息为所述目标组织所属的第二器官的特征信息,其中,所述目标组织包括壁冠状动脉;结果获取模块14,用于根据所述第一特征信息、所述第二特征信息和所述第三特征信息,获得所述待处理图像块中针对所述目标组织的第一检测结果,以及所述第二器官的第二检测结果;后处理模块15,用于根据所述第一检测结果、第二检测结果和所述待处理图像,获得所述目标组织的第三检测结果,其中,所述第三检测结果为与所述待处理图像尺寸相同的掩膜图像,所述掩膜图像用于表示所述目标组织在所述待处理图像中所在的区域。
[0091] 在一种可能的实现方式中,所述特征获取模块进一步用于:将所述壁冠状动脉检测网络的第一下采样子网络输出的第一特征信息输入所述第一器官特征网络的第一上采样子网络,并将所述第一下采样子网络的至少一个网络层级的第一特征信息与所述第一上采样子网络中对应网络层级的输出特征信息进行特征融合,获得所述第一上采样子网络输出的第二特征信息;将所述壁冠状动脉检测网络的第一下采样子网络输出的第一特征信息输入所述第二器官特征网络的第二上采样子网络,并将所述第一下采样子网络的至少一个网络层级的第一特征信息与所述第二上采样子网络中对应网络层级的输出特征信息进行特征融合,获得所述第二上采样子网络输出的第三特征信息。
[0092] 在一种可能的实现方式中,所述结果获取模块进一步用于:将所述第二特征信息输入所述第一器官特征网络的第二下采样子网络,获得所述第二下采样子网络的多个网络层级的输出特征信息;将所述第三特征信息输入所述第二器官特征网络的第三下采样子网络,获得所述第三下采样子网络的多个网络层级的输出特征信息;将所述壁冠状动脉检测网络的第三上采样子网络中至少一个网络层级的输出特征信息,与所述第二下采样子网络中对应网络层级的输出特征信息,以及所述第三下采样子网络中对应网络层级的输出特征信息进行特征融合,获得所述第三上采样子网络输出的所述第一检测结果。
[0093] 在一种可能的实现方式中,所述后处理模块进一步用于:分别对所述第一检测结果和所述第二检测结果进行拼接,获得所述目标组织的第四检测结果和所述第二器官的第五检测结果;根据所述第五检测结果,对所述第四检测结果进行筛选,获得第六检测结果;对所述第六检测结果进行连通域分析,获得所述第六检测结果中的多个连通域;根据所述连通域中体素的数量,对所述连通域进行筛选,获得第七检测结果;对所述第七检测结果进行膨胀卷积处理,并根据所述第五检测结果对所述膨胀卷积处理的输出结果进行筛选,获得第八检测结果,所述第八检测结果为所述目标组织的外层组织的检测结果;根据所述待处理图像以及预设的筛选参数,对所述第八检测结果进行筛选,获得所述第三检测结果。
[0094] 在一种可能的实现方式中,所述筛选参数包括第一灰度阈值和第一比例值,所述装置还包括:筛选参数获取模块,用于根据外层组织检测网络对第一样本图像进行处理,获得第一外层检测结果,其中,所述外层组织检测网络的结构与所述壁冠状动脉检测网络、所述第一器官特征网络和所述第二器官特征网络的组合相同,但网络参数不同;根据所述第一外层检测结果,以及所述第一样本图像的第一标注信息,确定所述第一外层检测结果中的真阳性掩膜和假阳性掩膜;在所述第一样本图像的灰度值区间内,获取多个第二灰度阈值;对于各第二灰度阈值,确定所述第一样本图像与所述真阳性掩膜对应的体素中,灰度值大于所述第二灰度阈值的第一体素数量占比,以及所述第一样本图像与所述假阳性掩膜对应的体素中,灰度值大于所述第二灰度阈值的第二体素数量占比;根据所述第一体素数量占比和所述第二体素数量占比,在所述第二灰度阈值中确定出所述第一灰度阈值;对预设区间进行采样,获得多个第二比例值;对于各第二比例值,根据所述第一体素数量占比、所述第二体素数量占比和所述第二比例值,确定所述第二比例值的信息增益;根据所述信息增益,在所述多个第二比例值中确定出所述第一比例值。
[0095] 在一种可能的实现方式中,所述后处理模块进一步用于:对于所述第八检测结果的各掩膜区域,确定在所述待处理图像中对应区域的体素的灰度值大于所述第一灰度阈值的第三体素数量占比;在所述第八检测结果的多个掩膜区域中,筛选出所述第三体素数量占比大于或等于第一比例值的目标掩膜区域;根据所述目标掩膜区域,确定所述第三检测结果。
[0096] 在一种可能的实现方式中,所述装置还包括:训练模块,用于将第二样本图像进行第二预处理,获得多个样本图像块;将所述多个样本图像块输入所述壁冠状动脉检测网络,获得多个网络层级的第一样本特征信息;将所述第一样本特征信息输入所述第一器官特征网络,获得第一器官的第一样本检测结果以及第二样本特征信息;将所述第一样本特征信息输入所述第二器官特征网络,获得第二器官的第二样本检测结果以及第三样本特征信息;根据所述第一样本特征信息、所述第二样本特征信息和所述第三样本特征信息,获得目标组织的第三样本检测结果;根据所述第一样本检测结果和所述第二样本图像的第二标注信息,获得第一网络损失;根据所述第二样本检测结果和所述第二样本图像的第三标注信息,获得第二网络损失;根据所述第三样本检测结果和所述第二样本图像的第四标注信息,获得第三网络损失;根据所述第一网络损失、所述第二网络损失和所述第三网络损失,获得综合网络损失;根据所述综合网络损失,训练所述壁冠状动脉检测网络、所述第一器官特征网络和所述第二器官特征网络。
[0097] 可以理解,本公开提及的上述各个方法实施例,在不违背原理逻辑的情况下,均可以彼此相互结合形成结合后的实施例,限于篇幅,本公开不再赘述。本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0098] 此外,本公开还提供了壁冠状动脉检测装置、电子设备、计算机可读存储介质、程序,上述均可用来实现本公开提供的任一种壁冠状动脉检测方法,相应技术方案和描述和参见方法部分的相应记载,不再赘述。
[0099] 在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
[0100] 本公开实施例还提出一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。
[0101] 本公开实施例还提出一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以执行上述方法。
[0102] 本公开实施例还提供了一种计算机程序产品,包括计算机可读代码,当计算机可读代码在设备上运行时,设备中的处理器执行用于实现如上任一实施例提供的壁冠状动脉检测方法的指令。
[0103] 本公开实施例还提供了另一种计算机程序产品,用于存储计算机可读指令,指令被执行时使得计算机执行上述任一实施例提供的壁冠状动脉检测方法的操作。
[0104] 电子设备可以被提供为终端、服务器或其它形态的设备。
[0105] 图6示出根据本公开实施例的一种电子设备800的框图。例如,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等终端。
[0106] 参照图6,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
[0107] 处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
[0108] 存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
[0109] 电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
[0110] 多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边缘,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0111] 音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
[0112] I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
[0113] 传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
[0114] 通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
[0115] 在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
[0116] 在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器804,上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
[0117] 图7示出根据本公开实施例的一种电子设备1900的框图。例如,电子设备1900可以被提供为一服务器。参照图7,电子设备1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述方法。
[0118] 电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理,一个有线或无线网络接口1950被配置为将电子设备1900连接到网络,和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统,例如TM TM TM TM TMWindows Server ,Mac OS X ,Unix ,Linux ,FreeBSD 或类似。
[0119] 在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器1932,上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
[0120] 本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
[0121] 计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD‑ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0122] 这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0123] 用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
[0124] 这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
[0125] 这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0126] 也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0127] 附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
[0128] 该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
[0129] 以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。