血管造影图像的处理方法、装置、系统、设备及介质转让专利

申请号 : CN202211098848.3

文献号 : CN115187598B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 高唱王纯亮张超赵清华毛益进

申请人 : 天津远景科技服务有限公司北京阅影科技有限公司

摘要 :

本申请公开了一种血管造影图像的处理方法、装置、系统、设备及介质,属于图像处理领域。所述方法包括:获取血管造影图像;提取血管造影图像中目标血管的中心线;在中心线的指导下对血管造影图像进行滤波操作,得到图像滤波结果;基于图像滤波结果进行第一图像分割,得到目标血管的第一轮廓。上述方法缓解了血管轮廓上的鼓包现象。

权利要求 :

1.一种血管造影图像的处理方法,其特征在于,所述方法包括:获取所述血管造影图像;

提取所述血管造影图像中目标血管的中心线;

基于所述中心线确定出所述血管造影图像的滤波算子的方向;

将所述滤波算子作为局部相位分析项引入所述血管造影图像的水平集能量泛函,所述局部相位分析项表征所述血管造影图像的滤波操作;

在所述水平集能量泛函迭代至取得最小值的情况下,得到所述血管造影图像的零水平集函数;

将所述零水平集函数确认为所述目标血管的第一轮廓。

2.根据权利要求1所述的方法,其特征在于,所述滤波算子包括正交滤波算子;所述正交滤波算子包括第一滤波算子和第二滤波算子,所述第一滤波算子和所述第二滤波算子相互正交,所述第一滤波算子用于增强所述血管造影图像的线状特征,所述第二滤波算子用于增强所述血管造影图像的边缘特征。

3.根据权利要求1所述的方法,其特征在于,所述基于所述中心线确定出所述血管造影图像的滤波算子的方向,包括:确定出所述中心线上的像素点的切线方向,将所述切线方向作为所述滤波算子的方向;

或者,

确定出所述中心线上的像素点的法线方向,将所述法线方向作为所述滤波算子的方向。

4.根据权利要求1至3任一所述的方法,其特征在于,所述提取所述血管造影图像中目标血管的中心线,包括:对所述血管造影图像进行第二图像分割,得到所述目标血管的第二轮廓;

基于所述第二轮廓提取出所述目标血管的中心线。

5.根据权利要求4所述的方法,其特征在于,所述对所述血管造影图像进行第二图像分割,得到所述目标血管的第二轮廓,包括:通过人工智能模型,预测得到所述血管造影图像上的像素点属于所述目标血管的概率;

将所述概率达到概率阈值的像素点确定为所述目标血管的像素点;

基于所述目标血管的边缘位置的像素点,得到所述目标血管的第二轮廓。

6.根据权利要求4所述的方法,其特征在于,所述对所述血管造影图像进行第二图像分割,得到目标血管的第二轮廓,包括以下方法中的至少一种:基于像素值阈值对所述血管造影图像进行图像分割,得到所述目标血管的第二轮廓;

基于区域生长的方式对所述血管造影图像进行图像分割,得到所述目标血管的第二轮廓;

基于区域分裂聚合的方式对所述血管造影图像进行图像分割,得到所述目标血管的第二轮廓;

基于偏移矫正的方式对所述血管造影图像进行图像分割,得到所述目标血管的第二轮廓;

基于边缘检测的方式对所述血管造影图像进行图像分割,得到所述目标血管的第二轮廓。

7.根据权利要求1至3任一所述的方法,其特征在于,所述方法还包括:将所述第一轮廓上的像素点转换为亚像素点,得到所述目标血管的第三轮廓。

8.一种血管造影图像的处理装置,其特征在于,所述装置包括:获取模块,用于获取所述血管造影图像;

提取模块,用于提取所述血管造影图像中目标血管的中心线;

滤波模块和分割模块,用于基于所述中心线确定出所述血管造影图像的滤波算子的方向;将所述滤波算子作为局部相位分析项引入所述血管造影图像的水平集能量泛函,所述局部相位分析项表征所述血管造影图像的滤波操作;在所述水平集能量泛函迭代至取得最小值的情况下,得到所述血管造影图像的零水平集函数;将所述零水平集函数确认为所述目标血管的第一轮廓。

9.一种血管造影图像的处理系统,其特征在于,所述系统包括所述血管造影图像的拍摄设备、服务器以及所述血管造影图像的查看终端;

所述拍摄设备,用于拍摄所述血管造影图像,以及将所述血管造影图像发送至所述服务器;

所述服务器用于执行如权利要求1至7任一所述的血管造影图像的处理方法,以及将处理后的所述血管造影图像发送至所述查看终端;

所述查看终端,用于显示所述处理后的所述血管造影图像。

10.一种血管造影图像的处理系统,其特征在于,所述系统包括所述血管造影图像的拍摄设备以及所述血管造影图像的处理设备;

所述拍摄设备,用于拍摄所述血管造影图像,以及将所述血管造影图像发送至所述处理设备;

所述处理设备,用于执行如权利要求1至7任一所述的血管造影图像的处理方法,以及显示处理后的所述血管造影图像。

11.一种计算机设备,其特征在于,所述计算机设备存储有计算机程序,所述计算机程序由处理器加载并执行以实现如权利要求1至7任一所述的血管造影图像的处理方法。

12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序由处理器加载并执行以实现如权利要求1至7任一所述的血管造影图像的处理方法。

说明书 :

血管造影图像的处理方法、装置、系统、设备及介质

技术领域

[0001] 本申请涉及图像处理领域,特别涉及一种血管造影图像的处理方法、装置、系统、设备及介质。

背景技术

[0002] 血管造影是一种辅助检查血管的技术,在将显影剂注入血管之后,通过X光照射即可得到血管造影图像。由于X光无法穿透显影剂,因此得到的血管造影图像可以准确地反映血管病变的部位和程度。相关技术中,通常采用DSA(Digital Subtraction Angiography,数字减影血管造影)技术来生成血管造影图像,DSA技术是当前显示冠状动脉的金标准,DSA技术得到的血管造影图像显示出精细化的血管结构。
[0003] 相关技术中,为从血管造影图像分割出目标血管,将像素值大于阈值的像素点确认为目标血管的像素点,以此提取出目标血管的轮廓。
[0004] 然而,相关技术提取出的目标血管的轮廓在血管分叉处可能出现鼓包现象,多个分叉的交界处可能包含大量的像素值大于阈值的像素点,鼓包现象是明显的轮廓分割不准确的现象。

发明内容

[0005] 本申请提供了一种血管造影图像的处理方法、装置、系统、设备及介质,能够缓解血管轮廓上的鼓包现象,所述技术方案如下。
[0006] 根据本申请的一个方面,提供了一种血管造影图像的处理方法,该方法包括:
[0007] 获取血管造影图像;
[0008] 提取血管造影图像中目标血管的中心线;
[0009] 在中心线的指导下对血管造影图像进行滤波操作,得到图像滤波结果;
[0010] 基于图像滤波结果进行第一图像分割,得到目标血管的第一轮廓。
[0011] 根据本申请的一个方面,提供了一种血管造影图像的处理装置,该装置包括:
[0012] 获取模块,用于获取血管造影图像;
[0013] 提取模块,用于提取血管造影图像中目标血管的中心线;
[0014] 滤波模块,用于在中心线的指导下对血管造影图像进行滤波操作,得到图像滤波结果;
[0015] 分割模块,用于基于图像滤波结果进行第一图像分割,得到目标血管的第一轮廓。
[0016] 根据本申请的一个方面,提供了一种血管造影图像的处理系统,系统包括血管造影图像的拍摄设备、服务器以及血管造影图像的查看终端;
[0017] 拍摄设备,用于拍摄血管造影图像,以及将血管造影图像发送至服务器;
[0018] 服务器,用于执行如上的血管造影图像的处理方法,以及将处理后的血管造影图像发送至查看终端;
[0019] 查看终端,用于显示处理后的血管造影图像。
[0020] 根据本申请的一个方面,提供了一种血管造影图像的处理系统,系统包括血管造影图像的拍摄设备以及血管造影图像的处理设备;
[0021] 拍摄设备,用于拍摄血管造影图像,以及将血管造影图像发送至处理设备;
[0022] 处理设备,用于执行如上的血管造影图像的处理方法,以及显示处理后的血管造影图像。
[0023] 根据本申请的另一方面,提供了一种计算机设备,计算机设备存储有计算机程序,计算机程序由处理器加载并执行以实现如上的血管造影图像的处理方法。
[0024] 根据本申请的另一方面,提供了一种计算机可读存储介质,存储介质存储有计算机程序,计算机程序由处理器加载并执行以实现如上的血管造影图像的处理方法。
[0025] 根据本申请的另一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述血管造影图像的处理方法。
[0026] 本申请实施例提供的技术方案带来的有益效果至少包括:
[0027] 通过在目标血管的中心线的指导下对血管造影图像进行滤波,将滤波结果进行第一图像分割得到目标血管的第一轮廓,提高了分割得到的血管轮廓的准确率。在上述过程中,目标血管的中心线参与了提取目标血管的轮廓的过程,中心线作为目标血管的脉络起到约束目标血管的轮廓的作用。
[0028] 相关技术提供的基于像素值阈值提取轮廓的方法中,目标血管的分叉处极有可能存在鼓包现象,而本申请使用的中心线将对目标血管的轮廓产生约束作用,约束作用使得鼓包往中心收缩,进而去除或减小了鼓包的体积,鼓包现象得以缓解。

附图说明

[0029] 为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0030] 图1是本申请一个示例性实施例提供的血管造影图像的处理系统的示意图;
[0031] 图2是本申请另一个示例性实施例提供的血管造影图像的处理系统的示意图;
[0032] 图3是本申请一个示例性实施例提供的血管造影图像的处理框架的示意图;
[0033] 图4是本申请一个示例性实施例提供的血管造影图像的处理方法的流程图;
[0034] 图5是本申请另一个示例性实施例提供的血管造影图像的处理方法的流程图;
[0035] 图6是本申请一个示例性实施例提供的初始的血管造影图像的示意图;
[0036] 图7是本申请一个示例性实施例提供的目标血管的第一轮廓的示意图;
[0037] 图8是本申请一个示例性实施例提供的目标血管的中心线的示意图;
[0038] 图9是本申请一个示例性实施例提供的目标血管的第二轮廓的流程图;
[0039] 图10是本申请一个示例性实施例提供的通过深度学习网络预测得到的血管造影图像的示意图;
[0040] 图11是本申请一个示例性实施例提供的基于像素值阈值分割得到的血管造影图像的示意图;
[0041] 图12是本申请一个示例性实施例提供的偏移矫正后的血管造影图像的示意图;
[0042] 图13是本申请又一个示例性实施例提供的血管造影图像的处理方法的流程图;
[0043] 图14是本申请一个示例性实施例提供的对比第二轮廓与第三轮廓的示意图;
[0044] 图15是本申请一个示例性实施例提供的血管造影图像的处理装置的结构框图;
[0045] 图16示出了本申请一个示例性实施例提供的计算机设备的结构框图。

具体实施方式

[0046] 为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
[0047] 图1示出了本申请一个示例性实施例提供的血管造影图像的处理系统的示意图。该系统包括血管造影图像的拍摄设备110、服务器120以及所述血管造影图像的查看终端
130。可选的,拍摄设备110为DSA设备,DSA设备用于将未造影的血管图像和造影后的血管图像相减,得到消除了血管之外的结构的血管造影图像。拍摄设备110还将血管造影图像发送至服务器120。服务器120用于对血管造影图像进行处理,以及将处理后的血管造影图像发送至查看终端130。查看终端130用于显示处理后的血管造影图像。可选的,查看终端130为医生使用的终端;可选的,查看终端130为血管造影图像的打印终端。
[0048] 可选的,服务器包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。可选的,查看终端的设备类型包括:膝上型便携计算机、台式计算机、打印机、智能手机、智能手表、车载终端、可穿戴设备、智能电视、平板电脑、电子书阅读器、MP3播放器和MP4播放器中的至少一种。可选的,终端上运行有操作系统平台(windows或Linux)。
[0049] 图2示出了本申请另一个示例性实施例提供的血管造影图像的处理系统的示意图。该系统包括管造影图像的拍摄设备110以及血管造影图像的处理设备220。可选的,拍摄设备110为DSA设备,DSA设备用于将未造影的血管图像和造影后的血管图像相减,得到消除了血管之外的结构的血管造影图像。拍摄设备110还将血管造影图像发送至处理设备220。处理设备220用于对血管造影图像进行处理,以及显示出处理后的血管造影图像。可选的,处理设备220为医生使用的终端设备;可选的,处理设备220为血管造影图像的打印设备。
[0050] 可选的,处理设备220的类型包括:膝上型便携计算机、台式计算机、打印机、智能手机、智能手表、车载终端、可穿戴设备、智能电视、平板电脑、电子书阅读器、MP3播放器和MP4播放器中的至少一种。可选的,处理设备220上运行有操作系统平台(windows或Linux)。
[0051] 图3示出了本申请一个示例性实施例提供的血管造影图像的处理框架的示意图,以该处理框架运行在上述图1所示的服务器120或图2所示的处理设备220进行举例说明。
[0052] 处理框架300包括:获取初始的血管造影图像301;提取初始的血管造影图像301中目标血管的中心线,血管造影图像302为提取中心线后的造影图像,图像302‑1为目标血管的放大示意图,可由此看出目标血管的中心线。
[0053] 提取出中心线之后,在中心线的指导下对血管造影图像302进行滤波操作,得到图像滤波结果,将图像滤波结果进行第一图像分割,得到目标血管的第一轮廓,血管造影图像303为第一图像分割后的造影图像,图像303‑1为目标血管的放大示意图,可由此看出目标血管的第一轮廓。
[0054] 图4示出了本申请一个示例性实施例提供的血管造影图像的处理方法的流程图,以该方法由图1所示的服务器120或图2所示的处理设备220执行举例说明。该方法包括如下步骤。
[0055] 步骤410,获取血管造影图像。
[0056] 血管造影图像:指通过血管造影技术得到的电子图像。可选的,血管造影技术包括DSA技术、CTA(Computed Tomography Angiography,CT血管造影)技术和MRA(Magnetic Resonance Angiography,磁共振血管造影)技术等。
[0057] 步骤420,提取血管造影图像中目标血管的中心线。
[0058] 目标血管,指本申请感兴趣的欲分割得到的血管段,而非相关技术中常采用的欲处理的整个血管段。目标血管可以是半径较粗的血管、半径较细的血管、存在分叉的血管等等。中心线是目标血管的脉络,具有目标血管的大部分特征。
[0059] 步骤430,在中心线的指导下对血管造影图像进行滤波操作,得到图像滤波结果。
[0060] 在一个实施例中,基于中心线确定得到滤波指导方向,在滤波指导方向的指导下对血管造影图像进行滤波操作,得到图像滤波结果。可选的,滤波指导方向是中心线上的像素点的切线方向、滤波指导方向是中心线上的像素点的法线方向等。
[0061] 在一个实施例中,滤波操作是基于滤波算子进行滤波的操作。可选的,将滤波指导方向作为滤波算子的方向;基于滤波算子对血管造影图像进行滤波,即可得到图像滤波结果。
[0062] 在一个实施例中,滤波操作用于增强血管造影图像的线状特征和/或血管造影图像的边缘特征。线状特征指血管造影图像全图的线状结构的特征,边缘特征指血管造影图像全图的边缘结构的特征。
[0063] 在一个实施例中,滤波算子包括正交滤波算子。基于正交滤波算子对血管造影图像进行正交滤波,得到图像滤波结果;其中,正交滤波算子包括第一滤波算子和第二滤波算子,第一滤波算子和第二滤波算子相互正交,第一滤波算子用于增强血管造影图像的线状特征,第二滤波算子用于增强血管造影图像的边缘特征。第一滤波算子构成正交滤波算子的(复数)实部,第二滤波算子构成正交滤波算子的(复数)虚部;或者,第一滤波算子构成正交滤波算子的(复数)虚部,第二滤波算子构成正交滤波算子的(复数)实部。
[0064] 在一个实施例中,将基于中心线确定得到的滤波指导方向作为滤波算子的方向,将滤波算子与血管造影图像进行卷积操作,得到图像滤波结果。可选的,图像滤波结果为滤波后得到的血管造影图像,或者为滤波后得到的血管造影图像的图像数据(可采用矩阵等形式表示)。
[0065] 步骤440,基于图像滤波结果进行第一图像分割,得到目标血管的第一轮廓。
[0066] 可选的,第一图像分割包括水平集方法。水平集方法是一种隐式的表示曲线的方法,其核心思想在于采用n+1维度的水平集函数的零水平集表示n维度的目标曲线,n为正整数。例如,采用三维的水平集函数的零水平集表示二维的目标曲线。
[0067] 水平集能量泛函是基于水平集函数构建得到的能量泛函(函数的函数称为泛函),水平集能量泛函用于求取当水平集函数的零水平集缩小为目标曲线时的零水平集,水平集能量泛函通常包括内部力量项与外部力量项,内部力量项表征目标曲线内部像素点的像素值对边界像素点的力量,外部力量项表征目标曲线外部像素点的像素值对边界像素点的力量,当内部力量项与外部力量项平衡时,水平集能量泛函取得最小值,此时的零水平集缩小为目标曲线。
[0068] 在一个实施例中,构建图像滤波结果的水平集能量泛函,通过零水平集的不断演化和迭代,当水平集能量泛函上的内部力量项与外部力量项达到平衡时,获取零水平集即可得到目标血管的第一轮廓。
[0069] 综上所述,通过在目标血管的中心线的指导下对血管造影图像进行滤波,将滤波结果进行第一图像分割得到目标血管的第一轮廓,提高了分割得到的血管轮廓的准确率。在上述过程中,目标血管的中心线参与了提取目标血管的轮廓的过程,中心线作为目标血管的脉络起到约束目标血管的轮廓的作用。
[0070] 相关技术提供的基于像素值阈值提取轮廓的方法中,目标血管的分叉处极有可能存在鼓包现象,而本申请使用的中心线将对目标血管的轮廓产生约束作用,约束作用使得鼓包往中心收缩,进而去除或减小了鼓包的体积,鼓包现象得以缓解。
[0071] 图5示出了本申请一个示例性实施例提供的血管造影图像的处理方法的流程图,以该方法由图1所示的服务器120或图2所示的处理设备220执行举例说明。该方法包括如下步骤。
[0072] 步骤510,获取血管造影图像。
[0073] 血管造影图像:指通过血管造影技术得到的电子图像。结合参考图6,图6示出了本申请一个示例性实施例提供的血管造影图像。
[0074] 步骤520,对血管造影图像进行第二图像分割,得到目标血管的第二轮廓。
[0075] 目标血管,指本申请感兴趣的欲分割得到的血管段,而非相关技术中常采用的欲处理的整个血管段。目标血管可以是半径较粗的血管、半径较细的血管、存在分叉的血管等等。可选的,为保证后续进行第一图像分割的效果,第二图像分割得到的目标血管为连续的血管,即第二轮廓不存在断裂的情况。结合参考图7,图7中示出的包围线条701即为目标血管的第二轮廓。
[0076] 在一个实施例中,对血管造影图像进行第二图像分割,得到目标血管的第二轮廓,包括以下方式中的至少一种。
[0077] 基于像素值阈值对血管造影图像进行图像分割,得到目标血管的第二轮廓。
[0078] 基于区域生长的方式对血管造影图像进行图像分割,得到目标血管的第二轮廓。
[0079] 基于区域分裂聚合的方式对血管造影图像进行图像分割,得到目标血管的第二轮廓。
[0080] 基于偏移矫正的方式对血管造影图像进行图像分割,得到目标血管的第二轮廓。
[0081] 基于边缘检测的方式对血管造影图像进行图像分割,得到目标血管的第二轮廓。
[0082] 步骤530,基于第二轮廓提取出目标血管的中心线。
[0083] 在上述提取出第二轮廓的情况下,还需提取出第二轮廓的中心线。中心线是目标血管的脉络,因此中心线具有目标血管的大部分特征。结合参考图8,图8示出的带叉号标记的线条即为第二轮廓的中心线,图8中的像素点A为中心线的起始像素点,像素点B为中心线的终止像素点。
[0084] 在一个实施例中,采用最短路径的方法提取出目标血管的中心线。在确定出目标血管的起始像素点和终止像素点之后,通过梯度下降或正阶梯度下降提取得到的最短路径即为中心线。采用最短路径的方式提取中心线,提取速度快、操作简单、提取得到的中心线质量高。
[0085] 在一个实施例中,采用距离变换的方法提取出目标血管的中心线。距离变换的基本含义是计算图像中非零像素点到零像素点的最短距离。可选的,将第一图像分割后的血管造影图像进行二值化,得到血管造影图像的二值图,目标血管所在的区域显示为白色(非零像素点)、目标血管之外的区域显示为黑色(零像素点),将二值图进行距离变换,距离变换后的二值图上每个像素点的值为该像素点到最近的零像素点的距离。确定出距离变换后的像素值最大的像素点,依次连接像素值最大的像素点即得到目标血管的中心线。采用距离变换的方式提取中心线,确保中心线上的像素点为像素值最大的点,中心线清晰准确。
[0086] 步骤540,在中心线的指导下对血管造影图像进行滤波操作,得到图像滤波结果。
[0087] 在一个实施例中,基于中心线确定得到滤波指导方向,在滤波指导方向的指导下对血管造影图像进行滤波操作,得到图像滤波结果。
[0088] 可选的,确定出中心线上的像素点的切线方向,将切线方向作为滤波指导方向;可选的,确定出中心线上的像素点的法线方向,将法线方向作为滤波指导方向。
[0089] 在一个实施例中,基于中心线确定出目标方向范围,对血管造影图像进行滤波操作,目标方向范围为滤波操作对应的滤波算子的方向范围。例如,根据中心线的大致走势,确定目标方向范围为(15°,30°),计算滤波算子的方向为(15°,30°)时对应的滤波结果。可选的,方向的计算是基于水平轴逆时针旋转得到的。
[0090] 在一个实施例中,滤波操作用于增强血管造影图像的线状特征和/或血管造影图像的边缘特征。线状特征指血管造影图像全图的线状结构的特征,边缘特征指血管造影图像全图的边缘结构的特征。
[0091] 在一个实施例中,滤波操作是基于滤波算子进行滤波的操作。可选的,将中心线上的像素点的切线方法作为滤波算子的方向,基于滤波算子对血管造影图像进行滤波,得到图像滤波结果。滤波算子针对性地增强了中心线上的像素点的切线方向的线状特征和边缘特征。
[0092] 可选的,滤波操作为正交滤波操作。正交滤波操作是基于正交滤波算子进行滤波的操作。可选的,正交滤波算子包括第一滤波算子和第二滤波算子,第一滤波算子和第二滤波算子相互正交,第一滤波算子用于增强血管造影图像的线状特征,第二滤波算子用于增强血管造影图像的边缘特征。第一滤波算子构成正交滤波算子的(复数)实部,第二滤波算子构成正交滤波算子的(复数)虚部;或者,第一滤波算子构成正交滤波算子的(复数)虚部,第二滤波算子构成正交滤波算子的(复数)实部。
[0093] 在一个实施例中,将中心线确定得到的滤波指导方向作为滤波算子的方向,将滤波算子与血管造影图像进行卷积操作,得到图像滤波结果。可选的,图像滤波结果为滤波后得到的血管造影图像,或者为滤波后得到的血管造影图像的图像数据(可采用矩阵等形式表示)。
[0094] 步骤550,基于图像滤波结果进行第一图像分割,得到目标血管的第一轮廓。
[0095] 可选的,第一图像分割包括水平集方法。在一个实施例中,在构建图像滤波结果的水平集能量泛函之后,将第二轮廓作为水平集能量泛函的初始曲线;然后,控制水平集能量泛函不断迭代运算;当水平集能量泛函取得最小值时,得到目标血管的第一轮廓。上述将第二轮廓作为水平集能量泛函的初始曲线,提高了水平集能量泛函的迭代效率,即在很快的迭代次数内就可以逼近第一轮廓,相较于相关技术中使用随机生成的初始圆或初始矩形作为初始轮廓,第二轮廓更接近真实血管轮廓。
[0096] 在一个实施例中,构建图像滤波结果的水平集能量泛函,通过零水平集的不断演化和迭代,当水平集能量泛函上的内部力量项与外部力量项达到平衡时,获取零水平集即可得到目标血管的第一轮廓。示意性的,图9示出的包围线条901即为目标血管的第一轮廓。
[0097] 综上所述,通过第二图像分割得到目标血管的第二轮廓(初始轮廓),再基于第二轮廓提取出目标血管的中心线,在中心线上确定出的滤波指导方向的指导下对血管造影图像进行滤波,将滤波结果再进行第一图像分割,提高了分割得到的血管轮廓的准确率。在上述过程中,目标血管的中心线参与了提取目标血管的轮廓的过程,中心线作为目标血管的脉络起到约束目标血管的轮廓的作用。
[0098] 相关技术提供的基于像素值阈值提取轮廓的方法中,目标血管的分叉处极有可能存在鼓包现象,而本申请使用的中心线将对目标血管的轮廓产生约束力,约束力使得鼓包往中心收缩,进而去除或减小了鼓包的体积,鼓包现象得以缓解。
[0099] 并且,由于在血管造影的过程中受到心脏搏动的影响,血管造影图像将存在运动伪影,狭窄位置的血管可能发生模糊化,然而相关技术提供的基于像素值阈值提取轮廓的方法,无法解决上述模糊化问题,而本申请的正交滤波增强了血管造影图像的线状特征和边缘特征,进一步突出了目标血管的轮廓,狭窄位置的血管轮廓将变得更为精确。
[0100] 基于图4所示的可选实施例,步骤430和步骤440可被替换为下述步骤S1‑S4(或者,基于图5所示的可选实施例,步骤540和步骤550可被替换为下述步骤S1‑S4)。
[0101] 步骤S1:基于中心线确定出血管造影图像的滤波算子的方向。
[0102] 滤波算子,是用于对血管造影图像进行滤波操作的数学表达式。可选的,将中心线上的像素点的切线方向作为滤波算子的方向。可选的,将中心线上的像素点的法线方向作为滤波算子的方向。可选的,基于中心线确定出目标方向范围,对血管造影图像进行滤波操作,目标方向范围为滤波操作对应的滤波算子的方向范围。例如,根据中心线的大致走势,确定目标方向范围为(15°,30°),计算滤波算子的方向为(15°,30°)时对应的滤波结果。
[0103] 可选的,滤波算子为正向滤波算子,正向滤波算子包括第一滤波算子和第二滤波算子,第一滤波算子和第二滤波算子相互正交,第一滤波算子用于增强血管造影图像的线状特征,第二滤波算子用于增强血管造影图像的边缘特征。第一滤波算子构成正交滤波算子的(复数)实部,第二滤波算子构成正交滤波算子的(复数)虚部;或者,第一滤波算子构成正交滤波算子的(复数)虚部,第二滤波算子构成正交滤波算子的(复数)实部。
[0104] 步骤S2:将滤波算子作为局部相位分析项引入血管造影图像的水平集能量泛函。
[0105] 局部相位分析项,指构建得到的水平集能量泛函中,用于表征中心线对应的滤波指导方向的项。局部相位分析项表征在滤波指导方向上的滤波操作。可选的,局部相位分析项表征在中心线的切线方向上的滤波操作。
[0106] 步骤S3:当水平集能量泛函迭代至取得最小值时,得到血管造影图像的零水平集函数。
[0107] 可选的,当水平集能量泛函迭代取得最小值时,即水平集能量泛函中的内部力量项与外部力量项达到平衡时,获取血管造影图像的零水平集函数。
[0108] 步骤S4:将零水平集函数确认为目标血管的第一轮廓。
[0109] 当水平集能量泛函取得最小值时,此时零水平集函数表示的曲线即为目标血管的第一轮廓。
[0110] 综上所述,上述方法实现了将滤波算子引入水平集能量泛函中,基于构造出的完整的数学表达式处理血管造影图像,完整的数学表达式可以实现(滤波+图像分割)整体的最佳效果。
[0111] 基于图5所示的可选实施例中,步骤520提供了多种第二图像分割的方法,接下来将详细介绍各种分割方法。
[0112] 基于人工智能模型的图像分割方法。
[0113] 可选的,步骤520可被替换为:通过人工智能模型,预测得到血管造影图像上的像素点属于目标血管的概率;将概率属于第一取值区间的像素点确定为目标血管的像素点;基于目标血管的边缘位置的像素点,得到目标血管的第二轮廓。
[0114] 其中,第一取值区间为预设的取值区间。通过对第一取值区间的设置,使得分割得到的第二轮廓具有连续性。
[0115] 在一个实施例中,将血管造影图像输入深度学习网络,深度学习网络输出血管造影图像的概率图,概率图上每个点的像素值为该像素点属于目标血管内的像素点的概率,因此,概率图上预测为属于目标血管的概率越大的像素点越高亮,预测为属于目标血管的概率越小的像素点越暗。因此,在概率图上目标血管的边界将呈现出渐变的亮暗分布。再根据预设的第一像素值阈值,即可从概率图上确定出像素值大于第一像素值阈值的像素点,并将该像素点确定为目标血管的像素点,进而根据目标血管的边缘位置的像素点即可得到目标血管的第二轮廓。
[0116] 值得说明的是,在设置第一像素值阈值时,需满足得到的第一轮廓为连续的轮廓,第二轮廓上不存在断裂的情况。因此该阈值的选择极为重要,需要经过不断地调整阈值才能得到连续的目标血管的第二轮廓。示意性的,图10示出了血管造影图像通过深度学习网络得到的血管的示意图。
[0117] 基于上述提供的人工智能模型的图像分割方法,克服了相关技术的仅使用一次人工智能模型进行图像分割时的技术缺陷,仅使用一次人工智能模型分割得到的血管在狭窄位置的轮廓较粗,若欲分割出更为精细的轮廓需要进行多次训练以调整模型参数,而本申请根据预设的第一像素值阈值,即可直接得到目标血管的初始轮廓,并在后续步骤中基于初始轮廓进行更为精确的轮廓提取。即,本申请的基于人工智能模型的图像分割相比于相关技术中仅使用一次人工智能模型进行图像分割,操作简便、轮廓提取速度更快。
[0118] 基于像素值阈值的图像分割方法。
[0119] 可选的,步骤520可被替换为:将血管造影图像上的像素值属于第二取值区间的像素点确认为目标血管的像素点;基于目标血管的边缘位置的像素点,得到目标血管的第二轮廓。其中,第二取值区间为预设的取值区间,通过对第二取值区间的设置,使得分割得到的第二轮廓具有连续性。
[0120] 在一个实施例中,根据血管造影图像上像素点的像素值,将像素值小于第二像素值阈值的像素点确认为目标血管的像素点;进而根据目标血管的边缘位置的像素点即可得到目标血管的第二轮廓。采用这种方法进行图像分割,可以简化分割计算,降低分割难度,提高效率。
[0121] 值得说明的是,在设置第二像素值阈值时,需满足得到的第二轮廓为连续的轮廓,第二轮廓上不存在断裂的情况。因此该阈值的选择极为重要,需要经过不断地调整阈值才能得到连续的目标血管的第二轮廓。示意性的,图11的(A)部分示出了血管造影图像基于像素值阈值分割得到的完整图像,图11的(B)部分示出了分割后的目标血管,图像1101为图11的(B)部分中的目标血管的放大示意图。图像1101示出了基于第二轮廓提取得到的中心线,此时目标血管的第二轮廓在狭窄位置的分割较粗。图像1101中像素点A为中心线的起始像素点,像素点B为中心线的终止像素点。
[0122] 基于区域生长的方法进行图像分割。
[0123] 基于区域生长的分割方法的核心思想在于:首先确定出基础像素点,从基础像素点出发,将基础像素点周围的与基础像素点具有同样性质(灰度值、颜色、纹路等)的像素点划入当前区域,接着以划入的新像素点再次发散,依此类推,直至没有其他像素点能够划入当前区域。
[0124] 基于区域分裂聚合的方法进行图像分割。
[0125] 基于区域分裂聚合的方法的核心思想在于:首先将同一张图像进行多次划分得到多个区域,每个区域具有各自的性质(灰度值、颜色、纹路等),将多个区域中属于相同性质的临接区域进行聚合,直至最终不存在具有相同性质的临接区域。
[0126] 基于偏移矫正的方式进行图像分割。
[0127] 偏移矫正的核心思想在于:当目标血管中的部分血管处于整张图像较亮的区域时,减小部分血管中像素点的像素值;当目标血管中的部分血管处于整张图像较暗的区域时,增大部分血管中像素点的像素值。基于此,可以解决像素值不均衡的问题,以及提高血管造影图像中的前景部分和背景部分的差异。示意性的,图12的(A)部分示出了偏移矫正后的血管造影图像,图12的(B)部分示出了偏移矫正后得到的目标血管,图像1201为图12的(B)部分中的目标血管的放大示意图。图像1201示出了基于第二轮廓提取得到的中心线,此时目标血管的第二轮廓在狭窄位置的分割较粗且第二轮廓的边界线条较为粗糙。图像1201中像素点A为中心线的起始像素点,像素点B为中心线的终止像素点。
[0128] 基于边缘检测的图像分割方法。
[0129] 基于边缘检测的图像分割方法的核心思想在于:首先对图像中每一个像素点通过边缘检测算子进行计算,根据确定的准则对每个像素点的输出进行判定,判断像素点是否为边缘点。接着,还剔除图像的边界点和填补边缘间断点,最终将边缘点连接成线即完成图像分割。
[0130] 上述提供了多种第二图像分割的方式,通过第二图像分割+第一图像分割可以更快速地提取出目标血管的轮廓,当第一图像分割指示的是基于水平集分割算法进行的图像分割时,第二图像分割得到的第二轮廓加快了水平集能量泛函的迭代计算过程,即加快了提取第一轮廓的速度。
[0131] 图13示出了本申请一个示例性实施例提供的血管造影图像的处理方法的流程图,该方法包括如下步骤。
[0132] 步骤1301,获取血管造影图像。
[0133] 血管造影图像:指通过血管造影技术得到的电子图像。结合参考图6,图6示出了本申请一个示例性实施例提供的用于后续图像处理的初始的血管造影图像。
[0134] 步骤1302,提取血管造影图像中目标血管的第二轮廓。
[0135] 在一个实施例中,通过深度学习网络对血管造影图像进行分割,并提取目标血管的第二轮廓。示意性的,图10示出了深度学习网络输出的血管造影图像中的血管。
[0136] 在一个实施例中,基于阈值的图像分割方法对血管造影图像进行分割,并提取目标血管的第二轮廓。示意性的,图11的(B)部分示出了基于阈值的图像分割法方法得到的目标血管的第二轮廓。
[0137] 在一个实施例中,基于图像的偏移矫正方法对血管造影图像进行分割,并提取目标血管的第二轮廓。示意性的,图12的(B)部分示出了基于区域的偏移矫正方法得到的目标血管的第二轮廓。
[0138] 步骤1303,确定中心线的起始像素点和终止像素点。
[0139] 在一个实施例中,起始像素点为感兴趣血管(目标血管)的起点,终止像素点为感兴趣血管(目标血管)的终点。示意性的,图11的(B)部分中的像素点A即为起始像素点,像素点B即为终止像素点。图12的(B)部分中的像素点A即为起始像素点,像素点B即为终止像素点。
[0140] 步骤1304,采用快速行进算法提取目标血管的中心线。
[0141] 在一个实施例中,通过快速行进算法(Fast Marching)提取目标血管的中心线。快速行进算法运用简单,方便快速提取目标血管的中心线。在一个实施例中,还确定出中心线上每一像素点的切线方向。
[0142] 步骤1305,构建血管造影图像的水平集能量泛函。
[0143] 在一个实施例中,构建上述分割出目标血管的粗略轮廓后的血管造影图像的水平集能量泛函。在一个实施例中,将上述分割出目标血管的粗略轮廓后的血管造影图像进行正交滤波操作。正交滤波由两部分组成,分别是峰提取滤波和边缘提取滤波,峰提取滤波对图像的线状结构更加敏感,即图像的线状结构的滤波响应值更大,边缘提取滤波对图像的边缘结构更加敏感,即图像的边缘结构的滤波响应值更大。峰提取滤波和边缘提取滤波相互正交,构成复数的实部和虚部,上述分析被称为局部相位分析。正交滤波的优点在于不依赖于图像的像素值进行图像增强,但是该正交滤波仅能获得单一方向上的响应,即只能增强某一方向上的线状区域或边缘区域,只能得到某一方向上线状结构或边缘结构的响应。若要满足增强整张图像在不同方向上的线状结构或边缘结构的需求,需要将正交滤波的滤波算子进行逐步旋转,再将滤波算子与血管造影图像进行卷积操作,方能得到整张图像在线状区域和边缘区域的增强。然而,将滤波算子进行逐步旋转加大了正交滤波的计算量。基于此,本申请提供了一种基于中心线确定滤波算子的方向的方法,使用中心线指导局部相位分析,有针对性地处理特定方向上的线状或边缘区域的响应,可以极大地提高图像处理的效率。
[0144] 步骤1306,提取出目标血管的第一轮廓。
[0145] 在一个实施例中,将步骤1305得到的正交滤波算子引入水平集能量泛函,在求解水平集能量泛函的过程中,步骤1302得到的目标血管的初始轮廓发生进一步的衍化,当水平集能量泛函中的内力项与外力项达到平衡时,获取到的零水平集函数即为输出的目标血管的第一轮廓。
[0146] 步骤1307,将第一轮廓上的像素点转换为亚像素点,得到目标血管的第三轮廓。
[0147] 在一个实施例中,上述提取出第一轮廓之后,还将第一轮廓上的像素点转换为亚像素点,得到目标血管的第三轮廓。示意性的,图14的(A)部分示出了转换前的血管造影图像,图14的(B)部分示出了转换后的血管造影图像。图像1401为图14的(A)部分中目标血管的放大示意图,图像1402为图14的(B)部分中目标血管的放大示意图。图像1401示出了目标血管的第一轮廓。图像1402示出了目标血管的第三轮廓。可以看出,第一轮廓较为粗糙,第一轮廓上存在较多的锯齿边缘,第三轮廓分割较为准确,且边界较为平滑。
[0148] 综上所述,上述方法还实现了将第一轮廓上的像素点转换为亚像素点,进而得到目标血管的第三轮廓,平滑了第一轮廓上的锯齿边缘。
[0149] 图15示出了本申请一个示例性实施例提供的血管造影图像的处理装置的结构框图,该装置包括如下模块。
[0150] 获取模块1501,用于获取血管造影图像。
[0151] 提取模块1502,用于提取血管造影图像中目标血管的中心线。
[0152] 滤波模块1503,用于在中心线的指导下对血管造影图像进行滤波操作,得到图像滤波结果。
[0153] 分割模块1504,用于基于图像滤波结果进行第一图像分割,得到目标血管的第一轮廓。
[0154] 在一个可选的实施例中,滤波模块1503,还用于基于中心线确定得到滤波指导方向;在滤波指导方向的指导下对血管造影图像进行滤波操作,得到图像滤波结果。
[0155] 在一个可选的实施例中,滤波操作是基于滤波算子进行滤波的操作。滤波模块1503,还用于将滤波指导方向作为滤波算子的方向;基于滤波算子对血管造影图像进行滤波,得到图像滤波结果。
[0156] 在一个可选的实施例中,滤波算子包括正交滤波算子;滤波模块1503,还用于基于正交滤波算子对血管造影图像进行正交滤波,得到图像滤波结果;其中,正交滤波算子包括第一滤波算子和第二滤波算子,第一滤波算子和第二滤波算子相互正交,第一滤波算子用于增强血管造影图像的线状特征,第二滤波算子用于增强血管造影图像的边缘特征。
[0157] 在一个可选的实施例中,滤波模块1503,还用于确定出中心线上的像素点的切线方向,将切线方向作为滤波指导方向。在一个可选的实施例中,滤波模块1503,还用于确定出中心线上的像素点的法线方向,将法线方向作为滤波指导方向。
[0158] 在一个可选的实施例中,分割模块1504,还用于构建图像滤波结果的水平集能量泛函;在水平集能量泛函迭代至取得最小值的情况下,得到目标血管的第一轮廓。
[0159] 在一个可选的实施例中,提取模块1502,还用于对血管造影图像进行第二图像分割,得到目标血管的第二轮廓;基于第二轮廓提取出目标血管的中心线。
[0160] 在一个可选的实施例中,分割模块1504,还用于构建图像滤波结果的水平集能量泛函;将第二轮廓作为水平集能量泛函的初始曲线;在水平集能量泛函迭代至取得最小值的情况下,得到目标血管的第一轮廓。
[0161] 在一个可选的实施例中,滤波模块1503和分割模块1504,还用于基于中心线确定出血管造影图像的滤波算子的方向;将滤波算子作为局部相位分析项引入血管造影图像的水平集能量泛函,局部相位分析项表征血管造影图像的滤波操作;在水平集能量泛函迭代至取得最小值的情况下,得到血管造影图像的零水平集函数;将零水平集函数确认为目标血管的第一轮廓。
[0162] 在一个可选的实施例中,提取模块1502,还用于通过人工智能模型,预测得到血管造影图像上的像素点属于目标血管的概率;将概率达到概率阈值的像素点确定为目标血管的像素点;基于目标血管的边缘位置的像素点,得到目标血管的第二轮廓。
[0163] 在一个可选的实施例中,提取模块1502,还用于基于像素值阈值对血管造影图像进行图像分割,得到目标血管的第二轮廓。
[0164] 在一个可选的实施例中,提取模块1502,还用于基于区域生长的方式对血管造影图像进行图像分割,得到目标血管的第二轮廓。
[0165] 在一个可选的实施例中,提取模块1502,还用于基于区域分裂聚合的方式对血管造影图像进行图像分割,得到目标血管的第二轮廓。
[0166] 在一个可选的实施例中,提取模块1502,还用于基于偏移矫正的方式对血管造影图像进行图像分割,得到目标血管的第二轮廓。
[0167] 在一个可选的实施例中,提取模块1502,还用于基于边缘检测的方式对血管造影图像进行图像分割,得到目标血管的第二轮廓。
[0168] 在一个可选的实施例中,装置还包括转换模块1505。转换模块1505,用于将第一轮廓上的像素点转换为亚像素点,得到目标血管的第三轮廓。
[0169] 综上所述,通过在目标血管的中心线的指导下对血管造影图像进行滤波,将滤波结果进行第一图像分割得到目标血管的第一轮廓,提高了分割得到的血管轮廓的准确率。在上述过程中,目标血管的中心线参与了提取目标血管的轮廓的过程,中心线作为目标血管的脉络起到约束目标血管的轮廓的作用。
[0170] 相关技术提供的基于像素值阈值提取轮廓的方法中,目标血管的分叉处极有可能存在鼓包现象,而本申请使用的中心线将对目标血管的轮廓产生约束作用,约束作用使得鼓包往中心收缩,进而去除或减小了鼓包的体积,鼓包现象得以缓解。
[0171] 图16是本申请一个实施例提供的计算机设备的示意图。该计算机设备运行有如图1或图2所示的血管造影图像的处理系统。具体来讲:计算机设备1600包括中央处理单元(英文:Central Processing Unit,简称:CPU)1601、包括随机存取存储器(英文:Random Access Memory,简称:RAM)1602和只读存储器(英文:Read‑Only Memory,简称:ROM)1603的系统存储器1604,以及连接系统存储器1604和中央处理单元1601的系统总线1605。计算机设备1600还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统,Input/Output系统)1606,和用于存储操作系统1613、应用程序1614和其他程序模块1615的大容量存储设备1607。
[0172] 基本输入/输出系统1606包括有用于显示信息的显示器1608和用于用户输入信息的诸如鼠标、键盘之类的输入设备1609。其中显示器1608和输入设备1609都通过连接到系统总线1605的输入/输出控制器1610连接到中央处理单元1601。基本输入/输出系统1606还可以包括输入/输出控制器1610以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入/输出控制器1610还提供输出到显示屏、打印机或其他类型的输出设备。
[0173] 大容量存储设备1607通过连接到系统总线1605的大容量存储控制器(未示出)连接到中央处理单元1601。大容量存储设备1607及其相关联的计算机可读介质为服务器1600提供非易失性存储。也就是说,大容量存储设备1607可以包括诸如硬盘或者只读光盘(英文:Compact Disc Read‑Only Memory,简称:CD‑ROM)驱动器之类的计算机可读介质(未示出)。
[0174] 不失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(英文:Erasable Programmable Read‑Only Memory,简称:EPROM)、电可擦除可编程只读存储器(英文:Electrically Erasable Programmable Read‑Only Memory,简称:EEPROM)、闪存或其他固态存储其技术,CD‑ROM、数字通用光盘(英文:
Digital Versatile Disc,简称:DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1604和大容量存储设备1607可以统称为存储器。
[0175] 根据本申请的各种实施例,服务器1600还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1600可以通过连接在系统总线1605上的网络接口单元1612连接到网络1611,或者说,也可以使用网络接口单元1612来连接到其他类型的网络或远程计算机系统(未示出)。
[0176] 本申请还提供一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方法实施例提供的血管造影图像的处理方法。
[0177] 本申请提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方法实施例提供的血管造影图像的处理方法。
[0178] 上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
[0179] 本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
[0180] 以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。