一种对图像的几何特征进行提取的方法和相关产品转让专利
申请号 : CN202110040108.3
文献号 : CN112381824B
文献日 : 2021-07-02
发明人 : 任玉雪 , 陈伟 , 吴伯阳 , 其他发明人请求不公开姓名
申请人 : 北京智拓视界科技有限责任公司
摘要 :
权利要求 :
1.一种对图像的几何特征进行提取的方法,包括:根据病灶区域的三维图像数据来生成由多个顶点连接而成的四面体网格;
利用所述顶点处的体素值来确定所述顶点处的几何特征值;以及利用所述几何特征值来替换所述体素值,以实现对所述病灶区域的几何特征提取,其中所述几何特征包括反映所述病灶区域几何属性的高阶几何特征,并且其中所述几何特征值是三维张量数据并且用作深度神经网络的训练数据,其中经所述几何特征值训练的所述深度神经网络用作获得针对于所述病灶区域发展趋势的预测模型,以便对所述病灶区域的发展做出准确预测。
2.根据权利要求1所述的方法,其中生成所述四面体网格包括确定所述四面体网格的边界和内部顶点。
3.根据权利要求2所述的方法,其中确定所述四面体网格的边界包括根据所述三维图像数据边界生成的二维网格,以作为所述四面体网格的边界。
4.根据权利要求2所述的方法,其中确定所述四面体网格的内部顶点包括根据所述三维图像数据的体素顶点来确定所述四面体网格的内部顶点。
5.根据权利要求3所述的方法,其中根据所述三维图像数据的边界生成二维网格包括:利用布尔型变量来标记所述三维图像区域;以及根据标记后的三维图像区域来生成所述二维网格。
6.根据权利要求1所述的方法,其中所述几何特征包括里奇曲率、梯度或平均曲率。
7.根据权利要求6所述的方法,其中利用所述几何特征值来替换所述体素值包括:根据所述顶点处的体素值来计算所述顶点处的里奇曲率值、梯度值或平均曲率值;以及
利用所述里奇曲率值、梯度值或平均曲率值来替换所述顶点处的体素值。
8.一种对图像的几何特征进行提取的设备,还包括:处理器;以及
与所述处理器相连接的存储器,所述存储器中存储有计算机程序代码,当所述计算机程序代码被所述处理器执行时,使得所述设备执行如权利要求1‑7中任意一项所述的方法。
9.一种计算机可读存储介质,其上存储有用于对图像的几何特征进行提取的计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现如权利要求1‑7中任意一项所述的方法。
说明书 :
一种对图像的几何特征进行提取的方法和相关产品
技术领域
背景技术
表面积和体积),并将影像组学特征或者几何特征用于后续的分析和研究,以期对病灶区域
做出评价;又或者对病灶区域提取体素矩阵,并通过对体素矩阵训练来获取病灶区域特征。
然而,采用传统方式提取的特征包含的信息较少,从而不能反映病灶区域的本质属性。因
此,如何提取病灶区域的高阶几何特征并用于病灶区域分析成为亟需解决的问题。
发明内容
在一些应用场景中,前述获得的三维张量数据可以应用于人工智能领域,从而可以利用如
深度学习等数据分析的方法对几何特征进行分析并做出评价。鉴于此,本发明在如下的多
个方面提供相应的解决方案。
值来确定所述顶点处的几何特征值以及利用所述几何特征值来替换所述体素值,以实现对
所述病灶区域的几何特征提取。
值、梯度值或平均曲率值来替换所述顶点处的体素值。
机程序代码被执行时,使得所述处理器执行前述方法及多个实施例。
现前述方法及多个实施例。
一步地,通过将顶点处的体素值替换为几何特征值,并且可选地将几何特征值表示为例如
三维张量的张量数据,本发明的方案可以高效地提取出病灶区域的几何特征,以便后续对
病灶区域的研究、分析和评估。基于本发明的几何特征提取方式,可以实现对病灶区域图像
的高阶几何特征的提取,使得包含更加丰富的特征信息,从而能够反映目标图像区域本质
几何属性,以便后续对目标图像区域的发展进行预测。进一步地,通过利用本发明获得的高
阶几何特征,并将其表示为三维张量,以作为例如深度神经网络的机器学习算法的训练数
据,可以训练获得针对于病灶发展趋势的预测模型,从而对病灶区域的发展做出准确预测,
以便进行有效的人为干预。
附图说明
干实施方式,并且相同或对应的标号表示相同或对应的部分,其中:
具体实施方式
而提供的部分实施例,而并非可以实现本发明的所有实施例。基于本说明书公开的实施例,
本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保
护的范围。
(Computed Tomography,“CT”)技术或设备所获得的三维图像数据。进一步,本发明的病灶
区域的三维图像数据中包含立方体结构,如体积元素(简称“体素”)。正如本领域技术人员
所知,体素主要用于三维成像、科学数据与医学成像领域,其是数字数据在三维空间上所能
进行分割和识别的最小单位。进一步,体素的数值(简称“体素值”)可以表示不同的特性。例
如,在CT图像中,前述的体素值是亨氏单位(Hounsfield Unit,“HU”)。在一个实施例中,可
以通过支持CT技术的设备来获取三维图像数据并且通过计算来获得本发明的体素值。在该
情形中,体素值是图像的灰度值(即下文本发明实施例中所讨论涉及的灰度值)。附加地,可
以对前述的灰度值进行转换以获得CT值,其单位是上述的亨氏单位。
一个实施例中,生成四面体网格可以包括生成四面体网格的边界,再生成四面体网格的内
部顶点。在该情形中,四面体网格的边界可以是根据三维图像数据的边界生成的二维网格,
并且四面体网格的内部顶点可以是体素的顶点。进一步地,将生成的二维网格作为四面体
网格的边界,由此可以利用该边界来获得四面体网格外表面的先验信息,从而加快了四面
体网格的生成速度。进一步地,本发明实施例通过构建(或者说重建)四面体网格,可以对病
灶区域的形状进行精确描述。进一步,本发明可以通过该四面体网格来确定高阶几何参数
(例如梯度)的位置,以便为后续对病灶区域的分析提供更为准确的数据。在一个实施例中,
生成四面体网格的操作也可以通过软件包来自动实现,例如可以选择包含三维约束三角剖
分四面体化(Constrained Delaunay Tetrahedralization,“CDT”)功能的软件包来直接生
成四面体网格。
可以直接通过支持例如CT技术的装置或者设备来获得,并且获得的体素值通常是CT图像
(即本发明实施例中的病灶区域图像)的灰度值,该灰度值可以是0‑255之间的任一对应值。
根据本发明的一个或多个实施例,前述的几何特征可以包括但不限于里奇曲率、梯度或者
平均曲率。接着,在步骤106处,方法100利用所述几何特征值来替换所述体素值,以实现对
所述病灶区域的几何特征提取。当本发明的几何特征是上述的里奇曲率、梯度或者平均曲
率中的一种时,计算该顶点处的里奇曲率值、梯度值或者平均曲率值。基于此,利用前述步
骤104处获得的四面体网格顶点处的里奇曲率值、梯度值或者平均曲率值作为该顶点处的
灰度值来替换体素值。在一个实施例中,这里获得的里奇曲率值、梯度值或者平均曲率值可
以是具有多个维度的张量数据,例如三维张量数据。
素值来计算几何特征值,例如里奇曲率值、梯度值或者平均曲率值。进一步地,利用获得的
几何特征值替换顶点处的体素值以提取几何特征,并且将该几何特征表示为三维张量,以
便于后续的研究和分析。
比,本发明基于病灶区域图像提取的高阶几何特征更具可解释性。进一步地,通过利用本发
明获得的高阶几何特征,并将其表示为三维张量,以作为例如深度神经网络的机器学习算
法的训练数据,可以训练获得针对于病灶发展趋势的预测模型,从而对病灶区域的发展做
出准确预测,以便进行有效的人为干预。
像数据的边界生成的二维网格。由此,本发明提出利用图2示出的方法200来获得前述的二
维网格。这里需要指出的是方法200是图1所示方法100 中部分步骤的具体实现方式,因此
关于方法100所做的相应描述也同样适用于下文对于方法200的讨论。
(bool)数据外表面的网格生成。具体地,可以利用bool标记病灶区域的三维图像区域,并令
其为 ,其中 为光滑函数,为所述三维图像存在的区域。接着,在步骤204处,方法200
根据标记后的三维图像区域来生成所述二维网格。例如,基于前述标记的三维图像区域
,可以通过 表示内部体素, 表示外部体素,而 (其中0< <1)则
表示三维图像数据的边界,并通过光滑插值计算 函数的 等值面网格。在一个实施场景
中,可以利用例如计算几何算法库(Computational Geometry Algorithms Library,
“CGAL”)执行前述插值来生成二维网格。
面体网格的边界。进一步地,本领域技术人员还可以对四面体网格进行更强的限制,即将三
维数据的体素顶点作为四面体网格的内部顶点。由此,基于获得的二维网格和体素顶点,最
终生成由多个顶点连接而成的四面体网格。为了便于理解,图3示出了根据本发明实施例生
成的四面体网格的一部分的示例性示意图。根据获得的四面体网格,可以利用该网格各顶
点处的灰度值以确定该网格顶点处的几何特征值。在一个实施例中,几何特征值可以是里
奇曲率值、梯度值或者平均曲率值。进一步地,利用前述几何特征值替换四面体网格顶点处
的体素值。
现方式,因此关于方法100所做的相应描述也同样适用于方法400。
率值、梯度值或平均曲率值。在一个实施场景中,可以通过下面所描述的数学操作来计算里
奇曲率值。首先,可以定义四面体网格中的顶点邻接的边的权值 ,并将其表示为:
解,图5示出了根据本发明多个实施例的部分网格顶点及其邻边的示例性示意图。
也包括与其邻接的边 、 以及 。在一个实施例中,将顶点 处的权重定义为 ,
顶点 处的权重定义为 ,前述权重 和 可以是顶点 和顶点 处的体素值(即灰
度值)。由此,基于顶点 和顶点 处的权重 和 ,可以获得 和 共边 的权重 :
一个数值。
重,将该三个轴的权重作为里奇曲率值。前述三个轴重可以表示三维张量的张量数据。由
此,里奇曲率值可以被表示为三维张量。
卷积后的四面体网格计算其梯度。进一步地,对获得的梯度计算其模长。采用数学方式将四
面体网格的梯度值计算表示为 。具体地,表示方差为 的高斯分布,表示卷积,
表示四面体网格中的体素值(即灰度值)。针对高斯卷积运算,本领域技术人员可以通过图
像处理软件(例如MATLAB)直接调用高斯滤波函数来进行计算。需要理解的是,在该情形下,
前述获得顶点处的梯度值是一个实数。本领域技术人员还可以通过分别计算顶点处的三个
轴(即x轴、y轴、z轴)的偏导数,以该三个轴上的偏导数作为三维张量的三个维度上的张量
数据。由此,梯度值也可以被表示为三维张量。
的平均曲率K定义为:
率是一个实数。由此,平均曲率可以直接采用基于公式(4)计算得到的实数表示。
所述顶点处的体素值。具体来说,可以将每个顶点处的体素值替换成上述获得的里奇曲率
值、梯度值或平均曲率值,其中里奇曲率值和梯度值可以表示为三维张量。由此,本发明通
过确定里奇曲率值、梯度值或平均曲率值而实现了对病灶区域的几何特征的提取。
明实施例病灶区域的体素值替换成前述几何特征值,便于后续的分析和研究。在一个实现
场景中,本领域技术人员可以将获得的几何特征值作为数据源,应用于例如神经网络,经过
训练或深度学习以获得针对病灶区域发展趋势的预测模型,从而对病灶区域的发展做出准
确预测,以便进行有效的人为干预。
CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步,设备600还可以包括大
容量存储器612和/或只读存储器ROM 613,其中大容量存储器612可以配置用于存储各类数
据,包括各种病灶区域图像数据、算法数据、中间结果和运行设备600所需要的各种程序,
ROM 613可以配置成存储对于设备600的加电自检、系统中各功能模块的初始化、系统的基
本输入/输出的驱动程序及引导操作系统所需的数据。
617中的一个或多个。可以理解的是,尽管在设备600中示出了多种硬件平台或组件,但这里
仅仅是示例性的而非限制性的,本领域技术人员可以根据实际需要增加或移除相应的硬
件。例如,设备600可以仅包括CPU来实现本发明用于病灶区域的几何特征进行提取的操作。
到因特网(“Internet”)607。替代地或附加地,本发明的设备600还可以通过通信接口618基
于无线通信技术直接连接到因特网或蜂窝网络,例如基于第三代(“3G”)、第四代(“4G”)或
第5代(“5G”)的无线通信技术。在一些应用场景中,本发明的设备600还可以根据需要访问
外部网络的服务器608和数据库609,以便获得各种已知的图像模型、数据和模块,并且可以
远程地存储各种数据,例如用于提取病灶区域图像中的几何特征的各类数据。
器,其配置用于对本发明的显示病灶区域图像的运算过程或者最终结果进行语音提示和/
或图像视频显示。输入装置603可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入
按钮或控件,其配置用于接收病灶区域图像数据的输入和/或用户指令。数据传输接口604
可以包括例如串行接口、并行接口或通用串行总线接口(“USB”)、小型计算机系统接口
(“SCSI”)、串行ATA、火线(“FireWire”)、PCI Express和高清多媒体接口(“HDMI”)等,其配
置用于与其他设备或系统的数据传输和交互。根据本发明的方案,该数据传输接口604还可
以接收来自于CT设备的病灶区域图像或病灶区域图像数据,并且向设备600传送该病灶区
域图像数据或各种其他类型的数据和结果。
线与外围设备实现数据交互。在一个实施例中,通过该总线619,CPU 611可以控制设备600
中的其他硬件组件及其外围设备。
和实现实体并不受其限制,而是可以在不偏离本发明的精神下做出改变。
数据存储设备(可移除的和/或不可移除的)例如磁盘、光盘或磁带。计算机存储介质可以包
括以用于存储信息的任何方法或技术实现的易失性和非易失性,可移动和不可移动介质,
例如计算机可读指令、数据结构、程序模块或其他数据。
体素值,以实现对所述病灶区域的几何特征提取。总之,该计算机可读存储介质包括了用于
执行结合图1‑图5所述的处理操作的程序指令。
法。
A1‑A8中任意一项所述的方法。
中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,
但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一
步理解,在本公开说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一
个或多个的任何组合以及所有可能组合,并且包括这些组合。
果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”
或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
脱离本发明所揭露的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与
变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。