一种用于增强现实的三维配准方法和系统转让专利
申请号 : CN201910572830.4
文献号 : CN110264504B
文献日 : 2021-03-30
发明人 : 丛曰声
申请人 : 北京国润健康医学投资有限公司
摘要 :
权利要求 :
1.一种用于增强现实的三维配准方法,其特征在于,该方法包括:S1、获取脊椎样本的CT影像数据,创建脊椎外表面的三维模型,计算得到脊椎外表面的统计形状模型;
S2、在基准部位上放置标志物,获得基准部位的CT影像数据,创建基准部位脊椎外表面的三维模型;根据所述脊椎外表面的统计形状模型计算获得基准部位脊椎的修复数据;
其中,所述步骤S1包括:
S11、采用基于遗传算法的大津法计算阈值,实现脊椎骨和皮肤的分割,采用基于分割的Marching Cubes算法,创建所述脊椎样本的内、外表面的第一三维模型;
S12、计算所述第一三维模型的重心,建立由所述第一三维模型的点云构成的协方差矩阵,利用特征分解算法计算所述协方差矩阵的三个正交的主成分,建立第一局部坐标系,所述第一局部坐标系的坐标原点与所述重心的坐标原点相同,所述第一局部坐标系的坐标轴分别对应三个主成分,第一局部坐标系中的Z轴为所述第一三维模型的点云数据分布变化最大的方向,X轴为所述第一三维模型的点云数据分布变化最小的方向,所述第一局部坐标系符合右手法则;
S13、采用几何变换方法将所述脊椎样本中每个样本的第一三维模型几何变换到所述第一局部坐标系中,形成第二三维模型;
S14、在所述第二三维模型上,沿Z轴进行等间距等角度圆柱采样,采用射线与所述第二三维模型求交算法计算所述第二三维模型脊椎外表面的三维点云;
S15、在所述第二三维模型脊椎外表面上标定特征点,特征点定义在椎骨的弯曲处;
S16、依据所述特征点,在不同脊椎样本的所述第二三维模型之间进行非刚性配准;将配准后的两个所述第二三维模型的最近点作为对应点,建立所述第二三维模型脊椎外表面的稠密对应点云;
S17、对所述稠密对应点云,采用主成分分析方法计算脊椎外表面三维模型的平均模型,以及主成分和主成分系数,从而建立脊椎外表面的统计形状模型。
2.根据权利要求1所述的方法,其特征在于,所述步骤S15中在所述第二三维模型脊椎外表面上标定特征点包括:
拾取所述第二三维模型上的二维像素并通过逆投影变换计算所述像素的坐标;
定义该像素在近剪裁面、远剪裁面的交点分别为A和B,采用射线与三维模型求交算法计算 与所述第二三维模型的交点,所述交点为特征点;优选的,通过八叉树结构对所第二三维模型进行表示,降低射线与三维模型求交过程中三角片的计算数量,提高计算速度。
3.根据权利要求1所述的方法,其特征在于,所述步骤S11包括:步骤1.1.1:针对CT影像数据,采用基于遗传算法的大津法计算阈值,分割脊椎骨和皮肤的图像数据;
步骤1.1.2:对分割后的CT影像数据,从相邻两层的CT影像数据中依次提取对应的像素作为体素;
步骤1.1.3:针对每个体素,判断体素中棱边的两个端点的颜色值是否相同,以确定当前体素中棱边与等值面是否有交点;
步骤1.1.4:通过线性插值方法计算体素棱边与等值面的交点,由计算获得的该体素三条棱边上的交点构建三角片;对每个三角片进行检测,当三角片中存在钝角时对所述三角片进行三角剖分;
步骤1.1.5:利用中心差分方法,求出体素棱边顶点处的法向量,然后通过线性插值方法求出所述三角片的顶点处的法向量;进而获得脊椎内、外表面的第一三维模型。
4.根据权利要求1所述的方法,其特征在于,所述步骤S14包括:步骤1.4.1:对射线进行参数化表示,方程为 其中o'起始点,为等角度采样对应的向量,k为参数;
步骤1.4.2:将所述第二三维模型用八叉树结构进行表示,利用重心坐标系将每个三角片中任意一点表示为:t(u,v)=(1‑u‑v)·v0+u·v1+v·v2,u≥0,v≥0,u+v≤1,其中v0,v1,v2表示三角片的三个顶点,(u,v)表示重心坐标系中v1,v2顶点对应的系数;
步骤1.4.3:通过联立求解射线方程和三角片的参数方程,计算k、u和v,取k值最大的交点作为脊椎模型外表面的顶点;优选的,求解过程中通过八叉树结构和判断射线方向是否与三角片法线的方向是否一致,以降低三角片的数量。
5.根据权利要求1所述的方法,其特征在于,所述步骤S2为:S21、在基准部位的皮肤上放置标志物,获得基准部位的CT影像数据;
S22、根据基准部位的CT影像数据,创建基准部位的脊椎、标志物和皮肤的第一三维模型,所述基准部位的脊椎、标志物和皮肤的第一三维模型所在的坐标系为全局坐标系;利用主成分分析方法,计算基准部位脊椎第一三维模型的局部第一坐标系,利用几何变换将基准部位脊椎第一三维模型变换到局部第一坐标系中,形成基准部位脊椎第二三维模型;
S23、标定特征点,优选的,在所述基准部位脊椎第二三维模型中每段椎骨内的特征点不少于三个;
S24、通过采用最近点迭代算法,将基准部位的脊椎第二三维模型向所述脊椎统计形状模型的平均模型进行刚性配准,计算获得旋转变换R1和平移变换t1;采用非刚性最近点迭代算法,将基准部位脊椎第二三维模型向脊椎统计形状模型的平均模型进行非刚性配准;
在两个模型的配准结果中寻找最近点,从而获得基准部位脊椎第二三维模型和平均模型之间的对应点云;优选的,采用在K‑d树结构上寻找邻近点的方法提高最近点搜索的速度,通过优先级队列减少回溯的次数;
S25、根据所述脊椎外表面的统计形状模型,计算基准部位的脊椎三维模型在脊椎统计形状模型空间中对应的系数QBonecoff,计算公式为:QBonecoff=argmin||BoneVector·
2 2
QBonecoff‑(QBone‑MeanBone)||+λ||QBonecoff|| ,其中,BoneVector表示统计形状模型的主成分,MeanBone表示统计形状模型的平均模型,λ表示规则化系数;
S26:利用所述系数QBonecoff计算基准部位的脊椎第一修复数据,记为QBoneRecover,计算公式为:QBoneRecover=MeanBone+BoneVector·QBonecoff,其中QBoneRecover={p0,p1,...,pl},l表示统计形状模型中平均模型的点云数量;
S27:利用旋转变换R1和平移变换t1,将基准部位的脊椎第一修复数据QBoneRecover变换到所述全局坐标系,生成脊椎第二修复数据newQBoneRecover,计算公式为:newQBoneRecover=QBoneRecover·inv(R1)‑t1,其中inv(R1)表示R1的逆矩阵。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:步骤S3、利用定位系统采集基准部位的实际坐标数据,与所述全局坐标系进行虚实配准,显示所述全局坐标系下的基准部位的体绘制数据、脊椎第二修复数据和所述定位系统获得的基准部位数据;其中,所述步骤S3包括:S31、利用定位系统测量所述基准部位上放置的标志物的点云坐标,记为其中d为在标
志物表面测量到的特征点的数量,rlandmarki表示第i个点云的三维坐标,记为xi,yi,zi;优选的,特征点的数量不少于10个;
S32、利用步骤S15的方法在所述基准部位的标志物的三维模型上标定d个特征点,特征点的几何坐标记为
tlandmarki表示第i个特征点的三维坐标,记为xi,yi,zi;优选的,特征点的位置与S31中特征点的位置一致;
S33、依据所述坐标RefLankmark和TarLankmark,定义所述定位系统坐标系向所述全局坐标系几何变换的距离函数 其中R和t分别为旋转和平移变换,m表示特征点的数量;通过优化最小距离函数E求解R和t;优选的,在求解过程中采用随机抽样一致性算法和奇异值分解算法进行优化计算,将E最小值时选择的RefLankmark和TarLankmark作为对应的特征点,计算出旋转变换R和平移变换t;
S34、利用所述定位系统测量得到实际坐标系下基准部位的数据,记为NDI_Cor=(xi,yi,zi);则所述全局坐标系中的坐标NDI_Cor′=R·NDI_Cori+t;
S35、将所述脊椎第二修复数据、所述基准部位的体绘制数据和定位系统采集的数据转化到所述全局坐标系中并显示;其中,基准部位的体绘制数据通过体绘制算法形成的,并在全局坐标系中显示。
7.一种用于增强现实的三维配准系统,其特征在于,该系统包括脊椎外表面的统计形状模型生成模块、修复模块、定位模块和配准模块,其特征在于,所述脊椎外表面的统计形状模型生成模块用于利用脊椎样本的CT影像数据生成包括脊椎外表面平均模型、以及主成分和主成分系数的脊椎外表面的统计形状模型;
所述修复模块,用于建立全局坐标系,根据基准部位的CT影像数据生成基准部位的脊椎第一三维模型和脊椎第二三维模型,与所述脊椎外表面的统计形状模型拟合计算后,获得脊椎第一修复数据,经过坐标系转换后形成脊椎第二修复数据;
所述配准模块,用于将定位系统采集的数据与所述全局坐标系配准,并通过显示装置显示全局坐标系下的采集数据、基准部位数据和修复数据;
其中,所述脊椎外表面的统计形状模型生成模块包括分割单元、第一三维模型生成单元、第一局部坐标系生成单元、第二三维模型生成单元、配准单元和统计形状模型生成单元,其中,
所述分割单元,用于分割脊椎样本CT影像数据中的脊椎和皮肤;
所述第一三维模型生成单元,用于生成脊椎样本中脊椎的第一三维模型;
所述第一局部坐标系生成单元,用于生成第一局部坐标系;
所述第二三维模型生成单元,用于将所述脊椎样本的第一三维模型变换到第一局部坐标系中,形成第二三维模型;
所述配准单元,用于建立脊椎第二三维模型之间的稠密对应点云;
所述统计形状模型生成单元,用于根据稠密对应点云,生成包含平均模型、主成分和主成分系数的脊椎外表面的统计形状模型。
8.根据权利要求7所述的系统,其特征在于,所述修复模块包括基准部位建模单元、全局坐标系生成单元和修复数据生成单元,其中:所述基准部位建模单元,用于对基准部位的CT影像数据创建基准部位的脊椎第一三维模型,并生成脊椎第二三维模型;
所述全局坐标系生成单元,用于将基准部位的第一三维模型所在的坐标系作为全局坐标系;
所述修复数据生成单元,用于生成基准部位中脊椎的修复数据。
9.根据权利要求7所述的系统,其特征在于,所述配准模块包括标志物标定单元、坐标变换单元和显示单元,其中;
所述标志物标定单元,用于获得所述定位模块传送的基准部位上放置的标志物数据的点云坐标和在所述基准部位建模单元中生成的基准部位的标志物的三维模型上标定的特征点坐标;
所述坐标变换单元,用于根据上述点云坐标和特征点坐标计算旋转和平移变换,并将基准部位中脊椎的修复数据和真实环境坐标下针对基准部位由定位模块采集的数据向全局坐标系进行三维配准;
所述显示单元,用于显示配准后的数据。
说明书 :
一种用于增强现实的三维配准方法和系统
技术领域
背景技术
确、手术时间延误、穿刺失误导致重要结构损伤及过多X线透视伴随潜在辐射等局限。虽然
临床中已有导航和机器人辅助手术技术应用,但由于其设备昂贵、操作复杂,并不利于推
广。增强现实是一种将数字化虚拟信息叠加到真实场景的一种技术,是骨科“微创化”手术
的一种有效途径。如何实现患者病患部位虚实三维数据的精确配准是骨科增强现实手术进
入临床应用的技术难点问题之一。该技术可以实现腰椎间盘突出症的脊柱内镜治疗、股骨
头坏死精准微创介入治疗与踇外翻精准微创介入治疗等临床应用。
趋势,国内外学者开展了大量的研究工作。日本Yuichiro Abe等人构建一个增强现实量角
器系统,用于引导经皮穿刺椎体成形术。瑞典卡罗林医学大学医Elmi‑Terander等人使用
Philips公司提供的增强现实术中导航系统引导置入胸椎椎弓根螺钉。美国约翰斯霍普金
斯医学院放射学研究所Jan Fritz等人研发了一套基于1.5TMRI设备的2D增强现实系统,用
于脊柱介入治疗以及肩关节和髋关节的关节造影术中。
和治疗。目前基于多源多模态医学影像的配准技术已成为研究的主流技术。目前虚拟三维
数据的配准主要包括基于电磁跟踪和基于计算机视觉两大类方法:
机的方法,实现了基于电磁跟踪器的虚实精确配准。张等人通过电磁跟踪系统实现了手术
工具的位置跟踪,引导医生进行介入式微创手术。虽然电磁跟踪器已经基于电磁原理进行
过校正,但实际使用中由于使用环境、使用距离、磁场干扰等原因,以及惯性传感器内部陀
螺仪和加速度器漂移误差和累积误差的影响,使得六自由度的观测值与实际值通常存在误
差,并不能满足精准医疗手术的应用需求。
Shelten等人利用Optotrak 3020光学跟踪设备计算手术器械的位置和姿态参数,从而实现
医学图像与手术器械的定位、跟踪和配准。但是该方法也存在易受到遮挡的影响,在高速运
动条件下容易产生误匹配等局限。贺长宇等人提出一种将光学和惯性跟踪信息进行融合的
方法,能够在部分遮挡条件下得到准确的位置和姿态信息,并将虚实融合手术导航图像准
确地反馈给用户。由于头戴式光学‑惯性混合跟踪系统相对复杂,需要通过较大量运算实现
虚实配准,容易受到计算误差的影响。
准与融合方法,实现病患身体的局部坐标系、真实手术环境的空间坐标系和惯性传感器坐
标系间的配准,以便实现手术过程中的实时跟踪和展示是亟待解决的问题。
发明内容
果、骨骼脊椎增强现实手术中患者所处真实坐标(实际坐标系)与CT影像重建的三维模型坐
标间(虚坐标系)虚实坐标系的三维配准。
据。
系,所述第一局部坐标系的坐标原点与所述重心的坐标原点相同,所述第一局部坐标系的
坐标轴分别对应三个主成分,第一局部坐标系中的Z轴为所述第一三维模型的点云数据分
布变化最大的方向,X轴为所述第一三维模型的点云数据分布变化最小的方向,所述第一局
部坐标系符合右手法则;
外表面的稠密对应点云;
中平均模型的点云数量为l。
第二三维模型进行表示,降低射线与三维模型求交过程中三角片的计算数量,提高计算速
度。
片进行三角剖分,即选取钝角对应的边的中点作为新的交点,连接钝角对应的顶点和新的
交点,重新生成两个新的三角片;
v1、v2表示三角片的三个顶点,(u,v)表示重心坐标系中v1、v2顶点对应的系数;
是否与三角片法线的方向是否一致,以降低三角片的数量。
模型的局部第一坐标系,利用几何变换将基准部位脊椎第一三维模型变换到局部第一坐标
系中,形成基准部位脊椎第二三维模型;
点迭代算法,将基准部位脊椎第二三维模型向脊椎统计形状模型的平均模型进行非刚性配
准;在两个模型的配准结果中寻找最近点,从而获得基准部位脊椎第二三维模型和平均模
型之间的对应点云,优选的,采用在K‑d树结构上寻找邻近点的方法提高最近点搜索的速
度,通过优先级队列减少回溯的次数;
2 2
BoneVector·QBonecoff‑(QBone‑MeanBone)|| +λ||QBonecoff|| ,其中,BoneVector表示
统计形状模型的主成分,MeanBone表示统计形状模型的平均模型,λ表示规则化系数;
QBoneRecover={p0,p1,...,pl},pl为统计形状模型中平均模型的点云,l表示点云数量;
newQBoneRecover=QBoneRecover·inv(R1)‑t1,其中inv(R1)表示R1的逆矩阵;
系统获得的基准部位数据;其中,所述步骤S3包括:
在标志物表面测量到的特征点的数量,rlandmarki表示第i个点云的三维坐标,记为xi,yi,
zi;优选的,特征点的数量不少于10个;
tlandmarki表示第i个特征点的三维坐标,记为xi,yi,zi;优选的,特征点的位置与S31中特
征点的位置一致;
别为旋转和平移变换,m表示特征点的数量;通过优化最小距离函数E求解R和t;优选的,在
求解过程中采用随机抽样一致性算法和奇异值分解算法进行优化计算,将E最小值时选择
的RefLankmark和TarLankmark作为对应的特征点,计算出旋转变换R和平移变换t;
绘制结果,并在全局坐标系中显示。
后,获得脊椎第一修复数据,经过坐标系转换后形成脊椎第二修复数据;
成单元,其中,
的特征点坐标;
向全局坐标系进行三维配准;
状模型,以便用于与患病脊椎数据进行对比,产生虚拟修复数据;
中易于识别等优势;
几何坐标,利用奇异值分解方法计算旋转和平移变换,实现虚实坐标系的配准;最后,将患
者病患部位体绘制、骨骼、骨骼复原结果、皮肤等的三维数据显示在屏幕。
附图说明
的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据
这些附图获得其他的附图。
具体实施方式
本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员
在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
像素的颜色值,减少了Marching Cubes算法中确定拓扑结构的时间,提高了三维重建的速
度;针对脊椎三维模型,采用主成分分析方法进行坐标几何校正,进而采用等间距等角度的
柱面采样方法实现了脊椎外表面点云的计算。在计算过程中通过八叉树结构和判断法线的
一致性,提高了射线与三维模型求交算法的速度;依据脊椎外表面三维模型上标定的特征
点,采用最近点迭代算法和薄板样条函数实现脊椎外表面三维模型的非刚性配准,进而将
配准后两个三维模型间的最近点作为对应点,建立脊椎外表面三维模型顶点之间的稠密对
应关系;采用主成分分析方法计算脊椎外表面三维模型的平均模型、主成分和主成分系数,
建立脊椎外表面的统计形状模型,该模型将用于病患部位的虚拟修复。
各个边的两个端点颜色值是否相同,从而对该边与等值面是否相交进行判断,避免了
Marching cubes算法中轮廓线的提取,加快了三维重建速度。
片进行三角剖分,即选取钝角对应的边的中点作为新的交点,连接钝角对应的顶点和新的
交点,重新生成两个新的三角片;
建立第一局部坐标系,该坐标系的坐标原点上面的o,坐标轴分别对应三个主成分;局部坐
标系的坐标轴分别对应三个主成分其中,第一局部坐标系中的Z轴为三维模型点云数据分
布变化最大的方向,X轴为三维模型点云数据分布变化最小的方向,第一局部坐标系符合右
手法则;
模型脊椎外表面的三维点云;
v0,v1,v2表示三角片的三个顶点,(u,v)表示重心坐标系中v1,v2顶点对应的系数;重心坐标
系是一个术语,就是用三个顶点的坐标表示三角形内任意一点的坐标;
角片法线的方向是否一致,以降低三角片的数量。
点;然后在第二三维模型的脊椎外表面上标定特征点。标定方法为:从屏幕拾取三维模型上
的二维像素并通过逆投影变换计算拾取像素对应的几何坐标,定义该像素在近剪裁面、远
剪裁面的交点分别为A和B,采用步骤1.4中射线与三维模型求交算法计算 与第二三维模
型中脊椎的交点,该交点记为特征点。该特征点将用于脊椎模型之间的非刚性配准;
将一个脊椎外表面的第二三维模型作模板模型,依据步骤1.4标定的特征点,采用经典的最
近点迭代算法和薄板样条函数进行模板模型向其他脊椎外表面第二三维模型的非刚性配
准;进一步,将配准后的两个第二三维模型间的最近点作为对应点,建立脊椎外表面第二三
维模型点云之间的稠密对应关系,记为
其中pi表示脊椎外表面模型中每个
点云的几何坐标,l表示点云的个数;从而建立每个脊椎外表面的第二三维模型点云间的对
应关系;
2,3,…,f]和主成分系数Bonecoff={sbi,i=1,2,3,...,f},建立脊椎外表面的统计形状
模型。由于已经建立了点云稠密对应,即每个脊椎外表面由相同数量的点云构成,因此平均
模型是所有脊椎外表面模型的平均值;xi,yi,zi表示每个点云的三维坐标,l表示点云的个
数,svectori表示统计形状空间中的主成分,sbi表示对应的主成分系数,f表示主成分的个
数。该统计模型将在形状空间实现脊椎外表面三维模型的表示,为步骤二实现病患部位脊
椎的虚拟修复提供数据基础。
S1中的方法类似,采用基于分割的Marching Cubes算法和等间距等角度柱面采样,实现基
准部位脊椎外表面和皮肤的三维建模。其中骨骼三维模型将用于虚拟修复,皮肤三维模型
将用于虚实模型的配准。在基准部位的脊椎外表面三维模型和脊椎外表面的平均模型上交
互地标定特征点,利用最近点迭代算法和薄板样条函数实现基准部位的脊椎外表面三维模
型和脊椎外表面的平均模型的非刚性配准,进而将配准后两个三维模型间的最近点作为对
应点,建立基准部位脊椎模型和平均模型顶点间的点云对应关系;依据上述的脊椎外表面
统计形状模型,通过优化能量函数计算基准部位的脊椎对应的主成分系数,得到基准部位
脊椎的虚拟修复数据,还可以将修复结果显示在显示装置中。
交算法,计算脊椎、标志物和皮肤外表面的三维点云,分别记为
和
m和n分别表示点云个数;第一三维模型所在
的坐标系为全局坐标系;在显示的时候,以此坐标系为参考,其他坐标系都要向此坐标系转
换;
证配准结果的准确性,优选为在每段椎骨内的特征点不少于三对;
MeanBone的非刚性配准。通过在配准结果中寻找最近点,建立基准部位脊椎模型QBone和平
均模型MeanBone点云间的对应关系,也即对应点云。通过上述非刚性配准方法将提高两个
脊椎模型非刚性配准的准确性,建立高质量的点云稠密对应关系,用于获得基准部位脊椎
的虚拟修复数据;优选的,采用在K‑d树结构上寻找邻近点的方法提高最近点搜索的速度,
通过优先级队列减少回溯的次数;
2 2
|BoneVector·QBonecoff‑(QBone‑MeanBone)||+λ||QBonecoff|| ,其中,BoneVector表示
统计形状模型的主成分,MeanBone表示统计形状模型的平均模型,λ表示规则化系数;
QBoneRecover={p0,p1,...,pl},l表示统计形状模型中平均模型的点云数量;该修复数据
受到了脊椎三维形状先验知识(即脊椎统计形状模型)的约束,因此修复数据的准确性更
高;
newQBoneRecover=QBoneRecover·inv(R1)‑t1,其中inv(R1)表示R1的逆矩阵。
脊椎第二修复数据和所述定位系统获得的基准部位数据;其中,定位系统可以采用NDI
POLARIS高精度光学定位系统,其精度高。
征点的几何坐标;利用随机抽样一致性算法和奇异值分解算法,选择对应性最高的标志物
标定点并计算旋转和平移变换,实现基准部位骨骼数据的虚拟修复和真实环境坐标(实际
坐标系)与基于CT影像重建的三维模型坐标间(虚坐标系,即全局坐标系)虚实坐标系的三
维配准,从而将基准部位各组织结构(皮肤、骨骼、周边的血管和肌肉等)、虚拟修复的骨骼
模型数据和NDI POLARIS手术器械的空间位置进行融合现实,这种方法可以用于支撑增强
现实手术的实施,如基准部位虚拟修复结果利用不同颜色和透明度进行显示;根据虚实坐
标之间的对应关系,将NDI POLARIS高精度光学定位系统测量系统拾取的坐标值映射到虚
坐标系中,实现虚实数据的融合展示。
其中d为在标
志物表面测量到的特征点的个数,rlandmarki表示第i个点云的三维坐标,记为xi,yi,zi;
其中d为
特征点的个数,tlandmarki表示第i个特征点的三维坐标,记xi,yi,zi;优选的,特征点的位
置与S31中特征点的位置一致;
其中R和t分别为旋转和平移变换,m
表示特征点的数量,通过优化最小距离函数E求解R和t;
t,克服由于特征点标定不准确造成的旋转和平移矩阵计算过程中的误差;
将真实环境下物体匹配到全局坐标环境下;
和透明度进行显示;将步骤3.4中NDI POLARIS高精度光学定位系统测量系统拾取的坐标值
NDI_Cor'进行跟踪。实现虚实数据的融合展示。
得脊椎第一修复数据,经过坐标系转换后形成脊椎第二修复数据;
中,
骨和皮肤的图像分割。
体素,判断体素中每条棱边两个端点的颜色值是否相同,确定当前体素中该边与等值面是
否有交点,通过线性插值方法计算出体素棱边与等值面的交点,利用中心差分方法,求出体
素各边顶点处的法向量,再通过线性插值方法求出三角面片各顶点处的法向量,进而获得
脊椎样本的脊椎内外表面的第一三维模型。
取,加快了三维建模的速度。
矩阵对应的三个正交的主成分,建立第一局部坐标系,第一局部坐标系的坐标原点与重心
的原点相同,坐标轴分别对应三个主成分;局部坐标系的坐标轴分别对应三个主成分其中,
第一局部坐标系中的Z轴为三维模型点云数据分布变化最大的方向,X轴为三维模型点云数
据分布变化最小的方向,第一局部坐标系符合右手法则;
脊椎外表面的三维点云;实现的具体的方法见上文的步骤1.4。
上文的步骤1.6。
1.7。
成单元、第二三维模型生成单元进行建模,获得基准部位的脊椎骨、标志物和皮肤的三维建
模。其中,标志物为塔尖状圆形物体,并通过胶布粘贴在基准部位的皮肤表面;基准部位的
CT影像数据包括该标志物。
生成单元生成的平均模型MeanBone上交互地标定特征点,为了保证配准结果的准确性,优
选为在每段椎骨内的特征点不少于三对;(2)通过最近点迭代算法计算旋转和平移矩阵实
现QBone向MeanBone的刚性配准,计算获得旋转变换R1和平移变换t1;采用非刚性最近点迭
代算法实现QBone向MeanBone的非刚性配准。通过在配准结果中寻找最近点,建立基准部位
脊椎模型QBone和平均模型MeanBone点云间的对应关系,也即对应点云。通过上述非刚性配
准方法将提高两个脊椎模型非刚性配准的准确性,建立高质量的点云稠密对应关系;优选
的,采用在K‑d树结构上寻找邻近点的方法提高最近点搜索的速度,通过优先级队列减少回
溯的次数;(3)根据脊椎外表面统计形状模型,计算基准部位脊椎模型在脊椎统计形状模型
空间中对应的系数,记为QBonecoff,其计算公式如下:QBonecoff=argmin||BoneVector·
2 2
QBonecoff‑(QBone‑MeanBone)||+λ||QBonecoff|| ,其中,BoneVector表示统计形状模型
的主成分,MeanBone表示统计形状模型的平均模型,λ表示规则化系数;(4)利用系数
QBonecoff,计算基准部位脊椎第一虚拟修复数据,计算公式为:QBoneRecover=MeanBone+
BoneVector·QBonecoff,其中QBoneRecover={p0,p1,...,pl},l表示统计形状模型中平均
模型的点云数量;该修复数据受到了脊椎三维形状先验知识(即脊椎统计形状模型)的约
束,因此修复数据的准确性更高;(5)利用旋转变换R1和平移变换t1,将基准部位的脊椎第
一修复数据QBoneRecover变换到全局坐标系,生成脊椎第二修复数据newQBoneRecover,计
算公式为:newQBoneRecover=QBoneRecover·inv(R1)‑t1,其中inv(R1)表示R1的逆矩阵。
用于后面的配置显示。
据和定位系统获得的基准部位数据。
为在标志物表面测量到的特征点的个数,rlandmarki表示第i个点云的三维坐标,记为xi,
yi,zi;该单元还利用步骤1.5中的特征点标定算法,在基准部位建模单元中生成的基准部位
的标志物的三维模型上标定d个特征点,记为
其中d为特
征点的个数,tlandmarki表示第i个点云的三维坐标,记为xi,yi,zi;;
坐标(实际坐标系)与全局坐标系的三维配准。在该单元中,根据坐标RefLankmark和
TarLankmark,定义NDI POLARIS高精度光学定位系统坐标系向全局坐标系几何变换的距离
函数 其中R和t分别为旋转和平移变换,m表示
特征点的数量,数值计算中通过优化最小距离函数E求解R和t;定位系统测量的真实环境中
基准部位坐标记为NDI_Cor=(xi,yi,zi),则其在全局坐标系中坐标记为NDI_Cor′=R·
NDI_Cori+t;从而将真实环境下物体匹配到全局坐标环境下。
换t,克服由于特征点标定不准确造成的旋转和平移矩阵计算过程中的误差;
以用于支撑增强现实手术的实施,如基准部位脊椎第二修复数据利用不同颜色和透明度进
行显示;在增强现实显示时,将利用体绘制算法实现基准部位周围结构(皮肤、骨骼、周边的
血管和肌肉等)的真实感体绘制;将虚拟修复的基准部位脊椎第二修复数据利用不同颜色
和透明度进行显示;对NDI POLARIS高精度光学定位系统测量系统拾取的坐标值NDI_Cor'
进行跟踪。
量,提高了脊椎模型间配准的准确性和脊椎统计形状模型的准确性。该方法通过采用基于
遗传算法的大津法实现了不同组织的分割,进而采用Marching Cubes算法实现脊椎三维建
模,由于直接比较体素中两个端点的颜色值提高了算法重建的速度。通过主成分分析方法
实现了脊椎三维模型的几何校正,进而采用等间距和等角度柱面采样方法实现了脊椎外表
面点云的计算。由于在计算过程中需要便利脊椎三维模型中的每个三角片,因此通过采用
八叉树结构和检测法线方向的一致性,极大减少了三角片求交的次数,提高了外表面点云
计算的速度。
模型,实现了病患部位骨骼的虚拟修复,提高了虚拟修复结果的准确性。该方法通过非刚性
配准建立了病患部位与完整脊椎外表面平均模型间的点云对应关系,从而在脊椎外表面统
计形状模型中计算病患部位脊椎对应的主成分系数,通过统计形状模型的形状约束,实现
病患部位骨骼的形状拟合。与现有基于平均模型和薄板样条等非刚性配准实现脊椎虚拟修
复的方法相比较,本发明将脊椎外表面几何形状的先验知识作为约束,克服了非刚性配准
方法中参考模型难以选择和配准结果不准确造成的修复结果错误等的问题,提高了病患部
位虚拟修复结果的准确性。通过将该虚拟修复结果与病患部位体绘制结果进行重叠现实,
将有效指导增强现实手术中的手术规划方案。
椎增强现实手术中患者所处真实坐标(实际坐标系)与基于CT影像重建的三维模型坐标间
(虚坐标系)虚实坐标系的三维精确配准。与NDI POLARIS提供的球形标定为相比较,本发明
使用的自制标记物体积小、成本低、配准过程中易于识别的优势。在虚实坐标系的配准过程
中,采用了随机抽样一致性算法和奇异值分解结合的方法,克服了由于对应点标记不准确
造成的旋转和平移计算不准确的问题,通过寻找距离函数最小值时选取的标志点作为计算
依据,提高了旋转和平移变换计算的准确性,提高了配准的准确性。
例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替
换,并不使相应的技术方案的本质脱离本发明各实施例技术方案的精神和范围。