包括机器人的用于引导骨切除的增强现实可视化转让专利
申请号 : CN202010160714.4
文献号 : CN111329552B
文献日 : 2021-06-22
发明人 : P·K·朗
申请人 : P·K·朗
摘要 :
权利要求 :
1.一种用于准备患者体内的物理关节的系统,包括:至少一个计算机,其被配置为生成虚拟手术导板,其中所述虚拟手术导板是虚拟平面,其中所述虚拟平面是三维数字表示,其指示与一个或多个解剖结构相关的预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度或其组合,用于对准一个或多个物理手术导板、物理锯片、或物理插入件;和透视光学头戴式显示器,其被配置为以所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、或其组合将所述虚拟手术导板显示在透过所述透视光学头戴式显示器能够直接可见的所述物理关节的表面上,以便将所述虚拟手术导板迭加在所述物理关节的所述表面上,
其中所述虚拟手术导板被配置为允许所述一个或多个物理手术导板、物理锯片或物理插入件与所述虚拟手术导板之间的迭加和对准,其中所述患者的所述物理关节以及所述一个或多个物理手术导板、物理锯片、或物理插入件透过所述透视光学头戴式显示器能够直接可见,其中所述一个或多个物理手术导板、物理锯片、或物理插入件被配置为执行或指示所述关节的一个或多个骨切割,并且
其中所述一个或多个解剖结构被配准在坐标系中。
2.根据权利要求1所述的系统,其中所述物理手术导板、物理锯片或物理插入件附接在机器人上。
3.根据权利要求2所述的系统,其中所述机器人包括机器人手臂。
4.根据权利要求1所述的系统,其中所述虚拟平面与所述关节的所述表面相交,并且其中所述虚拟平面是所述物理锯片的虚拟预定路径。
5.根据权利要求1所述的系统,其中所述透视光学头戴式显示器被配置为显示与所述关节的至少一部分相交的虚拟锯片。
6.根据权利要求5所述的系统,其中所述虚拟锯片是物理锯片的三维数字表示。
7.根据权利要求1所述的系统,其中所述虚拟平面被配置为允许所述一个或多个物理手术导板、物理锯片、或物理插入件与所述虚拟平面至少部分迭加。
8.根据权利要求1所述的系统,其中所述虚拟平面在所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度或其组合下的显示被配置为当所述一个或多个物理手术导板、物理锯片、或物理插入件在用户的视野中移动时或当所述患者的所述物理关节移动时,由所述至少一个计算机相对于所述一个或多个解剖结构保持在所述物理关节的所述表面上。
9.根据权利要求1所述的系统,其中所述至少一个计算机被配置为当所述一个或多个物理手术导板、物理锯片、或物理插入件至少部分地与所述虚拟平面迭加时,将所述虚拟平面相对于所述一个或多个解剖结构保持在所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度或其组合。
10.根据权利要求1所述的系统,其中所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、或预定斜度包括预定起始位置、预定中间位置、预定结束位置、或其组合中的至少一个,或者其中所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、或预定斜度包括预定角度、预定起始定向、预定起始对准、预定中间定向、预定中间对准、预定结束定向、预定结束对准、或其组合。
11.根据权利要求1所述的系统,其中所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、或预定斜度包括预定起始点、预定中间点、预定结束点、或其组合中的至少一个。
12.根据权利要求1所述的系统,其中所述虚拟平面在所述预定切除水平、或预定切除角度中的所述至少一个下的显示确定了髋关节置换中的腿长度。
13.根据权利要求1所述的系统,其中所述虚拟平面在所述预定切除水平、或预定切除角度中的所述至少一个下的显示确定了髋关节置换中的股骨组件的位置、定向、或其组合。
14.根据权利要求1所述的系统,其中所述虚拟平面在所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度或其组合下的显示确定了膝关节置换中股骨组件的内翻或外翻角度、屈曲或旋转或者胫骨组件的内翻或外翻角度、斜度、或旋转。
15.根据权利要求1所述的系统,其中所述虚拟平面用于在肩关节置换中引导肱骨的骨切割。
16.根据权利要求1所述的系统,其中所述虚拟平面在所述预定切除水平、预定切除角度、预定内翻或外翻角度、或预定屈曲中的至少一个下的显示确定了踝关节置换中胫骨或距骨组件的冠状面对准或旋转。
17.根据权利要求1所述的系统,进一步包括射频标记、IMU、光学标记、几何图案、手术导航系统、图像捕获系统、深度传感器、激光扫描仪、3D扫描仪、或其组合中的至少一个,其被配置为确定所述一个或多个解剖结构在所述坐标系中的x、y和z坐标。
18.根据权利要求1所述的系统,进一步包括至少一个红外标记,其被配置为确定所述一个或多个解剖结构在所述坐标系中的x、y和z坐标。
19.根据权利要求1所述的系统,进一步包括至少一个LED,其被配置为确定所述一个或多个解剖结构在所述坐标系中的x、y和z坐标。
20.根据权利要求1所述的系统,进一步包括成像系统,其被配置为追踪在所述坐标系中的所述一个或多个解剖结构或者在所述坐标系中的一个或多个物理手术导板、物理锯片、或物理插入件。
21.根据权利要求1所述的系统,进一步包括患者特异性模板、患者的x射线图像或其组合,其被配置为配准在所述坐标系中的所述一个或多个解剖结构。
22.根据权利要求1所述的系统,其中所述一个或多个解剖结构包括解剖标志、解剖平面或其组合。
23.根据权利要求1所述的系统,其中所述一个或多个解剖结构包括关节表面、软骨表面、软骨下骨表面、皮质骨表面、一个或多个表面点、解剖轴、生物力学轴、机械轴或其组合。
24.一种用于准备患者体内的物理关节的系统,包括:至少一个计算机,其被配置为生成虚拟手术导板,其中所述虚拟手术导板是虚拟平面,其中所述虚拟平面是三维数字表示,其指示相对于一个或多个解剖结构的预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度或其组合,用以对准物理组织切割器,其中所述物理组织切割器附接到机器人;和透视光学头戴式显示器,其被配置为以所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度或其组合将所述虚拟手术导板显示在透过所述透视光学头戴式显示器能够直接可见的所述物理关节的表面上,以便将所述虚拟手术导板迭加在所述物理关节的所述表面上,
其中所述虚拟手术导板被配置为允许所述物理组织切割器与所述虚拟手术导板之间的迭加和对准,
其中所述患者的所述物理关节和所述物理组织切割器透过所述透视光学头戴式显示器能够直接可见,
其中所述物理组织切割器被配置为执行所述关节的一个或多个骨切割,并且其中所述一个或多个解剖结构被配准在坐标系中。
25.一种用于准备患者体内的物理关节的系统,包括:至少一个计算机,其被配置为生成虚拟手术导板,其中所述虚拟手术导板是虚拟平面,其中所述虚拟平面是三维数字表示,其指示相对于一个或多个解剖结构的预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度或其组合,用以对准物理组织切割器,其中所述物理组织切割器附接到机器人;和透视光学头戴式显示器,其被配置为以所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度或其组合将所述虚拟手术导板显示在透过所述透视光学头戴式显示器能够直接可见的所述物理关节的表面上,以便将所述虚拟手术导板迭加在所述物理关节的所述表面上,
其中所述虚拟手术导板被配置为允许所述物理组织切割器与所述虚拟手术导板之间的迭加和对准,
其中所述患者的所述物理关节和所述物理组织切割器透过所述透视光学头戴式显示器能够直接可见,
其中所述物理组织切割器被配置为执行所述关节的一个或多个骨切除,并且其中所述一个或多个解剖结构被配准在坐标系中。
26.根据权利要求24或25所述的系统,其中所述组织切割器是锯、去毛刺器、钉、手术刀、扩孔器。
27.根据权利要求24或25所述的系统,其中所述组织切割器是锯片。
28.根据权利要求24或25所述的系统,其中所述组织切割器是铣刀。
29.根据权利要求24或25所述的系统,其中所述组织切割器是手持式的。
30.根据权利要求24或25所述的系统,其中所述机器人包括机器人手臂。
31.根据权利要求24或25所述的系统,其中所述至少一个计算机被配置为当所述物理组织切割器在用户的视野内移动时或者当所述患者的所述物理关节移动时,将所述虚拟平面的显示相对于所述一个或多个解剖结构在所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、或其组合中的至少一个下保持在所述物理关节的所述表面上。
32.根据权利要求24或25所述的系统,其中所述至少一个计算机被配置为当所述物理组织切割器至少部分地与所述虚拟平面迭加时,将所述虚拟平面的显示相对于所述一个或多个解剖结构保持在所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、或其组合中的所述至少一个下。
33.根据权利要求24或25所述的系统,其中所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲或预定斜度中的所述至少一个包括预定起始位置、预定中间位置、预定结束位置、或其组合中的至少一个。
34.根据权利要求24或25所述的系统,其中所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲或预定斜度中的所述至少一个包括预定起始点、预定中间点、预定结束点、或其组合中的至少一个。
35.根据权利要求24或25所述的系统,其中所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲或预定斜度中的所述至少一个包括预定角度、预定起始定向、预定起始对准、预定中间定向、预定结束定向、预定结束对准、或其组合中的至少一个。
36.根据权利要求24或25所述的系统,其中所述至少一个计算机被配置为通过所述光学头戴式显示器显示安全区域。
37.根据权利要求36所述的系统,其中所述至少一个计算机被配置为当所述组织切割器在所述安全区域内、靠近所述安全区域或者违反所述安全区域时通过所述光学头戴式显示器显示视觉警报或者触发声学警报。
38.根据权利要求24或25所述的系统,其中所述虚拟平面与所述关节的所述表面相交,并且其中所述虚拟平面是锯片的虚拟预定路径。
39.根据权利要求24或25所述的系统,其中所述至少一个计算机被配置为通过所述透视光学头戴式显示器显示从所述患者的所述物理关节的预定组织移除。
40.根据权利要求24或25所述的系统,其中所述至少一个计算机被配置为通过所述透视光学头戴式显示器显示从所述患者的所述物理关节的预定组织切除。
41.根据权利要求24或25所述的系统,其中所述透视光学头戴式显示器被配置为显示与所述关节的至少一部分相交的虚拟锯片。
42.一种用于准备患者体内的物理关节的系统,所述系统包括:至少一个处理器,
至少一个透视光学头戴式显示器,和
至少一个用户接口,
其中所述系统被配置为生成虚拟手术导板,其中所述虚拟手术导板是虚拟轴,其中所述虚拟轴是用于对准至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合的三维数字表示,其是从相对于所述物理关节的至少一个解剖结构的预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、预定倾侧、预定倾斜、或其组合导出的,
其中,所述系统被配置为通过所述至少一个透视光学头戴式显示器在预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、预定倾侧、预定倾斜、或其组合下将所述虚拟手术导板显示在透过所述透视光学头戴式显示器能够直接可见的物理关节的表面上,以便将虚拟手术导板迭加到物理关节的表面上,其中所述系统被配置为允许所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合与由所述至少一个透视光学头戴式显示器显示的所述虚拟手术导板的至少一部分之间的迭加和对准,并且其中所述至少一个解剖结构被配准在坐标系中。
43.根据权利要求42所述的系统,其中所述系统被配置为响应于所述物理关节的移动来调整所述虚拟手术导板的显示,以将所述虚拟手术导板的显示相对于所述物理关节的所述至少一个解剖结构保持在所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、预定倾侧、预定倾斜或其组合下。
44.根据权利要求42所述的系统,其中所述系统被配置为当所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器或撞击器、或其组合在用户的视野中移动时,将所述虚拟手术导板的显示以所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、预定倾侧、预定倾斜或其组合保持在所述物理关节的所述表面上。
45.根据权利要求42所述的系统,其中所述至少一个用户接口包括图形用户接口、语音识别、手势识别、由所述至少一个透视光学头戴式显示器显示的虚拟接口、由所述至少一个透视光学头戴式显示器显示的虚拟键盘、物理键盘、物理计算机鼠标、物理追踪板、或其组合。
46.根据权利要求42所述的系统,其中所述系统被配置为通过在物理关节的移动期间保持与第一关节表面和第二关节表面的配准,响应于包括第一关节表面和第二关节表面的物理关节的移动来调整所述虚拟手术导板的显示。
47.根据权利要求42所述的系统,其中所述虚拟轴是所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合的置位指示物。
48.根据权利要求47所述的系统,其中所述置位指示物是对应于所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合的至少一部分或轴的三维数字表示。
49.根据权利要求42所述的系统,其中所述系统用于为植入体组件准备所述物理关节,并且其中所述植入体组件用于膝关节置换、髋关节置换、肩关节置换或踝关节置换。
50.根据权利要求42所述的系统,其中所述系统用于准备所述物理关节用以前十字韧带的重建,并且其中所述虚拟轴与预定股骨隧道、预定胫骨隧道、前十字韧带移植物的预定位置、或前十字韧带移植物的预定定向中的至少一个对准。
51.根据权利要求42所述的系统,其中所述预定切除水平包括预定起始位置、预定结束位置、或其组合,或者其中所述预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、预定倾侧、预定倾斜、或其组合包括预定角度、预定起始定向、预定起始对准、预定结束定向、预定起始位置和结束位置、预定结束对准、或其组合。
52.根据权利要求42所述的系统,其中所述预定切除水平包括预定起始点、预定结束点、或其组合,或者其中所述预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、预定倾侧、预定倾斜、或其组合包括预定角度、预定起始定向、预定起始对准、预定结束定向、预定起始点和结束点、预定结束对准、或其组合。
53.根据权利要求42所述的系统,其中所述虚拟轴的所述预定切除水平、预定切除角度、预定内翻或外翻角度、预定屈曲、预定斜度、预定倾侧、预定倾斜、或其组合被配置为确定膝关节置换中股骨组件的屈曲、内翻或外翻角度或旋转或者胫骨组件的斜度内翻或外翻角度、或旋转,或髋关节置换中髋臼组件的偏移、倾斜或前倾或者股骨组件的偏移、前倾或腿长,或肩关节置换中关节盂或肱骨组件的位置、定向或倾侧,或踝关节置换中胫骨或距骨组件的冠状面对准或旋转。
54.根据权利要求42所述的系统,其中所述至少一个解剖结构透过所述光学头戴式显示器能够直接可见。
55.根据权利要求42所述的系统,其中所述系统被配置为使用射频标记、IMU、光学标记、几何图案、患者特异性标记、手术导航系统、图像捕获系统、深度传感器、激光扫描仪、3D扫描仪、或其组合来获得所述至少一个解剖结构的坐标,并且其中所述坐标被配准在所述坐标系中。
56.根据权利要求42所述的系统,进一步包括至少一个红外标记,其被配置为确定所述至少一个解剖结构在所述坐标系中的x、y和z坐标。
57.根据权利要求42所述的系统,进一步包括至少一个LED,其被配置为确定所述至少一个解剖结构在所述坐标系中的x、y和z坐标。
58.根据权利要求42所述的系统,进一步包括成像系统,其被配置为追踪在所述坐标系中的所述至少一个解剖结构或者在所述坐标系中的至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合。
59.根据权利要求42所述的系统,进一步包括患者特异性模板、患者的x射线图像或其组合,其被配置为配准在所述坐标系中的所述至少一个解剖结构。
60.根据权利要求42所述的系统,其中在所述迭加和对准期间,所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合以及所述虚拟轴透过所述透视光学头戴式显示器能够直接可见。
61.根据权利要求42所述的系统,其中所述至少一个解剖结构包括解剖标志、解剖平面或其组合。
62.根据权利要求42所述的系统,其中所述至少一个解剖结构包括关节表面、软骨表面、软骨下骨表面、皮质骨表面或其组合。
63.根据权利要求42所述的系统,其中能够透过关节镜看到所述至少一个解剖结构。
64.根据权利要求42所述的系统,其中所述至少一个解剖结构包括关于解剖轴、生物力学轴、机械轴、两个或更多个解剖标志之间的尺寸、前部和后部解剖结构之间的尺寸、内侧和外侧解剖结构之间的尺寸、上部和下部解剖结构之间的尺寸、曲率、表面、边缘、或其组合的信息。
65.根据权利要求61所述的系统,其中所述解剖标志包括以下一项或多项:髋臼的一部分或整体、髂壁的一部分、耻骨的一部分、坐骨的一部分、髂前上棘、髂前下棘、耻骨联合、大转子的一部分或整体、小转子的一部分或整体、股骨头的中心、股骨干的一部分或整体、股骨颈的一部分或整体、股骨头的一部分或整体、横向髋臼韧带、丘脑枕、一个或多个骨赘、股骨髁的一部分或整体、前十字韧带、滑车的一部分或整体、股骨前皮质的一部分、内侧上髁隆起、外侧上髁隆起、胫骨内侧坪的一部分或整体、胫骨外侧坪一部分或整体、内侧胫骨脊的一部分或整体、外侧胫骨脊的一部分或整体、胫骨前皮质的一部分、髌骨的内侧边缘、髌骨的外侧边缘、髌骨上极、髌骨下极、髌骨骨赘、股骨凹陷的内侧壁、股骨凹陷的外侧壁、股骨凹陷的顶部、内侧髁的内侧壁、外侧髁的外侧壁、内侧股骨髁形状、内侧股骨髁半径、内侧股骨髁凸面、内侧股骨髁凹面、外侧股骨髁形状、外侧股骨髁半径、外侧股骨髁凸面、外侧股骨髁凹面、髁间凹陷形状、髁间凹陷表面特征、前内侧胫骨边缘、前外侧胫骨边缘、内侧胫骨边缘、外侧胫骨边缘、关节盂的一部分或整体、喙突的一部分或整体、肩峰的一部分或整体、锁骨的一部分、肱骨头的一部分或整体、肱骨颈的一部分或整体、肱骨干的一部分、一个或多个肱骨骨赘、一个或多个关节盂骨赘、盂唇的一部分或整体、肩部韧带的一部分或整体、喙肩韧带的一部分或整体、以及盂肱韧带的一部分或整体。
66.根据权利要求61所述的系统,其中所述解剖标志包括以下一项或多项:内侧坪的最低点、外侧坪的最低点、内侧坪的最高点、外侧坪的最高点、胫骨内侧坪形状、胫骨外侧坪形状、胫骨内侧坪表面、胫骨内侧坪表面特征、胫骨内侧坪半径、胫骨内侧坪凸面、胫骨内侧坪凹面、胫骨外侧坪形状、胫骨外侧坪表面、胫骨外侧坪表面特征、胫骨外侧坪半径、胫骨外侧坪凸面以及胫骨外侧坪凹面。
67.根据权利要求42所述的系统,其中所述物理关节的所述表面包括骨、相对的关节表面、皮肤、皮下组织、韧带、半月板中的一个或多个。
68.根据权利要求43所述的系统,其中所述患者的所述物理关节的移动包括以下一项或多项的移动:软骨表面、皮质骨表面、软骨下骨表面、关节表面,骨赘、切割骨表面、扩孔骨表面、铣削骨表面、撞击骨表面、皮肤、皮下组织、髋臼、髂壁、耻骨、坐骨、髂前上棘、髂前下棘、耻骨联合、大转子、小转子、股骨干、股骨颈、股骨头、横向髋臼韧带、丘脑枕、盂唇、股骨髁、股骨凹陷、滑车、股骨的前皮质、上髁隆起、胫骨内侧坪、胫骨外侧坪、胫骨脊、胫骨皮质、髌骨、前十字韧带、后十字韧带、内侧副韧带、外侧副韧带、半月板、关节盂、喙突、肩峰、锁骨、肱骨头、肱骨颈、肱骨干、盂唇、肩部韧带、胫骨远端和距骨中的一项或多项的至少一部分。
69.根据权利要求42所述的系统,其中一个或多个标记附接于第一关节侧和第二关节侧,其中在所述关节的移动期间追踪所述第一关节侧和所述第二关节侧上的所述一个或多个标记的位置和/或定向,并且其中所述一个或多个标记包括IMU、光学标记、几何图案、射频标记、中的一个或多个。
70.根据权利要求42所述的系统,其中一个或多个标记附接于第一关节侧和第二关节侧,其中在所述关节的移动期间追踪所述第一关节侧和所述第二关节侧上的所述一个或多个标记的位置和/或定向,并且其中所述一个或多个标记包括红外标记或逆向反射标记中的一个或多个。
71.根据权利要求42所述的系统,其中所述系统被配置为在所述坐标系中追踪所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、撞击器、或其组合。
72.根据权利要求71所述的系统,其中所述系统被配置为当所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合偏离预定手术计划时,通过所述至少一个透视光学头戴式显示器以一种或多种颜色显示视觉警报信号。
73.根据权利要求42所述的系统,其中所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合是手持式的。
74.根据权利要求42或73所述的系统,其中所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合被附接到机器人。
75.根据权利要求74所述的系统,其中所述系统被配置为通过所述至少一个透视光学头戴式显示器在所述物理关节的表面上显示安全区域,其中所述安全区域指示用于所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合的预定操作范围。
76.根据权利要求74所述的系统,其中所述系统被配置为通过所述至少一个透视光学头戴式显示器来显示视觉警报,和/或其中所述系统被配置为当所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合在安全区域内或安全区域外时触发声学警报。
77.根据权利要求74所述的系统,其中所述机器人具有机器人手臂。
78.根据权利要求74所述的系统,其中所述机器人引导至少一个物理手术钻、去毛刺器、铣刀、锯、切割块、导向杆或扩孔器。
79.根据权利要求42所述的系统,其中所述系统被配置为持续地显示所述虚拟手术导板。
80.根据权利要求1、24、25或42的任一项所述的系统,其中所述系统被配置为间歇地显示所述虚拟手术导板。
81.根据权利要求1、24、25或42的任一项所述的系统,其中至少一个透视光学头戴式显示器包括至少一个处理器。
82.根据权利要求1、24、25或42的任一项所述的系统,其中至少一个处理器与至少一个透视光学头戴式显示器分离。
83.根据权利要求42的所述的系统,其中所述虚拟轴被配置为允许所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合与所述虚拟轴的至少部分迭加。
84.根据权利要求42的所述的系统,其中所述虚拟轴被配置为允许所述至少一个物理手术钻、钻孔导板、钉、导向杆、扩孔器、铣刀、去毛刺器、或撞击器、或其组合与所述虚拟轴的至少部分对准。
85.根据权利要求42所述的系统,其中所述物理关节的所述表面包括软骨。
说明书 :
包括机器人的用于引导骨切除的增强现实可视化
62/323,716;2016年5月5日提交的美国临时申请,编号62/331,995; 2016年6月26日提交的
美国临时申请,编号62/354,780;2016年8月23日提交的美国临时申请,编号62/378,242;
2016年9月11日提交的美国临时申请,编号62/ 393,054;2016年10月10日提交的美国临时
申请,编号62/406,379;2016年11月21 日提交的美国临时申请,编号62/425,019;2017年1
月12日提交的美国临时申请,编号62/445,691;2017年2月1日提交的美国临时申请,编号
62/453,484,的权益和优先权,其全部内容通过引用整体纳入本申请。
技术领域
背景技术
测点)可以与显示器上显示的信息配准。由于手术部位位于不同的位置,并且外科医生目之
所视与外部计算机监视器的视图坐标系统迥异,因此,手眼协调对于外科医生来说具有挑
战性。
发明内容
虚拟切割和/或带切割块或钻孔导板的虚拟手术导板(guide))的同时可视。在一些实施方
案中,包括患者实时数据的手术部位,光学头戴式显示器和虚拟数据都在共同坐标系中配
准。在一些实施方案中,虚拟数据被迭加到患者实时数据上并与之对准。与混合实时数据的
虚拟现实头戴系统不同,光学头戴式显示器允许外科医生查看患者实时数据(比如,手术
野),同时使用光学头戴式显示器单元的显示器查看具有预定位置和/或方位的患者和/或
虚拟手术器械或植入体的虚拟数据。
个或多个虚拟手术工具,包括虚拟手术导板或切割块的虚拟手术器械,虚拟试验植入体,虚
拟植入体组件,虚拟植入体或虚拟设备,预定起始点,预定起始位置,预定起始定向或对准,
预定中间点,预定中间位置,预定中间定向或对准,预定终点,预定结束位置,预定结束定向
或对准,预定路径,预定平面,预定切割平面,预定外形或轮廓或横截面或表面特征或形状
或投影,预定深度标记或深度计,预定角度或定向或旋转标记,预定轴(比如,旋转轴,弯曲
轴,延伸轴,虚拟手术工具、包括虚拟手术导板或切割块的虚拟手术器械、虚拟试验植入体、
虚拟植入体组件、植入体或装置等的预定轴),用于一个或多个装置或植入体或植入体组件
或手术器械或手术工具的非可视化部分,和/或一种或多种预定组织变化或改变等。
于物理手术导板,物理手术导板的置位指示物或其组合中的一部分。在一些实施方案中,所
述至少一个光学头戴式显示器配置成显示至少部分地基于虚拟手术导板的预定位置坐标
来迭加在物理关节上的虚拟手术导板,并且虚拟手术导板配置成将物理手术导板或物理锯
片与虚拟手术导板对准以引导关节骨切割。
轴,机械轴或其组合中的至少一个。
正常机械轴对准。
中,所述至少一个光学头戴式显示器被配置为基于股骨组件的预定屈曲或胫骨组件的预定
斜度来对准虚拟手术导板。
导板,其中预定脚踝对准包括冠状面植入体组件对准(coronal plane implant component
alignment),矢状面植入体组件对准,轴向平面组件对准(axial plane component
alignment),植入体组件旋转或其组合。
植入体组件对准来对准虚拟手术导板,其中,肱骨植入体组件对准包括冠状面植入体组件
对准,矢状面植入体组件对准,轴向平面组件对准,植入体组件或其组合。
三维表示,三维表示对应于物理手术导板的一部分,物理手术导板的置位指示物或其组合
中的至少一个,其中光学头戴式显示器被配置为至少部分的基于虚拟手术导板的预定位置
的坐标而显示迭加到物理关节的虚拟手术导板,并且其中虚拟手术导板配置成用于对准物
理手术导板或锯片以引导关节的骨切割。
的至少一部分,并且其中光学头戴式显示器被配置为至少部分地基于虚拟骨切割平面的预
定位置的坐标来显示迭加在物理关节上的虚拟骨切割平面。在一些实施方案中,虚拟骨切
割平面被配置成以预定的内翻或外翻方位或预定胫骨斜度(predetermined tibial
slope)或植入体组件的预定股骨屈曲或预定腿长度引导骨切割。
准,从患者的物理关节获得一个或多个术中测值以确定一个或多个术中坐标,在坐标系中
配准来自患者的物理关节的一个或多个术中坐标,生成虚拟手术导板,基于一个或多个术
中测值确定虚拟手术导板的预定位置和/或定向,使用一个或多个光学头戴式显示器,至少
部分基于虚拟手术导板的预定位置的坐标将虚拟手术导板显示和迭加到物理关节上,并将
物理手术导板或物理锯片对准虚拟手术导板,用于引导关节的骨切割。
关节置换中的股骨和/或胫骨组件的内翻或外翻矫正角度。
角切割和股骨组件旋转中的一个或多个。
中的一个或多个摄像头或图像捕获或视频捕获系统检测包括其坐标(x,y,z)的一个或多个
光学标记及一个或多个光学标记的位置和定向,对准,移动方向或移动速度中的至少一个
或多个。
虚拟手术导板,其中预定胫骨或距骨植入体组件对准包括植入体组件的冠状面植入体组件
对准,矢状面植入体组件对准,轴向平面组件对准,植入体组件旋转或其组合。
手术导板,其中肱骨植入体组件对准包括冠状面植入体组件对准,矢状面植入体组件对准,
轴向平面组件对准,肱骨植入体组件旋转或其组合。
维度,所述至少一个尺寸对应于植入体组件尺寸或具有与植入体组件的尺寸基本相同的尺
寸,其中至少一个光学头戴式显示器被配置成显示与旨在放置植入体组件的组织基本对准
的虚拟植入体组件,其中虚拟植入体组件的放置旨在实现预定植入体组件位置和/或定向。
附图说明
个摄像头和集成到光学头戴式显示器,附接到光学头戴式显示器或与光学头戴式显示器分
离的图像捕获系统或视频捕获系统获得的测值。
器,以及如何在使用多个光学头戴式显示器的手术期间修改和显示手术计划,同时,为各手
术者保留虚拟数据和相应实时数据的正确透视图。
士或其他人。
杯角,偏移,内侧或外侧位置和/或前倾角的髋臼杯。
节置换的物理远端股骨切割块)。
膝关节置换的物理正位切割块(AP cutblock))。
理近端胫骨切割导板)。
用于放置前交叉韧带移植物的不同方法。
具体实施方式
方案。相反,提供这些示例方案是为了使本公开彻底和完整,并且将本发明构思的范围完全
传达给本领域技术人员。在附图中,为了清楚起见,可放大各层和各区域的尺寸和相对尺
寸。相同标记始终表示相同要素。
息,虚拟数据或影像学检查的立体视图。术语“患者实时数据”不包括,只能在计算机监视器
或光学头戴式显示器的帮助下才能看到的内部或表面下的组织或结构或隐藏的组织或结
构。
包括虚拟手术器械。比如,物理手术器械可以是由制造商或供货商提供的用于脊柱外科手
术,椎弓根螺钉固定,前路脊柱融合术,膝关节置换术,髋关节置换术,踝关节置换术和/或
肩部置换术的手术器械;比如,物理手术器械可以是切块,导向杆,锥子,铰刀,撞击器,髓
针。物理手术器械可以是可重复所用或一次性所用或其组合。物理手术器械可以是患者特
定的。术语“虚拟手术器械”不包括真实手术器械,实际手术器械,物理手术器械和手术器
械。
工具。物理手术工具可以是制造商或供货商提供的手术工具。比如,物理手术工具可以是
钉,钻,锯片,牵开器,用于分离组织的框架以及用于整形外科,神经外科,泌尿外科或心血
管外科手术的其他工具。术语虚拟手术工具不包括真实手术工具,实际手术工具,物理手术
工具和手术工具。
际植入体或植入体组件,物理植入体或植入体组件以及植入体或植入体组件等术语不包括
虚拟植入体或植入体组件。物理植入体或植入体组件可以是制造商或供货商提供的植入体
或植入体组件。比如,物理外科植入体可以是椎弓根螺钉,脊柱固定杆,脊柱融合器,膝关节
置换中的股骨或胫骨组件,髋关节置换中的髋臼杯或股骨柄和头。术语“虚拟植入体”或“植
入体组件”不包括真实植入体或植入体组件,实际植入体或植入体组件,物理植入体或植入
体组件以及植入体或植入体组件。
或方向可以与虚拟手术计划中生成的相应第二虚拟器械的位置和/或方向进行比较。因此,
通过手术导航,比较第一和第二虚拟器械的位置和/或方向。
选地耦合到一个或多个处理单元。
示或投射的虚拟手术导板,工具,器械或植入体。因此,混合现实环境中的指导不需要使用
导板,工具,器械或植入体的多个虚拟图像,并且不需要比较虚拟导板,工具,器械或植入体
的多个虚拟图像的位置和/或方向。
体或虚拟设备,预定起始点,预定起始位置,预定起始方向或对准,预定中间点,预定中间位
置,预定中间方向或对准,预定终点,预定结束位置,预定结束方向或对准,预定路径,预定
平面,预定切割平面,预定外形或轮廓或横截面或表面特征或形状或投影,预定深度标记或
深度计,预定角度或方向或旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术工
具,包括虚拟手术导板或切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,植入
体或装置的预定轴,一个或多个更多装置或植入体或植入体组件或手术器械或手术工具,
和/或一种或多种预定组织变化或改变的估计或预定的非可视化部分。
力,或虚拟的或物理的。
对准,旋转,植入斜度,植入角度,植入体组件的屈曲,偏移,前倾,后倾;相对于一个或多个
解剖标志的位置,定位,方向,校准;相对于一个或多个解剖学平面的位置,定位,方向,校
准;相对于一个或多个解剖轴线的位置,定位,方向,校准;相对于一个或多个生物力学轴的
位置,定位,方向,校准;相对于试验植入体,植入体组件或植入体的机械轴,虚拟和/或物理
的,的位置,定位,方向,校准。术中测值可包括用于配准目的的测量,比如,关节,脊柱,手术
部位,骨骼,软骨,光学头戴式显示器,手术工具或器械,试验植入体,植入体组件或植入体。
数据,包括手术部位,虚拟器械和/或虚拟植入体以及物理器械和物理植入体等。
力。可以使用各种类型的光学头戴式显示器来实施本发明。这些包括曲面镜或曲面组合器
光学头戴式显示器以及波导光学头戴式显示器或光导光学头戴式显示器。光学头戴式显示
器可以选择使用衍射光学,全息光学,偏振光学和反射光学。
光学头戴式显示器可以显示虚拟数据,比如,患者虚拟数据,其为未压缩形式或压缩形式。
当传输到光学头戴式显示器或由光学头戴式显示器显示时,患者虚拟数据可以选择性降低
分辨率。
的虚拟数据。
加分辨率,比如,通过重新插值到图像数据的原始层厚或甚至更薄层厚,使得虚拟数据的分
辨率等于或大于原始虚拟数据或者至少比光学头戴式显示器显示的传输数据分辨率更高。
视频捕获系统位于左眼上方或下方或附近,第二个位于右眼上方或下方或附近
微软全息眼镜(微软,Redmond,WI)。
器。面罩包括一对透明的合束透镜,用于显示投影图像。可以使用识别手势的集成程序为瞳
距(IPD)调整微软全息眼镜。还集成了一对扬声器。扬声器不排除外部声音并允许用户听到
虚拟声音。集成一个USB 2.0micro‑B插座还有A3.5毫米耳机插座。
的摄影摄像机,一个四麦克风数组和一个环境光传感器。
64GB eMMC并运行Windows 10操作系统。HPU处理和集成来自传感器的数据,以及处理空间
映射,手势识别,和语音和语言识别等任务。微软全息眼镜包括IEEE 802.11ac Wi‑Fiand
Bluetooth 4.1低能量(LE)无线连接。耳机使用Bluetooth LE,可以连接到 Clicker,其为
手指操作输入设备,可用于选择菜单和功能。
眼镜与AutodeskFusion 360基于云的三维开发应用程序及其他。
敲击方法选择任何虚拟应用程序或按钮,类似于单击虚拟计算机鼠标。可以保持敲击模拟
拖动,移动显示器。也可以使用语音命令。
以拖动到特定位置,锁定和/或重设大小。虚拟窗口或菜单可以固定在多处位置或多个物理
对象上。虚拟窗口或菜单可以与用户一起移动,或者可以与用户关联固定。或者,可以在用
户移动时跟随用户。
片和视频。
在Windows 10 PC上开发。全息应用程序可以使用Windows Holographic APIs。Unity和
Vuforia是可以使用的应用程序。也可以使用DirectX和Windows API's开发应用程序。
型。
中,定义不同对象之间的空间关系,并将每一对象从其各自模型坐标系转换为通用总体坐
标系统。如下所述的不同技术可以应用于配准过程。
环境允许与计算机生成的对象合并和配准,从而定义计算机生成的对象与物理环境之间的
空间关系。
上查看。此视图投影步骤使用视点和视图方向来定义此步骤中应用的转换。对于诸如光学
头戴式显示器的立体显示器,可以使用两个不同的视图投影,一个用于左眼,另一个用于右
眼。对于增强现实光学头戴式显示器,可以知道相对于物理环境的视点和视图方向的位置,
以便将计算机生成的对象与物理环境正确地迭加。当视点和视图方向改变时,比如,由于头
部移动,视图投影被更新,使得计算机生成的显示器跟随新视图变化。
令的方法。
的环境中最有优势。这些情况包括但不限于工业应用,具体包括汽车和飞机制造,芯片制
造,医疗或外科手术以及许多其他潜在应用。
领域已知的任何眼睛跟踪系统。
两度提供大部分视觉信息;来自外围的输入信息量较少。因此,沿扫描路径的固视位置说明
了在眼睛跟踪会话期间处理的信息位置,比如,在外科手术期间。
周围电极的电位。
的隐形眼镜,可以提供非常准确的眼球运动测值。另外,可以利用磁探察线圈,测量眼睛的
水平,垂直和扭转等方向的运动。
化中推断眼睛的旋转和/或移动。光学传感器或基于视频的眼睛跟踪器可以使用角膜反射
(所谓的第一浦肯野(Purkinje)图像)和瞳孔中心作为跟踪特征,可选随着时间而变化。一
种更敏感的眼动仪,双浦肯野眼动仪,使用来自角膜前部(第一浦肯野图像)和镜片背面(第
四浦肯野图像)的反射作为追踪特征。更敏感的跟踪方法是从眼睛内部对视觉特征(如视网
膜血管)进行成像,并在眼睛旋转和/或移动时跟踪这些特征。光学方法,特别是基于光学传
感器或视频配准的方法,可用于凝视跟踪。
瞳孔的中心进行跟踪。可以利用红外或近红外非准直光来产生角膜反射。瞳孔中心和角膜
反射之间的向量可用于计算表面或凝视方向上的关注点。可选在眼睛跟踪开始时执行校准
程序。
似于红眼的明亮瞳孔效果。如果光照源偏离光路,则瞳孔看起来很暗,因为来自视网膜的后
向反射远离光学传感器或摄像头。
下文)。
并且在视网膜处为负极。可以通过在眼睛周围的皮肤上放置两个电极来测量。以这种方式
测量的电位称为眼电图。
可以评估眼球运动。可以识别两个单独的运动方向,水平和垂直。如果使用后颅骨电极,则
可以测量径向方向上的眼电图(EOG)分量。通常参考后颅骨电极的眼电图通道的平均值。径
向眼电图通道可以测量在眼跳开始时源自眼外肌肉的扫视峰电位。
电图即使闭着眼睛也可以配准眼球运动。与光学或视频跟踪器相比,眼电图的主要缺点是
其相对较差的注视方向精度。可选地,光学或视频跟踪和眼电图两种方法,可以在本发明的
选定实施方案中结合使用。
位的位置,方向和加速度,可以通过结合使用陀螺仪和加速度计来测量。在所选应用中,也
可以使用磁力计。利用这些组件构件中的任何一个的这种测量系统可以被定义为惯性测量
单元(IMU)。
关。惯性测量单元或其组件可以与导航系统或机器人耦合或配准,比如,通过在共享坐标系
内配准身体或身体各部位。可选地,惯性测量单元可以是无线的,比如,使用WiFi网络或蓝
牙网络。
在一些实施方案中,可以利用微机械加速度计来检测设备或手术者头部的位置。
测量)
肝,脾,肠,膀胱等。
们可以关联光学头戴式显示器、第二和第三或更多光学头戴式显示器,导航系统或机器人
以及由这种导航系统和/或机器人所用一个或多个坐标系统相互参照。导航系统可以与光
学头戴式显示器结合使用而无需使用惯性测量单元。比如,包括红外标记,逆向反射标记,
射频标记的导航标记可以附着到光学头戴式显示器,并且可选地,附着到患者或患者解剖
结构的各部位或体节。光学头戴式显示器和患者或患者的解剖结构可以以这种方式互相参
照或者在导航系统所用一个或多个坐标系中配准,并且光学头戴式显示器的运动或佩戴光
学头戴式显示器的手术者可以在一个或多个坐标系内,关联患者进行配准。一旦患者和光
学头戴式显示器的虚拟数据和实时数据被配准在同一坐标系中,比如,使用惯性测量单元,
光学标记,导航标记,包括红外标记,逆向反射标记,射频标记,以及说明书中描述的或本领
域已知的任何其他配准方法,以这种方式测量的关联患者的光学头戴式显示器位置的任何
变化,可以用于改变患者虚拟数据与患者实时数据之间的关系,从而患者虚拟数据的视觉
图像和通过光学头戴式显示器看到的患者实时数据,不论光学头戴式显示器和/ 或手术者
的头部和/或佩戴光学头戴式显示器的手术者如何移动,都始终对准。同样的,当使用多个
光学头戴式显示器时,比如,一个用于主要外科医生和另外几个,比如,两个,三个,四个或
更多,用于其他外科医生,助理,住院医师,研究员,护士和/或访客,其他工作人员而非主要
外科医生佩戴的光学头戴式显示器,也将显示患者虚拟数据的虚拟图像,虚拟图像与通过
光学头戴式显示器看到的患者的相应实时数据一致,其中患者和/或手术部位的虚拟数据
的透视图用于使用光学头戴式显示器的观察者和各观察者眼睛的定位,位置和/或方向。可
以实现前述实施方案,因为放置在手术者和/或患者身上的惯性测量单元,光学标记,射频
标记,红外标记和/或导航标记以及任何空间定位,都可以在主要光学头戴式显示器和任何
其他光学头戴式显示器的同一坐标系中配准。可以单独监测其余光学头戴式显示器的患者
和/或手术部位的位置,方向,准直以及位置,方向和对准的变化,从而对准和/或迭加额外
光学头戴式显示器的患者实时数据和患者虚拟数据的对应结构,而不管患者和/或手术部
位的位置,方向和/或准直为何。
解剖结构,解剖标志,校准体模(phantom),参考体模,光学标记,导航标记和/或空间锚点点
配准在共同坐标系统15中,比如,像微软全息眼镜所用空间锚点。患者的术前数据16也可以
在共同坐标系15中配准。比如,使用一个或多个惯性测量单元,光学标记,导航标记,图像或
视频捕获系统和/或空间锚点可以测量患者实时数据18,比如,来自手术部位的,脊柱,(可
选具有微创通路的),髋关节切开术部位,膝关节切开术部位,骨切割,改变表面。患者实时
数据18可以在共同坐标系15中配准。可以在共同坐标系15中配准术中影像学检查结果20。
或参考,比如,使用比如,光学标记惯性测量单元,导航标记或空间映射22,手术室桌或房间
固定装置可在共同坐标系15中配准。术前数据16或包括术中测值的实时数据18或其组合可
用于产生,生成或修改虚拟手术计划 24。虚拟手术计划24可以在共同坐标系15中配准。光
学头戴式显示器11,12,13,14可以使用左眼26的视图位置和方向将虚拟数据或虚拟数据的
数字全息图投影到左眼视图中,并且可以使用用户右眼28的视图位置和方向将虚拟数据或
虚拟数据的数字全息图投影到右眼视图中,从而产生共享的数字全息体验30。使用虚拟或
其他接口,佩戴光学头戴式显示器111的外科医生可以执行命令32,比如,显示下一预定的
骨切割,比如,来自虚拟手术计划或影像学检查或术中测值,其可以触发光学头戴式显示器
11,12,13,14将下一手术步骤34的迭加到手术部位上并与手术部位对准的数字全息图投影
到预定位置/或方向。
据投影迭加到各观察者的患者实时数据上。因此,包括虚拟手术计划各方面的患者虚拟数
据可以保持与患者实时数据迭加和/或对准,而不管观察者的视角如何,并且当观察者移动
头或身体时,可以保持准直和/或迭加。
预定义,可操作的计算机命令。
用途的命令可以也以这种方式执行)。
些机器操作序列。
可以向前移动头部。该前向运动由惯性测量单元捕获并且被转换成机械臂的向前运动,该
机械臂沿着手术器械的方向控制手术器械。头部向后移动可以由惯性测量单元捕获并且转
换为机械臂的向后运动,该机械臂沿着手术器械的方向控制手术器械。
和线的短信号和长信号的标准化序列,对拉丁字母进行编码。每一字符(字母或数字)由单
一序列的点和线表示。线的持续时间是点持续时间的三倍。每一点或线后面都是短暂的静
音,等于点持续时间。单词字母由等于三个点(一条线)的空格分隔,并且单词由等于七个点
的空格分隔。
眼(比如,1秒钟)来执行线。穆尔斯电码中的字母A是一个点后跟一条线。使用摩尔斯电码的
这种编码,字母A可以用双眼快速眨眼(点)执行,然后闭合右眼仅一秒钟 (线)。字母B(线,
三个点),可以通过闭合右眼仅一秒钟(线)然后双眼三次快速眨眼(三个点)等来执行。比
如,可以通过在眼睛命令之间保持两秒或更长的间隔来分离字母。或者,在另一示例中,通
过仅闭合左眼大约一秒钟可以分离字母。
左眼约一秒可以代表数字1。许多不同类型的编码都是可能的。其他数字也可以使用比如,
表1和2中所示的一些眼睛,眼睑,面部和/或头部等运动来执行。
知的任何其他命令输入设备配对或结合使用。光学头戴式显示器还可选地一个或多个触敏
传感器。
睛命令来查看患者病例或安排实验室测试或其他诊断测试,而旁观者不会知道正在审查这
些配准或安排这些测试。
完全不同,比如,用户按下光学头戴式显示器上的按钮或触敏传感器以启动配准功能。
拍摄照片系列,打开/关闭闪光开始视频录制,停止视频录制,更改分辨率,增加分辨率,降
低分辨率。
关于周围环境的图像信息的同时保持隐私。
的患者数据被迭加到现场患者的物理视觉图像上。
或更多天或几周获得预先存在的患者数据。
位于不同于预先存在的数据的位置或在不同于预先存在的数据的对象坐标系中的患者或
手术部位获得。因此,患者或手术部位的预先存在的数据通常位于第一对象坐标系中,并且
患者或手术部位的实时数据通常位于第二对象坐标系中;第一和第二目标坐标系通常彼此
不同。具有预先存在的数据的第一对象坐标系需要与第二对象坐标系一起配准患者实时数
据,比如,现场手术部位。
描或成像技术。
性的。本领域技术人员可以识别用于实现本发明的附加尺寸,视图,投影,角度或重建。示例
性尺寸列于表4中。
1,2或3维中,比如,与外科领域或患者有关
维和三维数据的任意组合。
过的数据,比如,过滤数据或分段数据。
术,火线,可变形模型,统计模型,活动形状模型,水平集方法,行进立方体算法,人工神经网
络,深度学习技术,或其组合等。许多这些算法都是开源或商业库的一部分,比如,洞悉分段
和配准工具包(Insight Segmentation and Registration Toolkit,ITK),开源计算机视
觉库OpenCV,G′MIC(GREYC's Magic for Image Computing,GREYC的图像计算魔法),
Caffe,或者MATLAB(MathWorks,Natick,Mass.)。图2中提供了用于分割和后续的代表性工
作流程。可以获得可选的术前影像学检查40。可以获得可选的术中影像学检查41。可以对术
前40或术中41影像学检查进行分段42,提取,比如,表面,体积或关键特征。可以生成可选的
三维重建或三维渲染43。术前40或术中41影像学检查和任何三维重建或三维渲染43可以在
共同坐标系44中配准。术前40或术中41影像学检查和任何三维重建或三维渲染43可用于生
成虚拟手术计划45。虚拟手术计划45可以在共同坐标系44中配准。手术部位46可以在共同
坐标系44中配准。可以获得术中测值47,并且可以将其用于生成虚拟手术计划45。光学头戴
式显示器48可以投影或显示迭加在手术部位上并与手术部位对准的虚拟数据或虚拟数据
49的数字全息图。光学头戴式显示器48 被配置为使用内置摄像头或图像捕获或视频捕获
系统50来可选地检测和/或测量一个或多个光学标记51的位置和/或方向和/或对准,这些
位置和/或方向和/或对准可用于坐标测量52,且可以是术中测值47的一部分。
Models),基于交互信息或其他体积配准算法,对象识别,模式识别或计算机视觉技术,深度
学习或其他人工智能方法。处理的数据,比如,可以由网格数据,参数表面数据,点云数据,
体数据或其组合组成。这些方法在本领域中是已知的,并且已经在公共和 /或商业可用的
代码库和应用程序编程接口(正位一)中实现,诸如Insight Segmentation and
Registration Toolkit(ITK),开源计算机视觉库OpenCV,Elastix,Plastimatch或医学图
像配准工具包(MIRTK)。
学头戴式显示器看到的实时数据对准。在该情况下,佩戴光学头戴式显示器的手术者可以
在可迭加虚拟数据和患者实时数据的相应特征的方向上移动头部。外科医生或手术者还可
以使用其他方式移动和重新定向虚拟数据,比如,光学头戴式显示器中显示的跟踪球或虚
拟显示接口,与外科医生/手术者头部运动无关。手术者可以调整实时数据的放大倍率,使
得虚拟数据的某些特征的大小,形状,长度,厚度,在对象/患者的给定距离内,与实际数据
的大小,形状,长度,厚度匹配。
生可以选择性地调整三维模型的放大倍率,以使模型匹配实时数据中相应的脑回和脑沟的
大小或宽度或长度。外科医生可以选择调整光学头戴式显示器中显示的虚拟数据的透明度
或不透明度。通过光学头戴式显示器传输的虚拟数据与实时数据的比率可以是1∶10,1∶9,
1∶8,1∶5,1∶2,1∶1,2∶1,3∶1,5∶1,8∶1,10∶1,以及它们的分数或倍数。虚拟数据和实时数据
的透明度或不透明度的任何组合都是可能的。外科医生头部的移动方向可以迭加虚拟特
征,比如,患者的脑回和脑沟,和患者实时数据。
此时,外科医生可选地将实时数据和/或实时数据的坐标系参考虚拟数据和/或虚拟数据的
坐标系(2,3维或更多维)。一旦数据被配准,外科医生就可以将其头部移动到任何期望的位
置或方向,比如,以便从不同视角观察患者的大脑或病变和邻近结构,比如,敏感性的。光学
头戴式显示器的惯性测量单元将配准头部运动,头部运动的方向,最新头部位置和头部方
向。外科医生头部的位置和方向的变化可以同时或者,如果需要,可以非同时地应用于虚拟
数据,该虚拟数据现在可以与所得到的实时数据的新位置和方向迭加。另外,当外科医生移
动其头部或身体进一步远离目标解剖结构时,惯性测量单元可以测量位置的变化和距目标
解剖结构的加大距离。根据与惯性测量单元的距离,可以将虚拟数据的因子扩大或缩小,使
得在一些实施方案中,虚拟数据的大小,形状和尺寸将接近或匹配实时数据的大小,形状和
尺寸,无论外科医生头部的距离,位置和方向如何。
可以查看实时数据,并且可以选择用摄像头配准和/或显示在监视器上。然后,可以迭加虚
拟数据,并且可以执行虚拟数据和实时数据的匹配和配准此时,外科医生或手术者可以从
固定位置移除光学头戴式显示器,并且外科医生可以在外科手术期间佩戴光学头戴式显示
器。
或其他颜色的线条),不对这些脑沟边缘的脑回进行可视化。或者,比如,仅显示一处病变,
比如,在脑的实例中的肿瘤,成胶质细胞瘤。或者,可以综合显示正常组织和病理组织的虚
拟数据。
持,其可以是或可以包括虚拟手术计划,比如,术前生成的手术计划。
如,可以间歇地迭加虚拟数据。
射。
明:
以显示二维,三维和多维图像的任何组合;光学头戴式显示器可以将任何二维,三维和多维
图像的组合迭加在患者实时数据上。
部分患者解剖结构正在移动,虚拟数据也不会在OHMD显示器中移动。比如,一旦配准,光学
头戴式显示器可以显示目标组织或相邻组织的虚像。目标组织或相邻组织的虚像可以是,
比如,穿过肿瘤或其他类型的病理组织的图像。当外科医生或手术者在外科手术过程中移
动其头部或身体时,虚拟数据将不会移动,而是显示在相同位置内。
在移动患者的身体或部分解剖结构,则虚拟数据将在OHMD显示器中移动。比如,一旦配准,
光学头戴式显示器可以显示目标组织或相邻组织的虚像。目标组织或相邻组织的虚像可以
是,比如,穿过肿瘤或其他类型的病理组织的图像。当外科医生或手术者在外科手术过程中
移动其头部或身体时,虚拟数据将移动并改变其位置和方向,就像外科医生移动其头部或
身体的方式一样,通常反映外科医生通过移动其头部或身体产生的透视或视角的变化。
运动,比如,通过使用光学头戴式显示器的惯性测量单元监测外科医生头部的移动和位置
和 /或方向的变化来实现。
病人的膝盖。使用本领域已知的标准手术导航技术,可以配准光学或射频跟踪器的空间位
置,比如,用于起始姿势或位置或定位。跟踪器的移动,比如,由外科医生的头部或身体的运
动或者通过患者的至少一部分的运动引起的,可以使用导航系统跟踪。然后,使用有关外科
医生头部或患者或两者的位置变化,方向变化或运动方向变化的信息来相应地更新虚拟数
据,或者相应地更新光学头戴式显示器显示的虚拟数据,或两者都更新。以这种方式,虚拟
数据和实时数据可以由光学头戴式显示器迭加,通常以精确的方式。
臂,手或患者的位置或方向的变化。
以是患者的选择解剖结构的横截面图像。图像可以是原始图像或患者的复位格式,重建或
分割或部分分割的图像。
数据配准,比如,对患者大脑进行核磁共振扫描。配准可以在2,3维或更多维度进行。实时数
据和虚拟数据的配准可以包括配准不同类型的虚拟数据,比如,不同类型的正常或患病组
织,使用不同的显像模式,用于不同类型的正常或患病组织的不同尺寸等。可以同时显示多
个二维扫描平面。这些二维扫描平面可以是可变角度的平行或非平行平面,正交或非正交
平面。
自相同解剖部位,比如,大脑,脊柱,臀部,膝盖等。可以通过本领域已知的任何类型的用户
接口引导滚动。比如,外科医生可以使用由光学头戴式显示器投射的虚拟接口,其中他或她
可以向上或向下或向左或向右移动虚拟箭头,以向后或向前滚动图像,或者比如,旋转图
像,或以不同的多平面角度显示图像或改变视角或投影角度。
转图像,或以不同的多平面角度显示图像或者改变三维图像的视角或投影角度。
指或任何其他身体部位,以旋转图像或以不同的多平面角度显示图像或改变视角或投影角
度。外科医生可以在旋转或转动运动中移动其手或手指,以旋转或转动虚拟数据。头或手或
眼和其他身体信号的任何组合可用于改变虚拟数据的显示。
以使用与外科医生身体部位的地点,位置,方位,角度,方向和运动的变化相关的放大系数
或缩小系数,来执行虚拟数据的地点,位置,方位,角度,方向和运动等相关变化中的任何一
个。这些放大系数或缩小系数可以是线性的或非线性的,比如,指数或对数。在一些实施方
案中,控制移动OHMD显示器中的虚拟数据的外科医生身体部位越远离其原始位置,光学头
戴式显示器中的虚拟数据的移动引起的变化越大。在一些实施方案中,控制移动OHMD显示
器中的虚拟数据的外科医生身体部位越远离其原始位置,光学头戴式显示器中的虚拟数据
的移动引起的变化越小。
的区域中。
器可以使用不同颜色在三维中虚拟地显示不同组织。可以以这种方式显示正常组织和病理
组织。
一坐标系中的一个或多个光学光学头戴式显示器。虚拟和物理手术器械和植入体组件也可
以在共同坐标系中配准。空间共同配准具有以下优势:当外科医生移动其头部或身体时,当
光学头戴式显示器移动或患者移动时,患者的虚拟和实时数据的同时显示不受影响或受影
响较小。因此,外科医生的眼睛通过光学头戴式显示器看到的患者实时数据的视角,比如,
实时手术野,可以保持与外科医生的眼睛通过光学头戴式显示器设备的显示器看到的患者
虚拟数据的视角相同,比如,虚拟手术野,虚拟手术平面,虚拟路径,虚拟切割路径或平面投
射到外科医生的眼睛中,即使外科医生移动其头部或身体。以这种方式,外科医生不需要重
新思考或调整他的手眼协调,因为通过外科医生的眼睛看到的患者实时数据和通过OHMD显
示器看到的患者虚拟数据被迭加,这与其他方法根本不同,比如,在手术室中采用单独的计
算机监视器的手术导航方法,其中外科医生的视角不同于他或她对患者和手术野的实时数
据的视角。此外,利用手术导航,可以在计算机监视器上显示第一虚拟器械,该计算机监视
器是用导航标记跟踪的物理器械的图像,比如,红外或射频标记,并且,第一虚拟器械的位
置和/或方向可以与虚拟手术计划中生成的相应第二虚拟器械的位置和/或方向进行比较。
因此,通过手术导航,比较第一和第二虚拟器械的位置和/或方向。
外,物理导板,工具,器械或植入体可对准虚拟手术导板,工具,器械或植入体的二维或三维
图像。因此,混合现实环境中的指导不需要使用导板,工具,器械或植入体的多个虚拟图像,
并且不需要比较虚拟导板,工具,器械或植入体的多个虚拟图像的位置和/或方向。
者的身体或部分解剖结构,则虚拟数据将在OHMD显示器中移动。比如,一旦共同坐标系中的
光学头戴式显示器,患者虚拟数据和患者实时数据完成配准,光学头戴式显示器就可以显
示目标组织或相邻组织的虚拟图像。目标组织或相邻组织的虚像可以是,比如,肿瘤或其他
类型的病理组织或脊柱或脊椎椎弓根的图像。当外科医生或手术者在外科手术过程中移动
其头部或身体时,虚拟数据将移动并改变其位置和方向,就像外科医生移动其头部或身体
的方式一样,通常反映外科医生通过移动其头部或身体产生的透视或视角的变化。虚拟数
据可以包括外科手术工具或器械的三维图像,比如,用于椎体后凸成形术或椎体成形术的
针,其中针的虚拟图像显示其与脊柱和/或椎弓根相关的预期位置,方向或路径。虚拟数据
还可以包括医疗装置,比如,椎弓根螺钉,其中椎弓根螺钉的虚拟数据显示其与脊柱,和/或
椎弓根,和/或椎体相关的预期位置,方向或路径。
据中的解剖结构的表面或三维形状来执行配准。在该情况下,可以移动虚拟表面,直到基本
上匹配患者的活动表面,或者可以移动虚拟形状,直到基本上匹配患者的活体形状。
中第一和第二目标坐标系可以直接连接(比如,物理方式),或间接连接(比如,非物理方
式),那么,可以执行患者虚拟数据和实时数据的配准。第一和第二对象坐标系的直接连接
可以是,比如,第一和第二对象坐标系之间的物理连接。比如,把患者可以沿着卷尺的长度
从第一对象坐标系移动到第二对象坐标系。或者,可以用扫描仪扫描患者,比如,计算机断
层扫描扫描仪或核磁共振扫描仪,随后将扫描仪台移出扫描仪,以便给仍在扫描仪台上的
患者进行外科手术。在该情况下,扫描仪台可以是第一和第二目标坐标系之间的物理连接
形式,扫描位置和扫描仪位置外部间的台移动的长度 (用于实时数据,比如,外科手术)可
以定义从第一对象坐标系到第二对象坐标系的坐标变换。
行外科手术时,其中路径的方向和角度是已知的,使得第一和第二对象坐标系可以互相参
照,并且使用患者的定义路径和虚拟数据的已知信息,可以应用对象坐标转移,患者和光学
头戴式显示器的实时数据可以在共同坐标系中配准)间移动。虚拟和物理手术器械和植入
体组件也可以在共同坐标系中配准。
或多个未知方向,长度或大小的运动时。本说明书中描述的所有不同配准方法的组合是可
能的,比如,为了提高配准的准确性,在操作期间切换配准方法或同时使用多种配准方法。
使用比如,但不限于,深度传感器,激光扫描仪,结构光传感器,飞行时间传感器,红外传感
器或跟踪探针,来创建描述一个或多个对象表面或环境结构的三维网格。这些设备可以通
过收集三维坐标信息,或一个或多个对象或环境结构上的一个或多个表面点的传感器的距
离信息,来生成三维表面数据。然后,可以将三维表面点连接到三维表面网格,从而产生实
时数据的三维表面图像。然后,可以使用说明书中描述的任何配准技术将表面网格与虚拟
数据合并。
光传感器,飞行时间传感器,红外传感器或跟踪探针获取。
射和跟踪的各种技术,包括在US9,582,717中描述的那些技术,其通过引用明确地并入本
文。
示器来执行,比如,通过佩戴光学头戴式显示器的手术者的头部移动来执行。在该示例中,
患者虚拟数据以固定方式显示,而不是在手术者移动光学头戴式显示器时改变视角。手术
者将移动光学头戴式显示器,直到将患者实时数据对准或迭加到患者虚拟数据的固定投影
上。一旦实现了患者数据与患者虚拟数据的令人满意的对准,匹配或迭加,外科医生就可以
执行配准命令,比如,通过语音命令或键盘命令。现在配准患者虚拟数据和患者实时数据。
此时,在完成配准后,患者虚拟数据将随着光学头戴式显示器的移动而移动,比如,通过集
成惯性测量单元,图像和视野跟踪的移动来测量;比如,利用图像和/或视频捕获系统,和/
或使用带光学或射频或其他跟踪器的附加导航系统,其可以附接到患者,手术部位,骨骼或
患者的任何其他组织,外科医生,外科医生的手臂,外科医生的头部或外科医生佩戴的光学
头戴式显示器,而在图像或视野中使用锚点进行测量。
现对准或匹配。应用于虚拟数据的放大倍率可以指示从光学头戴式显示器或外科医生的头
部到匹配组织的距离。作为最大化配准精度的手段,可以通过可选的距离物理测量来确认
光学头戴式显示器与目标组织或皮肤表面或其他参考组织之间的估计距离,特别是,如果
光学头戴式显示器是在固定的位置,比如,在支架或三脚架上,这些可在初始配准期间任选
使用。在成功对准或匹配之后,外科医生命令可以在相同的共同坐标系中配准,比如,患者
虚拟数据和患者实时数据或光学头戴式显示器。虚拟和物理手术器械和植入体组件也可以
在共同坐标系中配准。
组织表面或组织轮廓或形状,诸如,铣削或扩孔后的骨的形状,或组织周长,比如,现场患者
的骨切割或组织体积或其他组织特征的周长,可以与患者虚拟数据中的手术改变的组织或
组织表面或组织轮廓或组织周长或组织体积或其他组织特征匹配,迭加和/或对准。比如,
在为患者开发的虚拟外科手术计划中,外科医生的眼睛通过光学头戴式显示器设备显示器
看到患者虚拟数据,以及外科医生的眼睛通过光学头戴式显示器设备看到的患者实时数据
的视角基本相同。在手术组织改变之后匹配,迭加和/或配准患者实时数据和患者虚拟数
据,可以使用前述中描述的相同方法或本说明书中描述的任何其他配准方法或本领域已知
的任何其他配准方法。参考图3,图3的示例说明了为初始外科手术步骤配准数字全息图或
虚拟数据,执行外科手术步骤并重新配准一个或多个全息图以用于后续外科手术步骤。光
学头戴式显示器可以投影或显示患者55的虚拟数据或虚拟数据的数字全息图。数字全息图
可选地固定到光学头戴式显示器,以使其随着光学头戴式显示器56的移动而移动。手术者
可以移动光学头戴式显示器,直到虚拟数据的数字全息图或患者虚拟数据迭加到患者实时
数据,并与患者实时数据(比如,手术部位57)对准。然后,可以使用与迭加数位全息图的实
时数据相同或相似的坐标来配准虚拟数据或虚拟数据的数字全息图 58。然后,外科医生可
以执行一个或多个预定的手术步骤,比如,骨头切割59。在利用实时数据60进行手术改变之
后,可选地配准或重新配准虚拟数据或虚拟数据的数字全息图。手术改变之后的虚拟数据
或虚拟数据的数字全息图可选地由光学头戴式显示器61显示。手术改变之后的虚拟数据或
虚拟数据的数字全息图可选地相对于光学头戴式显示器固定,使它随着光学头戴式显示器
62的移动而移动。手术者可以移动光学头戴式显示器,直到手术改变之后的患者虚拟数据
或虚拟数据的数字全息图迭加到和对准手术改变63之后的患者实时数据。然后,可以使用
与迭加数位全息图64的手术改变之后的实时数据相同或相似的坐标来配准虚拟数据或虚
拟数据的数字全息图。然后,外科医生可以执行一个或多个预定的后续手术步骤,比如,骨
切割,磨铣或钻孔65。可选地重复前述步骤,直到外科手术完成66。可以使用虚拟手术计划
67。可选地,光学头戴式显示器68可以显示患者的固有解剖结构,包括在第一次手术改变之
后。光学头戴式显示器可选地显示后续手术步骤69的数字全息图。
式识别算法可用于识别某些特征,比如,患者虚拟数据的脑表面上的脑回或脑沟。包括独特
形状的耳朵也可用于匹配患者虚拟数据和患者实时数据。
架上或者由手术者佩戴,比如,患者的头部侧转过现场患者的耳朵和侧颅骨。光学头戴式显
示器将被放置在包括要显示患者虚拟数据的现场患者的部位上。
的虚拟数据,比如,患者的耳朵或鼻子,可以与患者实时数据同时显示。然后,可以移动,重
新定向,重新对准并且可选地放大或缩小患者虚拟数据,直到对准,匹配或迭加令人满意为
止。也可选地在此过程中移动光学头戴式显示器,在患者虚拟数据和患者实时数据之间实
现令人满意的大小匹配,可选不需要放大或缩小患者虚拟数据。
使用图像和/或视频捕获系统的图像或视野中的锚点)、和/或连接到光学头戴式显示器的
导航系统所测量的光学头戴式显示器的位置,方向或方向的变化,都可利用与患者虚拟数
据和患者实时数据基本相同的对象坐标,通过光学头戴式显示器获得的患者实时数据的视
图移动患者虚拟数据,从而在手术过程中保持配准,而不管光学头戴式显示器如何移动,比
如,佩戴光学头戴式显示器的手术者进行头部移动,并确保当投射到外科医生的视野中时
患者虚拟数据与患者实时数据正确迭加。
期部位。标记或校准或配准体模或装置不能被随后放置的任何盖布或手术罩覆盖。然后,通
过将患者虚拟数据配准到患者实时数据,使用放置在患者身上的实时标记或校准或配准体
模或设备并通过互相参照,将患者虚拟数据和患者实时数据二次配准,比如,患者皮肤或诸
如耳朵或鼻子等其他结构的实时数据。这可以通过在与放置在患者身上的标记物或校准或
配准体模或装置同一坐标系中,配准患者的皮肤或诸如耳朵或鼻子等其他结构来实现,比
如,通过将患者皮肤或诸如耳朵或鼻子或骨赘或骨刺或其他骨骼解剖或畸形等其他结构的
患者虚拟数据,和标记物或校准或配准体模或装置的实时数据,共同配准。可以测量患者皮
肤或诸如耳朵或鼻子或骨赘或骨刺或其他骨骼解剖或畸形等其他结构和标记或校准或配
准体模或附着于患者的装置之间在坐标上的距离,偏移,角度偏移或总体差异,并可将其用
于将患者虚拟数据的配准切换到患者皮肤或诸如耳朵或鼻子等其他结构的患者实时数据,
和标记物或校准或配准体模或设备的实时数据。可选择保持患者皮肤或诸如耳朵或鼻子等
其他结构的实时数据,和标记物或校准或配准体模或设备的实时数据,以进行配准。可选
地,系统可以评估配准到患者皮肤或诸如耳朵或鼻子等其他结构的实时数据,或标记物或
校准或配准体模或设备的实时数据是否更准确,系统可以在两者之间来回切换。比如,如果
从光学头戴式显示器到患者的皮肤或诸如耳朵或鼻子等其他结构的距离增加或减少,超过
一定程度,比如,可选地预定义的阈值,或者被盖布部分覆盖,则系统可以将配准切换到标
记或校准或配准体模或设备的实时数据。反过来也是可以的。或者,如果患者的皮肤或诸如
耳朵或鼻子等或骨赘或骨刺或其他骨骼解剖或畸形等其他结构与光学头戴式显示器的角
度增大或减小超过一定水平,比如,可以任选预定义的阈值,系统可以将配准切换到标记或
校准或配准体模或装置的实时数据。反过来也是可以的。
置的实时数据来保持配准,比如,在开颅部位附近或内部。
成或耦合到光学头戴式显示器的患者或图像和/或视频捕获系统的实时数据。
实时数据可包括骨赘或骨刺或其他骨骼解剖或畸形。
图像数据移动虚拟图像数据,然后,可以进行基于手动/手术者的调整。或者,可以首先执行
基于手动/手术者的匹配和配准,然后,通过基于匹配和配准的软件或算法(图像处理,模式
识别等)进行微调。虚拟数据和实时数据可包括骨赘或骨刺或其他骨骼解剖或畸形。
手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征,可以与患
者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患
者制定的虚拟手术计划中的其他组织特征匹配,迭加和/或配准。在手术组织改变之后匹
配,迭加和/或配准患者实时数据和患者虚拟数据,可以使用前述中描述的相同方法或本说
明书中描述的任何其他配准方法或本领域已知的任何其他配准方法。
据的电子图像上放置游标或标记来识别解剖标志,并且一旦游标或标记在期望的位置,就
点击解剖标志来识别。在脊柱中,这样的解剖标志可以是,比如,棘突的后尖端,脊椎椎板,
患者左侧的下关节面,患者左侧的上关节面,患者右侧的下关节面,患者右侧的上关节面,
小关节的尖端,骨刺,骨赘等。在髋部,这样的标志可以是髋臼的最前部点,比如,以下各部
位的骨赘:在髋臼缘,在髋臼内,邻近髋臼,在股骨头,在股骨颈或颈轴交界处,在股骨头中
心为二维或三维图像,在股骨头最前点,髂前上棘,髂前下棘,耻骨联合,大转子,小转子等。
在膝盖中,这样的标志可以是股骨髁,股骨凹陷,髁间隙,内侧或外侧上髁,股骨轴,上髁轴,
滑车轴,机械轴,滑车槽,股骨骨赘,边缘股骨骨赘,中央股骨骨赘,髌骨圆顶,髌骨或股骨或
股骨关节面的上缘,内缘,外缘,下缘,髌骨骨赘,前胫骨,胫骨棘,胫骨的内缘,外缘,前缘,
后缘,胫骨骨赘,边缘胫骨骨赘,中央胫骨骨赘。然后,外科医生可以识别患者体内的相同标
志。比如,当外科医生通过光学头戴式显示器观察时,外科医生可以用手指或用指示设备指
向实时数据中的相应解剖标志。指针的尖端或手指的尖端可选地包括跟踪器,该跟踪器将
指针的尖端或手指定位在空间中。这种定位也可以使用图像捕获直观完成,比如,通过光学
头戴式显示器以立体方式更准确地确定指针或手指与光学头戴式显示器的距离和位置。图
像和/或视频捕获系统也可以连接到光学头戴式显示器,与光学头戴式显示器集成或耦合
到光学头戴式显示器。虚拟数据和实时数据可包括骨赘或骨刺或其他骨骼解剖或畸形。
戴式显示器的实时数据。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
任意虚拟平面可以包括“接触区域”,其中手势识别软件,比如,微软提供的具有微软全息眼
镜的软件,具有用于全息图的集成虚拟“拖动功能”,可以用于移动任意虚拟平面。比如,集
成或附接到光学头戴式显示器的一个或多个摄像头可以捕获外科医生的手指相对于接触
区域的移动;使用手势跟踪软件,然后,可以通过在期望的方向上将手指推向接触区域来移
动虚拟平面。
限定角度显示任意虚拟平面,比如,相对于手术室中的固定结构的正交或平行,任意虚拟平
面可以使用集成到光学头戴式显示器,图像捕获或视频捕获系统的一个或多个摄像头以及
诸如微软提供的微软全息眼镜之类的空间识别软件来识别,或者可以使用一个或多个附加
的光学标记或导航标记(包括红外或射频标记)识别。比如,一个或多个光学标记可以附接
到手术台的延伸部分。光学头戴式显示器可以检测这些一个或多个光学标记并确定它们的
坐标,并由此确定手术台的水平面。然后,可以相对于手术室工作台垂直或以另一角度显示
虚拟平面。
踪,光学头戴式显示器可以检测外科医生如何移动虚拟平面。可选地,当外科医生移动和 /
或重新定向平面时,虚拟平面可以保持其相对于手术台的垂直(或所需的其他角度)方向;
当外科医生打算制作垂直的股骨颈切割时,可能需要垂直方向。当外科医生打算用另一种
方向切割股骨颈时,可能需要不同的角度。
方向上平移和旋转或其组合。外科医生可以移动虚拟平面以与选择的解剖标志相交或者与
选择的解剖学轴或生物力学轴相交。外科医生可以将虚拟平面移动到与选择的解剖标志或
选择的解剖学或生物力学轴相切。
以与大转子71的最上面和小转子72的最上面相切。图4B的实例说明了相同的虚拟平面 70,
其中主要外科医生已经移动并对准以与大转子71的最上面和小转子72的最上面相切,现在
的视图来自第二外科医生或外科手术助理的光学头戴式显示器,比如,在手术台 (OR
table)的另一侧。
别软件来检测他的手指,或者使用带有附加的光学标记或导航标记的手指,外科医生可以
指向并识别龈沟点,再如,大转子和股骨颈之间的最低点,作为额外参考。然后,可以在髋关
节的术前或术中正位射线照片上确定连接大转子的最上面和小转子的最上面的线;可选
地,还可以在正位射线照片(AP radiograph)上检测龈沟点。正位射线照片可以包括外科医
生用于选择和确定尺寸的模板,比如,股骨和髋臼组件组件,以及衬垫和/或股骨头。射线照
相模板可包括股骨颈切割指示。可以确定连接大转子的最上方面与小转子的最上面的线和
股骨颈切割指示之间的角度。图4C的例证说明第二虚拟平面73(虚拟股骨颈切割平面73)然
后可由光学头戴式显示器投影或显示,其也垂直于如虚拟平面70的手术台,后者与大转子
71的最上面和小转子72的最上面相切,并且股骨颈切割平面73与任意虚拟平面的角度和/
或距离,和大转子最上面和小转子最上面的连接线和射线照片上的股骨颈切割指示之间的
角度和距离相同。以这种方式,可以使用基于手术中放置的虚拟平面规定或预定的第二虚
拟平面来定义股骨颈切割平面,手术中放置的任意虚拟平面由手术者移动,以与大转子最
上方和小转子最上面相切。以这种方式规定和投射或显示的虚拟股骨颈切割平面也可以是
虚拟导板,比如,投射用于引导物理锯的虚拟槽的虚拟切割块。虚拟导板或虚拟切割块可以
具有与物理导板或切割块相同的一个或多个维度,使得物理导板或切割块可以与虚拟导板
或切割块对准。虚拟导板或切割块可以是物理导板或切割块的轮廓,二维图或三维图,部分
轮廓或完整轮廓,具有一个或多个相同的尺寸,使得外科医生可以将物理导板或切割块与
虚拟导板对准或切割块。虚拟导板或切割块可包括物理导板或切割块的放置标记。
一个或多个解剖学轴或生物力学轴相切或交叉,以与术前射线照片结合或从术前射线照片
衍生的角度,能够可选地结合测量距离和应用校正放大倍率。比如,与虚拟平面相切或与虚
拟平面相交的一个或多个解剖标志之间的距离,可以在患者实时数据中测量,并且可以在
射线照片上测量。如果射线照相距离大于或小于现场患者的距离,则可以应用放大倍率校
正,比如,第一虚拟平面之间的距离,诸如与一个或多个解剖标志或一个或多个解剖学轴或
生物力学轴相切或相交的平面,和诸如虚拟截平面之类的第二虚拟平面,可以基于射线照
相放大倍率系数来校正。
械轴已经在前面的步骤中使用术中测值确定,比如,贴于大腿的光学标记和贴于踝关节的
一个或多个光学标记,用于使用集成到,连接到光学头戴式显示器或与光学头戴式显示器
分离的图像捕获或视频捕获系统确定髋关节的旋转中心和踝关节的中心,虚拟平面可以被
配置为垂直于腿的机械轴。使用诸如接触区域的虚拟接口,以及集成或附接到光学头戴式
显示器和可选手势跟踪软件的图像或视频捕获系统,外科医生可以移动和/或重新对准虚
拟平面,比如,与暴露膝关节的内侧和外侧关节空间相交,比如,增大屈曲度或以 5,10,15,
20,30,45屈曲度或更大屈曲度。图5的实例是膝盖中的任意虚拟平面74,其与延伸的内侧76
和外侧75关节空间相交。
个或多个虚拟平面以与一个或多个解剖轴线重合,比如,在现场患者体内的解剖学股骨干
轴线或解剖学胫骨轴轴线。外科医生还可以移动虚拟平面以在股骨凹口的中心放置和定
向,虚拟平面平行于凹口壁并且在内侧和外侧股骨干皮质之间居中延伸,可作为估计解剖
学股骨干轴的手段。
从患者的机械轴对准矫正,比如,5,10,15度的内翻或外翻,到正常的机械轴对准或任何所
需残差,比如,可以形成或产生先天性内翻或外翻。植入体尺寸和所需的聚乙烯厚度可以计
入虚拟手术计划中。然后,光学头戴式显示器可以基于虚拟手术计划和/或术中测值,期望
的内翻和/或外翻校正,期望的斜度和/或期望的植入体旋转来投射虚拟手术切割平面。然
后,外科医生可以将物理锯片与投射或显示的虚拟锯片对准。或者,光学头戴式显示器可以
显示虚拟导板或虚拟切割块,其具有与物理导板或物理切割块相同的至少一个或多个维
度,并且外科医生可以将物理切割导板或切割块与虚拟导板或切割块对准,在物理导板或
切割块中,将锯片插入件理导板或切割块并执行一个或多个块。
其中一个或多个虚拟平面可以被投影或显示并移动以与一个或多个解剖标志相切或截取,
比如,脑回,脑桥,小脑等。类似地,这些概念可以应用于器官手术,其中一个或多个虚拟平
面可以被投射或显示并移动以与一个或多个解剖标志相切或截取,比如,肝门和前肝边缘,
一个或多个心脏瓣膜等
动或使用虚拟或其他用户界面移动,定向或对准以重合,与以下相切,交叉,部分或完全迭
加:患者解剖学,病理学,解剖轴,包括机械轴的生物力学轴,解剖学平面,三维形状,二维
和/或三维几何形状,三维表面和/或任何内部器官的三维体积,患者的软组织或硬组织;在
移动,定向或对准之后,可以测量二维和/或三维虚拟形状或轮廓或表面的坐标信息。可选
择,基于坐标信息,执行额外的术中测值,和/或,可选择使用该信息开发或修改虚拟手术计
划。
现场患者中的外科手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他
组织特征,可以与患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或
组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配,迭加和/或配准。在手术
组织改变之后匹配,迭加和/或配准患者实时数据和患者虚拟数据,可以使用前述中描述的
相同方法或本说明书中描述的任何其他配准方法或本领域已知的任何其他配准方法。可选
地,不同的解剖标志也可以用于第一次配准和任何后续配准。或者,相同的解剖标志可以用
于第一次配准和任何后续配准。
其与患者的活组织区分开。
间的框架件的桥接件,比如,在鼻区上。
地,患者的现场解剖标志,就可以通过执行配准命令来执行配准,将患者实时数据和虚拟数
据配准,比如,激光或其他光线反射的现场解剖标志和患者的相应虚拟解剖标志。可以针对
不同的解剖标志重复该过程,比如,通过将光源指向患者的下一个现场解剖标志,确认光的
准确位置或指向,比如,可以通过光学头戴式显示器的图像捕获设备和软件捕获从现场患
者解剖标志反射的红色或绿色激光点,并且可以将下一个解剖学现场解剖标志与患者的相
应虚拟解剖标志配准。虚拟数据和实时数据可包括骨赘或骨刺或其他骨骼解剖或畸形。以
这种方式,光学头戴式显示器,患者实时数据和患者虚拟数据可以在共同坐标系中配准。虚
拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
端接触期望的现场解剖标志时,发射器可以发射可在接收站点捕获的超声波信号或射频信
号,可选地,将信号集成到光学头戴式显示器中。可选地,比如,作为提高实时数据配准的准
确性的手段,可以在空间上不同的位置使用多个接收站点。虚拟数据和实时数据可包括骨
赘或骨刺或其他骨骼解剖或畸形。
像和/或视频捕获系统可以识别实时数据中的指针并且可以识别指针的尖端。当指针的尖
端触碰患者身上与虚拟数据中的解剖标志对应的现场解剖标志时,外科医生可以点击以指
示已成功互相参照。然后,可选地将两个数据点融合或迭加在共同坐标系中。虚拟和实时数
据和数据点可以包括骨赘或骨刺或其他骨骼解剖结构或畸形,或可以从骨赘或骨刺或其他
骨骼解剖结构或畸形中产生。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配
准。
骨骼解剖或畸形。
的患者活体表面可以与患者虚拟表面匹配或对准,比如,使用诸如X射线成像,超声,计算机
断层扫描或核磁共振或本领域已知的任何其他技术的影像学检查在术前获得。虚拟和实时
数据和解剖学表面可包括骨赘或骨刺或其他骨骼解剖或畸形。
手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征,可以与患
者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患
者制定的虚拟手术计划中的其他组织特征匹配,迭加和/或配准。在手术组织改变之后匹
配,迭加和/或配准患者实时数据和患者虚拟数据,可以使用前述中描述的相同方法或本说
明书中描述的任何其他配准方法或本领域已知的任何其他配准方法。
则该实施方案是有用的,脑外科手术符合这种情况,比如,去除脑肿瘤,还有诸如切除肝肿
瘤等肝脏手术,关节置换手术和许多其他类型的手术。虚拟数据和实时数据可包括骨赘或
骨刺或其他骨骼解剖或畸形。
学标记,带二维码(QR code),条形码,字母数字代码的光学标记。可以在实际手术之前植入
植入式或附接式标记物或校准或配准体模或装置,并且可以将其包括在术前,术中和/或术
后图像中。植入式或附接式标记物或校准或配准体模或装置,可植入或附于骨赘或骨刺或
其他骨骼解剖结构或畸形。
以在切割后随时识别植入式或附接式标记或校准或配准模型或装置。这种植入式或附接式
标记或校准或配准体模或装置,可以包括辐射甜菜(radiation beets)或金属甜菜
(metallic beets),比如,也用于立体成像或配准。
头戴式显示器图像捕获,可以确定植入式或附接式标记或校准或配准模型或设备的位置。
然后,可以将患者实体数据中的植入式或附接式标记或校准或配准模型或装置的位置,与
附在患者虚拟数据中的植入式或附接式标记或校准或配准模型或装置的解剖结构的位置
匹配。比如,虚拟和实时数据中的解剖结构可包括骨赘或骨刺或其他骨骼解剖或畸形。在一
些实施方案中,指针或指示设备可选地放置在植入式或附接式标记或校准或配准模型或设
备上,然后,通过光学头戴式显示器和连接到光学头戴式显示器并与光学头戴式显示器连
接或耦合的其他图像捕获设备进行图像捕获,并且配准指针尖端。以这种方式,光学头戴式
显示器,植入式或附接式标记或校准或配准体模或包括光学标记的装置,以及通过使用植
入式或附接式标记或校准或配准体模或包括光学标记的装置,可以将一个或多个植入式或
附接式标记或校准或配准体模或包括光学标记的装置附接到其上的解剖结构,病理结构,
器械,植入体组件和任何其他物体,和患者虚拟数据,可以在共同坐标系中配准。虚拟和物
理手术器械和植入体组件也可以在共同坐标系中配准。
可以是螺钉或钉。虚拟数据和实时数据可包括骨赘或骨刺或其他骨骼解剖或畸形。刚性或
固定配准标记可以附着于骨赘或骨刺或其他骨骼解剖结构或畸形。在一些实施方案中,正
在植入的医疗装置或其组件已经暂时或永久地附着于患者组织,在手术期间,比如,在手术
的后续步骤完成时,骨赘或骨刺或骨骼解剖或畸形,或解剖部位或手术部位可用作植入式
或附接式标记或校准或配准体模或装置。这些后续步骤可以包括植入医疗装置的附加组
件。比如,在脊柱融合手术中,可以植入第一椎弓根螺钉。可以配准第一椎弓根螺钉的实时
数据和虚拟数据。通过使用配准的第一椎弓根螺钉保持实时数据和虚拟数据之间的配准,
可以在光学头戴式显示器中虚拟显示随后的椎弓根螺钉或其他组件,包括它们的预期路
径,地点,位置或方向。任何其他刚性或固定的配准标记或植入式装置可以这种方式用于人
体的不同类型的外科手术。
合光。光学标记反射的光,可以由集成到光学头戴式显示器中,附着到光学头戴式显示器或
与光学头戴式显示器分离的图像和/或视频捕获系统来检测。通过使用与光学头戴式显示
器集成,连接或分离的可进行相关图像处理的图像和/或视频捕获系统,以及可选的模式识
别软件和系统,可以检测光学标记的地点,位置,方向,准直和/或移动方向。光学标记可包
括图像和/或视频捕获系统(比如,集成到光学头戴式显示器中,附接到光学头戴式显示器
或与光学头戴式显示器分离的)可识别的具有选定几何图案和/或几何形状的标记,比如,
使用图像处理和/或模式识别技术。光学标记可以选择字母代码或图案和/或数字代码或图
案和/或字母数字代码或图案或其他代码或图案组成的标记,诸如集成到光学头戴式显示
器中,附着到光学头戴式显示器或与光学头戴式显示器分离的图像和/ 或视频捕获系统可
以识别的条形码或二维码,比如,使用图像处理和/或模式识别技术。二维码或快速响应代
码包括条形码在内的任何当前或下一代矩阵代码。条形码和二维码是机器可读光学卷标,
其上信息包括,比如,带有患者标识符,患者状况,手术类型的患者信息,手术部位信息,如
果进行脊柱手术则手术的脊柱节段信息,患者手术侧信息,一个或多个手术器械信息,一个
或多个试验植入体信息,一个或多个植入体组件信息,包括所用植入体类型和/或植入体尺
寸,聚乙烯类型,髋臼内衬类型(比如,标准,唇形,偏移,其他),如果髋关节预期更换。二维
码可以使用不同的标准化编码模式,比如,数字,字母数字,字节/二进制和/或汉字存储数
据等。可以使用其他编码模式。可以使用任何当前和/或未来版本的二维码。可以使用单色
或多色编码的二维码。其他图形标记,比如,Vuforia(PTC,Needham,Mass)增强现实平台支
持的图形标记也可以使用。
其他图形标记
息。
图像和/或视频捕获系统及相关图像处理软件和模式识别软件访问的数据库中。几何图案,
几何形状,字母,数字,字母数字以及包括在一个或多个光学标记中或其一部分中的条形码
和二维码的其他代码或图案可以是二维图像,而一些是三维图像。比如,可以在选择的实施
方案中使用一个或多个平面或二维图案。或者,可以使用选择的三维几何形状,比如,立方
体,长方体,棱柱,圆锥体,圆柱体,球体。可以使用任何三维形状,包括不规则形状和/或不
对称形状。三维几何形状可以包括二维几何图案和/或字母,数字,字母数字以及包括一个
或多个表面上的条形码和二维码的其他代码或图案。比如,如果使用长方体,则相同或不同
的几何图案和/或字母,数字,字母数字和其他代码或图案(包括条形码和二维码)可以包括
在,附加到或集成到其中一个或多个表面,诸如两个相对的表面或两个相邻的表面,比如,
垂直定向。二维几何图案和/或字母,数字,字母数字和其他代码或图案(包括条形码和二维
码)包括在,固定到或集成到三维几何形状的一个或多个表面,可用于确定方向选择包括光
学标记在内的几何形状的表面,以及表面的方向和/或对准,以及几何形状,比如,与手术部
位和与手术改变的关系,具体包括切割骨表面或扩孔骨表面,手术器械和/或包括试验植入
体的一个或多个植入体组件。
括条形码和二维码的其他代码或图案可包括彩色和黑白部分,仅包括彩色部分和仅包括黑
白部分。几何形状可以包括包括彩色和黑白表面,仅包括黑白表面,以及仅包括彩色表面。
不同颜色和不同颜色的代码可用于光学标记的几何形状部分的不同表面。不同颜色和不同
颜色的代码可用于不同的几何图案和/或几何形状和/或字母,数字,字母数字和包括条形
码和二维码的其他代码或图案。不同颜色和不同颜色的代码可用于不同的光学标记。不同
的颜色,比如,红色,蓝色,绿色,橙色,青色等,可用于不同的几何图案和/或几何形状和/或
字母,数字,字母数字和其他代码或图案,包括条形码和二维码。不同的颜色,比如,红色,蓝
色,绿色,橙色,黄色,粉红色,青色等,可用于不同的光学标记。不同的光学标记可以任选与
不同的手术步骤和/或不同的手术器械和/或不同的植入体组件相关联;可以通过使用标准
图像处理和/或模式识别软件集成到光学头戴式显示器中,附加到光学头戴式显示器或与
光学头戴式显示器分离的图像和/或视频捕获系统来识别特定标记的使用,所述图像和/或
视频捕获系统可选地包括图案数据库,比如,与特定手术步骤和/或手术器械关联的图像数
据库。由于图像和/或视频捕获系统识别视场中的特定光学标记,比如,基于特定几何图案
和/或几何形状和/或字母,数字,字母数字和包括条形码的其他代码或图案。然后,它可以
选择性地显示与该光学标记相关的相应手术步骤和/或手术器械和/或植入体组件。
中,可以用来确定几何形状的选择表面的方向和/或几何形状的选择表面对准,几何形状
和/或光学标记的方向和/或对准,比如,比照解剖学标志,手术部位,手术交替,具体包括:
切割骨表面或扩孔骨表面,手术器械和/或包括试验植入体的一个或多个植入体组件等。一
个或多个二维几何图案,字母,数字,字母数字和包括条形码和二维码或其组合的其他代码
或图案,可选地彩色和/或黑白编码,包括在,附加或集成到光学标记物,可以用来确定固定
到或集成到解剖学标志,手术部位,手术交替的光学标记物的方向和/或对准,比如,切割骨
表面或扩孔骨表面,手术器械和/或包括试验植入体的一个或多个植入体组件等。光学标记
可以固定到解剖标志,手术部位,手术改变(比如,可以在患者虚拟数据中识别的切割骨表
面或扩孔骨表面,或患者钻孔以及相应的解剖标志,手术部位或手术改变),从而能够在同
一坐标系中配准患者的虚拟数据和实时数据。如果在手术期间使用多个光学头戴式显示
器,光学标记物也可以连接到光学头戴式显示器,包括多个光学头戴式显示器。选择性,光
学标记(比如,使用二维码),可以用于区分第一,第三,第四和/或更多光学头戴式显示器。
可选地,一个或多个光学标记可以附接到手术台,并且它们可以在坐标系中配准,比如,在
同一坐标系,可以配准一个或多个光学头戴式显示器,患者和手术部位的部分。一个或多个
光学标记可以选择性连接到手术室中的其他结构,包括固定结构(比如,墙壁)和可移动结
构(比如,手术室灯),它们可以在坐标系中配准,比如,可以在同一坐标系配准一个或多个
光学头戴式显示器,患者和手术部位的部分。在该示例中,光学标记也可以安装到保持臂或
延伸器上的固定结构上,可选地移动式,比如,具有已知的尺寸,方向,长度和角度。
到固定结构(比如,手术室壁)的光学标记也可用于增强确定一个或多个光学头戴式显示器
的位置和姿势以及位置或姿势的变化或坐标和坐标的变化,这可以帮助增加虚拟数据显示
的准确性,以及在相应实时数据上迭加的准确性。
手术室或房间中的阴影的方向和/或轨迹,则具有相同或相似方向或轨迹的虚拟阴影可应
用于光学头戴式显示器的虚拟数据显示。
如,使用钉或螺钉或粘合剂。集成到光学头戴式显示器中,附接到光学头戴式显示器或与光
学头戴式显示器分离的图像和/或视频捕获系统可用于监视光学标记相对于图像/或视频
捕捉系统的位置,和/或方向和/或对准和/或移动方向;当远端股骨移动时,图像和/或视频
捕获系统可以检测标记(比如,基于其预程序设计的几何形状,几何图案,字母,数字,字母
数字以及包括条形码和二维码的其他代码或图案),并且可以监控和可选地配准运动。如果
在同一示例中,将包括一个或多个几何形状,几何图案,字母,数字,字母数字和其他代码或
图案(包括条形码和二维码或其组合)的第二光学标记附接到外侧股骨髁,则图像和/或视
频捕获系统还可以监视和可选地配准第二光学标记相对于图像和/或视频捕获系统的位
置,和/或方向和/或对准和/或移动方向;通过监测第一光学标记物在内侧股骨上髁上的位
置和/或方向和/或对准和/或移动方向以及第二光学标记物在股骨外上髁上的位置和/或
方向和/或对准和/或移动方向,图像和/或视频捕获系统以及相关的图像处理和模式识别
软件还可以监测和可选地配准股骨上髁轴的运动(比如,在膝盖的屈曲和伸展期间)。包括
一个或多个几何形状,几何图案,字母,数字,字母数字和包括条形码和二维码或其组合的
其他代码或图案的一个或多个光学标记可以附接到近端胫骨(比如,近端胫骨),胫骨前缘,
内侧和/或外侧胫骨脊,内侧平台的最低点和/或外侧胫骨坪的最高点。比如,在同一实例
中。集成到光学头戴式显示器中,附接到光学头戴式显示器或与光学头戴式显示器分离的
图像和/或视频捕获系统可用于监视附接到胫骨的光学标记相对于图像和/或视频捕获系
统以及与一个或多个股骨光学标记的位置,和/或方向和/或对准和/ 或移动方向,从而监
测并且可选地配准胫骨股动作,比如,在手术期间。包括一个或多个几何形状,几何图案,字
母,数字,字母数字和包括条形码和二维码或其组合的其他代码或图案的一个或多个光学
标记可以附着到髌骨(比如,在同一示例中的最上面,最下面,最侧面和/或最内侧)。集成到
光学头戴式显示器中,附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或
视频捕获系统可用于监视附接到髌骨的光学标记相对于图像和/或视频捕获系统以及与一
个或多个股骨光学标记的位置,和/或方向和/或对准和/或移动方向,从而监测并且可选地
配准髌股动作,比如,在手术期间。集成到光学头戴式显示器中,附接到光学头戴式显示器
或与光学头戴式显示器分离的图像和/或视频捕获系统可用于监视附接到髌骨的光学标记
相对于一个或多个胫骨光学标记物的位置,和/或方向和/或对准和/或移动方向,从而监测
并且可选地配准与胫骨相关的髌骨运动,比如,在胫骨内收或外展期间。
虚拟手术步骤。标记可以包括定义外科手术步骤或对应于外科手术步骤的书面文本,其可
以是紧接在前的外科手术步骤或下一手术步骤,比如,在虚拟外科手术计划中。在一些实施
方案中,文本可以是数字(比如,对应于特定手术步骤的数位),比如,1‑用于远端股骨切割,
2‑用于股骨前切割,3‑用于后股骨切割,4‑用于第一倒角切割,5‑用于第二倒角切割。该数
字可以由图像和/或视频捕获系统识别,然后,图像和/或视频捕获系统可以显示相应外科
手术步骤的虚拟视图,比如,1‑用于远端股骨切割的切割平面或相应物理远端股骨切割块
的虚拟轮廓。可以使用数字和文本的组合,并且图像和/或视频捕获系统以及相关软件和可
选模式识别软件和系统可以识别数字和文本并触发命令以显示相应虚拟手术步骤的对应
虚拟视图,比如,1F‑远端股骨切割,2F‑股骨前切口,1T‑近端胫骨切割,2T‑胫骨龙骨等。
置换虚拟手术计划中的“远端股骨切割”步骤;光学标记物可包括文本“远端股骨切割”。比
如,外科医生可以将标记物固定到远端股骨的切割骨表面或与其相邻的某处。集成到光学
头戴式显示器中,附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频
捕获系统可以检测具有分配给“远端股骨切割”的一个或多个特定几何图案和/或特定几何
形状的光学标记,指示远端股骨切割已经完成;然后,图像捕获信号可以向光学头戴式显示
器发出命令以显示下一外科手术步骤(比如,当外科医生准备进行下一次切割时,前切割平
面或前切块或切割导板的轮廓),比如,在这一实例中的股骨前切割。
或者附着在用于虚拟手术计划中的手术步骤的手术器械上。比如,光学标记物可以包括在
外科切割块或切割工具中,集成到或附接到外科切割块或切割工具中,比如,用于近端胫骨
切割。可选地,标记可以包括定义外科手术步骤或对应于外科手术步骤的书面文本,比如,
在虚拟手术计划中。在前面的示例中,具有一个或多个特定几何形状,几何图案,字母,数
字,字母数字和其他代码或图案(包括条形码和二维码或其组合)的光学标记可以被分配给
在患者全膝关节置换的虚拟手术计划中的“近端胫骨切割”步骤“;光学标记物可包括外科
医生可读取的文本“近端胫骨切割”,并确保正确的标记物用于他或她正在考虑的下一外科
手术步骤,在该示例中为近端胫骨切割。
比如,对应于物理近端胫骨切割块的虚拟近端胫骨切割块的轮廓,使得外科医生可以将物
理手术切割块或器械对准或迭加到虚拟手术切割块或器械的轮廓上。或者,当光学标记物
进入外科医生的视野时,集成到或连接到外科医生头部上的光学头戴式显示器的图像和/
或视频捕获系统可以检测光学标记物并显示下一个虚拟手术步骤,比如,具有预定切除水
平,内翻或外翻角和/或斜度的虚拟切割平面,使得外科医生可以将物理手术切割块和/或
物理手术锯与虚拟切割平面对准或迭加。一旦外科手术步骤完成,比如,近端胫骨切割,并
且外科医生从手术野和/或图像和/或视频捕获系统的视野中移除具有集成的,包括的或附
接的光学标记的物理手术器械,图像和/或视频捕获系统可以检测到光学标记不再存在于
视野中,并且软件可以生成关闭光学头戴式显示器屏幕或完成虚拟手术步骤的屏幕的命
令。可选地,此时可以生成命令,可选地自动生成命令,以显示下一手术步骤(比如,胫骨龙
骨冲头),比如,设定胫骨旋转。或者,光学头戴式显示器装置的显示器可以显示下一手术器
械的下一手术步骤,同时,带有用于下一手术步骤的相应光学标记的下一手术器械进入视
野,比如,在外科医生的手中。
野时检测光学标记,触发命令以显示扩孔轴或具有扩孔步骤的预期对准或方向的扩孔器的
虚拟显示;当外科手术器械的光学标记器离开外科医生的视野时,图像和/或视频捕获系统
可以检测到它触发命令以停止扩孔器的显示或扩孔器的虚拟显示,可选地切换到下一外科
手术步骤。
中,以引导锯片。比如,代表性切割块或导板是用于膝盖置换,肩部置换,髋关节置换和踝部
置换的切割块或导板。比如,这些切割块或导板用于移除关节表面处的骨,以使患者的骨骼
适合植入体或植入体组件的面向骨的侧面。插入件可以设计成部分或基本上填充整个槽或
导板,比如,根据切割块或导板的形状和/或设计,在X和Y方向上或X和Z方向上或 Y和z方向
上。如果插入件在X和Y方向上部分地填充或基本上填充槽或导板,则插入件可以配置成在Z
方向上延伸超过槽或导板。如果插入件在X和Z方向上部分地填充或基本上填充槽或导板,
则插入件可以配置成在Y方向上延伸超过槽或导板。如果插入件在Y和 Z方向上部分地填充
或基本上填充槽或导板,则插入件可以配置成在X方向上延伸超过槽或导板。根据切割块或
导板的配置以及相关槽或导板的配置,任何方向都是可能的,包括倾斜方向,正交方向和非
正交方向。比如,斜槽可用于全膝关节置换中的倒角切除或全踝置换中的倾斜距骨切割。
于90度或大于90度。插入件可具有与用于切割块或导板的代表性锯片相似的尺寸。插入件
可以指示随后将插入锯片的地点,位置,方向,对准和行进方向。外科医生可以将插入件放
置在物理切割块或导板的狭槽或导板内,并使插入件对准由光学头戴式显示器投射到手术
部位的插入件或切割块或导板的虚拟切割平面或虚拟轮廓,比如,全膝关节置换术中的远
端股骨或全髋关节置换术中的近端股骨。一旦插入件与插入件或切割块或导板的虚拟切割
平面,虚拟轮廓基本对准和/或迭加后,外科医生就可以将物理切割块或导板固定到骨骼
上,从而将切割块或导板固定到骨骼上,在此固定位置,虚拟手术计划,比如,插入件或切割
块或导板的虚拟切割平面或虚拟轮廓,基本上与物理切割平面和/或物理插入件或切割块
或导板对准。然后,外科医生可以插入物理锯片并进行物理切割。插入件可以配置成具有与
物理锯片基本相似的形状,用作假锯片。
割块或导板的虚拟切割平面或虚拟轮廓对准,比如,全膝关节置换术中的远端股骨或全髋
关节置换术中的近端股骨。一旦物理锯片基本上与锯片或切割块或导板的虚拟切割平面,
虚拟轮廓对准和/或迭加,外科医生就可以将物理切割块(physical cutting block)或导
板钉在骨头上,从而将切割块或导板固定骨骼上,在固定位置,虚拟手术计划,比如,锯片或
切割块或导板的虚拟切割平面或虚拟轮廓,基本上与物理切割平面(physical cut plane)
和/或物理锯片或切割块或导板对准。然后,外科医生可以推进物理锯片并进行物理切割。
生的文本或字母数字代码,其指定特定的外科手术步骤,比如,特定的手术步骤,1F‑远端股
骨切割,2F‑股骨前切割,1T‑近端胫骨切割,2T‑胫骨龙骨冲头等。光学标记还可以包括一个
或多个特定几何形状,几何图案,字母,数字,字母数字和包括条形码和二维码或其组合的
其他代码或图案。一个或多个特定几何形状,几何图案,字母,数字,字母数字和其他代码或
图案(包括条形码和二维码或其组合)可以特定于外科手术步骤,比如,对应于表示外科医
生手术步骤的字母或字母数字代码。当光学标记进入视场时,集成到光学头戴式显示器中,
附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/ 或视频捕获系统可以检
测一个或多个特定几何形状,几何图案,字母,数字,字母数字和包括条形码和二维码或组
合的其他代码或图案;可以使用图像处理和/或模式识别软件来识别特定的几何形状,几何
图案,字母,数字,字母数字和其他代码或图案,比如,命令用于在光学头戴式显示器中显示
相应的虚拟手术步骤迭加到具有与手术野或目标解剖或骨切割一致的外科医生视角的外
科手术野。当去除切割块或导板,插入件(比如,假锯片),或带有光学标记的物理锯片时,图
像和/或视频捕获系统可以检测到光学标记不再存在于视野中,触发命令关闭光学头戴式
显示器显示或完成手术步骤的显示或切换到下一手术步骤的显示和相应的虚拟显示。
置中或者附接到切割块或导向装置。
置换术。比如,一个或多个光学标记可以包括在,集成到或附接到针,钉,锥,探针,球形手柄
探针,直探针,弯曲探针,丝锥,棘轮,螺钉刀,杆模板,杆插入器,杆夹,弯管机,插头启动器,
压缩机,牵引器,断路器,闭孔器,反扭矩,快速关节,驱动器,牵引器,缩回框架,植入体定位
器,卡钳,板保持器,板弯曲器,镊子等。前述列表仅是示例性的,不应解释为限制本发明。一
个或多个光学标记可用于指定患者左侧和患者右侧,和/或指定患者的脊柱节段,比如,使
用集成到光学头戴式显示器中,附加到光学头戴式显示器或与光学头戴式显示器分离的图
像和/或视频捕获系统检测的,并且使用图像处理和/或模式识别来识别的一个或多个几何
形状,几何图案,字母,数字,字母数字和其他代码或图案。
球柄探针,直探针,弯曲探针,螺钉,棘轮,螺钉刀,杆模板,杆式插入器,杆式夹具,弯管机,
插头启动器,压缩机,牵引器,断路器,闭孔器,反扭矩,快速关节,驱动器,牵开器,缩回框
架,植入体定位器,卡钳,板固定器,弯板机,镊子,铣刀,锯,铰刀,拉刀,撞击器,切割或钻孔
块,以及/或其他手术器械和/或试验植入体和/或植入体组件,的地点,位置,方向,对准和/
或方位。比如,初始配准或后续配准患者,手术部位,光学头戴式显示器,可选地,集成到光
学头戴式显示器,附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频
捕获系统,病患的虚拟数据和/或实时数据之后,图像和/或视频捕获系统可以检测包括在
手术器械中,集成到手术器械中和/或附接到手术器械的光学标记器。由于光学标记物在手
术器械上的地点,位置,对准和/或方向是已知的,并且手术器械的尺寸(比如,它们中的至
少一个)或几何形状是已知的,因此,图像和/或视频捕获系统可以跟踪光学标记和手术器
械的地点,位置,方向,对准和/或运动方向。
缩机,牵引器,断路器,闭孔器,反扭矩,快速关节,驱动器,牵开器,缩回框架,植入体定位
器,卡钳,板固定器,弯板机,镊子,铣刀,锯,铰刀,拉刀,撞击器,切割或钻孔块,以及/或其
他手术器械和/或试验植入体和/或植入体组件,的长轴被集成到或附接到不同的,可选地
限定的位置,比如,膝关节置换或髋关节置换中的器械或试验植入体或植入体组件。图像
和/或视频捕获系统可以检测两个或更多个光学标记,并且可以确定它们各自的位置。通过
定位图像和/或视频捕获系统捕获和定义的两个或更多个光学标记,可以确定针,钉,锥,探
针,丝锥,铣刀,锯,铰刀,拉刀,撞击器和/或手术器械和/或试验植入体和/或植入体组件的
长轴;除了长轴之外或者代替长轴,可以确定其他轴。随着光学标记在针,钉,锥,探针,丝
锥,铣刀,锯,铰刀,拉刀,撞击器和 /或其他手术器械和/或试验植入体和/或植入体组件上
的位置已知,针,锥,探针,丝锥,磨,锯,铰刀,拉刀,撞击器和/或其他手术器械和/或试验植
入体和/或植入体组件的长轴或其他轴已知,以及针,钉,锥,探针,丝锥,铣刀,锯,铰刀,拉
刀,撞击器和 /或其他手术器械和/或试验植入体和/或植入体组件的尺寸已知,针,钉,锥,
探针,丝锥,铣刀,锯,铰刀,拉刀,撞击器和/或其他手术器械和/或试验植入体和/或植入体
组件的部分被组织隐藏,比如,在皮肤下方和/或肌肉内部,除了虚拟或预期的路径或投射
路径或虚拟手术计划的任何其他方面之外,还可以由光学头戴式显示器估计和可选地显
示。不是在前述实施方案中使用两个或更多个光学标记,而是,还可以使用足够长或足够宽
或足够深的光学标记以限定针,钉,锥,探针,丝锥,铣刀,锯,铰刀,拉刀,撞击器和/或其他
手术器械和/或试验植入体和/或植入体组件的一个或多个轴。
或以不同的角度,比如,正交角度或非正交角度。当光学标记包括几何形状,几何图案,字
母,数字,字母数字和包括条形码和二维码或其组合的其他代码或图案中的一个或多个时,
这可能特别有用。通过以这种方式布置光学标记和任何相关的几何形状,几何图案,字母,
数字,字母数字和其他代码或图案(包括条形码和二维码或其组合),确定手术器械的角度
方向更准确。比如,自集成到或连接到光学头戴式显示器的图像和/或视频捕获系统的某些
视角处选择手术器械上第一光学标记物的几何形状,几何图案,字母,数字,字母数字和包
括条形码和二维码或其组合的其他代码或图案,由于角度方向,仅部分可视化或根本不可
见;当第二光学标记物在同一手术器械上以不同的角度,位置和/或方向定向时,从集成到
或附接到光学头戴式显示器的图像和/或视频捕获系统到第二光学标记物的视角,可以允
许完整或更完整地显示一个或多个几何形状,几何图案,字母,数字,字母数字和包括条形
码和二维码或其组合的其他代码或图案,从而允许更准确地确定第二光学标记物的角度取
向,并由此确定手术器械。另外,由图像和/或视频捕获系统测量的第一光学标记和/或第二
光学标记的相应投影,当使用两个或更多个摄像头时可可选择任何视差信息配对(比如,一
个位于左眼附近,另一个位于右眼附近),可用于更准确地确定它们的相对位置和手术器械
的位置。
螺钉刀,杆模板,杆式插入器,杆式夹具,弯管机,插头启动器,压缩机,牵引器,断路器,闭孔
器,反扭矩,快速关节,驱动器,牵开器,缩回框架,植入体定位器,卡钳,板固定器,弯板机,
镊子,铣刀,锯,铰刀,拉刀,撞击器,切割或钻孔块,以及 /或其他手术器械和/或试验植入
体和/或植入体组件,当光学标记进入外科医生的视野时,触发命令以显示针,钉,锥,探针,
球柄探针,直探针,弯曲探针,螺钉,棘轮,螺钉刀,杆模板,杆式插入器,杆式夹具,弯管机,
插头启动器,压缩机,牵引器,断路器,闭孔器,反扭矩,快速关节,驱动器,牵开器,缩回框
架,植入体定位器,卡钳,板固定器,弯板机,镊子,铣刀,锯,铰刀,拉刀,撞击器,切割或钻孔
块,以及/或其他手术器械和/或试验植入体和/或植入体组件的预定路径或平面,例如,具
有预期手术步骤的预期位置,定位和/或准线和/或方向;当手术器械的光学标记器离开外
科医生的视野时,图像和/或视频捕获系统可以检测到它,触发命令以停止显示预定的路径
或手术器械的虚拟显示器或虚拟手术计划的其他方面,可选地切换到下一个手术步骤和相
应的虚拟显示。在脊柱手术以及选择的其他手术中,下一手术步骤可以涉及患者相同脊柱
节段的同一侧或患者相同脊柱节段的相对侧,其中对应于给定水平和侧面的下一手术步骤
的虚拟显示可以由OHMD显示器启动。下一手术步骤可涉及患者相邻或不同脊柱节段的同一
侧或相对侧,其中对于给定水平和侧面的下一手术步骤的相应虚拟显示可由光学头戴式显
示器显示启动。
术器械上的定位和/或位置和/或对准。比如,光学标记器设有带止挡件的开口,该开口足够
大,以便容纳外科医生面向钉或钻头的端部,比如,插入棘突或小关节或椎弓根的一部分。
利用这种类型的附件和其他附件将标记物固定在手术器械上的限定定位,位置和/或方向
上,图像和/或视频捕获系统可以检测光学标记物及其定位,位置和/或方向,据此可以用于
确定手术器械的定位,位置和/或方向,比如,针,由于其限定的空间关系和手术器械的已知
几何形状,包括其在患者体内的尖端或前部。
行了骨切割,则可以将一个或多个光学标记附着到切割骨上,以确定其地点,位置,方向,对
准,尺寸,形状,几何形状,轴或轴线,平面或多个平面,或其中的一个或多个。比如,一个,两
个或更多个光学标记可以放置在切割骨或手术改变的周边或边缘;集成到,连接到光学头
戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可以检测光学标记的定
位,位置和/或方向,并且可以使用软件,比如,分析光学标记的定位,位置和/或方向信息,
以获得关于切割骨或手术改变的周边和/或边缘和/或形状的信息。一个,两个或更多个光
学标记可以放置在切骨或手术改变的附近或其上;集成到,连接到光学头戴式显示器或与
光学头戴式显示器分离的图像和/或视频捕获系统可以检测光学标记的定位,位置和/或方
向,并且可以使用软件,比如,分析地点,位置和/或光学标记的方向信息,以获得关于切割
骨的形状或几何形状或手术改变的信息。如果骨切割是平面的,则可以保持面向平面骨的
表面的一个或多个光学标记或者附接到载体或器械(比如,塑料片)的面向平面骨的表面的
一个或多个光学标记,抵靠,固定或者附着在切骨表面;然后,可以使用集成到光学头戴式
显示器中,附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系
统来检测一个或多个光学标记,并且可以使用软件,比如,分析一个或多个光学标记的定
位,位置和/或方向信息,获得关于骨切割平面的定位和/或位置和/或方向和/或对准的信
息,包括与其他解剖标志和/或其他光学标记的关系。用于光学标记的载体或器械可以是透
明的或半透明的,以便外科医生可以在确定或确认之前检查或确认载体或器械和附接的光
学标记物与骨切割是否齐平,比如,骨头平面。一旦以这种方式确定或确认了骨切割平面,
附接到切骨的光学标记和/或骨切割的确定平面可用于计划下一次手术改变,比如,下一次
骨折或手术改变,比如,在膝关节置换术中远端股骨切割后的股骨前切割或后股骨切割,或
在膝关节置换术后股骨前后切割后切割倒角,或在相对关节表面切开。通过以这种方式确
定,确认和/或参考先前的外科手术改变,比如,骨切割,可以改善后续手术步骤的准确性,
从而最终提高外科手术的整体准确性。
上方。可以使用,比如,将一个或多个光学标记物附着到患者皮肤的粘合剂来执行附接。一
种或多种光学标记物可选地无菌的。一个或多个光学标记可选地磁性的。在该示例中,磁性
基座可选地附接到患者的皮肤,比如,使用粘合剂。然后,可以将透明,半透明或不透明的手
术单放置在磁性基座上,然后,将磁性光学标记物附着到附着于患者皮肤的磁性基座上。或
者,一旦形成皮肤切口,一个或多个光学标记物可以刚性地附接到一个或多个骨骼,比如,
远端股骨和/或近端胫骨。可以使用钉或螺钉或其他附接机构来完成刚性附接。
和/或对准,比如,当腿处于中性时位置(neutral position)和/或延伸位置和/或任何其他
位置,包括任意位置或由外科医生和/或手术者选择的位置的时候。然后,外科医生和/或手
术者可以将腿和大腿移动到多个不同的位置和/或方向和/或对准,和/或外科医生和/或手
术者可以以圆形方式或半圆形方式移动腿和大腿。集成到光学头戴式显示器中,附接到光
学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可以为多个光学标
记的位置和/或位置和/或方向和/或对准和这些腿或大腿的多个不同的位置和/或方向和/
或对准配准,和/或在不同的圆形或半圆形运动期间配准多个光学标记的位置和/或位置
和/ 或方向和/或对准。得到的信息可用于确定旋转中心,在该示例中,旋转中心可以是髋
关节的中心。
戴式显示器中,附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕
获系统,踝关节夹和集成或附接的光学标记可用于确定内踝和外踝的位置,比如,使用踝关
节的踝部之间的中心或1/3或2/3距离点。或者,可以将一个或多个光学标记物应用于内踝
和/或外踝。在本发明的一些实施方案中,磁性基座可以固定到内踝和外踝上。然后,可以用
无菌技术准备和遮盖脚踝,并且可以将一个或多个无菌的磁性光学标记物施加在盖布或外
科手术盖上,用一个或多个光学标记将内置的盖布或外科手术盖固定到磁性基座上。然后,
可以使用集成到光学头戴式显示器中,附接到光学头戴式显示器或与光学头戴式显示器分
离的图像和/或视频捕获系统来识别内踝和外踝上的光学标记以及踝关节的中心,1/3或2/
3距离点。
机械轴,并且可以计划外科手术干预,比如,用相应的股骨和/或胫骨和/或距骨切割矫正内
翻或外翻畸形,并随后使用光学头戴式显示器进行投射。
如,将一个或多个光学标记物附着到患者皮肤的粘合剂来执行附接。一种或多种光学标记
物可选地无菌的。一个或多个光学标记可选地为磁性的。在该示例中,磁性基座可选地附接
到患者的皮肤,比如,使用粘合剂。然后,可以将透明,半透明或不透明的手术单放置在磁性
基座上,然后,将磁性光学标记物附着到附着于患者皮肤的磁性基座上。或者,一旦形成皮
肤切口,一个或多个光学标记物可以刚性地附接到一个或多个骨骼,比如,近端肱骨。可以
使用钉或螺钉或其他附接机构来完成刚性附接。
和/或对准,比如,当手臂处于中性时位置和/或延伸位置和/或外展位置和/或任何其他位
置,包括,由外科医生和/或手术者选择的任意位置或位置。然后,外科医生和/或手术者可
以将手臂移动到多个不同的位置和/或方向和/或对准,和/或外科医生和/或手术者可以以
圆形方式或半圆形方式移动手臂。集成到光学头戴式显示器中,附接到光学头戴式显示器
或与光学头戴式显示器分离的图像和/或视频捕获系统可以为多个光学标记的位置和/或
位置和/或方向和/或对准和这些手臂的多个不同的位置和/或方向和/或对准配准,和/或
在不同的圆形或半圆形运动期间配准多个光学标记的位置和/或位置和/或方向和/或对
准。得到的信息可用于确定旋转中心,在该示例中,旋转中心可以是肩关节的旋转中心。
以是患者所在的平面,比如,仰卧,俯卧,横向或倾斜或本领域已知的其他位置。这可以通过
使用光学标记来辅助,所述光学标记包括与手术台平行或垂直或以限定角度的表面或平
面,并且足够大以便被集成到,附接到或与光学头戴式显示器分开的摄像机,图像或视频捕
获系统检测到。比如,光学标记物的这种平面可以测量1×1厘米,2×2厘米, 2×3厘米,4×
4厘米,4×6厘米等。或者,可以使用多个(比如,两个,三个或更多)光学标记来确定平面,具
体通过对应于手术台的主平面的标记确定平面或平行于手术台的主平面确定平面,或者比
如,垂直于手术台的平面确定平面,或者,比如,与手术台成一定角度的平面确定平面。如果
手术台被手术单覆盖,则可以在放置手术单之前将一个或多个磁性或附接式的基部附接到
手术台。在放置盖布之后,一个或多个磁性或附接式的光学标记可以用插入的手术单附着
到磁性基座或附接机构上。或者,可以将一个或多个已知几何形状的保持臂或延伸器连接
到手术台上,并且一个或多个光学标记可以连接到或可以集成到保持臂或延伸器上。然后,
集成到光学头戴式显示器中,附接到光学头戴式显示器或与光学头戴式显示器分离的图像
和/或视频捕获系统可以识别一个或多个光学标记的地点,位置,方向和/或对准。结果信息
可用于确定患者躺在其上的手术台的主平面。可以使用集成到光学头戴式显示器中或附接
到光学头戴式显示器的图像和/或视频捕获系统,以手术台和/或附接的光学标记为准,来
参考一个或多个光学头戴式显示器。一旦在系统中确定了手术台的主平面,就可以在患者
的虚拟手术计划中计划手术台主平面的虚拟手术步骤。比如,可以垂直于手术台的主平面
计划和/或执行一个或多个骨切割,比如,患者处于仰卧位或俯卧位或任何其他期望位置。
可以相对于手术台的水平面以90度以外的限定角度计划和/或执行一个或多个骨切割,比
如,使患者处于仰卧或俯卧位置或任何其他期望位置。可以在相对于手术台的主平面或水
平面的非正交平面或方向上计划和/或执行一个或多个骨切割,比如,使患者处于仰卧或俯
卧位置或任何其他期望位置,可选地参考垂直于手术台的由光学头戴式显示器显示的平
面。手术台的主平面可以以这种方式作为参考,包括用于比较或参考患者虚拟数据和患者
实时数据,并且包括用于比较或参考虚拟手术计划。可以使用一个或多个虚拟手术导板或
切割块和/或一个或多个物理手术导板或切块执行正交角度或非正交角度(比如,相对于手
术台或相对于患者的解剖结构,解剖标志,解剖轴或生物力学轴)的骨切割。虚拟手术导板
或切割块可包括对应于物理手术导板或切割块的一个或多个尺寸。
移动时,这可能是有用的。对手术台的固定参考可以帮助维持一个或多个光学头戴式显示
器和虚拟手术计划以及患者实时数据和/或手术室的配准。
与光学头戴式显示器分离的图像和/或视频捕获系统可用于识别一个或多个光学标记,并
确定它们的地点,位置,方向和/或对准。图像和/或视频捕获系统还可选地确定附接到或参
考手术台的一个或多个光学标记的地点,位置,方向和/或对准。该系统可以在手术野中和/
或远离手术野和附接到或用作参照的手术台的一个或多个光学标记的区域,参考附接到患
者的一个或多个光学标记的坐标和/或空间关系。以这种方式,如果患者的身体在手术期间
移动,比如,在髋关节置换时的近端股骨拉削或髋臼扩孔期间,或者在膝关节置换时撞击股
骨或胫骨组件期间,或者在钉住或切割骨头期间,或者在放置脊柱装置(比如,融合器子或
椎弓根螺钉)期间,可以检测在外科手术野中和/或远离外科手术野的区域附接到患者的一
个或多个光学标记和附接到或参考手术台的一个或多个光学标记之间的移动以及在手术
野和/或远离手术野的区域附着到患者的一个或多个光学标记的坐标变化,并且可以确定
运动量,运动方向和运动幅度;比如,所得到的信息可用于更新或调整或修改虚拟手术计划
或更新或调整或修改虚拟手术计划或虚拟手术步骤或虚拟显示器的显示以用于患者的运
动,包括,通过更新,移动或调整虚拟手术计划的一个或多个方面和/或部分,包括一个或多
个虚拟外科手术工具,虚拟手术器械包括:虚拟手术导板或切割块,虚拟试验植入体,虚拟
植入体组件,虚拟植入体或虚拟设备,预定的起始点,预定的起始位置,预定的起始方向或
对准,预定的中间点,预定的中间位置,预定的中间方向或对准,预定的终点,预定的最终位
置,预定的端部方向或对准,预定的路径,预定的平面,预定的切割平面,预定的轮廓或横截
面或表面特征或形状或投影,预定的深度标记或深度计,预定的角度或方向或旋转标记,预
定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术工具的预定轴,虚拟手术器械(包括虚拟手术
导板或切割块,虚拟试验植入体,虚拟植入体组件,虚拟植入体或装置),用于一个或多个装
置或植入体或植入体组件或手术器械或手术工具的非可视化部分,和/或使用新的患者坐
标或手术野的新坐标的预定组织改变或变化中的一个或多个。
荧光透视,数字断层合成,锥形束计算机断层扫描和/或计算机断层扫描。不同水平或程度
的射线不透性可以存在于光学标记物的不同部分或区域中。可以利用不同水平或程度的射
线不透性来编码信息。比如,不同水平的射线不透性可用于编码以光学可读的字母数字代
码,条形码或QR保存的信息。不同水平的射线不透性可选地像厚度分布条一样布置,其可选
地镜像条形码中包含的部分或全部信息。不同水平的射线不透性可选地像厚度分布一样以
点或方格排列,其可选地镜像包含在二维码中的部分信息。通过改变金属(比如,铅)的厚度
可以获得不同的射线不透性。以这种方式编码信息的不透射线光学标记可以使用三维金属
打印机制造。它们也可以是数控机床(CNC)加工的,比如,杆料或铸坯。
字代码或文本,条形码或二维码中,可以通过条形码或二维码阅读器或集成到光学头戴式
显示器中,附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系
统读取。光学标记物的不透射线部分可包括解剖部位信息,比如,L5或L4,T1或 T2,C3或C7,
膝盖,臀部,在射线照片上可见,比如,通过不同的材料厚度,比如,铅;相同的信息可以包含
在附加的字母数字代码或文本,条形码或二维码中,可以通过条形码或二维码阅读器或集
成到光学头戴式显示器中,附加到光学头戴式显示器或与光学头戴式显示器分离的图像
和/或视频捕获系统读取。图像处理技术和/或软件可以应用于包括光学标记的射线照相信
息和诸如横向性和/或位置的射线照相编码信息,并且可以将包括在射线照片中的信息与
包括在光学扫描上的信息进行比较。如果检测到任何差异,则可以触发警报,比如,可以在
光学头戴式显示器中显示警报。
或更多个不透射线的光学标记物应用于脊柱节段周围的皮肤以进行预期的手术;一个,两
个,三个或更多个不透射线的光学标记可以连接到插入棘突和/或椎弓根或其他脊柱元素
的钉,钻或螺钉上;一个,两个,三个或更多不透射线的光学标记可以应用于患者的侧腹或
腹部。在髋关节置换手术中,可以将一个,两个,三个或更多个不透射线的光学标记物应用
于患者的预期手术侧上的髂前上棘,比如,用粘合剂粘合到皮肤上或附于针上或将钻附到
骨上;一个,两个,三个或更多个不透射线的光学标记可以应用于患者对侧的髂前上棘,比
如,用粘合剂粘合到皮肤上或附于针或将钻附到骨上;可以将一个,两个,三个或更多个不
透射线的光学标记物附于耻骨联合处,比如,用粘合剂粘合到皮肤上或附于针上或将钻附
到骨上;一个,两个,三个或更多个不透射线的光学标记可以应用于附于患者的预期手术侧
的髋臼,比如,将钉或钻附接到骨上。通过在手术部位周围的多个不同位置和不同平面中使
用多个不透射线光学标记,可以增加光学标记在不同模态(比如,射线照片,图像捕获)中的
三维空间配准和互相参照的准确性,比如,从多个视角获得不同角度的多个X射线,比如,正
位,横向和/或倾斜,和/或通过使用集成到光学头戴式显示器中,连接到光学头戴式显示器
或与光学头戴式显示器分离的图像和/或视频捕获系统,从多个视角对不透射线光学标记
扫描成像。通过在手术部位周围的多个不同位置和不同平面中使用多个光学标记,可以增
加光学标记的三维空间配准的精度,比如,使用集成到光学头戴式显示器中,连接到光学头
戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统,从多个视角对光学标
记扫描成像。另外,当视角或射线照相角度改变时,比如,在外科手术过程中或由于患者移
动,可以更好地保持配准的准确性。
更多个光学标记的坐标以及标记之间的距离和角度,采用以下方式使用集成到光学头戴式
显示器中,附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系
统,可以确定距离测量和/或角度测量和/或面积测量和/或体积测量的准确度。此外,通过
重复测量,使用集成到光学头戴式显示器中,附加到光学头戴式显示器或与光学头戴式显
示器分离的图像和/或视频捕获系统,可以确定距离测量和/或角度测量和/或面积测量和/
或体积测量的再现性和/或精度。使用集成到光学头戴式显示器中,附加到光学头戴式显示
器或与光学头戴式显示器分离的图像和/或视频捕获系统,可以确定距离测量和/或角度测
量和/或面积测量和/或体积测量在静态和动态条件下的准确度和/或再现性和/或精度。静
态条件可以是患者,脊柱,四肢,关节和/或骨骼不移动的情况。动态条件可以是在图像捕获
期间患者,脊柱,四肢,关节和/或骨骼移动的条件。比如,动态条件可用于确定关节的旋转
中心。静态条件和动态条件的测量可以针对集成到光学头戴式显示器中,附接到光学头戴
式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统的不同视角和距离来执
行。静态条件和动态条件的测量可以在光学头戴式显示器静止时进行,而非移动时。静态条
件和动态条件的测量可以在光学头戴式显示器不静止时进行,而非移动时,比如,随手术者
的头部移动。
现性(比如,以开尔文为单位)。可以应用其他统计测试。可以评估在静态,动态,光学头戴式
显示器不动和光学头戴式显示器移动的条件下的所有测量和所有统计测定和参数,包括图
像和/或视频捕获系统与目标解剖结构和/或测试装置和/或体模的不同角度和距离。
体积测量和/或坐标测量的准确度和/或再现性和/或精度,定义阈值可以指示系统何时在
临床上可接受的性能范围之外操作。可以使用本领域已知的标准统计方法确定阈值。比如,
当集成到光学头戴式显示器中,附接到光学头戴式显示器或与光学头戴式显示器分离的图
像和/或视频捕获系统的视角和/或距离或移动速度指示测量值落在包括整体系统性能的
系统性能的两个标准偏差之外时,可以向外科医生触发警告,虚拟数据的显示,比如,虚拟
手术计划的部分,虚拟投射路径或虚拟平面(比如,虚拟切割平面),可能不准确。二进制(比
如,是,否)系统可用于触发图像和/或视频捕获系统和/或OHMD显示器在临床上可接受的性
能范围之外操作的警报,比如,超过某些视角,超过或低于到目标解剖结构的某些距离,或
超过可接受的运动速度。或者,随着系统逐渐进入临床上可接受的性能范围之外的范围,可
以使用滑动标度。滑动标尺可以是从绿色到红色的色标,其间具有混合色。滑动标度可以是
声学信号,其在系统在临床可接受范围之外操作时可进一步增加强度或频率。滑动标度可
以是振动信号,其在系统在临床可接受范围之外操作时可进一步增加强度或频率。在本发
明的一些实施方案中,当一个或多个测试数据指示系统在其临床可接受的性能范围之外运
行时,光学头戴式显示器可选地关闭患者虚拟数据的显示,比如,虚拟计划信息,虚拟手术
导板或切割块或虚拟平面或预期路径。当测试数据表明系统在临床可接受的性能范围内再
次运行时,OHMD显示器可以重新打开。包括精确度测试和再现性测试的系统测试可以间歇
地进行,比如,每3秒,5秒,10秒,20秒,30秒,1分钟,2分钟等。系统测试可以连续进行。系统
测试可以间歇或连续执行,但仅限于光学头戴式显示器显示虚拟数据的时间。系统测试可
以间歇或连续进行,但仅限于需要高精度或可重复性的手术步骤的时间。需要高精度或高
再现性的这些步骤可以由外科医生通过语音命令或其他命令来识别,或者它们可以在虚拟
手术计划中被识别,比如,自动识别或通过外科医生的选择。
钉,钻或螺钉锚固在棘突,椎弓根或其他脊柱元素中。使用具有附接的射线照相光学标记的
扩展器可以增加射线照相数据和图像捕获数据之间的配准精度,比如,当使用正位和侧位
射线照片时。在使用图像捕获时,使用带有附加光学标记的扩展器可以说明定义解剖轴或
器械轴以及其他信息。当两个或更多个标记与扩展器一起使用并且标记分开的距离大于图
像和/或视频捕获系统的空间分辨率时,可以增加确定两个标记之间的轴的准确度,比如,
扩展器的长度和标记之间的距离。
有核磁共振造影剂,比如,钆‑DTPA(Gadolinium‑DTPA),使得它们以核磁共振显现。光学标
记可以掺杂有同位素或正电子发射体,使得它们以单光子发射断层扫描或正电子放射断层
造影术显现。
题,可能对患者造成破坏性后果。类似地,在脊柱外科手术中,操作错误的脊柱节段会导致
患者严重受伤。用于确定患者,肢体,关节,手术部位,手术器械,试验植入体和/或植入体组
件的定位,位置,方向,对准和/或行进方向的光学标记物还可以包括以下任何信息,比如,
使用包含在光学标记中或附加到光学标记中的条形码或二维码的信息:
取条形码和/或二维码上包含的信息。在本发明的一些实施方案中,集成到光学头戴式显示
器中或附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可
用于读取条形码和/或二维码上包含的信息。然后,比如,可以将从条形码和/或二维码读取
的信息与虚拟手术计划的部分和/或为手术准备的患者体侧(比如,左侧与右侧,),准备用
于手术的患者部位,比如,脊柱节段L4对L5(比如,如在射线照片所见),执行的物理手术,选
择的物理器械,选择的物理植入体试验,选择的物理植入体组件进行比较。
式或附接式光学标记物的器械,试验植入体和/或植入体组件进入条形码和/或二维码阅读
器和/或集成或附接到光学头戴式显示器的图像和/或视频捕获系统的视野时,或进入手术
野或手术改变组织的附近时,条形图上的信息可以读取物理钉或螺钉,物理器械,物理试验
植入体和/或物理植入体组件上的代码或二维码,并将其与预期的手术部位信息和/或预期
的侧向性信息和/或虚拟手术计划和/或预期的尺寸信息和/或预期的模板信息进行比较。
在脊柱节段的示例中,条形码和/或二维码读取器和/或集成或附接到光学头戴式显示器的
图像和/或视频捕获系统可以读取识别预期脊柱节段和用于钉或椎弓根螺钉或其他装置的
侧面上的二维码(左侧或右侧)。可以将信息与患者的虚拟手术计划和/或X射线信息进行比
较。比如,系统可以使用术中X射线来自动或半自动或用户操作识别脊柱节段(比如,从骶骨
向上计数),比如,通过检测骶骨终板和相对的终板和/或椎弓根。如果系统检测到从钉,螺
钉或装置和集成或附加的光学标记和条形码或二维码读取的信息与虚拟手术计划和/或放
射照相信息之间存在脊柱节段或侧向性的差异,则可触发检查设备,检查手术计划和/或重
新确认脊柱节段和/或侧面的警报。上述示例不限于射线照相信息;本领域已知的其他影像
学检查,比如,计算机断层扫描,核磁共振等,可用于确定或识别解剖部位和侧面,包括脊柱
节段。
比较,比如,插入的钉或螺钉,所用物理器械,所用物理试验植入体和/或所用物理植入体组
件的物理位置或脊柱节段或侧向性,可以触发警报,比如,在光学头戴式显示器中或在用于
计划,显示或修改虚拟手术计划的计算机监视器。警报可以是视觉的,比如,红色警告标志
或停止标志或显示的警报标志,或声音,或振动,或其组合。可以使用本领域已知的任何其
他警报。
比如,左股骨组件与右股骨组件。如果磨砂技术人员意外地将外科医生右侧股骨组件移植
到患者的左膝中,则外科医生佩戴的光学头戴式显示器集成或附接的图像和/或视频捕获
系统可以在外科医生取股骨组件时,和在具有附接式光学标记和二维码的股骨组件进入外
科医生的视野时或进入手术野附近时,读取二维码。图像和/或视频捕获系统和相关系统软
件可以读取二维码识别植入体组件是否用于右膝;然后,系统软件可以将信息与患者的虚
拟手术计划或指示左膝计划的模板和/或尺寸信息进行比较,然后,触发不正确的股骨组件
已进入视野的警报,或者外科医生已经进入手术野附近,比如,由另一个光学标记区别。警
报可以通过切换到正确的侧面组件来辅助外科医生纠正错误。
植入体组件的尺寸,比如,尺寸5或6或其他股骨组件,或尺寸5或6或其他胫骨组件,或尺寸2
或3或其他髌骨组件。如果磨砂技术人员意外地将移植到患者左膝中的尺寸为4 的股骨组
件(模板化为尺寸为6的股骨组件)递给外科医生,则外科医生佩戴的集成到或附接到光学
头戴式显示器的图像和/或视频捕获系统可以在外科医生取股骨组件时,和在具有附接式
光学标记和二维码的股骨组件进入外科医生的视野时或进入手术野附近时,读取二维码。
图像和/或视频捕获系统和相关系统软件可以读取识别植入体组件尺寸为4 的二维码;然
后,系统软件可以将信息与患者的虚拟手术计划或模板和/或尺寸信息进行比较,模板和/
或尺寸信息可以指示已规划了尺寸为6的股骨组件,然后触发不正确的股骨组件已进入外
科医生的视图或已进入手术野附近(比如,由另一光学标记区别)的警报。警报可以通过切
换到正确的尺寸组件来辅助外科医生纠正错误。
器械和/或植入体组件的嵌入信息,以用于库存管理和计费和开发票的目的。比如,图像和/
或视频捕获系统和/或条形码和/或二维码读取器可以检测使用了哪些器械,监视其使用频
率,以及何时达到某个推荐的使用频率,系统可以触发警报以发送器械进行维修。在一些实
施方案中,图像和/或视频捕获系统和/或条形码和/或二维码读取器可以检测使用哪些器
械,并触发警报以将器械送去维修。在一些实施方案中,图像和/或视频捕获系统和/或条形
码和/或二维码读取器可以检测使用哪些一次性器械,并触发系统警报补充供应,发送新
的,额外的一次性器械替换已用器械。在一些实施方案中,图像和/或视频捕获系统和/或条
形码和/或二维码读取器可以检测使用了哪些植入体组件和其他可充电组件,并在系统中
触发警报补充供应,并发送新的,额外的植入体来取代已用植入体;警报还可以触发命令以
生成医院和/或手术中心的发票,并监控支付。
叉韧带修复,脊柱手术,脊柱融合(比如,前路和后部),椎体成形术和/或椎体后凸成形术。
可以执行虚拟图像数据的配准,比如,使用解剖标志或位置或骨赘或骨刺或其他骨骼解剖
或畸形,其中针已被物理放置并且可选地在电子图像上标记针,和处理患者实时数据。然后
可以选择性移除钉,比如,如果它们会干扰外科手术的步骤。在执行外科手术的步骤 (比
如,骨切割)之后,可选地将钉重新插入留在骨切割下方的残留骨中的钉孔中,并且钉可以
用于配准虚拟数据。即使手术部位和解剖结构已经通过外科手术改变,患者也可以获得患
者实时数据。
手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征,可以与患
者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患
者制定的虚拟手术计划中的其他组织特征匹配,迭加和/或配准。在手术组织改变之后匹
配,迭加和/或配准患者实时数据和患者虚拟数据,可以使用前述中描述的相同技术或本说
明书中描述的任何其他配准技术或本领域已知的任何其他配准技术设备。
像可包括扫描一个或多个相邻关节的部分或全部。当需要关于肢体长度或轴对准或旋转对
准的信息时,该方法可能是有益的。比如,在计划髋关节置换手术时,通过远端股骨和任选
的膝关节和/或踝关节获取的图像信息有助于确定腿长度等。在计划膝关节置换手术时,通
过髋关节和踝关节获得图像信息是有益的。比如,以这种方式,确定髋部中心和踝关节。该
信息可用于确定患者的机械轴对准,并且可选地,用于计划机械轴校正。
承重部分或全腿X射线来确定腿的机械轴对准。比如,来自计算机断层扫描或核磁共振的膝
关节三维数据可用于获得关于关节的详细解剖信息,比如,以获得表面形状信息并设计患
者特异性标记或模板。来自直立扫描的信息可用于对准患者特异性标记或模板或相对于机
械轴的方位。来自三维膝盖扫描的信息可用于导出一个或多个适合患者的独特形状的患者
特异性表面。
稳定的存在和程度,比如,在具有椎弓根螺钉和/或融合器的预期脊柱融合手术之前。可以
确定不稳定程度或滑动程度并用于确定预期矫正的程度(如果有的话)或所需的椎间孔切
开术的程度,两者都可以选择性预定三维数据。可选地使用侧向弯曲视图来确定部分椎骨
椎体切除术的程度和角度以及椎间椎弓根的期望位置和/或高度。因此,来自直立影像学检
查的数据可以与来自仰卧或俯卧影像学检查的数据组合或选择性融合。来自二维影像学检
查的数据可以与来自三维影像学检查的数据组合或融合。三维数据可用于导出一个或多个
患者特定表面,其适合于患者的独特形状,比如,一个或多个患者棘突的独特形状,患者的
一个或多个横突,一个或多个更多患者的椎板,一个或多个患者的关节突,一个或多个患者
的椎体。
以包括比患者的目标解剖结构的区段三维表面更多的表面特征。这样的表面特征可以包括
尖钉或针状结构,以允许患者特异性标记或模板在患者组织表面上增强固定。
面形状的信息或提供信息以得出解剖区域的表面形状的估计时。患者特异性标记物或模板
可包括一个或多个表面,其被设计或制造成适合任何关节或脊柱或其他解剖位置对应
于提供表面信息。如果患者特异性标记物或模板旨在适合软骨下骨形状或皮质骨形状,则
可以使用计算机断层扫描,尽管核磁共振和超声也可以提供关于骨形状的信息。
中。它们也可以使用本领域已知的立体平版印刷术或三维印刷技术生产。如果使用三维打
印,可以使用空气清洁操作和/或水浴除去残留粉末。可以使用基于粉末或基于液体树脂的
方法来执行三维打印,包括但不限于,连续液体接口生产。
字母数字代码,比如,当三维打印用于制造患者特异性标记或模板时。三维打印可以用软件
执行,比如,Materialize Magics(Materialise,Leuven,Belgium)和本领域已知的硬件,比
如,3D Systems,Rock Hill,SC或Concept Laser,Lichtenfels,Germany的3D打印机。
患者特异性标记物或模板可以是半透明的。患者特异性标记可以是透明的。在一些实施方
案中,患者特异性标记物或模板可以是半不透明或半透明的。然而,当患者特异性标记物或
模板与患者接触并且标记物或模板的患者特异性表面与患者的相应表面良好匹配时,由于
在患者的相应表面上有组织水分,患者特异性标记物或模板透明。
重侧。第一和第二表面可位于关节的相对侧。关节的第一表面上的一个或多个患者特异性
标记或模板不能连接到关节的第二表面上的一个或多个患者特异性标记或模板。在一些实
施方案中,关节的第一表面上的一个或多个患者特异性标记或模板可选地连接或连接到关
节的第二表面。因此,可选地互相参照一种或多种患者特异性标记或模板。
相应表面或形状。可以设计和/或安装患者特异性标记物或模板的患者表面的代表性非限
制性实例包括:
正常组织。患者特异性标记或模板可以仅设计或适合于异常或患病组织。可以将患者特异
性标记或模板设计或适合于正常组织和异常组织或患病组织的组合。比如,患者特异性标
记可以设计为正常软骨,或患病软骨,或正常和患病软骨的组合,比如,在相同或相对的关
节表面上。患者特异性标记可用于在共同坐标系中配准一个或多个正常或病理组织或结
构,比如,用患者的一个或多个光学头戴式显示器和虚拟数据。虚拟和物理手术器械和植入
体组件也可以在共同坐标系中配准。
一个或多个表面,设计和/或制造所述表面以实现与患者的相应表面的紧密配合。
特异性标记或模板可用于配准患者虚拟数据和可选的具有患者实时数据的虚拟手术计划。
通过将患者特异性标记或模板应用于患者的相应表面,外科医生可有效识别虚拟数据中的
相应结构或表面以及患者实时数据。
戴式显示器的定位,位置和/或方向。比如,与患者特定表面相对的患者特异性标记或模板
的侧面可以包括某些标准化的几何特征,比如,矩形,三角形,圆形等,这样便于集成到或连
接到光学头戴式显示器或耦合到光学头戴式显示器的图像和/或视频捕获系统识别。在替
代实施方案中,患者特异性标记物或模板可包括一个或多个惯性测量单元,包括加速度计,
磁力计和陀螺仪,类似于光学头戴式显示器。在一些实施方案中,患者特异性标记物或模板
可包括一个或多个射频卷标或标记物或逆向反射标记物,并且其定位,位置和/或方向可由
手术导航系统捕获。射频标签可以是有源的也可以是无源的。光学头戴式显示器还可以选
择性包括一个或多个射频卷标或标记或逆向反射标记,其定位,位置和/或方向也可以由手
术导航系统捕获并且与患者特异性标记或模板互相参照。患者特异性标记物或模板还可包
括光源,比如,激光或发光二极管(LED)。比如,可以将激光投射到墙壁或天花板上,并且光
学头戴式显示器可以与其相对引用。附着或集成到患者特异性标记或模板中的发光二极管
可以被识别,比如,通过集成到或连接到光学头戴式显示器的图像和/ 或视频捕获系统。
显示器的图像和/或视频捕获系统容易识别的某些标准化几何特征,比如,矩形,三角形,圆
形等。在替代实施方案中,在外科手术期间所用一个或多个外科手术器械和/或一个或多个
植入式装置可包括一个或多个惯性测量单元,包括加速度计,磁力计和陀螺仪,类似于光学
头戴式显示器。在一些实施方案中,在外科手术期间所用一个或多个手术器械和/或一个或
多个植入式装置可包括一个或多个射频卷标或标记或逆向反射标记,并且其定位,位置和/
或方向可由手术导航系统捕获。光学头戴式显示器还可选地包括一个或多个射频卷标或标
记或逆向反射标记,其定位,位置和/或方向也可以由手术导航系统捕获,并且与患者特异
性标记或模板和/或手术器械中所用一个或多个手术器械和/或一个或多个植入式装置互
相参照。在手术期间所用一个或多个手术器械和/或一个或多个植入式装置还可以包括光
源,比如,激光器或发光二极管。比如,可以将激光投射在墙壁或天花板上,并且可以相对于
激光参照光学头戴式显示器和患者。比如,集成到或连接到光学头戴式显示器或耦合到光
学头戴式显示器的图像和/或视频捕获系统,可以识别附接到或集成到手术器械中的一个
或多个手术器械和/或一个或多个植入式装置的发光二极管。可选地使用多个发光二极管。
可选择,多个发光二极管中的两个或更多个发光具有不同波长或颜色。两个或更多个发光
二极管可以位于空间限定的位置和方向中,比如,以预定义或固定距离并且以一个或多个
预定义或固定角度定位。以这种方式,当图像和/或视频捕获系统靠近手术者的眼睛时,两
个或更多个发光二极管可以通过集成到光学头戴式显示器中,附接到光学头戴式显示器或
者与光学头戴式显示器分离的图像和/或视频捕获系统以及通过图像和/或视频捕获系统
看到的测量距离和/或角度来定位。比如,可以用于确定手术者到目标解剖结构的距离和/
或方向。通过使用具有不同波长或颜色的发光二极管,图像和/或视频捕获系统可以区分不
同的发光二极管;当发光二极管以已知的空间方向排列时,该信息可有助于提高配准的准
确度和/或用于获得精确的距离,角度,方向和/或速度测量。在包含发光二极管使用或适合
使用发光二极管的所有实施方案中,在整个说明书中使用具有不同波长和颜色,测值或配
准的两个或更多个发光二极管。
知位置和不同的已知角度的颜色标记,比如,可以通过集成到或附接到或耦合到光学头戴
式显示器的图像和/或视频捕获系统识别这样的图案和,比如,估计距离和角度(比如,从手
术部位到光学头戴式显示器,或两个标记,两个手术器械或医疗装置组件之间的距离和角
度)。
过集成到或附接到或耦合到光学头戴式显示器的图像和/或视频捕获系统来识别这样的尺
度或角度,并且估计距离和角度,比如,从手术部位到光学头戴式显示器,或两个手术器械
或医疗装置组件之间的距离和角度。
时数据,现在可以在手术期间获得并使用患者虚拟数据中包含的坐标信息,距离信息,轴信
息,功能信息。
手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征,可以与患
者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患
者制定的虚拟手术计划中的其他组织特征匹配,迭加和/或配准。在手术组织改变之后匹
配,迭加和/或配准患者实时数据和患者虚拟数据,可以使用前述中描述的相同技术或本说
明书中描述的任何其他配准技术或本领域已知的任何其他配准技术设备。
的患者虚拟数据,比如,使用术前X射线,超声,计算机断层扫描或核磁共振成像。可以通过
识别和选择性标记对应的解剖标志,表面,对象形状,比如,对患者的术前和术中虚拟数据
以及患者实时数据在具有一个或多个光学头戴式显示器的共同坐标系中进行配准。在患者
的术前虚拟数据中,患者的术中虚拟数据,比如,上述一个或多个的电子二维或三维图像,
以及患者实时数据,可以是手术部位或目标组织。虚拟术前,虚拟术中和实时数据可包括骨
赘或骨刺或其他骨骼解剖或畸形。虚拟和物理手术器械和植入体组件也可以在共同坐标系
中配准。
面。术中X射线图像可用于识别某些标志或形状,然后,可在手术期间将其配准到患者的术
前成像和/或实时数据。术前成像可以选择性包括三维图像数据,比如,通过计算机断层扫
描或核磁共振获得。在多个平面中获取术中图像可以有助于更准确地定义用于术前虚拟数
据,术中虚拟数据和患者实时数据的配准的某些解剖标志,轮廓或形状的位置。患者的术中
虚拟数据可以是二维或三维中的患者术中图像,以资澄清。
位投影中的某些标志或轮廓,比如,棘突的尖端,小关节,小关节的上或下尖端,椎板的皮质
边缘,上部或下部终板或骨赘或骨刺或其他骨骼解剖或畸形。可备选,X射线管与患者之间
的距离导致X射线放大可以被考虑到任何配准中,以便提高患者虚拟术前数据,患者虚拟术
中数据或实时患者数据的配准准确性。然后,可以配准术中X射线图像,并且可选择通过光
学头戴式显示器将其迭加到患者术前数据或患者实时数据中。患者的术中虚拟数据,比如,
棘突尖端,小关节,小关节的上或下尖端,椎板的皮质边缘,上部或下部终板,可以比如,通
过接触带指向装置或穿过皮肤插入的针或钉的相应解剖标志,并通过互相参照实时数据指
示装置的尖端的位置和患者术中虚拟数据,配准到实时数据。以这种方式,可以共同配准患
者的术前虚拟数据,患者的术中虚拟数据和患者实时数据及其组合中的任何一个。可以在
光学头戴式显示器中选择性看到两个或三个数据集,患者的术前虚拟数据,患者的术中虚
拟数据和患者实时数据。然而,在许多实施方案中,术中成像可以仅用于增强患者的术前虚
拟数据和患者实时数据的配准准确性,并且比如,患者和/或预期放置在手术部位的医疗设
备的术前虚拟数据,和患者或手术部位的实时数据,将由光学头戴式显示器一起显示。
情况下,手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或现场患者或患者
的术中重复图像数据中的其他组织特征可以匹配,迭加到和/或配准到,患者的虚拟数据
(比如在为患者制定的虚拟手术计划)中的,手术改变的组织或组织表面或组织轮廓或组织
周长或组织体积或患者虚拟数据中的其他组织特征。在手术组织改变之后匹配,迭加和 /
或配准患者实时数据和患者虚拟数据,可以使用前述中描述的相同技术或本说明书中描述
的任何其他配准技术或本领域已知的任何其他配准技术设备。
及通过在具有一个或多个光学头戴式显示器的共同坐标系中的光学头戴式显示器看到的
实时数据。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。比如,术前虚拟
数据和患者实时数据之间的初始配准可以在程序开始时发生。比如,可以使用相应的解剖
标志,表面或形状,或使用术中成像来执行初始配准,从而产生术中虚拟数据或本发明中描
述的其他实施方案。比如,配准可用于将虚拟数据和实时数据以及光学头戴式显示器放置
到共同坐标系中。然后,可以应用皮肤标记,校准或配准体模或装置。虚拟和物理手术器械
和植入体组件也可以在共同坐标系中配准。可选择,或者另外,应用软组织标记,校准或配
准模型或设备。通常,应用多于一种,比如,两种,三种,四种或更多种,皮肤标记和软组织标
记,校准或配准体模或装置。为清楚起见,本应用所用术语植入式标记,附接式标记,皮肤标
记,软组织标记,校准或配准体模或装置可包括光学标记,比如,带有不同几何形状或图案
的光学标记,带有二维码,带有条形码,带有字母数字代码。皮肤标记和软组织标记,校准或
配准体模或装置可,以使用组织兼容性粘合剂(包括纤维蛋白胶等)的形式,施用于皮肤或
软组织。在一些实施方案中,一种,两种,三种,四种或更多种皮肤标记和软组织标记,校准
或配准体模或装置可包括在,在手术前施用于皮肤的手术单或敷料透明膜中。然后,可以在
实时数据中配准皮肤标记和软组织标记,校准或配准模型或设备,并互相参照虚拟数据。随
后可以使用皮肤标记和软组织标记,校准或配准模型或装置,比如,当手术部位被改变并且
用于虚拟和实时数据的初始配准的解剖标志,表面或形状被改变或移除时,不能使用或不
能可靠地用于保持虚拟数据和实时数据之间的配准时。虚拟术前,虚拟术中和实时数据可
包括骨赘或骨刺或其他骨骼解剖或畸形。
手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征,可以与患
者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患
者制定的虚拟手术计划中的其他组织特征匹配,迭加和/或配准。在手术组织改变之后匹
配,迭加和/或配准患者实时数据和患者虚拟数据,可以使用前述中描述的相同技术或本说
明书中描述的任何其他配准技术或本领域已知的任何其他配准技术设备。
或外科手术改变之后执行患者实时数据和患者虚拟数据的重新配准。在重新配准之后,可
以应用一个或多个新的皮肤标记物或软组织标记物或校准体模或配准体模,并在手术步骤
或改变之后互相参照重新配准的实时和虚拟数据。然后,可以将皮肤标记物或软组织标记
物或校准体模或配准体模用于患者实时数据和患者虚拟数据的后续匹配,迭加,移动和配
准。
如,校准或配准体模可以主要布置或定位在单个平面中。其他校准体模可以位于多个平面
中,从而创建使用多个平面进行配准的机会。为清楚起见,本应用所用术语校准或配准体
模,植入式标记,附接式标记,皮肤标记,软组织标记,校准或配准体模或装置可包括光学标
记,比如,带有不同几何形状或图案的光学标记,带有二维码,带有条形码,带有字母数字代
码。
的一部分或其部件。医疗装置的零部件通常具有已知的尺寸。通过使用校准或配准体模以
及其他标记,患者实时数据和患者虚拟数据可以配准在共同坐标系中,比如,具有一个或多
个光学头戴式显示器。虚拟和物理手术器械和植入体组件也可以在共同坐标系中配准。
定义表面的三维几何体
机断层扫描等。
性核素或正电子放射断层造影术(PET)同位素射水(isotope emitting water)的体模中包
括部分或容器。可以以这种方式使用本领域已知的任何造影剂或核磁共振或核素显像术或
单光子发射断层扫描或正电子放射断层造影术可见试剂。
血液和手术单,比如,亮绿色,亮蓝色,亮黄色,亮粉色等。颜色组合是可能的。可以使用本领
域已知的任何颜色或颜色组合。
或视频捕获系统,以及用于检测发光二极管的定位,位置和/或方向的分割技术或算法容易
识别。
中,则平面的空间方向是已知的和定义的。
到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统可以基于它们
的不同波长,颜色,强度和/或眨眼频率中的一个或多个来识别每一不同的发光二极管。当
发光二极管以空间定义和已知的方式布置时,比如,使用同一平面内或不同平面内的已知
距离或角度,每一单独发光二极管的识别以及由图像和/或视频捕获系统测量的距离和角
度的变化可用于确定光学头戴式显示器和/或手术者头部的定位,位置和/或方向 (比如,
如果图像和/或视频捕获系统集成到光学头戴式显示器或连接到光学头戴式显示器),或者
在某些应用中,校准或配准体模和发光二极管所附着的患者或身体部位的运动。
比如,连接到电源和/或连接到有线用户接口或控制单元。发光二极管可以是无线的,比如,
没有连接电源(比如,电池供电)和/或连接到无线(比如,WiFi,蓝牙)控制单元。
具有用户接口的LIF网络。在该示例中,参与或连接在一个或多个LIF网络中的发光二极管
可以集成到光学头戴式显示器中或附接到光学头戴式显示器。参与或连接在一个或多个
LIF网络中的发光二极管可以连接到或在适用时集成到外科医生,手术室工作人员,患者,
手术部位,一个或多个光学头戴式显示器,一个或多个导航的任何位置或网站系统,一个或
多个导航标记,比如,逆向反射标记,红外标记,射频标记;一个或多个光学标记,校准或配
准体模等。
外科医生或患者或手术部位的位置,方向,移动方向,移动速度,同一发光二极管可用于在
LIF网络中发送或接收信息,可选择使用不同的波长,颜色,频率,眨眼模式,这取决于所传
输的数据类型。信息可以是关于各个发光二极管的位置,方向,移动方向,移动速度等。该信
息也可以是光学头戴式显示器正在传输或接收的数据。该信息可以是光学头戴式显示器正
在显示的信息或数据。信息可以是由导航标记,射频标记生成或接收的信息。该信息可以是
由一个或多个图像和/或视频捕获系统或摄像头捕获的信息。
戴式显示器,第二,第三和/或另外的光学头戴式显示器,比如,由第二外科医生,擦洗护士,
其他手术室人员,手,前臂,上臂和/或外科医生/手术者的其他身体部位佩戴。
用集成到,连接到或与一个或多个光学头戴式显示器分离的一个或多个图像和/或视频捕
获系统)。
获系统容易识别的光以及用于检测激光的定位,位置和/或方向的任何分割技术或算法。
不同的平面中,则可以知道并限定平面的空间方向。
射频发射器的定位,位置和/或方向的射频接收器系统识别。一个或多个射频发射器可以发
射具有不同频率和强度的信号,从而允许射频接收器系统区分不同的射频发射器。
器布置在不同的平面中,则可以知道并定义平面的空间方向。
于检测US发射器的定位,位置和/或方向。一个或多个US发射器可以以不同的频率和强度发
射信号,从而允许US接收器或换能器系统区分不同的US发射器。
的平面中,则可以知道并定义平面的空间方向。
头戴式显示器分开的图像和/或视频捕获系统。虚拟术前,虚拟术中和实时数据可包括骨赘
或骨刺或其他骨骼解剖或畸形。
上,和在患者相对于X射线源和检测器系统的相同距离上。使用这种方法,可以在术前成像
和术中成像上可视化的解剖结构可以迭加和配准,可选择在同一坐标系中。
位置或坐标的差异。可以调整从术前数据到术中数据的体模位置差异;这种调节可选择定
义为术前和术中数据之间的体模偏移。虚拟术前,虚拟术中和实时数据可包括骨赘或骨刺
或其他骨骼解剖或畸形。
术中实时数据之间的配准现在可替代地使用校准或配准体模来执行,同时,在手术期间可
视化或光学识别,比如,使用术前和术中数据之间的体模偏移。
如,在同一坐标系中。如果在外科手术过程中初始配准失败,则可以使用校准或配准模型保
持配准。为此目的,将使用图像和/或视频捕获系统连续或间歇地监视校准或配准体模的地
点,位置,方向和/或对准,该图像和/或视频捕获系统可以集成到光学头戴式显示器中或附
接到光学头戴式显示器或耦合到光学头戴式显示器或与光学头戴式显示器分离。
描的形式,并且可选择三维重建。可以将患者的三维数据(比如,螺旋或螺旋计算机断层扫
描扫描或三维重建)重新投影到二维图像中,从而创建患者的X射线状透射图像,比如,患者
的骨结构,包括但不限于,骨赘或骨刺或其他骨骼解剖或畸形。三维数据的这种二维重新投
影,比如,计算机断层扫描数据,可选择使用相同的平面或投影或视角来执行,并且术中随
后可使用相同或相似的放大倍率和术中X‑射线影像学检查。在重新投射术前三维数据时,
可以知道用于术中成像部分的X射线系统的焦片距和可选物距,从给定术中焦片距和可选
物距得到患者或解剖数据的放大倍率,将与重新投影的术前数据匹配或得到反映。如果在
重新投射术前三维数据时不知道用于术中成像部分的X射线系统的焦片距和可选物距,则
重新投影数据的放大倍率可以在它们被可视化并且可选地迭加到患者的二维术中图像数
据或解剖学数据上时进行调整,从而得到给定的术中焦片距和可选物距,以便重新投射数
据和术中图像数据的放大倍率得到匹配或者基本相似。比如,通过将术前数据中的某些特
征或解剖标志或病理组织(包括骨赘或骨刺或其他骨骼解剖或畸形) 与术中数据对准并调
整放大倍率,可以实现放大倍数的匹配,直至特征或解剖标志基本上迭加或基本匹配。利用
这种方法,术前图像数据可以利用三维数据的优点,包括更精确的植入体组件的三维放置,
比如,脊柱组件或用于关节置换或骨折修复的组件。类似地,可以检测某些解剖标志或特征
并将其用于三维数据集中的手术计划。当将三维数据重新投影到二维重新投影或视图中
时,解剖学标志,特征或数据或病理数据可以容易地与术中二维影像学检查(比如,术中X射
线)相应部分中的相应解剖标志,特征或数据或病理数据进行匹配或对准。因此,虽然可以
使用不同的三维术前和二维术中显像模式,但二维重新投影允许互相参照,并且可选择二
维和三维数据集的共同配准。可以以这种方式使用本领域中已知的任何二维和三维显像模
式。
视频捕获系统结合使用。
统,其可选择以物理时间模式操作。比如,物理时间模式可以是指以超过5帧/秒,10 帧/秒,
15帧/秒,20帧/秒,30帧/秒等执行图像捕获。
对利用图像和/或视频捕获系统捕获的图像帧的子集执行分割或图像处理或模式识别。可
以在各帧之间平均分割,图像处理或模式识别数据。前述实施方案适用于本说明书中利用
图像捕获的所有实施方案。
括,虚拟术前和虚拟术中成像数据或虚拟功能数据。还可以执行图像处理以排除来自一个
或多个骨赘或骨刺或其他骨骼解剖结构或畸形的数据。可以从用于配准虚拟和实时数据的
任何数据中排除或省略一个或多个骨赘或骨刺或其他骨骼解剖或畸形,包括虚拟术前和虚
拟术中成像数据或虚拟功能数据。可以基于解剖部位,手术部位和/或虚拟数据和实时数据
的分割或配准的所需准确度选择,包含或排除一个或多个骨赘或骨刺或其他骨骼解剖或畸
形。
统,其可选择以间歇模式操作。可以通过使用定时器或定时装置来使用校准或配准体模的
间歇模式,其中每10秒,8秒,5秒,3秒,2秒,1秒执行图像捕获和配准。
图像处理或模式识别的时间分辨率。
些实施方案中,这些可以不超过图像和/或视频捕获系统的空间分辨率。在一些实施方案
中,这些可能超过图像和/或视频捕获系统的空间分辨率。在那种情况下,可选择执行数据
的下采样,比如,通过降低一个,两个或三个平面中的有效空间分辨率,或者通过降低通过
光学头戴式显示器看到的视野中的或者在虚拟数据中可视化的选定区域中的空间分辨率。
虚拟术前,虚拟术中和实时数据可包括骨赘或骨刺或其他骨骼解剖或畸形。
手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征,可以与患
者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患
者制定的虚拟手术计划中的其他组织特征匹配,迭加和/或配准。在手术组织改变之后匹
配,迭加和/或配准患者实时数据和患者虚拟数据,可以使用前述中描述的相同技术或本说
明书中描述的任何其他配准技术或本领域已知的任何其他配准技术设备。
或外科手术改变之后执行患者实时数据和患者虚拟数据的重新配准。在重新配准之后,可
以应用一个或多个新的皮肤标记物或软组织标记物或校准体模或配准体模,并在手术步骤
或改变之后互相参照重新配准的实时和虚拟数据。然后,可以将皮肤标记物或软组织标记
物或校准体模或配准体模用于患者实时数据和患者虚拟数据的后续匹配,迭加,移动和配
准。
配准,比如,间歇或物理时间,包括在外科医生或手术者移动其头部或身体时。比如,校准或
配准体模可以在手术期间不移动。如果需要移动校准或配准体模,则可选择与任何患者实
时数据,患者虚拟数据,术前数据和术中数据重新配准。
何其他技术来识别校准或配准体模的地点,位置,方向,准直,表面或形状。图像和/或视频
捕获系统可以集成到光学头戴式显示器或附加到光学头戴式显示器。图像和/或视频捕获
系统可以耦合到光学头戴式显示器或与光学头戴式显示器分离。图像和/或视频捕获系统
将用于确定与患者,手术者和/或光学头戴式显示器相关的校准或配准体模的地点,位置,
方向,对准,表面或形状。
以使用,包括但不限于,光学或射频跟踪的手术导航,基于激光的距离测量等。
一个或者多个校准或配准体模来同时保持患者虚拟数据和患者实时数据之间的配准,和结
合使用患者虚拟数据和患者实时数据之间的相应解剖标志或表面来保持配准。如果使用同
步配准,则可选择应用规则来解决用于配准患者虚拟和实时数据的第一和第二配准技术之
间的潜在冲突。
向的任何变化都将导致校准或配准体模的透视图和可视化尺寸和/或形状的变化。可以测
量透视图以及校准或配准体模的可视化尺寸和/或形状的变化,用于确定外科医生或手术
者的头部或身体的地点,位置或方向的变化,然后,将其用于通过将患者虚拟数据移动到地
点,位置,方向和/或对准来保持患者虚拟数据和患者实时数据之间的配准,该地点,位置,
方向和/或对准可确保即使外科医生或手术者的头部或身体处在新位置或方向,仍能保持
配准,并且虚拟和患者实时数据,比如,在需要时,基本上迭加或匹配。同样,当使用多个光
学头戴式显示器时,比如,一个用于主要外科医生,一个用于助理,第三个用于住院医师,第
四个用于擦洗护士和第五个用于访客,利用集成到或连接到每一不同的光学头戴式显示器
或耦合到每一不同的光学头戴式显示器的图像和/或视频捕获系统,用户或观察者的头部
或身体的地点,位置或方向的任何改变都将导致校准或配准体模的透视图和可视化尺寸
和/或形状的变化。可以测量透视图以及校准或配准体模的可视化尺寸和/或形状的变化,
用于确定用户或观察者的头部或身体的地点,位置或方向的变化,然后,将其用于通过将患
者虚拟数据移动到地点,位置,方向和/或对准来保持患者虚拟数据和患者实时数据之间的
配准,该地点,位置,方向和/或对准可确保即使用户或观察者的头部或身体处在新位置或
方向,仍能保持配准,并且虚拟和患者实时数据,比如,在需要时,基本上迭加或匹配,观察
者的左眼通过光学头戴式显示器装置屏幕看到的患者虚拟数据,和观察者的左眼通过光学
头戴式显示器装置屏幕看到的患者实时数据,的视角基本相同;观察者的右眼通过光学头
戴式显示器装置屏幕看到的患者虚拟数据,和观察者的右眼通过光学头戴式显示器装置屏
幕看到的患者实时数据,的视角基本相同。
度。
/或之后,将得到的模拟虚拟数据与患者实时数据相关联地配准。由手术或手术器械引起的
组织变形,形状改变或组织移除可包括一个或多个骨赘或骨刺或其他骨解剖结构或畸形的
形状改变或移除。患者虚拟数据和患者实时数据可以在共同坐标系中配准,比如,与一个或
多个光学头戴式显示器一起配准。虚拟和物理手术器械和植入体组件也可以在共同坐标系
中配准。
手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征,可以与患
者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患
者制定的虚拟手术计划中的其他组织特征匹配,迭加和/或配准。在手术组织改变之后匹
配,迭加和/或配准患者实时数据和患者虚拟数据,可以使用前述中描述的相同技术或本说
明书中描述的任何其他配准技术或本领域已知的任何其他配准技术设备。如果手术改变或
手术步骤导致一些组织变形,则重新配准患者实时数据和患者虚拟数据可能特别有用。比
如,可以通过匹配,迭加和/或配准尚未通过外科手术步骤或外科手术改变执行的组织来执
行重新配准。或者,可以通过匹配,迭加和/或配准变形的患者实时数据(比如,来自手术变
形的组织)和在虚拟外科手术步骤之后模拟相同的组织变形的患者虚拟数据,比如,骨赘或
组织去除,执行重新配准。
如,对于外科手术的选择或所有阶段,患者实时数据和患者虚拟数据可以在共同坐标系中
配准,比如,使用一个或多个光学头戴式显示器。虚拟和物理手术器械也可以在共同坐标系
中配准。
数据的配准。可选择将钉或其他刚性固定标记放置在,比如,在至少一部分外科手术期间,
不会通过外科手术切除的区域。在移除组织后,比如,在已经发生关节面翻边之后或者在进
行骨切割之后或者在已经进行扩孔之后,或者在一个或多个骨赘或骨刺或其他骨骼解剖或
畸形已被移除后,可以使用不同的配准部位,表面或解剖标志来重复虚拟和患者实时数据
的配准。现在,对于由外科手术新创建的解剖标志,或者比如,由外科手术新创建的表面,可
以进行配准。这种新产表面可以是,比如,由骨切割产生的残余股骨或胫骨上的平面表面。
植入的针或刚性固定标记可选择用于辅助配准手术改变后的虚拟数据和通过手术改变的
患者实时数据。因此,本发明允许患者虚拟数据和患者实时数据的多时间点配准,比如,通
过在手术改变之前和在一次或多次手术改变之后配准患者虚拟数据和患者实时数据。以这
种方式,可以多次重新配准,改变手术野。
或组织轮廓或组织周长或组织体积或其他组织特征,可以与患者虚拟数据中的手术改变的
组织或组织表面或组织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的
其他组织特征匹配,迭加和/或配准。在手术组织改变之后匹配,迭加和/或配准患者实时数
据和患者虚拟数据,可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技
术或本领域已知的任何其他配准技术设备。
入的医疗装置。相对于患者实时数据(包括正常解剖结构或病理组织)迭加和配准任何类型
的cAD文件或CAD数据,或医疗设备,手术器械或植入式设备的任何类型的三维文件或三维
数据,比如,共同坐标系中的一个或多个骨赘或骨刺或其他骨解剖结构或畸形或软组织或
肿瘤组织或畸形,比如,使用一个或多个光学头戴式显示器。物理手术器械和植入体组件也
可以在共同坐标系中配准。
如,从术前影像学检查获得的患者的虚拟二维或三维数据可以迭加到患者实时数据上,比
如,手术部位。然后,外科医生可选择通过光学头戴式显示器将医疗设备的三维CAD 文件引
入显示器中。外科医生可以检查医疗设备的尺寸或形状与患者的虚拟二维或三维数据和/
或患者实时数据的关系。如果外科医生不满意与患者的虚拟二维或三维数据和/或患者实
时数据相关的医疗设备的预计尺寸或形状,则外科医生可以选择不同尺寸和/或形状的医
疗设备的不同CAD文件,将CAD文件选择性投影到患者的虚拟二维或三维数据以及 OHMD显
示器中的患者实时数据,并根据需要重复该过程多次,直到外科医生对与患者的虚拟二维
或三维数据和/或患者实时数据有关的所选医疗设备的最终尺寸或形状感到满意为止。
或组织轮廓或组织周长或组织体积或其他组织特征,可以与患者虚拟数据中的手术改变的
组织或组织表面或组织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的
其他组织特征匹配,迭加和/或配准。在手术组织改变之后匹配,迭加和/或配准患者实时数
据和患者虚拟数据,可以使用前述中描述的相同技术或本说明书中描述的任何其他配准技
术或本领域已知的任何其他配准技术设备。比如,模拟虚拟手术步骤或患者虚拟数据中的
手术改变的CAD文件可以在现场患者的物理手术步骤或手术改变之后与患者实时数据匹
配,迭加或配准。以这种方式,可以在外科手术步骤或手术改变之后重新配准实时和虚拟数
据。
的旋转中心,然后可以将其配准到患者虚拟数据中的估值或模拟旋转中心)。可以使用代谢
数据进行配准,比如,在正电子放射断层造影术扫描或正电子放射断层造影术‑核磁共振或
正电子放射断层造影术计算机断层扫描中使用高18FDG‑正电子放射断层造影术摄取区域,
其可以与目标外科手术部位中体温升高的区域匹配。可以使用功能数据进行配准,比如,使
用功能性核磁共振检查。患者虚拟数据和实时数据可以在共同坐标系中配准,比如,与一个
或多个光学头戴式显示器一起配准。虚拟和物理手术器械和植入体组件也可以在共同坐标
系中配准。
的组织或组织表面或组织轮廓或组织周长或组织体积或其他组织特征,可选地使用非解剖
学数据,与患者虚拟数据中的手术改变的组织或组织表面或组织轮廓或组织周长或组织体
积或在为患者制定的虚拟手术计划中的其他组织特征匹配,迭加和/或配准。在手术组织改
变之后匹配,迭加和/或配准患者实时数据和患者虚拟数据,可以使用前述中描述的相同技
术或本说明书中描述的任何其他配准技术或本领域已知的任何其他配准技术设备。在对组
织或手术部位进行一次或多次外科手术改变后,配准患者虚拟数据和患者实时数据
后,可以重复使用本文描述的技术来配准患者虚拟数据和患者实时数据,比如,使用一个或
多个光学头戴式显示器的系统。在选择步骤或每一手术步骤或组织改变之后,虚拟和物理
手术器械和植入体组件也可以在共同坐标系中配准。现场患者中的外科手术改变的组织或
组织表面或组织轮廓或组织周长或组织体积或其他组织特征,可以与患者虚拟数据中的手
术改变的组织或组织表面或组织轮廓或组织周长或组织体积或在为患者制定的虚拟手术
计划中的其他组织特征匹配,迭加和/或配准。在手术组织改变之后匹配,迭加和/或配准患
者实时数据和患者虚拟数据,可以使用前述中描述的相同技术或本说明书中描述的任何其
他配准技术或本领域已知的任何其他配准技术设备。
准可以是手动,半自动或自动的。比如,可以使用集成到光学头戴式显示器中,附接到光学
头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统来执行自动重新配
准,该光学头戴式显示器可以在手术改变之后捕获患者实时数据中关于手术改变的组织或
组织表面或组织轮廓或组织周长或组织体积或其他组织特征的信息,并将该信息与患者虚
拟数据中的信息进行比较,比如,在虚拟手术计划中执行可比较步骤之后的虚拟数据。
可选择在主要手术步骤之后重复本文所述的配准程序。当外科医生想要实现高手术准确度
时,可选择重复这里描述的配准程序。当外科医生担心在外科手术步骤或手术改变之前执
行的初始配准不准确或不再准确或受外科手术步骤或手术改变影响时,可选择执行或重复
本文所述的配准程序。
手术改变和/或手术步骤可以包括,表6中的实施方案中列出的任何手术改变和/或手术步
骤,但是也可以包括对本领域已知的患者组织的任何改变。比如,可以在虚拟手术计划和 /
或患者虚拟数据中估计通过手术改变或手术步骤在患者组织上引起的改变和/或变化。通
过手术改变或手术步骤在患者组织上诱导的示例性变化列于表7中,表7仅是示例性说明,
决不意味着限制本发明:
式显示器进行投影,比如,在虚拟手术计划中。
手术改变或手术步骤可以通过OHMD显示器的可选指导进行,比如,通过光学头戴式显示器
显示一个或多个虚拟手术工具,包括虚拟手术导板或虚拟切割块的虚拟手术器械,虚拟试
验植入体,虚拟植入体组件,虚拟植入体或虚拟设备,从虚拟库选择的全部,预定起始点,预
定起始位置,预定起始方向或对准,预定中间点,预定中间位置,预定中间方向或对准,预定
终点,预定结束位置,预定结束方向或对准,预定路径,预定平面,预定切割平面,预定外形
或轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度或方向或旋
转标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟手术导板或切割块
的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,植入体或装置的预定轴,一个或多个
更多装置或植入体或植入体组件或手术器械或手术工具的非可视化部分,和/或一种或多
种预定组织变化或改变的估计或预定的非可视化部分。
用本领域已知的用于评估组织外观,组织特性和/或特征的任何技术,在患者/现场患者实
时数据中确定诱导的物理变化或所得组织外观和/或组织特性/特征,包括,比如,面积,体
积,形状,形貌,粗糙度,纹理,颜色,反射性,具有不同颜色的区域,周长,温度,弹性和/或组
成。比如,集成到光学头戴式显示器中,附加到光学头戴式显示器或与光学头戴式显示器分
离的图像和/或视频捕获系统可用于评估手术改变组织的一个或多个区域,形状,形貌,粗
糙度,纹理,颜色,反射性,不同颜色的区域,周长,温度,弹性和/或组成。组织探针,比如,温
度探针,弹性探针,可用于评估手术改变的组织的特征和/或特性。机械探针,比如,具有一
个或多个附接的光学标记,发光二极管,红外标记,逆向反射标记,射频标记,导航标记和/
或惯性测量单元,可用于接触组织表面或周边,比如,围绕周边或跟踪并评估手术改变的组
织的组织形貌。
地与估计的或预期的改变或变化后的外观相比较,比如,患者虚拟数据(比如,虚拟手术计
划)的组织的表面积,体积,形状,形貌,性质和/或特征。如果物理手术改变的组织的物理变
化与实际上手术改变的组织的虚拟预期变化之间存在差异,或者物理手术改变的组织和实
际改变的组织的外观,性质和/或特征存在差异,比如,在患者虚拟数据和/或虚拟手术计划
中,可以评估差异的大小:如果差异被认为是无关紧要的,比如,如果它们低于可选地预定
义的距离或角度偏差阈值,则外科手术过程和随后的手术步骤可以如原始计划的那样继
续,比如,在虚拟手术计划中。如果差异被认为是显著的,比如,如果在距离或角度偏差的可
选地预定义的阈值之上,则外科医生或手术者可以具有若干选项。该过程和选项也在图6中
以图示的说明形式说明:外科医生可以执行手术步骤80。然后,外科医生可以评估在现场患
者81中引起的实际变化。外科医生可以将在现场患者中引起的实际变化与患者虚拟数据中
的预定变化进行比较,比如,在虚拟手术计划或虚拟三维图像82 中。可以确定实际变化和
预定变化之间的差异的大小83。如果是可接受的84,则外科医生可以执行下一个手术步骤
85。可选择对下一外科手术步骤重复步骤81,82,83。如果实际和预定变化之间的差异是不
可接受的86,则外科医生有几种解决差异的方法,修改最后的手术步骤87,修改下一个手术
步骤88,修改虚拟手术计划89,根据患者实时数据 90修改患者虚拟数据的配准,或者应用
配准校正91。在修改最后一个手术步骤之后87,可选择92重复步骤81,82,83以进行下一手
术步骤。
角度,旋转,植入部位等)更类似于,并且可选择,更接近地复制患者虚拟数据中的预期虚拟
外观,虚拟属性和/或虚拟特征,比如,患者的虚拟手术计划。比如,如果手术者或外科医生
认为最后的外科手术步骤存在误差,比如,通过颤动或偏离锯片或未对准的针或未对准的
铰刀或撞击器或其他问题,则可以选择该选项,纠正错误。一旦修改完成,外科医生或手术
者可以再次评估手术改变的组织的物理变化,物理外观,物理特性和/或物理特征,并将其
与患者虚拟数据中的组织的估计的或预期的虚拟变化,虚拟外观,虚拟特性和/或虚拟特征
进行比较,比如,虚拟手术计划。根据评估结果,外科医生或手术者可以选择重复选项A,或
恢复选项B或C
平面的周长,钻孔深度,角度,旋转,植入部位等),更加类似于并且可选择更接近地复制患
者虚拟数据中的预期虚拟外观,虚拟属性和/或虚拟特征,比如,在接下来的虚拟手术步骤
中的虚拟修改之后的患者的虚拟手术计划。比如,如果手术者或外科医生认为最后的外科
手术步骤存在误差,比如,通过颤动或偏离锯片或未对准的针或未对准的铰刀或撞击器或
其他问题,则可以选择该选项,纠正接下来的手术步骤中的错误。一旦接下来的手术步骤的
修改完成,外科医生或手术者可以再次评估手术改变的组织的物理变化,物理外观,物理特
性和/或物理特征,并将其与患者虚拟数据中的组织的估计的或预期的虚拟变化,虚拟外
观,虚拟特性和/或虚拟特征进行比较,比如,虚拟手术计划。根据评估结果,外科医生或手
术者可以选择重复选项A和/或B和/或恢复选项C和/或D和/或E.
长,钻孔深度,角度,旋转,植入部位等)更类似于,并且可选择,更接近地复制经过物理手术
改造之后患者实时数据中的预期物理外观,物理属性和/或物理特征。比如,如果手术者或
外科医生认为最后的手术步骤是准确的或者考虑到虚拟手术计划中未考虑的组织状况的
意外变化,则可以选择该选项。比如,在膝关节置换手术或髋关节置换或其他关节置换手术
中可以观察到,组织状况的这种意外变化可以是,比如,韧带松弛或紧绷。如果以这种方式
修改已改手术计划,则可以从最后或之前的物理手术步骤引用所有后续的虚拟手术步骤,
从而保持手术的连续性。然后,光学头戴式显示器可用于投射所有或一些后续虚拟手术步
骤,比如,通过投射一个或多个虚拟手术工具,虚拟手术器械,虚拟试验植入体,虚拟植入体
组件,虚拟植入体或虚拟设备,从虚拟库选择的全部,预定起始点,预定起始位置,预定起始
方向或对准,预定中间点,预定中间位置,预定中间方向或对准,预定终点,预定结束位置,
预定结束方向或对准,预定路径,预定平面,预定切割平面,预定外形或轮廓或横截面或表
面特征或形状或投影,预定深度标记或深度计,预定角度或方向或旋转标记,预定轴,比如,
旋转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟手术导板或切割块的虚拟手术器械,虚拟
试验植入体,虚拟植入体组件,植入体或装置的预定轴,一个或多个更多装置或植入体或植
入体组件或手术器械或手术工具的非可视化部分,和/或一种或多种预定组织变化或改变
的估计或预定的非可视化部分。因此,修改随后的虚拟手术步骤以完成手术,并且可选择考
虑一个或多个的先前物理手术步骤,植入植入体或植入体组件或装置或移植片或移植物。
可选择在虚拟或物理修改之后基于局部组织状况 /特征进一步修改已改后续虚拟手术步
骤,比如,如果后续手术步骤落入组织空隙中或将导致植入体组件植入的损害。
配准患者虚拟数据,包括,比如,虚拟手术计划,和患者实时数据。一旦手术改变后重新配准
了患者虚拟数据和患者实时数据,光学头戴式显示器显示的所有后续虚拟手术步骤和任何
相关的虚拟手术计划都可以参考患者虚拟数据和实时数据的重新配准。比如,然后,可以在
重新配准之后,使用光学头戴式显示器投射所有或一些后续虚拟手术步骤,比如,通过投射
一个或多个虚拟手术工具,虚拟手术器械,虚拟试验植入体,虚拟植入体组件,虚拟植入体
或虚拟设备,虚拟库可选择的全部,预定起始点,预定起始位置,预定起始方向或对准,预定
中间点,预定中间位置,预定中间方向或对准,预定终点,预定结束位置,预定结束方向或对
准,预定路径,预定平面,预定切割平面,预定外形或轮廓或横截面或表面特征或形状或投
影,预定深度标记或深度计,预定角度或方向或旋转标记,预定轴,比如,旋转轴,弯曲轴,延
伸轴,虚拟手术工具,包括虚拟手术导板或切割块的虚拟手术器械,虚拟试验植入体,虚拟
植入体组件,植入体或装置的预定轴,一个或多个更多装置或植入体或植入体组件或手术
器械或手术工具,和/或一种或多种预定组织变化或改变的非可视化部分。
质和/或特征存在差异,比如,在患者虚拟数据和/或虚拟手术计划中,可以评估差异的大小
并且可以用于患者虚拟数据配准的坐标校正,坐标调整或坐标转移,可选地包括,虚拟手术
计划,以及患者实时数据,比如,用于任何后续手术步骤或外科手术。比如,然后,光学头戴
式显示器可以使用坐标校正或调整或转移来投影/显示所有后续虚拟手术步骤,比如,通过
投射一个或多个虚拟手术工具,包括虚拟手术导板或切割块的虚拟手术器械,虚拟试验植
入体,虚拟植入体组件,虚拟植入体或虚拟设备,从虚拟库选择的全部,预定起始点,预定起
始位置,预定起始方向或对准,预定中间点,预定中间位置,预定中间方向或对准,预定终
点,预定结束位置,预定结束方向或对准,预定路径,预定平面,预定切割平面,预定外形或
轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度或方向或旋转
标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟手术导板或切割块的
虚拟手术器械,虚拟试验植入体,虚拟植入体组件,植入体或装置的预定轴,一个或多个更
多装置或植入体或植入体组件或手术器械或手术工具的,和/或一种或多种预定组织变化
或改变的非可视化部分。
和/ 或视频捕获系统捕获的数据/图像可以针对任何角度失真或投影进行校正,比如,如果
摄像头相对于切割表面或者以其他方式修改或改变表面以不同于90度的角度定位。类似
地,可以根据摄像头或图像和/或视频捕获系统之间的距离以及改变的表面/表面区域,周
边,周边形状和/或切割表面的形状或以其他方式修改或改变的表面,校正或者调整由图像
和/或视频捕获系统测量的物理变化,比如,表面/表面区域的大小,周长,周长形状和 /或
切割表面或以其他方式修改或改变的表面的形状。可以评估图像和/或视频捕获系统与物
理变化的角度和/或距离,比如,表面/表面积,周长,周边形状和/或切割表面的形状或以其
他方式修改或改变的表面。比如,使用一个或多个射频标记,光学标记,导航标记,包括但不
限于,附着在图像,和/或视频捕获系统,和/或光学头戴式显示器,和/或患者,和/或切口,
修改或改变的表面上的红外标记,逆向反射标记,射频标记,发光二极管和/或惯性测量单
元。
可以对现场患者评估骨切割的位置,对准和/或方向,包括,可选择,切割表面的表面/表面
区域,周长,周边形状和/或形状,比如,使用集成到,连接到光学头戴式显示器或与光学头
戴式显示器分离的图像和/或视频捕获系统,或使用一个或多个探针,选择使用一个或多个
附接的光学标记,导航标记(包括但不限于红外标记,逆向反射标记,射频标记,发光二极管
或惯性测量单元)。
状,软件可以选择性确定切割表面的虚拟修改的位置,对准,方向,表面,表面积,周长,周边
形状和/或形状,其将更接近切割表面的物理位置,对准,方向,表面,表面区域,周长,周边
形状和/或形状。然后,虚拟修改的切割表面的位置,对准,方向,表面,表面区域,周长,周边
形状和/或形状,和物理位置,对准,方向,表面,表面区域,周长,周边形状和/或形状之间的
坐标差异可以用于确定随后的虚拟手术步骤的坐标校正,调整或转移。然后,可以将坐标校
正,调整或转移应用于OHMD显示器,比如,当光学头戴式显示器在后续手术步骤中显示一个
或多个虚拟手术工具,虚拟手术器械,虚拟试验植入体,虚拟植入体组件,虚拟植入体或虚
拟设备,从虚拟库选择的全部,预定起始点,预定起始位置,预定起始方向或对准,预定中间
点,预定中间位置,预定中间方向或对准,预定终点,预定结束位置,预定结束方向或对准,
预定路径,预定平面,预定切割平面,预定外形或轮廓或横截面或表面特征或形状或投影,
预定深度标记或深度计,预定角度或方向或旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸
轴,虚拟手术工具,包括虚拟手术导板或切割块的虚拟手术器械,虚拟试验植入体,虚拟植
入体组件,植入体或装置的预定轴,一个或多个更多装置或植入体或植入体组件或手术器
械或手术工具的非可视化部分,和/或一种或多种预定组织变化或改变的非可视化部分。
的,而仅是对本发明某些方面的说明。
(Hololens)(微软,雷德蒙德,华盛顿州)系统的数字全息图像。在该示例中,光学头戴式显
示器可以显示用于锯片的虚拟预定路径或平面(虚线)96,所述锯片被选择为进行近端股骨
切割。光学头戴式显示器还可以显示虚拟股骨颈切割的数字全息图。用于物理锯片切割近
端股骨颈和虚拟股骨颈的虚拟投射路径可以是相同的;它们也可以是不同的,比如,考虑锯
片厚度。比如,如果锯片厚度为2.0毫米,则可以移动预定路径,比如,在近端股骨中移动,用
于近端髋关节置换,锯除1.00毫米或更多骨头,从而虚拟股骨切割算上已锯除骨头。
示的预定路径对准。光学头戴式显示器不是显示预定路径,而是显示对准的虚拟骨锯以切
除虚拟骨(可选择考虑切割或锯切的骨头),并且外科医生可以将物理骨锯与虚拟骨锯对
准,然后进行切割。
如,使用来自患者的术前影像学检查的数据(比如,计算机断层扫描或核磁共振)模拟而成,
在该示例中为相对圆形,在内外侧方向上具有稍大的直径。
术计划中。这可能由于实际手术中的各种原因而发生,比如,意外地导致锯片偏离的骨质硬
化区域。对于外科医生来说,在手术中很难检测到虚拟预期的骨切割和物理股骨切割之间
的对准差异,比如,如果手术野小且深藏,遮挡或隐藏或者光线有限,或者如果只是露出切
骨的很小部分。
和/或表面积和/或形状。它在内外侧方向上更趋椭圆形或长圆形。可以检测物理切割近端
股骨的周长和/或横截面和/或表面区域和/或形状,比如,使用集成到光学头戴式显示器
中,附接到光学头戴式显示器或者与光学头戴式显示器分离的图像和/或视频捕获系统或
者使用机械或光学探针,比如,使用射频,光学,导航等标记和其他标记。然后,可以将其与
虚拟切割表面的周长和/或横截面和/或表面积和/或形状进行比较。
式显示器分离的图像和/或视频捕获系统或者使用机械或光学探针,比如,使用射频,光学,
导航等标记和其他标记,可在患者虚拟数据(虚线轮廓)100中识别物理切割近端股骨的相
应周长和/或横截面和/或表面积和/或形状,比如,使用本领域已知的图像处理算法。
割替代101。可以确定原始计划的或预定的虚拟股骨切割与新的虚拟股骨切割替代之间的
地点,位置,方向,冠状,矢状,轴向角度/角度的差异。具体根据原始计划的或预定的虚拟股
骨切割96与新的虚拟股骨切割替代101,对应于对患者执行的物理股骨切割98,之间的差异
的严重性和/或临床意义的情况,外科医生然后可以决定或选择任何前述选项 A‑E或者组
合任何前述选项A‑E,比如,修改最后的手术步骤,修改下一手术步骤,修改患者的虚拟手术
计划,修改患者虚拟数据与患者实时数据的配准,和/或应用配准更正或其组合。
始预期的,虚拟计划的,投射的近端股骨切割97。
状。
股骨切割,就可以评估物理远端股骨切割的周长和/或横截面和/或表面积和/或形状,比
如,使用集成到,连接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕
获系统,和/或使用激光扫描仪和/或三维扫描仪和/或使用一个或多个探针,其可以接触
和/或跟随切割股骨,可选择具有一个或多个附接的光学标记,发光二极管,导航标记,所述
导航标记包括但不限于,红外标记,逆向反射标记,射频标记和/或惯性测量单元。然后,可
以将现场患者的物理远端股骨切割的周长和/或横截面和/或表面积和/或形状和虚拟远端
股骨切割的周长和/或横截面和/或表面积和/或形状进行比较,比如,在患者的虚拟手术计
划中。物理远端股骨切割的周长和/或横截面和/或表面区域和/或形状可用于识别虚拟远
端股骨切割或患者虚拟数据中的相应虚拟切割平面的相应周长和/或横截面和/或表面区
域和/或形状,其可以产生虚拟远端股骨的类似周长和/或横截面和/或表面区域和/或形
状。
计划进行。如果物理远端股骨切割和虚拟远端股骨切割之间的差异高于阈值,比如,距离远
端股骨表面切割深度为1,2,3毫米或更多,和/或角度为1度,2度,3度或更大时,外科医生或
手术者可以在前面的选项A‑E之间决定或选择,比如,修改最后的手术步骤,比如,重新远端
股骨切割,选择性使用更厚的胫骨插入件以补偿更大的骨损失或减少胫骨切割深度;修改
下一手术步骤之一,比如,切割胫骨以解决更大或更小的股骨损失和 /或不同的股骨组件
角度(比如,在矢状平面或冠状平面中(比如,具有不同的股骨机械轴对准)可选择在具有不
同的胫骨机械轴对准的胫骨侧上校正);修改患者的虚拟手术计划,修改患者虚拟数据的配
准与患者实时数据的关系;和/或应用配准更正或其组合。
可以显示用于物理锯片的虚拟预期路径或平面110,选择使用所述物理锯片以进行远端股
骨切割。用于物理锯片的远端股骨切割和虚拟远端股骨切割的虚拟/投射路径或平面可以
重合;它们也可以是不同的,比如,考虑锯片的厚度。比如,如果锯片厚度为2.0毫米,则可以
移动预定路径,比如,在远端股骨中,用于近端膝关节置换,锯除1.00毫米或更多骨头,从而
虚拟股骨切割算上已锯除骨头。
示的预定路径或平面对准。光学头戴式显示器不是显示预定路径或平面,而是显示对准的
虚拟骨锯以切除虚拟骨(可选择考虑切割或锯切的骨头),并且外科医生可以将物理骨锯与
虚拟骨锯对准,然后进行切割。
来自患者的术前影像学检查的数据(比如,计算机断层扫描或核磁共振或超声或X射线)模
拟。
准。这可能由于实际手术中的各种原因而发生,比如,意外地导致锯片偏离的骨质硬化区
域。对于外科医生来说,在实际上很难检测到虚拟预期的骨切割和物理股骨切割之间的对
准差异。
面积和/或形状。可以检测物理切割远端股骨切割的周长和/或横截面和/或表面区域和/或
形状,比如,使用集成到光学头戴式显示器中,附接到光学头戴式显示器或者与光学头戴式
显示器分离的图像和/或视频捕获系统或者使用机械或光学探针,比如,使用射频,光学,导
航等标记和其他标记。然后,可以将其与虚拟切割表面的周长和/或横截面和/或表面积和/
或形状进行比较。
示器分离的图像和/或视频捕获系统或者使用激光扫描仪和/或三维扫描仪或使用机械或
光学探针,比如,使用射频,光学,导航等标记和其他标记,可在患者虚拟数据114中识别物
理远端股骨切割的相应周长和/或横截面和/或表面积和/或形状,比如,使用本领域已知的
图像处理算法。
115。可以确定原始计划/预定的的虚拟股骨切割与新的虚拟股骨切割替代之间的地点,位
置,方向,冠状,矢状,轴向角度/角度的差异。具体根据原始计划的或预定的虚拟股骨切割
和,对患者执行的物理股骨切割,之间的差异的严重性和/或临床意义的情况,外科医生然
后可以决定或选择任何前述选项A‑E或者组合任何前述选项A‑E,比如,修改最后的手术步
骤,修改下一手术步骤,修改患者的虚拟手术计划,修改患者虚拟数据与患者实时数据的配
准,和/或应用配准更正或其组合。
状面。然后,所矫正的物理远端股骨切割116最接近原始预期的,虚拟计划的,预计的远端股
骨切割。
对应于物理远端股骨切割的新虚拟切割平面的可选识别显示,虚拟远端股骨切割和和物理
股骨切割的地点,位置,方向和/或角度之间的差异超过阈值,比如,屈曲方向角度增加3 度
和/或切割深度增加2毫米(即更多骨骼移除),然后,外科医生可以通过将对应的虚拟切割
平面与物理切割平面和外科医生或者软件配准修改虚拟手术计划,进而修改患者实时数据
(比如,物理远端股骨切割的周长和/或横截面和/或表面区域和/或形状)和患者虚拟数据
的的配准。在该示例中,为了避免植入体和骨头之间出现间隙或者物理切割骨头剩余区域
太宽,对虚拟手术计划的修改可以包括,改变前股骨切割,后股骨切割和倒角切割的角度以
与股骨组件的组件平面的尺寸和角度一致的远端股骨切割对准,否则可能导致骨骼在选择
区域中过宽,比植入体尺寸宽,从而不能接受植入体。如果使用股骨第一技术,则虚拟手术
计划的修改还可以包括调整近端胫骨切割的高度或深度以及近端胫骨切割的角度,比如,
通过减少胫骨切割和通过改变切口的斜度,以考虑更加弯曲的股骨组件,并考虑不同的物
理远端股骨切割,保持更好的软组织/韧带平衡。这些对虚拟手术计划的调整可选择由光学
头戴式显示器显示,比如,通过显示一个或多个经虚拟校正或调整的前,后,倒角切割,和/
或通过显示一个或多个校正或调整的近端胫骨切割,经矫正或调整的切割高度/深度,和/
或经矫正或调整的胫骨斜度,和/或经矫正或调整的胫骨内翻或外翻角度。光学头戴式显示
器可显示锯片或手术器械的虚拟校正或调整的预期/投射路径,虚拟校正或调整的预期/投
影切割平面,或锯片和/或电动工具的虚拟校正或调整的预期/投影轴。
术步骤中进行必要的矫正。
光学头戴式显示器可以显示用于物理锯片的虚拟预定路径,该物理锯片被选择以进行远端
股骨切割120和近端胫骨切割121。光学头戴式显示器还可以显示虚拟远端股骨和/或近端
胫骨切割。切割位置可以根据锯片的厚度进行调整。
示的预定路径对准。光学头戴式显示器不是显示预定路径,而是显示对准的虚拟骨锯以切
除虚拟骨(可选择考虑切割或锯切的骨头),并且外科医生可以将物理骨锯与虚拟骨锯对
准,然后进行切割。
来自患者的术前影像学检查的数据(比如,计算机断层扫描或核磁共振或超声)模拟。
120对准。这可能由于实际手术中的各种原因而发生,比如,意外地导致锯片偏离的骨质硬
化区域。对于外科医生来说,在实际上很难检测到虚拟预期的骨切割和物理股骨切割之间
的对准差异。虚线表示基于虚拟手术计划的预定胫骨切割。
表面积和/或形状。可以检测物理远端股骨切割的周长和/或横截面和/或表面区域和/或形
状,比如,使用集成到光学头戴式显示器中,附接到光学头戴式显示器或者与光学头戴式显
示器分离的图像和/或视频捕获系统或者激光扫描仪和/或三维扫描仪或者机械或光学探
针,比如,使用射频,光学,导航等标记和其他标记。然后,可以将其与虚拟切割表面的周长
和/或横截面和/或表面积和/或形状进行比较。
头戴式显示器分离的图像和/或视频捕获系统或者使用激光扫描仪和/或三维扫描仪或使
用机械或光学探针,比如,使用射频,光学,导航等标记和其他标记,可在患者虚拟数据125
中识别物理切割远端股骨的相应周长和/或横截面和/或表面积和/或形状,比如,使用本领
域已知的图像处理算法。
骨切割替代126。可以确定原始计划的或预定的虚拟股骨切割120与新的替代股骨切割 126
之间的地点,位置,方向,冠状,矢状,轴向角度/角度的差异。具体根据原始计划的或预定的
虚拟股骨切割和物理股骨切割之间的差异的严重性和/或临床意义的情况,外科医生可以
决定或选择任何前述选项A‑E或者组合任何前述选项A‑E,比如,修改最后的手术步骤,修改
下一手术步骤,修改患者的虚拟手术计划,修改患者虚拟数据与患者实时数据的配准,和/
或应用配准更正或其组合。在该示例中,外科医生选择通过将虚拟胫骨切割的角度从其原
始方向121改变为新方向127来修改下一外科手术步骤,可选择,至少部分地,校正股骨误切
的整体准直。
定位修改的虚拟和合成的物理近端胫骨切割128,以至少部分地校正股骨误切。
物理远端股骨切割的新虚拟切割平面的可选识别显示,物理远端股骨切割表面更倾斜,比
如,3度或更大,如光学头戴式显示器所示,在虚拟手术计划和/或虚拟切割的远端股骨表面
的冠状面上而非预定方向,然后,外科医生可以通过重新远端股骨切割来修正最后的手术
步骤,以纠正冠状面平面角度的误差,并且避免任何内翻/外翻错位。对准/定向锯片的虚拟
预定切割平面或虚拟预定路径或锯片和/或动力器械和/或虚拟锯片和/或动力器械的虚拟
预定轴,用于校正最后一次手术,可以选择由光学头戴式显示器显示步骤。或者,外科医生
可以选择校正一个或多个后续外科手术步骤,比如,在该示例中,通过改变胫骨坪的预期切
口来校正股骨切割冠状平面错误。在任一示例中,外科医生可以将物理锯片或手术器械与
锯片的虚拟预定切割平面或虚拟预定路径,或锯片或动力器械和/或虚拟锯片和/或动力器
械的虚拟预定轴线中的一个或多个对准。
示器可以显示膝关节的机械轴130或解剖轴/轴,比如,股骨轴或胫骨轴,以及各种其他运动
或生物力学轴,包括膝盖的旋转轴。虚拟手术计划可以包括股骨131和/或胫骨 132切割的
计划,其可以被选择以校正任何潜在的机械轴畸形,比如,内翻或外翻畸形。比如,可以选择
这些骨切割中的一个或多个垂直于患者的股骨或胫骨机械轴。或者,可以选择其他对准并
且可以将其结合到虚拟手术计划中。比如,内侧股骨髁表面,外侧股骨髁表面和内侧胫骨表
面和外侧胫骨表面可选择与患者的软骨和/或软骨下骨或软骨下骨对准,并且添加偏移以
考虑软骨损失。在该示例中,光学头戴式显示器可以显示被选择用于进行股骨切割和/或胫
骨切割的物理锯片的一个或多个虚拟预定路径(断开的水平线)。光学头戴式显示器还可以
显示虚拟股骨和/或胫骨切割。用于物理锯片以进行股骨和/或胫骨切割以及虚拟股骨和/
或胫骨切割的虚拟/投射路径可以是相同的;也可以是不同的,比如,考虑锯片厚度。光学头
戴式显示器不是虚拟显示预定路径或平面,而是显示虚拟骨锯的虚拟图像或其对准的二维
或三维轮廓,以进行虚拟骨切割(可选择考虑切割或锯切的骨头),并且外科医生可以将物
理骨锯与虚拟骨锯或其二维或三维轮廓对准,然后进行切割。
或表面积和/或形状,比如,使用来自患者的术前影像学检查的数据(比如,计算机断层扫描
或核磁共振或超声)模拟,是相对圆形的。
由于活体手术中的各种原因而发生,比如,骨骼或软骨或骨质疏松骨的意外硬化区域导致
锯片偏离。
或形状。可以检测物理远端股骨切割的周长和/或横截面和/或表面区域和/或形状,比如,
使用集成到光学头戴式显示器中,附接到光学头戴式显示器或者与光学头戴式显示器分离
的图像和/或视频捕获系统或者使用激光扫描仪和/或三维扫描仪或使用机械或光学探针,
比如,使用射频,光学,导航和其他标记。然后,可以将其与虚拟切割表面的周长和/或横截
面和/或表面积和/或形状进行比较。
显示器分离的图像和/或视频捕获系统,或使用激光扫描仪和/或三维扫描仪或使用机械或
光学探针,比如,使用射频,光学,导航和其他标记,相应的周长和/或横截面和/或表面区域
和/或形状可以在患者136的虚拟数据中识别物理远端股骨切割,比如,使用本领域已知的
图像处理算法。
137。可以确定原始计划的或预定的虚拟股骨切割131与新的虚拟股骨切割和物理骨切割之
间的地点,位置,方向,冠状,矢状,轴向角度/角度的差异。根据它们之间的差异的严重性
和/或临床意义,外科医生然后可以决定或选择任何前述选项A‑E或组合任何前述选项A‑E,
比如,修改最后的手术步骤(比如,重新切除股骨),修改下一个手术步骤 (比如,以不同于
最初计划的冠状角度切割胫骨以解决股骨误切,并且可选地,实现复合对准,比如,仍然在
正常(180度)机械轴内对准),修改患者的虚拟手术计划,修改患者虚拟数据的配准与患者
实时数据的关系,和/或应用配准校正或其组合。具体根据它们之间的差异的严重性和/或
临床意义的情况,外科医生可以决定或选择或组合任何前述选项A‑E,比如,修改最后的手
术步骤(比如,以不同于最初计划的冠状角度切割胫骨以解决股骨误切,并且可选择实现复
合对准,比如,仍然在正常(180度)机械轴内对准),修改下一手术步骤,修改患者的虚拟手
术计划,修改患者虚拟数据与患者实时数据的配准,和/或应用配准更正或其组合。
施方案中,外科医生可以在与原始计划不同的冠状角度处切割胫骨以解决股骨误切,并且
可选择实现复合对准,比如,仍然在正常(180度)机械轴内对准。
股骨切割块或钉或钻块中的开口放置。在该示例中,光学头戴式显示器可以通过投射虚拟
股骨切割块或钉或钻块来引导物理股骨切割块或钉或钻块的放置,外科医生可以用此来对
准物理股骨切割块或钻头或钉块,然后放置物理钉或钻头。或者,光学头戴式显示器可以通
过投射虚拟钉或钻头或通过投射虚拟钉或钻孔路径,然后,放置物理钉或钻头来引导物理
钉或钻头的放置。
标记,逆向反射标记,射频标记和/或惯性测量单元,光学标记,发光二极管,导航标记,包括
但不限于红外标记,逆向反射标记,射频标记和/或附加到钻头或者钉的惯性测量单元,可
用于评估一个或多个物理钉或钻头或所得物理钉或钻孔的位置和/或方向和/或对准,并将
它们与一个或多个虚拟钉或钻头或虚拟钉或钻孔的位置和/或方向和/或对准进行比较。比
如,在患者的虚拟手术计划中,使用现有的配准或使用手术改变或修改的表面的实时和虚
拟数据的新配准。如果检测到物理和虚拟钉或钻头或钉孔或钻孔之间的位置和 /或方向
和/或准直存在差异并且发现其具有临床意义,则外科医生可以决定或选择或合并先前的
选项A‑E,比如,修改最后的手术步骤(比如,重复/修改一个或多个针位置),修改下一手术
步骤(比如,将股骨旋转改变为与一个或多个钉或钻头或者针孔或钻孔所指示的有异),修
改患者的虚拟手术计划,修改患者虚拟数据和患者实时数据的配准,和/ 或应用配准校正
或其组合。
通过胫骨切割块或钉或钻块中的开口放置。在该示例中,光学头戴式显示器可以通过投射
虚拟胫骨切割块或钉或钻块来引导物理胫骨切割块或针或钻块的放置,外科医生可以使用
该块来对准物理胫骨切割块或钻或针块,然后放置物理钉或钻头。或者,光学头戴式显示器
可以通过投射虚拟钉或钻头或通过投射虚拟钉或钻孔路径,然后,放置物理钉或钻头来引
导物理钉或钻头的放置。
限于,红外标记,逆向反射标记,射频标记和/或惯性测量单元,或光学标记,发光二极管,导
航标记,包括但不限于红外标记,逆向反射标记,射频标记和/或附加到钻头或者钉的惯性
测量单元,可用于评估一个或多个物理钉或钻头或所得物理钉或钻孔的位置和/ 或方向
和/或对准,并将它们与一个或多个虚拟钉或钻头或虚拟钉或钻孔的位置和/或方向和/或
对准进行比较。比如,在患者的虚拟手术计划中,使用现有的配准或使用手术改变或修改的
表面的实时和虚拟数据的新配准。如果检测到物理和虚拟钉或钻头或钉孔或钻孔之间的位
置和/或方向和/或准直存在差异并且发现其具有临床意义,则外科医生可以决定或选择或
合并先前的选项A‑E,比如,修改最后的手术步骤(比如,重复/修改一个或多个针位置),修
改下一手术步骤(比如,将胫骨旋转改变为与一个或多个钉或钻头或者针孔或钻孔所指示
的有异),修改患者的虚拟手术计划,修改患者虚拟数据和患者实时数据的配准,和/或应用
配准校正或其组合。
以解决胫骨过度切除。
置换,韧带修复和/或重建或置换,脊柱手术(比如,椎体成形术,椎体后凸成形术,脊柱融合
术和/或椎弓根螺钉和杆放置)。
切割或髋臼扩孔用于髋关节置换术或用于肩关节成形术或用于各种类型的手术,比如,颅
脑手术,可以在放置钉或钻之后或在钻孔发生之后重复配准过程。比如,可以使用术中X射
线(比如,脊柱,膝盖或髋部)进行初始配准,比如,患者处于俯卧位或仰卧位。术中X 射线可
以包括正位投影(AP projection),后前位投影(PA projection),侧向投影,比如,从左侧
和/或从右侧,倾斜视图,使用旋转X射线采集的计算机断层扫描视图中的一个或多个,比
如,在旋转C臂系统上。一个或多个术中X射线投影可以与患者的术前图像数据或患者虚拟
数据匹配,包括可选地的虚拟手术计划,使用比如,模式识别算法,图像处理算法,或外科医
生或手术者的手动/视觉匹配;为了使所有所用数据具有相似或相同的放大倍率,可选择对
给定的胶片/检测器焦距进行放大倍率调整,放大或缩小术中X 射线数据,术前数据,患者
虚拟数据(可以选择包括虚拟外科手术计划)。
第二椎弓根中,可选择在相同或不同的脊柱节段,选择在脊柱的同一侧(比如,左或右)或交
替从左脊柱节段到右脊柱节段。类似地,可以针对膝关节置换手术,髋关节置换手术,肩关
节置换手术,前交叉韧带修复或重建和/或各种运动相关手术和/或颅/脑手术的各个方面
放置和配准钉或钻。
像和/或视频捕获系统,或者激光扫描仪和/或三维扫描仪。可以使用附接的或集成的光学
标记或导航标记来配准一个或多个钉或钻头的位置,包括但不限于红外标记,逆向反射标
记,射频标记,比如,可选择利用导航系统,或惯性测量单元。可以使用接触探针来检测钻头
或钉的位置,使用接触探针,其可以包括附接的或集成的惯性测量单元,光学标记,导航标
记,包括但不限于红外标记,逆向反射标记,射频标记等,使用比如,图像和/或视频捕获系
统或导航系统。如果沿着钉或钻头的轨迹放置一个以上的标记,或者如果使用图像捕获,则
使用图像捕获的两个或更多个标记或者钉或钻头的可视化部分的轨迹可以是用于估计钉
或钻头的轨迹,并估计钉或钻头前进时的预计路径。如果已知针的长度和厚度,则不仅可以
确定患者组织外的终点,而且即使在脊柱手术,膝关节置换,髋关节置换,肩关节置换,脑外
科手术和其他各种手术中,将其置于患者组织深处,也可以估计针尖的位置。
学和射频标记的组合。
弓根螺钉和相关装置(比如,杆),或膝盖置换,其中在在股骨和/或胫骨或髋关节置换中放
置一个或多个钉或钻头,在髋臼或近端股骨放置一个或多个钉或钻。由于一个或多个钉或
钻头固定到骨头上,因此,即使在初次配准之后存在患者移动,如果在初始配准之后使用钉
或钻头进行配准,也可以保持准确的配准。可选择将钉或钻针放置并与钉或钻头配准之后,
可以一起使用初始配准和随后对改变的手术表面/部位的配准。在该情况下,可以应用统计
技术来协调初始配准和配准到包括一个或多个钉或钻头的改变的手术表面或部位之间的
微小差异。比如,不同配准的平均值或中值可用于后续手术步骤。
准可以使用术中成像来执行,该术中成像可以参考患者实时数据并与其配准。在说明书中
描述的或本领域已知的任何其他配准技术可用于初始配准。可以使用患者虚拟数据的初始
配准和患者实时数据来放置第一钉或钻或第一组钉或钻。
相同的术中显像模式和技术或类似的术中显像模式或技术。或者,在放置第一钉或钻头或
第一组钉或钻头之后使用不同的术中显像模式。术中显像模式可包括,X射线(比如,正位,
后前位,横向和倾斜视图),C臂采集,可选择具有计算机断层扫描能力,计算机断层扫描扫
描或超声扫描或核磁共振扫描或任何其他本领域已知的成像技术。
内任何非可视化部分的位置和/或方向
理与预期的虚拟位置和/或方向上显示偏差,则可以确定坐标的差异,并且可以对使用一个
或多个放在患者组织内的钉或钻头的任何后续配准应用坐标转移或坐标校正。可以全局应
用坐标转移或坐标校正,比如,对于使用相同值放置的所有钉或钻头。或者,可以对每一钉
或钻头单独地应用坐标转移或坐标校正,以考虑它们与物理与预期虚拟放置/位置/和 /或
方向的特定偏差。前一种方法更加节省时间。对于任何后续配准,后一种方法更准确。当手
术期间一个或多个脊柱节段可以彼此相关地移动时,比如,倘若外科医生必须调整患者在
手术台上的位置,分别使用物理放置/位置/和/或方向相比于基于虚拟手术计划的预期虚
拟放置/位置/和/或方向的坐标偏差值/差值的数据且应用于每一钉或钻的坐标转移或坐
标校正,在脊柱手术中特别有用。在该情况下,一个或多个钉或钻头可以选择放置在一个以
上的脊柱节段上,比如,在初始配准之后涉及手术的所有脊柱节段,并且可以使用前述技术
评估放置的准确性。然后,可选择对一个以上的脊柱节段应用坐标转移或坐标校正,比如,
手术中涉及的所有脊柱节段,其中通过使用一个或多个钉或钻头,用于已应用坐标转移或
坐标校正的每一脊柱节段的后续手术步骤,钉或钻的物理与预期虚拟放置/ 位置/和/或方
向的差异可以用于提高后续配准的准确性。
或方向,评估每一椎弓根螺钉的物理放置/位置和/或方向的准确性。可选择基于椎弓根螺
钉的物理和预期虚拟放置之间的偏差来确定坐标转移或坐标校正,并且椎弓根螺钉可以用
于在后续手术步骤期间对患者,脊柱和/或光学头戴式显示器进行配准。比如,放置额外的
椎弓根螺钉,比如,在相同或其他脊柱节段,或放置一个或多个连接器或杆等。
期虚拟放置/位置/和/或方向之间的偏差值或差值,可以确定钻头,针,器械,植入体,装置
或装置组件等的物理位置。现在使用一个或多个钻头,针,器械,植入体,装置或装置组件作
为配准参考或标记,所测量的差值可用于确定后续手术步骤的任何后续配准的坐标转移或
坐标校正。
建,颌面外科,颅脑和/或脑外科手术等期间。
当匹配,可选择重复配准。在本发明的一些实施方案中,由任何钉扎或钻孔产生的骨空隙或
孔可用于任何后续配准。可选择将钉或钻头临时放回骨空隙或孔中,用于任何后续配准和
随后的手术步骤。如果使用其他手术器械,比如,除了钻头或针头之外的其他手术器械,比
如,钻孔器(burr)或刀片,则其他合成的骨质空隙也可选地用于任何后续的配准。
虚拟定位,位置和/或方向和/或尺寸和/或形状之间的差异。骨空隙或孔的物理和预期虚拟
定位,位置和/或方向和/或尺寸和/或形状之间的差值或偏差可用于确定坐标差异或坐标
转移或坐标校正,以便骨空隙或孔可用于任何后续配准和随后的手术步骤。任何随后的配
准可以通过选择引入部分或完整的骨空隙填充物(比如,钉或钻)和对准骨空隙填充物来进
行。任何后续的配准也可以通过直接配准骨空隙或孔来进行,比如,通过术中成像。任何后
续配准也可以通过放置一个或多个惯性测量单元,光学标记和/或导航标记来执行,包括但
不限于在骨空间内或附近的红外标记,逆向反射标记,射频标记,并且使用说明书中描述的
技术配准了一个或多个惯性测量单元,光学标记,发光二极管和/或导航标记,包括但不限
于红外标记,逆向反射标记,射频标记。此外,任何随后的配准也可以通过用颜色(比如,甲
苯胺蓝)标记部分或全部骨空隙或孔,并通过配准骨空隙或孔的标记和/或染色部分来执
行,比如,使用集成到光学头戴式显示器,附加到光学头戴式显示器或与光学头戴式显示器
分离的图像和/或视频捕获系统。
分,或现场患者的切割组织表面的表面区域或其部分,或现场患者的组织移除的体积或其
部分,可以与虚拟手术计划中的虚拟数据的相应切割组织表面或其部分,或虚拟数据的切
割组织表面的周边或其部分,虚拟数据的切割组织表面的表面积或其部分,虚拟数据的移
除组织的体积或其部分,匹配或迭加和/或配准。一旦获得了实时和虚拟切割表面的适当匹
配,就可选择重复配准。
划的相应切割组织表面或其部分,或虚拟手术计划中的切割组织表面的周边或其部分,匹
配或迭加和/或配准。一旦获得了实时和虚拟切割表面的适当匹配,就可选择重复配准过
程。
切割骨表面的表面区域或其部分,或现场患者的组织移除的体积或其部分,可以与虚拟手
术计划中的虚拟数据的相应切割骨表面或其部分,或虚拟数据的切割骨表面的周边或其部
分,虚拟数据的切割骨表面的表面积或其部分,虚拟数据的移除组织的体积或其部分,匹配
或迭加和/或配准。一旦获得了实时和虚拟切割表面的适当匹配,就可选择重复配准过程。
其部分,或现场患者的磨碎,扩孔或撞击的骨表面的周边或其部分,或现场患者的磨碎,扩
孔或撞击的骨表面的表面区域或其部分,或现场患者的移除骨的体积或其部分,可以与虚
拟手术计划中的虚拟数据的磨碎,扩孔或撞击的相应骨表面或其部分,或虚拟数据的磨碎,
扩孔或撞击的骨表面的周边或其部分,虚拟数据的磨碎,扩孔或撞击的骨表面的表面积或
其部分,虚拟数据的移除骨的体积或其部分,匹配或迭加和/或配准。一旦获得了实时和虚
拟切割表面的适当匹配,就可选择重复配准过程。
或其部分,或现场患者的钻孔表面的表面区域或其部分,或现场患者的移除骨的体积或其
部分,钻孔的位置或钻孔的方向或钻孔的尺寸或诸如插入钻孔中的钻头,钉或K线或墨水等
标记,可以与虚拟手术计划中的虚拟数据的相应钻孔表面或其部分,或虚拟数据的钻孔表
面的周边或其部分,虚拟数据的钻孔表面的表面积或其部分,虚拟数据的移除骨的体积或
其部分,或虚拟数据中钻孔的位置或虚拟数据中钻孔的方向或虚拟数据中钻孔的尺寸或诸
如插入虚拟数据中钻孔中的钻头,钉或K线或墨水等标记,可选择在虚拟外科手术计划中,
进行匹配或迭加和/或配准。一旦获得了实时和虚拟切割表面的适当匹配,就可选择重复配
准过程。
图像和/或视频捕获系统来识别颜色标记。然后,可选择使用现场患者中的颜色标记,在已
经执行了组织的一个或多个外科手术改变之后,用虚拟数据重新配准患者实时数据。颜色
标记可以与图像和/或视频捕获系统一起使用,以在患者实时数据中检测它们并将它们与
患者虚拟数据一起配准。或者,外科医生可以使用颜色标记目测识别先前放置的钻孔,比
如,在已经执行一个或多个外科手术改变或外科手术步骤之后。然后可选择将钻头,钉, K
线,螺钉或其他手术器械放置在钻孔内,并且可以通过匹配,迭加和/或配准现场钻,钉,K
线,螺钉或其他手术器械,和虚拟手术计划中的相应虚拟钻头,钉,K线,螺钉或其他手术器
械或相应钻孔,来执行实时数据和虚拟数据的配准。
个或更多个钻孔,比如,具有位于股骨内侧髁或内侧股骨中的一个或多个钻孔以及位于外
侧股骨髁或外侧股骨中的一个或多个钻孔。内侧和外侧钻孔的位置以及两个钻孔之间的交
叉可用于限定股骨组件的旋转轴线。
且可以在进行远端股骨切割之前选择用墨水标记。然后,可以进行远端股骨切割。然后,可
以在切割表面上识别钻孔中的墨水。可以使用集成到光学头戴式显示器中,附接到光学头
戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统来配准在患者实时数据
中看到的墨水,并且与虚拟手术计划中定义的虚拟钻孔进行配准。或者,外科医生可以选择
将钻头,针,K线,螺钉或其他手术器械插入到患者实时数据的钻孔中,器械可以使用集成
到,连接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统对钻
头,针,K线,螺钉或其他手术器械进行配准,并且可以与虚拟钻头,钉,K线,螺钉或其他可选
择引入虚拟手术计划的手术器械进行配准。
差异对物理手术计划或虚拟手术计划进行调整。
现场患者的消融或烧灼组织表面的周边或其部分,或现场患者的消融或烧灼组织表面的表
面区域或其部分,或现场患者的组织移除的体积或其部分,可以与虚拟手术计划中的虚拟
数据的相应消融或烧灼组织表面或其部分,或虚拟数据的消融或烧灼组织表面的周边或其
部分,虚拟数据的消融或烧灼组织表面的表面积或其部分,虚拟数据的移除组织的体积或
其部分,匹配或迭加和/或配准。一旦获得了实时和虚拟消融或烧灼表面的适当匹配,就可
选择重复配准过程。
下,现场患者的改变组织或其部分,或现场患者的改变组织表面或其部分或现场患者的改
变组织表面的周边或其部分,或现场患者的改变组织表面的表面积或其部分,或现场患者
的组织移除的体积或其部分,可以与虚拟手术计划中的虚拟数据的改变组织或其部分,虚
拟数据的相应改变组织表面或其部分,或虚拟数据的改变组织表面的周边或其部分,虚拟
数据的改变组织表面的表面积或其部分,虚拟数据的移除组织的体积或其部分,匹配或迭
加和/或配准。一旦实现了现场和虚拟改变组织的适当匹配,可选地重复配准。
/或预期的外科手术计划,迭加到物理手术器械上,提供物理手术器械的位置,定向或方向
指导,适用于任何外科手术,比如,心血管手术,胸部或肺部手术,神经手术,泌尿手术,妇科
手术,肝脏或其他内脏器官手术,肠道手术和/或肌肉骨骼手术。虚拟和物理手术器械和植
入体组件可以在共同坐标系中配准,比如,具有一个或多个光学头戴式显示器和患者实时
数据;光学头戴式显示器可以投影或显示虚拟手术器械的虚拟图像。
择的手术器械可以是用于主要,关键手术步骤或选择子步骤的手术器械。或者,在现场手术
期间所用所有手术器械可以包括在虚拟手术器械的虚拟库中。
维图像和不同文件格式可以在虚拟手术计划中使用,随后在手术期间由光学头戴式显示器
可选择显示。
术计划和/或可以由光学头戴式显示器显示。
手术器械可以用于椎弓根螺钉器械和/或脊柱固定杆放置的虚拟手术计划和现场手术计
划。
钉,固定螺钉,所有前述的不同尺寸和/或直径(可选择在光学头戴式显示器显示期间进行
颜色编码);这些板包括但不限于固定板,交联板,多跨板,所有前述的不同尺寸和/或直径
(在光学头戴式显示器显示期间可选择进行颜色编码);杆包括,但不限于,直杆,成型杆,所
有前述的不同尺寸和/或直径(在光学头戴式显示器显示期间可选地进行颜色编码)。所有
上述装置,装置组件,植入体和植入体组件可以以不同的直径,宽度,长度,尺寸,形状或尺
寸提供。
状,比如,没有或具有远端内外侧股骨偏移,比如,1,2,3,4,5,6,7,8或更多毫米,没有或具
有后内外侧股骨髁偏移,比如,1,2,3,4,5,6,7,8或更多毫米;不同尺寸的左右胫骨组件,金
属背衬或全聚乙烯,比如,尺寸1,2,3,4,......,17,18,19,20,以及形状,比如,对称,不对
称,可选择不同程度不对称;不同尺寸的左右胫骨插入件,比如,尺寸1,2,3,4,......, 17,
18,19,20,以及形状,比如,对称,不对称,可选择具有不同程度的不对称性;不同尺寸的膝
盖骨组件,比如,尺寸1,2,3,4,......,17,18,19,20,以及形状,比如,对称的,不对称的。
具有不同的多孔向内生长附件,具有不同的尺寸,杆长,偏移,颈部长度,颈轴角度;不同尺
寸,正负头的陶瓷或金属股骨头;不同尺寸的,骨水泥或非骨水泥的,具有不同的多孔向内
生长附件的髋臼杯;不同的髋臼衬垫,包括不同尺寸的唇形和不对称衬垫。
实施方案中,光学头戴式显示器可以在手术野上显示任意虚拟植入体组件。比如,任意虚拟
植入体组件,可以选择中间值尺寸或形状的植入体组件。可以基于外科医生偏好来选择任
意虚拟植入体组件。任意虚拟植入体组件可以是特定患者群体中所用最常见尺寸。任意虚
拟植入体组件可以使用虚拟接口或其他接口移动。比如,任意虚拟植入体组件的虚拟图像
可以包括“接触区域”,其中手势识别软件,比如,微软提供的微软全息眼镜软件,包括用于
全息图的集成虚拟“拖动功能”,可用于移动任意虚拟植入体组件。比如,集成或附接到光学
头戴式显示器的一个或多个摄像头可以捕获外科医生的手指相对于接触区域的移动;使用
手势跟踪软件,然后可以通过使手指朝向期望方向上的接触区域前进来移动任意虚拟植入
体组件。比如,外科医生还可以通过在接触区域上闭合两个手指(比如,拇指和食指) 然后
在期望的方向上移动手指来“保持”任意虚拟植入体组件,从而将任意虚拟植入体组件移动
到患者关节上的所需位置和/或方向。
性地以相对于手术室中的固定结构的限定角度(比如,正交或平行)显示虚拟植入体组件,
其可以使用一个或多个摄像头,集成到光学头戴式显示器的图像捕获或视频捕获系统来和
空间识别软件来识别,比如,微软提供的微软全息眼镜软件,或者可以使用一个或多个附加
的光学标记或导航标记识别,包括但不限于红外或射频标记。比如,一个或多个光学标记可
以附接到手术台的延伸部分。光学头戴式显示器可以检测这些一个或多个光学标记并确定
它们的坐标,并由此确定手术台的水平面。然后,虚拟植入体组件可以相对于手术台垂直或
以另一角度显示。虚拟植入体组件可以以一定角度显示在一个或多个解剖学或生物力学轴
上,比如,当考虑膝关节置换时的机械轴。虚拟植入体组件可以与一个或多个解剖标志相切
地显示或投射。可以显示虚拟植入体组件与一个或多个解剖标志相交。
寸,评估虚拟植入体组件的尺寸和虚拟植入体组件的适合性。外科医生可以移动和对准虚
拟植入体组件,使其外表面与预期植入部位的外表面位于一处,比如,具有相似或基本相同
的坐标。光学头戴式显示器可以显示虚拟植入体组件的其他部分,其凸出在植入部位的外
表面下方。如果虚拟植入体组件对于植入部位而言太大,则外科医生可以取消所显示的特
定尺寸的虚拟植入体组件的虚拟显示,并且外科医生可以从虚拟和物理植入体组件库中选
择较小的虚拟植入体组件。如果虚拟植入体组件对于植入部位而言太小,则外科医生可以
取消所显示的特定尺寸的虚拟植入体组件的虚拟显示,并且外科医生可以从虚拟和物理植
入体组件库中选择较大的虚拟植入体组件。以这种方式,外科医生可以优化植入体尺寸和
并在实际手术部位中适合三维,而不是使用,比如,二维X射线或三维影像学检查 (比如,计
算机断层扫描和核磁共振)恢复到术前尺寸和适合度。如果植入部位的特征在于一个或多
个不对称性,比如,在膝关节或肿瘤或内部器官中,则外科医生可以为植入部位选择确定一
个或多个不对称植入体组件的尺寸和配合度,选择具有不同的不对称性和几何形状。
外科医生可以优化植入体的定位,位置和/或方向。外科医生可以进一步修改和/或优化虚
拟植入体组件的定位,位置和/或方向,接着是物理植入体组件,使用于植入部位中的期望
功能,比如,期望的弯曲角度,旋转角度,运动范围,韧带松弛,所需运动。外科医生可以将虚
拟植入体组件的外表面的至少一部分与植入部位的外表面的至少一部分对准。在外科医生
将虚拟植入体组件放置,对准和/或定向迭加在所需位置和/或方向,或与现场植入部位对
准,比如,在共同坐标系中保存虚拟植入体组件的坐标,其中光学头戴式显示器和植入部位
也可以配准。所保存的虚拟植入体组件的坐标可选择包含在虚拟手术计划中,该虚拟手术
计划也可选择在共同坐标系中配准。光学头戴式显示器随后可以显示一个或多个虚拟手术
器械和/或虚拟植入体组件的一个或多个数字全息图,其中一个或多个虚拟手术器械或虚
拟植入体组件的一个或多个数字全息图的定位,位置和/或方向是从虚拟植入体组件的保
存坐标导出或考虑的。
髋臼上。外科医生可以评估虚拟髋臼杯的尺寸和适合度。外科医生可以通过选择更小或更
大的虚拟髋臼杯来扩大或缩小虚拟髋臼杯的尺寸,直到外科医生对髋臼杯的虚拟图像与患
者暴露的髋臼的配合感到满意为止。外科医生可选择将虚拟髋臼杯置于患者暴露的髋臼中
心上方,与虚拟髋臼杯的外缘相匹配,与暴露的患者髋臼缘的上,下,内侧和外侧相一致或
相等。然后,可以保存虚拟髋臼杯的坐标,比如,在同一坐标系中,其中手术部位,髋臼和/或
近端股骨,和光学头戴式显示器配准。以这种方式识别的虚拟髋臼杯的坐标可用于设定期
望的髋臼前倾,比如,在髋臼杯的扩孔或冲击期间。可选的,外科医生安装和放置的虚拟髋
臼杯的虚拟图像可以在碰撞物理髋臼杯之前由光学头戴式显示器显示。然后,外科医生可
以将物理髋臼杯与髋臼杯的虚拟投影对准;一旦实现了期望的对准,外科医生就可以开始
挤入物理髋臼杯,同时可选择间歇地将其位置和/或方向(包括偏移和前倾) 与虚拟髋臼杯
的虚拟显示进行比较。
虚拟股骨组件,可选择包括头部组件,并且可选择在股骨颈切割之前和/或之后将其迭加到
患者的暴露的近端股骨上。外科医生可以评估虚拟股骨组件的尺寸和配合,可选择包括头
部组件;光学头戴式显示器可选择显示与手术部位在共同坐标系中配准的患者的一个或多
个术前或术中X射线图像或其他影像学检查,比如,计算机断层扫描或核磁共振;影像学检
查可以迭加到近端股骨的相应部分上,比如,在X射线或影像学检查中具有大转子的现场患
者的大转子,在X射线或图像研究中具有较小转子的现场患者的小转子。外科医生可以通过
选择更小或更大的虚拟股骨组件来扩大或缩小虚拟股骨组件的尺寸,直到外科医生对髋臼
杯的虚拟图像与患者的暴露的近端股骨的适合性,或者股骨组件和/或股骨头的虚拟图像
以及患者的投射或显示的X射线或影像学检查(包括骨髓腔和/或骨内膜接口(的适合性,感
到满意。外科医生可选择将虚拟股骨组件置于暴露的近端股骨上,可选在股骨颈切割之前
和/或之后,也在切割的股骨颈表面居中位置,使虚拟股骨组件和/或虚拟股骨头与相应的
解剖结构或患者成像数据对准。然后,可以保存虚拟股骨组件和/或虚拟股骨头的坐标,比
如,在同一坐标系中,其中手术部位,髋臼和/或近端股骨,和光学头戴式显示器配准。以这
种方式识别的虚拟股骨组件和/或虚拟股骨头的坐标可用于设定期望的股骨前倾和/或偏
移,比如,在股骨组件的扩孔或拉削期间。可选择,外科医生装配和放置的虚拟股骨组件和/
或股骨头的虚拟图像可以在挤入物理股骨组件之前由光学头戴式显示器显示。然后,外科
医生可以将物理虚拟股骨组件和/或股骨头与股骨组件和/或股骨头的虚拟投影对准;一旦
实现了期望的对准,外科医生就可以开始撞击物理股骨组件,同时可选择间歇地将其位置
和/或方向(包括偏移和前倾)与虚拟股骨组件的虚拟显示进行比较。
拟股骨组件的虚拟图像上的“接触区域”与外科医生的手和/或手指的图像或视频捕获和/
或手势跟踪,并且选择性在任何骨切割之前和/或之后,将其迭加到患者暴露的远端股骨
上。外科医生可以评估虚拟股骨组件的尺寸和适合度。外科医生可以评估三维适合度,向
前,向后,在内侧髁的内侧面,在内侧髁的外侧面,在外侧髁的内侧面,在外侧髁的外侧面,
在髁间凹陷中,在内侧和外侧滑车区域。外科医生可以针对不同程度的股骨组件弯曲和/或
相对于患者的物理远端股骨的伸展以及不同程度的股骨组件旋转(比如,外部旋转)来评估
虚拟股骨组件的尺寸和配合度。外科医生可以通过从虚拟库中选择更小或更大的虚拟股骨
组件来扩大或缩小虚拟股骨组件,直到外科医生对股骨组件的虚拟图像与患者的暴露的远
端股骨的配合度感到满意为止。如果虚拟股骨植入体组件对于植入部位而言太大,则外科
医生可以取消所显示的特定尺寸的虚拟股骨组件的虚拟显示,并且外科医生可以从虚拟和
物理股骨组件库中选择较小的虚拟股骨组件。如果股骨植入体组件对于植入部位而言太
小,则外科医生可以取消所显示的特定尺寸的虚拟股骨组件的虚拟显示,并且外科医生可
以从虚拟和物理股骨组件库中选择更大的虚拟股骨组件。外科医生还可以评估虚拟股骨组
件的位置和/或方向,以便相对于患者远端股骨的物理前皮质进行可能的切割。
分对准,比如,在股骨内侧髁,股骨外侧髁和/或滑车关节表面上。外科医生可以从植入体的
虚拟库中选择不同形状的虚拟股骨组件,比如,股骨组件,其具有内侧远端股骨髁和外侧远
端股骨髁之间的一个或多个偏移,和/或内侧后内侧髁与股骨外侧后方髁之间的一个或多
个相同或不同的偏移。偏移可以是内侧远端和/或后侧以及外侧远端和/或后侧股骨髁的不
同半径的反射。比如,外科医生可以将虚拟股骨组件的内侧髁的外表面或凸起的至少一部
分与患者的物理内侧髁的至少部分外表面对准;如果虚拟股骨组件的外侧髁的外表面或突
出部相对于患者的物理外侧髁的外表面是隆起的,即延伸超出患者的物理外侧髁的外表
面,则外科医生可以丢弃虚拟股骨组件的数字全息图,并从虚拟库中选择不同的虚拟股骨
组件;比如,外科医生可以选择具有比内侧髁半径更小的外侧髁半径的虚拟股骨部件和/或
具有相比于内侧髁的外侧髁的远端和/或后侧偏移。比如,外科医生可以,与内侧和/或外侧
股骨髁的外表面一起投射,移动,对准多个不同的虚拟股骨组件形状,比如,具有多个不同
的偏移,直到外科医生识别出产生理想形状的虚拟股骨组件。如果选择具有内侧和外侧股
骨组件之间的偏移的虚拟股骨组件,则可选择为胫骨聚乙烯选择匹配的偏移,其中胫骨插
入件的外侧部分,对应于虚拟股骨组件的外侧股骨髁的较小半径,可以是1,2,3,4,5, 6,7,
8毫米或比胫骨插入件的中间部分厚的更多毫米。可以保存虚拟股骨组件的最终位置的坐
标,并且可选择将其结合到虚拟手术计划中。如果虚拟手术计划指示虚拟股骨组件相对于
虚拟手术计划的位置,方向,对准,植入体屈曲的变化,则外科医生可以调整虚拟股骨组件
的位置以更接近预期的位置,方向,对准,虚拟手术计划的植入体屈曲,或复制它。或者,可
以基于虚拟股骨组件的位置,方向,对准,植入体屈曲来修改虚拟手术计划。
拟胫骨组件的虚拟图像上的“接触区域”与外科医生的手和/或手指的图像或视频捕获和/
或手势跟踪,并且可选择在任何骨切割之前和/或之后,将其迭加到患者的暴露的近端胫骨
上。外科医生可以评估虚拟胫骨组件的尺寸和适合度。外科医生可以评估三维,前,后,胫骨
内侧坪的内侧面,外侧胫骨坪的外侧面,的适合度。外科医生可以评估虚拟胫骨组件的尺寸
和适合度,用于不同水平的胫骨切割和不同的胫骨斜度以及不同程度的胫骨组件旋转,比
如,外旋。外科医生可以通过从虚拟库中选择更小或更大的虚拟胫骨组件来扩大或缩小虚
拟胫骨组件,直到外科医生对胫骨组件的虚拟图像与患者的暴露的近端胫骨的适合度感到
满意为止。如果虚拟胫骨植入体组件对于植入部位而言太大,则外科医生可以取消所显示
的特定尺寸的虚拟胫骨组件的虚拟显示,并且外科医生可以从虚拟和物理胫骨组件库中选
择较小的虚拟胫骨组件。如果胫骨植入体组件对于植入部位而言太小,则外科医生可以取
消所显示的特定尺寸的虚拟胫骨组件的虚拟显示,并且外科医生可以从虚拟和物理胫骨组
件库中选择更大的虚拟胫骨组件。外科医生还可以评估虚拟胫骨组件的位置和 /或方向,
以用于可能的十字形固定植入体的PCL撞击,或髌腱撞击。
不对称的虚拟胫骨组件。
骨坪上。通过将虚拟胫骨组件的外表面的至少一部分,比如,一个或多个聚乙烯插入件的上
表面,与患者的胫骨关节表面的至少一部分对准,比如,在胫骨内侧坪,外侧胫骨坪,外科医
生可以确定胫骨切割的期望斜度,比如,如果外科医生打算切割胫骨并安装具有类似于患
者固有斜度的胫骨组件。通过将虚拟胫骨组件的外表面的至少一部分,比如,一个或多个聚
乙烯插入件的上表面,与患者的胫骨关节表面的至少一部分对准,比如,在胫骨内侧坪,外
侧胫骨坪,外科医生可以确定胫骨聚乙烯的任何所需的内侧到外侧偏移。
组件的胫骨聚乙烯的外侧部分的外表面或上表面的外表面或突出部位于患者的物理外侧
胫骨坪的外表面的下方,即保持在患者的身体外侧胫骨坪的外表面下方,外科医生可以放
弃虚拟胫骨组件的数字全息图并从虚拟库中选择不同的虚拟胫骨组件;比如,外科医生可
以选择包括聚乙烯的虚拟胫骨部件,该聚乙烯具有比内侧插入部分更厚的横向插入部分。
外科医生可以重复该过程,直到实现期望的准直,匹配或适合度。将内侧和/或侧面的虚拟
胫骨组件的数字全息图的外部轮廓,形状或表面与患者的胫骨坪对准时,可以考虑任何期
望的内翻或外翻校正和/或斜度,比如,通过基于期望的内翻或外翻矫正和/或斜度,调整选
择的内侧或外侧聚乙烯厚度或形状。可以保存虚拟胫骨组件的最终位置的坐标,并且可选
择将其结合到虚拟手术计划中。如果虚拟手术计划指示虚拟胫骨组件相对于虚拟手术计划
的位置,方向,对准或斜度的变化,则外科医生可以调整虚拟胫骨组件的位置以更接近预期
位置,方向,对准,和/或虚拟手术计划的斜度或复制它。或者,可以基于虚拟胫骨组件的位
置,方向,对准或斜度来修改虚拟手术计划。
屈曲和/或胫骨组件的斜度,Q角和轴线可以数字或图形显示,并且可选择,比如,基于虚拟
手术计划,与期望的内翻/外翻,外部/内部的,股骨组件的旋转,屈曲和/或胫骨组件的斜度
进行比较。外科医生可以选择应用不同的对准标准,比如,解剖学对准,其中外科医生可以
使一个或多个虚拟和物理植入体表面与患者的一个或多个关节表面更紧密地匹配,比如,
在一个或两个股骨髁上,在内侧和/或外侧胫骨坪上,在滑车和/或髌骨上。
查可以在与手术部位(比如,脊柱)和一个或多个光学头戴式显示器相同的坐标系中配准,
比如,由第一外科医生,外科住院医师和医师助理或护士佩戴的光学头戴式显示器。光学头
戴式显示器可以显示患者的表面下的解剖结构的一个或多个数位全息图,其被覆盖的皮
肤,软组织和/或骨骼隐藏或遮挡。光学头戴式显示器可以在手术野上显示任意虚拟椎弓根
螺钉。比如,任意虚拟椎弓根螺钉可以是从尺寸范围或形状范围的中间选择的椎弓根螺钉。
可以根据外科医生的偏好选择任意虚拟椎弓根螺钉。任意虚拟椎弓根螺钉可以是特定患者
群体中所用最常见尺寸。任意虚拟椎弓根螺钉可以使用虚拟或其他接口移动。比如,任意虚
拟椎弓根螺钉的虚拟图像可以包括“接触区域”,其中手势识别软件,比如,微软提供的微软
全息眼镜软件,包括用于全息图的集成虚拟“拖动功能”,可用于移动任意虚拟椎弓根螺钉。
比如,集成或附接到光学头戴式显示器的一个或多个摄像头可以捕获外科医生的手指相对
于接触区域的移动;使用手势跟踪软件,然后可以通过使手指朝向期望方向上的接触区域
前进来移动任意虚拟椎弓根螺钉。比如,外科医生还可以通过在接触区域上闭合两个手指
(比如,拇指和食指)然后沿所需方向移动手指来“保持”任意虚拟椎弓根螺钉,从而将任意
虚拟椎弓根螺钉移动到患者脊柱中的所需位置和/或方向,比如,在目标椎弓根中心,朝向
内侧椎弓根壁,朝向外侧椎弓根壁,朝向上椎弓根壁和/或朝向下椎弓根壁,向前和选择向
后。作为虚拟移动或对准虚拟椎弓根螺钉的替代方案,椎弓根螺钉或椎体成形术或椎体后
凸成形术针的虚拟预定路径也可以虚拟地移动或对准,比如,使用虚拟接口或其他接口。。
弓根螺钉,比如,相对于手术室中的固定结构的正交或平行,虚拟平面可以使用集成到光学
头戴式显示器中的一个或多个摄像头,图像捕获或视频捕获系统以及诸如微软提供的微软
全息眼镜之类的空间识别软件来识别,或者可以使用一个或多个附加的光学标记或导航标
记(包括红外或射频标记)识别。然后,虚拟椎弓根螺钉可垂直于手术台或以另一角度显示。
虚拟椎弓根螺钉可以以与一个或多个解剖学或生物力学轴的一定角度显示。
拟椎弓根螺钉的虚拟图像的尺寸和适合度来评估虚拟椎弓根螺钉的尺寸和适合度。外科医
生可以移动并对准虚拟椎弓根螺钉。如果虚拟椎弓根螺钉对于患者的椎弓根而言太大,则
外科医生可以取消所显示的特定尺寸的虚拟椎弓根螺钉的虚拟显示,并且外科医生可以从
虚拟和物理椎弓根螺钉库中选择较小的虚拟椎弓根螺钉。如果虚拟椎弓根螺钉对于患者的
椎弓根而言太小,则外科医生可以取消所显示的特定尺寸的虚拟椎弓根螺钉的虚拟显示,
并且外科医生可以从虚拟和物理椎弓根螺钉库中选择更大的虚拟椎弓根螺钉。以这种方
式,外科医生可以优化椎弓根螺钉尺寸并且逐级地在实际手术部位中以三维方式配合。
共同坐标系中与一个或多个光学头戴式显示器配准时,比如,使用解剖学特征,解剖标志,
植入式和附接式标记,校准和配准模型,包括光学标记,带有图像捕获的发光二极管,导航
标记,红外标记,射频标记,惯性测量单元或空间锚点和空间识别,使用术前和术后影像学
检查和/或术中测值预先确定一个或多个器械或植入体的位置,方向,对准。
疗装置。虚拟手术计划可包括切除肿瘤或其他组织。虚拟手术计划可包括放置假体或移植
物。可以在虚拟外科手术计划中模拟本领域已知的任何外科手术,比如,包括前部和后部的
脊柱融合,使用保留活动度方法(motion preservation approach)的椎间盘置换,髋关节
置换,膝关节置换,踝关节置换,肩部置换,前交叉韧带修复或重建,韧带重建。
示器,附属于光学头戴式显示器或与光学头戴式显示器分开的视频捕获系统检测。一个或
多个摄像头,图像捕获系统,集成到光学头戴式显示器中,附接到光学头戴式显示器或与光
学头戴式显示器分离的视频捕获系统,可以检测附接到手术部位的一个或多个光学标记的
坐标,比如,骨或软骨,改变的手术部位,比如,骨切割,手术台,手术台的延伸部和 /或手术
室中的固定装置结构,比如,墙壁。一个或多个摄像头,图像捕获系统,集成到光学头戴式显
示器中或附接到光学头戴式显示器或与光学头戴式显示器分离的视频捕获系统可以在静
态位置和/或动态移动位置检测一个或多个光学标记。可以在静态和动态条件下测量光学
标记的坐标(x,y,z)。
值,用于导出术中测值,并且用于生成和/或拟定虚拟手术计划。
到光学头戴式显示器或连接到光学头戴式显示器的视频捕获系统获得的的术中测值是有
益的。当希望从外科医生以外的视角获得测量结果时,或者从手术助手或第二外科医生之
外的视角使用多个光学头戴式显示器时,使用一个或多个摄像机,图像捕获系统,与光学头
戴式显示器分离的视频捕获系统的术中测值可能是有利的。
垫,操纵杆,人类输入设备,处理器,图形处理器,内存芯片,存储介质,磁盘和软件,比如,用
于三维重建,表面显示器,音量显示或CAD设计和显示,以及可选的CAM输出。该软件可以包
括用于CAD设计的一个或多个接口,用于显示患者的解剖结构,用于显示虚拟手术器械以及
用于显示虚拟植入体,植入体组件,医疗设备和/或医疗设备组件。
械,比如,包括钻导子或切割块的虚拟手术导板,虚拟植入体,植入体组件,医疗设备和 /或
医疗设备组件。不同的解剖和病理结构,包括隐藏和/或模糊或部分隐藏和/或模糊的解剖
和病理结构以及不同的虚拟器械,比如,虚拟手术导板,包括钻孔导板或切割块,虚拟植入
体,植入体组件,医疗器械和/或医疗设备组件,可选择使用不同颜色或不同阴影显示。一些
不同的解剖学和病理学结构以及不同的虚拟器械,比如,包括钻导子或切割块的虚拟手术
导板,虚拟植入体,植入体组件,医疗装置和/或医疗装置组件,可选择以轮廓模式或图案模
式显示,其中仅解剖和病理结构以及虚拟器械的轮廓或选择特征或模式,比如,虚拟手术导
板,包括钻孔导板或切割块,不同的虚拟植入体,植入体组件,医疗设备和/或正在显示医疗
设备组件,以实线,点线或虚线或几何图案显示。
式显示器分离的视频捕获系统获得的测值。术中测值140可用于拟制虚拟手术计划 141,其
可以在共同坐标系142中配准。术中测值140也可以直接在共同坐标系142中配准。可以生成
术前和/或术中扫描数据143,并且可选择在光学头戴式显示器145中在二维或三维中显示
144。术前和/或术中扫描数据143可选择并入146虚拟手术计划141 中。光学标记物147可以
存在于患者,手术野,手术器械或植入体上,并且可以测量它们的地点,位置,方向,移动方
向和/或速度148。光学头戴式显示器145可以显示虚拟平面或路径或轴149,通过利用虚拟
接口150,外科医生可以移动平面或路径或轴,以及可选择的虚拟植入体或器械。可选择,光
学头戴式显示器145可以显示隐藏或内部结构 151,比如,在术前或术中影像学检查或两者
的组合上可视化,并且外科医生或软件可以以隐藏或内部结构149为准,对准平面,轴或路
径,以及可选择的虚拟植入体或器械。平面,轴或路径或虚拟手术器械或虚拟植入体可以移
动以与解剖标志和/或解剖轴和/或生物力学轴152相切或相交,比如,用于对准目的或实现
预定位置和/或器械或植入体的方向。光学头戴式显示器可以通过显示具有虚拟数据的电
子全息图来投影左眼和右眼的立体视图,其中虚拟数据使用左眼位置和左眼153的实时数
据的方向来迭加虚拟数据并且使用右眼位置和右眼154的实时数据的方向迭加虚拟数据。
153和154中的投影虚拟数据可用于相对于患者实时数据,定位,定向,对准,引导或放置一
个或多个手术器械,植入体组件和植入体,比如,在预定位置,方向,对准方向或位置155。手
术器械,植入体组件和植入体中的一个或多个的位置,方向,对准方向或位置可选地与隐藏
的解剖结构或内部结构151对准,可选择使用虚拟接口150。本领域技术人员可以认识到,可
以使用多个坐标系代替共同坐标系。在该情况下,可以将坐标从一个坐标系变换为另一个
坐标系,比如,用于配准光学头戴式显示器,患者实时数据,包括手术部位,虚拟器械和/或
虚拟植入体以及物理器械和物理植入体等。
例程传输到计算机或工作站。可以在三维292中重建患者的图像数据。图像数据可以在计算
机显示器293或光学头戴式显示器上以二维或三维显示。
可以配准在共同坐标系142中。可以生成术前和/或术中扫描数据143,并且可选择在光学头
戴式显示器145中在二维或三维中显示144。术前和/或术中扫描数据143可用于拟定虚拟手
术计划157,其可由光学头戴式显示器145选择性显示158。光学标记物147 可以存在于患
者,手术野,手术器械或植入体上,并且可以测量它们的地点,位置,方向,移动方向和/或速
度148。光学头戴式显示器145可以显示虚拟平面或路径或轴149,通过利用虚拟接口150,外
科医生可以移动平面或路径或轴,以及可选择的虚拟植入体或器械。可选择,光学头戴式显
示器145可以显示隐藏或内部结构151,比如,在术前或术中影像学检查或两者的组合上可
视化,并且外科医生可以以隐藏或内部结构149为准,对准平面,轴或路径,以及可选择的虚
拟植入体或器械。平面,轴或路径或虚拟手术器械或虚拟植入体可以移动以与解剖标志和/
或解剖轴和/或生物力学轴152相切或相交,比如,用于对准目的或实现预定位置和/或器械
或植入体的方向。光学头戴式显示器可以通过显示虚拟数据来投影左眼和右眼的立体视
图,其中虚拟数据使用左眼位置和左眼153 的实时数据的方向来迭加虚拟数据并且使用右
眼位置和右眼154的实时数据的方向迭加虚拟数据。153和154中的投影虚拟数据可用于相
对于患者实时数据,定位,定向,对准,引导或放置一个或多个手术器械,植入体组件和植入
体,比如,在预定位置,方向,对准方向或位置155。手术器械,植入体组件和植入体中的一个
或多个的位置,方向,对准方向或位置可选地与隐藏的解剖结构或内部结构151对准,可选
择使用虚拟接口150。术中测值140可用于生成或修改虚拟手术计划157。虚拟手术计划157
和/或修改的虚拟手术计划162可选择迭加在患者159的术前和术中图像数据上。虚拟手术
计划 157和/或修改的虚拟手术计划162可选择迭加在患者159的术前和术中图像数据上。
可以基于视觉或光学回馈或输入161进一步修改已修改的虚拟手术计划162,并且其可以用
于在预定位置155定位,定向,对准,引导,放置一个或多个虚拟或物理器械,植入体组件和/
或植入体。本领域技术人员可以认识到,可以使用多个坐标系代替共同坐标系。在该情况
下,可以将坐标从一个坐标系变换为另一个坐标系,比如,用于配准光学头戴式显示器,患
者实时数据,包括手术部位,虚拟器械和/或虚拟植入体以及物理器械和物理植入体等。
虚拟植入体或虚拟设备,一个或多个预定起始点,预定起始位置,预定起始方向或对准,预
定中间点,预定中间位置,预定中间方向或对准,预定终点,预定结束位置,预定结束方向或
对准,预定路径,预定平面,预定切割平面,预定外形或轮廓或横截面或表面特征或形状或
投影,预定深度标记或深度计,预定角度或方向或旋转标记,预定轴,比如,旋转轴,弯曲轴,
延伸轴,虚拟手术工具,包括虚拟手术导板或切割块的虚拟手术器械,虚拟试验植入体,虚
拟植入体组件,植入体或装置的预定轴,一个或多个更多装置或植入体或植入体组件或手
术器械或手术工具,和/或一种或多种预定组织变化或改变的非可视化部分,可由外科医生
利用虚拟或其他接口移动,重新定向和/或重新对准。在本发明的各种实施方案中,光学头
戴式显示器可以显示一个或多个虚拟手术工具,包括虚拟手术导板或虚拟切割块的虚拟手
术器械,虚拟试验植入体,虚拟植入体组件,虚拟植入体或虚拟设备,一个或多个预定起始
点,预定起始位置,预定起始方向或对准,预定中间点,预定中间位置,预定中间方向或对
准,预定终点,预定结束位置,预定结束方向或对准,预定路径,预定平面,预定切割平面,预
定外形或轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度或方
向或旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟手术导板或
切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,植入体或装置的预定轴,一个
或多个装置或植入体或植入体组件或手术器械或手术工具,和/或一种或多种预定组织变
化或改变的非可视化部分,包括“接触区域”,其中图像或视频捕获系统和手势识别软件,比
如,微软提供的具有微软全息眼镜的手势识别软件,包括比如,用于全息图的集成虚拟“拖
动功能”,可用于移动虚拟数据。比如,集成或附接到光学头戴式显示器的一个或多个摄像
头可以捕获外科医生的手指相对于接触区域的移动;使用手势跟踪软件,然后,可以通过在
期望的方向上将手指推向接触区域来移动全息图。比如,外科医生还可以通过在接触区域
上闭合两个手指(比如,拇指和食指)然后沿所需方向移动手指来“保持”全息图。
关节成形术或椎弓根螺钉的放置规则。用于虚拟手术计划的放置规则或选择规则或设计规
则可以基于患者的解剖结构,期望的植入体,假体或医疗装置地点,位置,方向,旋转或对
准,一个或多个解剖轴,一个或多个生物力学轴,膝盖或下肢的机械轴,一个或多个旋转轴,
植入体,植入体组件或医疗装置的期望功能。比如,可以使用外科手术计划的放置规则或选
择规则或设计规则来选择植入体。放置规则或选择规则或设计规则可包括植入体,植入体
组件或医疗器械尺寸或形状。放置规则或选择规则或设计规则可包括避免某些软组织,血
管或神经结构以及其他敏感组织或结构,比如,旨在保留的韧带。比如,在单室关节成形术
中,放置规则可以包括垂直胫骨切割保留内侧胫骨脊柱。在十字韧带保留全膝关节置换术
中,放置规则可包括在胫骨切割期间保留后十字韧带,比如,通过以避免后十字韧带的方式
设计骨切割。虚拟手术计划的放置规则,选择规则或设计规则可以包括患者的人口统计信
息,比如,体重,身高,年龄,性别,其他信息,比如,骨矿物质密度或结构,临床病史,既往骨
折史或功能信息,比如,关节的运动,或代谢信息,比如,某些器官或病理组织。虚拟医疗设
备,设备组件或植入体的自动放置是可能的,比如,基于使用放置规则,选择规则或设计规
则拟制虚拟手术计划的解剖标准,病理标准或功能标准使用放置规则,选择规则或设计规
则放置虚拟医疗设备可以是手动,半自动或自动的。手动,半自动或自动放置规则通常需要
软件和用户接口。
多维信息在计算机屏幕上标记解剖结构或病理结构。可选择对信息进行分段或者可以对其
进行修改,比如,使用本领域中已知的图像处理技术。可以使用光学头戴式显示器装置的显
示器来执行标记,比如,使用虚拟用户界面。
戴式显示器或由光学头戴式显示器显示时,可以突出显示这种敏感结构,比如,使用不同的
颜色。可以设计,调整或修改手术计划,以便避免敏感结构或仅最小程度地干扰敏感结构。
比如,如果虚拟手术计划会导致手术器械(比如,手术刀,锯,钻头或钻头)干扰敏感结构(比
如,血管或神经),则可以调整虚拟手术计划或通过移动虚拟手术器械的地点,位置,定位
和/或方向来修改,以避免敏感结构与手术器械的任何干扰或接触。可以使用光学头戴式显
示器装置的显示器来执行标记,比如,使用虚拟用户界面。比如,外科医生可以选择用手指
指向或圈出在现场手术部位上的敏感结构,包括通过选择性接触敏感组织。集成到光学头
戴式显示器中,连接到光学头戴式显示器或与光学头戴式显示器分离的一个或多个摄像
头,图像或视频捕获系统可以检测手指移动并且可以突出显示由外科医生的手指指出或圈
出的敏感区域。
通常至少部分地移动敏感结构,比如,使用组织牵开器,以最小化或减少手术器械与敏感结
构的任何干扰或接触。
至少部分地保护敏感结构,比如,使用虚拟和现场患者物理金属或塑料护罩,其可选地插入
敏感结构和手术器械之间,以便最小化或减少手术器械与敏感结构的任何干扰或接触。
和股管中的组件的期望位置,包括进入切割股骨颈的期望进入点,比如,内侧,侧面,前侧或
后侧以及期望的进入角度。利用髋臼组件,外科医生还可以指示期望的扩孔深度和任何期
望的内侧化或侧向化。
可以显示医疗装置相对于相邻组织的期望地点,位置,方向或对准。相邻组织可以是相同器
官或关节的组织。相邻组织也可以是相邻敏感结构的组织,比如,血管,神经,其他器官等。
置进行调整,虚拟计划的,稍后可选择在现场手术中的一个或多个组件组件的位置,比如,
地点,位置,方向,旋转或对准。
多个医疗装置组件虚拟地模拟左侧和右侧的脊柱弯曲或伸展或侧向弯曲。外科医生可以重
复虚拟手术计划或模拟,其具有向左和向右的不同程度的屈曲或伸展或侧向弯曲和/或具
有不同尺寸或形状的医疗装置或医疗装置组件。如果不同尺寸和形状之间的零件或组件或
医疗装置可互换,则外科医生可以选择使用不同尺寸的组件重复虚拟手术计划或模拟,比
如,大尺寸聚乙烯插入件或具有中等尺寸金属背衬的间隔物组件,反之亦然。
如,用于图像处理或用于生成初始手术计划草案,以处理数据或信息。处理后的信息可以传
回给外科医生或手术者。外科医生或手术者可以查看手术计划草案。外科医生或手术者可
以接受手术计划草案。外科医生或手术者可选择修改手术计划草案。可以选择将接受或修
改的手术计划草案传送回中央网站。比如,中央网站可以生成指令,按照接受或修改的外科
手术计划,运送外科医生已经接受或选择的某些医疗设备组件。
准硬件组件,手术室中的显示器和软件,或光学头戴式显示器,比如,使用虚拟接口或其组
合。包括光学头戴式显示器的不同计算机可以通过网络连接,比如,WiFi或LiFi网络。
和/或髌骨解剖标志并将它们配准在公共坐标中系统可以用于虚拟手术计划,也可以在共
同坐标系统中配准。然后,外科医生可以合并或输入来自一个或多个术前和/或术中膝关节
X射线的数据,比如,股骨,胫骨或髌骨组件尺寸和/或期望的内翻或外翻矫正和/或期望的
股骨和/或或者胫骨组件旋转和/或期望的股骨组件弯曲和/或期望的胫骨斜度,和/或期望
的股骨,胫骨和/或髌骨组件位置和/或方向和/或对准到虚拟手术计划中。标准数据,比如,
固定的胫骨斜度,比如,0度,3度或5度,也可以结合到虚拟手术计划中。任何前述内容都可
以在共同坐标系中配准,并且可选地由光学头戴式显示器虚拟显示。
和股骨颈之间的最低点,以及较小的转子,髋臼缘和/或髋臼的中心,比如,通过使用带有一
个或多个附接的光学标记的指针指向它们;这些和其他术中测值可以配准在共同坐标系
中,并且可以用于虚拟手术计划,其也可以在共同坐标系中配准。然后,外科医生可以合并
或输入来自一个或多个术前和/或术中髋部X射线和/或骨盆X射线的数据,比如,股骨和髋
臼组件尺寸,期望的衬垫,包括唇形和偏移衬垫,期望的股骨头尺寸包括正负头部尺寸,和/
或期望腿部长度,和/或期望的旋转中心,和/或期望的股骨颈长度,和/或期望的股骨颈角
度,和/或期望的股骨和/或髋臼分量前倾和/或偏移,包括组合前倾。标准数据,比如,固定
的股骨,髋臼或组合前倾,固定的股骨颈角,髋臼安全区的角度范围也可以结合到虚拟手术
计划中。任何前述内容都可以在共同坐标系中配准,并且可选择由光学头戴式显示器虚拟
显示。
以通过虚拟医疗设备组件来指示预期位置,该虚拟医疗设备组件可表示被选择用于植入的
医疗设备组件。由光学头戴式显示器与实时数据迭加显示的虚拟医疗设备组件可以显示在
其最终期望位置。然后,外科医生可以将物理设备与虚拟设备组件对准,在术中放置或插入
医疗设备组件。
将假体,移植物,医疗装置或其他植入体与虚拟标记物或靶标对准,或者外科医生可以将假
体,移植物,医疗装置或其他植入体指向虚拟标记物或靶标。
色背景或虚拟数据的颜色改变,比如,红色。
轴相关的期望地点,位置,方向,旋转或对准,选择或设计期望的植入体或植入体组件或医
疗装置尺寸和/或大小和/或形状来开始。在选择或设计所需的尺寸和/或大小和/或形状之
后,可以相对于一个或多个解剖或生物力学轴,患者的解剖手术部位,病理状况或畸形,将
植入体,植入体组件或医疗装置放置与解剖结构相关的期望地点,位置,方向,旋转或对准
中。该过程可以是迭代反复的。比如,植入体或植入体组件或医疗器械选择或设计之后,可
以是期望的放置,随后可以改变植入体或植入体组件或医疗器械选择的选择或设计,然后
可以进行调整放置等。迭代反复过程可以是自动的或半自动的。
轴,功能信息,敏感组织和其他组织的信息的前述手术步骤。设计或选择前述手术步骤后,
开始以相反顺序,连续顺序或随机顺序或其任何组合,放置最终植入体或植入体组件或医
疗器械。可选择重复手术步骤以优化任何组织改变和/或植入体放置和/或植入体选择和/
或植入体设计。如果虚拟手术计划表明手术过程中可能出现并发症,比如,放置太靠近血管
或神经结构或其他敏感结构,为避免这种潜在的并发症,可以修改手术计划,手术计划的部
分,手术计划的顺序和植入体,植入体,植入体组件或医疗设备选择或设计。因此,在虚拟手
术计划中可以迭代植入体的选择和放置与包括手术器械的显示的手术步骤之间的整个过
程。
况或畸形相关的期望地点,位置,方向,旋转或对准开始。用于该初始或最终放置的植入体
可以选择平均,最小或最大尺寸,大小或形状或其组合的植入体。然后,可以在植入体或植
入体组件或医疗装置的放置之后,选择或设计期望的植入体或植入体组件或医疗装置的尺
寸和/或大小和/或形状。该过程可以是迭代反复的。比如,植入体或植入体组件或医疗装置
的放置之后可以选择或设计所需的植入体或植入体组件或医疗器械的尺寸,大小或形状,
随后改变植入体或者植入体组件或医疗装置的放置,其后改变尺寸,大小或形状等的选择
或设计。迭代过程可以是自动的或半自动的。
的信息相关的前述手术步骤可以在虚拟手术计划中设计或选择。设计或选择前述手术步骤
后,开始以相反顺序,连续顺序或随机顺序或其任何组合,放置最终植入体或植入体组件或
医疗器械。可选择重复手术步骤以优化任何组织改变和/或植入体放置和/或植入体选择
和/或植入体设计。如果虚拟手术计划表明手术过程中可能出现并发症,比如,放置太靠近
血管或神经结构或其他敏感结构,为避免这种潜在的并发症,可以修改手术计划,手术计划
的部分,手术计划的顺序和植入体,植入体,植入组件或医疗设备选择或设计。因此,在虚拟
手术计划中可以迭代反复植入体的选择和放置与包括手术器械的显示的手术步骤之间的
整个过程。
后,虚拟手术计划可以延续至植入体在患者虚拟数据中的选择和/或设计和放置。如果植入
体,植入体组件或医疗装置的最终选择和/或设计和/或放置不同于期望的结果,比如,如外
科手术计划中所定义的或外科医生所希望的,可以修改任何前述手术步骤,植入体,植入体
组件或医疗装置的放置和/或选择或设计。该过程可以是迭代反复的,手动的,半自动的或
自动的,直到实现期望的虚拟手术计划,植入体,植入体组件或医疗装置的选择和/或设计
或放置。
用多个光学头戴式显示器手术期间修改和显示手术计划,同时,为各手术者保留虚拟数据
和相应实时数据的正确透视图。多个光学头戴式显示器11,12,13,14的系统10用于多个观
察者,比如,主要外科医生,第二外科医生,外科手术助理和/或护士。多个光学头戴式显示
器可以使用解剖结构,解剖标志,校准体模,参考体模,光学标记,导航标记和 /或空间锚点
点配准在共同坐标系统15中,比如,像微软全息眼镜所用空间锚点点。患者的术前数据16也
可以在共同坐标系15中配准。比如,使用一个或多个惯性测量单元,光学标记,导航标记,图
像或视频捕获系统和/或空间锚点可以测量患者实时数据18,比如,来自手术部位的,脊柱,
(可选具有微创通路的),髋关节切开术部位,膝关节切开术部位,骨切割,改变表面。患者实
时数据18可以在共同坐标系15中配准。可以在共同坐标系15中配准术中影像学检查结果
20。或参考,比如,使用比如,光学标记惯性测量单元,导航标记或空间映射22,手术室桌或
房间固定装置可在共同坐标系15中配准。术前数据16或包括术中测值的实时数据18或其组
合可用于产生,生成或修改虚拟手术计划24。虚拟手术计划24可以在共同坐标系15中配准。
对于每一观察者的透视图和位置以及头部位置和方向27,光学头戴式显示器的11,12,13,
14可以针对每一光学头戴式显示器11,12,13,14保持患者虚拟数据和患者实时数据的对准
和迭加。使用虚拟或其他接口,佩戴光学头戴式显示器1 11的外科医生可以执行命令32,比
如,显示下一预定的骨切割,比如,来自虚拟手术计划或影像学检查或术中测值,其可以触
发光学头戴式显示器 11,12,13,14将下一手术步骤34的迭加到手术部位上并与手术部位
对准的虚拟数据投影到预定位置/或方向。光学头戴式显示器的11,12,13,14中的任何一个
都可以获取一个或多个光学测量或测量输入,比如,解剖学标志,来自摄像机的轴,解剖轴,
生物力学轴,腿的机械轴17,使用比如,集成的或附加的摄像头,图像捕捉或视频系统。通过
使用具有多个摄像头,图像捕获或视频系统的不同视角的多个光学头戴式显示器11,12,
13, 14,可选择提高测量的准确度。可选择使用来自不同视角的多个光学头戴式显示器11,
12,13,14与多个摄像头,图像捕获或视频系统来执行视差测量。一个或多个光学测量可以
用于修改虚拟手术计划19,可选择使用来自多个光学头戴式显示器11,12,13,14的信息。本
领域技术人员可以认识到,可以使用多个坐标系代替共同坐标系。在该情况下,可以将坐标
从一个坐标系变换为另一个坐标系,比如,用于配准光学头戴式显示器,患者实时数据,包
括手术部位,虚拟器械和/或虚拟植入体以及物理器械和物理植入体等。
状,比如,骨形状,软骨形状,关节形状或器官形状,可以帮助减少或消除对术前成像的需
要,并且在选择的实施方案中,可以帮助减少或消除术中成像的需要。
于胶片的技术获得X射线,在该情况下,可以先使用扫描仪,随后对X射线进行数字化处理。
经定位并放置预期的外科手术。
定选定患者组织的边缘,比如,骨骼或椎骨或椎骨结构,软骨下骨,皮质骨,骨赘。当已经从
图像识别和/或衍生软骨下骨时,包括软骨下骨曲率和/或几何形状和/或形状,可以将软骨
形状,曲率或几何形状迭加或添加到软骨下骨形状。对于给定关节和/或给定患者,软骨形
状,曲率或几何形状可呈现标准软骨厚度,比如,1.0毫米,1.5毫米,2.0 毫米,2.5毫米,3.0
毫米,3.5毫米。软骨几何形状还可以呈现可变的软骨厚度,比如,取决于关节中和/或关节
表面上的软骨的位置和/或基于患者的年龄,性别,种族,体重和 /或BMI,以及潜在畸形,比
如,内翻或外翻畸形。
域的外科手术中的三维模型选择,建立,推导和变形。这些实施方案决不是对本发明的限
制,而仅是示例性的。本领域技术人员将易于识别这些关节以及人体中其他关节的其他标
志,距离,尺寸,表面,边缘,角度,轴,曲率,形状,长度,宽度,深度和 /或其他特征。
臼,椎体和脊柱元素以及关节盂和/或近端肱骨。正在测量的解剖标志,距离,尺寸,表面,边
缘,角度,轴,曲率,形状,长度,宽度,深度和/或其他特征越多,骨头的三维形状,体积或表
面的估计就越准确。此外,从不同的视角,投影角度,光束角度,可选择具有相同的放大倍率
或不同的放大倍率拍摄或获取的二维图像越多,对骨头的三维形状,体积或表面的估计就
越准确。
志,距离,尺寸,表面,边缘,角度,轴,曲率,形状,长度,宽度,深度和 /或从一个,两个,三个
或更多个X射线图像导出的其他特征之间的其他特征。在本发明的一些实施方案中,可以使
用骨的标准模型,并且可以使用一个或多个已知的解剖标志,距离,尺寸,表面,边缘,角度,
轴,曲率,形状,长度,宽度,深度和/或从一个,两个,三个或更多个X射线图像导出的其他特
征来变形。可以使用本领域已知的各种统计模型来执行这种变形。
一个或多个,通过将一个或多个解剖标志,距离,尺寸,表面,边缘,角度,轴,曲率,形状,长
度,宽度,深度和/或其他特征与参考患者和/或参考骨或标准软骨形状的参考数据库中的
数据,进行比较,并通过选择最匹配所选解剖标志,距离,尺寸,表面,边缘,角度,轴,曲率,
形状,长度,宽度,深度和/或其他特征的三维模型,可用于识别标准骨形状和/或标准软骨
形状。以这种方式,患者骨骼和/或软骨的三维形状,比如,远端股骨和/或近端胫骨和/或髋
臼和/或近端股骨,和/或椎体和/或脊柱元素和/或关节盂和/或近端肱骨,可以在不需要获
取三维数据或不需要分割三维数据或限制可用三维数据所需的分割量(比如,病患的计算
机断层扫描扫描或核磁共振扫描)的情况下进行估计。参考数据库可以来自尸体数据的解
剖学参考数据库。参考数据库还可以是扫描数据,比如,在NIH骨关节炎计划中获得的或从
图像数据采集的扫描数据,以产生用于膝关节置换的患者特异性器械。这种扫描数据可用
于生成具有不同年龄,性别,种族背景,种族,体重,身高和/或BMI的患者的三维形状的数据
库。
少或限制或消除获取三维数据或用于分割二维或三维数据的需要的骨骼,软骨和器官,适
用于整个说明书中的本发明的任何实施方案,包括用于所有其他临床应用,比如,髋关节置
换,膝关节置换,脊柱外科手术,脊柱融合术,椎体成形术,椎体后凸成形术,骨折固定术,脑
外科手术,肝脏手术,癌症手术等。
标志,距离,尺寸,表面,边缘,角度,轴,曲率,形状,长度,宽度,深度和 /或其他特征从数据
库中选择的模型,组合和融合。在一些实施方案中,可以使用患者的解剖标志,距离,尺寸,
表面,边缘,角度,轴,曲率,形状,长度,宽度,深度和/或其他特征来变形和/或调整从数据
库中选择的模型。可以使用本领域已知的各种统计模型来执行这种变形。
骨视图,倾斜视图,站立视图,仰卧视图,俯视图。可选择在正位/后前位和/或侧视图和/或
倾斜视图上识别内侧和外侧股骨髁;可选择在正位/后前位和/或侧视图和/或倾斜视图上
识别内侧和外侧胫骨坪。可以识别其他解剖标志,距离,尺寸,表面,边缘,角度,轴,曲率,形
状,长度,宽度,深度和/或其他特征。
外侧髁具有比内侧髁更小的半径,比如,在中央负重区域中。软件可以使用比如,数据分段
中描述的一些软件包来识别和/或分割每条曲线。然后可以进行曲率分析,评估每条曲线的
半径。在本发明的一些实施方案中,具有较小半径的曲线,比如,在中央承重区域中,可以指
定为外侧髁。其他组合也是可能的。
段。可以使用本领域已知的从二维数据确定或估计骨骼三维形状的任何技术。可以使用本
领域已知的从二维数据建模和显示骨骼的三维形状的任何技术。
上型的。
可以确定探测器的位置和/或方向和/或对准和/或移动方向,比如,使用附接到光学头戴式
显示器或与光学头戴式显示器分离的导航系统和/或图像和/或视频捕获系统。
此目的。
和/ 或组织和/或韧带和/或半月板/或器官表面进行成像。利用已知的图像和/或视频捕获
系统的位置,方向,对准和/或移动方向,比如,使用光学标记,导航标记,包括红外标记,逆
向反射标记,射频标记,发光二极管和/或惯性测量单元,患者的骨骼和/或软骨和/或组织
和/或韧带和/或半月板和/或器官表面的图像可以从多个视点或连续获取和,使用如在数
据分割中描述的软件和图像处理或如在空间映射中描述的空间映射技术,图像可以用于导
出患者的骨骼和/或软骨和/或组织和/或韧带/或半月板和/或器官的一个或多个三维体
积,三维表面和/或三维形状。可选择使用两个或更多个摄像头的图像和/或视频捕获系统
增强图像采集和三维体积,三维表面和/或三维形状的重建的准确性,其可以用于生成视差
信息和/或立体视觉信息,视差和/或立体信息可用于增强重建的准确性。或者,可以通过平
均三维坐标或检测到的表面点或其他几何结构(比如,平面或曲面)来合并来自两个或更多
个摄像头的信息。
或韧带和/或半月板和/或器官的表面成像。可以使用本领域已知的其他三维扫描仪。可以
使用本领域已知的激光扫描,光学或光学扫描技术,用于确定,估计或导出本领域已知结构
的三维体积,三维表面或三维形状。
板和/ 或器官的图像。可以在可变距离处获取患者的骨和/或软骨和/或组织和/或韧带和/
或半月板和/ 或器官的图像。激光或光学扫描仪可选地用于在图像采集期间测量到患者的
骨和/或软骨和/或组织和/或韧带和/或半月板和/或器官的距离。使用激光的起始位置或
图像和/或视频捕获系统的起始位置和/或光学标记,导航标记包括红外标记,逆向反射标
记,射频标记,发光二极管和/或者惯性测量单元,中的至少一个,在整个采集过程中可以知
道图像和/或视频捕获系统和/或三维扫描仪的位置,方向,对准和/或移动方向,从而进行
放大倍率校正和可选视角调整和/或投影和/或表面生成计算和/或调整和/或校正。
据合并,比如,术前图像数据和/或虚拟手术计划。
后髁轴信息,胫骨结节信息,关节的一个或多个正位尺寸,关节的一个或多个内外侧位尺
寸,关节的一个或多个上外下内尺寸,内侧髁曲率和/或横向髁曲率(比如,在横向和/或正
位射线照片上看到的),内侧胫骨曲率和/或外侧胫骨曲率(比如,在横向和/ 或正位射线照
片上看到的),关节线信息(比如,膝盖中的内侧和/或外侧关节线位置),偏移信息(比如,髋
部偏移或内侧和/或外侧髁之间的偏移)。
据可以包括关于关节线位置的信息,比如,基于软骨和/或软骨下骨测量的内侧和/或外侧,
股骨偏移和/或胫骨偏移。
到的关节表面的展平,比如,通过应用校正的形状,比如,使用样条曲面(spline surface)
或平滑函数或平均函数。
关节或髋关节。可以基于组合数据拟制或导出虚拟手术计划,比如,计划维持或恢复正常机
械轴对准的切除或外科医生期望的任何其他对准,比如,关节内翻或外翻对准的 5%或更
少。如果在手术前已经拟制了虚拟手术计划,则可以使用一个或多个关节的术中三维扫描
信息在手术中修改虚拟手术计划,比如,使用关节或器官的更准确的术中表面信息。
或激光和/或三维扫描仪导出。比如,股骨头的术前变形表面可以以这种方式与术中表面匹
配,对准,迭加或合并。或者,一个或两个股骨髁和/或胫骨坪的术前变形表面可以以这种方
式与它们相应的术中表面匹配,对准,迭加或合并。通过匹配,对准,迭加或合并从术前和术
中数据导出的表面,在术前数据(比如,站立的X射线)上获得的轴信息可以容易地与术中数
据迭加或合并。所得模型可用于拟制,推导和/或修改虚拟手术计划,比如,随后通过光学头
戴式显示器显示一个或多个切割平面或组织切除或轴。
体地和/或非立体地显示。此外,光学头戴式显示器可以显示一个或多个虚拟手术工具,包
括虚拟手术导板或虚拟切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,虚拟植
入体或虚拟设备,一个或多个预定起始点,预定起始位置,预定起始方向或对准,预定中间
点,预定中间位置,预定中间方向或对准,预定终点,预定结束位置,预定结束方向或对准,
预定路径,预定平面,预定切割平面,预定外形或轮廓或横截面或表面特征或形状或投影,
预定深度标记或深度计,预定角度或方向或旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸
轴,虚拟手术工具,包括虚拟手术导板或切割块的虚拟手术器械,虚拟试验植入体,虚拟植
入体组件,植入体或装置的预定轴,一个或多个更多装置或植入体或植入体组件或手术器
械或手术工具,和/或一种或多种预定组织变化或改变的非可视化部分,和/或预定组织变
化或改变中的一个或多个和二维到三维变形的三维模型(比如,骨模型,立体或非立体)可
以由光学头戴式显示器同时显示。光学头戴式显示器可以显示一个或多个虚拟手术工具,
包括虚拟手术导板或虚拟切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,虚拟
植入体或虚拟设备,一个或多个预定起始点,预定起始位置,预定起始方向或对准,预定中
间点,预定中间位置,预定中间方向或对准,预定终点,预定结束位置,预定结束方向或对
准,预定路径,预定平面,预定切割平面,预定外形或轮廓或横截面或表面特征或形状或投
影,预定深度标记或深度计,预定角度或方向或旋转标记,预定轴,比如,旋转轴,弯曲轴,延
伸轴,虚拟手术工具,包括虚拟手术导板或切割块的虚拟手术器械,虚拟试验植入体,虚拟
植入体组件,植入体或装置的预定轴,一个或多个更多装置或植入体或植入体组件或手术
器械或手术工具,和/或一种或多种预定组织变化或改变的非可视化部分,和/或预定组织
变化或改变中的一个或多个,可以使用二维到三维变形三维模型来规划,比如,使用虚拟手
术计划。
比如,骨变形,可以通过识别相应的解剖标志,距离,尺寸,表面,边缘,角度,轴,曲率,形状,
长度,宽度,深度和/或实时数据中的其他特征中的至少一个或多个,用于患者实时数据和
虚拟数据(比如,术前数据)的术中配准,使用比如说明书中描述的一些技术。
组织(比如,骨,软骨),可以得到它们的解剖标志,形状和/或几何形状或其他特征166,并且
可以选择性调整167。可以确定互连或填充特征168,可以从模型库或数据库169中选择紧密
配合或匹配的模型,可以使用形状,几何形状或特征166选择标准模型并且可选择使其变形
170,可以从模型171库或数据库中选择紧密配合或者匹配模型,并使用166中的信息进行变
形。168,169,170和171中的步骤和过程可选地组合172。步骤和过程168,169,170,171和172
可用于生成二维到三维变形模型173,其可用于生成术前虚拟手术计划174。变形模型173和
术前虚拟手术计划174可以由一个或多个光学头戴式显示器175显示,可选立体176或非立
体177。可选术中虚拟手术计划179与术前虚拟手术计划174迭加,合并,匹配或对准。术中扫
描或探测数据180可用于使用术中数据生成患者模型,比如,二维模型,二维到三维变形模
型,三维模型181,其可选使用术前数据173或术前虚拟手术计划174与患者的变形模型迭
加,匹配,合并或对准173。可选使用术中数据181对患者模型进行调整182。
的生物处理或植入体或基质的装置的以下任何内容:
术工具的标记物
导切割器械(比如,锯或锯片)时,可以使用切割平面的二维可视化,比如,线。当外科医生从
侧面观察时,比如,以一定角度观察时,可视化可选地切换到三维显示器以显示切口和/或
刀片相对于骨骼的期望角度方向。显示器也可以保持二维模式。二维和三维图像之间可以
手动切换,比如,通过语音命令或虚拟投影键盘上的命令或虚拟投影的用户接口,或自动切
换,比如,基于手术者头部和/或光学头戴式显示器相对于手术部位的的位置和/或方向(比
如,手术者头部/光学头戴式显示器相对于手术部位的正面方向,或接近包括90度的侧(近
正交)向或角度,非90度的侧方向,比如,30,40,50,60, 70度角)。切割平面的二维或三维图
像可说明确定/显示预期切割的所需角度方向。比如,角度定向可以是膝关节置换中的计
划/预期机械轴校正,膝关节置换中的计划/预期股骨组件屈曲或伸展,膝关节置换中的计
划/预期胫骨斜度,或者髋关节置换术中的计划/预期腿长的计划/预期的股骨颈切除等的
反映。
ring)”穿过股骨颈的髋关节置换手术。在该示例中,三维切割平面可以包括在其下指向表
面处的远端切割平面和在其上表面处的近端切割平面。这些“餐巾环”下部,远端面向和上
部近端面部切口可以是平行的或不平行的,比如,为了更容易拔出股骨头。使用OHMD 显示
器在二维或三维中可视化的任何切割平面可以是平行的或非平行的,使用立体或非立体显
示器。
或多个预定起始点,预定起始位置,预定起始方向或对准,预定中间点,预定中间位置,预定
中间方向或对准,预定终点,预定结束位置,预定结束方向或对准,预定路径,预定平面,预
定切割平面,预定外形或轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,
预定角度或方向或旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚
拟手术导板或切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,植入体或装置的
预定轴,一个或多个更多装置或植入体或植入体组件或手术器械或手术工具,和/或虚拟手
术计划中所用预定组织改变或变化中的一个或多个,比如,使用由 OHMD显示器显示的虚拟
接口,比如,手指通过虚拟地切换虚拟切割平面或任何其他接口(包括,手指命令或语音命
令)来移动和/或旋转虚拟切割平面的滑块或手指卷标,虚拟数据的虚拟图像可以相应地移
动,并且可以在外科医生的显示器中相应地更新光学头戴式显示器中显示的虚拟数据。虚
拟数据的虚拟图像的位置和/或方向的变化也可以在其他光学头戴式显示器中看到,比如,
由第二外科医生,住院医师,擦洗护士或PA佩戴的光学头戴式显示器,并且虚拟数据的投影
也可以在第二,第三或任何其他光学头戴式显示器装置中相应地更新,比如,在手术期间由
第二外科医生,住院医师,擦洗护士或PA使用的光学头戴式显示器装置。可选择,改变或调
整一个或多个虚拟数据的虚拟接口或任何其他接口仅可用于外科医生的光学头戴式显示
器装置,即主要光学头戴式显示器装置,而其他光学头戴式显示器装置可作为伺服装置操
作,仅随后显示主要光学头戴式显示器装置。以这种方式,可以避免潜在的术中误差,比如,
非外科医生修改虚拟数据或虚拟手术计划的各方面。可选择,主要作用可以传递给其他设
备,在该情况下,外科医生的光学头戴式显示器装置可以作为伺服装置操作。当虚拟手术计
划和/或患者虚拟数据需要复杂的变化时,这可能是有益的,这可能需要单独的人来实施这
样的变化,同时,外科医生也在管理现场患者的实际操作。
捕获患者实时数据。然后,捕获的患者实时数据可以以电子,数字形式作为实时流传输到从
属光学头戴式显示器装置,可选择与患者虚拟数据一起,比如,迭加到患者虚拟数据上或与
患者虚拟数据共同显示。或者,该示例中的伺服装置可以是非可见虚拟现实(VR)系统,比
如,Google Daydream系统或Zeiss VR One系统以及本领域中已知的其他系统。
手术器械的厚度,以反映在外科手术步骤期间的骨损情况。另外,由于手术器械的运动而损
失的骨,比如,不在手术步骤的主要方向上的运动,比如,锯片颤动或锯振动或略微偏心的
钻头或钻头振动,可包括在虚拟手术计划中,比如,通过估计锯片颤振或锯齿振动以及已知
的锯片厚度,可考虑将其纳入虚拟切除计划中和一个或多个二维或三维切割平面的在光学
头戴式显示器中的最终显示。
个或更多骨移除步骤中考虑锯片厚度,或移除器械以及相关器械后其他骨的尺寸,或装置
移动或振动引起的骨损失。
非可视化部分的显示,还可以考虑可能已经或将要由装置,植入体,植入体组件,手术器械
和/或手术工具引起的任何骨损失。通过考虑装置,植入体,植入体组件,手术器械和/ 或手
术工具引起的骨损失,虚拟手术计划和光学头戴式显示器显示的包括后续手术步骤的手术
步骤会更准确。
成像(比如,超声,计算机断层扫描和/或核磁共振)来拟制手术计划,则可以将皮肤定位在
图像数据中,并且可以在通常靠近预期手术部位的区域处定义起点。起始点也可以定义在
选定的软组织深度,比如,深入软组织(比如,皮下组织或肌肉或其他组织或器官组织)5,8
或10厘米。起点可以定义在器官的表面,比如,肝脏或脾脏或肾脏或膀胱或脑。起点可以定
义在解剖标志或与器官的解剖标志相关处,比如,肝脏边缘,肝门,下腔静脉进入肝脏的入
口,门静脉进入肝脏的入口,肾脏的上极或下极,肾门。起点可以定义在骨表面或骨性解剖
标志
起始方向或对准,预定中间点,预定中间位置,预定中间方向或对准,预定终点,预定结束位
置,预定结束方向或对准,预定路径,预定平面,预定切割平面,预定外形或轮廓或横截面或
表面特征或形状或投影,预定深度标记或深度计,预定角度或方向或旋转标记,预定轴,比
如,旋转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟手术导板或切割块的虚拟手术器械,
虚拟试验植入体,虚拟植入体组件,植入体或装置的预定轴,一个或多个更多装置或植入体
或植入体组件或手术器械或手术工具,和/或一种或多种预定组织变化或改变的非可视化
部分,和/或在一个或多个虚拟手术计划中所用的预定组织改变或变化中的一个或多个可
以使用本领域已知的各种技术,在一个或多个OHMD显示器中突出显示,包括但不限于:
定起始位置,预定起始方向或对准,预定中间点,预定中间位置,预定中间方向或对准,预定
终点,预定结束位置,预定结束方向或对准,预定路径,预定平面,预定切割平面,预定外形
或轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度或方向或旋
转标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟手术导板或切割块
的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,植入体或装置的预定轴,一个或多个
更多装置或植入体或植入体组件或手术器械或手术工具,和/或一种或多种预定组织变化
或改变的非可视化部分,和/或预定组织变化或改变中的一个或多个可以由光学头戴式显
示器显示,可以选择多种颜色。
定起始位置,预定起始方向或对准,预定中间点,预定中间位置,预定中间方向或对准,预定
终点,预定结束位置,预定结束方向或对准,预定路径,预定平面,预定切割平面,预定外形
或轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度或方向或旋
转标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟手术导板或切割块
的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,植入体或装置的预定轴,一个或多个
更多装置或植入体或植入体组件或手术器械或手术工具,和/或一种或多种预定组织变化
或改变的非可视化部分,和/或预定组织变化或改变中的一个或多个可以使用箭兴显示来
突出显示。箭头可以对准一个或多个手术工具,手术器械,植入体组件,植入体或装置的方
向。箭头也可以不与一个或多个手术工具,手术器械,植入体组件,植入体或装置的方向对
准。箭头可以与一个或多个手术工具,手术器械,植入体组件,植入体或装置的方向正交。箭
头可以对准一个或多个手术工具,手术器械,植入体组件,植入体或装置。箭头不能与一个
或多个手术工具,手术器械,植入体组件,植入体或装置正交。
定起始点,预定起始位置,预定起始方向或对准,预定中间点,预定中间位置,预定中间方向
或对准,预定终点,预定结束位置,预定结束方向或对准,预定路径,预定平面,预定切割平
面,预定外形或轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度
或方向或旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟手术导
板或切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,植入体或装置的预定轴,
一个或多个更多装置或植入体或植入体组件或手术器械或手术工具,和/或一种或多种预
定组织变化或改变的非可视化部分,和/或预定组织变化或改变中的一个或多个可以使用
箭头显示来突出显示。可选择放大或缩小一个或多个箭头。可选择,间歇地显示一个或多个
箭头,比如,眨眼。一个或多个箭头可选地出现或消失。比如,当物理手术工具,手术器械,植
入体组件,植入体或装置到达预定终点时,一个或多个箭头可以消失。
起始方向或对准,预定中间点,预定中间位置,预定中间方向或对准,预定终点,预定结束位
置,预定结束方向或对准,预定路径,预定平面,预定切割平面,预定外形或轮廓或横截面或
表面特征或形状或投影,预定深度标记或深度计,预定角度或方向或旋转标记,预定轴,比
如,旋转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟手术导板或切割块的虚拟手术器械,
虚拟试验植入体,虚拟植入体组件,植入体或装置的预定轴,一个或多个更多装置或植入体
或植入体组件或手术器械或手术工具,和/或一种或多种预定组织变化或改变的非可视化
部分,和/或预定组织变化或改变中的一个或多个可以使用靶样显示器来突出显示。可以使
用多个靶样显示器。
轴,手术器械,试验植入体,植入体组件,植入体或装置。通过目标以正交方式定向并穿过一
个或多个目标的中心的线或轴可选地对准物理外科手术工具,手术器械,试验植入体,植入
体组件,植入体或装置,和/或预定组织改变/变更中的一个或多个的预定路径,预定平面,
预定切割平面或预定轴对准。
块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,虚拟植入体或虚拟设备,预定起始
点,预定起始位置,预定起始方向或对准,预定中间点,预定中间位置,预定中间方向或对
准,预定终点,预定结束位置,预定结束方向或对准,预定路径,预定平面,预定切割平面,预
定外形或轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度或方
向或旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟手术导板或
切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,植入体或装置的预定轴,一个
或多个更多装置或植入体或植入体组件或手术器械或手术工具,和/ 或一种或多种预定组
织变化或改变的非可视化部分,和/或预定组织变化或改变中的一个或多个。比如,间歇性
显示器可突出显示手术工具,手术器械,试验植入体,植入体组件,植入体或装置中的一个
或多个是否对准一个或多个虚拟手术工具,包括虚拟手术导板或虚拟切割块的虚拟手术器
械,虚拟试验植入体,虚拟植入体组件,虚拟植入体或虚拟设备,预定起始点,预定起始位
置,预定起始方向或对准,预定中间点,预定中间位置,预定中间方向或对准,预定终点,预
定结束位置,预定结束方向或对准,预定路径,预定平面,预定切割平面,预定外形或轮廓或
横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度或方向或旋转标记,预
定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟手术导板或切割块的虚拟手
术器械,虚拟试验植入体,虚拟植入体组件,植入体或装置的预定轴,一个或多个更多装置
或植入体或植入体组件或手术器械或手术工具,和/或一种或多种预定组织变化或改变的
非可视化部分,和/或预定组织变化或改变中的一个或多个。比如,间歇性显示器可突出显
示手术工具,手术器械,试验植入体,植入体组件,植入体或装置中的一个或多个是否对准
一个或多个虚拟手术工具,包括虚拟手术导板或虚拟切割块的虚拟手术器械,虚拟试验植
入体,虚拟植入体组件,虚拟植入体或虚拟设备,预定起始点,预定起始位置,预定起始方向
或对准,预定中间点,预定中间位置,预定中间方向或对准,预定终点,预定结束位置,预定
结束方向或对准,预定路径,预定平面,预定切割平面,预定外形或轮廓或横截面或表面特
征或形状或投影,预定深度标记或深度计,预定角度或方向或旋转标记,预定轴,比如,旋转
轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟手术导板或切割块的虚拟手术器械,虚拟试验
植入体,虚拟植入体组件,植入体或装置的预定轴,一个或多个更多装置或植入体或植入体
组件或手术器械或手术工具,和/或一种或多种预定组织变化或改变的非可视化部分,和/
或预定组织变化或改变中的一个或多个。
个或多个对准时,频闪红色变成单色而不是间歇性绿色:一个或多个虚拟手术工具,包括虚
拟手术导板或虚拟切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,虚拟植入体
或虚拟设备,一个或多个预定起始点,预定起始位置,预定起始方向或对准,预定中间点,预
定中间位置,预定中间方向或对准,预定终点,预定结束位置,预定结束方向或对准,预定路
径,预定平面,预定切割平面,预定外形或轮廓或横截面或表面特征或形状或投影,预定深
度标记或深度计,预定角度或方向或旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟
手术工具,包括虚拟手术导板或切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组
件,植入体或装置的预定轴,一个或多个更多装置或植入体或植入体组件或手术器械或手
术工具,和/或一种或多种预定组织变化或改变的非可视化部分,和/或预定组织变化或改
变中的一个或多个。
切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,虚拟植入体或虚拟设备,预定
起始点,预定起始位置,预定起始方向或对准,预定中间点,预定中间位置,预定中间方向或
对准,预定终点,预定结束位置,预定结束方向或对准,预定路径,预定平面,预定切割平面,
预定外形或轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度或
方向或旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟手术导板
或切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,植入体或装置的预定轴,一
个或多个更多装置或植入体或植入体组件或手术器械或手术工具,和/或一种或多种预定
组织变化或改变的非可视化部分,和/或预定组织变化或改变中的一个或多个可以从纯色
变为,例如绿色或蓝色,频闪红色。可以选择不同的颜色用于中间与最终的末端位置,例如,
蓝色表示中间,绿色表示最终/结束。
定结束方向或对准,预定路径,预定平面,预定切割平面,预定外形或轮廓或横截面或表面
特征或形状或投影,预定深度标记或深度计,预定角度或方向或旋转标记,预定轴,比如,旋
转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟手术导板或切割块的虚拟手术器械,虚拟试
验植入体,虚拟植入体组件,植入体或装置的预定轴,一个或多个更多装置或植入体或植入
体组件或手术器械或手术工具,和/或预定组织变化或改变中的一个或多个,和/或一个或
多个虚拟手术工具的预定位置和/或方向,包括在光学头戴式显示器内的虚拟手术导板,或
切割块,虚拟试验植入体,虚拟植入体组件,植入体或设备的虚拟手术器械的非可视化部
分。比如,隐现显示器可突出显示手术工具,手术器械,试验植入体,植入体组件,植入体或
装置中的一个或多个是否对准一个或多个虚拟手术工具,包括虚拟手术导板或虚拟切割块
的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,虚拟植入体或虚拟设备,预定起始点,
预定起始位置,预定起始方向或对准,预定中间点,预定中间位置,预定中间方向或对准,预
定终点,预定结束位置,预定结束方向或对准,预定路径,预定平面,预定切割平面,预定外
形或轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度或方向或
旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟手术导板或切割
块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,植入体或装置的预定轴,一个或多
个更多装置或植入体或植入体组件或手术器械或手术工具,和/或一种或多种预定组织变
化或改变的非可视化部分,和/或预定组织变化或改变中的一个或多个,和/或虚拟手术工
具,包括导板或切割块,虚拟试验植入,虚拟植入体组件,植入体或设备的虚拟手术器械的
预定位置和/或方向。当物理手术工具,手术器械,试验植入体,植入体组件,植入体和/或装
置未对准,例如,手术计划或预定起始点,预定起始位置,预定起始方向或对准,预定起始
点,预定起始位置,预定起始方向或对准,预定中间点,预定中间位置,预定中间方向或对
准,预定终点,预定结束位置,预定结束方向或对准,预定路径,预定平面,预定切割平面,预
定外形或轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度或方
向或旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟手术导板或
切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,植入体或装置的预定轴,一个
或多个更多装置或植入体或植入体组件或手术器械或手术工具,和/或一种或多种预定组
织变化或改变的非可视化部分,和/或预定组织变化或改变中的一个或多个,和/或虚拟手
术工具,包括导板或切割块,虚拟试验植入,虚拟植入体组件,植入体或设备的虚拟手术器
械的预定位置和/或方向时,在该示例中,预定起始点,预定起始位置,预定起始方向或对
准,预定中间点,预定中间位置,预定中间方向或对准,预定终点,预定结束位置,预定结束
方向或对准,预定路径,预定平面,预定切割平面,预定的外形或轮廓或横截面或表面特征
或形状或投影,预定的深度标记或深度计,预定的角度或方向或旋转标记,预定轴(比如,旋
转轴,弯曲轴,延伸轴),虚拟手术工具的预定轴,虚拟手术器械包括虚拟手术引导或切割
块,虚拟试验植入体,虚拟植入体组件,植入体或装置,用于一个或多个装置或植入体或植
入体组件或手术器械或手术工具的非可视化部分,和/或预定组织改变或变化中的一个或
多个,和/或虚拟手术工具的预定位置和/或取向中的一个或多个,包括虚拟手术工具,手术
器械,试验植入体,植入体组件,植入体和/或装置的虚拟手术器械,可出现在OHMD显示器
中。当再次进行对准时,一个或多个虚拟手术工具,包括虚拟手术导板或虚拟切割块的虚拟
手术器械,虚拟试验植入体,虚拟植入体组件,虚拟植入体或虚拟设备,预定起始点,预定起
始位置,预定起始方向或对准,预定中间点,预定中间位置,预定中间方向或对准,预定终
点,预定结束位置,预定结束方向或对准,预定路径,预定平面,预定切割平面,预定外形或
轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度或方向或旋转
标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟手术导板或切割块的
虚拟手术器械,虚拟试验植入体,虚拟植入体组件,植入体或装置的预定轴,一个或多个更
多装置或植入体或植入体组件或手术器械或手术工具,和/或一种或多种预定组织变化或
改变的非可视化部分,和/或预定组织变化或改变中的一个或多个,和/或一个或多个虚拟
手术工具的预定位置和/或方向,包括在光学头戴式显示器内的虚拟手术导板,或切割块,
虚拟试验植入体,虚拟植入体组件,植入体或设备的虚拟手术器械,可以在光学头戴式显示
器显示屏中消失。反过来也有可能发生,一个或多个预定起始点,预定起始位置,预定起始
方向或对准,预定中间点,预定中间位置,预定中间方向或对准,预定终点,预定结束位置,
预定结束方向或对准,预定路径,预定平面,预定切割平面,预定外形或轮廓或横截面或表
面特征或形状或投影,预定深度标记或深度计,预定角度或方向或旋转标记,预定轴,比如,
旋转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟手术导板或切割块的虚拟手术器械,虚拟
试验植入体,虚拟植入体组件,植入体或装置的预定轴,一个或多个更多装置或植入体或植
入体组件或手术器械或手术工具,和/或一种或多种预定组织变化或改变的非可视化部分,
和/或预定组织变化或改变中的一个或多个,和/或一个或多个虚拟手术工具的预定位置
和/或方向,包括在光学头戴式显示器内的虚拟手术导板,或切割块,虚拟试验植入体,虚拟
植入体组件,植入体或设备的虚拟手术器械,在未实现对准时消失,并在实现对准时出现。
置,预定结束方向或对准,预定路径,预定平面,预定切割平面,预定外形或轮廓或横截面或
表面特征或形状或投影,预定深度标记或深度计,预定角度或方向或旋转标记,预定轴,比
如,旋转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟手术导板或切割块的虚拟手术器械,
虚拟试验植入体,虚拟植入体组件,植入体或装置的预定轴,一个或多个更多装置或植入体
或植入体组件或手术器械或手术工具,和/或一种或多种预定组织变化或改变的非可视化
部分,和/或一个或多个虚拟手术工具的预定位置和/或方向,包括的虚拟手术导板或切割
块,虚拟试验植入体,虚拟植入体组件,植入体或设备的虚拟手术器械。光学头戴式显示器
还可以选择性提供或迭加患者的虚拟解剖结构或虚拟数据的放大或缩小显示屏,比如,在
配准患者的实时解剖结构/实时数据之后。光学头戴式显示器可以同时显示患者的未放大,
放大或缩小的虚拟解剖结构或虚拟数据,例如,使用不同颜色,灰度或图案,或与光学头戴
式显示器交替显示一个或多个预定起点,预定起始位置,预定起始方向或对准,预定中间
点,预定中间位置,预定中间方向或对准,预定终点,预定结束位置,预定结束方向或对准,
预定路径,预定平面,预定切割平面,预定外形或轮廓或横截面或表面特征或形状或投影,
预定深度标记或深度计,预定角度或方向或旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸
轴,虚拟手术工具,包括虚拟手术导板或切割块的虚拟手术器械,虚拟试验植入体,虚拟植
入体组件,植入体或装置的预定轴,一个或多个更多装置或植入体或植入体组件或手术器
械或手术工具,和/或一种或多种预定组织变化或改变的非可视化部分,和/或预定组织变
化或改变中的一个或多个,和/或一个或多个虚拟手术工具的预定位置和/或方向,包括在
光学头戴式显示器内的虚拟手术导板,或切割块,虚拟试验植入体,虚拟植入体组件,植入
体或设备的虚拟手术器械。在本发明的一些实施例中,患者的虚拟解剖结构或虚拟数据的
显示的放大(包括无放大)或缩小可以与以下的一个或多个的放大(包括无放大)或缩小相
同:预定起始点,预定起始位置,预定起始方向或对准,预定中间点,预定中间位置,预定中
间方向或对准,预定终点,预定结束位置,预定结束方向或对准,预定路径,预定平面,预定
切割平面,预定外形或轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,预
定角度或方向或旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术工具,包括虚拟
手术导板或切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,植入体或装置的预
定轴,一个或多个更多装置或植入体或植入体组件或手术器械或手术工具,和/或一种或多
种预定组织变化或改变的非可视化部分,和/或预定组织变化或改变中的一个或多个,和/
或一个或多个虚拟手术工具的预定位置和/或方向,包括在光学头戴式显示器内的虚拟手
术导板,或切割块,虚拟试验植入体,虚拟植入体组件,植入体或设备的虚拟手术器械。如上
所述,患者的虚拟解剖结构或虚拟数据,包括患者的所有虚拟数据,包括来自血管流动研
究,代谢成像,运动学数据等的数据。
包括虚拟手术导板或虚拟切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,虚拟
植入体或虚拟设备,预定起始点,预定起始位置,预定起始方向或对准,预定中间点,预定中
间位置,预定中间方向或对准,预定终点,预定结束位置,预定结束方向或对准,预定路径,
预定平面,预定切割平面,预定外形或轮廓或横截面或表面特征或形状或投影,预定深度标
记或深度计,预定角度或方向或旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术
工具,包括虚拟手术导板或切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,植
入体或装置的预定轴,一个或多个更多装置或植入体或植入体组件或手术器械或手术工
具,和/或一种或多种预定组织变化或改变的非可视化部分,和/或预定组织变化或改变中
的一个或多个,和/或虚拟手术工具,包括导板或切割块,虚拟试验植入,虚拟植入体组件,
植入体或设备的虚拟手术器械的预定位置和/或方向。当物理手术工具,手术器械,试验植
入体,植入体组件,植入体和/或装置未对准,例如,手术计划或预定起始点,预定起始位置,
预定起始方向或对准,预定起始点,预定起始位置,预定起始方向或对准,预定中间点,预定
中间位置,预定中间方向或对准,预定终点,预定结束位置,预定结束方向或对准,预定路
径,预定平面,预定切割平面,预定外形或轮廓或横截面或表面特征或形状或投影,预定深
度标记或深度计,预定角度或方向或旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟
手术工具,包括虚拟手术导板或切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组
件,植入体或装置的预定轴,一个或多个更多装置或植入体或植入体组件或手术器械或手
术工具,和/或一种或多种预定组织变化或改变的非可视化部分,和/或预定组织变化或改
变中的一个或多个,和/或虚拟手术工具,包括导板或切割块,虚拟试验植入,虚拟植入体组
件,植入体或设备的虚拟手术器械的预定位置和/或方向时,在该示例中,预定起始点,预定
起始位置,预定起始方向或对准,预定中间点,预定中间位置,预定中间方向或对准,预定终
点,预定结束位置,预定结束方向或对准,预定路径,预定平面,预定切割平面,预定的外形
或轮廓或横截面或表面特征或形状或投影,预定的深度标记或深度计,预定的角度或方向
或旋转标记,预定轴(比如,旋转轴,弯曲轴,延伸轴),虚拟手术工具的预定轴,虚拟手术器
械包括虚拟手术引导或切割块,虚拟试验植入体,虚拟植入体组件,植入体或装置,用于一
个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分,和/或预定
组织改变或变化中的一个或多个,和/或虚拟手术工具的预定位置和/或取向中的一个或多
个,包括虚拟手术工具,手术器械,试验植入体,植入体组件,植入体和/或装置的虚拟手术
器械时,可以在OHMD显示器中放大或缩小。当再次进行对准时,一个或多个虚拟手术工具,
包括虚拟手术导板或虚拟切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,虚拟
植入体或虚拟设备,预定起始点,预定起始位置,预定起始方向或对准,预定中间点,预定中
间位置,预定中间方向或对准,预定终点,预定结束位置,预定结束方向或对准,预定路径,
预定平面,预定切割平面,预定外形或轮廓或横截面或表面特征或形状或投影,预定深度标
记或深度计,预定角度或方向或旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术
工具,包括虚拟手术导板或切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,植
入体或装置的预定轴,一个或多个更多装置或植入体或植入体组件或手术器械或手术工
具,和/或一种或多种预定组织变化或改变的非可视化部分,和/或预定组织变化或改变中
的一个或多个,和/或一个或多个虚拟手术工具的预定位置和/或方向,包括在光学头戴式
显示器内的虚拟手术导板,或切割块,虚拟试验植入体,虚拟植入体组件,植入体或装置设
置为零放大或缩小,或者可以在光学头戴式显示器显示中从放大缩小到缩小或从缩小到放
大。
预定平面,预定切割平面,预定外形或轮廓或横截面或表面特征或形状或投影,预定深度标
记或深度计,预定角度或方向或旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术
工具,包括虚拟手术导板或切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,植
入体或装置的预定轴,一个或多个更多装置或植入体或植入体组件或手术器械或手术工
具,和/或一种或多种预定组织变化或改变的非可视化部分,和/或一个或多个虚拟手术工
具的预定位置和/或方向,包括在虚拟手术导板或切割块,虚拟试验植入体,虚拟植入体组
件,植入体或设备被光学头戴式显示器显示,则显示样式或技术的任何组合,例如多色,灰
度,阴影,图案,线,箭头,目标,间歇,出现,消失,放大,缩小是可能的。在一些实施例中,可
以针对不同的预定起始点,预定起始位置,预定起始方向或对准,预定中间点,预定中间位
置,预定中间方向或对准,预定终点,预定结束位置,预定结束方向或对准,预定路径,预定
平面,预定切割平面,预定外形或轮廓或横截面或表面特征或形状或投影,预定深度标记或
深度计,预定角度或方向或旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术工
具,包括虚拟手术导板或切割块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,植入
体或装置的预定轴,一个或多个更多装置或植入体或植入体组件或手术器械或手术工具,
和/或一种或多种预定组织变化或改变的非可视化部分,和/或预定组织变化或改变中的一
个或多个,和/或一个或多个虚拟手术工具的预定位置和/或方向,包括在光学头戴式显示
器内的虚拟手术导板,或切割块,虚拟试验植入体,虚拟植入体组件,植入体或设备,选择不
同的显示样式或技术。
置,预定结束方向中的一个或多个或对准,预定路径,预定平面,预定切割平面,预定外形或
轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度或方向或旋转
标记,预定轴,例如旋转轴,弯曲轴,延伸轴,虚拟手术工具的预定轴,虚拟手术器械包括虚
拟手术引导或切割块,虚拟试验植入体,虚拟植入体组件,植入体或装置,用于一个或多个
装置的非可视化部分或植入体或植入体组件或手术器械或手术工具,和/或预定组织改变
或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个,包括虚
拟手术导板或切块的虚拟手术器械,虚拟试验植入,虚拟植入体组件,植入体或设备。
置,预定结束方向中的一个或多个或对准,预定路径,预定平面,预定切割平面,预定外形或
轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度或方向或旋转
标记,预定轴,例如旋转轴,弯曲轴,延伸轴,虚拟手术工具的预定轴,虚拟手术器械包括虚
拟手术引导或切割块,虚拟试验植入体,虚拟植入体组件,植入体或装置,用于一个或多个
装置的非可视化部分或植入体或植入体组件或手术器械或手术工具,和/或预定组织改变
或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个,包括虚
拟手术的虚拟手术器械导板或切块,虚拟试验植入,虚拟植入体组件,植入体或设备。
点,预定中间位置,预定中间方位或对准,预定终点,预定结束位置,预定结束方向中的一个
或多个或对准,预定路径,预定平面,预定切割平面,预定外形或轮廓或横截面或表面特征
或形状或投影,预定深度标记或深度计,预定角度或方向或旋转标记,预定轴,例如旋转轴,
弯曲轴,延伸轴,虚拟手术工具的预定轴,虚拟手术器械包括虚拟手术引导或切割块,虚拟
试验植入体,虚拟植入体组件,植入体或装置,用于一个或多个装置的非可视化部分或植入
体或植入体组件或手术器械或手术工具,和/或预定组织改变或变化中的一个或多个和/或
虚拟手术工具的预定位置和/或取向中的一个或多个,包括虚拟手术导板或切块的虚拟手
术器械,虚拟试验植入,虚拟植入体组件,植入体或设备。可以同时显示预定起始点,预定起
始位置,预定起始方向或对准,预定中间点,预定中间位置,预定中间方位或对准,预定终
点,预定结束位置,预定结束方向中的一个或多个或对准,预定路径,预定平面,预定切割平
面,预定外形或轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度
或方向或旋转标记,预定轴,例如旋转轴,弯曲轴,延伸轴,虚拟手术工具的预定轴,虚拟手
术器械包括虚拟手术引导或切割块,虚拟试验植入体,虚拟植入体组件,植入体或装置,用
于一个或多个装置的非可视化部分或植入体或植入体组件或手术器械或手术工具,和/或
预定组织改变或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个
或多个,包括虚拟手术的虚拟手术器械导板或切块,虚拟试验植入,虚拟植入体组件,植入
体或设备。
一个或多个预定起始点,预定起始位置,预定起始方向或对准,预定中间点,预定中间位置,
预定中间方位或对准,预定终点,预定结束位置,预定结束方向中或对准,预定路径,预定平
面,预定切割平面,预定外形或轮廓或横截面或表面特征或形状或投影,预定深度标记或深
度计,预定角度或方向或旋转标记,预定轴,例如旋转轴,弯曲轴,延伸轴,虚拟手术工具的
预定轴,虚拟手术器械包括虚拟手术引导或切割块,虚拟试验植入体,虚拟植入体组件,植
入体或装置,用于一个或多个装置的非可视化部分或植入体或植入体组件或手术器械或手
术工具,和/或预定组织改变或变化中的一个或多个和/或虚拟手术工具的预定位置和/或
取向中的一个或多个,包括虚拟手术的虚拟手术器械导板或切块,虚拟试验植入,虚拟植入
体组件,植入体或设备。
定结束位置,预定结束方向中或对准,预定路径,预定平面,预定切割平面,预定外形或轮廓
或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度或方向或旋转标记,
预定轴,例如旋转轴,弯曲轴,延伸轴,虚拟手术工具的预定轴,虚拟手术器械包括虚拟手术
引导或切割块,虚拟试验植入体,虚拟植入体组件,植入体或装置,用于一个或多个装置的
非可视化部分或植入体或植入体组件或手术器械或手术工具,和/或预定组织改变或变化
中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个,包括虚拟手术
的虚拟手术器械导板或切块,虚拟试验植入,虚拟植入体组件,植入体或设备。
准,预定终点,预定结束位置,预定结束方向中或对准,预定路径,预定平面,预定切割平面,
预定外形或轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度或
方向或旋转标记,预定轴,例如旋转轴,弯曲轴,延伸轴,虚拟手术工具的预定轴,虚拟手术
器械包括虚拟手术引导或切割块,虚拟试验植入体,虚拟植入体组件,植入体或装置,用于
一个或多个装置的非可视化部分或植入体或植入体组件或手术器械或手术工具,和/或预
定组织改变或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或
多个,包括虚拟手术导板或切块的虚拟手术器械,虚拟试验植入,虚拟植入体组件,植入体
或设备,例如,交替地或由语音命令或其他命令触发。可同时以立体方式显示预定起始点,
预定起始位置,预定起始方向或对准,预定起始点,预定起始位置,预定起始方向或对准,预
定中间点,预定中间位置,预定中间方向或对准,预定终点,预定结束位置,预定结束方向或
对准,预定路径,预定平面,预定切割平面,预定外形或轮廓或横截面或表面特征或形状或
投影,预定深度标记或深度计,预定角度或方向或旋转标记,预定轴,比如,旋转轴,弯曲轴,
延伸轴,虚拟手术工具的预定轴,包括虚拟手术导板或切割块的虚拟手术器械,虚拟试验植
入体,虚拟植入体组件,植入体或装置,一个或多个装置或植入体或植入体组件或手术器械
或手术工具,和/或一种或多种预定组织变化或改变的非可视化部分,和/或预定组织变化
或改变中的一个或多个,和/或包括虚拟手术导板或切割块的虚拟手术器械,虚拟试验植
入,虚拟植入体组件,植入体或设备(以非立体方式方式显示一个或多个预定起始点,预定
起始位置,预定起始方向或对准,预定中间点,预定中间位置,预定中间方向或对准,预定终
点,预定结束位置,预定结束方向或对准,预定路径,预定平面,预定切割平面,预定的外形
或轮廓或横截面或表面特征或形状或投影,预定的深度标记或深度计,预定的角度或方向
或旋转标记,预定轴(比如,旋转轴,弯曲轴,延伸轴),虚拟手术工具的预定轴,虚拟手术器
械(包括虚拟手术导板或切割块),虚拟试验植入体,虚拟植入体组件,植入体或装置,用于
一个或多个装置或植入体或植入体组件或手术器械或手术工具的非可视化部分,和/或预
定组织改变或变化中的一个或多个,和/或虚拟手术工具的预定位置和/或取向中的一个或
多个,包括虚拟手术工具,手术器械,试验植入体,植入体组件,植入体和/或装置的虚拟手
术器械)。
准,预定终点,预定结束位置,预定结束方向中或对准,预定路径,预定平面,预定切割平面,
预定外形或轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度或
方向或旋转标记,预定轴,例如旋转轴,弯曲轴,延伸轴,虚拟手术工具的预定轴,虚拟手术
器械包括虚拟手术引导或切割块,虚拟试验植入体,虚拟植入体组件,植入体或装置,用于
一个或多个装置的非可视化部分或植入体或植入体组件或手术器械或手术工具,和/或预
定组织改变或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或
多个,包括虚拟手术的虚拟手术器械导板或切块,虚拟试验植入,虚拟植入体组件,依据虚
拟手术计划以及患者的解剖和临床状况,植入体或设备可以位于脊柱中,具体包括椎体,椎
弓根,椎骨骨折,后部结构,小关节。光学头戴式显示器可以三维显示预定起始点,预定起始
位置,预定起始方向或对准,预定中间点,预定中间位置,预定中间方位或对准,预定终点,
预定结束位置,预定结束方向中的一个或多个或对准,预定路径,预定平面,预定切割平面,
预定外形或轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度或
方向或旋转标记,预定轴,例如旋转轴,弯曲轴,延伸轴,虚拟手术工具的预定轴,虚拟手术
器械包括虚拟手术引导或切割块,虚拟试验植入体,虚拟植入体组件,植入体或装置,用于
一个或多个装置的非可视化部分或植入体或植入体组件或手术器械或手术工具,和/或预
定组织改变或变化中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或
多个,包括虚拟手术的虚拟手术器械导板或切块,虚拟试验植入,虚拟植入体组件,如果考
虑脊柱与椎弓根螺钉的融合或椎体后凸成形术的椎体成形术,则植入体或装置可以位于脊
柱,椎弓根和椎体的后部结构中。
方向中的一个或多个或对准,预定路径,预定平面,预定切割平面,预定外形或轮廓或横截
面或表面特征或形状或投影,预定深度标记或深度计,预定角度或方向或旋转标记,预定
轴,例如旋转轴,弯曲轴,延伸轴,虚拟手术工具的预定轴,虚拟手术器械包括虚拟手术引导
或切割块,虚拟试验植入体,虚拟植入体组件,植入体或装置,用于一个或多个装置的非可
视化部分或植入体或植入体组件或手术器械或手术工具,和/或预定组织改变或变化中的
一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个,包括虚拟手术的虚
拟手术器械导板或切块,虚拟试验植入,虚拟植入体组件,植入体或装置可以与椎弓根螺钉
的长轴在虚拟手术计划的预期虚拟放置位置重合,平行或对准和/或迭加,或任选使用放置
标准,例如,在虚拟外科手术计划中使用的皮质距离。
束位置,预定结束方向或对准,预定路径,预定平面,预定切割平面,预定外形或轮廓或横截
面或表面特征或形状或投影,预定深度标记或深度计,预定角度或方向或旋转标记,预定
轴,例如旋转轴,弯曲轴,延伸轴,虚拟手术工具的预定轴,虚拟手术器械包括虚拟手术引导
或切割块,虚拟试验植入体,虚拟植入体组件,植入体或装置,用于一个或多个装置或植入
体或植入体组件或手术器械或手术工具,和/或预定组织改变或变化中的一个或多个和/或
虚拟手术工具的预定位置和/或取向中的一个或多个的非可视化部分,包括虚拟手术的虚
拟手术器械导板或切块,虚拟试验植入,虚拟植入体组件,植入体或装置可与椎体成形术,
椎体后凸成形术,活检针或针设置的长轴在虚拟手术计划的预期虚拟放置位置重合,平行,
或对准和/或迭加或者,可选地使用放置标准,比如,在虚拟手术计划中所用的皮质距离。
瞳孔和右瞳孔之间的距离。可以使用集成到光学头戴式显示器中,附接到光学头戴式显示
器或与光学头戴式显示器分离的图像和/或视频捕获系统来执行这样的测量。这种测量也
可以使用本领域已知的任何其他技术进行,包括比如,机械标尺,光学测量工具和验光师所
用标准工具。
间或瞳距缩小,左右眼的投影可以移动得更靠近鼻子,使得对准左右眼的投影的中心和左
眼/瞳孔和右眼/瞳孔的中心。当眼间或瞳距增大,左右眼的投影远离鼻子移动,使得对准左
右眼的投影的中心和左眼/瞳孔和右眼/瞳孔的中心。不同的用户设置可以存储在系统中,
比如,按用户名。以这种方式,当不同的用户将光学头戴式显示器放置在其头上时,用户或
系统可以调出优选使用者设置,包括各自的眼间距或瞳距。可以调用用户设置,比如,使用
由光学头戴式显示器投影的可视或光学键盘接口,手术者可以在其中选择虚拟按钮。还可
以使用语音命令,键盘和用于执行用户命令的任何其他已知技术或技术来调用用户设置。
如果带宽和传输速度和/或显示速度达到其极限,则可选地降低虚拟数据的显示的空间分
辨率。代之以交替式高分辨率显示器,比如,1920×1080像素分辨率,以及较低分辨率,比
如,1024×768像素分辨率。高分辨率图像与低分辨率图像的比率可以是 1∶1,2∶1,3∶1,1∶
2,1∶3,可以是任何其他组合。
用户可以选择增加刷新率,并且如果需要,出于带宽或传输速度的原因,可选择降低显示分
辨率。用户还可以选择交替分辨率,比如,1920×1080像素分辨率,混合1024 ×768像素分
辨率;任何其他像素分辨率和像素分辨率的组合都是可以的。以这种方式,使用者可以选择
产生令人愉快的,基本上无眨眼的显示设置,同时保持足够的空间和/或时间分辨率以实现
精确的物理/虚拟工作环境。
物理或虚拟键盘或键盘上的数字/手指命令来执行,比如,由光学头戴式显示器投射。
移动在不同用户之间可以是不同的,并且可以存储为使用者偏好。
方式,当用户需要光学头戴式显示器执行活动时,可以将潜在眨眼暴露的时段或其他不适
感可以减少到关键部分或部分,比如,可选择在虚拟外科手术计划中定义的物理外科手术
步骤显示一个或多个预定起始点,预定起始位置,预定起始方向或对准,预定中间点,预定
中间位置,预定中间方位或对准,预定终点,预定结束位置,预定结束方向中的一个或多个
或对准,预定路径,预定平面,预定切割平面,预定外形或轮廓或横截面或表面特征或形状
或投影,预定深度标记或深度计,预定角度或方向或旋转标记,预定轴,例如旋转轴,弯曲
轴,延伸轴,虚拟手术工具的预定轴,虚拟手术器械包括虚拟手术引导或切割块,虚拟试验
植入体,虚拟植入体组件,植入体或装置,用于一个或多个装置的非可视化部分或植入体或
植入体组件或手术器械或手术工具,和/或预定组织改变或变化中的一个或多个和/或虚拟
手术工具的预定位置和/或取向中的一个或多个,包括虚拟手术的虚拟手术器械导板或切
块,虚拟试验植入,虚拟植入体组件,植入体或设备。
或区域。在本发明的一些实施方案中,OHMD显示器可选地在用户远离目标活动区域时自动
关闭,比如,手术野内或活动和/或虚拟坐标内的手术野或区域或器官或组织。
且通过照摄像头,集成到光学头戴式显示器,连接到光学头戴式显示器或与光学头戴式显
示器分离的图像或视频捕获系统,在现场手术野或区域和/或虚拟手术野或区域的坐标内
的器官或组织中,检测一个或多个光学标记系统。在本发明的一些实施方案中,OHMD 显示
器可选择在用户远离目标活动区域时自动关闭,比如,手术野或区域或位于活动和/ 或虚
拟手术野坐标内的器官或组织,并且外科医生的视野和/或摄像头,图像或视频捕获系统的
视野中不存在一个或多个光学标记,所述图像或视频捕获系统集成到光学头戴式显示器
中,附接到光学头戴式显示器或与光学头戴式显示器分离。
导航,发光二极管,参考体模,校准体模,在目标区域上绘制的标记,比如,在皮肤或手术单
上。如果考虑手术,任何前述的有源和/或无源标记可以放置在患者身上,比如,在手术单下
面,或者在将要进行手术的患者的可见无菌暴露区域内。或者,任何有源或无源标记物也可
以置于无菌盖布的顶部或患者的皮肤上,比如,围绕手术区域或手术野。目标区域也可以通
过使用一个或多个解剖学标志来识别,比如,大转子和股骨颈之间的臀部最低点(比如,龈
点),大转子上最高点,小转子最高点,髋臼缘,髋臼中心或膝盖内侧髁上最内侧点,外侧髁
上最外侧点,滑车凹陷中心,胫骨脊柱,胫骨最前点,髌骨的中心点。已经/正被用于配准虚
拟数据和患者实时数据的一个或多个相同解剖标志可用于定义或识别目标活动区域。可以
使用比如,集成到光学头戴式显示器中,附加到光学头戴式显示器或与光学头戴式显示器
分离的图像和/或视频捕获系统来识别解剖标志。可以通过选择性附接一个或多个光学标
记,导航标记(包括红外标记,逆向反射标记,射频标记,手术导航,发光二极管,参考体模,
校准体模或标记)来识别标记。目标区域可以由解剖标志包围,比如,由三个或更多个解剖
标志包围。目标区域可以延伸超过一个或多个解剖标志,比如,通过2,4,5,6,8,10厘米或更
长或任何其他距离或半径,比如,由外科医生或手术者选择。
野可以由用户定义,比如,通过用手指或指示设备或射频标记,光学标记,导航标记包括红
外标记,逆向反射标记,射频标记,发光二极管和/或校准体模或参考体模指向它。一旦用户
和/或外科医生的视图聚焦于预期的活动区域和/或预期的手术野,用户和/或外科医生就
可以执行命令,比如,语音命令或手指命令,以识别预期的活动区域和/或外科手术领域,并
将其存储在图像和/或视频捕获系统中。所识别的预期活动区域和/或手术野以这种方式存
储在图像和/或视频捕获系统中。使用标准图像处理技术,图像和/或视频捕获系统随后可
以识别预期活动区域的20%,30%,40%,50%,60%,70%,80%, 90%或100%,和/或手术
野包括在用户和/或手术者和/或外科医生的视野中。一旦外科医生的视野中包含一定百分
比,比如,50%或60%或70%或80%或90%的预期活动和/或手术野,光学头戴式显示器可
自动打开光学头戴式显示器显示。可选地,当用户,手术者和/或外科医生转动其视线时,
OHMD显示器可以自动关闭,比如,当低于预期活动区域的90%,80%,70%,60%或50%和/
或手术野包括在视野中。
科医生可用的整个视野。视野可以是用户,手术者和/或外科医生的部分视野。
活动区域和/或手术野的百分比。比如,当解剖标志,光学标记,包括红外线的导航标记,逆
向反射标记,射频标记,发光二极管或校准体模或参考体模(比如,通过集成到,连接到光学
头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统看到)位于外部标记
中第三,中央三分之一或内三分之一或内半部或其他解剖标志或分界/ 分离的视野,用户,
手术者和/或外科医生开始观察预期的活动区域和/或手术野时, OHMD显示器可以自动打
开。
围内时,OHMD显示器也可自动打开,比如,15厘米,10厘米,5厘米等。当视野达到预期活动区
域和/或手术野的一个或多个标记(比如,针或螺钉,比如,15厘米, 10厘米,5厘米内)的某
些厘米范围内时,OHMD显示器也可自动打开。
地自动关闭。在一些实施方案中,当解剖标志,光学标记,导航标记(包括红外标记,逆向反
射标记,射频标记),发光二极管或校准体模或参考体模(比如,通过集成到,连接到光学头
戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统看到)位于外三分之一,
中央三分之一或内三分之一或内半部或其他标志或分界/分离的视野,用户,手术者和/或
外科医生开始远离预期的活动区域和/或手术野时,OHMD 显示器可以自动关闭。
特定厘米范围内时,OHMD显示器也可自动关闭,比如,5厘米,10厘米,15厘米或更长之外。当
视野到达预定活动区域和/或手术野的一个或多个标记(比如,针或螺钉)的特定厘米范围
之外时,OHMD显示器也可自动关闭,比如,5厘米,10厘米,15厘米内或更长。
可以自动打开。可选地,当选择的外科手术器械(比如,锥子或针式驱动器或铰刀或锯子,或
选定的医疗设备组件,或其多个(同时或顺序地)从视野消失时,OHMD显示器可自动关闭。一
个或多个手术器械或医疗装置组件的出现或消失可以由使用者/外科医生将头部移动远离
预期的活动区域和/或手术野引起;还可以由用户/外科医生将手术器械和/或医疗装置组
件移动到视野外或远离预期活动和/或手术野,同时继续观察预期活动的区域和/或外科领
域。
屏幕或计算机监视器,或PACS监视器或其他显示监视器,比如,位于手术室或工厂中。在本
发明的一些实施方案中,可以使用比如,结合标准图像处理技术的图像捕获,比如,基于其
方形或矩形轮廓/形状来识别监视器。在本发明的一些实施方案中,视频屏幕或电视屏幕或
计算机监视器,或PACS监视器或其他显示监视器可以用置于显示器,周围或附近的光学标
记,导航标记包括红外标记,逆向反射标记,射频标记,发光二极管和其他标记来识别。
启和关闭。可以触发OHMD显示器的开启和关闭,比如,当视野(比如,通过 OHMD显示器)到达
监视器的中心区域时,或者显示器中心区域或点内的5厘米,10厘米,15厘米或更大的范围,
或距光学标记,包括红外标记,逆向反射标记,射频标记的导航标记,发光二极管和/或置
于,环绕或靠近显示器的其他标记一定距离或区域内时。
时,它可以选择性地重新打开。
秒,然后关闭休息,比如,1,2,3,4或更多秒。可以由用户基于用户偏好来定义显示和显示的
时段。显示开启和关闭的时段可以与OHMD显示器的自动开启和关闭的各种触发器组合,如
前所述。
用于自动打开和关闭OHMD显示器的许多不同触发器。OHMD显示器的自动开启和关闭也可以
是用于保持电池寿命的有用功能,比如,一次性或可充电式。
或可由光学头戴式显示器单元的显示器显示的较小视野。如果显示来自术前或术中影像学
检查的数据,比如,X射线,计算机断层扫描扫描,核磁共振扫描,则光学头戴式显示器显示
的数据或图像的扫描体积也可以定为小于影像学检查所涵盖的原始扫描体积或面积,以减
少显示的数据量。另外,由光学头戴式显示器显示的数据或图像的体积或面积还可以定为
小于要操作的体积或面积或小于手术部位的体积或面积。比如,当软件环境限制所显示的
表面点或节点的数量或限制由光学头戴式显示器显示数据的大小或数量时,该实施方案可
以是有用的。当WiFi或蓝牙或其他无线连接与光学头戴式显示器一起使用时,该实施方案
在带宽和/或数据传输方面的限制也是有用的,从而限制了传输到光学头戴式显示器并最
终显示的数据量,特别是当该限制意味着光学头戴式显示器可用于显示数据和/或图像的
数据量的限制。
标体积较小,或者体积或面积较小。例如,在膝盖置换中,当外科医生考虑在股骨上进行外
科手术时,视野的较小部分可以靶向远端股骨或远端股骨的部分,例如,远端股骨切割或前
切割或后切割或倒角切割;当外科医生考虑在胫骨上进行外科手术时,可以靶向近端胫骨
或其部分,例如,近端胫骨切割或胫骨龙骨准备和打孔;当外科医生考虑在髌骨上进行外科
手术时,可以靶向髌骨,例如,铣削或切割髌骨。在髋关节置换术中,视野的较小部分可以靶
向近端股骨或其部分,而外科医生正在考虑在近端股骨上的台阶,例如,在近端股骨。股骨
颈切割;它可以针对髋臼,而外科医生正在考虑对髋臼进行外科手术,例如髋臼。髋臼扩孔
或髋臼杯嵌入;当外科医生考虑股骨拉削或扩孔时,可以将其重新聚焦或重新定位在近端
股骨,选择性随后进行股骨组件撞击。在椎弓根螺钉放置或椎体成形术或椎体后凸成形术
中,视野的较小部分可以靶向外科医生考虑下一外科手术步骤的水平和/或侧面,例如,插
入锥子,椎弓根螺钉,针,椎骨或椎体后凸成形术针。
积或面积,也可以使用一个或多个解剖标志来限定,例如在臀部是最不利的一点,例如在大
转子和股骨颈之间的龈沟点,是大转子上最优越的点,小转子,髋臼缘或其部分,髋臼中心
或膝盖,最中间点的最优点在内侧髁上,外侧髁上的最外侧点,滑车凹口的中心,胫骨脊,胫
骨的最前点,髌骨的中心点。已经/正被用于配准虚拟数据和患者实时数据的一个或多个相
同的解剖标志可以通过光学头戴式显示器而可视化或可通过OHMD显示器显示,来定义或识
别目标区域或通过该视野可见的视野的较小部分。。可以使用比如,集成到光学头戴式显示
器中,附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/ 或视频捕获系统来
识别解剖标志。可以通过选择性附接一个或多个光学标记,导航标记 (包括红外标记,逆向
反射标记,射频标记,手术导航,发光二极管,参考体模,校准体模或标记)来识别标记。目标
区域可以由解剖标志包围,比如,由三个或更多个解剖标志包围。目标区域可以延伸超过一
个或多个解剖标志,比如,通过2,4,5,6,8,10厘米或更长或任何其他距离或半径,比如,由
外科医生或手术者选择。
积小于手术部位的体积或面积,可以以减少显示的数据量。另外,也可以减少传输的数据
量,例如,使用Wifi,蓝牙或LIF网络。
戴式显示器中,附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕
获系统。独立或单独的计算机或显示监视器可用于显示图像数据,例如,患者,或同时显示
光学头戴式显示器显示的虚拟数据。图像和/或视频捕获系统可以捕获计算机或显示监视
器的轮廓,例如,圆形,方形或矩形,软件可以选择性地自动匹配,迭加或对准光学头戴式显
示器显示的项目或结构和独立或单独的计算机或显示监视器显示的项目或结构。或者,使
用者,操作员和/或外科医生可以执行命令,例如,语音命令或使用虚拟手指/键盘接口的命
令,指示他或她正在查看独立或单独的计算机或显示器,然后软件可以匹配,迭加或对准光
学头戴式显示器显示的项目或结构和独立或单独的计算机或显示器显示的项目或结构。光
学头戴式显示器系统可以匹配,迭加或对准独立或单独的计算机监视器显示的所有结构。
光学头戴式显示器系统可以匹配,迭加或对准由独立或单独的计算机监视器显示的部分结
构。
构。光学头戴式显示器可以使用与独立或单独的计算机显示器所用颜色或灰度或对比度不
同的独立或单独的计算机显示器来显示未显示的结构。
的计算机监视器所用不同灰度和/或对比度来显示独立或单独的计算机监视器显示的结
构。
机监视器所用不同图像强度来显示由独立或单独的计算机监视器显示的结构,例如,更亮
或更不明亮。
支架和显示器的位置,方向和/或对准和/或移动方向。监视器可以具有已知尺寸的圆形,矩
形或方形。集成到光学头戴式显示器中,附接到光学头戴式显示器或与光学头戴式显示器
分离的图像和/或视频捕获系统可用于捕获监视器的一个或多个图像。由于监视器的尺寸
是已知的,例如沿其边缘的尺寸,形状或尺寸,或捕获图像上的监视器区域可用于确定光学
头戴式显示器与监视器的距离;圆形,椭圆形,矩形或正方形的形状可用于确定光学头戴式
显示器相对于监视器的角度。如果集成到光学头戴式显示器或连接到光学头戴式显示器的
图像和/或视频捕获系统使用两个或更多个摄像机,则可以使用在第一个,第二个和任何其
他摄像机之间检测到的圆形,椭圆形,矩形或方形的形状差异来增加光学头戴式显示器对
显示监视器的角度方向的估计的准确性,例如,通过针对第三相机校准第一相机相对于第
二相机的测量等。如果使用两个或更多个摄像机集成或连接到光学头戴式显示器支架的不
同部分,例如,支架的左侧和支架的右侧,两个摄像机之间的监视器圆形,椭圆形,矩形或正
方形的投影差异也可用于估计用户的头部位置和/或方向和/或对准,和/或光学头戴式显
示器框架相对于使用者的头部和/或面部的位置和/或取向和/或对准。
转。该头部位置可用于校准OHMD显示器相对于目标区域和/或患者和/或手术部位的位置,
例如,在初次配准或随后的配准期间。该头部位置还可用于校准光学头戴式显示器装置/框
架相对于使用者和/或外科医生头部和面部的位置。可选地,用户和/或外科医生可以将其
头部放置在下巴支架或头部支架上以用于该校准或配准。使用外部计算机或显示监视器作
为校准和/或配准目的的参考的过程可以在活动开始和/或外科手术过程中进行,例如,作
为初始配准过程的一部分。使用外部显示监视器作为校准和/或配准目的的参考的过程也
可以在活动期间或在活动和/或外科手术之后执行,例如,当担心光学头戴式显示器装置相
对于用户和/或外科医生的脸出现移动时。
和/或视频捕获系统。可选地,可以使用附加的光学标记,导航标记,包括红外标记,逆向反
射标记,射频标记,发光二极管和/或惯性测量单元以及说明书中描述的或本领域已知的用
于确定和/或跟踪物体的地点,位置,取向和/或对准的任何其他技术,监视独立或单独的计
算机或显示监视器的轮廓的地点,位置,方向和/或对准。利用已知的独立或外部计算机或
显示监视器的地点,位置,方向和/或对准,可以跟踪光学头戴式显示器装置的地点,位置,
方向,对准和/或移动方向,例如,通过集成到或连接到光学头戴式显示器的图像和/或视频
捕获系统,或集成到其中或附加到其上的光学标记,导航标记包括红外标记,逆向反射标
记,射频标记,发光二极管和/或惯性测量单元。由于可以跟踪光学头戴式显示器装置的地
点,位置,方向,对准和/或移动方向,光学头戴式显示器装置的显示器可以始终或者首选间
歇地显示由独立或单独的计算机或显示监视器显示和在空间上匹配的相同结构,或者至少
一部分或其子集。如果独立或单独的计算机或显示器仅占用 OHMD显示器覆盖部分视野,则
OHMD显示器可以将显示的结构与独立或单独的计算机或显示器显示的结构相匹配,仅用于
独立或单独的计算机或显示器监视器占用的部分视野。可备选,OHMD显示器可以显示延伸
超出由独立或单独的计算机或显示监视器占据的视野部分的结构。延伸超出由独立或单独
的计算机或显示监视器占据的视野部分的结构是独立或单独的计算机或显示监视器显示
的结构的延续部分。由独立或单独的计算机或显示监视器占据的视野部分之外的结构可以
是独立的,和/或与独立或单独的计算机或显示监视器显示的结构分开。例如,除了显示与
独立或单独的计算机或显示监视器显示的内容匹配或对应的一个或多个结构之外,OHMD显
示器还在不包括独立或单独的计算机或显示器的部分视野中,可以显示诸如生命体征或患
者人口统计学或诸如术前影像学检查之类的项目。当使用者,操作员和/或外科医生不看病
人时,这可能是有用的。
投射的切割平面),或患者的解剖学信息(例如,来自术前影像学检查);当用户或外科医生
正在查看独立或单独的计算机或显示器时,光学头戴式显示器可以显示由独立或单独的计
算机或显示监视器显示的部分信息或所有信息,例如三维图像,而独立或单独的计算机或
显示监视器可以显示二维图像;当用户或外科医生既不看手术区也不看独立或单独的计算
机或显示器或手术时,或当手术区和/或独立或单独的计算机或显示监视器仅占用 OHMD显
示器覆盖的部分视野时,光学头戴式显示器可显示非手术野相关信息和非独立或非单独的
计算机或显示器监视器相关或显示的信息。OHMD显示器的外科手术相关信息,独立或单独
的计算机或显示监视器信息和其他信息之间的切换或转换可以是自动的,例如,通过图像
捕获和相关图像处理和识别,用户或外科医生当前正在查看的区域(可选地由光学标记,导
航标记包括红外标记,逆向反射标记,射频标记和/或发光二极管区别,或者可以通过用户
或外科医生执行命令,例如,语音命令或手指/键盘命令,比如,使用OHMD显示器显示的虚拟
键盘。
之间应用任意数量的显示组合,并通过独立或单独的计算机或监视器显示器在显示器之间
应用。例如,当计算机或监视器显示器显示患者的术前或术中影像学检查时,这些可以使用
拟三维显示技术以二维(例如横截面)或三维显示,例如,通过表面重建和阴影。使用 OHMD
显示器覆盖或迭加真三维(例如,立体三维)图像,从患者的术前或术中影像学检查和/或患
者的虚拟手术计划的解剖视图,到由独立的或者单独的计算机或显示监视器以二维或拟三
维显示的相同解剖结构和/或虚拟手术计划,这对于外科医生可能是有益的,因为外科医生
在手术期间执行手术计划或计划下一手术计划。
移动患者的腿或手臂,而两个显示模态中的另一个可以同时显示和/或迭加静态图像。比
如,独立或单独的计算机或显示监视器可以显示二维或三维功能和/或时间研究,比如,使
用物理时间二维单或双平面荧光透视或使用三维计算机断层扫描荧光透视捕获的膝关节
运动,同时光学头戴式显示器装置显示屏可以迭加相应解剖结构的二维或三维非立体图像
或三维立体图像。
味着限制本发明。
平面。类似地,OHMD显示器可选择以三维形式显示患者的一些虚拟数据,比如,术前图像和/
或图像重建,同时显示其他虚拟数据,比如,虚拟计划的各方面或构成部分,比如,预期的钉
或钻孔放置,在二维中作为线。
分,比如,预期切割平面,拟三维(pseudo 3D)格式,具有透视图和阴影。类似地,独立或单独
的计算机或显示监视器可选择显示患者的一些虚拟数据,比如,术前图像和/或图像重建,
同时显示其他虚拟数据,比如,虚拟计划的各方面或构成部分,比如,预期的钉或钻孔放置,
在二维中作为线。
终点,预定结束位置,预定结束方向或对准,预定路径,预定平面,预定切割平面,预定外形
或轮廓或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度或方向或旋
转标记,预定轴,例如旋转轴,弯曲轴,延伸轴,虚拟手术工具,虚拟手术器械包括虚拟手术
引导或切割块,虚拟试验植入体,虚拟植入体组件,植入体或装置的预定轴,用于一个或多
个装置或植入体或植入体组件或手术器械或手术工具,和/或预定组织改变或变化中的一
个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个,包括虚拟手术导板或
切块的虚拟手术器械,虚拟试验植入体,虚拟植入体组件,植入体或设备的非可视化部分。
或非立体中显示预期的切割平面,同时可以在二维中显示虚拟切割块作为轮廓,比如,待切
割(比如,用于髋关节置换的股骨颈)的下层组织的立体三维视图投影。OHMD 显示器可以显
示虚拟手术器械,比如,三维中的铰刀,比如,立体或非立体,并且可以以二维或三维投射预
期的扩孔轴。
显示监视器可以在拟三维中显示预期的切割平面,而可以在二维中显示虚拟切割块作为轮
廓,比如,投影在待切割(比如,用于膝关节置换的远端股骨)的下层组织的拟三维视图上。
独立或单独的计算机或显示监视器可以拟三维图像形式显示虚拟植入体或试验植入体,并
且可以在二维中投射其预期的中心轴,比如,用于髋关节置换的股骨组件的股骨干轴。
示器查看独立或单独的计算机或显示监视器,因此,用户或外科医生可以组合二维和三维
图像信息,比如,患者的虚拟解剖结构和/或虚拟手术计划的各方面,以前无法实现。
的患者虚拟数据(比如,术前成像),和/或虚拟手术计划的方面和/或部分,和/或虚拟手术
器械和/或虚拟植入体或植入体组件和/或患者的术中成像。
戴式显示器装置的显示屏和独立或单独的计算机或显示监视器(display monitor)显示,
可以使用不同的颜色,灰度值和图像强度显示患者。
描,患者的术前图像数据,包括二维和三维重建,虚拟手术计划的方面和/或部分,虚拟手术
器械和/或虚拟植入体和植入体组件可以同时显示,也可以通过光学头戴式显示器装置的
显示器和独立或单独的计算机或显示器迭加显示。如果共同显示两个或更多个显像模式或
术前和术中影像学检查,则可选地在解剖学上匹配,并且可选地使用相同的投影平面或可
选择不同的投影平面来显示。
用某些二维视图显示标准投影,比如,正位,横向,倾斜;标准投影,比如,正位,横向和倾斜,
可以选择参考患者实时数据(比如,患者位于手术台上的相应平面),或独立或单独的计算
机或显示器上显示的患者数据。标准投影或标准视图还可以包括来自患者侧面,前视图,顶
视图,底视图或倾斜视图的视角。
地迭加到或共同显示静态图像,比如,二维或三维,第二显示设备,比如,光学头戴式显示器
装置的显示器或独立或单独的计算机显示器或显示监视器。这样的动态视图或功能视图可
以包括关节的运动学研究,比如,通过术中激光或三维扫描仪获得的,外科医生可以使用该
运动学结果来获得不同屈曲角度,延伸角度,旋转角度,外展角度,内收角度的膝关节,髋关
节,肩关节和任何其他关节的扫描,比如, 0,10,15,20,30,40,45,50,60,70,80,90,100,
110,120,130,140,150度等。可以通过光学头戴式显示器装置的显示器和/或独立或单独的
计算机显示器或显示监视器来显示任何其他类型的动态扫描,其可以包括时间元素或时间
维度或功能单元或功能维度。
相应或匹配或重迭的更高分辨率的数据和/或图像。比如,当光学头戴式显示器的最大可用
显示分辨率低于特定应用或外科手术所需的显示分辨率时,该实施方案特别有用。当软件
环境限制表面点或节点的数量或限制可用分辨率时,该实施方案也是有用的。当WiFi或蓝
牙或其他无线连接与光学头戴式显示器一起使用时,该实施方案在带宽和/或数据传输方
面的限制也是有用的,从而限制了传输到光学头戴式显示器并最终显示的数据量,特别是
当该限制意味着限制光学头戴式显示器显示数据和/或图像的数据量的空间分辨率。通过
光学头戴式显示器查看低分辨率的数据和/或图像,用户便于立体可视化或查看手术计划
的部分或方面,比如,虚拟切除线,虚拟切割平面,虚拟器械和/或虚拟植入体,通过查看和/
或部分或完全迭加在独立或单独的计算机显示器或显示监视器上的高分辨率数据和/或图
像,观察者便于同时查看高分辨率的数据和/或图像。
的动态数据/或图像,比如,展示功能的图像,比如,关节的运动,和/或包括在一段时间内监
测的状况或功能的变化的时间元素或维度。比如,当OHMD显示器的刷新率低于特定应用或
外科手术所需的刷新率时,该实施方案尤其有用。当软件环境限制所显示的数据量和/或图
像量时,该实施方案也是有用的。当WiFi或蓝牙或其他无线连接用于连接光学头戴式显示
器且限制带宽和/或数据传输时,该实施方案也是有用的,从而限制了传输到光学头戴式显
示器并最终显示的数据量,特别是当该限制意味着光学头戴式显示器显示数据和/或图像
的可用时间和/或空间分辨率的限制时。通过光学头戴式显示器查看静态数据和 /或图像,
用户便于立体可视化或查看手术计划的部分或方面,比如,虚拟切除线,虚拟切割平面,虚
拟器械和/或虚拟植入体,通过查看和/或部分或完全迭加在独立或单独的计算机显示器或
显示监视器上的动态数据和/或图像,观察者便于同时查看可选择的高分辨率的动态数据
和/或图像。
示器独立或单独的计算机显示器或显示监视器的显示器可用于使用患者数据的完整预期
视野显示相应或匹配或重迭的更高数据和/或图像。比如,当软件环境限制所显示的表面点
或节点的数量或限制由光学头戴式显示器显示的数据的大小时,该实施方案可以是有用
的。当WiFi或蓝牙或其他无线连接与光学头戴式显示器一起使用时,该实施方案在带宽和/
或数据传输方面的限制也是有用的,从而限制了传输到光学头戴式显示器并最终显示的数
据量,特别是当该限制意味着光学头戴式显示器可用于显示数据和/或图像的数据量的限
制。通过光学头戴式显示器观察具有更小,更窄视野的数据和/或图像,用户便于立体可视
化或查看手术计划的部分或方面,比如,虚拟切除线,虚拟切割平面,虚拟器械和/或虚拟植
入体,同时,通过在独立或单独的计算机显示器或者显示监视器上同时和/或部分或完全迭
加数据和/或图像与完整视野,观察者便于同时使用患者数据的完整预期视野来查看数据
和/或图像。
显示器以及独立或单独的计算机显示器或显示监视器迭加或共同显示多个二维视图时,它
们可以在解剖学上匹配,比如,使用相应的解剖标志和/或使用共同坐标。它们还可以具有
不同的视角,比如,当患者位于手术台上时的视角,侧视图,前视图,顶视图,底视图或倾斜
视图的视角。因此,OHMD显示器可以显示患者的虚拟解剖结构的立体三维视图,例如,来自
术前影像学检查,而独立或单独的计算机或显示监视器可以显示患者的匹配的正位或横向
术中放射摄影视图或匹配的拟三维激光视图。
配,然后可选部分或完全迭加,例如,当用户和/或外科医生在观看独立或单独的计算机或
显示监视器的同时,移动其头部和/或身体。例如,如果光学头戴式显示器空间配准,例如,
关于患者和/或手术部位和/或独立计算机或显示监视器,由光学头戴式显示器显示的和/
或由独立计算机或显示监视器显示的数据和/或图像可以在相同或共同的坐标系统中,当
部分或全部单独的计算机或显示监视器包含在用户或者外科医生的光学头戴式显示器的
视野中时,可以允许光学头戴式显示器将显示器与独立或单独的计算机显示器或显示监视
器匹配或迭加。
配单独计算机或显示监视器的数据和/或图像的坐标的一组数据和/或图像。比如,光学头
戴式显示器可以显示立体三维视图,其与由独立或单独的计算机或显示监视器显示的拟三
维可视化共享公共坐标。比如,这样的公共坐标可以是角点或边缘或选择几何特征和/或位
置,然后,可以在用户或外科医生看到的合成的光学头戴式显示器/独立监视器视图中迭
加。光学头戴式显示器还可以显示患者实时数据或患者虚拟数据或两者的立体三维视图,
而独立或单独的计算机或显示监视器显示二维视图,比如,病患术前影像学检查。独立或单
独的计算机或显示监视器的二维平面或视图显示可以与嵌入或包含在由光学头戴式显示
器显示的三维数据和/或图像中的相应二维平面具有相同或共同的坐标,然后,其可以匹配
或迭加在用户或外科医生可以看到的合成的复合光学头戴式显示器/独立监视器视图上。
或者,在类似的示例中,如果光学头戴式显示器仅提供表面显示,比如,由独立或单独的计
算机或显示监视器显示的二维平面的外围或轮廓或选择外围点具有相应的或共同的坐标,
对应于三维数据中的二维平面的位置中的表面点和/或由光学头戴式显示器显示的图像。
独立或单独的计算机或显示监视器显示的数据和/或图像可以与光学头戴式显示器显示的
数据匹配,比如,通过识别并迭加公共坐标和/或通过定义共同坐标系。当光学头戴式显示
器显示的数据和/或图像与独立或单独的显示监视器显示的数据和/或图像迭加时,光学头
戴式显示器显示的数据和/或图像以及独立或单独的显示监视器显示的数据和/或图像或
者,可以使用相同的放大倍率显示,以优化迭加或匹配。
的量或方向移动共同坐标系,以匹配或迭加由光学头戴式显示器显示的数据和/或图像和
独立或单独的显示器显示的数据和/或图像。比如,如果光学头戴式显示器显示患者实时数
据,比如,通过集成到光学头戴式显示器中,附着到光学头戴式显示器或与光学头戴式显示
器分离的图像和/或视频捕获系统捕获,和/或患者虚拟数据和/或迭加到患者实时数据上
的患者虚拟数据,并且独立或单独的计算机或显示监视器显示患者的术前影像学检查,手
术台和患者可以移动并且光学头戴式显示器显示的实时或虚拟数据移动相应的数量,从而
保持配准,包括配准独立或单独的计算机或显示器上显示的数据。
或共同的坐标系统,使用集成到光学头戴式显示器,附加到光学头戴式显示器或与光学头
戴式显示器分离的图像和/或视频捕获系统,捕获由独立或单独的计算机或显示监视器显
示的数据。比如,独立或单独的计算机或显示监视器可以显示来自患者的物理时间术中影
像学检查的数据,包括比如,在患者或手术台移动期间或两者移动期间的成像。标准图像处
理技术可以识别在独立或单独的计算机或显示监视器上显示的数据或图像上的解剖标志
或特征,并将这些与光学头戴式显示器显示的图像和/或数据中的相应解剖标志或特征相
匹配。然后,光学头戴式显示器可以显示相应的数据和/或图像,可选地基于解剖标志匹配
来迭加数据。比如,解剖标志匹配可以通过移动和/或平移光学头戴式显示器可显示的数据
或图像,其量将在对应的解剖标志和/或特征的共同坐标系中迭加或匹配。
情况下应用相同的程序。标准图像处理技术可以识别由物理时间成像系统获取的数据或图
像上的解剖标志或特征,并将这些与光学头戴式显示器可显示的数据和/或图像中的相应
解剖标志或特征相匹配。然后,光学头戴式显示器可以显示相应的数据和/或图像,可选地
基于解剖标志匹配来迭加数据。比如,解剖标志匹配可以通过移动和/或平移光学头戴式显
示器可显示的数据或图像,其量将在对应的解剖标志和/或特征的共同坐标系中迭加或匹
配。
定义共同坐标系。或者,由独立或单独的计算机或显示监视器显示的数据和/或图像可以与
光学头戴式显示器显示的数据匹配,比如,通过识别并迭加公共坐标和/或通过定义共同坐
标系。当光学头戴式显示器显示的数据和/或图像与独立或单独的显示监视器显示的数据
和/或图像迭加时,光学头戴式显示器显示的数据和/或图像以及独立或单独的显示监视器
显示的数据和/或图像或者,可以使用相同的放大倍率显示,以优化迭加或匹配。
何前述技术的基于解剖标志的匹配。本领域技术人员将易于识别坐标匹配和解剖标志匹配
的其他手段。
倍率。或者,独立或单独的计算机或显示监视器可以具有一个或多个标记,比如,一个或多
个发光二极管,集成到,连接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或
视频捕获系统,随后可以检测哪一标记触发调整了光学头戴式显示器显示项目的放大倍
率。在一些实施方案中,集成到光学头戴式显示器中,附接到光学头戴式显示器或与光学头
戴式显示器分离的图像和/或视频捕获系统可以使独立或单独的计算机或显示监视器的尺
寸和形状(圆形,椭圆形,椭圆形,矩形,正方形)可视化;使用标准图像处理技术和几何结
构,然后,可以使用尺寸和形状来推导光学头戴式显示器相对于独立或单独的计算机或显
示监视器的距离和角度。如果使用多个摄像机,则可以使用额外的视差信息 (独立或单独
计算机或显示监视器的尺寸和/或形状的差异)来进一步估计或改进光学头戴式显示器与
独立的或单独的计算机或显示器的距离或角度的估值。然后,可以选择性地估计OHMD显示
器到独立或单独的计算机或显示监视器的距离和/或角度的估值,以匹配由独立或单独的
计算机或显示监视器显示的数据的放大倍率或,或以高于或低于独立或单独的计算机显示
器或显示监视器显示的数据的放大倍率显示。
或与光学头戴式显示器分离的图像和/或视频捕获系统。比如,图像和/或视频捕获系统可
以检测到所捕获的图像数据中不存在独立或单独的计算机或显示监视器(比如,圆形,方
形,矩形)的轮廓,并且软件可以自动调整放大光学头戴式显示器显示的项目,使其反映或
对应光学头戴式显示器或外科医生的眼睛与患者手术部位的距离,或者小于或大于该值。
或者,独立的或单独的计算机或显示监视器可以具有图像和/或视频捕获系统可以检测到
的一个或多个标记,例如,一个或多个发光二极管或光学标记;在这种情况下,当图像捕获
系统注意到一个或多个发光二极管或光学标记不包括在图像捕获数据中时,软件可以自动
调整光学头戴式显示器显示项目的放大倍率,以便它反映或对应于光学头戴式显示器或外
科医生的眼睛与患者手术部位的距离,或者小于或大于该值。类似地,光学头戴式显示器可
以检测放置在患者手术部位上的标记或发光二极管,包括集成到光学头戴式显示器中,附
着到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统,从而触发
调整放大倍率以使其反应,对应光学头戴式显示器或外科医生的眼睛与患者手术部位的距
离,或者小于或大于外科医生或操作者看病人手术部位时的距离。
算机或显示监视器。在一些实施例中,光学头戴式显示器可以显示来自患者手术部位的实
时数据,并将其投射给外科医生,将其与虚拟数据迭加。光学头戴式显示器还可以显示虚拟
手术计划的一个或多个方面和/或部分,例如,一个或多个手术器械的投射路径,或者它可
以显示一个或多个虚拟植入体或植入体组件。在该实施例中,光学头戴式显示器可选地匹
配一个或多个投射路径的放大倍率,和/或一个或多个外科器械和/或一个或多个虚拟植入
体或植入体组件相对于患者实时数据的放大倍率。对于一个或多个投射路径和/或虚拟手
术器械,和/或一个或多个虚拟植入体或植入体组件,光学头戴式显示器还可以应用比患者
实时数据的放大倍率更大或更小的放大倍率和/或尺寸。通过光学头戴式显示器的透明显
示可以看到患者实时数据。或者,显示器可以是部分或完全不透明的,并且可以通过集成到
光学头戴式显示器中,附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/或
视频捕获系统捕获实时数据,然后由OHMD显示器显示。
和/ 或视频捕获系统收集的实时(电子)图像,并且可选地,还可以显示虚拟手术计划的方
面和/或部分,例如,用于一个或多个物理手术器械,探针,指针和/或一个或多个虚拟器械
和/或一个或多个虚拟植入体或植入体组件的一个或多个投射路径(可选地,具有各种选择
的匹配或非匹配放大倍率)。在该设置中,光学头戴式显示器还可以显示物理手术器械和/
或装置的电子图像及其各自的运动,例如,通过与光学头戴式显示器集成,附接或分离的图
像和/或视频捕获系统捕获(具有各种匹配或不匹配的已选放大倍率)。
偏振光滤光器),在光学头戴式显示器前面或集成到光学头戴式显示器或电子组件 (例如,
液晶显示器(LCD))中,或光学滤波器位于光学头戴式显示器前面或集成到光学头戴式显示
器中,或通过强度调整。手术室影院可以选择使用光源(例如,偏振光或滤光),以支持调制
或说明调整光学头戴式显示器对于从患者手术区域反射的光线的透明度。
定结束方向中的一个或多个或对准,预定路径,预定平面,预定切割平面,预定外形或轮廓
或横截面或表面特征或形状或投影,预定深度标记或深度计,预定角度或方向或旋转标记,
预定轴,例如旋转轴,弯曲轴,延伸轴,虚拟手术工具的预定轴,虚拟手术器械包括虚拟手术
引导或切割块,虚拟试验植入体,虚拟植入体组件,植入体或装置,用于一个或多个装置的
非可视化部分或植入体或植入体组件或手术器械或手术工具,和/或预定组织改变或变化
中的一个或多个和/或虚拟手术工具的预定位置和/或取向中的一个或多个,包括虚拟手术
导板或切块的虚拟手术器械,虚拟试验植入,虚拟植入体组件,植入体或设备。
头戴式显示器或者与光学头戴式显示器分离,其放大倍率高于由用户或外科医生的眼睛看
穿光学头戴式显示器的透明部分看到的实时数据。因此,对于OHMD显示器到手术区域的给
定距离,可以放大显示通过集成到光学头戴式显示器中,附接到光学头戴式显示器或与光
学头戴式显示器分离的图像和/或视频捕获系统捕获的患者实时数据。这具有以下益处:可
以更详细地看到选择的结构,例如,提供部分或全部手术区域的低功率微观放大视图。光学
头戴式显示器与手术野的距离可以使用说明书中描述的技术来确定,例如,光学标记,导航
标记包括红外标记,逆向反射标记,射频标记,惯性测量单元,发光二极管和本领域已知的
任何其他技术。
且主要或仅显示通过图像和/或视频捕获系统捕获的数据。通过图像和/或视频捕获系统捕
获的实时数据的放大显示可以迭加在通过光学头戴式显示器的一个或多个部分或完全透
明部分看到的实时数据上。在该示例中,实时数据的放大显示可以是通过光学头戴式显示
器看到的手术区域的一部分。
示器的一个或多个部分或完全透明部分看到的实时数据。
如,按比例增减。放大倍率可以由用户和/或外科医生选择,例如,使用语音命令,眼睛命令
或使用由光学头戴式显示器显示的虚拟键盘接口。
于OHMD显示器到手术区域的给定距离,可以放大地显示患者虚拟数据。这具有以下益处:可
以更详细地看到虚拟手术计划的组件的选择结构或方面,例如,提供部分或全部虚拟数据
的低功率微观放大视图。光学头戴式显示器与手术野的距离可以使用说明书中描述的技术
来确定,例如,光学标记,导航标记包括红外标记,逆向反射标记,射频标记,惯性测量单元,
发光二极管和本领域已知的任何其他技术。
虚拟数据。通过图像和/或视频捕获系统捕获的虚拟数据的放大显示可以迭加在通过光学
头戴式显示器的一个或多个部分或完全透明部分看到的实时数据上。在该示例中,虚拟数
据的放大显示可以是通过光学头戴式显示器看到的手术区域的一部分。
器的一个或多个部分或完全透明部分看到的实时数据。
用户和/或外科医生选择,例如,使用语音命令,眼睛命令或使用由光学头戴式显示器显示
的虚拟键盘接口。
以是部分的,例如,仅影响部分显示的实时数据,或全部放大。在不放大实时数据的情况下,
可以放大虚拟数据。实时数据可以放大,而虚拟数据不会被放大。任何组合都是可能的。
眼通过光学头戴式显示器装置看到的患者实时数据中心点的坐标将与外科医生的右眼通
过光学头戴式显示器装置看到的患者虚拟数据中的中心点的视图坐标相同;外科医生的左
眼通过光学头戴式显示器装置看到的患者实时数据中心点的坐标将与外科医生的左眼通
过光学头戴式显示器装置看到的患者虚拟数据中心点的视图坐标相同。当使用中心轴时,
外科医生的右眼通过光学头戴式显示器装置看到的患者实时数据中心轴的坐标将与外科
医生的右眼通过光学头戴式显示器装置看到的患者虚拟数据中的中心轴的视图坐标相同;
外科医生的左眼通过光学头戴式显示器装置看到的患者实时数据中心轴的坐标将与外科
医生的左眼通过光学头戴式显示器装置看到的患者虚拟数据中心轴的视图坐标相同。当立
体投影与光学头戴式显示器装置的左右显示器一起使用时,光学头戴式显示器装置的左右
显示器的视图坐标对于左右眼将是不同的;视图坐标的差异是视差的反映。例如,当用户或
外科医生选择开启实时和/或虚拟数据的放大倍率时,可以在最后未放大的视野的中心点
周围应用放大倍率。包括其软件的系统可以可选地围绕最后视野的中心点自动应用放大倍
率。或者,用户和/或外科医生可以使用不同的中心点或中心轴作为放大实时和/或虚拟数
据的中心。当考虑脊柱手术时,中心点或中心轴可以与椎弓根的中心重合。中心轴可以与髋
臼或股骨轴重合,例如,前倾轴。例如,中心轴可以是预定路径。例如,中心点可以是端点。例
如,当考虑进行髋关节置换或其他髋关节手术时,中心点或中心轴可以是髋臼的中心。例
如,当考虑肩部手术时,中心点或中心轴可以是关节盂的中心。用于放大的中心点或中心轴
可以预先选择用于各种解剖部位或手术区域或外科手术,例如,手术室,髋关节置换术,膝
关节置换术,膝关节镜检查或脊柱融合术。比如,使用集成到光学头戴式显示器中,附接到
光学头戴式显示器或与光学头戴式显示器分离的一个或多个图像和/或视频捕获系统,或
者使用术中成像,可选地使用标准图像处理技术来识别一个或多个解剖结构(比如,髋臼及
其中心)和可以选择自动设置或定义放大视图的中心点或中心轴。
同的放大倍率显示,并且可以在光学头戴式显示器和计算机监视器显示器之间基本对准或
迭加。
实时数据上,包括,实时数据手术器械。
器可以显示方向标记,比如,从手术计划得出的预期路径,以说明引导外科医生引导物理手
术器械或物理植入体。
用手术器械或植入体的CAD文件或三维文件。
单独的图像捕获设备来执行手术器械或植入体的扫描。
可以在一个,两个或更多个投影,位置或方向上扫描外科手术器械或植入体,比如,通过移
动光学头戴式显示器或手术器械或植入不同的位置或方向。在一些实施方案中,为此目的,
手术器械或植入体可放置在托件或固定装置上,这允许将手术器械或植入体移动到不同位
置,并且可选择旋转手术器械或植入体。在一些实施方案中,手术器械或植入体和图像捕获
装置之间的距离是固定的,包括附接到光学头戴式显示器或者集成到光学头戴式显示器中
或者耦合到光学头戴式显示器或者与光学头戴式显示器分离的图像捕获装置,同时扫描外
科手术器械或植入体。
物理或虚拟手术计划中。
将来在其他患者的后续外科手术中使用。通过存储虚拟手术器械或植入体,可以无须重复
扫描相同手术器械或相同类型或形状的植入体。
拟库选择植入体,并在其虚拟手术计划中使用虚拟手术器械或虚拟植入体。
软件可以选择性比较物理手术器械的大小和形状或植入体和先前选择的虚拟手术器械或
植入体。或者,外科医生可以在视觉上比较虚拟和物理手术器械或植入体的尺寸和/或形
状。
性已经受到损害,并且可能需要重新配准。不匹配还可以向外科医生指示,与先前识别的虚
拟手术器械或植入体相比,选择了错误的物理手术器械或植入体。在该情况下,外科医生可
以通过选择不同尺寸或形状的虚拟或现场手术器械或植入体,来检查虚拟手术计划或物理
手术计划,并修改其中一个或两个。
或投影不同于左眼显示器,并导致解剖结构或病理组织的立体投影。因此,使用外科医生的
左视角和右视角,将患者虚拟数据分别迭加在患者实时数据上,比如,外科医生的左右眼的
手术部位。这意味着从虚拟二维或三维数据集渲染两个单独的视图,一个用于左眼,一个用
于右眼。可以为左右眼生成超过三维的多维视图。比如,除了患者的虚拟解剖结构之外,还
可以针对左右眼单独显示血管流动或关节运动。可以选择或程序设计虚拟数据或视差的左
右眼投影之间的透视差异,使它发生改变,比如,相对于目标部位,手术部位或目标组织,与
光学头戴式显示器,外科医生的头部或外科医生的眼睛的距离。也可以考虑外科医生或手
术者眼睛之间的距离。在一些实施方案中,将选择或程序设计透视或视差的差异,以便以立
体三维方式或效果生成三维效果。视角或视差的差异可以根据光学头戴式显示器,外科医
生或手术者的头部或外科医生或手术者的眼睛与目标部位,手术部位或目标组织的距离的
任何变化而变化。比如,当外科医生或手术者远离目标部位,手术部位或目标组织时,透视
或视差的差异可能减小。随着外科医生或手术者朝向目标部位,手术部位或目标组织移动,
透视或视差的差异可能增加。减少或增加可以是线性的,非线性的,指数的或算法的。任何
其他数学函数都是可能的。在一些实施方案中,当外科医生或手术者朝向或远离目标移动
时,透视或视差的差异将与人眼所经历的变化类似地改变。
术导航或本说明书中描述的任何其他实施方案和/或空间映射,使用图像捕获来测量。光学
头戴式显示器,外科医生或手术者的头部或外科医生或手术者的眼睛与目标部位,手术部
位或目标组织之间的距离和距离的任何变化都可用于改变透视图或左右眼视图视差的差
异。
式显示器。可以获取患者的术前,术中或术后图像240。可选择对图像数据进行分段 241,可
以生成患者的解剖结构或病理学的三维重建,包括多个不同的组织,比如,使用不同的颜色
或阴影242。可以生成外科手术器械和装置组件的虚拟三维模型,其可以包括它们的预定地
点,位置,旋转,方向对准,和/或方向243。可以比如,相对于光学头戴式显示器和患者244,
配准虚拟三维模型。可以相对于患者实时数据245,配准虚拟三维模型。可选地,可以针对不
同的视角,视差,皮肤,皮肤位移和其他组织特定问题进行调整246。可以为用户的左右眼生
成不同的透视图以改善立体观看体验,例如,像电子全息图一样,表面下的或隐藏的解剖或
病理组织247的虚拟模型,和工具,器械,植入体和装置的虚拟三维模型248。虚拟患者数据
249和,工具,器械,植入体和设备250的虚拟三维模型可以显示在光学头戴式显示器中,可
选地具有针对用户251和252的左右眼调整的不同视角。可以使用诸如深度传感器或空间映
射或其他配准技术,基于光学头戴式显示器的外科医生头部或外科医生眼睛与手术部位的
距离并且还基于双眼距离253,可选地调整左右眼偏移或视差。用于立体视图254的偏振或
颜色技术可以与诸如由微软 Hololens提供的电子全息图组合。
这些可以与光学头戴式显示器263配准,例如,在公共坐标系或多个坐标系中使用坐标转
移。使用用于不同虚拟三维模型260,261,262的共享坐标,使用多个光学头戴式显示器的多
位观看者可以与264在患者265实时数据上的一个或多个模型的投影或显示共享三维世界。
可以使用用户的左眼坐标266针对每个用户的左眼单独生成显示,和使用用户的右眼坐标
267针对每个用户的右眼单独生成显示。
用立体视图或具有视差的不同透视图或视图分别显示左右眼,同时,非同时或顺序。另外,
表11中的任何虚拟数据可以使用立体视图或具有左右眼视差的不同透视图或视图来显示。
表11中列出的多个数据可以同时,非同时或顺序显示,例如,也可以通过光学头戴式显示
器,立体或非立体,显示患者实时数据或图像:
选地同时显示或非立体显示的医疗设备。通常结合查看或显示患者实时数据来显示虚拟数
据。如果在光学头戴式显示器中显示多个虚拟数据集,则可以立体地或非立体地显示虚拟
数据或其组合。
范围
择整个运动范围
械轴,滑车轴,滑车槽,上髁轴或其他轴对准的位置
围
运动范围
动范围
动范围,与机械轴,滑车轴,滑车槽,上髁轴或其他轴线对准相关的
终板,椎间盘,椎体,椎体的骨小梁,任何骨折构件或碎片,比如,椎弓根,小关节或椎体的位
置
板,下终板,椎间盘,椎体,椎体的骨小梁,任何骨折成分或碎片,比如,椎弓根,小关节或椎
体相关的
下终板,椎间盘,椎体,任何骨折成分或碎片,比如,涉及椎弓根,小关节或椎体,脊柱侧凸畸
形,和脊柱侧凸畸形的预定矫正相关的
板,下终板,椎间盘,椎体,任何骨折成分或碎片(比如,涉及椎弓根,小关节或椎体,脊柱侧
凸畸形,和脊柱侧凸畸形的预定矫正)相关的
侧皮质骨,上终板,下终板,椎间盘,椎体,任何骨折成分或碎片(比如,涉及椎弓根,小关节
或椎骨身体,长骨,关节,关节面,以及任何预定的骨折或骨折畸形矫正)相关的
管,邻近神经相关的
邻近神经相关的
邻近神经相关的
近神经相关的
性虚拟手术器械和手术步骤或程序,以及表11D中列出的示例性虚拟医疗装置和植入体的
任意一个可以由光学头戴式显示器以二维,三维或更多维显示(比如,如表4中所述),使用
立体投影或非立体投影或视图。因此,本发明不限于立体显示器和/或二维显示器和/或三
维显示器。虚拟显示器的任何组合都是可能的,比如,三维立体患者解剖结构或具有二维手
术器械显示器和/或二维医疗设备显示器的手术部位,或具有三维非立体外科手术器械显
示器和/或三维立体医疗器械显示器的三维患者解剖结构。
状。如表11所示,虚拟手术器械的虚拟视图可以指示手术器械的预定地点,位置,旋转,方
向,对准,方向。当物理手术器械与虚拟手术器械的虚拟图像对准和/或迭加在虚拟手术器
械的虚拟图像上时,可选地执行手术步骤,或者外科医生可以选择调整物理手术器械相对
于虚拟手术器械的地点,位置,旋转,方向,对准,定向,比如,基于韧带张力或韧带平衡,比
如,在屈曲或伸展中。当虚拟和物理手术器械迭加在它们各自的地点,位置,旋转,定位,对
准或方向上时,由现场患者中的手术步骤引起的现场手术部位的改变通常与虚拟手术计划
一致。
维以上进行。可以利用立体和非立体显示器执行对准。利用虚拟手术计划可以计划一个以
上的虚拟手术步骤。可以计划两个或更多个虚拟手术步骤。虚拟手术步骤可以包括预期手
术的主要手术步骤,它们可以包括任选的子步骤,或者可选地包括整个手术。当在相应的外
科手术步骤中将一个或多个物理器械与虚拟器械对准之后执行物理外科手术步骤时,使用
物理器械的每一外科手术步骤,由使用图像引导信息的手术者或外科医生,通过有选择地
使用虚拟外科手术计划,进行有效图像引导,比如,图像引导信息来自在不同于外科手术的
时间获得的术前扫描或影像学检查,通常在外科手术之前,并且通常与手术时间相比,在术
前成像时手术部位在不同的物件坐标系中。虚拟手术器械的显示器可以是立体的或非立体
的。
以使用现场患者的手术计划准确地执行预先存在的图像信息和图像引导信息,比如,在虚
拟手术计划中定义的。此外,通过在光学头戴式显示器中使用虚拟手术器械的立体或非立
体显示器对准通过光学头戴式显示器看到的物理手术器械和光学头戴式显示器显示的虚
拟手术器械,可以实现医疗植入体的预定位置,定位,旋转,方向,对准,定向,包括但不限
于,表11D中列出的植入体。
或手术野上所用光源的阴影。手术室光源的定向方向可以选择性使用集成到光学头戴式显
示器中,附接到光学头戴式显示器或者与光学头戴式显示器分离的图像捕获来测量。
面平面中。轮廓视图可选地仅突出显示虚拟手术器械的选择特征,比如,骨切割表面或特征
或抓握特征或其组合。光学头戴式显示器可以说明两个或更多个轮廓视图,比如,沿着不同
平面延伸穿过或沿着虚拟手术器械的表面或周边延伸。可以选择的这些平面彼此成不同的
0或180度角。在本发明的一些实施方案中,轮廓图可以彼此正交。以这种方式,即使两个或
更多个轮廓视图可以是二维的,通过提供具有不同角度方向的两个或更多个轮廓视图,和
通过提供关于手术器械的x,y和Z轴对准或位置或方向或方向的信息,光学头戴式显示器仍
然可以向外科医生或手术者提供有关手术器械的预期定向,位置和/或方向的三维信息。轮
廓视图可以说明限制光学头戴式显示器显示的信息量,这可以帮助外科医生专注于手术部
位,并且可以完全看到手术部位。轮廓视图可以通过无意地迭加虚拟数据(比如,三维表面
数据)和遮蔽活体解剖结构的部分来辅助降低患者(比如,出血血管)使重要实况信息模糊
的风险。
对现场患者实现手术部位的某些改变或某些植入体植入或植入体组件植入,比如,这些可
以确定以下中的至少一个
确定或互相参照其他解剖结构的必要器械或植入体组件的地点,位置,方向,旋转或对准。
将具有虚拟改变的物理手术器械或物理医疗器械对准或迭加到手术部位
手术改变和/或虚拟手术计划可以在两个,三个或更多个维度上执行或显示,可选择使用立
体或非立体显示器。
器械对准,并将物理手术器械与手术部位的虚拟改变对准。比如,虚拟改变可以是一个或多
个骨赘或骨刺或其他骨解剖结构或变形或软组织或肿瘤组织或畸形的移除或形状改变。然
后,手术者或外科医生可以将物理手术器械推进或移动到物理手术部位的方向或移动到物
理手术部位的方向,可选择同时保持物理器械与手术部位的虚拟改变的对准。以这种方式,
手术者或外科医生可以对现场患者中的手术部位实现期望的改变或改变,并且在现场患者
的手术部位中实现的改变或变化通常类似于或与之对准或一致:对手术部位以及虚拟手术
计划(如果适用)的虚拟改变或变化。
以,移除或矫正一个或多个骨赘或骨刺或其他骨骼解剖结构或畸形或软组织。然后,外科医
生可以将物理骨锯的锯片与光学头戴式显示器显示的骨表面的虚拟改变中的预期骨切割
的平面表面对准。通过在切割方向上推进锯片同时保持物理锯片(比如,物理锯片的平面)
与虚拟骨切割的平面之间的对准,外科医生可以实现对现场病患进行精确的物理骨切割。
或者,外科医生可以对准切割工具或切割块或切割导板,用在光学头戴式显示器显示的骨
表面的虚拟改变引导骨锯和预切割的平面表面;然后,切割工具或切割块或切割导板可选
地固定到组织和/或骨上,比如,使用一个或多个钉或螺钉,并且可以使用切割工具,切割块
或切割导板执行切割。
换),或者用于近端肱骨(比如,部分或全部肩关节成形术)。光学头戴式显示器可以显示迭
加在现场患者的未切割骨上的虚拟骨切割上。然后,外科医生可以将物理骨锯的锯片与光
学头戴式显示器显示的骨骼的虚拟改变中的预期骨切割的平面表面对准。通过在切割方向
上推进锯片同时保持物理锯片与虚拟骨切割的平面表面之间的对准,外科医生可以在现场
患者中实现精确的物理骨切割。可以定向骨切割以实现期望的组件旋转和/或组件弯曲或
伸展。可以定向骨切割以实现期望的斜度。通过将切割工具,切割块或切割导板与虚拟骨切
割的平面表面对准,可选地将其固定到组织和/或骨头,并用骨锯进行切割,可以实现相同
的结果。
序之后内骨表面的预期虚拟改变;显示器可选地迭加到未改变的物理骨骼的实时图像上。
然后,外科医生可以在光学头戴式显示器显示的扩孔或拉削程序之后将物理扩孔器或拉刀
对准骨的预期虚拟改变和形状变化。通过将铰刀或拉刀推向虚拟铰孔或拉削骨表面的方
向,同时保持物理扩孔器或拉刀与实际扩孔或拉削的骨表面之间的对准,外科医生可以实
现现场病患的骨骼的精确物理扩孔或拉削。
迭加在现场患者的未改变的椎弓根上。然后,外科医生可以将物理钻孔或物理椎弓根螺钉
与由光学头戴式显示器显示的椎弓根的虚拟改变中的椎弓根螺钉的虚拟骨空隙或空间对
准。通过在椎弓根中的虚拟骨空隙或空间的方向上推进物理钻或椎弓根螺钉,同时保持物
理钻或椎弓根螺钉与椎弓根中的虚拟骨空隙或空间之间的对准,外科医生可以实现准确放
置现场患者的物理钻或椎弓根螺钉。可以在虚拟手术计划中选择椎弓根中的骨空隙或椎弓
根螺钉的位置,使得在骨空隙或椎弓根螺钉与骨内膜骨表面或椎弓根的皮质骨表面之间在
内侧地,在外侧地,在上方地和/或在下方地存在一个或多个期望的最小距离或最小面积或
体积。
的虚拟改变,比如,对两个相邻椎体的上终板和/或下终板进行虚拟改变,可选地迭加到现
场患者的端板上。虚拟和预期的物理改变可以包括,比如,去除一个或多个骨赘或骨刺或其
他骨解剖结构或畸形或切除部分或全部终板。然后,外科医生可以将用于改变椎骨终板的
物理器械对准,以用由光学头戴式显示器显示的终板的虚拟改变来进行椎间盘置换。通过
在终板的虚拟改变的方向上推进物理手术器械,同时可选地保持物理手术器械与终板的虚
拟改变之间的对准,外科医生可以实现物理手术器械的准确放置和现场病患的人体盘置
换。
植入体组件放置,比如,其可以确定以下中的至少一个
比如,不显示对手术部位的下一后续虚拟改变,而显示一个或多个后续虚拟改变。
虚拟手术部位,可选地在进行一次或多次改变之前迭加到实时或虚拟手术部位上。
变之间存在差异,则外科医生可以修改物理改变。比如,如果外科医生已经执行了骨切割,
比如,用于髋关节置换的近端股骨或用于膝关节置换的远端股骨或近端胫骨,则外科医生
可以使用光学头戴式显示器将计划的,预期的虚拟骨切割迭加到在切骨后进行的物理骨切
割。如果外科医生注意到,与计划的,预期的虚拟骨切割相比,物理骨切割所需的骨骼少于
预期,外科医生可以重新切割骨骼,使其与物理骨切割与预期的虚拟骨切割更紧密地匹配,
并且可选择虚拟切割手术计划。
后续手术步骤或程序中的一个或多个,使得虚拟手术计划将继续与在患者中实现或诱导的
物理手术改变一起工作。虚拟手术计划的修改可以通过半自动地或自动使用来自患者中引
起的物理手术改变的输入,由手术者或外科医生手动执行。
骨切割迭加到在切骨后进行的物理骨切割。如果外科医生注意到与计划的,预期的虚拟骨
切割相比,物理骨切割比预期的多,外科医生可以修改虚拟手术计划。然后,比如,修改的外
科手术计划可以包括,在相对的关节表面上的随后的骨切割或扩孔步骤将用去较少骨量,
通常与在现场病人的先前物理骨切割期间去除的骨量相比,在相对的关节表面上去除的骨
量同样较少。或者,修改的外科手术计划可以包括医疗装置的一个或多个组件更厚以补偿
更大的骨切割。比如,在膝关节置换术中,可以选择性使用较厚的胫骨插入件。比如,在髋关
节置换术中,可以选择使用较厚的髋臼内衬或偏移衬垫。
准,可以在现场患者中实现预定的植入体放置或植入体组件放置,其可以比如,确定至少一
个物理的,最终的
用于不同的设备组件。连续表面显示可包括基于手术室中和/或手术野上所用光源的阴影。
手术室光源的定向方向可以选择性使用集成到光学头戴式显示器中,附接到光学头戴式显
示器或者与光学头戴式显示器分离的图像捕获来测量。
拟医疗设备组件的轮廓,比如,在特定平面或横截面平面中。轮廓视图可选择仅突出显示虚
拟医疗设备或虚拟医疗设备组件的选择特征,比如,面向骨的表面或彼此面对的两个或更
多个组件之间的表面,或者设备或组件的结合部分或其组合。光学头戴式显示器可以显示
两个或更多个轮廓视图,比如,沿着不同平面延伸穿过或沿着虚拟医疗设备或虚拟医疗设
备组件的表面或周边延伸。可以选择这些平面彼此成0或180度角,互不相同。在本发明的一
些实施方案中,轮廓图可以彼此正交。以这种方式,即使两个或更多个轮廓视图可以是二维
的,通过提供具有不同角度方向的两个或更多个轮廓视图,和通过提供关于设备或设备组
件的x,y和z轴对准或位置或方向或方向的信息,光学头戴式显示器仍然可以向外科医生或
手术者提供有关设备或设备组件的预期定向,位置和/或方向的三维信息。轮廓视图可以辅
助限制光学头戴式显示器显示的信息量,这可以帮助外科医生专注于手术部位,并且可以
完全看到手术部位。通过以缩小的格式迭加虚拟数据,轮廓视图可以说明降低因患者模糊
重要实时信息(比如,暴露的神经根)的风险。
中的准确性。如果外科医生注意到计划的虚拟地点,位置,方向,旋转,医疗设备或医疗设备
组件的对准与物理医疗设备或医疗设备组件的物理物理地点,位置,方向,旋转,对准之间
存在差异,外科医生可以修改物理设备放置或外科医生可以使用不同的设备组件,比如,在
膝关节置换术中使用更厚或更薄或不同形状的胫骨聚乙烯插入件或在髋关节置换术中使
用不同的聚乙烯衬垫,比如,更厚,更薄或带偏移量。
罩或防溅罩可以连接到光学头戴式显示器,以保护包括其眼睛的外科医生免受体液,比如,
血液,的影响。在本发明的一些实施方案中,面罩或防溅罩可以放置在光学头戴式显示器的
前面,以保护包括其眼睛的外科医生免受体液,比如,血液,的影响。
件的颜色编码(如果适用)。下面提供示例性颜色编码图表:
直径,宽度或长度。任何器械或植入体都可以进行颜色编码。
等。
成到光学头戴式显示器中或连接到光学头戴式显示器或与光学头戴式显示器分离的图像
和/或视频捕获系统可用于对手术器械,医疗装置或医疗装置组件成像,可基于手术器械或
设备距图像和/或视频捕获系统的距离(比如,使用基于视差的测量或配准或校准体模),选
择性校正其直径,宽度,长度,尺寸,形状或大小,然后确定由手术者或外科医生选择的物理
医疗设备或医疗设备组件是否匹配在虚拟手术计划中选择的。如果物理手术器械或医疗装
置或医疗装置组件不匹配,比如,关于虚拟器械或组件的直径,宽度,长度,尺寸,形状或尺
寸,系统可以提供警告信号,比如,声音警报或视觉警告标志(比如,光学头戴式显示器显示
的红色感叹号)。
植入体组件和植入系统在手术的各个方面或期间可能仅部分可见。对于深部器官的外科手
术,比如,特别是这种情况,肝脏或肾脏,大脑,或深层,模糊或隐藏的身体结构,比如,髋关
节或脊柱的一些方面,其中一个或多个物理外科手术器械或工具的重要部分或一个或多个
物理装置,植入体,植入体组件和植入系统可以至少部分地从视图中遮挡。如果从视野中遮
挡的部分是引起组织表面的一个或多个改变的部分,比如,通过电烧灼,消融,切割或扩孔
或冲击,则会加重遮挡。一个或多个物理手术器械或工具或一个或多个物理装置,植入体,
植入体组件和植入系统的可视化的这种减少或限制可导致手术技术的精确度降低,比如,
设备,植入体,植入体组件或植入系统的放置错误,或潜在的并发症。
角形,圆形等,可以通过集成到或连接到光学头戴式显示器或与光学头戴式显示器分离或
分开的图像和/或视频捕获系统容易地识别。或者,图像和/或视频捕获系统可以简单地识
别物理手术器械或工具中的一个或多个的可见几何形状,表面,特征或部分和/或物理装
置,植入体,植入体组件和植入系统中的一个或多个。然后,该信息可用于计算一个或多个
物理手术器械或工具和/或一个或多个物理设备,植入体,植入体组件和植入系统的非可视
化,不可见部分的形状,几何形状,轮廓,表面或其他特征。利用前述技术,即使一个或多个
手术器械或工具和/或一个或多个装置,植入体,植入体组件和植入系统仅在手术部位中部
分或不完全可视化或可见,也可以确定一个或多个手术器械或工具和/或一个或多个装置,
植入体,植入体组件和系统的地点,位置,方向,对准,运动方向和/或轨迹。
射到到手术部位的视图。可选地,光学头戴式显示器可以同时显示一个或多个物理手术器
械或工具和/或一个或多个物理装置,植入体,植入体组件和植入系统的非可视或不可见部
分,和一个或多个相应的虚拟手术器械或工具和/或一个或多个相应的虚拟设备,植入体,
植入体组件和植入系统。可选择使用不同的颜色或显示图案来显示和区分OHMD显示器中的
虚拟的和物理的一个或多个手术器械或工具和/或一个或多个装置,植入体,植入体组件和
植入系统。
计,和陀螺仪,比如,类似于光学头戴式显示器。在一些实施方案中,一个或多个物理手术器
械或工具和/或一个或多个物理装置,植入体,植入体组件和植入系统可包括一个或多个可
以由手术导航系统捕获的射频卷标或标记或逆向反射标记等/其定位,位置和/或方向。可
选地,光学头戴式显示器还可以包括一个或多个射频卷标或标记或逆向反射标记等,并且
其定位,位置和/或方向也可以由手术导航系统捕获,并且与一个或多个物理手术器械或工
具和/或一个或多个物理装置,植入体,植入体组件和植入系统互相参照。一个或多个物理
手术器械或工具和/或一个或多个物理装置,植入体,植入体组件和植入系统还可以包括光
源,比如,激光器或发光二极管。比如,可以将激光投射在墙壁或天花板上,并且可以相对于
激光参照光学头戴式显示器和患者。附接到或集成到一个或多个物理手术器械或工具和/
或一个或多个物理装置,植入体,植入体组件和植入系统中的发光二极管可以比如,通过图
像和/或识别视频捕获系统集成到或连接到或耦合到光学头戴式显示器或与光学头戴式显
示器分离。
确定一个或多个物理手术器械或工具和/或一个或多个物理装置,植入体,植入体组件的地
点,位置,方向,对准,运动方向和/或轨迹。然后,计算机程序或软件可选地计算一个或多个
物理手术器械或工具和/或一个或多个物理器件,植入体,植入体组件和植入系统的非可视
化,不可见部分的其他特征的形状,几何形状,轮廓,表面。然后,光学头戴式显示器可以选
择性地显示一个或多个物理手术器械或工具和/或一个或多个物理装置,植入体,植入体组
件和植入系统的非可视或不可见部分,或将其投射到到手术部位的视图。可选地,光学头戴
式显示器可以同时显示一个或多个物理手术器械或工具和/或一个或多个物理装置,植入
体,植入体组件和植入系统的非可视或不可见部分,和一个或多个相应的虚拟手术器械或
工具和/或一个或多个相应的虚拟设备,植入体,植入体组件和植入系统。可选择使用不同
的颜色或显示图案来显示和区分OHMD显示器中的虚拟的和物理的一个或多个手术器械或
工具和/或一个或多个装置,植入体,植入体组件和植入系统。
设备路径,虚拟手术器械或工具和/或任何虚拟设备,植入体,植入体组件和系统。在这些情
况下,系统可选地允许手术者或外科医生改变显示模式,或者系统可以主动改变一个或多
个虚拟解剖数据或结构,虚拟手术计划,虚拟工具或器械或设备路径,虚拟手术器械或工具
和/或虚拟设备,植入体,植入体组件和植入系统的显示模式,比如,通过改变一个或多个虚
拟解剖数据或结构,虚拟手术计划,虚拟工具或器械或设备路径,虚拟手术器械或工具和/
或虚拟设备,植入体,植入体组件和植入系统的颜色,亮度,强度和/或对比度。颜色,亮度,
强度和/或对比度的不同变化可以应用于不同的虚拟数据,比如,虚拟解剖数据或结构,虚
拟手术计划,虚拟工具或器械或设备路径,虚拟手术器械或工具和 /或虚拟设备,植入体,
植入体组件和植入系统。
体组件和植入系统的颜色。外科医生或手术者或软件或系统可以改变一个或多个虚拟解剖
数据或结构,虚拟手术计划,虚拟工具或器械或设备路径,虚拟手术器械或工具和/或虚拟
设备,植入体,植入体组件和植入系统的亮度。外科医生或手术者或软件或系统可以改变一
个或多个虚拟解剖数据或结构,虚拟手术计划,虚拟工具或器械或设备路径,虚拟手术器械
或工具和/或虚拟设备,植入体,植入体组件和植入系统的强度。外科医生或手术者或软件
或系统可以改变一个或多个虚拟解剖数据或结构,虚拟手术计划,虚拟工具或器械或设备
路径,虚拟手术器械或工具和/或虚拟设备,植入体,植入体组件和植入系统的对比度。外科
医生或手术者或软件或系统可以改变一个或多个的虚拟解剖数据或结构,虚拟手术计划,
虚拟工具或器械或设备路径,虚拟手术器械或工具和/或虚拟设备,植入体,植入体组件和
植入系统的显示模式。比如,虚拟解剖数据或结构,虚拟手术计划,虚拟工具或器械或设备
路径,虚拟手术器械或工具和/或虚拟设备,植入体,植入体组件和植入系统中的一个或多
个可以显示光栅图案或线图案或点图案或本领域已知的任何其他图案。或者,虚拟解剖数
据或结构,虚拟手术计划,虚拟工具或器械或设备路径,虚拟手术器械或工具和/或虚拟设
备,植入体,植入体组件和植入系统中的一个或多个可以显示暂时改变的图案,包括但不限
于,眨眼图案或闪烁图案,比如,仅间歇性显示虚拟信息。或者,虚拟解剖数据或结构,虚拟
手术计划,虚拟工具或器械或设备路径,虚拟手术器械或工具和/或虚拟设备,植入体,植入
体组件和植入系统中的一个或多个可以“镂空模式 (skeletonization pattern)”显示,其
中,比如,仅可以显示虚拟解剖数据或结构,虚拟手术计划,虚拟工具或器械或设备路径,虚
拟手术器械或工具和/或虚拟设备,植入体,植入体组件和植入系统中的一个或多个的关键
特征或关键轮廓。或者,虚拟解剖数据或结构,虚拟手术计划,虚拟工具或器械或设备路径,
虚拟手术器械或工具和/或虚拟设备,植入体,植入体组件和植入系统中的一个或多个可以
“突出显示模式”显示,或以下模式:其中,比如,虚拟解剖数据或结构,虚拟手术计划,虚拟
工具或器械或设备路径,虚拟手术器械或工具和/或虚拟设备,植入体,植入体组件和植入
系统中的一个或多个的关键特征或关键轮廓,可以使用特征或轮廓的放大或特征或轮廓的
颜色或亮度或对比度或其他显示增强来显示。可选择降低不太重要的特征或轮廓部件或部
分的显示强度或从显示器移除。上述显示调整可以通过手术者控制的命令来执行,比如,手
动或语音或其他命令。或者,这些调整可以是手术者输入加半自动使用,或自动使用,比如,
关于患者的虚拟和/ 或实时数据的亮度,对比度和/或颜色以及环境光条件,比如,环境光
条件,或光强度,光反射等的信息。对于选择的一个或多个虚拟数据的显示的半自动或自动
调整,比如,虚拟解剖数据或结构,虚拟手术计划,虚拟工具或器械或设备路径,虚拟手术器
械或工具和 /或虚拟设备,植入体,植入体组件和植入系统,可以采用可选地与一个或多个
光学头戴式显示器整合,连接或分离的光强度和对比度传感器。或者,可以通过集成到光学
头戴式显示器中,附加到光学头戴式显示器或与光学头戴式显示器分离的一个或多个图像
和/或视频捕获系统获得关于通过光学头戴式显示器看到的实时数据的颜色,亮度,强度,
对比度和/或环境照明条件的信息。
器械或工具和/或物理装置,植入体,植入体组件和植入系统的部分模糊部分或不可见部
分。
拟工具或器械或设备路径,手术器械或工具和/或装置,植入体,植入体组件和植入系统。
组织,或病理或目标组织的深层,模糊或隐藏部分,或深层组织的预期改变。这还包括正常
组织和正常解剖结构,隐藏或模糊或深层的。在任何这些情况下,系统可选地允许手术者或
外科医生改变显示模式,或者系统可以主动地改变解剖结构或目标组织的深层部分的显示
模式,或对深层,模糊或隐藏的组织的预期改变。比如,外科医生或手术者可以改变解剖结
构的颜色或解剖结构或目标组织的深层,模糊或隐藏部分或者对深层,模糊或隐藏组织的
预期改变。或者,外科医生或手术者可以改变解剖结构的显示图案或解剖结构或目标组织
的深层,模糊或隐藏部分或对深层,模糊或隐藏组织的预期改变。比如,可以用光栅图案或
线图案或点图案或本领域已知的任何其他显示图案来显示解剖结构或目标组织的解剖结
构或深层,模糊或隐藏部分或对深部,模糊或隐藏组织的预期改变。或者,可以暂时改变的
显示模式显示解剖结构或目标组织的解剖结构或深层,模糊或隐藏部分或对深层,模糊或
隐藏组织的预期改变,包括但不限于,眨眼图案或闪烁图案,比如,只间歇性显示信息。或
者,可以用“镂空模式”显示解剖结构或目标组织的解剖结构或深层,模糊或隐藏部分或对
深层,模糊或隐藏组织的预期改变,其中,比如,可以仅显示解剖结构的关键特征或关键轮
廓或解剖结构或目标组织的深层,模糊或隐藏部分或对深层,模糊或隐藏组织的预期改变。
或者,可以用“突出显示模式”显示解剖结构或目标组织的解剖结构或深层,模糊或隐藏部
分或对深层,模糊或隐藏组织的预期改变,或者可以使用特征的放大或轮廓或颜色或亮度
或对比度或特征或轮廓的其他显示增强,仅显示解剖结构的关键特征或关键轮廓或解剖结
构或目标组织的深层,模糊或隐藏部分或对深层,模糊或隐藏组织的预期改变。可选择降低
不太重要的特征或轮廓部件或部分的显示强度或从显示器移除。在本发明的任何地方描述
的任何组织,比如,大脑皮层,脑回,椎弓根,椎骨终板,前椎壁,后椎骨壁,髋臼,血管,神经,
肿瘤,可以是使用这些技术中的一种或多种或本领域已知的任何其他显示修改方法在显示
器中进行修改。
植入体组件和植入系统中的一个或多个的二维或三维,立体和非立体显示器。如果不能通
过光学头戴式显示器直接看到患者实时数据,而是通过集成到光学头戴式显示器中,连接
到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统捕获,然后由
光学头戴式显示器显示,可选地结合虚拟解剖数据或者结构,虚拟手术计划,虚拟工具或器
械或设备路径,虚拟手术器械或工具和/或虚拟设备,植入体,植入体组件和植入系统,相同
或类似的调整可以应用于一个或多个患者实时数据,比如,选择解剖结构,或患者的所有实
时数据。
佩戴的光学头戴式显示器,获得一个或多个术中测值,在坐标系统中配准一个或多个术中
测值,基于一个或多个术中测值拟定虚拟手术计划,并且利用光学头戴式显示器显示或投
射迭加到患者关节相应部分上的虚拟手术计划的各方面。在一些实施方案中,一个或多个
光学头戴式显示器在同一坐标系中配准。在一些实施方案中,一种或多种术中测值是形态
测量值,光学测量值或其组合。在一些实施方案中,一个或多个术中测值不是压力测量。
学头戴式显示器配准在共同坐标系中,使用一个或多个光学标记获得一个或多个术中光学
测值,使用共同坐标系中的一个或多个光学标记配准一个或多个术中光学测值,基于一个
或多个术中测值拟定虚拟手术计划,并且利用光学头戴式显示器显示或投射迭加到患者身
体关节相应部分上的虚拟手术计划的各方面。可以至少部分地基于虚拟手术计划的预定位
置的坐标来将虚拟手术计划显示或投影到患者的身体关节上。
扫描和术中扫描的数据。扫描包括一个或多个X射线,计算机断层扫描扫描,核磁共振扫描,
超声波或其组合。
报括手术部位的三维显示。
力学轴。
个光学标记。在一些实施方案中,一个或多个光学标记的检测包括确定一个或多个光学标
记的位置,方向,对准,移动方向或移动速度中的一个或多个。
包括它们的坐标(x,y,z)。
标志的坐标(x,y,z)。
标系中。
虚拟平面放置成与一个或多个解剖标志相切或相交来找到解剖学平面。可以使用虚拟接口
放置虚拟平面。
在期望或预期位置,方向和/或对准中的虚拟切割块。在一些实施方案中,虚拟手术计划包
括投影或预期的铰孔,铣削或冲击轴。在一些实施方案中,虚拟手术计划包括在期望或预定
位置,方向,对准和/或移动方向上显示或投影的虚拟手术器械。在一些实施方案中,虚拟手
术计划包括在期望或预定位置,方向和/或对准中显示或投影的虚拟手术植入体组件。
以及外科医生或手术助手佩戴的在共同坐标系中的一个或多个光学头戴式显示器,获得一
个或多个术中测值,基于一个或多个术中测值调整或修改虚拟手术计划,并且显示或投射
利用光学头戴式显示器迭加到患者物理关节的相应部分上的调整或修改的外科手术计划
的各方面。在一些实施方案中,一个或多个术中测值是形态测量值,光学测量值或其组合。
计划,以及外科医生或手术助手佩戴的在共同坐标系中的一个或多个光学头戴式显示器,
获得一个或多个术中测值;基于一个或多个术中测值调整或修改虚拟手术计划,并且显示
或投射利用光学头戴式显示器迭加到患者现场手术部位的相应部分上的调整或修改的外
科手术计划的各方面。
断层扫描扫描,核磁共振扫描,超声波或前述的组合。
施方案中,配准包括识别患者扫描数据中的一个或多个解剖轴或生物力学轴。在一些实施
方案中,配准包括识别现场手术部位(live surgical site)中的一个或多个对应的解剖轴
或生物力学轴。
记。在一些实施方案中,一个或多个光学标记的检测包括确定一个或多个光学标记的位置,
方向,对准,移动方向或移动速度中的一个或多个。
包括它们的坐标(x,y,z)。
的库存管理并将其发送到另一计算机。
标志的坐标(x,y,z)。
标系中。
平面放置成与一个或多个解剖标志相切或相交来找到解剖学平面。可以使用虚拟接口放置
虚拟平面。
施方案中,调整或修改虚拟手术计划包括放置或移动虚拟切割块。在一些实施方案中,调整
或修改虚拟手术计划包括放置或移动虚拟铰孔,铣削或冲击轴。在一些实施方案中,调整或
修改虚拟手术计划包括放置或移动虚拟手术器械。在一些实施方案中,调整或修改虚拟手
术计划包括放置或移动虚拟手术植入体组件。
个术中测值,在共同坐标系中配准一个或多个术中测值,基于一个或多个术中测值拟定虚
拟手术计划,虚拟手术该计划包括至少一个虚拟切割平面,并且利用光学头戴式显示器显
示或投射迭加在患者的现场手术部位的相应部分上的一个或多个虚拟切割平面。
手术计划,在共同坐标系中配准虚拟手术计划,虚拟手术计划包括至少一个虚拟切割平面,
以及利用光学头戴式显示器显示或投射迭加在患者的现场手术部位的相应部分上的至少
一个虚拟切割平面。在一些实施方案中,该方法还包括获得一个或多个术中测值。在一些实
施方案中,该方法还包括在共同坐标系中配准一个或多个术中测值。在一些实施方案中,一
个或多个术中测值包括术中形态学和光学测量。
患者的腿部机械轴线相关的用于胫骨组件和相关骨切割的内翻或外翻矫正角度。在一些实
施方案中,假体是膝关节置换,并且虚拟切割平面限定了与腿部机械轴线相关的用于患者
股骨组件和相关骨切割的内翻或外翻矫正角度。在一些实施方案中,假体是膝关节置换,并
且虚拟切割平面限定了与患者腿部机械轴相关的用于股骨组件和胫骨组件以及包括组合
矫正的相关骨切割的内翻或外翻矫正角度。在一些实施方案中,假体是膝关节置换,并且虚
拟切割平面对应于远端股骨切割并且限定股骨组件屈曲。在一些实施方案中,假体是膝关
节置换,并且虚拟切割平面对应于股骨前切割并且限定股骨组件旋转。在一些实施方案中,
假体是膝关节置换,并且虚拟切割平面对应于后股骨切割并且限定股骨组件旋转。在一些
实施方案中,假体是膝关节置换,并且虚拟切割平面对应于倒角切割并且限定股骨组件旋
转。在一些实施方案中,假体是髋关节置换物,并且其中虚拟切割平面在植入后限定腿长
度。
定虚拟手术计划,在共同坐标系统中配准虚拟手术计划,虚拟手术计划包括至少两个或更
多个投射或预期的钉或钻孔路径,以及显示或投射利用光学头戴式显示器迭加在现场手术
部位中患者骨或软骨的相应部分上的两个或更多个投影或预期的钉或钻孔路径。
孔路径对准,并且在保持对准的同时执行钉扎或钻孔。在一些实施方案中,第一和第二钉或
钻头用于固定或参考手术导板或切割块。在一些实施方案中,由物理第一和第二钉或钻头
产生的钻孔用于固定或参考手术导板或切割块。
虚拟手术计划来限定股骨组件屈曲。骨切割可以基于虚拟手术计划来限定股骨组件旋转。
骨切割可以基于虚拟手术计划确定胫骨斜度。在一些实施方案中,骨切割是龙骨冲头并且
基于虚拟手术计划确定胫骨组件旋转。
或多个术中测值,在共同坐标系统中配准一个或多个术中测值,基于一个或多个术中测值
拟定虚拟手术计划,虚拟手术计划包括虚拟手术钻孔导向,并且使用光学头戴式显示器将
虚拟钻导子迭加到用于钻孔的患者现场手术部位的相应部分上。在一些实施方案中,一个
或多个术中测值是形态和/或光学测量。在一些实施方案中,对应于虚拟钻子引导器的物理
钻头包括至少两个开口以容纳两个或更多个钻头。在一些实施方案中,虚拟钻导子对应于
物理钻导子并且具有与物理钻导子类似的至少一个或多个尺寸。
个术中测值,在共同坐标系统中配准一个或多个术中测值,基于一个或多个术中测值拟定
虚拟手术计划,虚拟手术计划包括用于铰刀,磨机或撞击器的至少一个虚拟轴,并且利用光
学头戴式显示器显示或投射用于扩孔器,研磨机或撞击器的至少一个虚拟轴,所述虚拟轴
迭加在患者现场手术部位的相应部分上。
同坐标系统中配准虚拟手术计划,虚拟手术计划包括用于铰刀,铣刀或撞击器的至少一个
虚拟轴,以及显示或投射用于铰刀,铣刀或撞击器的至少一个虚拟轴,用光学头戴式显示器
将虚拟轴迭加到患者现场手术部位的相应部分上。在一些实施方案中,该方法还包括获得
一个或多个术中测值。在一些实施方案中,该方法还包括在共同坐标系中配准一个或多个
术中测值。
虚拟手术计划植入髋臼组件之后限定髋臼偏移。在一些实施方案中,假体是髋关节置换物,
并且虚拟轴限定组合的髋臼和股骨组件前倾。物理铰刀,铣刀或撞击器(impactor) 可以与
铰刀,铣刀或撞击器的虚拟轴对准,并且可以在保持对准的同时执行铰孔,铣削或冲击。
个或多个术中测值,在共同坐标系统中配准一个或多个术中测值,基于一个或多个术中测
值拟定虚拟手术计划,虚拟手术计划包括虚拟胫骨模板(virtual tibial template),以及
显示或投射用光学头戴式显示器迭加在切割胫骨上的虚拟胫骨模板。
在手术部位中或周围附着于患者的一个或多个光学标记来执行患者外科手术在共同坐标
系中的配准,其中光学标记包括一个或多个几何图案,其中光学标记用摄像头和集成到,附
着在或分离于光学头戴式显示器的图像捕获或视频系统检测。在一些实施方案中,光学标
记物包括至少一个不透射线的部分。在一些实施方案中,使用具有电离辐射的影像学检查
来可视化患者或手术部位的内部结构。比如,影像学检查可以是一个或多个X射线和/或计
算机断层扫描扫描。
图像捕获或视频系统检测到的光学标记的可见部分互相参照,并且其中该信息用于将患者
内部结构或手术部位配准在共同坐标系中。
到相应的外部和内部结构上。虚拟手术计划可以是手术装置的预定路径。
节或解剖区域(比如,脊柱或椎弓根)描述的任何实施方案可以应用于其他关节或其他区
域,比如,髋关节,髋关节置换,膝关节,膝关节置换,血管影像学检查,血管造影等。
大约位置精度在两个或三个方向上(x,y,z)执行对准或迭加:10毫米,约9毫米,约8毫米,约
7毫米,约6毫米,约5毫米,约4毫米,约3毫米,约2毫米,约1毫米,约0.5毫米,约0.25毫米或
更小,0.25毫米至0.5毫米,0.25毫米至1毫米,0.25 毫米至2毫米,0.25毫米至3毫米,0.25
毫米至4毫米,0.25毫米至5毫米,0.25毫米至6毫米,0.25毫米至7毫米,1毫米至2毫米,1毫
米至3毫米,1毫米至4毫米,1 毫米至5毫米,1毫米至6毫米,1毫米至7毫米,2毫米至3毫米,2
毫米至4毫米,2 毫米至5毫米,2毫米至6毫米,2毫米至7毫米,3毫米至4毫米,3毫米至5毫
米,3 毫米至6毫米,3毫米至7毫米,4毫米至5毫米,4毫米至6毫米,4毫米至7毫米,5 毫米至
6毫米,5毫米至7毫米,6毫米至7毫米或必要时根据临床应用的需求。当物理导板器,工具,
器械或植入体与光学头戴式显示器显示或投射的虚拟手术导板,工具,器械或植入体对准
或迭加在一起时,可以采用以下定向或角度精度在一个,两个或三个方向上(x,y,z)执行对
准或迭加:约10°,约9°,约8°,约7°,约6°,约5°,约4°,约 3°,约2°,约1°,约0.5°,约0.25°或
更小,0.25‑10°,0.25至9°,0.25‑8°,0.25‑7°,0.25‑ 6°,0.25‑5°,0.25‑4°,0.25‑3°,0.25‑
2°,0.25‑1°,0.25‑0.5°,0.5至9°,0.5‑8°,0.5‑7°, 0.5‑6°,0.5‑5°,0.5‑4°,0.5‑3°,0.5‑
2°,0.5‑1°,1至9°,1‑8°,1‑7°,1‑6°,1‑5°,1‑4°,1‑ 3°,1‑2°,2‑9°,2‑8°,2‑7°,2‑6°,2‑5°,
2‑4°,2‑3°,3‑9°,3‑8°,3‑7°,3‑6°,3‑5°,3‑ 4°,4‑9°,4‑8°,4‑7°,4‑6°,4‑5°,5‑9°,5‑8°,
5‑7°,5‑6°,6‑9°,6‑8°,6‑7°,7‑9°,7‑ 8°,8‑9°或必要时根据临床应用的需要。
延伸到远端股骨(distal femur)的髁间凹口,以及胫骨机械轴,其从近端胫骨的中心延伸
到踝中心。股骨的机械轴线与胫骨的机械轴线之间形成的内侧角称为髋膝踝角,其表示下
肢的整体对准,并且在正常膝盖中通常约为或略小于180°,也称为正常机械轴对准
(normal mechanical axis alignment)。机械轴的位置使其通常仅通过内侧到胫骨脊,但
是这可以根据患者身高和骨盆宽度而不尽相同。
合,以及先天性脊柱缺陷。椎弓根螺钉和杆放置可以与骨移植物结合,比如,同种异体移植
或自体移植。有时,在手术过程中可以使用可输注或可注射的骨形态发生蛋白,以促进骨移
植物的愈合和稳定。
卧或仰卧位置获得。可以通过患者直立,脊柱屈曲和脊柱伸展获得X射线。也可以在患者向
左侧或向右侧弯曲的情况下获得X射线。
经根。通过核磁共振,脊髓也可以被可视化。
上,可以定向尾部10‑20度。在进入T12时,虚拟手术计划可以包括移除横突以打开骨髓空
间。角度可以是内侧和尾侧角度。
情况下,可能需要测距来移除关节突的基部。这可以包括在虚拟手术计划中。
钉通常瞄准骶骨岬的上边界。将以椎弓根螺钉和/或器械将避开S1孔和任何神经根的方式
选择或定义虚拟手术计划中的器械放置和椎弓根螺钉放置。如果使用双皮质螺钉,应选择
或定向螺钉位置,以避免对L5神经根造成任何伤害;任何影像学检查,如计算机断层扫描扫
描或核磁共振扫描,都可用于识别L5神经根并将椎弓根螺钉置于虚拟手术计划中,可选择
显示计算机断层扫描或核磁共振扫描和神经根,这样其尖端和身体相对于神经根有一个安
全边缘。
柱。三维显示器可以显示脊柱,比如,从后投影,前投影,侧向投影,从顶部或底部的投影,或
沿着神经根或骶囊或脐带的投影。可以以这种方式显示的代表性骨结构包括比如,棘突,椎
板,小关节,椎弓根和包括终板,前,后,内侧和外侧皮质的椎体。在本发明的一些实施方案
中,视图透视图是外科医生的头部和光学头戴式显示器相对于手术野和患者的视角。左眼
显示器和右眼显示器的透视可以是不同的,特别是当使用立体显示技术时,外科医生的左
眼通过光学头戴式显示器装置的显示器看到的患者虚拟数据的视角和外科医生的左眼通
过光学头戴式显示器装置看到的患者实时数据的视角基本相同,外科医生的右眼通过光学
头戴式显示器装置的显示器看到的患者虚拟数据和外科医生的右眼通过光学头戴式显示
器装置看到的患者实时数据的视角基本相同。
或手动分割。或者,手术者或外科医生可以点击椎弓根附近的神经根或预期的椎弓根螺钉
放置。点击的位置可以存储在图像数据量中,并且可以用不同的颜色突出显示。包含点击的
面积或者体积可以配准为安全区域,椎弓根螺钉和放置的任何器械不应进入。可以在安全
区域添加安全范围,比如,2,3,4,5,7或10毫米。在虚拟计划期间,将修改或调整任何椎弓根
螺钉和相关器械的手术计划和放置或位置或方向,以确保外科手术不会引起神经损伤或撞
击。
脉,下腔静脉,主动脉的任何分支或下腔静脉,肋间动脉,无名动脉。可以在这些血管结构周
围限定安全区域和/或2,3,4,5,7或10毫米或更大的安全范围。在虚拟计划期间,将修改或
调整任何椎弓根螺钉和相关器械的手术计划和放置或位置或方向,以确保在外科手术过程
中不会引起血管损伤。
椎弓根螺钉放置椎弓根的部分或全部的面积或者体积中的内侧,外侧,上部和/或下部骨内
膜表面或皮质表面,或椎弓根螺钉或相关骨空隙之间的面积或者体积,以将椎弓根螺钉放
置到椎弓根的部分或全部中的内侧,外侧,上部和/或下部骨内膜表面或皮质表面。如果外
科医生手动地,可视地将虚拟椎弓根螺钉放置在二维或三维显示器上,则软件可应用相同
或类似的标准以突出可能导致临床问题的潜在区域,比如,皮质破裂或神经根损伤。比如,
如果虚拟椎弓根螺钉位于椎弓根内侧皮质的1,2或3毫米内,则使用图像处理和骨,骨内膜
骨或皮质骨分割软件,突出此类接近性和潜在风险。突出显示可以比如,通过接近皮质或神
经或血管结构的颜色编码区域或通过其他视觉提示和声音警告信号来进行。在外科手术过
程中,这些突出显示的区域也可选地由光学头戴式显示器显示,立体地或非立体地显示。可
选地,突出显示的区域可以以轮廓格式显示。
部的面积或者体积中的内侧,外侧,上部和/或下部骨内膜表面或皮质表面,或椎弓根螺钉
或相关骨空隙之间的面积或者体积,以将椎弓根螺钉放置到椎弓根的部分或全部中的内
侧,外侧,上部和/或下部骨内膜表面或皮质表面。
椎体中的位置,包括其尖端的椎弓根螺钉相对于脊柱/椎体骨折的位置,包括其尖端的椎弓
根螺钉相对于脊柱/椎体骨折的位置,包括其尖端的椎弓根螺钉相对于上终板的位置,包括
其尖端的椎弓根螺钉相对于下终板的位置,包括其尖端的椎弓根螺钉相对于前椎骨和/或
后椎体皮质的位置,包括其尖端的椎弓根螺钉相对于血管的位置,包括其尖端的椎弓根螺
钉相对于主动脉的位置,包括其尖端的椎弓根螺钉相对于下腔静脉的位置,包括其尖端的
椎弓根螺钉相对于神经结构,骶囊,神经根和/或脊髓的位置,包括其尖端的椎弓根螺钉相
对于脊柱/椎体的骨折的距离,面积或体积,包括其尖端的椎弓根螺钉相对于上端板的距
离,面积或体积,包括其尖端的椎弓根螺钉相对于下端板的距离,面积或体积,包括其尖端
的椎弓根螺钉相对于下前和/或后椎骨皮质的距离,面积或体积,包括其尖端的椎弓根螺钉
相对于血管的距离,面积或体积,包括其尖端的椎弓根螺钉相对于主动脉的距离,面积或体
积,包括其尖端的椎弓根螺钉相对于下腔静脉的距离,面积或体积,包括其尖端的椎弓根螺
钉相对于神经结构,骶骨囊,神经根和/或脊髓的距离,面积或体积。外科医生可以使用位置
或距离或面积或体积等信息来选择在虚拟手术计划中的椎弓根螺钉的尺寸,宽度,直径或
长度,或使用患者解剖结构的虚拟图像。可以针对前述标准定义安全区标准,比如,距离皮
质或神经结构1,2或3或5毫米或更多毫米。如果外科医生将椎弓根螺钉或任何相关的外科
手术器械放置得太靠近安全区域或安全区域内的椎弓根螺钉,则该区域可以突出显示或者
软件可以触发另一视觉或声学警报。
脊柱/椎体骨折的位置,包括其尖端的椎弓根螺钉相对于上终板的位置,包括其尖端的椎弓
根螺钉相对于下终板的位置,包括其尖端的椎弓根螺钉相对于前椎骨和/或后椎体皮质的
位置,包括其尖端的椎弓根螺钉相对于血管的位置,包括其尖端的椎弓根螺钉相对于主动
脉的位置,包括其尖端的椎弓根螺钉相对于下腔静脉的位置,包括其尖端的椎弓根螺钉相
对于神经结构,骶囊,神经根和/或脊髓的位置,包括其尖端的椎弓根螺钉相对于脊柱/椎体
的骨折的距离,面积或体积,包括其尖端的椎弓根螺钉相对于上端板的距离,面积或体积,
包括其尖端的椎弓根螺钉相对于下端板的距离,面积或体积,包括其尖端的椎弓根螺钉相
对于下前和/或后椎骨皮质的距离,面积或体积,包括其尖端的椎弓根螺钉相对于血管的距
离,面积或体积,包括其尖端的椎弓根螺钉相对于主动脉的距离,面积或体积,包括其尖端
的椎弓根螺钉相对于下腔静脉的距离,面积或体积,包括其尖端的椎弓根螺钉相对于神经
结构,骶骨囊,神经根和/或脊髓的距离,面积或体积。软件可以使用关于位置或距离或面积
或体积的信息,也可以选择虚拟手术计划中椎弓根螺钉的尺寸,宽度,直径或长度。可以针
对前述标准定义安全区标准,比如,距离皮质或神经结构的1,2或3毫米或更多毫米。如果软
件不侵害安全区域或将其放置得太靠近安全区域就无法放置椎弓根螺钉或任何相关的手
术器械来放置椎弓根螺钉,则可以突出显示该区域或者软件触发其他视觉或听觉警报。然
后,外科医生可以手动调节椎弓根螺钉或任何相关手术器械的虚拟位置,以便放置椎弓根
螺钉,比如,锥子,探针,针,线,螺钉等。
械的期望轨迹,比如,锥子,探针,针,线,螺钉等。椎弓根螺钉和任何相关杆的位置。
可以与光学头戴式显示器显示的相应虚拟器械对准,可选地以三维,立体或非立体形式,从
而实现期望的手术改变,比如,根据虚拟手术计划。
和脊柱固定杆185设定脊柱融合的指示。可选择获得脊柱X射线照片186和/或三维成像,比
如,计算机断层扫描或核磁共振187。可选地,数据可以被分割为188和 191。可选择使用192
数据。骨骼轮廓可以从射线照片189或计算机断层扫描或核磁共振 193自动,半自动或手动
地导出189。可选择确定194诸如神经根和血管的敏感结构,并将其迭加在二维或三维骨骼
数据198的显示器上。来自射线照片的骨骼轮廓和诸如计算机断层扫描或核磁共振的其他
影像学检查可选地交叉配准,比如,使用坐标转移或使用共同坐标系统190配准。可选择生
成三维数据的二维投影,比如,以生成可以与术中放射线照片195对准和/或与术中放射线
照片195迭加的匹配投影。可选地,外科医生或手术者可以选择点或标记或表面用于术中配
准196。骨轮廓189和/或193和其他数据,比如,198,197,196可用于拟制用于放置椎弓根螺
钉和杆199的虚拟手术计划。可选择使用比如,在数据分割中描述的软件来导出200用于术
中配准的一个或多个结构的形状。可选择为脊柱201生成患者特异性模板,如WO9325157A1
中所述。
可以导入患者虚拟数据,可选地包括虚拟器械数据,虚拟设备数据和/或虚拟手术计划203。
光学头戴式显示器可以连接到工作站204,并且可选地显示未配准的虚拟数据204。患者可
以定位在手术台上,可选地在与用于术前成像205的位置相同的位置。可选择在202,203和
204之前执行步骤205。可选择识别206一个或多个棘突或其他骨标志或皮肤参照。可选择使
用比如,x射线或计算机断层扫描/O臂成像207来执行术中成像207。可选择在棘突上进行切
割,并且可以应用患者特异性标记物或模板,光学标记物或其他标记物用于配准208和209。
可以识别(比如,在虚拟手术计划199中所用标记) 的标记211,并且可可选择由术中成像或
患者特异性标记或光学标记或其他标记210和 212标识的标记互相参照或配准,比如,在共
同坐标系中,比如,使用光学头戴式显示器,或在使用坐标转移的不同坐标系中。然后可以
将患者配准在共同的,比如,第一坐标系213中。可选地,标记可以附接到固定在脊柱和/或
解剖标志231的刚性结构。
式显示器或患者解剖标志214,比如,使用空间映射或光学标记或导航标记或其组合或本申
请中描述的任何其他配准技术。诸如钻和钉之类的实际手术器械以及诸如椎弓根螺钉和杆
的植入体也可以被配准232。可以生成二维或三维显示,其可以包括隐藏的表面下解剖结
构,比如,椎体,椎弓根,小关节,虚拟手术器械和虚拟植入体216。这些可以与患者的相应实
时数据迭加并对准,比如,椎弓根的中心,其中锥子或螺钉可以放置在预定位置216中。可以
生成立体217和非立体218显示。多个观察者可以看到使用多个光学头戴式显示器迭加的虚
拟数据和实时数据,每一光学头戴式显示器显示虚拟数据,其中视角透视与个体观察者
216,217,218的实时数据的视角相匹配。观察者可以自由地移动他们的头部并且每一观察
者佩戴的光学头戴式显示器可以保持与实时数据(使用比如,附接到光学头戴式显示器的
一个或多个惯性测量单元),手术部位或者患者或两者,光学标记或导航标记的房间映射,
空间映射配准219。器械或植入体,比如,椎弓根螺钉或杆,也可以使用比如,惯性测量单元,
发光二极管,光学标记或导航标记220来跟踪。可以实时调整光学头戴式显示器的显示,比
如,基于头部运动或器械或设备运动或其组合 221,每秒30帧或更多帧。外科医生可以获得
椎弓根的简形视图,用于比如,实时地放置工具222,比如,钉或螺钉。可以在选择的椎弓根
或多个脊柱节段223上进行皮肤切割。
锥子可以与虚拟锥子225对准。其他物理器械可以与其对应的虚拟器械对准,或者比如,预
期的路径或端点226。可以执行连续的外科手术步骤,使物理与虚拟工具,器械或植入体227
对准。可选地,隐藏在组织内部或由组织隐藏的物理器械的部分可以使用比如,来自器械
228的可见部分的对准信息显示在增强现实系统中的虚拟显示器中。为此目的,光学标记或
导航标记可以比如,附着到器械上以对其进行配准并计算其隐藏部分。放置的物理或实际
椎弓根螺钉可以与隐藏的表面下解剖结构,比如,椎弓根,或虚拟椎弓根螺钉,或预期的路
径或端点或其组合对准或迭加229。物理脊柱固定杆可以放置成与虚拟脊柱固定杆230对准
或迭加在虚拟脊柱固定杆230上;可选地,脊柱固定杆可以对准放置杆座或椎弓根螺钉的接
收或保持或附接机构的虚拟图像。为此目的,可以通过光学头戴式显示器放大杆座或接收
或保持或附接机构,比如,围绕中心轴或中心点,以便于瞄准物理杆。物理杆的隐藏部分可
以由光学头戴式显示器虚拟显示,可选地放大,瞄准杆座或接收或保持或附接机构。
光二极管,可以应用于脊柱手术和操作。比如,在脊柱外科手术或操作中,可以将一种或多
种患者特异性标记物或模板应用于一个或多个棘突或关节突或横突或其他脊柱结构,比
如,通过小切割。通过将患者特异性标记物或模板应用于患者的相应结构,可以可靠地识别
脊柱节段,可选择无需术中成像。此外,在由光学头戴式显示器使用可选的虚拟外科手术计
划投射的椎弓根螺钉和相关器械或者椎体成形术或椎体后凸成形术的针和套管针的轨迹
或所需位置之后,可以可靠地放置椎弓根螺钉和相关器械或椎体成形术或椎体后凸成形术
针和套管针及相关器械。值得注意的是,使用光学头戴式显示器以及本发明中描述的或其
他本领域公知的其他配准和互相参照技术,也可以可靠地识别脊柱节段并且可靠地放置椎
弓根螺钉,杆和相关器械和/或椎体成形术或椎体后凸成形术针和套管针。
使用光学标记或手术导航,也可以采用相同的步骤和光学头戴式显示器引导的脊柱手术。
时数据。在该情况下,现场患者中的外科手术改变的组织或组织表面或组织轮廓或组织周
长或组织体积或其他组织特征,可以与患者虚拟数据中的手术改变的组织或组织表面或组
织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配,迭
加和/或配准。在手术组织改变之后,患者实时数据和患者组织和/或手术部位的数字全息
图的匹配,迭加和/或配准可包括隐藏和/或模糊部分,可使用与前述或说明书中描述的任
何其他配准技术或本领域已知的任何其他配准技术。
导航标记,红外标记,射频标记,患者特异性标记,带图像捕获的发光二极管和惯性测量单
元。比如,可以将一种或多种患者特异性标记物或模板或光学标记物应用于髋臼边缘,髋臼
内部或骨盆壁。类似地,一个或多个患者特异性标记物或模板或光学标记物可以应用于大
转子,小转子,股骨干或股骨颈。通过将一个或多个患者特异性标记或模板和/或光学标记
应用于患者的相应结构,虚拟数据和实时数据可以在共同坐标系中有效地互相参照和/或
配准,比如,用一个或多个更多光学头戴式显示器。通过相对于光学头戴式显示器配准患者
特异性标记物或模板和/或光学标记物或者通过使用本文描述的或本领域已知的任何其他
配准技术或技术,光学头戴式显示器可以显示或迭加在髋关节置换期间所用任何手术器械
的期望地点,位置,方向,对准和/或轨迹。比如,髋臼扩孔器可以以预定角度施加,其中扩孔
器的长轴通常匹配期望的髋臼杯角度,偏移,内侧或外侧位置和/或前倾和/或倾斜,比如,
来自病患虚拟外科手术计划。
和/或前倾角的髋臼杯和/或倾向。图18A说明了第一外科医生的视图,比如,通过光学头戴
式显示器,在患者暴露的髋臼280上。还要注意髂前上棘281和耻骨联合282,其可选地用于
配准目的,比如,使用附接的光学标记或导航标记。如图18B所示,第一外科医生可以通过光
学头戴式显示器看到虚拟髋臼扩孔轴283,其可以以预定方式定向以实现预定的髋臼杯角
度,偏移,内侧或外侧位置和/或前倾和/或倾斜,比如,来自为患者制定的虚拟手术计划。如
图18C所示,第一外科医生对准物理髋臼扩孔器轴284,使得其中心轴线与虚拟髋臼扩孔轴
线对准或迭加,从而将扩孔器头部285放置在髋臼中的预定位置和方向上,以获得预定的髋
臼杯角度,偏移,内侧或外侧位置和/或前倾和/或倾斜。
选地用于配准目的,比如,使用附接的光学标记或导航标记。如图18E所示,第二外科医生可
以通过光学头戴式显示器看到虚拟髋臼扩孔轴283,其可以以预定方式定向以实现预定的
髋臼杯角度,偏移,内侧或外侧位置和/或前倾和/或倾斜,比如,来自为患者制定的虚拟手
术计划。虚拟髋臼扩孔轴以与第二外科医生看到的患者实时数据的视角或视图视角相匹配
的视角或视图视角来投影。如图18F所示,第二外科医生可以看到物理髋臼扩孔器轴284如
何由第一外科医生对准,使得其中心轴线与虚拟髋臼扩孔轴线对准或迭加,从而将扩孔器
头部285放置在髋臼中的预定位置和方向上,以获得预定的髋臼杯角度,偏移,内侧或外侧
位置和/或前倾和/或倾斜。
髋臼扩孔器被对准并定向以实现期望的髋臼杯位置,比如,前倾,倾斜,如在虚拟外科手术
计划中可选地限定的。或者,光学头戴式显示器可以显示虚拟髋臼扩孔器的部分(比如,折
线或虚线)或完整的二维或三维轮廓或一个或多个置位指示物,比如,指示髋臼扩孔器的预
定放置位置和方向的线,比如,虚拟预定内侧边界或定位或位置,虚拟预定横向边界或位置
或位置,虚拟预定前边界或定位或位置,虚拟预定后边界或定位或位置,虚拟预定上边界或
定位或位置和/或虚拟预定下边界或定位或位置和/或虚拟预定边缘位置和/或虚拟预定中
心轴方向或位置和/或虚拟预定前倾。
上与虚拟物重迭或对准或沿虚拟方向定向髋臼扩孔器或其二维或三维轮廓或置位指示物
或虚拟扩孔轴。光学头戴式显示器还可以指示在虚拟外科手术计划中任选定义的所需扩孔
深度。可以通过光学头戴式显示器显示期望的扩孔深度,比如,作为可以推进物理扩孔器的
虚拟红色边界。如果物理扩孔器的扩孔表面由于被组织(比如,软组织或骨骼)隐藏而不可
见,则可以基于物理扩孔器的可见部分来估计它,并且可以由光学头戴式显示器可选地显
示,比如,使用与虚拟铰刀的显示不同的颜色或用于铰孔深度的虚拟“红色边框”。物理铰刀
的物理铰孔深度也可以测量,比如,通过物理铰刀上的数字刻度的图像捕获或机械数据捕
获来指示铰孔深度,或者通过附加惯性测量单元或一个或多个光学标记,射频卷标或镜面
反射标记用于导航到铰刀,并通过将物理测量的铰孔深度与虚拟手术计划进行比较。光学
头戴式显示器可以指示何时已经实现了期望的扩孔深度,比如,利用视觉或声学信号。一个
或多个光学标记物也可以附接到髋臼扩孔器的轴上。通过测量一个或多个光学标记的位
置,比如,沿着扩孔器的轴在两个不同位置的两个光学标记,可以使用图像或视频捕获来确
定物理髋臼扩孔器的长轴并且可以与预定的虚拟铰孔轴比较以实现期望的杯放置,包括期
望的偏移和/或杯角和/或前倾。
拟髋臼杯或其二维或三维轮廓或置位指示物(placement indicator)显示所需的前倾角和
倾斜度。取决于手术方法,比如,前部,后部或后外侧,虚拟髋臼杯仅显示的部分,其对应于
物理髋臼杯对于外科手术入路或手术部位可见的部分。可选择比如,通过光学头戴式显示
器以数字方式显示前倾和倾斜的物理值,比如,显示来自虚拟手术计划的患者的期望值以
及基于物理杯或试杯地点,位置,方向和/或对准的物理值。如果存在视觉差异,即光学头戴
式显示器显示的虚拟杯与物理杯或试杯之间的不完全迭加,或数值差异,比如,虚拟杯前倾
和/或虚拟手术计划与物理杯前倾和/或倾斜,外科医生可以在撞击之前校正物理杯的地
点,位置,方向和/或对准。
确地操作,从而减少了偏移或不对称衬垫。
的配准,可选地使用光学标记或手术导航或患者特异性标记或术中成像,也可以采用相同
的步骤和光学头戴式显示器引导的髋臼手术。
极管,可以应用于配准患者的近端股骨和外科医生和/或助手所穿的一个或多个光学头戴
式显示器,和/或一个或多个手术器械,钉,钻,锯,铰刀,撞击器,拉刀等,和/或与一个或多
个股骨或髋臼植入体,包括金属和/或聚乙烯组件。比如,通过将一个或多个光学标记物和/
或患者特异性标记物或模板应用于大转子,小转子,股骨干或股骨颈,虚拟和物理患者实时
数据可以在股骨侧互相参照。可选地,钉或螺钉可以插入近端股骨中,比如,在大转子中,其
可以用作对准的参考,比如,如果光学标记或患者特异性标记移动。光学标记可以选择性地
连接到钉或螺钉上。可以以这种方式使用多个钉或螺钉。虚拟手术计划可包括用于特定股
骨组件的期望颈部切割位置。可以设计或选择颈部切割以避免任何偏移问题并且在虚拟手
术计划中保持患者的腿部长度。通过配准与光学头戴式显示器相关的光学标记物和/或患
者特异性标记物或模板,比如,在与光学头戴式显示器,手术部位,近端股骨的共同坐标系
中,光学头戴式显示器可以显示或迭加和/或投射数字全息图,数字全息图显示任何手术器
械的所需或预定地点,位置,方向,对准和/或轨迹或预定平面,包括用于执行股骨颈切割的
锯。在使用本文所述的任何技术或技术成功配准患者的虚拟和实时数据之后,光学头戴式
显示器可以显示期望的三维轨迹,包括针对股骨颈切割的x,y和Z方向上的期望位置,进入
点和角度,或者,光学头戴式显示器可以在手术计划中定义的地点,位置,角度方向和轨迹
(比如,虚线或箭头)中显示虚拟切割平面和 /或虚拟锯或锯片的一个或多个数字全息图。
然后,外科医生可以匹配物理锯,即外科医生可以定向和对准物理锯,使得它与虚拟锯对准
或基本上迭加在虚拟锯上(也参见图4A‑ C)。
虚拟预定内侧放置或位置,虚拟预定横向放置或位置,虚拟预定前部放置或位置,虚拟预定
后部放置或位置,虚拟预定上部放置或位置和/或虚拟预定下部放置或位置。或者,光学头
戴式显示器可以显示虚拟股骨颈切割平面的数字全息图。
颈,便于颈部切割。或者,光学头戴式显示器可以在其在股骨颈上的期望位置或定位显示虚
拟股骨颈锯导板的数字全息图或其对应的二维或三维轮廓或置位指示物。然后,物理锯导
板可以与相应的虚拟锯导板或其对应的二维或三维轮廓或置位指示物对准,所述二维或三
维轮廓或置位指示物基于患者虚拟手术计划放置在期望位置,方向和角度。虚拟锯导板可
具有与物理锯导板相同或相似的形状和/或一个或多个尺寸或平面。一旦物理锯导板基本
上与虚拟锯导板或其相应的由光学头戴式显示器显示的二维或三维轮廓或置位指示物迭
加就位,外科医生可选地将物理锯导板固定在适当位置并执行颈部切割。通过使用这些方
法中的一种来执行颈部切割,所述方法利用来自术前扫描和/或术中测量(包括,配准) 的
患者的准确三维解剖信息,比如,使用光学标记,可以更准确地保留或解决腿长和偏移。
的部分(比如,折线或虚线)或完整的二维或三维轮廓,比如,表示铰刀或撞击器的预定放置
位置和方向的线,比如,虚拟预定内侧放置或位置,虚拟预定横向放置或位置,虚拟预定前
部放置或位置,虚拟预定后部放置或位置,虚拟预定上部放置或位置或虚拟预定下部放置
或位置或虚拟扩孔轴,比如,穿过铰刀轴的中心轴。光学头戴式显示器还可以显示预定虚拟
铰孔和/或拉削轴的数字全息图,其可以提供期望的股骨组件位置,包括偏移和/或前倾中
的一个或多个,比如,用于股骨和髋臼部件的复合前倾。虚拟股骨扩孔器和撞击器可以具有
与物理股骨扩孔器和撞击器相同或相似的形状和尺寸。然后,外科医生可以将物理股骨扩
孔器和撞击器的地点,位置,方向和轨迹(比如,虚线数据中的虚线或箭头指示)与虚拟扩孔
器和撞击器或其对应的二维或三维轮廓或置位指示物或虚拟铰孔或拉削轴相匹配,从而减
少股骨柄错位和可能不正确的股骨前倾,不正确的股骨偏移或股骨组件角度或腿长差异的
可能性。在本发明的一些实施方案中,外科医生可以对准光学头戴式显示器,使得视角垂直
于股骨干轴线,或者替代地,股骨颈轴线。然后,光学头戴式显示器可以显示靶心或靶状结
构,由此外科医生将瞄准股骨扩孔器,撞击器,股骨试验和物理股骨组件定位在靶心或靶标
中心。光学头戴式显示器可以显示所需的入口点,比如,切割股骨颈上的内侧或外侧,前或
后位置,和/或基于虚拟手术计划的进入角度,包括比如,虚拟股骨组件放置。光学头戴式显
示器还可以显示期望的股骨倾侧(desired femoral version),比如,通过切割的股骨颈表
面上的实线或虚线或箭头或者与切割的股骨颈表面相关联。光学头戴式显示器还可以通过
在期望的虚拟位置和定向(orientation)上显示股骨扩孔器,撞击器,股骨试验和最终股骨
组件或它们各自的二维或三维轮廓或置位指示物的一个或多个数字全息图来显示期望的
股骨倾侧,包括基于虚拟手术计划的股骨倾侧。以这种方式,外科医生可以将物理股骨扩孔
器,物理撞击器,物理股骨试验和物理最终股骨组件对准,以与一个或多个虚拟股骨扩孔
器,虚拟撞击器,虚拟股骨试验,虚拟最终股骨组件的数字全息图基本对准或迭加,由此在
期望的股骨倾侧附近实现结果,并且可选地,基于虚拟手术计划实现腿部长度。
解剖标志或植入式和附接式标记,校准和配准模型,包括光学标记,导航标记,红外标记,射
频标记,患者特异性标记,具有图像捕获和惯性测量单元的发光二极管。
通过以直立位置获得超声扫描,可以在负重位置下获得关于股骨‑髋臼对准和方向的信息,
包括比如,股骨或髋臼前倾,股骨/髋臼/髋屈曲,伸展,外展,内收和/或旋转。通过以仰卧位
置获得超声扫描,可以在非负重位置获得关于股骨‑髋臼对准和定向的信息,包括比如,股
骨或髋臼前倾,股骨/髋臼/髋屈曲,伸展,外展,内收和/或旋转。通过比较来自一个或多个
直立和一个或多个仰卧超声扫描的数据,比如,通过比较相应解剖标志的相对运动,可以获
得关于骨盆倾斜的信息。来自直立和/或仰卧扫描的信息可用于选择期望的股骨和髋臼组
件,包括比如,股骨颈的形状和长度,偏移,股骨头组件以及髋臼组件形状,包括比如,偏置
的,近中的,侧向的或有边缘的髋臼组件。来自直立和/或仰卧扫描的信息可用于拟制或调
整虚拟手术计划,比如,通过基于直立扫描信息或基于骨盆倾斜的信息改变预定杯位置。使
用仰卧和垂直X射线检查可以获得类似信息。
险。
偏移误差或错误髋臼或股骨前倾。选择性,光学头戴式显示器还可以显示敏感的血管或神
经结构,从而降低血管损伤或比如,坐骨神经损伤的可能性。
时数据。在该情况下,现场患者中的外科手术改变的组织或组织表面或组织轮廓或组织周
长或组织体积或其他组织特征,可以与患者虚拟数据中的手术改变的组织或组织表面或组
织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配,迭
加和/或配准。在手术组织改变之后匹配,迭加和/或配准患者实时数据和患者虚拟数据,可
以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任
何其他配准技术设备。比如,可以使用切割的骨表面来执行重新配准,比如,使用表面形状,
表面区域或周边或其他特征重新配准切割股骨颈,或选择图像捕获或机械或物理探针进行
测量,以在执行后续外科手术步骤之前匹配,迭加和/或配准患者实时数据和患者虚拟数
据,比如,对股管进行扩孔,铣削或冲击以放置股骨组件。比如,可以使用铣削的骨表面来执
行重新配准,比如,使用表面形状,表面区域或周边或其他特征的铣削髋臼,选择性用图像
捕获或机械或物理探针测量,以在执行后续手术步骤之前匹配,迭加和/或者配准患者实时
数据和患者虚拟数据,比如,放置包括试验组件的髋臼组件。
并且可以针对腿的中性机械轴或2‑7°外翻解剖胫骨股骨轴。股骨组件可以放置相对于股骨
解剖轴的2‑8°冠状外翻位置(比如,2°,3°,4°,5°,6°,7°,8°,2‑3°,2°‑4°,2‑5°,2‑6°,2‑
7°,2‑8°,3‑4°,3‑5°,3‑6°,3‑7°,3‑8°,4‑5°,5‑6°,5‑7°,5‑8°,6‑7°,6‑8°,7‑8°)和应避免
植入体组件悬垂在骨头上的距离>3毫米。胫骨组件可以放置在中性冠状面对准 (90°),同
时最大骨覆盖范围和最小(如果有的话)植入体组件悬垂。在矢状平面中,股骨组件可以放
置0‑3°屈曲(比如,0°,1°,2°,3°,0‑1°,0‑2°,0‑3°,1‑2°°,1‑3°,2‑ 3°),胫骨斜度可以是0‑
7°(比如,0°,1°,2°,3°,4°,5°,6°,7°,0°‑1°,0‑2°,0‑ 3°,0‑4°,0‑5°,0‑b°,0‑7°,1‑2°,1‑
3°,1‑4°,1‑5°,1‑b°,1‑7°,2‑3°,2‑4°,2‑5°,2‑ 6°,2‑7°,3‑4°,3‑5°,3‑6°,3‑7°,4‑5°,4‑
6°,4‑7°,5‑6°,5‑7°,6‑7°)。应避免股骨组件内旋,因为股骨组件应相对于手术经胫骨轴置
于外旋2‑5°(比如,2°,3°,4°,5°,2‑ 3°,2‑4°,2‑5°,3‑4°,3‑5°,4‑5°)。还应避免相对于胫
骨的中性横轴,胫骨结节轴以及结合的内部胫骨股骨旋转的过度胫骨旋转。
记,导航标记,红外标记,射频标记,患者特异性标记,带图像捕获的发光二极管和惯性测量
单元。比如,可以将一个或多个光学标记物和/或患者特异性标记物或模板应用于远端股
骨,比如,远端前皮质和/或上滑车,可选择与具有的任何骨赘一起。类似地,可以将一个或
多个光学标记物和/或患者特异性标记物或模板应用于近端胫骨,比如,胫骨前部皮质,比
如,在胫骨坪区域,可选择与具有的任何骨赘或胫骨脊柱一起。通过将一个或多个光学标记
和/或患者特异性标记或模板或任何其他配准技术,包括植入式和附接式标记,校准和配准
体模,导航标记,红外标记,射频标记,带图像捕获的发光二极管和惯性测量单元置于患者
的相应结构,虚拟数据(比如,从术前成像得出的虚拟数据)和实时数据可以为膝关节置换
手术有效地互相参照,并且可以,在共同坐标系中配准,比如,与由外科医生和其外科助理
和护士穿戴的一个或多个光学头戴式显示器一起配准。通过相对于光学头戴式显示器配准
光学标记和/或患者特异性标记或模板,光学头戴式显示器可以显示或迭加膝盖置换期间
所用的任何手术器械的期望地点,位置,方向,对准和/或轴和/或轨迹。
置,支架,三脚架等的手持超声波或超声探针可用于对股骨的远端前皮质和上滑车进行成
像,可选择具有的任何骨赘一起成像。然后,超声装置可选地用于对近端胫骨,比如,胫骨前
部皮质,比如,在胫骨坪区域中成像,可选择与具有的任何骨赘一起成像。然后,超声装置可
用于选择性对髌骨成像,比如,髌骨表面,整个髌骨或部分髌骨,比如,上极或下极,内侧或
外侧边缘,可选择与具有的任何骨赘一起。可选择对超声数据进行分段。比如,可以得到骨
形状和/或软骨形状以及任选的半月板形状(如果存在的话)。此外,有关韧带位置和/或形
态测量的信息,包括但不限于,原点,插入,位置,长度,膝关节屈曲,伸展,旋转,内侧副韧
带,外侧副韧带,前十字韧带,后十字韧带,髌股韧带或肌腱和股四头肌插入也可选地用超
声波捕获。
骨赘一起存在;或者适合于患者的近端胫骨,比如,前胫骨皮质,比如,在胫骨坪区域,可选
择与具有的任何骨赘一起;或者一个或多个适合患者的髌骨,比如,髌骨表面,整个髌骨或
部分髌骨,比如,上极或下极,内侧或外侧边缘,可选择与具有的任何骨赘一起。
节的中心或者冠状平面上的踝关节的1/3或2/3等距离,或选择内侧或外侧踝榫的半径或距
离。
是在承重期间。比如,在负重条件下,膝盖的内翻或外翻畸形可能更明显。在负重条件下使
用机械轴信息校正内翻或外翻畸形可以比基于非负重信息校正内翻或外翻畸形更准确。在
规划任何所需的机械轴校正时,此信息可能是有益的。
他跟踪装置与外科手术导航系统结合使用,或者比如,使用集成到,连接到,耦合到光学头
戴式显示器或与光学头戴式显示器分离的图像捕获,或使用一个或多个惯性测量单元。通
过以这种方式对髋关节和踝关节以及可选地膝关节成像并且通过在超声扫描期间使用一
个或多个附接标记捕获超声探针位置和方向的信息,可以得到关于机械轴和/或患者腿和
膝关节的解剖轴。
线可包括俯卧,仰卧,非承重位置或站立,承重位置的X射线。X射线仅限于膝盖。可以在膝盖
的不同姿势中获得X射线,比如,伸展和不同的弯曲角度,承重或非承重。比如,屈曲/伸展X
射线可用于获得关于膝关节旋转轴的信息,比如,上髁或滑车轴。X射线还可以包括下肢或
整个下肢的其他部分,比如,在承重位置的腿的站立全长X 射线。在承重位置的腿部的站立
全长X射线可用于识别髋关节的中心以及踝部榫眼,比如,以估计或导出膝盖的机械轴和/
或解剖轴。在本发明的一些实施方案中,从X射线获得的膝关节的机械轴和/或解剖轴和/或
旋转轴信息可以包括在源自超声的患者特异性标记或模板中。比如,患者特异性标记的患
者特异性超声衍生表面可以调整到患者的选定解剖区域,比如,包括部分上滑车或前胫骨
皮质的远端股骨,比如,在胫骨坪区域。患者特异性标记或模板的一个或多个面向外的表面
可具有标准形状,并且可选地包括标记或指示物以显示患者膝盖的解剖轴线,患者膝盖的
机械轴线,在手术之后期望的患者膝盖的新机械轴,比如,在可选的虚拟手术计划中所定义
的,和/或患者的膝盖旋转轴和/或在外科手术之后患者膝盖的期望的新旋转轴,比如,如可
选的虚拟手术计划中所定义的。然后,可以在手术期间选择性使用这些外部标记或指示物
(包括光学标记)以确认比如,期望的机械轴校正或旋转轴校正或其组合。附着到,集成到,
耦合到或与光学头戴式显示器分离的图像和/或视频捕获系统可选地用于使用比如,患者
特异性标记或模板上的一个或多个光学标记或指示物来识别这种校正。并且,可选地将它
们与虚拟手术计划进行比较。可以识别与虚拟手术计划的任何偏差或差异,并且外科医生
或手术者可选地执行对手术技术的修改,比如,使用额外的韧带松解,骨切割或不同的植入
体组件,包括比如,不同的内侧,外侧或综合插入高度,插入形状,间隔物和增强物。
股骨或近端胫骨或其组合上。视觉或光学标记,比如,发光二极管或激光,可以指示患者的
机械轴,比如,通过向髋部和/或踝部的中心投射箭头或光束。或者,机械标记,比如,指向髋
部的股骨对准杆或指向踝部的胫骨对准杆可用于指示使用光学标记物或患者特异性标记
物确定的患者机械轴。股骨和/或胫骨对准杆可以是集成到,附接到或物理或视觉上可链接
到光学标记物或患者特异性标记物。一个或多个光学标记可以集成到股骨和/ 或胫骨对准
杆中或附接到股骨和/或胫骨对准杆。
的物理机械轴。如果来自光学标记物或患者特异性标记物的投射机械轴与髋部的物理中心
和/或踝部的物理中心重合,则来自光学标记物或患者特异性标记物的放置或信息是准确
的。如果来自光学标记物和/或患者特异性标记物的投射机械轴与髋部的物理中心和/或踝
部的物理中心不一致,则光学标记物和/或患者特异性标记物的放置不准确,可以重新定
位。髋部和/或踝部的物理和投射中心之间的差异程度或量可用于确定所需放置的校正量。
或者,光学标记物和/或患者特异性标记物可保留在适当位置;然而,校正可以应用于任何
后续配准,其中校正基于物理(来自术中影像学检查)和髋部和/或踝部的投射中心 (来自
光学标记物和/或患者特异性标记物)之间的差异程度或量。本领域技术人员可以认识到,
放置或校正中的这些类型的校正可以应用于其他测量,比如,旋转轴和其他关节。
括光学标记,导航标记,红外标记,射频标记,患者特异性标记,带有图像捕获的发光二极管
和惯性测量单元))来配准股骨,光学头戴式显示器可显示用于执行远端股骨切割的虚拟远
端股骨切割块。
膝关节置换手术期间暴露的远端股骨300,内侧髁301,外侧髁302和滑车303的患者实时数
据。如图19B所示,一个或多个光学头戴式显示器可以显示虚拟远端股骨切割块,比如,以立
体方式显示外科医生的左右眼,从而创建虚拟手术导板的电子全息图形式,即虚拟远端切
块。在该示例中,虚拟远端股骨切割块304是物理远端股骨切割块的轮廓,其具有与物理远
端股骨切割块的尺寸基本相似的尺寸。虚拟远端股骨切割块304 至少部分地基于用于引导
远端股骨切割的预定位置的坐标对准,比如,用于实现相对于远端股骨的预定内翻或外翻
矫正和/或预定股骨组件屈曲,比如,其解剖学或生物力学轴。如图19C所示,可以移动和对
准物理手术导板305,即该实例中的物理远端股骨切割块305(实线),以与虚拟手术导板304
基本迭加或对准,即在该示例中的虚拟远端股骨切割块304(虚线)。由物理远端股骨切割块
305遮挡或隐藏的膝关节306的隐藏区域也可选地由光学头戴式显示器显示。如图19D所示,
物理远端股骨切割块305可以使用两个钉307附接到远端股骨。这些钉307可用于随后的外
科手术步骤,比如,用于参考屈曲间隙或延伸间隙或用于韧带平衡。在该示例中,光学头戴
式显示器可以停止显示虚拟手术导板,即虚拟远端股骨切割块,但是可选地继续显示隐藏
的解剖结构306。
分 (比如,折线或虚线)或完整的二维或三维轮廓或一个或多个置位指示物,比如,指示远
端股骨切割块的预定放置位置和方向的线,比如,虚拟预定内侧边界或定位或位置,虚拟预
定横向边界或位置或位置,虚拟预定前边界或定位或位置,虚拟预定后边界或定位或位置,
虚拟预定上边界或定位或位置和/或虚拟预定下边界或定位或位置。在虚拟手术计划中,远
端股骨切割通常垂直于股骨的机械轴线以恢复机械轴对准,除非外科医生希望保持轻微的
内翻畸形,比如,部分情况可能如此,如同部分或者一些全膝关节置换,或者除非外科医生
使用不同的对准方法,比如,运动学对准,或者除非外科医生希望为患者保持一定量的预先
存在的内翻或外翻对准。然后,外科医生可以采取物理远端股骨切割块并且基本上将物理
远端股骨切割块与虚拟远端股骨切割块或其二维或三维轮廓或其由光学头戴式显示器显
示的置位指示物对准或迭加。一旦物理远端股骨切割块与虚拟远端股骨切割块或其二维或
三维轮廓或由光学头戴式显示器基于患者的虚拟手术计划显示的其置物指示物进行充分
对准或迭加,外科医生可以固定或附接物理远端股骨切块到骨头并进行切割。通过利用术
前三维数据信息或两者组合的术中测值,在光学头戴式显示器的说明下对准物理远端股骨
切割块,外科医生可以精确地执行远端股骨切割,而无需髓内用于进行切割的杆或患者专
用器械。或者,光学头戴式显示器可以显示对应于远端股骨切割的虚拟切割平面的数字全
息图,并且外科医生可以将锯片与虚拟远端股骨切割平面的数字全息图对准。
的对准,并评估两者是否与现场患者的髋关节中心对准。如果虚拟和物理股骨对准杆没有
彼此对准和/或髋关节的中心对准,外科医生可以检查现场患者中物理对准杆的对准精度,
实时数据的配准准确性,患者实时数据和患者虚拟数据的准确性和/或虚拟手术计划的准
确性。然后,外科医生可以选择性地调整现场患者,配准或虚拟手术计划中的物理对准杆的
对准。
形状和尺寸。光学头戴式显示器可以显示虚拟股骨正位切割块或虚拟远端股骨切割块或置
位指示物的部分(比如,折线或虚线)或完整的二维或三维轮廓,比如,指示正位股骨切割块
的预定放置位置和方向的平面或线,比如,虚拟预定内侧边界或定位或位置,虚拟预定横向
边界或定位或位置,虚拟预定前边界或定位或位置,虚拟预定后边界或定位或位置,虚拟预
定上边界或定位或位置和/或虚拟预定的下边界或定位或位置。虚拟手术计划可包括虚拟
股骨正位切割块的预定位置和旋转。股骨正位切割块的旋转可以确定所得的股骨前切割和
后股骨切割相对于股骨轴的旋转,并且由此可以确定股骨组件植入体旋转。光学头戴式显
示器可以显示虚拟股骨正位切割块或其二维或三维轮廓或一个或多个放置指示物。
20A显示了在远端股骨切割之后在膝关节置换手术期间暴露的远端股骨300的患者实时数
据,远端股骨切割产生平面远端表面310,内侧髁301,外侧髁302和滑车 303。如图20B所示,
一个或多个光学头戴式显示器可以显示虚拟股骨正位切割块312,比如,以立体方式为外科
医生的左右眼创建虚拟手术导板的电子或数字全息图形式,即虚拟股骨正位切割块312。在
该示例中,虚拟股骨正位切割块312是物理股骨正位切割块的轮廓,其具有与物理股骨正位
切割块类似的尺寸,边缘或平面。虚拟股骨正位切割块312 至少部分地基于预定位置的坐
标对准,用于引导不同的骨切割,比如,取决于物理股骨正位切割块的构造,比如,用于实现
预定的股骨组件旋转,前切割,后切割和/或倒角切割。如图20C所示,物理手术导板314,即
该实例中的物理股骨正位切割块314(实线),可以移动和对准以与虚拟手术导板312基本迭
加或对准,即虚拟股骨正位切割块在该示例中为312(虚线)。可以使用钉(未显示)将物理股
骨正位切割块附接到远端股骨,并且可以执行切割。可选地基于使用物理股骨正位切割块
执行的一个或多个切割,来参考后续手术步骤。
一旦实现了物理正位切割块与虚拟正位切割块或其二维或三维轮廓或光学头戴式显示器
显示的一个或多个置位指示物的充分对准或迭加,外科医生可以固定物理正位切割块并执
行切割。通过利用术前三维数据信息或术中信息,比如,从光学标记和图像或视频捕获测量
的,在光学头戴式显示器的帮助下,对准和旋转物理股骨正位切割块的位置,外科医生可以
高度准确地执行前后股骨切割,从而准确旋转对准股骨组件。相同的方法和显示选项,比
如,虚拟切割块,二维或三维轮廓或一个或多个置位指示物,可以应用于所有后续的股骨准
备步骤,包括倒角切割和倒角切割块。
中图像引导。
物,红外标记物,射频标记,患者特异性标记,带有图像捕获的发光二极管和惯性测量单元,
光学头戴式显示器可显示虚拟近端胫骨切割块,用于执行近端胫骨切割。或者,光学头戴式
显示器仅显示虚拟近端胫骨切割块的部分(比如,折线或虚线)或完整的二维或三维轮廓或
一个或多个置位指示物,比如,指示近端胫骨切割块的预定放置位置和方向的线,比如,虚
拟预定内侧边界或定位或位置,虚拟预定横向边界或位置或位置,虚拟预定前边界或定位
或位置,虚拟预定后边界或定位或位置,虚拟预定上边界或定位或位置和/ 或虚拟预定下
边界或定位或位置。虚拟近端胫骨切割块可以具有与物理近端胫骨切割块相同或相似的形
状和尺寸,或者它可以具有与物理近端胫骨切割块或导板相同的至少一个或多个尺寸或平
面。
21A显示了在膝关节置换手术期间暴露的近端胫骨330,内侧胫骨坪331,外侧胫骨坪 332和
内侧胫骨脊333以及外侧胫骨脊334的患者实时数据。如图21B所示,一个或多个光学头戴式
显示器可以显示虚拟近端胫骨导板,比如,以立体方式显示外科医生的左右眼,从而创建虚
拟手术导板的电子全息图形式,即虚拟近端胫骨切割导板。在该示例中,虚拟近端胫骨切割
导板336可以是物理近端胫骨切割导板的轮廓,其具有与物理近端胫骨切割导板的尺寸基
本相似的尺寸。虚拟近端胫骨切割导板336至少部分地基于用于引导近端胫骨切割的预定
位置的坐标对准,比如,用于实现相对于近端胫骨的预定内翻或外翻矫正和/或预定斜度,
并且比如,其解剖学或生物力学轴。如图21C所示,物理手术导板338,即该实例中的物理近
端胫骨切割导板338(实线),可以移动和对准以与虚拟手术导板336基本迭加或对准,即在
该示例中的虚拟近端胫骨切割导板336(虚线)。注意物理近端胫骨切割导板338中的两个钉
孔339。如图21D所示,物理近端胫骨切割导板 338可使用两个钉340附接到近端胫骨骨。这
些钉307可用于随后的外科手术步骤,比如,用于参考屈曲间隙或延伸间隙或用于韧带平
衡。在图21E中,图21B显示了替代实施方案。一个或多个光学头戴式显示器可以例如以立体
方式显示虚拟近端胫骨切割平面 342,以用于外科医生的左右眼,从而创建虚拟胫骨切割
平面的电子全息图形式。在该示例中,虚拟近端胫骨切割平面342与用于物理近端胫骨切割
导板的预定切割平面平行并且基本上对准并迭加。虚拟近端胫骨切割平面342至少部分地
基于用于近端胫骨切割的预定位置的坐标对准,比如,用于实现相对于近端胫骨的预定内
翻或外翻矫正和/或预定斜度,并且比如,其解剖学或生物力学轴。然后,对准物理锯片或用
于对准物理近端胫骨切割导板中的物理锯片的槽或用于将锯片容纳在物理近端胫骨切割
导板中的开放引导区域,并且至少部分地与虚拟近端胫骨切割平面342迭加。在图21F中,显
示了图21B的替代实施方案。一个或多个光学头戴式显示器可以显示两个或更多个虚拟钻
头或钉344 以用于放置在近端胫骨中,比如,以立体方式用于外科医生的左右眼,从而创建
虚拟胫骨钉或钻头的电子全息图。在该示例中,虚拟钻头或钉344可以是物理钉或钻头的轮
廓或突出路径,其可用于将物理近端胫骨切割导板固定到近端胫骨。虚拟钻头或钉344至少
部分地基于用于引导近端胫骨切割的预定位置的坐标对准,比如,用于实现相对于近端胫
骨的预定内翻或外翻矫正和/或预定斜度,并且比如,其解剖学或生物力学轴。然后,物理钻
头或钉(未显示)可与虚拟钻头或钉344对准并迭置,并放置在近端胫骨中。然后可以将物理
近端胫骨切割导板附接到物理钉,并且可以执行近端胫骨切割。
于附接用于后续手术步骤的物理切割导板。用于对准物理与虚拟导板的实施方案,如图19B
和图19C,图20B和图20C以及图21B和图21C所示,也可以应用于导向杆。
者除非外科医生使用不同的对准方法,比如,运动学对准,或者除非外科医生希望为患者保
持一定量的预先存在的内翻或外翻对准。然后,外科医生可以采用物理近端胫骨切割块并
且基本上将物理近端胫骨切割块与虚拟近端胫骨切割块或其二维或三维轮廓或其由光学
头戴式显示器显示的置位指示物对准或迭加。虚拟手术计划和/或术中测值可选地不仅确
定近端胫骨切割与腿的机械轴线的对准,而且还可以确定近端胫骨在矢状面切割的前后斜
度。在一些实施方案中,外科医生,手术者或半自动或自动软件可以选择以固定的矢状斜度
切割近端胫骨,比如,5度或7度或3度,比如,使用十字固定(Cruciate Retaining, CR)膝关
节置换系统。或者外科医生,手术者或半自动或自动软件可以选择用固定的矢状斜度切割
近端胫骨,比如,0度或2度或3度,比如,用后置替代(Posterior Substituting,PS)膝关节
置换系统。或者外科医生,手术者或半自动或自动软件可以选择用患者特定斜度切割近端
胫骨,其可以与原生的、未操作的内侧胫骨坪的内侧斜度,原生的、未操作的外侧胫骨坪的
外侧斜度,或其组合或平均值相同或自其衍生斜度。一旦物理的近端胫骨切割块与基于患
者的虚拟手术计划和/或术中测量由光学头戴式显示器显示的虚拟近端胫骨切割块的虚拟
图像或其二维或三维轮廓或其置物指示物充分对准或迭加,且达到测量结果时,外科医生
可以将物理的近端胫骨切割块固定并执行切割,然后切割可以反映与所需的机械轴校正和
所需的胫骨斜度的对准。通过在光学头戴式显示器的帮助下利用术前三维数据信息和/或
术中测值和/或信息来对准物理近端胫骨切割块,外科医生可以精确地执行近端胫骨切割,
而无需髓内针或患者专用器械进行切割。同时,外科医生依然有能力进行术中调整,这可以
像手动移动远端或其他股骨切割块或移动近端胫骨切割块或其他胫骨切割块一样简单,比
如,也可以使用触笔类设备,比如,用于检查和测量斜度。通过在光学头戴式显示器中显示
最终期望的植入体位置或相应的虚拟手术器械的预定位置 (考虑用此调整物理手术器
械),可以对照虚拟手术计划和/或术中测值来检查此类调整。任何虚拟手术器械和任何物
理手术器械之间的对准的任何差异可以通过光学头戴式显示器以数值表示,比如,以毫米
为单位的距离或以度为单位的角度,比如,股骨组件的外部旋转的差异。如果外科医生或手
术者选择进行比如,胫骨斜坡或股骨或胫骨切割水平的调整,则可以修改虚拟手术计划中
的任何后续步骤。
准体模,包括光学标记,导航标记,红外标记,射频标记,患者特异性标记,带图像捕获的发
光二极管和惯性测量单元,也可以使用相同的步骤和光学头戴式显示器引导的胫骨手术。
空间以接纳胫骨组件的龙骨翼。胫骨龙骨和龙骨翼的最终就位和定向可以确定胫骨植入体
的旋转。准确的胫骨旋转,比如,与原生膝关节的旋转轴对准,其重要目的是避免术后疼痛。
配置和手术技术,可以显示其他虚拟胫骨准备器械。或者,光学头戴式显示器只能显示虚拟
胫骨模板或虚拟胫骨基础试验的部分(比如,折线或虚线)或完整的二维或三维轮廓,以及
虚拟胫骨钻塔和虚拟龙骨冲头或其他虚拟胫骨准备器械或置位指示物,比如,虚拟预定内
侧边界或定位或位置,虚拟预定横向边界或位置或位置,虚拟预定前边界或定位或位置,虚
拟预定后边界或定位或位置,虚拟预定上边界或定位或位置和/或虚拟预定下边界或定位
或位置。虚拟胫骨模板或胫骨基础试验以及虚拟胫骨钻塔(virtual tibialdrill towers)
和虚拟龙骨冲头以及其他虚拟胫骨准备器械(virtual tibiaI preparation
instruments)可以具有与物理胫骨模板或物理胫骨基础试验(physical tibial base
trial)以及物理胫骨钻塔和物理龙骨冲头(physical keelpunch)和物理胫骨准备器械相
同或相似的形状和尺寸。在虚拟手术计划中,虚拟胫骨模板或胫骨基础试验以及虚拟胫骨
钻塔和虚拟龙骨冲头和虚拟胫骨准备器械可以对准的方式是,如有意向,以实现最终植入
的物理胫骨托件(physical tibial tray)相对于未手术膝盖的胫骨的原始旋转轴线,接近
零胫骨旋转误差。外科医生或手术者可以选择偏离零旋转并且可以选择性地将1,2,3度或
更多度的内部或外部胫骨组件旋转添加到虚拟手术计划和/或术中测值。
然后,外科医生可以将对应的物理胫骨器械与虚拟胫骨器械或其(他们的)二维或三维轮廓
或其(它们的)置位指示物对准或迭加,从而对照虚拟手术计划和/或术中测值实现物理胫
骨器械的期望对准和/或旋转。如果需要,光学头戴式显示器可以使用数字全息图显示所有
虚拟胫骨准备工具和器械,包括虚拟胫骨模板或虚拟胫骨基础试验以及虚拟胫骨钻,钻塔
或锯和龙骨冲头。或者,光学头戴式显示器可以显示三维轮廓的数字全息图或虚拟胫骨器
械的置位指示物。可选地,光学头戴式显示器只能显示用于设置胫骨组件对准和旋转的关
键器械。通过利用术前三维数据信息和/或术中测值和/或信息来确定虚拟胫骨准备器械的
位置,对准和旋转,胫骨试验和最终胫骨组件或其各自的二维或三维轮廓或置位指示物和
在光学头戴式显示器的帮助下,外科医生可以通过将物理器械和组件与虚拟器械和组件的
对准和旋转或它们各自的二维或三维轮廓或置位指示物相匹配,准确地执行物理胫骨准
备,从而实现精确旋转胫骨组件的对准。
的对准,并评估两者是否与现场患者的踝关节中的期望位置对准。如果虚拟和物理胫骨对
准杆彼此不对准和/或未对准踝关节中的期望位置,则外科医生可以检查现场患者中物理
对准杆的对准精度,患者实时数据和患者虚拟数据的对准精度,和/或虚拟手术计划和/或
术中测值的准确性。然后,外科医生可以选择性地调整现场患者,配准或虚拟手术计划中的
物理对准杆的对准。
记,红外标记,射频标记,患者特异性标记,带图像捕获的发光二极管和惯性测量单元),也
可以使用相同的步骤和光学头戴式显示器引导的胫骨手术。
选择与具有的任何骨赘一起。通过将一种或多种光学标记物和/或患者特异性标记物或模
板应用于患者的相应结构或使用本发明中描述的或本领域已知的任何其他技术和技术,比
如,植入式和附接式标记,校准和配准模型,导航标记,红外标记,射频标记,带图像捕获和
惯性测量单元的发光二极管,虚拟数据和实时数据可以有效地互相参照,用于髌骨置换或
部分或完全表面重修。通过配准与光学头戴式显示器相关的光学标记和/或患者特异性标
记或模板,比如,在与光学头戴式显示器和股骨,胫骨和髌骨的共同坐标系中,或者通过使
用本发明中描述的任何配准技术将光学头戴式显示器与患者实时数据和虚拟数据相关联
地配准,光学头戴式显示器可以显示或迭加数位全息图,指示在髌骨置换或部分或完全表
面重修期间所用任何手术器械的所需地点,位置,方向,对准和/或轨迹,包括髌骨准备器械
的虚拟显示,髌骨准备器械的二维或三维轮廓或预定置位指示物的虚拟显示。
频标记,患者特异性标记,带有图像捕获的发光二极管和惯性测量单元,光学头戴式显示器
可以显示或投影虚拟髌骨夹,髌骨工具,髌骨切割装置,髌骨铣削装置,预定铣削轴和/或髌
骨切割块或其他用于进行髌骨切割或髌骨准备的髌骨准备器械的数字全息图。或者,光学
头戴式显示器只能显示虚拟髌骨夹,髌骨工具,髌骨切割装置,髌骨铣削装置和 /或髌骨切
割块或其他髌骨准备器械的部分(比如,折线或虚线)或完整的二维或三维轮廓或置位指示
物,比如,表示虚拟髌骨夹,髌骨工具,髌骨切割装置,髌骨铣削装置和/ 或髌骨切割块或其
他髌骨准备器械(比如,髌骨切割块)的预定放置位置和方向的线,比如,虚拟预定内侧边界
或定位或位置,虚拟预定横向边界或位置或位置,虚拟预定前边界或定位或位置,虚拟预定
后边界或定位或位置,虚拟预定上边界或定位或位置和/或虚拟预定下边界或定位或位置。
虚拟髌骨夹,髌骨工具,髌骨切割装置,髌骨铣削装置和/或髌骨切割和/或其他髌骨准备器
械块的数字全息图可具有相同或相似的形状以及至少与相应的物理髌骨夹,髌骨工具,髌
骨切割装置,髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械相同的一个或多个尺
寸或平面。在虚拟手术计划中,可以规划髌骨切割或铣削,比如,在为特定髌骨植入体或置
换和/或特定患者解剖结构选择的期望切除深度或角度,和/或基于髌骨形状,髌骨跟踪,髌
股运动或膝盖旋转轴。然后,外科医生可以采用物理髌骨夹,髌骨工具,髌骨切割装置,髌骨
铣削装置和/或髌骨切割块和/或其他髌骨准备器械,并基本上对准或迭加物理髌骨夹,髌
骨工具,髌骨切割装置,髌骨铣削装置和/ 或髌骨切割块和/或其他髌骨准备器械,和光学
头戴式显示器显示的相应虚拟髌骨夹,髌骨工具,髌骨切割装置,髌骨铣削装置和/或髌骨
切割块和/或其他髌骨准备器械,或其各自的虚拟轮廓或置位指示物。一旦物理髌骨夹,髌
骨工具,髌骨切割装置,髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械,与虚拟髌
骨夹,髌骨工具,髌骨切割设备,髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械的
数字全息图或由光学头戴式显示器基于患者的虚拟手术计划和/或术中测值显示的其各自
的轮廓或置位指示物充分对准或迭加,外科医生可选地钉住或固定物理虚拟髌骨夹,髌骨
工具,髌骨切割装置,髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械,并进行切割
或铣削。通过利用术前三维数据信息或术中数据和/或测量或其组合来对准物理虚拟髌骨
夹,髌骨工具,髌骨切割装置,髌骨铣削装置和/或髌骨切割块和/或其他髌骨准备器械,在
光学头戴式显示器的帮助下,外科医生可以高度精确地进行髌骨切割或铣削。
外标记,射频标记,患者特异性标记物,带有图像捕获的发光二极管和惯性测量单元。比如,
使用集成到,连接到,耦合到光学头戴式显示器或与光学头戴式显示器分离的图像和 /或
视频捕获系统,可以对髌骨形状或表面或轮廓成像。可以将该信息与关于髌骨形状或表面
或轮廓的术前成像信息进行比较,并且可选地进行匹配以用于配准。可以使用本发明中描
述的或本领域已知的任何其他配准技术,包括但不限于,手术导航。可选地,包括比如,陀螺
仪,磁力计和加速度计的惯性测量单元可以在手术期间或手术前应用于髌骨。
时数据。在该情况下,现场患者中的外科手术改变的组织或组织表面或组织轮廓或组织周
长或组织体积或其他组织特征,可以与患者虚拟数据中的手术改变的组织或组织表面或组
织轮廓或组织周长或组织体积或在为患者制定的虚拟手术计划中的其他组织特征匹配,迭
加和/或配准。在手术组织改变之后匹配,迭加和/或配准患者实时数据和患者虚拟数据,可
以使用前述中描述的相同技术或本说明书中描述的任何其他配准技术或本领域已知的任
何其他配准技术设备,包括植入式和附接式标记,校准和配准体模,包括光学标记,导航标
记,红外标记,射频标记,患者特异性标记,具有图像捕获的发光二极管和惯性测量单元。比
如,可以使用骨切割表面,例如使用表面形状、表面面积或周长或其他特征的远端股骨来执
行重新配准,以在执行后续外科手术步骤之前匹配,迭加和/或配准患者实时数据和患者虚
拟数据。
带,肩部置换,踝关节置换和/或手腕置换。比如,光学头戴式显示器可以显示或投影一个或
多个手术器械,试验植入体或植入体组件或手术器械的一个或多个轮廓或轴,试验植入体
或植入体组件或预定起始点,预定的起始位置,预定的起始方向/对准,预定的中间点,预定
的中间位置,预定的中间方向/对准,预定的结束点,预定的结束位置,预定的结束方向/对
准,预定的路径,预定的平面,预定的切割平面,投影外形/轮廓/横截面/表面特征/形状/投
影,预定深度标记或深度计,预定角度/方向/旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸
轴,虚拟手术工具的预定轴,虚拟手术器械(包括虚拟手术导板或切割块),虚拟试验植入
体,虚拟植入体组件,植入体或装置,用于一个或多个装置/植入体/植入体组件/手术器械/
手术工具的估计/投射的非可视化部分,和/或肩部置换的预定组织改变/变更中的一个或
多个的数字全息图,其中一个或多个数字全息图可用于确定肱骨切除(humeral
resection),臂长,关节盂组件倾侧(glenoid component version),定向和/或位置,肱骨
组件倾侧,定向和/或位置。
始位置,预定的起始方向/对准,预定的中间点,预定的中间位置,预定的中间方向/对准,预
定的结束点,预定的结束位置,预定的结束方向/对准,预定的路径,预定的平面,预定的切
割平面,投影外形/轮廓/横截面/表面特征/形状/投影,预定深度标记或深度计,预定角度/
方向/旋转标记,预定轴,比如,旋转轴,弯曲轴,延伸轴,虚拟手术工具的预定轴,虚拟手术
器械(包括虚拟手术导板或切割块),虚拟试验植入体,虚拟植入体组件,植入体或装置,用
于一个或多个装置/植入体/植入体组件/手术器械/手术工具的估计/投射的非可视化部
分,和/或脚踝置换的预定组织改变/变更中的一个或多个的数字全息图,其中一个或多个
数字全息图可用于显示或投射具有所需坐标,角度,方向和/或对准的预定胫骨切除和/或
距骨切除(talar resection)以实现期望的脚踝对准,包括冠状面植入体组件对准,矢状面
植入体组件对准中的至少一个,包括屈曲和轴向平面组件对准或旋转矢状平面植入体组件
对准(包括屈曲和轴向平面组件对准或旋转)。
者定位技术,配准技术,用于拟制包括在不同屈曲和伸展或旋转角度的手术计划的方法,显
示虚拟和患者实时数据可以应用于本说明书中的任何其他实施方案,包括,用于比如,膝关
节置换,髋关节置换,椎弓根螺钉放置和脊柱融合,以及椎体成形术或椎体后凸成形术。
异体移植物或另一种移植物材料的放置。可以使用所谓的单束技术或双束技术来执行前交
叉韧带修复。
后发生膝关节骨性关节炎的可能性。在解剖学上,已经描述了前交叉韧带的两个不同部分
或束,即前内侧束和后外侧束。
和移植物失败的可能性。将移植物放置在天然撕裂的前交叉韧带附近或位置具有以下益
处:前交叉韧带移植物被放置在确保主要是等长韧带功能的位置,这可以帮助移植物的长
期存活。
凹口的区域,通常是原生前交叉韧带的原点所在的区域。胫骨管通常从内侧胫骨脊延伸,原
生的撕裂的前交叉韧带附着到前内侧胫骨皮质。锚通常被放置在将假体植入股骨和/或离
开胫骨的区域中。
骨隧道可以放置在预定位置和/或方向上,使得它在内侧胫骨脊上插入前交叉韧带附近进
入近端胫骨。股骨和/或胫骨隧道的角度和/或方向可以放置在预定位置和/或方向上,使得
它类似于原生前交叉韧带的自然角度和/或方向,或者可选地,与患者的原生前交叉韧带的
天然方向不同。如果使用单束技术,则股骨和/或胫骨隧道的角度和/或方向(包括它们的入
口和出口区域)可以指向预定位置和/或方向,使得移植物的位置和/或方向是前交叉韧带
的前内侧束的位置和/或方向与前交叉韧带的后外侧束之间的折衷。经胫骨技术可以用作
隧道放置的方法,其中股骨隧道可以通过胫骨隧道在预定位置和/或方向上钻孔。这样做的
好处是可以连接两个隧道。或者,可以首先在预定位置和/或方向上钻胫骨隧道,比如,通过
胫骨前部皮肤中的小切割,然后钻出股骨隧道,比如,通过小切口和入口进入膝关节。可选
地,隧道位置可以通过关节镜可视化放置在预定位置和/或方向,比如,通过评估股骨和/或
胫骨上残留前交叉韧带纤维的位置。将移植物放置在预期位置和/或方向之外可能是由于
股骨和/或胫骨隧道的错误放置引起的。一个或两个隧道的错误放置和移植物的不正确放
置可能导致膝关节功能的限制和移植物的早期磨损。
在一些实施方案中,可以识别撕裂的原生前交叉韧带的原点和插入。替代地或另外地,可以
识别撕裂的原生前交叉韧带的一个或多个部分。该信息可用于拟制用于使用光学头戴式显
示器引导放置股骨和/或胫骨隧道或移植物的虚拟手术计划,比如,通过显示一个或多个虚
拟股骨或胫骨隧道或一个或多个虚拟移植物。
加权序列上,骨髓空间可以显示中到高信号强度。骨髓空间受低信号强度皮质骨的限制。可
以比如,使用阈值算法或种子生长算法或活动轮廓或水平集技术或本领域已知的任何其他
算法或技术来分割高强度骨髓空间。可以添加两毫米或三毫米或其他厚度的皮质骨和软骨
下骨包膜。可以使用参考数据库来应用厚度包膜,比如,对于已知尺寸或大小的骨骼。皮质
骨或软骨下骨包膜的厚度可以根据胫骨或股骨上的位置而变化。可以基于解剖学参考数据
导出厚度。或者,可以使用本领域已知的任何方法和/或算法对皮质骨和软骨下骨进行分
割。可选择生成数据的三维图像。或者,可以显示原始二维数据。外科医生可以使用指针或
标记工具来标记撕裂的原生前交叉韧带和撕裂的前交叉韧带的插入。可以分别标记前内侧
束和后外侧束的原点和插入位置。任何前交叉韧带残余物或其部分可由外科医生或手术者
标记。
且基于该信息识别前交叉韧带的股骨原物。或者,可以在二维或三维图像上目视检查后外
侧股骨凹口中的股骨表面以识别前交叉韧带的原点。可以识别内侧胫骨脊柱以标记前交叉
韧带的插入。
带原点的位置。或者,前交叉韧带原点位置的股骨表面粗糙度可用于此目的。可以识别内侧
胫骨脊柱以标记前交叉韧带的插入。可以使用本领域已知的任何其他影像学检查。
题为“用于配准针对前交叉韧带修复/重建的虚拟和实时数据的膝盖中的示例性解剖标志,
表面和特征,所述虚拟和实时数据包括可选的术前和术中图像数据”)可以被识别。可选地,
通过将一个或多个解剖学标志,表面和特征与参考患者和/或参考股骨形状和/或参考胫骨
形状的参考数据库中的数据进行比较,并且通过选择最接近匹配所选择的解剖标志,表面
或特征的远端股骨和/或近端胫骨的三维模型,可以使用远端股骨和/或近端胫骨的这些解
剖标志,表面和特征中的一个或多个来识别标准股骨形状或标准胫骨形状。以这种方式,可
以估计患者骨骼的三维形状,比如,远端股骨和/或远端胫骨,而无需获取三维数据或不需
要分割三维数据或限制所需的分割量。参考数据库可以来自尸体数据的解剖学参考数据
库。参考数据库还可以是扫描数据,比如,在NIH骨关节炎计划中获得的或从图像数据采集
的扫描数据,以产生用于膝关节置换的患者特异性器械。
骨视图,倾斜视图,站立视图,仰卧视图,俯视图。可选择在正位/后前位和/或侧视图和/或
倾斜视图上识别内侧和外侧股骨髁;可选择在正位/后前位和/或侧视图和/或倾斜视图上
识别内侧和外侧胫骨坪。可以识别其他解剖标志,表面和特征(比如,如表 12中所提供的)。
可选地,通过将一个或多个解剖学标志,表面和特征与参考患者和/或参考股骨形状和/或
参考胫骨形状的参考数据库中的数据进行比较,并且通过选择最接近匹配所选择的解剖标
志,表面或特征的远端股骨和/或近端胫骨的三维模型,可以使用远端股骨和/或近端胫骨
的这些解剖标志,表面和特征中的一个或多个来识别标准股骨形状或标准胫骨形状。以这
种方式,可以估计患者骨骼的三维形状,比如,远端股骨和/或远端胫骨,而无需获取三维数
据或不需要分割三维数据或限制所需的分割量。参考数据库可以来自尸体数据的解剖学参
考数据库。参考数据库还可以是扫描数据,比如,在NIH骨关节炎计划中获得的或从图像数
据采集的扫描数据,以产生用于膝关节置换的患者特异性器械。
少或限制或消除获取三维数据或用于分割二维或三维数据的需要的骨骼,软骨和器官,适
用于整个说明书中的本发明的任何实施方案,包括用于所有其他临床应用,比如,髋关节置
换,膝关节置换,脊柱外科手术,脊柱融合术,椎体成形术,椎体后凸成形术,骨折固定术,脑
外科手术,肝脏手术,癌症手术等。
或可选地运动学数据(kinematic data),比如,模拟膝盖弯曲和/或伸展和/或旋转的数据,
拟制/生成虚拟手术计划。比如,软件可以显示患者虚拟数据,比如,图像数据。外科医生或
软件可以选择性为给定患者选择期望尺寸或直径的股骨隧道和/或胫骨隧道。可以选择隧
道的直径和尺寸,比如,基于患者骨骼的大小,患者肌腱的尺寸,比如,如果考虑肌腱自体移
植物,患者髌腱的尺寸,比如,如果考虑髌骨自体移植物,患者的半腱肌腱的大小,比如,如
果考虑半腱肌自体移植物,或同种异体移植物或人工移植物的预期大小或施加到移植物的
预期生物力学负荷或应力;相同或相似或其他参数也可用于选择移植物的股骨和/或胫骨
锚,其可包括一个或多个挤压螺钉或包括纽扣型锚的其他类型的锚。外科医生或软件可以
随意选择预定的股骨或胫骨隧道位置和/或方向,比如,使用原生撕裂前交叉韧带的股骨起
点作为股骨中的入口点和内侧胫骨脊柱作为进入胫骨的入口点。注意,术语入口点和出口
点可以在说明书中互换使用。
的直径和大小,即如果考虑自体肌腱的大小,同种异体移植肌腱的大小,即如果考虑同种异
体移植物的大小或人造移植物的预期尺寸或施加到移植物上的预期生物力学载荷或应力;
相同或其他参数也可用于选择移植物的股骨和/或胫骨锚,其可包括一个或多个挤压螺钉
或包括纽扣型锚的其他类型的锚。外科医生或软件可以随意选择预定的股骨或胫骨隧道位
置和/或方向,比如,使用原生撕裂前交叉韧带的股骨起点作为股骨中的入口点和内侧胫骨
脊柱作为进入胫骨的入口点。注意,术语入口点和出口点可以在说明书中互换使用。
的中间位置,比如,伸展或15度屈曲。可针对不同的屈曲和伸展和/或旋转角度确定投射的
股骨和/或胫骨隧道位置和/或方向和/或投射的移植物定位,位置和/或方向。如果投射的
股骨和/或胫骨隧道和/或投射的移植物的位置和/或方向根据屈曲,伸展和/或旋转的程度
而变化,则可以选择统计平均值用于选择数值或其他统计测量,或可以应用多种方法来确
定投射的股骨和/或胫骨隧道和/或投射的移植物的定位,位置和/或方向。
骼标志,特征,表面和/或形状,可能有利于制定手术计划。外科医生或手术者可选地在图形
用户界面上执行虚拟手术计划。外科医生或手术者可以在图形用户界面和相关的数据显示
上放置虚拟股骨和/或胫骨隧道,比如,用于单束和双束技术。外科医生或手术者可以在图
形用户界面和相关的数据显示上放置虚拟移植物,比如,用于单束和双束技术。外科医生或
手术者可以将虚拟隧道和虚拟移植物放置在图形用户界面和相关的数据显示上。软件可选
地以一度或多度的膝关节屈曲和/或伸展和/或旋转显示隧道和/或移植物。软件和/或手术
者可以虚拟地评估一个或多个屈曲,伸展和/或旋转角度的隧道和/或移植物的定位,位置
和/或方向,并且可以从不同的角度虚拟评估移植物性能。软件和/或手术者/外科医生可选
地基于以这种方式从一个或多个屈曲,伸展和/或旋转角度获得的信息来调整隧道和/或移
植物的定位,位置和/或方向。
道和/或移植物的定位,位置和/或方向的膝关节的运动。比如,这种软件可以包括 Anybody
或其他运动建模软件。
骨和胫骨侧(实心黑色椭圆形结构)367。注意,为了代替虚拟锚,可以在股骨和/或胫骨侧使
用虚拟挤压螺钉或使用任何其他固定方式。股骨侧弯曲的虚线表示髁间凹陷区域 /顶部。
制性流程图。最初可以获取扫描数据,比如,超声,计算机断层扫描,核磁共振380。扫描数据
可选地被分段381,比如,用于骨,软骨,前交叉韧带组织或结构。分段的381 或未分段的380
扫描数据可以二维或三维382显示。可选择识别384的原生前交叉韧带原点和插入点,选择
性分别用于前内侧和后外侧束。可选地,还可以识别原生前交叉韧带残余物,也用于前内侧
和后外侧束386。可选地,使用来自384和/或386的信息,可以选择移植物大小388或隧道大
小390或两者。可选地,虚拟股骨392和胫骨396隧道可以由光学头戴式显示器在它们各自的
预定位置和方向上投射;或者,它们的中心轴可以由光学头戴式显示器在其预定位置和方
向上投射,所有这些都可选地具有显示的入口点和出口点。可选地,光学头戴式显示器394
可以在其预定位置显示虚拟前交叉韧带移植物。可选择针对不同程度的膝关节屈曲或伸展
和/或旋转执行或重复步骤392,394和/或396,包括不稳定性测试398。可选择在步骤400和/
或402中检查虚拟股骨隧道392,虚拟胫骨隧道396和/或虚拟前交叉韧带移植物的预定位置
和方向。可选择在步骤404和/或406中调整或修改虚拟股骨隧道392,虚拟胫骨隧道396和/
或虚拟前交叉韧带移植物的预定位置和方向。
计算机断层扫描可以在计算机屏幕上显示或者从参考数据库中选择患者的三维股骨和/或
胫骨模型的核磁共振或核磁共振,并且手术者(比如,外科医生或放射科医师)可以手动或
半自动地识别一个或多个以下:股骨外侧切割壁,前交叉韧带原点,股骨侧的近端前交叉韧
带残余物,包括比如,前内侧或后外侧束部分或中间部分,内侧胫骨脊柱,胫骨侧的远端前
交叉韧带残余物,包括比如,前内侧或后外侧束部分或中间部分,前交叉韧带插入或膝关节
的任何其他解剖结构。比如,手术者,外科医生或放射科医师可以点击或圈选这些结构中的
一个以识别它们。可选地,手术者,外科医生或放射科医师可以指定卷标,该卷标指定已经
用点击或圆圈识别的解剖结构的名称,比如,股骨外侧切割壁,前交叉韧带原点,股骨侧的
近端前交叉韧带残余,包括比如,在胫骨侧上的前内侧或后外侧束部分或中间部分,内侧胫
骨脊,远端前交叉韧带残余物,包括比如,前内侧或后外侧束部分或中间部分,前交叉韧带
附着部物或膝关节的任何其他解剖结构。
者的膝盖进行配准,比如,使用一个或多个惯性测量单元或一个或多个光学或导航标记包
括红外标记,逆向反射标记,射频标记或集成到光学头戴式显示器中,附加到光学头戴式显
示器或与光学头戴式显示器分离的图像和/或视频捕获系统,以便在三维对象坐标系中捕
获指针的位置和指针尖端的地点,位置,定位和方向。然后,外科医生可选地接触对应于在
患者实时数据中患者的术前成像/虚拟数据中被点击或圈出的结构,即患者的现场膝盖,比
如,通过关节镜看到的结构,或术中使用超声探针并用指针扫描。比如,这种结构可以是股
骨侧的侧向股骨凹口壁,前交叉韧带起点,近端前交叉韧带残余物中的一个或多个,包括比
如,前内侧或后外侧束部分或中间部分,胫骨内侧,胫骨侧的远端前交叉韧带残余,包括比
如,前内侧或后外侧束部分或中间部分,前交叉韧带附着部或膝关节的任何其他解剖结构。
以这种方式,可以在空间中配准虚拟数据和实时数据。
的的其他解剖标志,表面或特征,比如,表12中的一些解剖标志。
的术前影像学检查或一个或多个X射线图像可用于产生患者特异性标记。患者特异性标记
物可以被设计成具有至少一个患者特异性表面,其可以与患者的解剖结构紧密配合,比如,
股骨表面或胫骨表面。患者特异性标记可以应用于患者的股骨或胫骨。可选择设计患者特
异性标记,使其可以在关节内位置穿过膝关节内的小切口或小门。为此目的,患者特异性标
记可以由多个部分组成,其可以选择性组装在关节内。患者特异性标记的子部分或假体可
具有可接合的连接器。一旦将患者特异性标记附着在相应的患者表面并且适当地固定在连
接位置上,就可以选择性将其固定到下面的骨或软骨或韧带结构上。与现场患者表面连接
的物理患者特异性标记上的患者特异性表面对应于患者虚拟数据中的虚拟患者表面。一旦
患者特异性标记位于现场患者的连接表面上的预定位置和方向,就可以比如,使用说明书
中描述的任何手段来执行虚拟数据和患者实时数据之间的配准。
或视频捕获系统。关节镜或任何相关器械或指针可以与光学头戴式显示器或导航系统和/
或患者和/或患者的膝关系进行配准,比如,使用一个或多个惯性测量单元或一个或多个光
学或导航标记包括红外标记,逆向反射标记,射频标记,或集成到,连接到光学头戴式显示
器或与光学头戴式显示器分离的图像和/或视频捕获系统,以便在三维目标坐标系统中捕
获关节镜,器械和/或指针的位置和,关节镜,器械和/或指针尖端的定位,位置,定向和方
向,该坐标系统可以互相参照并与患者膝盖相关地配准,比如,通过将其与患者特异性标记
相关联地配准和/或与光学头戴式显示器或手术室中所用任何其他参考坐标系相关联。
和尺寸的变化的信息,比如,利用图像和/或视频捕获系统,计算或估计关节镜的位置与患
者特异性标记和/或实时数据的关系,比如,在手术过程中从患者关节内部获得的实时关节
镜图像。患者特异性标记可以包括其他标记,比如,一个,两个,三个或更多个发光二极管,
而不是已知的几何形状。关节镜从患者关节内投射的一个,两个,三个或更多发光二极管的
位置变化可用于计算或估计关节镜与患者特异性标记和/或实时数据的关系,比如,在手术
过程中从患者关节内部获得的实时关节镜图像。患者特异性标记还可以包括物理参考区域
或点,比如,可以容纳指针尖端的凹槽或凹口。以这种方式,指针的尖端可以放置在凹槽或
凹口中。指针可以具有附着于其上的一个或多个惯性测量单元或一个或多个光学或导航标
记,包括红外标记,逆向反射标记,射频标记,其可以由光学头戴式显示器或导航系统检测。
还可以使用集成到光学头戴式显示器中,附接到光学头戴式显示器或与光学头戴式显示器
分离的图像和/或视频捕获系统来检测所述位置。
括:
的的其他解剖标志,表面或特征。
数据,比如,虚拟运动学数据,虚拟图像数据,虚拟解剖数据,虚拟器械数据,虚拟设备数据,
患者的虚拟手术计划,患者实时数据,包括物理手术器械,和关节镜,比如,通过光学头戴式
显示器看到的,或通过集成到光学头戴式显示器中,附着到光学头戴式显示器或与光学头
戴式显示器分开的图像和/或视频捕获系统捕获,或通过关节镜看到。比如,解剖标志,表面
和特征可以被点击或圈出,或者可以在患者的一个或多个虚拟数据上和/或在患者的一个
或多个术中图像数据上自动识别,即术中获得的X射线或超声波,并且比如,外科医生可以
用指针或探针接触现场患者/膝盖中的相应解剖标志,表面和特征。指针或探针可以相对于
光学头戴式显示器或导航系统和/或患者和/或患者的膝盖进行配准,比如,使用一个或多
个惯性测量单元或一个或多个光学或导航标记包括红外标记,逆向反射标记,射频标记或
集成到光学头戴式显示器中,附加到光学头戴式显示器或与光学头戴式显示器分离的图像
和/或视频捕获系统,以便在三维对象坐标系中捕获指针的位置和指针尖端的地点,位置,
定位和方向,该三维对象坐标系可以与术中数据互相参照。
拟数据,虚拟手术计划,术中数据,比如,术中成像和患者实时数据可以在同一坐标系中配
准,可选地通过各种坐标转移。外科医生可选地接触与术前成像/虚拟数据和/或术中数据
中被点击或圈出的结构相对应的结构,比如,患者实时数据中的患者术中图像数据,即患者
实时膝盖(live knee),比如,通过具有指针的关节镜可以看到,该指针可以包括或携带一
个或多个惯性测量单元或一个或多个光学或者导航标记包括红外标记,逆向反射标记,射
频标记,或可以使用集成到光学头戴式显示器中,附加到光学头戴式显示器或与光学头戴
式显示器分离的图像和/或视频捕获系统来配准。可选择通过一个或多个入口引入超声探
针,并且超声探针可以用于术中成像,比如,除了X射线成像外。超声探针可用于识别比如,
前交叉韧带原点,前交叉韧带附着部和/或任何近端或远端前交叉韧带残余。超声探针可以
包括或携带一个或多个惯性测量单元或一个或多个光学或导航标记,包括红外标记,逆向
反射标记,射频标记,其可以使用集成到,附加光学头戴式显示器到或与光学头戴式显示器
分离的图像和/或视频捕获系统进行配准。
征。光学指针可以包括或携带一个或多个惯性测量单元或一个或多个光学或导航标记,包
括红外标记,逆向反射标记,射频标记,其可以使用集成到,附加光学头戴式显示器到或与
光学头戴式显示器分离的图像和/或视频捕获系统或导航系统进行配准。每当光学指针突
出显示患者的一个或多个解剖学标志,表面和特征时,该区域可以通过关节镜的成像系统
或通过集成到光学头戴式显示器,附着于光学头戴式显示器或与光学头戴式显示器分离的
图像和/或视频捕获系统来捕获。以这种方式,可以在患者实时数据中识别相应的解剖标
志,表面和特征,并且可以与患者虚拟数据和/或患者的术中数据互相参照和配准。
关联地进行配准。为此目的,物理和可选的虚拟关节镜,手术器械,探针,指针,前交叉韧带
移植物,股骨和/或胫骨锚和其他虚拟设备和/或虚拟股骨和/或胫骨隧道可以与光学头戴
式显示器或导航系统和/或患者和/或患者的膝盖,比如,使用一个或多个惯性测量单元或
一个或多个光学或导航标记,包括红外标记,逆向反射标记,射频标记或者集成到,连接到
光学头戴式显示器或与光学头戴式显示器分开的图像和/或视频捕获系统,以便在三维对
象坐标系中捕获关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和 /或胫骨锚和其
他装置的位置,和关节镜,手术器械,探针,指关节前交叉韧带移植物,股骨和/或胫骨锚和
其他装置的定位,位置,定位,方向。
描,比如,用于拟定虚拟手术计划。在手术期间所用显像模式(比如,超声)可以与用于生成
患者虚拟数据的显像模式不同,并且可选地,与虚拟手术计划(比如,核磁共振) 不同。
射频标记,图像捕获标记(比如,发光二极管)等。只有一个或多个器械可以与患者虚拟数据
或患者术中数据相关地进行配准,而关节镜不能配准。只有关节镜可以与患者虚拟数据或
患者术中数据相关联地配准,而一个或多个工具不能被配准。可以使用说明书中描述的或
本领域已知的任何标记物。可以配准关节镜和/或一个或多个器械的位置和/或方向,比如,
与在术中图像数据上识别的或与患者虚拟数据相关的一个或多个解剖标志相关联,比如,
术前X射线,计算机断层扫描,核磁共振或超声,或与虚拟手术计划有关。
签,钉和/或螺钉。
远端残余物或两者的组合的图像,比如,通过其中一个入口插入。然后,可以在计算机监视
器上或在光学头戴式显示器的投影中获得可比较的投影,其中虚拟数据以及患者实时数据
的视角和放大倍率可以基本上相似并且可以迭加,比如,以视觉方式在光学头戴式显示器
上迭加。一旦获得了患者实时数据和患者虚拟数据的视角和放大倍率的实质相似,就可以
比如,在同一坐标系中或在具有已知坐标转移的单独坐标系中配准数据。关节镜,手术器
械,探针,指针,前交叉韧带移植物,股骨和/或胫骨锚和其他装置可以包括或附接一个或多
个惯性测量单元或一个或多个光学或导航标记,包括红外标记,逆向反射标记,射频标记,
或其可以使用集成到光学头戴式显示器中,附接到光学头戴式显示器,或者与光学头戴式
显示器分离的图像和/或视频捕获系统,从而关节镜,手术器械,探针,指针,前交叉韧带移
植物,股骨和/或胫骨锚和其他装置可以在它们被移动时保持配准,比如,在初始配准之后
使用患者的物理和虚拟数据的基本相似的投影。
预定股骨隧道的位置或附近。可以配准一个或多个钉的位置,比如,使用图像和/ 或视频捕
获系统或一个或多个附加的惯性测量单元或光学标记或导航标记,包括红外标记,逆向反
射标记,射频标记。以这种方式,通过将钉和/或一个或多个惯性测量单元,光学标记或导航
标记保持在适当位置或通过使用集成到光学头戴式显示器,附接到光学头戴式显示器或与
光学头戴式显示器分离的图像和/或视频捕获系统,保持股骨和/或胫骨配准,即使膝盖移
动到不同的位置,即不同的屈曲,伸展,旋转,外展,内收等角度。
如,在预定胫骨隧道的位置或附近。可以配准一个或多个钉的位置,比如,使用图像和/或视
频捕获系统或一个或多个附加的惯性测量单元或光学标记或导航标记。以这种方式,通过
将钉和/或一个或多个惯性测量单元或光学标记或导航标记保持在适当位置或通过使用集
成到光学头戴式显示器,附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/
或视频捕获系统,保持胫骨和/或股骨配准,即使膝盖移动到不同的位置,比如,不同的屈
曲,伸展,旋转,外展,内收等角度。
或视频捕获系统可视化,或者可选地通过关节镜可视化
头戴式显示器或与光学头戴式显示器分开的图像和/或视频捕获系统
到光学头戴式显示器中,附加到光学头戴式显示器或与光学头戴式显示器分离的图像和/
或视频捕获系统测量物理器械,设备或移植物的投影路径以及虚拟器械,设备,移植物或隧
道的虚拟路径
性测量单元或光学标记物或导航标记物包括红外标记物,逆向反射标记物,射频标记物,的
地点,位置,定向,方向,可以使用光学头戴式显示器或导航系统捕获,或关节镜,手术器械,
探针,指针,前交叉韧带移植物,股骨捕获和/或胫骨锚和其他装置的地点,位置,定向,方
向,可以使用集成到光学头戴式显示器中,附接到光学头戴式显示器或者与光学头戴式显
示器分离的图像和/或视频捕获系统捕获,并且比如,一旦配准完成,光学头戴式显示器和/
或关节镜系统的显示监视器可以计算和/或显示用于物理手术器械的投射路径,比如,探针
或钻头。物理手术器械的投射路径比如,可以与预定的股骨隧道,胫骨隧道,前交叉韧带移
植物或锚或挤压螺钉中的一个或多个的预定位置和/或方向平行,重迭,迭加,或垂直或者
以预定的角度定向。随着物理关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或
胫骨锚和其他装置的地点,位置,方向,方向的改变,投射路径可以改变。投射路径可以是物
理关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨锚和其他装置中的一
个或多个的长轴或其他轴或行进方向的延伸。投射路径可以由光学头戴式显示器以三维立
体或三维非立体或二维形式显示,可选地具有不同的颜色或图案。投射路径可以由关节镜
系统的显示监视器和/或两者显示。
且可选地,由关节镜单元的监视系统显示。由于通过关节镜获得并且可选地通过关节镜系
统显示监视器显示的患者膝盖和内部结构的图像通常被放大,因此,投射路径的显示也可
以被放大,比如,匹配关节镜显示器或系统的放大系数。物理器械的任何非可视化部分的投
射路径和/或任何虚拟器械或虚拟显示的显示可以在放大倍率上与关节镜图像的放大倍率
或关节镜系统的固有放大倍率匹配,或者可选地,放大倍率略小于或大于关节镜或关节镜
监视器显示设备的放大倍数。
的一个或多个的虚拟路径。虚拟路径可以与手术器械的预定路径重合或基本上对准或平行
或与手术器械的预定路径相同。比如,虚拟路径可以与预定的股骨隧道,胫骨隧道,前交叉
韧带移植物或锚或挤压螺钉中的一个或多个的预定位置和/或方向平行,重迭,迭加,或垂
直或者以预定的角度定向。虚拟路径可以通过光学头戴式显示器投影,可选地以三维立体
或三维非立体或二维形式投影,可选地具有不同的颜色或图案。虚拟路径可以由关节镜系
统的显示监视器投射。虚拟器械和/或设备,比如,虚拟关节镜,手术器械,探针,指针,前交
叉韧带移植物,股骨和/或胫骨锚和其他虚拟设备也可以由光学头戴式显示器和/或关节镜
系统显示监视器显示。
并且可选地,由关节镜单元的显示监视器系统显示。由于通过关节镜获得并且可选地通过
关节镜系统显示监视器显示的患者膝盖和内部结构的图像通常被放大,虚拟路径或任何虚
拟器械或装置,比如,关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨锚
和其他虚拟设备,的显示,也可以被放大,比如,匹配关节镜显示器或系统的放大系数。虚拟
路径和/或任何虚拟器械或设备的显示可以在放大倍率上与关节镜图像的放大倍率或关节
镜系统的固有放大倍率匹配,或者可选地,可以在放大倍率上略微小于或大于关节镜或关
节镜监视器显示设备的放大倍率。虚拟路径和/或任何虚拟器械或设备的显示可以使用不
同的颜色或图案,比如,不同于患者实时数据,包括膝盖内部结构的关节镜图像。
定位在相同的位置,比如,相同度数的屈曲,伸展,外展,内收,内部或外部旋转,用于获取将
用于术前数据配准的数据,比如,术前图像数据和/或运动学数据,术中数据,比如,术中图
像数据和/或运动学数据,和/或患者实时数据,比如,通过光学头戴式显示器观察到的数
据,比如,膝关节的患者实时数据或通过光学头戴式显示器或关节镜的显示监测设备观察
到的数据系统,比如,患者膝盖内部结构的患者实时数据。通过在肢体或目标组织或关节的
相同位置获取这些术前,术中和患者实时数据,可以遇到较少的定位变化,这可以说明促进
使用说明书中描述的任何方法进行配准。比如,上臂支架或腿支架可用于获得术前图像数
据,比如,四肢或目标关节或目标组织的X射线图像,超声数据,计算机断层扫描或核磁共振
数据;上臂或腿支架可以将肢体或目标关节或目标组织固定在一个或多个位置。可以使用
相同或类似的上臂支架或腿支架来获得术中图像数据,比如,肢体或目标关节或目标组织
的X射线图像,超声数据,计算机断层扫描或核磁共振数据;上臂或腿保持器可以将肢体或
目标关节或目标组织固定在一个或多个位置以用于术中数据采集。可以获得包括从患者关
节内部获得的关节镜数据的患者实时数据,其中肢体,目标关节或目标组织处于与获得术
前或术中数据时所用位置相似的位置。可以以这种方式而便于配准患者的两个或更多个术
前数据,患者的术中数据,患者虚拟数据,患者的虚拟手术计划或患者实时数据(包括关节
镜图像或从患者关节内获得的其他数据)使。
合术,椎体成形术,椎体后凸成形术,脑外科手术,其他器官手术,如肝脏,肾脏,脾脏,肠道
手术以及切除任何种类的肿瘤。
节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨锚和其他装置。光学头戴式
显示器还可以显示一个或多个物理手术器械或装置的虚拟路径,比如,关节镜,手术器械,
探针,指针,前交叉韧带移植物,股骨和/或胫骨锚和其他装置。虚拟路径可以是来自虚拟手
术计划的预定路径。
物或虚拟移植物位置的显示。或者,光学头戴式显示器可以显示相应的虚拟手术器械或装
置,比如,关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨锚和其他装置,
的虚拟位置,并且手术者可选地将一个或多个物理手术器械或装置与虚拟手术器械或装置
对准。或者,光学头戴式显示器可以显示虚拟手术器械或装置的位置和/或方向和/或行进
方向或方向,以及虚拟隧道,虚拟移植物或虚拟移植物位置和物理手术器械或装置(比如,
探钉或钻头)中的一个或多个,和/或它们的投射路径,可以对准虚拟手术器械或装置和/或
虚通道,虚拟移植物或虚拟移植物的组合。
物可以由光学头戴式显示器和/或关节镜系统的显示设备使用不同的图案和颜色显示,比
如,实线,折线,虚线,不同颜色(比如,绿色,红色,蓝色,橙色),不同厚度,不同不透明度或
透明度。
针,指针,前交叉韧带移植物,股骨和/或胫骨锚和其他装置。关节镜,手术器械,探针,指针,
前交叉韧带移植物,股骨和/或胫骨锚和其他装置可以被配准,比如,相对于患者虚拟数据。
关节镜或一个或多个关节镜器械,比如,探针或指针,可应用于膝关节内的各种解剖标志,
通过关节镜可视化,并与患者虚拟数据对准(比如,术前扫描数据和/ 或手术扫描数据)。
道的轴,位置和/或方向对准。或者,可以通过光学头戴式显示器和/或关节镜系统的显示设
备显示虚拟路径,并且物理钻头(比如,物理钻头的长轴)和物理钻头的入口点可以与虚拟
路径对准。这可以用单束和双束技术实施。这也可以针对移植物的股骨和/或胫骨隧道和股
骨和/或胫骨侧单独进行。如果使用胫骨技术,股骨和胫骨隧道可以在虚拟手术计划和光学
头戴式显示器或关节镜系统显示设备的虚拟显示器中以给定角度连接膝关节屈曲 (和/或
旋转),以便虚拟手术计划与外科医生的预期胫骨技术一致。
戴式显示器配准。还可以利用集成到光学头戴式显示器中,附接到光学头戴式显示器或与
光学头戴式显示器分离的图像和/或视频捕获系统来捕获镜的位置和/或方向。外科医生可
以在远端股骨或近端胫骨的目标区域上来回移动关节镜,比如,接近隧道放置区域或前交
叉韧带原点和/或插入物等区域。通过在目标区域上来回移动镜,可以获得表面形貌和/或
形状的视觉感知。此外,由于可以使用一个或多个惯性测量单元,光学标记,导航标记,其包
括红外标记,逆向反射标记,射频标记,和/或图像和/或视频捕获系统而在坐标系中配准
镜,因此目标区域的表面形貌和/或形状也可以与镜和/或光学头戴式显示器及其各自的对
象坐标系相关地被捕获和配准。当镜在目标区域上来回移动时,可以通过镜在镜的不同角
度方向上获得目标区域的多个投影。可选地,目标区域的这些多个角度投影可以用于重建
目标区域的三维表面或者从镜图像数据估计目标区域表面或三维形貌或形状。可以将表面
形貌和/或形状与患者虚拟数据中的目标区域的表面形貌和/或形状进行比较,或者可选
地,与患者的术中数据进行比较。使用本领域已知的标准图像处理技术和特征比较,可以在
镜图像数据和患者虚拟数据中识别基本相似的表面形貌和/或形状,并且可以执行镜图像
数据和患者实时数据,患者虚拟数据和/或光学头戴式显示器的配准。现在可以知道对象坐
标变换的目的是进行配准。
(circular fashion)获得关节内结构的深度透视或拟三维效果,包括比如,各个隧道进入
区域的关节镜单元的视觉表示;当外科医生以这种方式移动关节镜时,可以使用一个或多
个惯性测量单元或附接到关节镜的光学标记和/或导航标记,其包括红外标记,逆向反射标
记,来监测关节镜运动,包括角度或方向的变化,或者其可以通过集成到,附接到 OHMD或与
OHMD分离的图像和/或视频捕获系统来监测。该软件可以通过角度定向和/ 或方向的变化
来保持关节镜系统与患者虚拟数据和患者实时数据的配准,并且虚拟手术器械,装置,移植
物或隧道和/或虚拟手术计划的显示在光学头戴式显示器中保持稳定。
多个或全部。比如,可以在虚拟手术计划上以预定位置,定位,定向和/或方向显示每一虚拟
器械,使得外科医生可以将用于前交叉韧带重建的物理器械与光学头戴式显示器显示的虚
拟器械或股骨或胫骨侧的虚拟隧道或股骨或胫骨侧的中央隧道轴或虚拟前交叉韧带移植
物对准。光学头戴式显示器还可以显示虚拟手术器械的虚拟路径,其中虚拟路径可以是来
自虚拟手术计划的预定路径。光学头戴式显示器还可以显示在患者实时数据中所用物理手
术器械的投射路径。
或胫骨移植部分,它只能在股骨,关节内或胫骨区域显示中心线或轴,或者它可以显示移植
物的方向箭头。
的步骤和虚拟器械的顺序。对虚拟手术计划的改变可以包括手术步骤顺序的改变,手术方
法的改变,比如,股骨优先,胫骨优先,经胫骨,省略选择的手术步骤,添加手术步骤,重新定
向虚拟手术隧道,重新定向虚拟手术移植等
术,则股骨隧道可以是经调整的胫骨隧道的延伸。对向隧道的虚拟手术计划中的调整也可
以是手动的,比如,由外科医生进行,比如,在外科医生已经调整第一物理隧道并且改变其
相对于虚拟手术计划的位置之后。在虚拟手术计划或物理手术中,在第一隧道的位置和 /
或方向已经改变之后,软件可选地重新计算相对的胫骨隧道的位置,以用于不同的伸展,弯
曲和旋转角度。
复的任何手术技术或方法,并且可以由光学头戴式显示器显示。这样的手术技术或方法可
以包括但不限于,开放式外科前交叉韧带重建或修复,关节镜手术前交叉韧带重建或修复,
所有内部前交叉韧带重建或修复,经胫骨前交叉韧带重建,股骨第一技术,胫骨第一技术,
使用挤压螺钉或其他类型的锚,单束和双束技术,髌骨自体移植技术,半腱肌腱技术,其他
类型的肌腱移植技术,同种异体移植技术。
一个或多个的任何非可视部分。由于物理关节镜,手术器械,探针,指针,前交叉韧带移植
物,股骨和/或胫骨锚和其他装置的几何形状,形状和尺寸是已知的,可选择使用图像和/或
视频捕获系统来捕获一个或多个关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨
和/或胫骨锚和其他装置的可视化部分。可选的标记(比如,厘米或毫米标记),可用于识别
物理关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨锚和其他装置的哪
些部分可见以及哪些不可见。然后,软件可以识别关节镜,手术器械,探针,指针,前交叉韧
带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置的哪些部分不包括在图像捕
获数据中或者不可视化,并且该软件可以计算关节镜,手术器械,探针,指针,前交叉韧带移
植物,股骨和/或胫骨隧道,股骨和/或胫骨锚点和其他装置的非可视化部分的地点,位置,
方向和大小/放大倍率(如果适用),然后,可以由光学头戴式显示器选择性显示,比如,作为
物理关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫
骨锚点和其他设备的可视化部分的延伸。可以使用说明书中描述的用于显示物理关节镜,
手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装
置的非可视化部分的其他手段。物理关节镜,手术器械,探针,指针,前交叉韧带移植物,股
骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置的非可视化部分可由光学头戴式显示器,
关节镜系统的显示设备或两者显示。
他装置的一个或多个投射路径,和/或可以显示一个或多个虚拟关节镜,手术器械,探针,指
针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置,和/ 或用于一
个或多个虚拟关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨
和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。在一些实施方案中,
关节镜系统的显示单元,比如,所用的一个或多个电子监视器,可以显示一个或多个物理关
节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚点
和其他装置的一个或多个投射路径,和/或它可以显示一个或多个虚拟关节镜,手术器械,
探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/ 或胫骨锚和其他装置,和/或
用于一个或多个虚拟关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧
道,股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。在本发明的
一些实施方案中,光学头戴式显示器和关节镜系统的显示单元两者,比如,所用的一个或多
个电子监视器,可以显示一个或多个物理关节镜,手术器械,探针,指针,前交叉韧带移植
物,股骨和/或胫骨隧道,股骨和/或胫骨锚点和其他装置的一个或多个投射路径,和/或可
以显示一个或多个虚拟关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨
隧道,股骨和/或胫骨锚和其他装置,和/ 或用于一个或多个虚拟关节镜,手术器械,探针,
指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置的一个或多个
虚拟路径和/或虚拟手术计划。
物理关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫
骨锚和其他装置的一个或多个投射路径,和/或可以显示一个或多个虚拟关节镜,手术器
械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置,和/
或用于一个或多个虚拟关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨
隧道,股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。关节镜系
统的显示单元,比如,一个或多个电子监视器,可以显示一个或多个物理关节镜,手术器械,
探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置的一个
或多个投射路径,和/或可以显示一个或多个虚拟关节镜,手术器械,探针,指针,前交叉韧
带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置,和/或用于一个或多个虚拟
关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚
和其他装置的一个或多个虚拟路径和/或虚拟手术计划,其使用反映或对应于关节镜系统
的显示设备的放大倍率的放大倍率或尺寸,用于从患者膝关节内部显示患者实时数据,使
得用于一个或多个物理关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨
隧道,股骨和/或胫骨锚和其他装置的一个或多个投射路径,和/或一个或者更多虚拟关节
镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其
他装置,和/或用于一个或多个关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/
或胫骨隧道,股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划,它
们的尺寸和/或放大倍率与关节镜系统可视化的患者膝关节内结构的实时显示相匹配。以
这种方式,外科医生可以以无缝方式在患者的实时关节内图像数据和患者的投影数据和虚
拟数据之间工作,因为它们具有匹配的尺寸和/或放大倍率。
锚和其他装置的一个或多个投射路径的放大倍率,和/或一个或多个虚拟关节镜,手术器
械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置,和/
或用于一个或多个虚拟关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨
隧道,股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划的放大倍率
可以改变。关节镜系统的显示设备的放大倍率可以改变;比如,它可以增加或减少,以及用
于显示一个或多个物理关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨
隧道,股骨和/或胫骨锚和其他装置的一个或多个投射路径的放大倍率,和/或一个或多个
虚拟关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/ 或胫骨隧道,股骨和/或胫
骨锚和其他装置,和/或和/或用于一个或多个虚拟关节镜,手术器械,探针,指针,前交叉韧
带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或
虚拟手术计划的放大倍率可以相应改变。
光学头戴式显示器可选地显示一个或多个物理关节镜,手术器械,探针,指针,前交叉韧带
移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置的一个或多个投射路径,和/或
可以显示一个或多个虚拟关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/ 或胫
骨隧道,股骨和/或胫骨锚和其他装置,和/或用于一个或多个虚拟关节镜,手术器械,探针,
指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置的一个或多个
虚拟路径和/或虚拟手术计划。
和/或可以显示一个或多个虚拟关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/
或胫骨隧道,股骨和/或胫骨锚和其他装置,和/或用于一个或多个虚拟关节镜,手术器械,
探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置的一个
或多个虚拟路径和/或虚拟手术计划的放大倍率,可以切换回来反映或对应光学头戴式显
示器或外科医生的眼睛与患者膝盖的距离,或者当外科医生再次看着患者的膝盖时,放大
倍率可以比关节镜系统的显示设备更小或更大。
置的一个或多个投射路径,和/或它可以显示一个或多个虚拟关节镜,手术器械,探针,指
针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置,和/ 或用于一
个或多个虚拟关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨
和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。关节镜系统的显示单
元,比如,一个或两个电子监视器,可以显示一个或多个物理关节镜,手术器械,探针,指针,
前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置的一个或多个投射
路径,和/或可以显示一个或多个虚拟关节镜,手术器械,探针,指针,前交叉韧带移植物,股
骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置,和/或可以显示用于一个或多个虚拟关节
镜,手术器械,探针,指针,前交叉韧带移植物,股骨和 /或胫骨隧道,股骨和/或胫骨锚和其
他装置的一个或多个虚拟路径和/或虚拟手术计划,其放大倍率反映或对应于通过关节镜
看到并通过关节镜设备的显示设备显示的从患者膝盖内部投射的结构的实时数据的放大
倍率,或者小于或大于其放大倍数。
器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚点和其他装置
的一个或多个投射路径,和/或一个或多个虚拟关节镜,手术器械,探针,指针,前交叉韧带
移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置,和/或用于一个或多个虚拟关
节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和
其他装置的一个或多个虚拟路径和/或虚拟手术计划。关闭或打开一个或多个物理关节镜,
手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装
置的一个或多个投射路径,和/或一个或多个虚拟关节镜,手术器械,探针,指针,前交叉韧
带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置,和/或和/或用于一个或多个
虚拟关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫
骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划,的显示器,可通过来自各种输
入系统的手动命令,语音命令,各种命令执行或自动执行。比如,通过使用集成到光学头戴
式显示器中,附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获
系统,可以实现自动开启或关闭。图像和/或视频捕获系统可以比如,捕获关节镜系统的显
示设备的轮廓,并且软件可以自动关闭 OHMD显示器或OHMD显示器的各方面。或者,关节镜
系统的显示设备可以具有一个或多个标记,比如,一个或多个发光二极管,图像和/或视频
捕获系统可以检测到这些标记,然后可以触发开启或关闭光学头戴式显示器显示屏。
戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统。图像和/或视频捕获系
统可以比如,捕获关节镜系统的显示设备的轮廓,并且软件可以自动调整光学头戴式显示
器显示项目的放大倍率,使其反映,对应于,小于或大于关节镜系统的显示设备使用的患者
膝盖内部的实时数据/图像的放大倍率。或者,关节镜系统的显示设备可以具有一个或多个
标记,比如,一个或多个发光二极管,图像和/或视频捕获系统可以检测到这些标记,然后可
以触发调整所显示项目的放大倍率。
光学头戴式显示器分离的图像和/或视频捕获系统。比如,图像和/或视频捕获系统可以检
测到关节镜系统的显示设备的轮廓不存在于捕获的图像数据中,并且软件可以自动调整光
学头戴式显示器显示项目的放大倍率,放大倍率反映或对应于光学头戴式显示器或外科医
生的眼睛与患者膝盖的距离,或者小于或大于此距离。或者,关节镜系统的显示设备可以具
有一个或多个图像和/或视频捕获系统可以检测到的标记,比如,一个或多个发光二极管;
在该情况下,当图像捕获系统注意到一个或多个发光二极管不包括在图像捕获数据中时,
软件可以自动调整光学头戴式显示器显示项目的放大倍率,使其反映或对应于光学头戴式
显示器或外科医生的眼睛与患者膝盖的距离,或者小于或大于此距离。类似地,光学头戴式
显示器可以检测放置在患者膝盖上的标记或发光二极管,包括集成到光学头戴式显示器
中,附接到光学头戴式显示器或与光学头戴式显示器分离的图像和/或视频捕获系统,从而
触发放大倍率的调整,使其反应,对应于光学头戴式显示器或外科医生的眼睛与患者膝盖
的距离,或者小于或大于外科医生或手术者看病人膝盖时的距离。
可选地,光学头戴式显示器可以代替关节镜系统的显示设备,或者可以是关节镜系统的显
示设备。在该示例中,光学头戴式显示器可以显示关节镜收集的患者膝盖内的实时数据,并
将其投射给外科医生。光学头戴式显示器还可以显示一个或多个物理关节镜,手术器械,探
针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚点和其他装置的一个
或多个投射路径,和/或可以显示一个或多个虚拟关节镜,手术器械,探针,指针,前交叉韧
带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置,和/或用于一个或多个虚拟
关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚
和其他装置的一个或多个虚拟路径和/或虚拟手术计划,以及患者膝盖内的实时图像。在该
实施方案中,光学头戴式显示器可选地匹配一个或多个物理关节镜,手术器械,探针,指针,
前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚点和其他装置的一个或多个投
射路径,和/或可以显示一个或多个虚拟关节镜,手术器械,探针,指针,前交叉韧带移植物,
股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置,和/或用于一个或多个虚拟关节镜,手
术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其他装置
的一个或多个虚拟路径和/或虚拟手术计划的相对于关节镜收集的患者膝盖内的实时数据
的放大倍率,使其相对于关节镜收集的患者膝盖内的实时数据的放大倍率。光学头戴式显
示器还可以应用比关节镜收集的患者膝盖内的实时数据放大倍率更大或更小的尺寸,用于
一个或多个物理关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股
骨和/或胫骨锚点和其他装置的一个或多个投射路径,和/或可以显示一个或多个虚拟关节
镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/或胫骨锚和其
他装置,和/或用于一个或多个虚拟关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨
和/或胫骨隧道,股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划。
明并且可以显示比如,由关节镜从患者膝盖内收集的实时(电子)图像,并且,还可选地显示
一个或多个物理关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股
骨和/或胫骨锚点和其他装置的一个或多个投射路径,和/或可以显示一个或多个虚拟关节
镜,手术器械,探针,指针,前交叉韧带移植物,股骨和/或胫骨隧道,股骨和/ 或胫骨锚和其
他装置,和/或用于一个或多个虚拟关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨
和/或胫骨隧道,股骨和/或胫骨锚和其他装置的一个或多个虚拟路径和/或虚拟手术计划
(具有各种选择的匹配或不匹配的放大倍率)。在该情况下,光学头戴式显示器还可以显示
物理关节镜,手术器械,探针,指针,前交叉韧带移植物,股骨和 /或胫骨隧道,股骨和/或胫
骨锚和其他装置的电子图像及其各自的运动,比如,用集成到光学头戴式显示器中,附加到
光学头戴式显示器或与光学头戴式显示器分离图像和/或视频捕获系统(具有各种选择的
匹配或不匹配的放大倍率)捕获。
集成到光学头戴式显示器的光学滤光器,比如,偏振光滤光器,或在光学头戴式显示器前面
或集成到光学头戴式显示器中的电子或光学滤光器(比如,液晶显示器(LCD))。手术室可以
选择使用光源,比如,偏振光或过滤光,它们支持调制或帮助调整光学头戴式显示器对从患
者膝盖或手术室反射的光线的透明度。
且也可以应用于许多内窥镜手术,和髋关节置换,膝关节置换,脊柱外科手术,脊柱融合术,
椎弓根螺钉固定术,椎体成形术和/或椎体后凸成形术以及许多其他实施方案。
则而提出的。在不背离本发明的精神和原则的情况下,可以对上述实施方案进行许多变化
和修改。可以理解,上述公开内容和其他特征和功能,或其替代方案可以合意地组合到其他
不同的系统或应用中。所有这些修改和变化应纳入本权利要求书的范围,属于所附权利要
求的范围。