利用跟踪辅助摄像机对手术部位进行功能成像

摘要

一种手术成像系统包括摄像机、第一成像器和处理单元。所述摄像机被配置成沿着第一光学路径捕获手术部位的光学图像。所述第一成像器被配置成沿着与所述第一光学路径分离的第二路径捕获所述手术部位的第一功能图像。所述处理单元被配置成根据捕获的第一功能图像和捕获的光学图像生成所述手术部位的组合视图，并且将所述组合视图传输到显示器。

权利要求

1.一种手术成像系统，其包含：

摄像机，其被配置成沿着第一光学路径捕获手术部位的光学图像；

第一成像器，其被配置成沿着与所述第一光学路径分离的第二路径捕获所述手术部位的第一功能图像；以及处理单元，其被配置成根据捕获的第一功能图像和捕获的光学图像生成所述手术部位的组合视图，并且将所述组合视图传输到显示器。

2.根据权利要求1所述的系统，其进一步包含被配置成接收所述捕获的第一功能图像和所述捕获的光学图像的所述组合视图并且显示所述组合视图的显示器。

3.根据权利要求1所述的系统，其进一步包含被配置成穿过开口以进入手术部位的内窥镜。

4.根据权利要求3所述的系统，其中所述摄像机安置在所述内窥镜内。

5.根据权利要求3所述的系统，其中所述第一成像器可释放地联接到所述内窥镜的外部表面。

6.根据权利要求3所述的系统，其中所述第一成像器包括沿着所述内窥镜的外部表面延伸以将所述第一成像器联接到所述处理单元的引线，所述引线被配置成进行向所述第一成像器供电或向所述处理单元传输捕获的第一功能图像中的至少一个。

7.根据权利要求1所述的系统，其进一步包含第二成像器，所述第二成像器被配置成沿着与所述第一光学路径和所述第二路径分离的第三路径捕获所述手术部位的第二功能图像，所述处理单元被配置成接收捕获的第二功能图像并且将所述捕获的第二功能图像与所述捕获的光学图像组合，并且将组合视图传输到显示器。

8.根据权利要求7所述的系统，其中所述处理单元被配置成将所述捕获的第一功能图像和所述捕获的第二功能图像与所述捕获的光学图像组合，并且将组合视图传输到显示器。

9.根据权利要求1所述的系统，其中所述处理单元被配置成根据由所述摄像机捕获的所述光学图像来确定所述摄像机的姿态，并且根据由所述第一成像器捕获的所述第一功能图像来确定所述第一成像器的姿态，并且其中所述处理单元被配置成基于相对于所述摄像机的所述姿态的所述第一成像器的所述姿态来生成所述组合视图。

10.一种利用处理单元在显示器上显示手术部位的视图的方法，所述方法包含：沿着第一光学路径从摄像机接收手术部位的光学图像；

沿着与所述第一光学路径分离的第二路径从第一成像器接收所述手术部位的第一功能图像；

将所述手术部位的所述第一功能图像和所述光学图像组合成组合视图；以及将所述组合视图传输到显示器。

11.根据权利要求10所述的方法，其中组合所述第一功能图像和所述光学图像包括在所述第一功能图像和所述光学图像中的每一个中定位公共物体，以将所述第一功能图像定位在所述光学图像之上。

12.根据权利要求10所述的方法，其进一步包含接收所述摄像机的姿态和接收所述第一成像器的姿态，其中组合所述第一功能图像和所述光学图像包括基于相对于所述摄像机的所述姿态的所述第一成像器的所述姿态将所述第一功能图像定位在所述光学图像之上。

13.根据权利要求10所述的方法，其进一步包含沿着与所述第一光学路径和所述第二路径分离的第三路径从第二成像器接收所述手术部位的第二功能图像。

14.根据权利要求13所述的方法，其中将所述手术部位的所述第一功能图像和所述光学图像组合成所述组合视图进一步包括将所述第二功能图像与所述第一功能图像以及所述光学图像组合。

15.根据权利要求13所述的方法，其进一步包含利用所述第二成像器延伸所述摄像机的视场。

16.一种在显示器上可视化手术部位的方法，所述方法包含：

将摄像机定位在手术部位内，以沿着第一光学路径捕获光学图像；

将第一成像器定位在所述手术部位内，以沿着与所述第一光学路径分离的第二路径捕获第一功能图像；以及在显示器上查看所述第一功能图像覆盖所述光学图像的组合视图。

17.根据权利要求16所述的方法，其进一步包含利用手术器械将所述第一成像器定位在所述手术部位内。

18.根据权利要求17所述的方法，其中定位所述第一成像器包括将所述第一成像器定位在支撑所述摄像机的内窥镜的外部表面上。

19.根据权利要求16所述的方法，其进一步包含在查看所述组合视图之前启动开关以激活所述组合视图。

说明书

利用跟踪辅助摄像机对手术部位进行功能成像

背景技术

[0001] 在手术过程期间，摄像机可以用来可视化手术部位。具体地说，在包括机器人手术的微创手术(MIS)中，可以使用专门的光学摄像机允许外科医生来可视化手术部位。

[0002] 为了理解在手术部位处的、不容易观察得到的组织的功能方面，例如，存在于次表面组织中的血液流动或某些组织发生癌变，已经开发了这些专门的摄像机和专门的成像协议。当这些专门的成像技术与典型的基于白光的内窥镜结合使用时，在微创或机器人手术中，使用专门地构造的内窥镜，该内窥镜可以允许可见光以及功能成像两者导出的数据以从相同的视点被记录。这种类型的内窥镜通常相当昂贵。

[0003] 因此，需要开发允许用于手术部位的光学和功能成像的系统，该系统可以与现有的基于白光的内窥镜一起使用，而不需要专门地构造的内窥镜。

[0004] 将期望开发和使用能够容易地定位在体内的独立摄像机，以提供这种附加的功能成像信息，并且然后将该附加的功能成像信息覆盖在现有的主要的内窥镜图像上，从而允许扩展当前内窥镜的能力，而不需要专门地构造的内窥镜。

发明内容

[0005] 在本公开的方面中，手术成像系统包括摄像机、第一成像器和处理单元。所述摄像机被配置成沿着第一光学路径捕获手术部位的光学图像。所述第一成像器被配置成沿着与所述第一光学路径分离的第二路径捕获所述手术部位的第一功能图像。所述处理单元被配置成根据捕获的第一功能图像和捕获的光学图像生成所述手术部位的组合视图，并且将所述组合视图传输到显示器。

[0006] 在各方面中，该系统包括显示器，该显示器被配置成接收捕获的第一功能图像和光学图像的组合视图，并显示该组合视图。该系统可以包括内窥镜，该内窥镜被配置成穿过开口以进入手术部位。摄像机可以被安置在内窥镜内。第一成像器可以可释放地联接到内窥镜的外部表面。第一成像器可以包括沿着内窥镜的外部表面延伸以将第一成像器联接到处理单元的引线。引线可以被配置成向第一成像器供电和/或被配置成传输捕获的第一功能图像到处理单元。内窥镜可以包括开关，该开关可在第一位置和第二位置之间移动，在第一位置中，仅光学图像被传输到显示器，并且在第二位置中，组合视图被传输到显示器。

[0007] 在一些方面中，系统包括第二成像器，该第二成像器被配置成沿着与第一光学路径和第二光学路径分离的第三路径捕获手术部位的第二功能图像。处理单元可以被配置成接收捕获的第二功能图像并将捕获的第二功能图像与捕获的光学图像组合，并被配置成传输组合视图到显示器。处理单元可以被配置成将捕获的第一功能图和第二功能图像与捕获的光学图像组合，并将组合的视图传输到显示器。

[0008] 在某些方面中，处理单元被配置成从由摄像机捕获的光学图像确定摄像机的姿态，并且从由第一成像器捕获的第一功能图像确定第一成像器的姿态。处理单元可以被配置成基于第一成像器相对于摄像机的姿态的姿态生成组合视图。

[0009] 在本公开的另一方面中，利用处理单元在显示器上显示手术部位的视图的方法包括：沿着第一光学路径从摄像机接收手术部位的光学图像；沿着与第一光学路径分离的第二光学路径从第一成像器接收手术部位的第一功能图像；将手术部位的第一功能图像和光学图像组合成组合视图；以及将组合视图传输到显示器。

[0010] 在各方面中，组合第一功能图像和光学图像包括在第一功能图像和光学图像中的每一个中定位公共物体，以将第一功能图像定位在光学图像之上。附加地或替代性地，该方法可以包括接收摄像机的姿态和接收第一成像器的姿态，并且组合第一功能图像和光学图像可以包括基于第一成像器相对于摄像机的姿态的姿态将第一功能图像定位在光学图像之上。

[0011] 在一些方面中，该方法包括沿着与第一光学路径和第二光学路径分离的第三光学路径从第二成像器接收手术部位的第二功能图像。将手术部位的第一功能图像和光学图像组合成组合视图进一步包括将第二功能图像与第一功能图像和光学图像组合。该方法可以包括利用第二成像器延伸摄像机的视场。

[0012] 在本公开的另一方面中，在显示器上的可视化手术部位的方法包括：将摄像机定位在手术部位内，以沿着第一光学路径捕获光学图像；将第一成像器定位在手术部位内，以沿着与第一光学路径分离的第二路径捕获第一功能图像；以及在显示器上查看光学图像覆盖的第一功能图像的组合视图。

[0013] 在各方面中，该方法包括利用手术器械将第一成像器定位在手术部位内。定位第一成像器可以包括将第一成像器定位在支撑摄像机的内窥镜的外部表面上。该方法可以包括在查看组合视图之前启动开关以激活组合视图。

[0014] 下面参考附图更详细地描述本公开的示范性实施例的进一步细节和方面。

附图说明

[0015] 下文参考附图描述的本公开的各个方面，该附图被并入并构成本说明书的一部分，其中：

[0016] 图1是根据本公开的手术成像系统的透视图，包括光学成像系统、处理单元、功能成像系统和显示器；

[0017] 图2是图1中所示细节区域的剖视图，绘示了患者体腔内的在图1中所示的光学成像系统的摄像机和在图1中所示的功能成像系统的成像器；和

[0018] 图3是根据本公开的利用处理单元在显示器上显示功能图像和光学图像的组合视图的方法的流程图。

具体实施方式

[0019] 现在参考附图详细描述本公开的实施例，其中在几个视图的每个中，相同的附图标记表示相同或相应的元件。如本文所使用，术语“临床医生”是指医生、护士或任何其它护理提供者，并且可以包括支持人员。在整个说明书中，术语“近端”是指设备或其的部件最靠近临床医生的部分，术语“远端”是指设备或其的部件最远离临床医生的部分。此外，如本文所使用术语“姿态”被理解为意味着物体在空间中的位置和取向。

[0020] 本公开总体上涉及手术系统，该手术系统包括捕捉手术部位的光学图像的摄像机和捕捉手术部位的功能图像的一个或多个独立的功能成像器。功能图像可以被覆盖或被涂覆在光学图像之上，以便利用显示器上的光学图像同时被查看。功能成像器可以被安置在从摄像机分离的手术部位内，使得功能成像器沿着从摄像机分离的成像路径被安置。手术系统可以包括处理单元，其使用功能成像器相对于摄像机的姿态以将功能图像数据与光学图像组合。处理单元使用摄像机和成像器的视场内的物体，例如组织结构或手术器械，以将功能图像与光学图像组合。

[0021] 现在参考图1，根据本公开提供的手术系统1包括光学成像系统10和功能成像系统30。光学成像系统10包括处理单元11、显示器18和内窥镜20。如图所示，手术系统1是腹腔镜手术系统；然而，手术系统1可以是内窥镜手术系统、开放式手术系统或机器人手术系统。对于合适的机器人手术系统的详细描述，可以参考美国专利第8,828,023号，其全部内容通过引用并入本文。

[0022] 在附加的参考图2，光学成像系统10被配置成提供患者“P”体腔内的手术部位“S”的光学视图或图像，并被配置成传输光学图像到显示器18。光学成像系统10的内窥镜20包括摄像机22，以在手术过程期间捕获手术部位“S”的光学图像，如下文详述。

[0023] 内窥镜20通过开口(自然开口或者切口)插入，以将摄像机22定位在邻近手术部位“S”体腔内，以允许摄像机22来捕获手术部位“S”的光学图像。摄像机22将捕获的光学图像传输到处理单元22。处理单元11从摄像机22接收手术部位“S”的光学图像或数据，并在显示器18上显示光学图像，使得临床医生可以可视化手术部位“S”。内窥镜20和/或摄像机22包括传感器25(图2)，该传感器在手术部位“S”的光学图像被捕获时捕获摄像机22的姿态。传感器25与处理单元11通信，使得处理单元11从传感器25接收摄像机22的姿态，并将摄像机22的姿态与被摄像机22捕获的光学图像关联。

[0024] 继续参考图1和2，功能成像系统30包括控制单元31和一个或多个功能成像器，例如成像器36。控制单元31可以与处理单元11集成或分离。功能成像系统30可以包括探针34，其通过开口被插入以将成像器36支撑在患者“P”的体腔内，以将成像器36定位邻近手术部位“S”。成像器36还可以利用手术器械(例如手术器械90)被定位在手术部位“S”内。成像器36捕获手术部位“S”的功能图像，其可以包括但不限于光学图像、IR图像、X射线图像、荧光图像、光声图像、多光谱/超光谱、超声波或Cerenikov辐射。功能图像可以提供利用内窥镜
20的摄像机22不能观察到的信息，例如，次表面组织、癌组织中的血液流量，或者摄像机22的视场以外的光学图像。成像器36将功能图像传输到控制单元31。探针34和/或成像器36包括传感器35，其在手术部位“S”的功能图像被捕获时捕获成像器36的姿态，并将成像器36的姿态传输到控制单元31。具体地，传感器35可以使用成像器36的视场内的物体来捕获成像器36的姿态。

[0025] 当功能图像从传感器35被捕获时，控制单元31从成像器36接收功能图像和成像器36的姿态，并从图像和姿态生成功能图像数据。控制单元31将功能图像数据传输到处理单元11，该处理单元从控制单元31接收功能图像数据，并将从摄像机22的光学图像与功能图像数据组合。在一些实施例中，成像器36和/或传感器35与处理单元11直接通信，使得控制单元31可能是不必要的。

[0026] 为了将来自成像器36的功能图像数据与来自摄像机22的光学图像组合，处理单元11分析光学图像和功能图像，以将功能图像与光学图像对准。处理单元11可以定位光学图像和功能图像内的手术部位“S”内的公共结构，以将功能图像与光学图像对准。具体地，处理单元11可以从光学图像内的公共结构的位置识别摄像机22的光学路径，并且从功能图像内的公共结构的位置识别成像器36的光学路径。在识别出光学路径的情况下，处理单元11转化成像器36的光学路径以与摄像机22的光学路径对准，以利用光学图像覆盖功能图像。
例如，手术器械可以在功能图像中和在光学图像中被捕获，使得手术器械可以用于识别功能图像的光学路径并将其与光学图像对准。附加地或替代性地，手术部位“S”内的结构(例如器官、植入物等)可以以类似于手术器械的方式被使用。应当理解地是，功能图像和光学图像经历空间操作，以将二维图像组合成三维信息的合成。

[0027] 摄像机22的姿态和成像器36的姿态还可以用于将功能图像与光学图像对准，与手术部位“S”内的公共结构组合或分离。当功能图像被与光学图像对准时，处理单元11可以在显示器18上利用功能图像数据覆盖或涂覆光学图像，使得临床医生可以在显示器18上与光学图像同时查看功能图像数据。内窥镜20可以包括选择器或开关21，该选择器或开关允许临床医生利用手术部位“S”的光学图像选择性地查看功能图像数据。

[0028] 继续参考图2，功能成像系统30可以包括功能成像器46，该功能成像器完全或基本上完全安置在邻近手术部位“S”的患者“P”的体腔内。类似于功能成像器36，功能成像器46可以包括传感器45，以在功能成像器46捕获手术部位“S”的功能图像时捕获成像器46的姿态。功能成像器46和传感器45分别向控制单元31传输功能图像和成像器46的姿态。控制单元31将功能图像与成像器46的姿态组合，以生成功能图像数据，该功能图像数据被传输到处理单元11。

[0029] 成像器46可以磁性地联接到安置在体腔外部的患者“P”的表面上的基底44。沿着患者“P”的表面操纵基底44可以在患者“P”的体腔内移动成像器46。此外，成像器46和/或传感器45可以将数据传输到基底44，使得基底44将数据中继到控制单元31。

[0030] 处理单元11可以将来自成像器46的功能图像数据与来自摄像机36的功能图像数据组合，并同时地将两组功能图像数据与来自摄像机22的光学图像两组覆盖。附加地或替代性地，处理单元11可以允许临床医生选择哪个功能图像数据(如果有的话)以覆盖来自摄像机22的光学图像。功能成像系统30可以围绕手术部位“S”移动功能成像器46，以在手术部位“S”内的多个位置处记录信息，使得在手术过程期间功能图像数据可以被“涂覆”在光学图像之上。

[0031] 仍然参考图2，功能成像系统30可以包括可释放地联接到内窥镜20的壁或安置在该内窥镜壁内的成像器56。成像器56类似于上面详述的成像器36，从而，为了简洁起见，将不详细描述成像器56和成像器36之间的相似性。在手术过程期间，成像器56可以延伸出内窥镜20，或者通过手术器械(例如手术器械90)放置在内窥镜20上。成像器56可以包括传感器55，或者内窥镜20的传感器25可以在从成像器56的功能图像被捕获时捕获成像器56的姿态。成像器56可以包括沿着内窥镜20延伸的引线57，以将成像器56电连接到处理单元11。引线57可以向成像器56递送电力，并将来自成像器56的数据传输到处理单元11或控制单元31。

[0032] 如上所述，成像器(例如成像器36、46、56)可以捕获手术部位“S”的光学图像，包括摄像机22的视场以外的数据。处理单元11可以将来自成像器36、46、56的光学图像与来自摄像机22的光学图像组合，用于在显示器18上查看，使得临床医生可以可视化手术部位“S”的延伸视场，超出了单独使用摄像机22可能的。此外，当使用多种成像器时，成像器中的一个(例如成像器56)可以提供光学图像，而其它成像器(例如成像器36、46)可以提供功能图像，该功能图像可以被摄像机22的光学图像和来自其它成像器(例如成像器56)两者的光学图像覆盖。

[0033] 成像器(例如成像器36、46、56)可以与处理单元11和/或控制单元31无线通信。无线通信可以是射频、光学、WIFI、 (用于在短距离之上(使用短长度无线电波)从固定和移动设备交换数据的开放式无线协议)、 (基于无线个人区域网(WPANs)的IEEE802.15.4-2003标准的使用小型低功率数字无线电的一套高级通信协议说明书)、超宽带无线电(UWB)等。

[0034] 参考图3，参考图1和图2的手术系统1，根据本公开描述了在利用处理单元的显示器上显示功能图像和光学图像的组合视图的方法100。最初，处理单元11从摄像机22接收光学图像(步骤110)，并且可以在光学图像被捕获时接收摄像机22的姿态(步骤112)。处理单元1也从成像器36接收功能图像(步骤120)，并且可以在功能成像器被捕获时接收成像器36的姿态(步骤122)。应当理解地是，步骤110、112、120和122可以并行或串行发生。

[0035] 随着处理单元11接收光学图像和功能图像，处理单元11将功能图像与光学图像组合(步骤130)。如上所详述，处理单元11可以在光学图像和功能图像中识别或定位公共物体，以识别成像器36相对于摄像机22的姿态的光学路径或姿态(步骤132)。处理单元11然后可以将功能图像转化到摄像机22的光学路径，使得功能图像覆盖光学图像。附加地或替代性地，处理单元11可以使用在上述步骤112、122中接收的摄像机22的姿态和成像器36的姿态以将功能图像转化到摄像机22的光学路径(步骤134)。在一些实施例中，处理单元11执行步骤134，并通过随后执行步骤132来微调转化。

[0036] 在组合功能图像和光学图像之后，处理单元11将组合视图传输到显示器18，用于被临床医生可视化。应当理解地是，组合视图基本上是实时传输的，以增加临床医生在手术过程期间的情境认知。

[0037] 应当理解地是，与利用具有集成在一起的光学和功能摄像机的单个专门的内窥镜相比，利用与内窥镜组合的独立功能摄像机利用减少的成本增加了手术部位的可视化。此外，通过允许多种功能成像器安置在手术部位内，临床医生可以延伸手术部位的视场。进一步，每个功能成像器可以提供手术部位的功能视图，该手术部位的功能视图可以选择性地被具有内窥镜提供的光学图像覆盖，在手术过程期间向临床医生提供更大的可视化灵活性。通过增加可视化，延伸手术部位的视场，并提供可视化更大灵活性，手术结果可以被改进，手术时间可以被减少，和/或手术过程成本可以被减少。

[0038] 虽然在附图中已经示出了本公开的几个实施例，但是并不意图将本公开限制于此，因为意图是本公开同在本领域所允许的范围中是一样广泛的，并且说明书同样被阅读。上述实施例的任何组合也是可预见的，并且在所附权利要求的范围内。因此，上述描述不应被解释为限制性的，而仅仅是特定实施例的示例。本领域技术人员将在其所附权利要求的范围内设想其它修改。