在解剖手术期间用于手术工具定位的方法和系统

摘要

为了在解剖手术期间定位手术工具，图像捕捉设备(218)捕捉手术位置的图像，并且处理器(202)基于颜色和/或几何约束，确定(906)存在于图像中的手术工具(例如，406b)的物理特性。基于手术工具的物理特性，检测(908)手术工具的2D掩模。此外，当手术工具的2D掩模在手术工具的顶端和/或末端被遮蔽时，估计(912)手术工具的姿态。

权利要求

1.一种在解剖手术期间用于手术工具定位的系统，所述系统包括：

通信耦合到图像捕捉设备的图像处理引擎中的一个或多个电路，其中所述图像捕捉设备被配置成捕捉一个或多个视频帧，每个视频帧具有一个或多个区域，所述一个或多个电路被配置成：基于一个或多个颜色和几何约束，确定存在于所述一个或多个视频帧中的一个或多个手术工具的一个或多个物理特性；

基于所述一个或多个手术工具的所确定的一个或多个物理特性，检测存在于所述一个或多个视频帧中的所述一个或多个手术工具的二维2D掩模；以及当所述一个或多个手术工具的所述2D掩模在所述一个或多个手术工具的顶端和/或末端处被遮蔽时，估计所述一个或多个视频帧中的所述一个或多个手术工具的姿态，其中所述一个或多个电路还被配置成基于沿着第一方向向量的所述一个或多个手术工具的所检测出的2D掩模的分析，估计所述一个或多个视频帧中的所述一个或多个手术工具的所述顶端和/或所述末端的位置，所述第一方向向量沿着所述一个或多个手术工具的所检测出的

2D掩模的纵向主轴延伸。

2.按照权利要求1所述的系统，其中所述一个或多个电路还被配置成当所述一个或多个视频帧被一个或多个烟块遮蔽时，从所述一个或多个视频帧中去除所述一个或多个烟块，以生成无烟视频帧。

3.按照权利要求2所述的系统，其中所述一个或多个电路还被配置成在所述一个或多个视频帧之前的一组视频帧之中的每个视频帧中，检测一个或多个烟区。

4.按照权利要求3所述的系统，其中基于在所述一个或多个视频帧之前的所述一组视频帧之中的每个视频帧中的所检测出的一个或多个烟区中的一组像素的累积强度，从所述一个或多个视频帧中去除所述一个或多个烟块。

5.按照权利要求2所述的系统，其中所述一个或多个电路还被配置成基于所述无烟视频帧中的所述一个或多个手术工具的所检测出的2D掩模之中的所述一个或多个手术工具的颜色特性，进行轮廓演化。

6.按照权利要求5所述的系统，其中基于在所述无烟视频帧中的所检测出的2D掩模的轮廓之内和/或之外的区域的曲率和强度变化，进行所述轮廓演化。

7.按照权利要求5所述的系统，其中所述一个或多个电路还被配置成基于所述轮廓演化，进行所述无烟视频帧的分割，以检测所述无烟视频帧中的所述一个或多个手术工具。

8.按照权利要求1所述的系统，其中所述一个或多个电路还被配置成基于所述一个或多个视频帧中的各个区域中的像素的强度，进行对应于一个或多个颜色约束的适应性颜色过滤。

9.按照权利要求8所述的系统，其中根据基于opp2颜色强度的过滤或基于归一化opp2颜色强度的过滤，对所述一个或多个视频帧的所述各个区域进行所述适应性颜色过滤。

10.按照权利要求8所述的系统，其中存在于所述一个或多个视频帧中的所述一个或多个手术工具的所述2D掩模的所述检测基于所述适应性颜色过滤。

11.按照权利要求1所述的系统，其中所述一个或多个电路还被配置成确定所述一个或多个视频帧中的所述一个或多个手术工具的所述顶端和/或所述末端的所述位置的质心。

12.按照权利要求11所述的系统，其中所述一个或多个电路还被配置成基于沿着第二方向向量的所述一个或多个手术工具的所检测出的2D掩模的分析，重新估计所述一个或多个视频帧中的所述一个或多个手术工具的所述顶端和/或所述末端的所述位置，所述第二方向向量相对于所述第一方向向量成预定角度，其中当所述质心位于所述一个或多个手术工具的所检测出的2D掩模之外或者所述质心被遮蔽时，重新估计顶端和/或末端的所述位置。

13.按照权利要求1所述的系统，其中当所述一个或多个手术工具的所述顶端被遮蔽时，所述一个或多个手术工具的所述姿态的所述估计基于所述一个或多个手术工具的所述末端的所估计的位置。

14.按照权利要求11所述的系统，其中当所述质心和/或所述一个或多个手术工具的所述末端被遮蔽时，所述一个或多个手术工具的所述姿态的所述估计基于所述一个或多个手术工具的所述顶端的所估计的位置。

15.按照权利要求1所述的系统，其中基于所述一个或多个视频帧中的所述一个或多个手术工具的所述姿态的所述估计，调整所述图像捕捉设备的一个或多个图像捕捉设定。

16.按照权利要求15所述的系统，其中所述一个或多个图像捕捉设定包含下列各项中的一个或多个：自动曝光、自动聚焦、自动白平衡或自动照明。

17.按照权利要求1所述的系统，其中所述一个或多个电路还被配置成在所述解剖手术期间，经由用户界面显示所述一个或多个视频帧，其中所述一个或多个手术工具在所显示的一个或多个视频帧中被掩盖或突出。

18.按照权利要求1所述的系统，其中所述一个或多个电路还被配置成生成指示在所述一个或多个手术工具的所述顶端和/或所述末端处的所述一个或多个手术工具的遮蔽的通知，其中所述通知对应于音频报警、文本报警、视觉报警或触觉报警中的一个或多个。

19.一种在解剖手术期间用于手术工具定位的方法，所述方法包括：

在通信耦合到图像捕捉设备的图像处理引擎中：

基于一个或多个颜色和几何约束，确定存在于一个或多个视频帧中的一个或多个手术工具的一个或多个物理特性，其中所述图像捕捉设备被配置成捕捉所述一个或多个视频帧；

基于所述一个或多个手术工具的所确定的一个或多个物理特性，检测存在于所述一个或多个视频帧中的所述一个或多个手术工具的二维2D掩模；

当所述一个或多个手术工具的所述2D掩模在所述一个或多个手术工具的顶端和/或末端处被遮蔽时，估计所述一个或多个视频帧中的所述一个或多个手术工具的姿态；以及基于沿着第一方向向量的所述一个或多个手术工具的所检测出的2D掩模的分析，估计所述一个或多个视频帧中的所述一个或多个手术工具的所述顶端和/或所述末端的位置，所述第一方向向量沿着所述一个或多个手术工具的所检测出的2D掩模的纵向主轴延伸。

20.按照权利要求19所述的方法，还包括基于沿着第一方向向量的所述一个或多个手术工具的所检测出的2D掩模的分析，估计所述一个或多个视频帧中的所述一个或多个手术工具的所述顶端和/或所述末端的位置，所述第一方向向量沿着所述一个或多个手术工具的所检测出的2D掩模的纵向主轴延伸。

21.按照权利要求20所述的方法，还包括确定所述一个或多个视频帧中的所述一个或多个手术工具的所述顶端和/或所述末端的所述位置的质心。

22.按照权利要求21所述的方法，还包括基于沿着第二方向向量的所述一个或多个手术工具的所检测出的2D掩模的分析，重新估计所述一个或多个视频帧中的所述一个或多个手术工具的所述顶端和/或所述末端的所述位置，所述第二方向向量相对于所述第一方向向量成预定角度，其中当所述质心位于所述一个或多个手术工具的所检测出的2D掩模之外或者所述质心被遮蔽时，重新估计顶端和/或末端的所述位置。

23.按照权利要求20所述的方法，其中当所述一个或多个手术工具的所述顶端被遮蔽时，所述一个或多个手术工具的所述姿态的所述估计基于所述一个或多个手术工具的所述末端的所估计的位置。

24.按照权利要求21所述的方法，其中当所述质心和/或所述一个或多个手术工具的所述末端被遮蔽时，所述一个或多个手术工具的所述姿态的所述估计基于所述一个或多个手术工具的所述顶端的所估计的位置。

25.一种存储有一组计算机可执行指令的非暂态计算机可读存储介质，所述一组计算机可执行指令用于使计算机进行以下步骤，所述步骤包括：基于一个或多个颜色和几何约束，确定存在于一个或多个视频帧中的一个或多个手术工具的一个或多个物理特性，其中所述计算机通信耦合到配置成捕捉所述一个或多个视频帧的图像捕捉设备；

基于所述一个或多个手术工具的所确定的一个或多个物理特性，检测存在于所述一个或多个视频帧中的所述一个或多个手术工具的二维2D掩模；以及当所述一个或多个手术工具的所述2D掩模在所述一个或多个手术工具的顶端和/或末端处被遮蔽时，估计所述一个或多个视频帧中的所述一个或多个手术工具的姿态；以及基于沿着第一方向向量的所述一个或多个手术工具的所检测出的2D掩模的分析，估计所述一个或多个视频帧中的所述一个或多个手术工具的所述顶端和/或所述末端的位置，所述第一方向向量沿着所述一个或多个手术工具的所检测出的2D掩模的纵向主轴延伸。

说明书

在解剖手术期间用于手术工具定位的方法和系统

[0001] 相关申请的交叉引用/通过引用并入

[0002] 本申请要求2015年2月19日提交的美国临时专利申请序列号62/118,043的优先权，该申请的整体内容通过引用并入于此。

技术领域

[0003] 本公开的各个实施例涉及用于手术工具定位的方法和系统。更具体地，本公开的各个实施例涉及在解剖手术期间用于手术工具定位的方法和系统。

背景技术

[0004] 随着医学科学的最新进步，现在可以通过使用微创技术进行各种手术和诊断过程。这样的微创技术需要较小的切口，以把内窥镜或腹腔镜手术仪器通过患者的皮肤插入体腔内。内窥镜或腹腔镜手术仪器可包括内置摄像头，以捕捉体腔的视频画面(footage)。视频画面可被实时显示给医师，以使医师能够对体腔内的指定解剖区进行手术或诊断过程。

[0005] 在特定情形下，体腔内的手术仪器的一个或多个部分的清晰视图可被体腔内的另一个手术仪器的一个或多个部分、手术用纱布、组织和/或烟/薄雾遮蔽。当医师进行手术或诊断过程时，这会对医师造成妨碍。从而，需要实时分析手术或诊断过程的视频画面，以在体腔内监视和定位手术仪器。

[0006] 通过如在本申请的剩余部分中记载并且参考附图的说明的系统与本公开的一些方面的比较，对本领域技术人员来说，常规和传统途径的另外的限制和缺点将变得明显。

发明内容

[0007] 一种如更完整地记载在权利要求中的实质上如附图至少之一中所示和/或结合附图至少之一所述的、在解剖手术期间定位手术工具的方法和系统。

[0008] 根据本公开的以下详细说明的回顾以及附图，可领会本公开的这些及其他特征和优点，在附图中相同的附图标记自始至终指相同的部分。

附图说明

[0009] 图1是按照本公开的实施例，图解说明网络环境的方框图。

[0010] 图2是按照本公开的实施例，图解说明例证的图像处理服务器的方框图。

[0011] 图3是按照本公开的实施例，图解说明例证的用户终端的方框图。

[0012] 图4按照本公开的实施例，图解说明估计视频帧中的一个或多个手术工具的姿态的方法的例证流程图。

[0013] 图5按照本公开的实施例，图解说明从视频帧中去除一个或多个烟块的方法的例证流程图。

[0014] 图6按照本公开的实施例，图解说明完善视频帧中的一个或多个手术工具的初步二维(2D)掩模(mask)的方法的例证流程图。

[0015] 图7A至图7D按照本公开的实施例，图解说明视频帧中的一个或多个手术工具的姿态的例证情形。

[0016] 图8按照本公开的实施例，图解说明可呈现在用户终端上的用户界面(UI)的例证情形。

[0017] 图9是按照本公开的实施例，图解说明在解剖手术期间定位手术工具的例证方法的例证流程图。

具体实施方式

[0018] 下述实现可在公开的在解剖手术期间用于手术工具定位的方法和系统中找到。本公开的例证方面可包括可在图像处理引擎中实现的方法。图像处理引擎可通信耦合到图像捕捉设备。图像捕捉设备可被配置成捕捉一个或多个视频帧。所述方法可包括存在于所述一个或多个视频帧中的一个或多个手术工具的一个或多个物理特性的确定。所述一个或多个物理特性的确定可以基于一个或多个颜色和几何约束。之后，基于确定的一个或多个手术工具的一个或多个物理特性，可以检测存在于所述一个或多个视频帧中的一个或多个手术工具的二维(2D)掩模。此外，当在一个或多个手术工具的顶端和/或末端，所述一个或多个手术工具的2D掩模被遮蔽时，可以估计一个或多个视频帧中的所述一个或多个手术工具的姿态。

[0019] 按照实施例，当一个或多个视频帧被一个或多个烟块遮蔽时，可以从所述一个或多个视频帧中去除所述一个或多个烟块，以生成无烟视频帧。按照实施例，可在所述一个或多个视频帧之前的一组视频帧中的每一个中检测一个或多个烟区。从所述一个或多个视频帧中去除所述一个或多个烟块可以以在所述一个或多个视频帧之前的一组视频帧中的每一个中的所检测出的一个或多个烟区中的一组像素的累积强度为基础。

[0020] 按照实施例，可基于无烟视频帧中的一个或多个手术工具的所检测出的2D掩模中的所述一个或多个手术工具的颜色特性，进行轮廓演化。轮廓演化的进行可以进一步以在无烟视频帧中的所检测出的2D掩模的轮廓之内和/或之外的区域的曲率和强度变化为基础。此外，可以基于轮廓演化进行无烟视频帧的分割，以检测无烟视频帧中的一个或多个手术工具。

[0021] 按照实施例，可对一个或多个视频帧的各个区域进行适应性颜色过滤。适应性颜色过滤可对应于一个或多个颜色约束，并且可以以一个或多个视频帧的各个区域中的像素的强度为基础。可根据基于opp2颜色强度的过滤和/或基于归一化opp2颜色强度的过滤之中的一种或多种进行适应性颜色过滤。按照实施例，存在于一个或多个视频帧中的一个或多个手术工具的2D掩模的检测可以基于适应性颜色过滤。

[0022] 按照实施例，可基于一个或多个手术工具的所检测出的2D掩模的分析，估计一个或多个视频帧中的一个或多个手术工具的顶端和/或末端的位置。可沿着第一方向向量进行所检测出的2D掩模的分析，所述第一方向向量可沿着一个或多个手术工具的所检测出的2D掩模的纵向主轴而延伸。按照实施例，可以确定一个或多个视频帧中的一个或多个手术工具的顶端和/或末端的位置的质心。当所述质心位于一个或多个手术工具的所检测出的
2D掩模之外或者所述质心被遮蔽时，可以重新估计一个或多个视频帧中的一个或多个手术工具的顶端和/或末端的位置。一个或多个手术工具的顶端和/或末端的位置的重新估计可以以沿着第二方向向量的一个或多个手术工具的所检测出的2D掩模的分析为基础。所述第二方向向量可相对于第一方向向量成预定角度。

[0023] 按照实施例，当一个或多个手术工具的顶端被遮蔽时，一个或多个手术工具的姿态的估计可以以所述一个或多个手术工具的末端的估计的位置为基础。此外，当所述质心和/或一个或多个手术工具的末端被遮蔽时，一个或多个手术工具的姿态的估计可以以所述一个或多个手术工具的顶端的估计的位置为基础。

[0024] 按照实施例，可以基于一个或多个视频帧中的一个或多个手术工具的姿态的估计来调整图像捕捉设备的一个或多个图像捕捉设定。所述一个或多个图像捕捉设定的例子可包括(但不限于)自动曝光、自动聚焦、自动白平衡或自动照明。

[0025] 按照实施例，在解剖手术期间，可经由用户界面(UI)实时地向用户(比如医师)显示当前的一个或多个视频帧。在经由UI向用户显示的当前的一个或多个视频帧中，可以掩盖或突出一个或多个手术工具。按照实施例，可以生成指示在一个或多个手术工具的顶端和/或末端的所述一个或多个手术工具的遮蔽的通知。所述通知的例子可包括(但不限于)音频报警、文本报警、视觉报警或触觉报警。

[0026] 图1是按照本公开的实施例，图解说明网络环境的方框图。参见图1，示出了网络环境100。网络环境100可包括手术设备102、图像处理服务器104、视频数据库106、用户终端108和通信网络110。手术设备102可经由通信网络110通信耦合到图像处理服务器104、视频数据库106和用户终端108。

[0027] 手术设备102可包含可被配置成进行与患者的一个或多个解剖区关联的一种或多种手术过程和/或诊断分析的适当逻辑、电路、接口和/或代码。手术设备102的例子可包括(但不限于)微创手术/诊断设备、小切口手术/诊断设备和/或内窥镜/腹腔镜手术/诊断设备。

[0028] 按照实施例，手术设备102还可包括图像捕捉设备(图1中未示出)。当对解剖区进行手术或诊断过程时，图像捕捉设备可捕捉患者的解剖区的一个或多个视频帧。替代地，手术设备102可通过通信网络110通信耦合到图像捕捉设备。图像捕捉设备的例子可包括(但不限于)内窥镜/腹腔镜摄像头、医学共振成像(MRI)设备、计算机断层成像(CT)扫描设备、微创医学成像设备和/或小切口医学成像设备。

[0029] 图像处理服务器104可包含向一个或多个预订电子设备，比如用户终端108和/或手术设备102提供图像处理服务的一个或多个服务器。按照实施例，图像处理服务器104可被配置成分析在进行手术或诊断过程时由图像捕捉设备捕捉的一个或多个视频帧。图像处理服务器104随后可基于所述一个或多个视频帧的分析，进行所述一个或多个视频帧中的手术工具的检测。按照实施例，通过使用为本领域技术人员公知的几种技术，图像处理服务器104可被实现成多种基于云的资源。此外，图像处理服务器104可以与单个或多个服务提供商关联。所述一个或多个服务器的例子可包括(但不限于)ApacheTMHTTP服务器、因特网信息服务(IIS)、 应用服务器、Sun JavaTM系统Web服务器和/或文件服务器。

[0030] 本领域普通技术人员会明白本公开的范围不限于把图像处理服务器104和手术设备102实现成分离的实体。按照实施例，在不脱离本公开的范围的情况下，图像处理服务器104的功能可由手术设备102实现。

[0031] 视频数据库106可存储由图像捕捉设备捕捉的一个或多个视频帧的储存库。按照实施例，视频数据库106可以通信耦合到图像处理服务器104。当图像捕捉设备捕捉一个或多个视频帧时，图像数据库106可通过图像处理服务器104接收所述一个或多个视频帧。按照实施例，可以通过使用本领域已知的各种数据库技术来实现视频数据库106。视频数据库106的例子可包括(但不限于) SQL服务器、 IBM Microsoft
和/或 按照实施例，图像处理服务器
104可基于一种或多种协议连接到视频数据库106。所述一种或多种协议的例子可包括(但不限于)开放数据库连接(Open Database Connectivity,ODBC) 协议和Java数据库连接协议。

[0032] 本领域普通技术人员会明白本公开的范围不限于把图像处理服务器104和视频数据库106实现成分离的实体。按照实施例，在不脱离本公开的范围的情况下，视频数据库106的功能可由图像处理服务器104实现。

[0033] 用户终端108可包含可被配置成呈现用户界面(UI)以向诸如医师之类的用户显示一个或多个视频帧的适当逻辑、电路、接口和/或代码。按照实施例，在对患者的解剖区进行手术或诊断过程时，用户终端108可实时显示一个或多个视频帧。用户终端108还可被配置成显示由图像处理服务器104在所述一个或多个视频帧中的每一个中定位的一个或多个手术工具。用户终端108的例子可包括(但不限于)智能电话、摄像头、平板计算机、膝上型计算机、可穿戴电子设备、电视机、因特网协议电视机(IPTV)和/或个人数字助理(PDA)设备。

[0034] 本领域普通技术人员会明白本公开的范围不限于把用户终端108和图像处理服务器104实现成分离的实体。按照实施例，在不脱离本公开的范围的情况下，图像处理服务器104的功能可由用户终端108实现。例如，图像处理服务器104可被实现成运行和/或安装在用户终端108上的应用程序。

[0035] 本领域普通技术人员还会明白按照实施例，用户终端108可以与手术设备102集成。替代地，用户终端108可通信耦合到手术设备102，并且用户终端108的用户(比如医师)可通过用户终端108的UI来控制手术设备102。

[0036] 通信网络110可包括手术设备102和/或用户终端108可通过其与一个或多个服务器(比如图像处理服务器104)通信的介质。通信网络110的例子可包括(但不限于)因特网、云网络、无线保真(Wi-Fi)网络、无线局域网(WLAN)、局域网(LAN)、简易老式电话服务(POTS)和/或城域网(MAN)。网络环境100中的各个设备可被配置成按照各种有线和无线通信协议连接到通信网络110。这样的有线和无线通信协议的例子可包括(但不限于)传输控制协议和因特网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、ZigBee、EDGE、红外(IR)、IEEE 802.11、802.16、蜂窝通信协议和/或蓝牙(BT)通信协议。

[0037] 在操作中，图像捕捉设备可被配置成捕捉一个或多个视频帧。图像处理服务器104可被配置成确定存在于捕捉的一个或多个视频帧中的特定视频帧中的一个或多个手术工具的一个或多个物理特性。按照实施例，一个或多个手术工具的所述一个或多个物理特性的确定可以基于一个或多个颜色和几何约束。之后，图像处理服务器104可以基于确定的一个或多个手术工具的一个或多个物理特性，检测存在于视频帧中的一个或多个手术工具的二维(2D)掩模。图像处理服务器104还可被配置成当在一个或多个手术工具的顶端和/或末端所述一个或多个手术工具的2D掩模被遮蔽时，估计视频帧中的所述一个或多个手术工具的姿态。

[0038] 按照实施例，图像处理服务器104可被配置成分析在视频帧之前的一组视频帧。图像处理服务器104可在视频帧之前的一组视频帧中的每个视频帧中，检测一个或多个烟区。此外，图像处理服务器104可确定在视频帧之前的一组视频帧中的每一个中的所检测出的一个或多个烟区中的一组像素的累积强度。之后，当视频帧被一个或多个烟块遮蔽时，图像处理服务器104可从视频帧中去除所述一个或多个烟块，以生成无烟视频帧。按照实施例，一个或多个烟块的去除可以以在视频帧之前的一组视频帧中的每一个中的所检测出的一个或多个烟区中的一组像素的累积强度为基础。

[0039] 按照实施例，可基于无烟视频帧中的一个或多个手术工具的所检测出的2D掩模中的所述一个或多个手术工具的颜色特性，进行轮廓演化。轮廓演化的进行可以进一步以在无烟视频帧中的所检测出的2D掩模的轮廓之内和/或之外的区域的曲率和强度变化为基础。此外，可以基于轮廓演化进行无烟视频帧的分割，以检测无烟视频帧中的一个或多个手术工具。

[0040] 按照实施例，可对视频帧中的各个区域进行适应性颜色过滤。适应性颜色过滤可对应于一个或多个颜色约束，并且可以以视频帧中的各个区域中的像素的强度为基础。可根据基于opp2颜色强度的过滤和/或基于归一化opp2颜色强度的过滤，进行适应性颜色过滤。按照实施例，存在于视频帧中的一个或多个手术工具的2D掩模的检测可以基于适应性颜色过滤。

[0041] 按照实施例，可估计视频帧中的一个或多个手术工具的顶端和/或末端的位置。所述估计可以基于一个或多个手术工具的所检测出的2D掩模的分析。可沿着第一方向向量(下面可互换地称为“第一主方向”或“第一主轴”)进行所检测出的2D掩模的分析，所述第一方向向量可沿着一个或多个手术工具的所检测出的2D掩模的纵向主轴延伸。按照实施例，可以确定视频帧中的一个或多个手术工具的顶端和/或末端的位置的质心。当所述质心位于一个或多个手术工具的所检测出的2D掩模之外和/或所述质心被遮蔽时，可以重新估计视频帧中的一个或多个手术工具的顶端和/或末端的位置。一个或多个手术工具的顶端和/或末端的位置的重新估计可以以沿着所检测出的2D掩模的第二方向向量(下面可互换地称为“第二主方向”或“第二主轴”)的一个或多个手术工具的所检测出的2D掩模的分析为基础。第二主方向可相对于第一主方向成预定角度。例如，第二主方向可相对于第一主方向正交。

[0042] 按照实施例，当一个或多个手术工具的顶端被遮蔽时，一个或多个手术工具的姿态的估计可以以所述一个或多个手术工具的末端的估计的位置为基础。此外，当所述质心和/或一个或多个手术工具的末端被遮蔽时，一个或多个手术工具的姿态的估计可以以所述一个或多个手术工具的顶端的估计的位置为基础。

[0043] 按照实施例，图像处理服务器104可被配置成基于烟区的确定，实时地调整图像捕捉设备的一个或多个图像捕捉设定。所述一个或多个图像捕捉设定的例子可包括(但不限于)自动曝光、自动聚焦、自动白平衡或自动照明。

[0044] 按照实施例，图像处理服务器104还可被配置成在进行手术或诊断过程时，通过用户终端108的UI向用户(比如医师)显示一个或多个视频帧。所述帧可包括当前视频帧。在通过UI向用户显示的当前视频帧内，可以掩盖或突出在当前视频帧中定位的一个或多个手术工具。按照实施例，图像处理服务器104还可被配置成生成指示当前视频帧中的一个或多个手术工具的定位的通知。所述通知还可指示当前视频帧中的各个手术工具的遮蔽的程度和/或类型。图像处理服务器104可把所述通知传送给手术设备102和/或用户终端108。所述通知可由手术设备102和/或用户终端108呈现给用户(比如医师)。所述通知的例子可包括(但不限于)音频报警、文本报警、视觉报警和/或触觉报警。

[0045] 图2是按照本公开的实施例，图解说明例证的图像处理服务器的方框图。图2是结合图1的要素说明的。参见图2，示出了图像处理服务器104。图像处理服务器104可包含诸如处理器202之类的一个或多个处理器、诸如收发器204之类的一个或多个收发器、存储器206和手术场景分析单元208。手术场景分析单元208可包括图像过滤引擎210、工具定位引擎212、数据库连接器214、UI管理器216和摄像头控制单元218。按照实施例，图像处理服务器
104可经由收发器204，通过通信网络110通信耦合到视频数据库106。替代地，图像处理服务器104可包括视频数据库106。例如，可在存储器206内实现视频数据库106。

[0046] 处理器202可通信耦合到收发器204、存储器206和手术场景分析单元208。收发器204可被配置成经由通信网络110与手术设备102和用户终端108通信。

[0047] 处理器202可包含可被配置成执行存储在存储器206中的一组指令的适当逻辑、电路、接口和/或代码。可基于本领域已知的许多处理器技术来实现处理器202。处理器202的例子可以是基于X86的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器和/或其他处理器。

[0048] 收发器204可包含可被配置成经由通信网络110(如图1中所示)与用户终端108和/或手术设备102通信的适当逻辑、电路、接口和/或代码。收发器204可实现支持图像处理服务器104与通信网络110的有线或无线通信的已知技术。收发器204的各个组件可包括(但不限于)天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码器(CODEC)芯片集、订户身份模块(SIM)卡和/或本地缓冲器。

[0049] 收发器204可经由无线通信，与网络，比如因特网、内联网和/或无线网络(比如蜂窝电话网、无线局域网(LAN)和/或城域网(MAN))通信。无线通信可以使用多种通信标准、协议和技术任意之一，比如全球移动通信系统(GSM)、增强数据GSM环境(EDGE)、宽带码分多址接入(W-CDMA)、码分多址接入(CDMA)、时分多址接入(TDMA)、蓝牙、无线保真(Wi-Fi)(比如IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、因特网协议语音(VoIP)、Wi-MAX、电子邮件用协议、即时消息收发和/或短消息服务(SMS)。

[0050] 存储器206可包含可被配置成存储具有可由处理器202执行的至少一个代码段的机器代码和/或计算机程序的适当逻辑、电路和/或接口。按照实施例，存储器206还可被配置成存储由图像捕捉设备捕捉的一个或多个视频帧。存储器206的实现的例子可包括(但不限于)随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器(HDD)和/或安全数字(SD)卡。

[0051] 手术场景分析单元208可包含可被配置成分析和处理由图像捕捉设备捕捉的一个或多个视频帧的适当逻辑、电路、接口和/或代码。按照实施例，手术场景分析单元208可以是处理器202的一部分。替代地，手术场景分析单元208可被实现成图像处理服务器104中的分离的处理器或电路。按照实施例，手术场景分析单元208和处理器202可被实现成进行手术场景分析单元208和处理器202的功能的处理器的集群或集成的处理器。按照另一个实施例，手术场景分析单元208可被实现成存储在存储器206中的计算机程序代码，当由处理器202执行时所述计算机程序代码可进行手术场景分析单元208的功能。

[0052] 图像过滤引擎210可包含可被配置成分析一个或多个视频帧以检测存在于每个视频帧中的一个或多个手术工具的二维(2D)掩模的适当逻辑、电路、接口和/或代码。按照实施例，图像过滤引擎210可被配置成确定存在于一个或多个视频帧中的特定视频帧中的一个或多个手术工具的一个或多个物理特性。一个或多个工具的一个或多个物理特性的确定可以基于一个或多个颜色和几何约束。图像过滤引擎210可基于确定的一个或多个手术工具的一个或多个物理特性，检测视频帧中的一个或多个手术工具的2D掩模。按照实施例，图像过滤引擎210还可被配置成当视频帧被一个或多个烟块遮蔽时，从视频帧中去除所述一个或多个烟块，以生成无烟视频帧。

[0053] 工具定位引擎212可包含可被配置成估计视频帧中的一个或多个手术工具的姿态的适当逻辑、电路、接口和/或代码。按照实施例，工具定位引擎212可被配置成分析视频帧中的一个或多个手术工具的所检测出的2D掩模。该检测可估计视频帧中的一个或多个手术工具的姿态。工具定位引擎212还可被配置成估计视频帧中的一个或多个手术工具的顶端和/或末端的位置。工具定位引擎212随后可确定一个或多个手术工具的顶端和/或末端的位置的质心。此外，当质心位于一个或多个手术工具的所检测出的2D掩模之外和/或质心被遮蔽时，工具定位引擎212可重新估计一个或多个手术工具的顶端和/或末端的位置。按照实施例，当顶端被遮蔽时，可基于末端的估计的位置来估计一个或多个手术工具的姿态。此外，当质心和/或末端被遮蔽时，可基于顶端的估计的位置来估计一个或多个手术工具的姿态。

[0054] 本领域普通技术人员会明白本公开的范围不限于把图像过滤引擎210和工具定位引擎212实现成分离的实体。按照实施例，图像过滤引擎210和工具定位引擎212可被集成到单个实体内，所述单个实体可被配置成进行图像过滤引擎210和工具定位引擎212两者的功能。

[0055] 数据库连接器214可包含可被配置成向手术场景分析单元208提供对视频数据库106的访问和连接的适当逻辑、电路、接口和/或代码。按照实施例，数据库连接器214可在手术场景分析单元208和视频数据库106之间建立数据库会话。用于建立数据库会话的一种或多种通信协议的例子可包括(但不限于)开放数据库连接 协议和Java数据库连接协议。

[0056] UI管理器216可包含可被配置成管理呈现在用户终端108上的UI的适当逻辑、电路、接口和/或代码。按照实施例，UI管理器216可向用户终端108的用户(比如医师)提供手术场景界面。手术场景界面可经由用户终端108的UI，在用户终端108的显示设备上呈现给用户。按照实施例，手术场景界面可被配置成向用户显示包括当前视频帧的一个或多个视频帧。在经由手术场景界面显示给用户的当前视频帧内，可以掩盖或突出在当前视频帧中定位的一个或多个手术工具。

[0057] 摄像头控制单元218可包含可被配置成与图像捕捉设备通信以调整图像捕捉设备的一个或多个图像捕捉设定的适当逻辑、电路、接口和/或代码。按照实施例，摄像头控制单元218可被配置成基于一个或多个手术工具的定位，确定适合于捕捉一个或多个视频帧或者对捕捉一个或多个视频帧来说最佳的一个或多个图像捕捉设定的那些值。之后，摄像头控制单元218可被配置成经由收发器204，把确定的所述一个或多个图像捕捉设定的值传送给图像捕捉设备。图像捕捉设备可基于由摄像头控制单元218发送的对应值，调整其图像捕捉设定。所述一个或多个图像捕捉设定的例子可包括(但不限于)自动曝光、自动聚焦、自动白平衡和/或自动照明。

[0058] 在操作中，医师可通过使用手术设备102和一个或多个手术仪器，对患者的解剖区进行手术或诊断过程。所述一个或多个手术仪器的例子可包括(但不限于)内窥镜导管、手术钳、手术切口仪器和/或手术用纱布。手术或诊断过程的例子可包括(但不限于)微创手术/诊断、小切口手术/诊断、腹腔镜和/或内窥镜检查。按照实施例，手术或诊断过程可在无医师的监督或指导的情况下由手术机器人自动进行。按照实施例，手术或诊断过程可在有来自医师的一个或多个输入信号和/或命令的情况下，由手术机器人半自动进行。按照实施例，图像捕捉设备(图1中未示出)可通信耦合到手术设备102(或者包含在手术设备102内)。在对解剖区进行手术或诊断过程时，图像捕捉设备可实时捕捉解剖区的一个或多个视频帧。之后，手术设备102(或图像捕捉设备)可经由通信网络110，把捕捉的视频帧传送给图像处理服务器104。

[0059] 图像处理服务器104中的收发器204可被配置成经由通信网络110接收来自手术设备102的一个或多个视频帧。按照实施例，通过使用诸如实时传输协议和/或实时流式传输协议(RTSP)之类的通信协议，可以接收一个或多个视频帧作为实时流式传输的媒体内容。数据库连接器214可被配置成与视频数据库106建立数据库会话，并且把接收的视频帧存储在视频数据库106中。此外，视频帧也可存储在存储器206中。

[0060] 图像过滤引擎210可被配置成分析一个或多个视频帧。按照实施例，当从手术设备102接收到预定数目的视频帧时，可以按批量模式分析视频帧(离线处理)。按照实施例，当接收到每个新的视频帧时，可以在实时的基础上分析视频帧(在线处理)。图像过滤引擎210可从存储器206或视频数据库106取回视频帧，以用于视频帧的分析。

[0061] 按照实施例，在分析当前视频帧以检测一个或多个手术工具的2D掩模之前，图像过滤引擎210可被配置成判定当前视频帧是否被一个或多个烟块遮蔽。图像过滤引擎210可被配置成当视频帧被一个或多个烟块遮蔽时，从当前视频帧中去除一个或多个烟块，以生成无烟视频帧。按照实施例，图像过滤引擎210可在当前视频帧之前的一组视频帧中的每个视频帧中，检测一个或多个烟区。之后，图像过滤引擎210可确定在当前视频帧之前的一组视频帧中的每个视频帧中的所检测出的一个或多个烟区中的一组像素的累积强度。从当前视频帧中去除一个或多个烟块可以以确定的所述一组像素的累积强度为基础。例如，图像过滤引擎210可从当前视频帧中的对应像素的强度中减去与所检测出的一个或多个烟区对应的一组像素的累积强度。这可以被完成以生成无烟视频帧。本领域普通技术人员会明白当所述一组像素的累积强度在预定强度阈值范围内时，一个或多个烟块从当前视频帧中的去除可被跳过。图解说明从当前视频帧中去除一个或多个烟块以生成无烟视频帧的方法的例证流程图在图5中进行说明。

[0062] 按照实施例，图像过滤引擎210可被配置成分析当前视频帧(或者无烟视频帧)，以确定存在于当前视频帧中的一个或多个手术工具的一个或多个物理特性。一个或多个手术工具的一个或多个物理特性的确定可以基于一个或多个颜色和几何约束。之后，图像过滤引擎210可基于一个或多个手术工具的一个或多个物理特性，检测视频帧中的一个或多个手术工具的2D掩模。

[0063] 按照实施例，图像过滤引擎210可通过基于当前视频帧(或者无烟视频帧)中的各个区域中的像素的强度进行适应性颜色过滤，应用所述一个或多个颜色约束。可根据基于opp2颜色强度的过滤或基于归一化opp2颜色强度的过滤，对当前视频帧(或者无烟视频帧)中的各个区域进行适应性颜色过滤。按照实施例，图像过滤引擎210可分析以下条件，以进行适应性颜色过滤：

[0064] 条件1：Igrey≥100并且

[0065] 条件2：Igrey<100并且

[0066] 其中，“Igrey”表示视频帧中的像素的灰度级强度；

[0067] “opp2”表示像素的opp2颜色分量，由下式给出：

[0068] opp2＝|R-G|    (1)

[0069] “opp2norm”表示像素的归一化opp2颜色分量，由下式给出：

[0070]

[0071] “R”、“G”和“B”表示像素的红色、绿色和蓝色分量。

[0072] 按照实施例，图像过滤引擎210可分析条件“条件1”和“条件2”，以确定视频帧内的与一个或多个手术工具对应的一个或多个感兴趣区域。图像过滤引擎210可为视频帧中具有较亮像素的区域(比如，包括具有大于或等于100的灰度级强度的像素的区域)分析条件“条件1”。此外，图像过滤引擎210可为视频帧中具有较暗像素的区域(比如，包括具有小于100的灰度级强度的像素的区域)检查条件“条件2”。显然，条件“条件1”势必带来在视频帧的较亮区域中进行基于opp2颜色强度的过滤。此外，条件“条件2”势必带来在视频帧的较暗区域中进行基于归一化opp2颜色强度的过滤。本领域普通技术人员会明白包括一个或多个手术工具的区域可包含在其红色和绿色分量方面具有微小差异的像素。从而，基于opp2颜色强度的过滤可用于确定感兴趣的一个或多个区域，所述感兴趣的一个或多个区域可对应于视频帧中的一个或多个手术工具。不过，基于opp2颜色强度的过滤对于检测视频帧的较暗区域中的一个或多个手术工具来说并不有效。通过使用基于归一化opp2颜色强度的过滤，可在较暗区域中有效地检测一个或多个手术工具。因此，根据基于opp2颜色强度的过滤和基于归一化opp2颜色强度的过滤两者，通过使用适应性颜色过滤，可以确定与视频帧中的一个或多个手术工具对应的感兴趣区域。

[0073] 按照实施例，图像过滤引擎210可被配置成把一个或多个几何约束应用于所确定的一个或多个感兴趣区域，以检测视频帧中的一个或多个手术工具的2D掩模。例如，图像过滤引擎210可检查各个感兴趣区域的大小是否大于预定的大小阈值。此外，图像过滤引擎210可对所确定的一个或多个感兴趣区域进行边缘检测。之后，图像过滤引擎210可检查在各个感兴趣区域内的边缘的数目是否大于预定的边缘计数。此外，图像过滤引擎210可判定感兴趣区域是否按由外向内的取向定位在视频帧中。如果感兴趣区域满足前述大小、边缘和/或取向条件，那么图像过滤引擎210可把感兴趣区域指定为一个或多个手术工具的2D掩模的一部分。从而，视频帧中的一个或多个手术工具的2D掩模的检测可以基于适应性颜色过滤，和/或对于视频帧的各个区域的一个或多个几何约束的应用。

[0074] 按照实施例，图像过滤引擎210还可被配置成完善一个或多个手术工具的所检测出的2D掩模。这可被完成以检测当前视频帧中的一个或多个手术工具。按照实施例，图像过滤引擎210可被配置成在一个或多个手术工具的所检测出的2D掩模中确定轮廓。之后，图像过滤引擎210可对在当前视频帧(或者无烟视频帧)中的一个或多个手术工具的所检测出的2D掩模中确定的轮廓，进行轮廓演化。可基于一个或多个手术工具的所检测出的2D掩模中的一个或多个手术工具的颜色特性，进行轮廓演化。按照实施例，图像过滤引擎210可通过使用如下的方程(3)和(4)，使用基于水平集的技术进行轮廓演化：

[0075]

[0076] 在边缘处，

[0077] 其中， 表示在轮廓上的像素处的切线的瞬时斜率；

[0078] 表示平均曲率运动；

[0079] “u0”表示像素的强度；

[0080] “c1”表示轮廓内的像素的平均强度；和

[0081] “c2”表示轮廓外的像素的平均强度。

[0082] 从而，图像过滤引擎210可应用微分方程(3)和(4)，以对一个或多个手术工具的所检测出的2D掩模进行轮廓演化，以完善检测出的2D掩模。按照实施例，轮廓演化可以以在当前视频帧(或无烟视频帧)中的检测出的2D掩模的轮廓之内和/或之外的区域的曲率和强度变化为基础。显然，方程(3)中的表达式 可用于处罚(penalize)与所检测出的2D掩模对应的感兴趣区域中的轮廓的高曲率。此外，表达式“(u0-c1)2”和“(u0-c2)2”可用于使分别在该感兴趣区域中的轮廓之内和之外的强度变化最小化。方程(4)可用于演化在该感兴趣区域的边缘处的轮廓。本领域普通技术人员会明白按照如上所述的适应性颜色过滤，可使用感兴趣区域中的像素的颜色特性。例如，考虑到轮廓演化的进行，对于更亮的像素(比如强度大于或等于100的像素)，可以考虑opp2颜色强度，而对于感兴趣区域中的较暗像素，可以考虑归一化opp2颜色强度。替代地，图像过滤引擎210可确定感兴趣区域中的像素的平均像素强度。当平均像素强度较高(比如大于或等于100)时，图像过滤引擎210可考虑感兴趣区域中的像素的opp2颜色强度。否则，可考虑感兴趣区域中的像素的归一化opp2颜色强度。图解说明完善当前视频帧中的一个或多个手术工具的初步2D掩模的方法的例证流程图在图6中进行说明。

[0083] 按照实施例，图像过滤引擎210可基于对于一个或多个手术工具的所检测出的2D掩模的轮廓演化的进行，进行当前视频帧(或者无烟视频帧)的分割。图像过滤引擎210随后可基于分割处理的结果，检测一个或多个手术工具。从而，图像过滤引擎210可完善一个或多个手术工具的2D掩模，以检测当前视频帧中的一个或多个手术工具。

[0084] 按照实施例，工具定位引擎212可被配置成当一个或多个手术工具的2D掩模在所述一个或多个手术工具的顶端和/或末端被遮蔽时，估计视频帧中的一个或多个手术工具的姿态。工具定位引擎212可估计视频帧中的一个或多个手术工具的顶端和/或末端的位置，以估计一个或多个手术工具的姿态。按照实施例，顶端和/或末端的位置的估计可以以沿着第一主方向的一个或多个手术工具的所检测出的2D掩模的分析为基础。按照实施例，第一主方向可沿着一个或多个手术工具的所检测出的2D掩模的纵向主轴延伸。此外，工具定位引擎212可确定一个或多个手术工具的顶端和/或末端的位置的质心。按照实施例，工具定位引擎212可被进一步配置成当质心位于一个或多个手术工具的所检测出的2D掩模之外或者所述质心被遮蔽时，重新估计一个或多个手术工具的顶端和/或末端的位置。顶端和/或末端的位置的重新估计可以以沿着第二主方向的一个或多个手术工具的2D掩模的分析为基础。第二主方向可相对于第一主方向成预定角度。按照实施例，第二主方向可沿着正交于第一主方向的横向主轴延伸。在这种情形下，所述预定角度可以为直角(或者“90度”)。不过，本领域普通技术人员会明白，本公开的范围不应被局限于如直角的预定角度。所述预定角度可以是任何其他角度，比如锐角(或者“0～90度”)、钝角(或者“90～180度”)或者优角(或者“180～360度”)。

[0085] 按照实施例，当一个或多个手术工具的顶端被遮蔽时，一个或多个手术工具的姿态的估计可以以所述一个或多个手术工具的末端的估计(或重新估计的)位置为基础。此外，当所述质心和/或一个或多个手术工具的末端被遮蔽时，一个或多个手术工具的姿态的估计可以以所述一个或多个手术工具的顶端的估计(或重新估计的)位置为基础。结合图7A至图7D说明视频帧中的一个或多个手术工具的姿态的例证情形。此外，结合图4说明图解说明估计视频帧中的一个或多个手术工具的姿态的方法的例证流程图。

[0086] 本领域普通技术人员会明白，各个预定阈值的值是例证值。在不脱离本公开的范围的情况下，所述预定阈值的值可基于实现、软件、硬件和/或用户要求而变化。

[0087] 按照实施例，UI管理器216可被配置成向用户终端108的用户，比如医师呈现手术场景界面。手术场景界面可经由用户终端108的UI，在用户终端108的显示设备上呈现给用户。按照实施例，手术场景界面可被配置成向用户显示包括当前视频帧的一个或多个视频帧。在经由手术场景界面向用户显示的当前视频帧中，可以掩盖或突出在当前视频帧中定位的一个或多个手术工具。手术场景界面的例证情形已在图8中说明。

[0088] 按照实施例，UI管理器216还可被配置成生成可以用信号通知当前视频帧中的一个或多个手术工具的定位的通知。所述通知还可指示当前视频帧中的各个手术工具的遮蔽的程度和/或类型。UI管理器216可把生成的通知传送给用户终端108。所述通知可经由用户终端108的UI被呈现给用户。在实时或在线分析一个或多个视频帧以用于定位一个或多个手术工具的情况下，UI管理器216还可经由收发器204把生成的通知传送给手术设备102。通知的例子可包括(但不限于)音频报警、文本报警、视觉报警和/或触觉反馈。

[0089] 按照实施例，摄像头控制单元218可被配置成基于当前视频帧中的一个或多个手术工具的定位，确定图像捕捉设备的一个或多个图像捕捉设定的最佳值。所述一个或多个图像捕捉设定的例子可包括(但不限于)自动曝光、自动聚焦、自动白平衡或自动照明。按照实施例，可基于一个或多个条件(比如包含一个或多个手术工具的区域的大小、该区域中的像素的平均强度、一个或多个手术工具的遮蔽的程度或者该区域的一个或多个特征)确定一个或多个图像捕捉设定的最佳值。在实施例中，所述最佳值的确定也可基于用户规定的标准。摄像头控制单元218可被配置成经由收发器204，把一个或多个图像捕捉设定的最佳值传送给图像捕捉设备。基于由摄像头控制单元218发送的相应的最佳值，可以调整图像捕捉设备的一个或多个图像捕捉设定。

[0090] 按照实施例，UI管理器216可经由用户终端108的UI，把一个或多个图像捕捉设定的最佳值呈现给用户。经由用户终端108的UI，UI管理器216可使用户能够确认或调整所述最佳值。UI管理器216可经由收发器204，接收来自用户终端108的指示所述最佳值的确认或调整的用户输入。之后，摄像头控制单元218可基于用户输入更新所述最佳值，并经由收发器204把更新后的最佳值传送给图像捕捉设备。基于从摄像头控制单元218接收的更新后的最佳值，可调整图像捕捉设备的一个或多个图像捕捉设定。

[0091] 图3是按照本公开的实施例，图解说明例证的用户终端的方框图。图3是结合来自图1的要素说明的。参见图3，示出了用户终端108。用户终端108可包含诸如处理器302之类的一个或多个处理器、诸如收发器304之类的一个或多个收发器、存储器306、客户端接口单元308和显示设备314。客户端接口单元308可包括UI管理器310和显示适配器312。处理器302可通信耦合到收发器304、存储器306、客户端接口单元308和显示设备314。收发器304可被配置成经由通信网络110与图像处理服务器104和/或手术设备102通信。

[0092] 处理器302可包含可被配置成执行存储在存储器306中的一组指令的适当逻辑、电路、接口和/或代码。可基于本领域已知的许多处理器技术实现处理器302。处理器302的例子可以是基于X86的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器和/或其他处理器。

[0093] 收发器304可包含可被配置成经由通信网络110(如图1中所示)与图像处理服务器104和/或手术设备102通信的适当逻辑、电路、接口和/或代码。收发器304可实现支持用户终端108与通信网络110的有线或无线通信的已知技术。收发器304可包括(但不限于)天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码器(CODEC)芯片集、订户身份模块(SIM)卡和/或本地缓冲器。

[0094] 收发器304可经由无线通信，与网络，比如因特网、内联网和/或无线网络(比如蜂窝电话网、无线局域网(LAN)和/或城域网(MAN))通信。无线通信可以使用多种通信标准、协议和技术任意之一，比如全球移动通信系统(GSM)、增强数据GSM环境(EDGE)、宽带码分多址接入(W-CDMA)、码分多址接入(CDMA)、时分多址接入(TDMA)、蓝牙、无线保真(Wi-Fi)(比如IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、互联网协议语音(VoIP)、Wi-MAX、电子邮件用协议、即时消息收发和/或短消息服务(SMS)。

[0095] 存储器306可包含可被配置成存储具有可由处理器302执行的至少一个代码段的机器代码和/或计算机程序的适当逻辑、电路和/或接口。存储器306的实现的例子可包括(但不限于)随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器(HDD)和/或安全数字(SD)卡。

[0096] 客户端接口单元308可包含可被配置成渲染和管理呈现在用户终端108上的一个或多个UI的适当逻辑、电路、接口和/或代码。按照实施例，客户端接口单元308可以是处理器302的一部分。替代地，客户端接口单元308可被实现成用户终端108中的分离的处理器或电路。例如，客户端接口单元308可被实现成通信耦合到处理器302的专用图形处理器或芯片集。按照实施例，客户端接口单元308和处理器302可被实现成集成处理器，或者进行客户端接口单元308和处理器302的功能的处理器的集群。按照实施例，客户端接口单元308可被实现成存储在存储器306中的计算机程序代码，当由处理器302执行时，所述计算机程序代码可进行客户端接口单元308的功能。

[0097] UI管理器310可包含可被配置成管理用户终端108的UI的适当逻辑、电路、接口和/或代码。按照实施例，UI管理器310还可被配置成接收和处理经由用户终端108的输入设备(未示出)、经由用户终端108的UI接收的用户输入。按照实施例，输入设备可通信耦合到用户终端108(或者包含在用户终端108内)。输入设备的例子可包括(但不限于)键盘、鼠标、操纵杆、跟踪板、语音输入设备、触摸输入设备和/或手势输入设备。

[0098] 按照实施例，UI管理器310还可被配置成经由收发器304与图像处理服务器104的UI管理器216通信。这种通信可以便利对应于手术场景界面的信息的接收。之后，UI管理器310可经由用户终端108的UI，呈现手术场景界面。

[0099] 显示适配器312可包含可被配置成使UI管理器310与显示设备314接口连接的适当逻辑、电路、接口和/或代码。按照实施例，显示适配器312可基于显示设备314的显示配置，进行用户终端108的UI的渲染和显示性质的调整。可被采用来进行显示调整的一种或多种技术的例子可包括(但不限于)图像增强、图像稳定、对比度调整、亮度调整、分辨率调整和/或倾斜/旋转调整。

[0100] 显示设备314可包含可被配置成渲染UI的适当逻辑、电路、接口和/或代码。按照实施例，显示设备314可被实现成用户终端108的一部分。在另一个实施例中，显示设备314可通信耦合到用户终端108。可通过几种已知技术，比如基于阴极射线管(CRT)的显示器、液晶显示器(LCD)、基于发光二极管(LED)的显示器、有机LED显示器技术、视网膜显示器技术和/或类似技术，实现显示设备314。另外，按照实施例，显示设备314可接收来自用户的输入。在这种情形下，显示设备314可以是使用户能够提供输入的触摸屏。按照实施例，触摸屏可对应于电阻式触摸屏、电容式触摸屏、热触摸屏和/或类似触摸屏中的至少一种。按照实施例，显示设备314可通过虚拟小键盘、触笔、基于手势的输入和/或基于触摸的输入来接收输入。在这种情况下，输入设备可被集成在显示设备314内。另外，按照实施例，用户终端108可包括除基于触摸屏的显示设备314之外的第二输入设备。

[0101] 在操作中，用户终端108的收发器304可经由通信网络110，接收来自图像处理服务器104的UI管理器216的与手术场景界面对应的信息。之后，按照实施例，用户终端108的UI管理器310可经由用户终端108的UI向用户呈现手术场景界面。按照实施例，手术场景界面可向用户呈现可包括当前视频帧的一个或多个视频帧。按照实施例，在当前视频帧被显示给用户时，可以掩盖或突出在当前视频帧中定位的一个或多个手术工具。图8中更详细地说明了手术场景界面的例子。

[0102] 按照实施例，由手术场景界面呈现的一个或多个视频帧可以是在进行手术或诊断过程时、通过图像捕捉设备捕捉的实时视频画面。在这种情况下，图像处理服务器104可实时分析一个或多个视频帧(在线处理)，以定位存在于所述一个或多个视频帧中的当前视频帧中的一个或多个手术工具。可在当前视频帧中定位的一个或多个手术工具可经由手术场景界面，被同时呈现给用户作为当前视频帧中的掩盖或突出区域。

[0103] 按照实施例，手术场景界面还可被配置成向用户呈现通知，以指示存在于当前视频帧中的一个或多个手术工具的定位。所述通知还可指示当前视频帧中的各个手术工具的遮蔽的程度和/或类型。所述通知的例子可包括(但不限于)音频报警、文本报警、视觉报警和/或触觉报警。可促使用户(比如医师)基于所述通知采取行动。例如，手术场景界面可促使用户调整图像捕捉设备的一个或多个图像捕捉设定。按照实施例，图像处理服务器104的摄像头控制单元218可被配置成基于一个或多个手术工具的定位，确定一个或多个图像捕捉设定的最佳值。手术场景界面可把这些最佳值呈现给用户，作为用于所述一个或多个图像捕捉设定的建议值。用户可基于呈现给用户的建议值，调整图像捕捉设备的一个或多个图像捕捉设定。除了图像捕捉设备的一个或多个图像捕捉设定的调整之外，用户(比如医师)还可在解剖区内重新排列/重新放置一个或多个手术工具，以减小一个或多个手术工具的遮蔽程度。

[0104] 图4按照本公开的实施例，图解说明估计视频帧中的一个或多个手术工具的姿态的方法的例证流程图。已经结合来自图1和图2的要素说明了图4。参见图4，示出了流程图400。流程图400包含输入视频帧402、解剖区404、第一手术工具406a、第二手术工具406b、颜色/几何过滤视频帧408、掩盖视频帧410、第一2D掩模412a和第二2D掩模412b。流程图400还包含初步的姿态估计视频帧414、第一顶端416a、第二顶端416b、第三顶端416c、第一末端
418、质心420、输出视频帧422、第一姿态424a和第二姿态424b。

[0105] 如在流程图400中所示，输入视频帧402图解说明由图像捕捉设备捕捉的一个或多个视频帧中的视频帧的快照。输入视频帧402描绘通过使用第一手术工具406a和第二手术工具406b对其进行手术或诊断过程的解剖区404。按照实施例，如果输入视频帧402被一个或多个烟块遮蔽，那么图像处理服务器104的图像过滤引擎210可从输入视频帧402中去除一个或多个烟块，以生成无烟视频帧(未示出)。结合图5说明图解说明从输入视频帧402中去除一个或多个烟块以生成无烟视频帧的方法的例证流程图。

[0106] 按照实施例，图像过滤引擎210可被配置成分析输入视频帧402(或者无烟视频帧)，以确定输入视频帧402中的一个或多个手术工具(比如第一手术工具406a和第二手术工具406b)的一个或多个物理特性。一个或多个物理特性的确定可以基于一个或多个颜色和几何约束。一个或多个颜色约束可对应于可基于如在图2中规定的条件“条件1”和“条件2”进行的适应性颜色过滤。图像过滤引擎210可基于一个或多个颜色约束，检测输入视频帧
402中的对应于第一手术工具406a和第二手术工具406b的一个或多个感兴趣区域。此外，图像过滤引擎210可对确定的一个或多个感兴趣区域应用一个或多个几何约束，以检测输入视频帧402中的一个或多个手术工具(比如第一手术工具406a和第二手术工具406b)的初步
2D掩模。如前所述，一个或多个几何约束可对应于每个感兴趣区域是否满足大小、边缘数目和/或取向条件的判定。满足前述条件的感兴趣区域可被指定为初步2D掩模的一部分。颜色/几何过滤视频帧408图解说明可基于对输入视频帧402(或者无烟视频帧)应用一个或多个颜色和几何约束而获得的结果视频帧。

[0107] 按照实施例，图像过滤引擎210可被配置成完善基于一个或多个颜色和几何约束检测的初步2D掩模。图像过滤引擎210可确定初步2D掩模中的轮廓，并且随后对确定的轮廓进行轮廓演化。通过使用如在图2中的方程(3)和(4)中规定的基于水平集的技术，基于第一手术工具406a和第二手术工具406b的颜色特性可进行轮廓演化。按照实施例，轮廓演化可以以在初步2D掩模的轮廓之内和/或之外的区域的曲率和强度变化为基础。基于轮廓演化，图像过滤引擎210可获得轮廓演化视频帧(未示出)。

[0108] 之后，图像过滤引擎210可对轮廓演化视频帧(未示出)进行分割，以获得工具分割视频帧(未示出)。工具分割视频帧可包括一个或多个手术工具(比如第一手术工具406a和第二手术工具406b)的完善的2D掩模。图6中说明了图解说明完善输入视频帧402中的一个或多个手术工具(比如第一手术工具406a和第二手术工具406b)的初步2D掩模的方法的例证流程图。掩盖视频帧410图解说明当工具分割视频帧(未示出)被覆盖在输入视频帧402上时可获得的结果视频帧。如图4中所示，掩盖视频帧410包括第一2D掩模412a和第二2D掩模412b。第一2D掩模412a可对应于包含第一手术工具406a的2D掩模，而第二2D掩模412b可对应于包含第二手术工具406b的2D掩模。

[0109] 按照实施例，图像处理服务器104的工具定位引擎212可被配置成从掩盖视频帧410估计一个或多个手术工具(比如第一手术工具406a和第二手术工具406b)的姿态。工具定位引擎212可基于第一2D掩模412a和第二2D掩模412b的分析，分别估计第一手术工具
406a和第二手术工具406b的顶端和/或末端的位置。之后，工具定位引擎212可确定一个或多个手术工具(比如第一手术工具406a和第二手术工具406b)的顶端和/或末端的位置的质心的位置。例如，工具定位引擎212可基于第一手术工具406a的第一2D掩模412a，估计第一顶端416a和第二顶端416b的位置。此外，工具定位引擎212可基于第二手术工具406b的第二
2D掩模412b，估计第三顶端416c和第一末端418的位置。工具定位引擎212随后可基于第一顶端416a、第二顶端416b、第三顶端416c和第一末端418的位置，确定质心420的位置。初步的姿态估计视频帧414图解说明当从掩盖视频帧410估计顶端(比如第一顶端416a、第二顶端416b和第三顶端416c)、末端(比如第一末端418)和质心(比如质心420)的位置时可获得的结果视频帧。

[0110] 按照实施例，工具定位引擎212还可分析初步的姿态估计视频帧414，以判定顶端(比如第一顶端416a、第二顶端416b和第三顶端416c)、末端(比如第一末端418)和/或质心(比如质心420)是否被遮蔽。此外，工具定位引擎212可判定质心(比如420)是否位于2D掩模(比如第一2D掩模412a和第二2D掩模412b)之外。按照实施例，如果质心(比如质心420)位于2D掩模(比如第一2D掩模412a和第二2D掩模412b)之外或者质心(比如质心420)被遮蔽，那么工具定位引擎212可重新估计顶端(比如第一顶端416a、第二顶端416b和第三顶端416c)和/或末端(比如第一末端418)的位置。

[0111] 工具定位引擎212随后可基于顶端(比如第一顶端416a、第二顶端416b和第三顶端416c)和/或末端(比如第一末端418)的位置的重新估计，更新质心(比如质心420)的位置。
按照实施例，工具定位引擎212可基于顶端(比如第一顶端416a、第二顶端416b和第三顶端
416c)、末端(比如第一末端418)和质心(比如质心420)的估计的位置，估计一个或多个手术工具(比如第一手术工具406a和第二手术工具406b)的姿态。当顶端(比如第一顶端416a、第二顶端416b和第三顶端416c)被遮蔽时，姿态的估计可以基于末端(比如第一末端418)的位置。

[0112] 此外，当末端(比如第一末端418)和/或质心(比如质心420)被遮蔽时，姿态的估计可以基于顶端(比如第一顶端416a、第二顶端416b和第三顶端416c)的位置。参考图7A至图7D中图解所示的例证姿态进一步说明一个或多个手术工具(比如第一手术工具406a和第二手术工具406b)的姿态的估计。输出视频帧422对应于基于一个或多个手术工具(比如第一手术工具406a和第二手术工具406b)的姿态的估计、可从初步的姿态估计视频帧414获得的结果视频帧。

[0113] 如图4中所示，输出视频帧422可包括分别对应于针对输入视频帧402中的第一手术工具406a和第二手术工具406b估计的姿态的第一姿态424a和第二姿态424b。在第一姿态424a内，描绘第一手术工具406a的第一主轴和第二主轴。此外，在第二姿态424b内，描绘第二手术工具406b的第一主轴和第二主轴。

[0114] 图5按照本公开的实施例，图解说明从视频帧中去除一个或多个烟块的方法的例证流程图。已经结合来自图1和图2的要素说明了图5。参见图5，示出了流程图500。流程图500包含一组先前的视频帧502，所述一组先前的视频帧502包括视频帧502a-502n。流程图
500还包含累积烟视频帧504、当前视频帧506、解剖区508、第一手术工具510a和第二手术工具510b、一个或多个烟块512和无烟视频帧514。

[0115] 按照实施例，当前视频帧506可对应于由图像捕捉设备捕捉的一个或多个视频帧中的视频帧。此外，所述一组先前的视频帧502可对应于在当前视频帧506的捕捉之前，可通过图像捕捉设备捕捉的视频帧。从而，在通过图像捕捉设备捕捉的一个或多个视频帧的序列中，所述一组先前的视频帧502按时间先后顺序会在当前视频帧506之前出现。

[0116] 按照实施例，图像处理服务器104的图像过滤引擎210可按次序分析在当前视频帧506之前捕捉的预定数目的视频帧(比如一组先前的视频帧502)。基于在先视频帧(比如一组先前的视频帧502)的分析，图像过滤引擎210可在各个在先视频帧(比如502a-502n)中检测一个或多个烟区。图像过滤引擎210随后可确定包含在各个在先视频帧(比如502a-502n)中的一个或多个烟区中的每一个内的一组像素的累积强度。图像过滤引擎210可生成累积烟视频帧504，以表示在从各个在先视频帧(比如502a-502n)检测出的一个或多个烟区中的一组像素的累积强度。

[0117] 如在流程图500中所示，当前视频帧506描绘通过使用第一手术工具510a和第二手术工具510b对其进行手术或诊断过程的解剖区508。此外，当前视频帧506可被包含在一个或多个块(比如一个或多个烟块512)内的烟遮蔽。按照实施例，图像过滤引擎210可从当前视频帧506中去除一个或多个烟块512，以生成无烟视频帧514。按照实施例，当该烟块中的像素的平均强度在预定阈值之内时，图像过滤引擎210可不从当前视频帧506中去除(一个或多个烟块512中的)烟块。

[0118] 按照实施例，从当前视频帧506中去除一个或多个烟块512可以以累积烟视频帧504为基础。例如，图像过滤引擎210可从当前视频帧506中的对应的像素的强度中减去累积烟视频帧504中的像素的强度，以生成无烟视频帧514。

[0119] 图6按照本公开的实施例，图解说明完善视频帧中的一个或多个手术工具的初步2D掩模的方法的例证流程图。已经结合来自图1和图2的要素说明了图6。参见图6，示出了流程图600。流程图600包含预处理视频帧602、解剖区604、一个或多个手术工具(比如第一手术工具606a、第二手术工具606b和第三手术工具606c)和一个或多个2D掩模(比如第一2D掩模608a、第二2D掩模608b和第三2D掩模608c)。此外，流程图600包含轮廓化视频帧610、一个或多个工具轮廓(比如第一工具轮廓612a、第二工具轮廓612b和第三工具轮廓612c)、轮廓演化视频帧614和一个或多个演化轮廓(比如第一演化轮廓616a、第二演化轮廓616b和第三演化轮廓616c)。流程图600另外包括工具分割视频帧618和一个或多个工具段(比如第一工具段620a、第二工具段620b和第三工具段620c)。

[0120] 按照实施例，图像处理服务器104的图像过滤引擎210可进行通过图像捕捉设备捕捉的一个或多个视频帧中的当前视频帧(未示出)的初步分析。基于所述初步分析，图像过滤引擎210可检测当前视频帧中的一个或多个手术工具(比如606a、606b和606c)的初步2D掩模，如前面在图4中所述。预处理视频帧602图解说明基于所述初步分析可从当前视频帧(未示出)生成的结果视频帧。预处理视频帧602可包括可在当前视频帧中检测出的初步2D掩模，比如第一2D掩模608a、第二2D掩模608b和第三2D掩模608c。预处理视频帧602还包括第一手术工具606a、第二手术工具606b和第三手术工具606c。第一2D掩模608a可包含第一手术工具606a，而第二2D掩模608b可包含第二手术工具606b。此外，第三手术工具606c可被包含在第三2D掩模608c内。

[0121] 按照实施例，图像过滤引擎210可被配置成从预处理视频帧602中确定所检测出的初步2D掩模(比如608a、608b和608c)的轮廓。轮廓化视频帧610图解说明基于所检测出的初步2D掩模(比如第一2D掩模608a、第二2D掩模608b和第三2D掩模608c)的轮廓的确定，可从预处理视频帧602生成的结果视频帧。轮廓化视频帧610可包括确定的轮廓，比如第一工具轮廓612a、第二工具轮廓612b和第三工具轮廓612c。第一工具轮廓612a可对应于(第一手术工具606a的)第一2D掩模608a，而第二工具轮廓612b可对应于(第二手术工具606b的)第二2D掩模608b。此外，第三工具轮廓612c可对应于(第三手术工具606c的)第三2D掩模608c。

[0122] 按照实施例，图像过滤引擎210还可被配置成对轮廓化视频帧610中的确定的轮廓(比如第一工具轮廓612a、第二工具轮廓612b和第三工具轮廓612c)进行轮廓演化。如图2中所规定的，可通过使用如在方程(3)和(4)中规定的基于水平集的技术，基于一个或多个手术工具(比如第一手术工具606a、第二手术工具606b和第三手术工具606c)的颜色特性进行轮廓演化。按照实施例，轮廓演化可以以在轮廓(比如第一工具轮廓612a、第二工具轮廓612b和第三工具轮廓612c)之内和/或之外的区域的曲率和强度变化为基础。轮廓演化视频帧614图解说明基于对轮廓(比如第一工具轮廓612a、第二工具轮廓612b和第三工具轮廓
612c)进行轮廓演化，可从轮廓化视频帧610获得的结果视频帧。轮廓演化视频帧614可包括一个或多个演化的轮廓，比如第一演化轮廓616a、第二演化轮廓616b和第三演化轮廓616c。
第一演化轮廓616a可对应于第一工具轮廓612a，而第二演化轮廓616b可对应于第二工具轮廓612b。此外，第三演化轮廓616c可对应于第三工具轮廓612c。

[0123] 按照实施例，图像过滤引擎210还可被配置成进行轮廓演化视频帧614的分割，以获得工具分割视频帧618。工具分割视频帧618可包括一个或多个工具段，比如第一工具段620a、第二工具段620b和第三工具620c。基于第一演化轮廓616a的分割，可以确定第一工具段620a。此外，基于第二演化轮廓616b和第三演化轮廓616c的分割，可以分别确定第二工具段620b和第三工具段620c。按照实施例，图像过滤引擎210可完善一个或多个手术工具(比如第一手术工具606a、第二手术工具606b和第三手术工具606c)的初步2D掩模(比如第一2D掩模608a、第二2D掩模608b和第三2D掩模608c)。所述完善可以基于一个或多个工具段(比如第一工具段620a、第二工具段620b和第三工具段620c)。

[0124] 图7A至图7D按照本公开的实施例，图解说明视频帧中的一个或多个手术工具的姿态的例证情形。参见图7A，示出了第一例证情形700a。此外，图7B描绘了第二例证情形700b，而图7C和图7D分别描绘了第三例证情形700c和第四例证情形700d。4种例证情形(比如700a-700d)中的每个都描述了包括第一手术工具704和第二手术工具706的视频帧702。不过，在4种例证情形700a-700d中，手术工具704和706的姿态不同。

[0125] 第一例证情形700a描绘在第一手术工具704的顶端(通过704a描绘)的遮蔽，而第二例证情形700b描绘在第二手术工具706的顶端(通过706a描绘)的遮蔽。另外，第三例证情形700c描绘在两个手术工具的顶端和末端的质心(通过708描绘)的遮蔽。此外，第四例证情形700d描绘在第一手术工具704的末端(通过704b描绘)的遮蔽。每个例证情形(比如700a-700d)还描绘第一组主轴(包括主轴710a和712a)和第二组主轴(包括主轴710b和712b)。主轴710a和710b可分别对应于第一手术工具704的第一主轴和第二主轴。此外，主轴712a和
712b可分别对应于第二手术工具706的第一主轴和第二主轴。按照实施例，第二组主轴中的每个主轴可相对于来自第一组主轴的关联主轴成预定角度。例如，(第一手术工具704的)主轴710a和710b可相互正交。类似地，(第二手术工具706的)主轴712a和712b也可相互正交。

[0126] 按照实施例，图像处理服务器104的工具定位引擎212可估计视频帧702中的一个或多个手术工具(比如第一手术工具704和第二手术工具706)的顶端和/或末端的位置。基于在视频帧702中描绘的一个或多个手术工具(比如第一手术工具704和第二手术工具706)的2D掩模的分析，可以估计所述顶端和/或末端的位置。图2和图4中详细说明了2D掩模的检测。

[0127] 按照实施例，工具定位引擎212可沿着第一主轴(比如横向主轴)分析2D掩模，以估计顶端和/或末端的位置。例如，工具定位引擎212可沿着第一手术工具704的第一主轴(比如710a)分析第一手术工具704的2D掩模。此外，工具定位引擎212可沿着第二手术工具706的第一主轴(比如710b)分析第二手术工具706的2D掩模。工具定位引擎212可基于所述位置确定顶端和/或末端的质心的位置。

[0128] 按照实施例，当质心被遮蔽或者质心位于所检测出的2D掩模之外时，工具定位引擎212可重新估计一个或多个手术工具(比如第一手术工具704和第二手术工具706)的顶端和/或末端的位置。例如，在第一例证情形700a和第四例证情形700d中，质心位于所检测出的2D掩模之外，而在第三例证情形700c中，质心可被遮蔽。从而，在诸如700a、700c和700d之类的第一、第三和第四例证情形下，工具定位引擎212可分别重新估计一个或多个手术工具(比如第一手术工具704和第二手术工具706)的顶端和/或末端的位置。

[0129] 此外，工具定位引擎212可基于重新估计的顶端和/或末端的位置，更新质心的位置。所述顶端和/或末端的位置的重新估计可以以沿着第二主轴(比如第一手术工具704的第二主轴710b和第二手术工具706的第二主轴712b)的所检测出的2D掩模的分析为基础。第二主轴可相对于第一主轴成预定角度。例如，第二主轴可正交于第一主轴。从而，如果第一主轴对应于所检测出的2D掩模的横向主轴，那么第二主轴可对应于所检测出的2D掩模的纵向主轴。按照实施例，工具定位引擎212可基于顶端和/或末端的估计的位置，估计视频帧702中的一个或多个手术工具(比如第一手术工具704和第二手术工具706)的姿态。

[0130] 图7A的第一例证情形700a图解说明其中第一手术工具704的顶端(通过704a描述)被第二手术工具706的顶端(通过706a描绘)成钝角(大于“90度”并且小于“180度”)地遮蔽的情形。工具定位引擎212可沿着相应的手术工具的第一主轴(通过710a和712a表示)，分析第一手术工具704和第二手术工具706的2D掩模。这里，第一手术工具704和第二手术工具706的未遮蔽顶端的数目和未遮蔽末端的数目等于1。基于沿着第一主轴的2D掩模的分析，工具定位引擎212可确定顶端和末端的质心(通过708描绘)位于2D掩模之外。从而，工具定位引擎212可断定顶端中的一个或多个可被遮蔽。为了估计手术工具704和706的姿态，工具定位引擎212可进一步沿着相应的手术工具的第二主轴(通过710b和712b表示)，分析这些工具的2D掩模。在这种情况下，第一手术工具704和第二手术工具706的姿态的估计可分别以第一手术工具704和第二手术工具706的相应的末端的估计的位置为基础。

[0131] 图7B的第二例证情形700b图解说明其中第二手术工具706的顶端(通过706a描绘)被第一手术工具704的顶端(通过704a描绘)成锐角(小于或等于“90度”)地遮蔽的情形。工具定位引擎212可沿着相应的手术工具的第一主轴(通过710a和712a表示)，分析手术工具704和706的2D掩模，以检测手术工具704和706的顶端和末端。这里，一个或多个手术工具(比如第一手术工具704和第二手术工具706)的未遮蔽顶端的数目可小于未遮蔽末端的数目。本领域技术人员会意识到在当前情形下，由于顶端和末端的质心(通过708描绘)可位于
2D掩模之内，因此工具定位引擎212不需要沿着手术工具704和706的第二主轴(分别为710b和712b)来分析手术工具704和706的2D掩模。此外，在这种情形下，工具定位引擎212可分别基于第一手术工具704和第二手术工具706的相应的末端的估计的位置，估计第一手术工具
704和第二手术工具706的姿态。

[0132] 图7C的第三例证情形700c图解说明在第一手术工具704和第二手术工具706的顶端和/或末端的质心(比如被遮蔽的质心708)处的遮蔽。工具定位引擎212可沿着相应的手术工具的第一主轴(通过710a和712a表示)，分析手术工具704和706的2D掩模，以检测手术工具704和706的顶端和末端。这里，一个或多个手术工具(比如第一手术工具704和第二手术工具706)的未遮蔽顶端的数目大于或等于未遮蔽末端的数目。本领域技术人员会意识到在当前情形下，由于顶端和末端的质心(通过708描绘)可位于2D掩模之内，因此工具定位引擎212不需要沿着手术工具704和706的第二主轴(分别为710b和712b)分析手术工具704和706的2D掩模。此外，在这种情形下，工具定位引擎212可分别基于第一手术工具704和第二手术工具706的相应的顶端的估计的位置，估计第一手术工具704和第二手术工具706的姿态。

[0133] 图7D的第四例证情形700d图解说明其中第一手术工具704的末端(通过704b描绘)被第二手术工具706的末端(通过706b描绘)遮蔽的情形。工具定位引擎212可沿着相应的手术工具的第一主轴(通过710a和712a表示)，分析手术工具704和706的2D掩模，以检测手术工具704和706的顶端和末端。这里，一个或多个手术工具(比如第一手术工具704和第二手术工具706)的未遮蔽顶端的数目大于或等于未遮蔽末端的数目。基于沿着第一主轴的2D掩模的分析，工具定位引擎212可确定顶端和末端的质心(通过708描绘)位于2D掩模之外。从而，工具定位引擎212可断定末端中的一个或多个末端可能被遮蔽。为了估计手术工具704和706的姿态，工具定位引擎212可进一步沿着相应的手术工具的第二主轴(通过710b和712b表示)，分析这些工具的2D掩模。在这种情况下，工具定位引擎212可分别基于第一手术工具704和第二手术工具706的相应的顶端的估计的位置，估计第一手术工具704和第二手术工具706的姿态。

[0134] 图8按照本公开的实施例，图解说明可呈现在用户终端108上的UI的例证情形。图8已经结合图1的要素进行了说明。参见图8，示出了可被呈现给用户终端108的用户的用户界面(UI)。

[0135] 按照实施例，UI可被配置成显示手术场景界面802，以向用户呈现一个或多个视频帧。例如，如图8中所示，手术场景界面802可显示包括患者的解剖区804的透视横截面视图的快照的视频帧。可在对解剖区804进行手术或诊断过程时捕捉所述快照。

[0136] 如所述快照中图解所示，通过使用一块或多块手术用纱布(比如手术用纱布808)和一个或多个手术仪器(比如手术钳806(第一手术工具)和内窥镜手术仪器810(第二手术工具))，可进行手术或诊断过程。例如，如图8中所示，当通过使用内窥镜手术仪器810进行手术或诊断过程时，可通过使用手术钳806，按住解剖区804的表面。此外，手术用纱布808可用于吸收在进行手术或诊断过程时可能渗出的血液或其他体液。尽管图8中示出了单块手术用纱布和两个手术仪器，不过，在不脱离本公开的范围的情况下，也可使用一个或多个另外的手术用纱布和/或手术仪器来进行手术或诊断过程。如图8中所示，手术场景界面802还图解说明了分别围绕视频帧的快照中的手术钳806和内窥镜手术仪器810的第一边界812a和第二边界812b。手术场景界面802还在第一边界812a内描绘手术钳806的第一姿态轴(通过814a表示)和第二姿态轴(通过814b表示)。另外，手术场景界面802在第二边界812b内，描绘了内窥镜手术仪器810的第一姿态轴和第二姿态轴(分别通过816a和816b表示)。

[0137] 在操作中，在手术场景界面802中的特定视频帧的显示之前，图像处理服务器104可分析视频帧。按照实施例，图像处理服务器104的图像过滤引擎210可确定视频帧中的一个或多个手术工具(比如手术钳806和内窥镜手术仪器810)的一个或多个物理特性。所述一个或多个物理特性的确定可以基于一个或多个颜色和几何约束。之后，图像过滤引擎210可基于确定的一个或多个物理特性，检测存在于视频帧中的一个或多个手术工具(比如806和810)的2D掩模。此外，图像处理服务器104的工具定位引擎212可基于在所述一个或多个手术工具的顶端和/或末端的遮蔽，估计视频帧中的一个或多个手术工具(比如806和810)的姿态。基于估计的相应的手术工具的姿态，可在视频帧内定位一个或多个手术工具(比如
806和810)。

[0138] 按照实施例，在视频帧被呈现给用户时，手术场景界面802可掩盖或突出可定位在视频帧中的一个或多个手术工具(比如806和810)。例如，手术场景界面802可基于手术钳806的定位和姿态估计，显示围绕视频帧中的手术钳806的第一边界812a。类似地，手术场景界面802可基于内窥镜手术仪器810的定位和姿态估计，显示围绕视频帧中的内窥镜手术仪器810的第二边界812b。按照实施例，基于手术钳806的姿态的估计，手术场景界面802可在第一边界812a内显示手术钳806的第一姿态轴814a和第二姿态轴814b。此外，基于内窥镜手术仪器810的姿态的估计，手术场景界面802也可显示内窥镜手术仪器810的第一姿态轴和第二姿态轴(比如分别为816a和816b)。

[0139] 按照实施例，手术场景界面802还可被配置成向用户呈现通知，以指示视频帧中的一个或多个手术工具(比如手术钳806和内窥镜手术仪器810)的定位。所述通知还可指示视频帧中的各个手术工具(比如806和810)的遮蔽的程度和/或类型。所述通知的例子可包括(但不限于)音频报警、文本报警、视觉报警和/或触觉报警。在实时呈现视频帧的情况下，手术场景界面802可促使用户(比如医师)基于通知采取特定行动。例如，手术场景界面802可促使用户调整图像捕捉设备的一个或多个图像捕捉设定。

[0140] 手术场景界面802可建议一个或多个图像捕捉设定的最佳值。用户可基于呈现给用户的建议最佳值，调整图像捕捉设备的一个或多个图像捕捉设定。除了图像捕捉设备的一个或多个图像捕捉设定的调整之外，用户(比如医师)还可在解剖区804内重新排列/重新放置一个或多个手术工具(比如806和810)，以减小一个或多个手术工具(比如806和810)的遮蔽程度。本领域普通技术人员会明白，图8中的UI是为了例证目的而提供的，并且不应被解释成限制本公开的范围。

[0141] 本公开的各个实施例可包括许多优点。如上所述，图像处理服务器104可分析一个或多个视频帧，以基于一个或多个手术工具的姿态的估计，实时地在各个视频帧中定位一个或多个手术工具。在视频帧的分析期间，图像处理服务器104最初可基于一个或多个颜色和几何约束，确定一个或多个手术工具的一个或多个物理特性。当视频帧被一个或多个烟块遮蔽时，图像处理服务器104可从视频帧中去除一个或多个烟块，以生成无烟视频帧。一个或多个烟块的去除可改善一个或多个手术工具的定位的处理的准确性。此外，图像处理服务器104可基于一个或多个物理特性和一个或多个烟块的去除，检测一个或多个手术工具的2D掩模。如上所述，图像处理服务器104可基于与一个或多个手术工具的所检测出的2D掩模关联的轮廓的轮廓演化，完善所检测出的2D掩模。从而，最初检测的2D掩模可从而被完善，以致可进一步改善视频帧中的一个或多个手术工具的检测。

[0142] 按照实施例，图像处理服务器104可被配置成基于一个或多个手术工具的所检测出的2D掩模中的一个或多个手术工具的顶端/末端的遮蔽，估计一个或多个手术工具的姿态。姿态的这种估计对一个或多个手术工具的顶端和/或末端的遮蔽可是鲁棒的。

[0143] 在手术或诊断过程期间，图像处理服务器104可实时向医师提供通知，所述通知可指示视频帧中的一个或多个手术工具的定位。所述通知还可指示一个或多个手术工具的遮蔽的程度和/或类型。基于所述实时通知，医师可在进行手术或诊断过程时，在解剖区内重新排列/重新放置所述一个或多个手术工具，以减小一个或多个手术工具的遮蔽程度。

[0144] 此外，如上所述，图像处理服务器104还可使医师能够基于特定视频帧中的一个或多个手术工具的定位，调整图像捕捉设备的一个或多个图像捕捉设定。一个或多个图像捕捉设定的这种调整有助于由图像捕捉设备实时捕捉的一个或多个视频帧的质量的改进。

[0145] 图9是按照本公开的实施例，图解说明在解剖手术期间定位手术工具的例证方法的例证流程图。参见图9，示出了流程图900。流程图900是结合图1和图2说明的。所述方法开始于步骤902，并且进入步骤904。

[0146] 在步骤904，可从视频帧中去除视频帧的一个或多个烟块以生成无烟视频帧。按照实施例，图像过滤引擎210可被配置成在视频帧被一个或多个烟块遮蔽时，去除视频帧的一个或多个烟块，以生成无烟视频帧。按照实施例，图像过滤引擎210可分析一组在先视频帧(比如时间上在当前视频帧之前出现的预定数目的视频帧)，以在来自所述一组在先视频帧中的每个视频帧中检测一个或多个烟区。图像过滤引擎210可确定所述一组在先视频帧中的所检测出的一个或多个烟区中的一组像素的累积强度。从视频帧中去除一个或多个烟块可以以所述一组在先视频帧中的所检测出的一个或多个烟区中的一组像素的累积强度为基础。

[0147] 在步骤906，可确定存在于视频帧中的一个或多个手术工具的一个或多个物理特性。按照实施例，图像处理服务器104的图像过滤引擎210可被配置成确定视频帧(或者无烟视频帧)中的一个或多个手术工具的一个或多个物理特性。按照实施例，一个或多个手术工具的一个或多个物理特性可基于一个或多个颜色和几何约束来确定。参考图2，规定了所述一个或多个颜色和几何约束。

[0148] 在步骤908，可检测存在于视频帧中的一个或多个手术工具的2D掩模。按照实施例，图像过滤引擎210可被配置成基于确定的一个或多个手术工具的一个或多个物理特性，检测一个或多个手术工具的2D掩模。在图2中详细说明了一个或多个手术工具的2D掩模的确定。按照实施例，图像过滤引擎210还可被配置成基于与一个或多个工具的初始2D掩模关联的轮廓的轮廓演化，完善一个或多个手术工具的2D掩模。在图6中详细说明了一个或多个手术工具的2D掩模的完善。

[0149] 在步骤910，可估计视频帧中的一个或多个手术工具的顶端/末端的位置。按照实施例，工具定位引擎212可被配置成估计视频帧中的一个或多个手术工具的顶端和/或末端的位置。顶端和/或末端的位置的估计可以以一个或多个手术工具的所检测出的2D掩模的分析为基础。此外，工具定位引擎212可确定所述一个或多个工具的顶端和/或末端的质心的位置。按照实施例，当所述质心被遮蔽或者所述质心位于一个或多个手术工具的2D掩模之外时，工具定位引擎212可重新估计一个或多个手术工具的顶端和/或末端的位置。此外，工具定位引擎212可基于重新估计的一个或多个手术工具的顶端和/或末端的位置，更新所述质心的位置。在图2中，详细说明了一个或多个手术工具的顶端/末端的位置的估计(和/或重新估计)。

[0150] 在步骤912，可以估计视频帧中的一个或多个手术工具的姿态。按照实施例，工具定位引擎212可被配置成基于一个或多个手术工具的顶端和/或末端的遮蔽，估计一个或多个手术工具的姿态。按照实施例，当一个或多个手术工具的顶端被遮蔽时，一个或多个手术工具的姿态的估计可以以一个或多个手术工具的末端的估计的位置为基础。此外，当所述质心和/或一个或多个手术工具的末端被遮蔽时，一个或多个手术工具的姿态的估计可以以一个或多个手术工具的顶端的估计的位置为基础。图7A至图7D中详细说明了一个或多个手术工具的姿态的例证情形。此外，在图2中详细说明了一个或多个手术工具的姿态的估计。控制转到结束步骤914。

[0151] 按照本公开的实施例，公开了在解剖手术期间定位手术工具的系统。所述系统可包含经由通信网络110通信耦合到图像捕捉设备(图1中未示出)的图像处理服务器104。图像捕捉设备可被配置成在解剖手术期间捕捉一个或多个视频帧。图像处理服务器104可被配置成基于一个或多个颜色和几何约束，确定存在于来自一个或多个视频帧的视频帧中的一个或多个手术工具的一个或多个物理特性。图像处理服务器104还可被配置成基于确定的一个或多个手术工具的一个或多个物理特性，检测存在于视频帧中的一个或多个手术工具的2D掩模。另外，图像处理服务器104可被配置成当一个或多个手术工具的2D掩模在一个或多个手术工具的顶端和/或末端被遮蔽时，估计视频帧中的一个或多个手术工具的姿态。

[0152] 本公开的各个实施例可提供其上存储有机器代码和/或计算机程序的非暂态计算机可读介质和/或存储介质和/或非暂态机器可读介质和/或存储介质，所述机器代码和/或计算机程序具有可由机器和/或计算机执行以在解剖手术期间定位手术工具的至少一个代码段。图像处理服务器104中的所述至少一个代码段可使机器和/或计算机进行包含基于一个或多个颜色和几何约束确定存在于来自一个或多个视频帧的视频帧中的一个或多个手术工具的一个或多个物理特性的步骤。所述一个或多个视频帧可由图像捕捉设备捕捉，所述图像捕捉设备可经由通信网络110通信耦合到图像处理服务器104。按照实施例，基于确定的一个或多个手术工具的一个或多个物理特性可以检测存在于视频帧中的一个或多个手术工具的2D掩模。此外，当一个或多个手术工具的2D掩模在一个或多个手术工具的顶端和/或末端被遮蔽时，可以估计视频帧中的一个或多个手术工具的姿态。

[0153] 本公开可以以硬件或者硬件和软件的组合实现。本公开可以以集中化方式实现在至少一个计算机系统中，或者以分布式方式实现，在以分布式方式实现的情况下，不同的元件可被散布在几个互连的计算机系统中。适于执行本文中说明的方法的计算机系统或其他装置可以是合适的。硬件和软件的组合可以是具有计算机程序的通用计算机系统，当所述计算机程序被加载和执行时，所述计算机程序可控制所述计算机系统，以致所述计算机系统执行本文中说明的方法。本公开可以以包含还进行其他功能的集成电路的一部分的硬件来实现。

[0154] 本公开也可被嵌入计算机程序产品中，所述计算机程序产品包含使本文中说明的方法的实现成为可能的所有特征，并且当被载入计算机系统中时，能够执行这些方法。在本上下文中，计算机程序意为一组指令中的按任意语言、代码或标号的任意表达，所述一组指令旨在使具有信息处理能力的系统或者直接进行特定功能或者在下述操作之一或两者之后进行特定功能：a)转换成另一种语言、代码或标号；b)以不同的材料形式再现。

[0155] 尽管已经参考特定实施例说明了本公开，不过，在不脱离本公开的范围的情况下，本领域技术人员会明白可以作出各种改变，并且可以替换等价物。另外，在不脱离本公开的范围的情况下，可以作出许多修改以使特定状况或材料适应于本公开的教导。因此，本公开不限于公开的特定实施例，相反，本公开将包含落入附加权利要求的范围内的所有实施例。