会员体验
专利管家(专利管理)
工作空间(专利管理)
风险监控(情报监控)
数据分析(专利分析)
侵权分析(诉讼无效)
联系我们
交流群
官方交流:
QQ群: 891211   
微信请扫码    >>>
现在联系顾问~
首页 / 专利库 / 医疗服务 / 机器人手术学 / 用于在图像捕获装置的视场内检测物体的系统和方法

用于在图像捕获装置的视场内检测物体的系统和方法

阅读:290发布:2020-05-16

IPRDB可以提供用于在图像捕获装置的视场内检测物体的系统和方法专利检索,专利查询,专利分析的服务。并且包括了一种机器人手术系统和操作该机器人手术系统的方法。该方法包括:将光引导在被构造成由机器人手术系统的图像捕获装置检测的光学元件处,该光学元件被构造成反射具有在预定范围内的波长的光;使用捕获光学元件的图像的图像捕获装置检测来自光学元件的反射光的不存在或存在;以及响应于由图像捕获装置检测来自光学元件的反射光的不存在而提供通知。,下面是用于在图像捕获装置的视场内检测物体的系统和方法专利的具体信息内容。

1.一种机器人手术系统,包括:

机器人手臂;

外科医生操纵台,包括:

光源,

光学元件,所述光学元件被配置为反射波长在预定范围内的光,图像捕获装置,所述图像捕获装置被配置为检测由所述光学元件反射的光,和通知装置,所述通知装置被配置成提供通知;

处理器,所述处理器可操作地联接到所述机器人臂并与所述操纵台通信;和存储器,所述存储器具有在其上存储的指令,当由所述处理器执行时,所述指令使得处理器:通过所述图像捕获装置检测所述光学元件反射的光的不存在或存在,以及响应于所述图像捕获装置检测到所述光学元件反射的光的不存在,使得所述通知装置提供所述通知。

2.根据权利要求1所述的机器人手术系统,还包括包含具有所述光学元件的可穿戴装置。

3.根据权利要求2所述的机器人手术系统,其中所述光学元件包括漫射元件/反射元件。

4.根据权利要求3所述的机器人手术系统,其中所述漫射/反射元件包括多个分区。

5.根据权利要求3所述的机器人手术系统,其中所述光学元件包括膜,所述膜包括具有反射元件的透明体,所述反射元件被配置成反射具有在预定范围内的波长的光。

6.根据权利要求3所述的机器人手术系统,其中:所述光学元件包括膜,所述膜包括透明体,所述透明体具有:第一漫射元件,所述第一漫射元件被构造成反射具有在第一预定范围内的波长的光,以允许第一形状在视觉上被感知;以及第二漫射元件,所述第二漫射元件被构造成反射具有在第二预定范围内的波长的光,以允许第二形状被视觉感知,以及所述图像捕获装置被构造成检测所述第一形状和所述第二形状,并且所述通知装置还被构造成响应于所述图像捕获装置检测到所述第一形状的不存在而提供所述通知。

7.根据权利要求1所述的机器人手术系统,其中:所述外科医生操纵台还包括输入手柄,以及

所述存储器具有在其上存储的其他指令,当由所述处理器执行时,所述其他指令使得处理器:响应于所述输入手柄的操作生成信号,以及

响应于所述图像捕获装置检测到由所述光学元件反射的光的不存在而禁用所述输入手柄。

8.根据权利要求7所述的机器人手术系统,其中所述存储器具有在其上存储的其他指令,当由所述处理器执行时,所述其他指令使所述处理器:响应于所述图像捕获装置检测到由所述光学元件反射的光的不存在大于阈值时间段的时间段,禁用所述输入手柄。

9.根据权利要求1所述的机器人手术系统,其中所述存储器具有在其上存储的其他指令,当由所述处理器执行时,所述其他指令使所述处理器:响应于所述图像捕获装置检测到由所述光学元件反射的光的不存在大于阈值时间段的时间段而使所述通知装置提供所述通知。

10.一种操作机器人手术系统的方法,所述方法包括:将光引导在被构造成由所述机器人手术系统的图像捕获装置检测的光学元件处,所述光学元件被构造成反射具有在预定范围内的波长的光;

使用捕获所述光学元件的图像的图像捕获装置检测来自所述光学元件的反射光的不存在或存在;以及响应于由所述图像捕获装置检测到来自所述光学元件的反射光的不存在,提供通知。

11.根据权利要求8所述的方法,其中所述光学元件设置在可佩戴装置上。

12.根据权利要求8所述的方法,其中所述光学元件包括漫射元件/反射元件。

13.根据权利要求12所述的方法,其中所述漫散元件/反射元件包括多个分区。

14.根据权利要求12所述方法,其中所述光学元件包括膜,所述膜包括具有反射元件的透明体,所述反射元件被构造成反射具有在所述预定范围内的波长的光。

15.根据权利要求12所述的方法,其中所述光学元件包括膜,所述膜包括透明体,所述透明体具有:第一漫射元件,所述第一漫射元件被构造成反射具有第一预定范围内的波长的光,以允许第一形状在视觉上被感知;以及第二漫射元件,所述第二漫射元件被构造成反射具有在第二预定范围内的波长的光,以允许第二形状在视觉上被感知,并且所述方法还包括:使用所述图像捕获装置检测所述第一形状和所述第二形状的不存在或存在;以及响应于所述图像捕获装置检测到所述第一形状的不存在,提供所述通知。

16.根据权利要求10所述的方法,还包括:

响应于所述机器人手术系统的输入手柄的操纵,生成信号;以及响应于所述图像捕获装置检测到所述光学元件的反射光的不存在,禁用所述输入手柄。

17.根据权利要求16所述的方法,还包括:

响应于图像捕获装置检测到光学元件反射的光不存在大于阈值时间段的时间段,禁用所述输入手柄。

18.根据权利要求10所述的方法,还包括:

响应于所述图像捕获装置检测到所述光学元件反射的光不存在大于阈值时间段的时间段,使得所述通知装置提供所述通知。

说明书全文

用于在图像捕获装置的视场内检测物体的系统和方法

背景技术

[0001] 机器人手术系统越来越多地用于微创医疗手术中。通常,机器人手术系统包括远外科医生操纵台,所述外科医生操纵台远离一个或多个机器人臂定位,外科器械和/或照相机联接到该机器人臂。外科医生操纵台可以在另一个房间或另一个建筑物中从机器人臂定位在手术室的另外一侧,并且包括输入手柄或用于接收来自外科医生的输入的其他输入装置。输入被传送到中央控制器,所述中央控制器将输入转换成用于操纵患者附近的机器人臂的命令。
[0002] 为了观察手术部位,外科医生操纵台可以包括立体显示器,有时被称为三维(3D)显示器。在一些配置中,结合外科医生佩戴的相应的一对立体眼镜,这样的显示器通过将图像作为分别提供给左眼和右眼的一对不同图像呈现给外科医生并复制左眼与右眼之间偏移的影响(这导致每只眼睛均在显示器中看到的内容有差异)来促进图像中的深度感知。每只眼睛在显示器中看到的不同图像被感知为图像中物体深度的差异。在其他配置中,观看立体显示器不需要眼镜。
[0003] 外科医生操纵台还可包括定位成捕获外科医生图像的照相机。捕获的图像可以用于跟踪外科医生的眼睛或头部位置,以检测外科医生没有注视显示器的情况。在机器人系统的一些配置中,中央控制器可响应于的外科医生的检测到的眼睛或头部位置而产生信号或阻挡所产生的信号,以防止器械的移动。

发明内容

[0004] 提供了用于操作机器人手术系统的机器人手术系统和方法。根据本公开的一方面,机器人手术系统包括机器人臂、外科医生操纵台、处理器和存储器。外科医生操纵台包括光源、被配置为反射具有预定范围内的波长的光的光学元件、被配置为检测由光学元件反射的光的图像捕获装置以及被配置为提供通知的通知装置。处理器可操作地联接到机器人臂并与操纵台通信。存储器具有存储在其上的指令,当由处理器执行时,所述指令使得处理器通过图像捕获装置检测光学元件反射的光的不存在或存在,并且响应于图像捕获装置检测不存在由光学元件反射的光而使得通知装置提供通知。
[0005] 在本公开的另一方面,机器人手术系统包括具有光学元件的可穿戴装置。
[0006] 在本公开的另一方面,光学元件包括漫射元件/反射元件。
[0007] 在本公开的另一方面,漫射元件/反射元件包括多个分区。在本公开的又一方面,光学元件包括膜,所述膜包括具有反射元件的透明体,所述反射元件被配置为反射具有在预定范围内的波长的光。
[0008] 在本公开的又一方面,所述光学元件包括膜,所述膜包括透明体,所述透明体具有:第一漫射元件,所述第一漫射元件被配置为反射具有在第一预定范围内的波长的光,以允许在视觉上感知到第一形状;以及第二漫射元件,所述第二漫射元件被配置成反射具有第二预定范围内的波长的光,以允许视觉上感知到第二形状,图像捕获装置被配置为检测第一形状和第二形状,通知装置还被配置为响应于图像捕获装置检测到不存在第一形状而提供通知。
[0009] 在本公开的另一方面,外科医生操纵台还包括输入手柄,并且存储器还具有存储在其上的指令,当由处理器执行时,所述指令使处理器响应于对输入手柄的操纵而生成信号,并响应于图像捕获装置检测到光学元件反射的光不存在而禁用输入手柄。在本公开的又一方面,存储器具有存储在其上的其他指令,当由处理器执行时,所述指令响应于图像捕获装置检测到光学反射的光不存在大于阈值时间段的时间段而使得处理器禁用输入手柄。
[0010] 在本公开的另一方面,存储器具有存储在其上的其他指令,当由处理器执行时,所述其他指令响应于图像捕获装置检测到光学元件反射的光不存在大于阈值时间段的时间段而使处理器使通知装置提供通知。
[0011] 根据本公开的另一方面,提供了一种操作机器人手术系统的方法,该方法包括:将光引导到被配置为由机器人手术系统的图像捕获装置检测的光学元件,该光学元件被配置为反射具有在预定范围内的波长的光;使用捕获光学元件的图像的图像捕获装置来检测来自光学元件的反射光的不存在或存在;以及响应于图像捕获装置的检测而提供来自光学元件的反射光不存在的通知。
[0012] 在本公开的另一方面,光学元件设置在可穿戴装置上。
[0013] 在本公开的另一方面,光学元件包括漫射元件/反射元件。
[0014] 在本公开的另一方面,漫射元件/反射元件包括多个分区。
[0015] 在本公开的另一方面,光学元件包括膜,该膜包括具有反射元件的透明体,该反射元件被配置为反射具有在预定范围内的波长的光。
[0016] 在本公开的另一方面,所述光学元件包括膜,所述膜包括透明体,所述透明体具有:第一漫射元件,所述第一漫射元件被配置为反射具有在第一预定范围内的波长的光,以允许第一形状在视觉上被感知;以及第二漫射元件,所述第二漫射元件被配置为反射具有在第二预定范围内的波长的光,以允许在视觉上感知第二形状,该方法还包括:使用图像捕获装置检测第一形状和第二形状的不存在或存在;以及响应于图像捕获装置检测到第一形状的不存在而提供通知。
[0017] 在本公开的另一方面,该方法还包括响应于对机器人手术系统的输入手柄的操纵而生成信号以及响应于图像捕获装置检测到光由光学元件反射的光不存在而禁用输入手柄。
[0018] 在本公开的另一方面,该方法还包括响应于图像捕获装置检测到光学元件反射的光不存在大于阈值时间段的时间段而禁用输入手柄。
[0019] 在本公开的另一方面,该方法还包括响应于图像捕获装置检测到光学元件反射的光不存在大于阈值时间段的时间段而使通知装置提供通知。
[0020] 下文参考附图更详细地描述本公开的示例性实施方案的另外的细节和方面。

附图说明

[0021] 本文中参考附图描述本公开的实施方案,其中:
[0022] 图1是根据本公开的机器人手术系统的示意图。
[0023] 图2是根据本发明用于实现图1的机器人手术系统的显示系统的一部分的立体图;
[0024] 图3是根据实施方案使用于图1的机器人手术系统中的标记物和图像捕获装置的简化视图;
[0025] 图4是根据另一实施方案使用于图1的机器人手术系统中的标记和图像捕获装置的简化视图;
[0026] 图5是根据另一实施方案使用于图1的机器人手术系统中的标记和图像捕获装置的简化视图;
[0027] 图6是根据实施方案使用于图1的机器人手术系统中的头戴式设备上的标记和图像捕获装置的简化视图;
[0028] 图7是根据本公开的机器人手术系统的功能框图;
[0029] 图8是根据本公开的用于相对于机器人手术系统的显示装置确定外科医生的位置的方法的流程图;以及
[0030] 图9是根据本公开的用于相对于机器人手术系统的显示装置确定外科医生的位置的另一种方法的流程图。

具体实施方式

[0031] 本公开采用光学元件或标记和照相机或图像捕获装置来确定物体或人的位置。如下面将更详细描述的,当照相机或图像捕获装置检测到标记时,检测到的标记的位置用于计算物体或人的位置。现在参考各图详细描述本公开的实施方案,图中相同附图标号在若干视图中的每个视图中标示相同或对应元件。如本文所用,术语“临床医师”是指医生、外科医生、护士或任何其他护理提供者并且可包括辅助人员。在整个说明书中,术语“近端”是指装置或其组件的最远离患者的部分,并且术语“远端”是指装置或其组件的距患者最近的部分。
[0032] 参考图1,提供了机器人手术系统10,其被配置用于躺在手术台“T”上的患者“P”上,用于执行微创外科手术。根据实施方案,机器人手术系统10通常包括多个机器人臂12,所述机器人臂被配置成接收来自控制器30的命令,用于响应于在远程定位的外科医生操纵台40处接收的输入来操纵一个或多个机器人臂12。
[0033] 每个机器人臂12均由多个构件组成,这些构件通过联接到基座18并从基座18延伸的接头连接。每个基座18均提供每个机械臂12从其延伸的不同位置。例如,基座18可以由多个可移动的推车组成。在另一个实施方案中,所有机器人臂12均从单个基座延伸。在实施方案中,连接到每个机器人臂12的远端的是外科组件14,所述外科组件包括外科器械固定器16,所述外科器械固定器16被构造成可拆卸地与外科器械20联接。每个机械臂12均可包括构造用于不同目的的手术器械20。例如,一个机器人臂12可以包括具有抓握钳口器械20的手术器械,而另一个机器人臂12可以包括具有剪刀的手术器械。其他合适的器械20a,20b包括但不限于吻合器、夹子施加器、缝线穿引器和刮刀等。
[0034] 尽管描绘了四个机器人臂12,但是外科手术系统10可包括少于或多于四个的机器人臂12。在这方面,附加的机器人臂(未示出)同样连接到控制器30并且可经由操纵台40远程操纵。因此,一个或多个另外的手术组件14、手术器械固定器16和/或手术器械20a,20b也可以附接到另外的机器人臂。在另一个实施方案中,机器人臂12中的一个或多个包括定位在手术部位“S”上方的图像捕获装置66和设置在手术部位“S”(未示出)中的图像捕获装置66等等。图像捕获装置66捕获手术部位“S”的视觉图像、红外图像、超声图像、X射线图像、热图像和/或任何其他已知的实时图像。在又一个实施方案中,图像捕获装置66中的一个或多个未附接到机器人臂12,并且放置在手术室周围的预定位置处。在任何情况下,图像捕获装置66均将捕获的成像数据发送到控制器30,所述控制器30从成像数据实时地创建手术部位“S”和/或手术室的图像,并将图像发送到显示装置44,用于显示。在另一实施方案中,所显示的图像是由图像捕获装置捕获的数据的二维渲染。
[0035] 机器人臂12可以由连接到控制器30的电驱动器(未示出)驱动。根据实施方案,控制器30被配置为例如经由计算机程序激活驱动器,使得机器人臂12和手术组件14、手术器械固定器16和/或手术器械20a,20b对应于机器人臂12执行通过操纵台40接收的期望运动。控制器30还可以被配置成调节机器人臂12和/或驱动器的运动。
[0036] 控制器30可以控制多个发动机32,每个发动机均配置成驱动一个或多个线缆的推动或拉动,所述线缆例如联接到手术器械20的线缆(未示出)。在使用中,当推动和/或拉动这些线缆时,一根或多根线缆实现手术器械20a,20b的操作和/或移动。控制器30协调各种发动机32的激活,以协调一个或多个线缆的推动或拉动运动,从而协调一个或多个手术器械20的操作和/或移动。在实施方案中,每个发动机32均被构造成致动驱动杆或杠杆臂以实现外科器械20a,20b的操作和/或移动,作为一个或多个线缆的补充或替代。
[0037] 控制器30包括任何合适的逻辑控制电路,所述逻辑控制电路适于根据一组指令执行计算和/或操作。控制器30可以被配置为经由无线(例如,Wi-Fi,蓝牙,LTE等)和/或有线连接与远程系统(未示出)通信。远程系统可以包括与操纵台40的各种组件、算法和/或操作有关的数据、指令和/或信息。远程系统可以包括任何合适的电子服务、数据库、平台和云等。控制器30可包括可操作地连接到存储器34的中央处理单元。存储器可以包括暂时类型存储器(例如,RAM)和/或非暂时类型存储器(例如,闪存介质和磁盘介质等)。在一些实施方案中,存储器是远程系统的一部分和/或可操作地耦接到远程系统。
[0038] 控制器30可以包括多个输入和输出,用于例如通过驱动电路与操纵台40的组件接口。控制器30可以被配置为接收输入信号和/或生成输出信号以控制操纵台40的各种组件中的一个或多个(例如,一个或多个发动机和/或显示装置44)。输出信号可以包括和/或可以基于可以由用户预编程和/或输入的算法指令。控制器30可以被配置为从用户界面(例如,操作操纵台40的开关、按钮和触摸屏等)接受多个用户输入,所述用户界面可以远程耦接到系统10。
[0039] 存储器34可以直接和/或间接地耦接到控制器30,以存储包括来自生物和/或解剖图谱的术前数据的指令和/或数据库。存储器34可以是远程系统10的一部分和/或可操作地耦接到远程系统10。
[0040] 为了向控制器30提供输入,外科医生操纵台40包括各个输入装置。在实施方案中,外科医生操纵台40包括输入手柄70或输入踏板,所述输入手柄70或输入踏板被构造成由外科医生通过致动来操纵。特别地,外科医生使用他或她的手来抓握和移动输入手柄70,并且输入手柄70的运动经由控制器30平移,从而向机器人臂12和/或手术器械20a,20b提供相应的运动。外科医生踩踏输入踏板以提供选择以提供对机器人臂12或手术器械20a,20b的进一步控制。
[0041] 显示装置44被设置为显示从图像捕获装置66接收的二维图像或三维图像。在提供三维图像的实施方案中,显示装置44被构造成提供用于使用或不使用专门的观察镜头进行观看的三维图像,例如以头戴式设备50的形式,例如配置为眼镜或其他合适的配置的那个。
[0042] 头戴式设备50包括设置在其上的标记64。在实施方案中,标记64的检测表明佩戴头戴式设备50的外科医生的眼睛指向显示装置44。头戴式设备50上的标记64可以以与包括在手术组件14、手术器械固定器16、手术器械20a,20b和/或机器人臂12的远端上的那些类似的方式进行构造。根据实施方案,一个或多个标记64被放置在头戴式设备50上的特定位置处,使得标记64的检测指示外科医生的头部以特定方式定位,例如,向前看显示装置44的方式。为了检测标记64,外科医生操纵台40包括安装到显示装置44或另一个位置的图像捕获装置48,以允许图像捕获装置48在系统操作期间被引导到外科医生。在实施方案中,图像捕获装置48可以包括一个或多个滤波器52,例如带通滤光器,用于检测标记64。
[0043] 图2是根据本文的各种实施方案用于实施到机器人手术系统10中的显示系统的一部分的立体图,示出了显示装置44、头戴式设备50、光源54、图像捕获装置48和音频装置68的示例性布置。在实施方案中,显示装置44包括屏幕70和设置在屏幕70前面的一个或多个层72。屏幕70包括通过一个或多个层72将由某些像素显示的视觉内容引导到外科医生的某只眼睛的像素。特别地,一个或多个层72可以包括双凸透镜层。例如,双凸透镜层包括设置在相应像素行上方的多个垂直透镜,所述多个垂直透镜被配置成以适于允许第一组像素的视觉内容被外科医生的第一只眼睛感知并且允许第二组像素的视觉内容由外科医生的第二只眼睛感知的角度定向。
[0044] 光源54被配置为提供光并且可以沿着显示装置44的边缘安装(如图1所示)或者定位在显示装置44的附近、上方或下方。光源54可以提供可见和/或不可见光谱(例如紫外线,红外线等)的光以由标记64反射,所述标记64可以包括在头戴式设备50上的预定位置处。根据实施方案,标记64可以是光学元件,所述光学元件包括当以预定角度范围内的角度观察时允许反射光的可见性的机构,用于由图像捕获装置48进行检测。在实施方案中,显示系统被配置成使得如果未检测到标记64,则通过音频装置68可听地提供通知、触觉地提供通知或通过显示装置44视觉地提供通知。
[0045] 如图3所示,标记64由反射元件300和漫射元件302组成。反射元件300可以包括镜子,并且漫射元件302可以是具有矩形横截面形状的管状元件,以允许通过限制由反射元件300反射的光来限制由图像捕获装置48实施的标记64的可见性。具体地,反射光的行进可以水平地限制第一角度β限制并且垂直地由第二角度α限制。尽管描绘为具有矩形横截面形状,但是管形元件可以具有不同的横截面形状。在另一个实施方案中,如图4所示,标记64包括反射元件400和漫射元件402,所述漫射元件402包括多个具有矩形横截面形状的管形元件。管形元件彼此基本相同地在相同方向上延伸,并且配合以限制由反射元件400反射的光,以允许标记64被图像捕获装置48检测到。
[0046] 根据另一个实施方案,标记64可以是光学元件,所述光学元件包括当以预定角度范围内的角度观察时允许反射光的可见性的机构,例如,如图5所示。这里,标记64具有反射元件500和漫射元件502,其中漫射元件502采取具有透明体的薄膜形式,所述薄膜被构造成将标记64的观察限制到预定角度范围。在实施方案中,漫射元件502被构造成允许在相对于反射元件500的范围内(例如,包括大致垂直于反射元件500的角度的视角范围)被引导的光反射,并且由此对于图像捕获装置48是可见的。以超出视角范围的角度指向漫射元件502的光不会被反射元件500反射,因此对于图像捕获装置48是不可见的。
[0047] 在另一个实施方案中,如图6所示,标记64被配置为反射特定波长范围内的光(例如,可见光或不可见光)。在这样的实施方案中,图像捕获装置48包括带通滤光器52,所述带通滤光器52被选择为对应于标记64的特定波长范围。因此,当从标记64反射的光的波长通过带通滤光器52时,图像捕获装置48检测标记64,从而允许图像捕获装置48观察标记64。在该实施方案中,标记64示出为以一副眼镜的形式设置在头戴式设备50上。应当理解,标记64可替代地可以包括在头带或其他可穿戴装置上,或者可以是放置在用户的面部或头部的各个位置上的贴纸。
[0048] 图7是图1的机器人手术系统10的简化框图。机器人手术系统10包括控制器720、塔架730和操纵台740。控制器720被配置为响应于从操纵台740接收的输入而与塔架730通信,从而提供用于操作的指令。
[0049] 控制器720通常包括处理单元722、存储器724、塔接口726和操纵台接口728。处理单元722,特别是借助于存储在存储器724中的计算机程序,以这样的方式起作用,以使塔架730的组件根据由操纵台740的输入装置742限定的移动来执行期望的移动。在这方面,处理单元722包括任何合适的逻辑控制电路,所述逻辑控制电路适于根据一组指令执行计算和/或操作。处理单元722可以包括一个或多个处理装置,例如微处理器类型的处理装置或能够执行存储在存储器724中的指令和/或处理数据的其他物理装置。存储器724可以包括暂时类型存储器(例如,RAM)和/或非暂时类型存储器(例如,闪存介质和磁盘介质等)。塔接口
726和操纵台接口728分别与塔架730和操纵台740无线地(例如,Wi-Fi,蓝牙,LTE等)和/或经由有线配置通信。尽管描绘为单独的模块,但是在其他实施方案中,接口732,734可以是单个组件。
[0050] 塔架730包括通信接口732,所述通信接口732被配置成从塔接口726接收通信和/或数据,用于操纵发动机机构734,从而移动机器人臂736a-736d。根据实施方案,发动机机构734被配置成响应于来自处理单元722的指令,接收用于机械操纵线缆(未示出)的电流的施加,所述线缆附接到机器人臂736a-736d,以引起机械臂736a-736d中所选择的一个机械臂和/或耦接到机械臂736a-736d中的一个的器械的期望运动。塔架730还包括图像捕获装置738,所述图像捕获装置738捕获实时图像并经由通信接口732将表示图像的数据发送到控制器730。
[0051] 为了帮助外科医生操纵塔架730的装置,操纵台740具有输入装置742、显示器746、计算机748和照相机750。输入装置742耦接到计算机748并由临床医生用于提供输入。在这方面,输入装置742可以是手柄或踏板或其他计算机配件,例如键盘、操纵杆、鼠标、按钮、轨迹球或其他组件。计算机748包括处理单元和存储器,所述存储器包括与塔架730的各种组件、算法和/或操作有关的数据、指令和/或信息,并且可以使用任何合适的电子服务、数据库、平台或云等来操作。显示器746从计算机748接收指令以显示从图像捕获装置738和/或从通信接口732接收的信息。照相机750在操纵台740处捕获外科医生的图像。
[0052] 上面简要描述的标记64可用于实现各种定位和安全机制。在实施例中,在外科手术期间,系统10知道外科医生相对于显示装置44的定位可能是有利的。现在转向图8,根据实施方案,提供了方法800的流程图,用于确定外科医生相对于机器人手术系统10的显示装置44的定位。方法800可以至少部分地由执行存储在存储器724(图7)中的指令的处理单元722来实现。另外,图8的方法800中示出的特定步骤序列由实施例的方式提供并且不是限制性的。在不脱离本公开的范围的情况下,方法800的步骤可以以不同于图8中所示的顺列的顺序执行。此外,图8的方法800中示出的一些步骤可以同时执行而不是按顺序执行。
[0053] 参考图8,在步骤802处,来自光源54的光指向标记64。如上所述,标记64设置在外科医生的头部或面部上,例如,设置在头戴式设备50上。因此,取决于外科医生的头部或面部的定位,标记64可以或不可以反射来自光源54的光。例如,在实施方案中,多个标记64包括在头戴式设备50上的特定位置处,使得所有标记64的检测均指示外科医生的眼睛指向显示装置44。在另一实施方案中,标记物64至少部分地覆盖头戴式设备50以形成特定形状,并且特定形状的检测指示外科医生的眼睛指向显示装置44。
[0054] 在任何情况下,为了确定是否检测到一个或多个标记64,图像捕获装置48在步骤804处捕获外科医生的图像。基于来自步骤804的图像,确定是否在步骤806中检测到所有标记64,无论它们是设置在特定位置的多个标记64还是形成特定形状的一个或多个标记64。
如果检测到标记64,则方法800重复步骤804以使用图像捕获装置48捕获外科医生的附加图像。如果未检测到所有标记64,则在步骤808处由系统10提供通知,指示外科医生的眼睛不指向显示装置44。在实施方案中,可以在超过时间段阈值之后提供通知。例如,通知可以在标记64未被检测到一段时间之后开始,例如1秒和3秒等。在其他实施方案中,时间段可以更长或更短。在实施例中,系统10可以经由音频装置68提供听觉通知、触觉通知和/或视觉通知。根据实施方案,除了提供通知之外,系统10还防止在输入手柄70或其他输入装置(例如踏板(如果包括的话))处接收输入。
[0055] 在使用标记64的另一实施例中,为了提供对机器人臂12的额外控制,系统10被配置为通过使用外科医生佩戴的头戴式设备50上的一个或多个标记来进一步防止意外移动,以确定外科医生的眼睛是否指向显示装置44。在这方面,系统10被配置为经由相机48捕获包括头戴式设备50(其上设置有一个或多个标记64)的图像数据,并且检测捕获的图像数据内的标记64。现在转向图9,根据实施方案,提供了确定外科医生头部相对于显示装置44的位置的方法900的流程图。方法900可以至少部分地由执行存储在存储器724(图7)中的指令的处理单元722来实现。另外,图9的方法900中示出的特定步骤序列通过实施例的方式提供而且是非限制性的。在不脱离本公开的范围的情况下,方法900的步骤可以以不同于图9中所示的顺列的顺序执行。此外,图9的方法900中示出了一些步骤可以同时执行而不是按顺序执行。
[0056] 在实施方案中,在步骤902处,照相机48捕获外科医生的图像。然后在步骤904处确定是否在捕获的图像中检测到一个或多个标记64。在实施方案中,相机48被配置为检测标记64是否在其视场内并且相对于其定位在特定角度或位置处。标记64的检测指示佩戴在其上设置标记64的头戴式设备50的外科医生的眼睛指向显示装置44。在实施方案中,标记64包括漫射材料和/或反射材料,并且照相机48包括相应的滤光器52,以仅在标记64以特定角度呈现时允许标记64的视觉感知。标记64包括这样的类型,其中光学目标的可见性受到壁或分区的限制,从而允许光学目标仅在以特定角度观察时才能在视觉上被感知。在另一个实施例中,标记64由前表面镜构成,该前表面镜覆盖有限于特定角度范围的工程透明膜,在该特定角度范围内光将被反射。在另一个实施例中,标记64包括反射材料,所述反射材料覆盖有工程漫射器,以将标记64的可见度限制在在水平平面和/或垂直平面中的特定角度,例如由新泽西州牛顿市的ThorLabs公司销售的那些。因此,当外科医生佩戴的头戴式设备50以允许光从标记64反射并通过照相机48上的滤光器52过滤以对摄像机48是可见的角度倾斜时,然后检测标记64。否则,未检测到标记64。
[0057] 如果确定未检测到头戴式设备50上的标记64,则系统10在步骤906处禁用机器人臂12和器械20a,20b的移动。在实施例中,从输入手柄70接收的输入不被传送到机器人臂12或器械20a,20b。例如,当外科医生致动或移动输入手柄70时,不产生任何信号,或者如果产生信号,则不将信号传递到机器人臂12和/或器械20a,20b。以这种方式,当外科医生没有注视显示装置44时,系统10被阻止允许可能影响患者“P”的操作。在实施方案中,在超过时间段阈值之后可以发生禁用。例如,禁用可以在标记64未被检测到一段时间之后开始,例如1秒和3秒等。在其他实施方案中,时间段可以更长或更短。可选地,在步骤908处,在显示装置44上、在听觉上或触觉上提供通知,以指示外科医生应该重新定位他或她的头部以重新启用机器人臂12和/或器械20a,20b的功能。如果确定在照相机48的视场内未检测到标记64,则系统10照常操作机器人臂12和器械20a,20b,并在步骤902处重复以捕获附加图像。
[0058] 根据实施方案,机器人臂12和/或器械20a,20b的移动的禁用和启用取决于是否检测到标记64中的一个。在另一个实施方案中,机器人臂12和/或器械20a,20b的移动的禁用和启用取决于是否检测到头戴式设备50上的一组标记64中包括的所有标记64。
[0059] 本文所描述的系统还可以利用一个或多个控制器来接收各种信息并变换所接收的信息以产生输出。控制器可以包括任何类型的计算装置、计算电路或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。控制器可以包括多个处理器和/或多核中央处理单元(CPU),并且可以包括任何类型的处理器,例如微处理、数字信号处理器和微控制器等。控制器还可以包括存储器,所述存储器用于存储数据和/或算法以执行一系列指令。
[0060] 本文描述的任何方法、程序、算法或代码均可以被转换为编程语言或计算机程序或以其表达。“编程语言”和“计算机程序”包括用于将指令指定给计算机的任何语言,包括(但不限于)这些语言及其派生语言:Assembler、Basic、Batch files、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码,操作系统命令语言、Pascal、Perl、PL1、脚本语言、Visual Basic、本身指定程序的元语言以及所有第一代、第二代、第三代、第四代和第五代计算机语言。还包括的是数据库和其他数据模式,以及任何其他元语言。被解释、被编译或使用编译和解释方法的语言之间没有区别。程序的编译版本和源代码版本之间也没有区别。因此,对程序的引用(其中编程语言可以存在于多个状态(例如源状态、编译状态、对象状态或链接状态)中)是对任何和所有这些状态的引用。对程序的引用可以包含实际指令和/或那些指令的意图。
[0061] 本文描述的任何方法、程序、算法或代码均可以包含在一个或多个机器可读介质或存储器上。术语“存储器”可以包括以诸如处理器、计算机或数字处理装置之类的机器可读的形式提供(例如,存储和/或发送)信息的机构。例如,存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存装置或任何其他易失性或非易失性存储器存储装置。其上包含的代码或指令可以由载波信号、红外信号、数字信号和其他类似信号表示。
[0062] 虽然已经在附图中示出本公开的若干实施方案,但是本公开并不旨在受其限制,因为本公开的范围旨在如领域将允许的一样广泛并且说明书同样以此方式阅读。还设想上述实施方案的任何组合,并且所述组合在所附权利要求书的范围内。因此,上文的描述不应解释为限制性的,而仅仅是作为具体实施方案的例证。本领域的技术人员将设想到在本文所附的权利要求书的范围内的其它修改。
高效检索全球专利

IPRDB是专利检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,专利查询、专利分析

电话:13651749426

侵权分析

IPRDB的侵权分析产品是IPRDB结合多位一线专利维权律师和专利侵权分析师的智慧,开发出来的一款特色产品,也是市面上唯一一款帮助企业研发人员、科研工作者、专利律师、专利分析师快速定位侵权分析的产品,极大的减少了用户重复工作量,提升工作效率,降低无效或侵权分析的准入门槛。

立即试用