内窥镜系统、图像处理装置、图像处理方法以及程序

摘要

本文中公开了用于对从内窥镜装置输入的图像信号进行图像稳定的一种图像处理装置和方法，该内窥镜装置包括：设置在远端的物镜，该物镜设置成使得物镜的光轴与物镜的纵轴以预定角度相交；设置在近端的内窥镜头部；以及陀螺仪传感器，设置在内窥镜头部上并且用于检测内窥镜头部的移动的角速度。该装置包括被配置为基于由内窥镜装置检测的内窥镜装置的内窥镜头部的移动的角速度来实现从内窥镜装置输入的图像信号的图像稳定的电路。

权利要求

1.一种内窥镜系统，包括：

内窥镜装置，包括：

物镜，设置在远端处，所述物镜被布置使得所述物镜的光轴与所述物镜的纵轴以预定角度交叉，内窥镜头部，设置在近端处，以及

陀螺仪传感器，设置在所述内窥镜头部上并且设置为检测所述内窥镜头部的移动的角速度；以及图像处理电路，被配置为基于所检测的角速度来对从所述内窥镜装置输入的图像信号实施图像稳定，其中，所述图像处理电路进一步被配置为通过基于所检测的角速度切出一切出区域来实施所述图像信号的所述图像稳定。

2.根据权利要求1所述的内窥镜系统，其中，所述内窥镜装置是斜视内窥镜。

3.根据权利要求2所述的内窥镜系统，其中，所述斜视内窥镜的斜视角选自于30度的角度或70度的角度。

4.根据权利要求1所述的内窥镜系统，其中，所述图像处理电路被配置为基于所述图像信号测量斜视角。

5.根据权利要求1所述的内窥镜系统，其中，所述图像处理电路被配置为沿时间方向调平所检测的角速度。

6.根据权利要求1所述的内窥镜系统，其中，所述图像处理电路进一步被配置为从已经受图像稳定的所述图像信号中除去卷帘快门失真。

7.根据权利要求1所述的内窥镜系统，其中，所述图像处理电路进一步被配置为基于通过移动所述内窥镜装置而获得的多个图像来生成广视角图像。

8.根据权利要求1所述的内窥镜系统，其中，所述图像处理电路进一步被配置为基于偏移量来测量表示用户的疲劳的指标。

9.根据权利要求1所述的内窥镜系统，其中，所述内窥镜装置从所述内窥镜头部可拆卸，并且所述内窥镜头部接收从所述内窥镜装置发送的镜体信息。

10.根据权利要求9所述的内窥镜系统，其中，所述镜体信息包括斜视角。

11.根据权利要求9所述的内窥镜系统，其特征在于，所述镜体信息包括镜体类型信息。

12.一种图像处理装置，用于从内窥镜装置输入的图像信号的图像稳定，所述内窥镜装置包括：设置在远端处的物镜，所述物镜被布置使得所述物镜的光轴与所述物镜的纵轴以预定角度交叉；设置在近端处的内窥镜头部；以及陀螺仪传感器，设置在所述内窥镜头部上并且设置为检测所述内窥镜头部的移动的角速度，所述图像处理装置包括：被配置为如下的电路：基于由所述内窥镜装置检测的所述内窥镜装置的所述内窥镜头部的移动的所述角速度来实施从所述内窥镜装置输入的所述图像信号的所述图像稳定，其中，所述图像处理装置进一步被配置为通过基于所检测的角速度切出一切出区域来实施所述图像信号的所述图像稳定。

13.一种由图像处理电路实施的图像处理方法，所述图像处理电路被配置为处理从内窥镜装置输入的图像信号，所述内窥镜装置包括：设置在远端处的物镜，所述物镜被布置使得所述物镜的光轴与所述物镜的纵轴以预定角度交叉；设置在近端处的内窥镜头部；以及陀螺仪传感器，设置在所述内窥镜头部上并且设置为检测所述内窥镜头部的移动的角速度，所述方法包括：基于检测的所述内窥镜装置的所述内窥镜头部的移动的所述角速度来实施所述图像信号的图像稳定，其中，实施所述图像信号的图像稳定包括：基于所检测的角速度切出一切出区域。

14.一种非暂时性计算机可读介质，具有程序存储在其上，所述程序在由计算机运行时使所述计算机实施由图像处理电路实施的方法，所述图像处理电路被配置为处理从内窥镜装置输入的图像信号，所述内窥镜装置包括：物镜，设置在远端处，所述物镜被布置使得所述物镜的光轴与所述物镜的纵轴以预定角度交叉；内窥镜头部，设置在近端处；以及陀螺仪传感器，设置在所述内窥镜头部上并且设置为检测所述内窥镜头部的移动的角速度，所述方法包括：基于检测的所述内窥镜装置的所述内窥镜头部的移动的所述角速度来实施所述图像信号的图像稳定，其中，实施所述图像信号的图像稳定包括：基于所检测的角速度切出一切出区域。

说明书

内窥镜系统、图像处理装置、图像处理方法以及程序

技术领域

[0001] 本技术涉及一种内窥镜系统、一种图像处理装置、一种图像处理方法以及一种程序，并且更具体地涉及，允许在内窥镜手术中使用的其他内窥镜装置之中，即使使用所谓的斜视内窥镜时也实施图像稳定的一种内窥镜系统、一种图像处理装置、一种图像处理方法以及一种程序。

背景技术

[0002] 在诸如摄像机等成像装置的领域中，公开了通过使用设置在成像装置上的陀螺仪检测相机抖动量来校正图像的相机抖动的技术(参见PTL 1)。

[0003] 在PTL 1中的技术描述了通过基于由诸如陀螺仪等传感器检测的抖动量在指向光轴的方向上将图像数据移动ftanθ或fθ来校正相机抖动。

[0004] 在本说明书中，f是成像光学系统的焦距，而θ是成像装置绕着指向光轴的轴旋转的旋转角，作为由诸如陀螺仪等传感器检测和计算的角度。

[0005] 引用列表

[0006] 专利文献

[0007] PTL 1：JP 2013-113962A

发明内容

[0008] 技术问题

[0009] 通常，摄像机对距离数米到数十米外存在的目标对象进行成像。在这种情况下，在成像装置的光学系统和目标对象之间的距离(在下文中称为“主体距离”)比在由相机抖动产生的旋转的旋转中心和成像装置的光学系统之间的距离(在下文中称为“旋转半径”)更长。

[0010] 因此，根据在PTL 1等中描述的方法，假设旋转半径足够短到与主体距离相比处于可忽略的水平来计算用于图像稳定的偏移量。

[0011] 另一方面，刚性内窥镜装置对距离数毫米至数厘米外的目标对象进行成像。在内窥镜手术中，刚性镜体通过称为套管针的圆筒插入，并且导入到腹腔内。

[0012] 在这种情况下，刚性镜体使用位于套管针处的支点旋转。根据刚性内窥镜装置，旋转半径不够小到相对于主体距离足够处于可忽略的水平，因此，在PTL 1等中描述的图像稳定方法无效。

[0013] 另外，除了普通的直视刚性内窥镜之外，还存在称为斜视镜的刚性内窥镜，该刚性内窥镜包括其光轴相对于镜筒的轴倾斜地设置的刚性镜体。在斜视镜的情况下，仅仅在考虑由斜视镜的镜筒轴和光学系统的光轴形成的角度、镜筒从参考位置的旋转角度以及主体距离和旋转半径的情况下来计算用于图像稳定的偏移量时，图像稳定是有效的。

[0014] 鉴于上述情况，开发本技术。考虑主体距离、旋转半径、由斜视镜的镜筒轴和光学系统的光轴形成的角度以及斜视镜从参考位置的旋转角度，本技术实施图像稳定。

[0015] 问题的解决方案

[0016] 根据本公开的一个方面的一种内窥镜系统是以下内窥镜系统，包括：内窥镜装置以及图像处理电路，包括：物镜，其设置在远端，所述物镜设置成使得所述物镜的光轴和所述物镜的纵轴以预定角度相交；内窥镜头部，其设置在近端；以及陀螺仪传感器，其设置在所述内窥镜头部上，并且用于检测所述内窥镜头部的移动的角速度，图像处理电路被配置为基于检测到的角速度来实施从所述内窥镜装置输入的图像信号的图像稳定。

[0017] 根据本公开的一个方面的一种图像处理装置是以下图像处理装置，用于从内窥镜装置输入的图像信号的图像稳定，所述内窥镜装置包括：物镜，其设置在远端，所述物镜设置成使得所述物镜的光轴和所述物镜的纵轴以预定角度相交；内窥镜头部，其设置在近端；以及陀螺仪传感器，其设置在所述内窥镜头部上，并且用于检测所述内窥镜头部的移动的角速度。所述图像处理装置包括电路，其被配置为基于由所述内窥镜装置检测到的所述内窥镜装置的内窥镜头部的移动的角速度来实施从所述内窥镜装置输入的图像信号的图像稳定。

[0018] 根据本公开的一个方面的一种图像处理方法是由图像处理电路实施的图像处理方法，所述图像处理电路被配置为处理从内窥镜装置输入的图像信号，所述内窥镜装置包括：物镜，其设置在远端，所述物镜设置成使得所述物镜的光轴和所述物镜的纵轴以预定角度相交；内窥镜头部，其设置在近端；以及陀螺仪传感器，其设置在所述内窥镜头部上，并且用于检测所述内窥镜头部的移动的角速度。所述方法包括基于检测的所述内窥镜装置的内窥镜头部的移动的角速度来实施图像信号的图像稳定的步骤。

[0019] 根据本公开的一个方面的一种介质是非暂时性计算机可读介质，在其上存储有程序，所述程序在由计算机执行时使所述计算机实施由图像处理电路实施的方法，所述图像处理电路被配置为处理从内窥镜装置输入的图像信号，所述内窥镜装置包括：物镜，其设置在远端，所述物镜设置成使得所述物镜的光轴和所述物镜的纵轴以预定角度相交；内窥镜头部，其设置在近端；以及陀螺仪传感器，其设置在所述内窥镜头部上，并且用于检测所述内窥镜头部的移动的角速度。所述方法包括基于检测的所述内窥镜装置的内窥镜头部的移动的角速度来实施图像信号的图像稳定的步骤。

[0020] 根据本技术的一个方面的内窥镜系统和图像处理装置可以是独立的装置或者包括在用作内窥镜系统和图像处理装置这两者的块体中。

[0021] 发明的有益效果

[0022] 根据本技术的一个方面，考虑主体距离、旋转半径、由斜视镜的镜筒轴和光学系统的光轴形成的角度以及斜视镜从参考位置旋转的角度，可实现图像稳定。

附图说明

[0023] [图1]图1是示出腹腔镜手术的概要的示图。

[0024] [图2]图2是示出应用了本公开的内窥镜系统的配置实例的方框图。

[0025] [图3]图3是示出在图2示出的内窥镜装置的另一个配置实例的方框图。

[0026] [图4]图4是示出由图形图像校正装置执行的校正处理的概要的示图。

[0027] [图5]图5是示出图像校正装置的配置实例的方框图。

[0028] [图6]图6是示出在摄像机与内窥镜装置之间的图像稳定的差异的示图。

[0029] [图7]图7是示出使用针孔相机模型的斜视镜的配置的示图。

[0030] [图8]图8是示出由直视镜进行的图像稳定的示图。

[0031] [图9]图9是示出斜视镜的相机抖动方向的示图。

[0032] [图10]图10是示出由斜视镜进行的图像稳定的示图。

[0033] [图11]图11是示出图像校正处理的流程图。

[0034] [图12]图12是示出使用经受图像稳定的图像的拼接合成的示图。

[0035] [图13]图13是示出计算机的配置实例的方框图。

具体实施方式

[0036] 在下文中，将参考附图详细描述用于执行本技术的最佳模式(在下文中称为实施方式)。

[0037] <内窥镜系统的概要>

[0038] 图1是表示应用了本技术的内窥镜系统的概要的示图。

[0039] 该内窥镜系统用于近年来在医疗实践中进行的腹腔镜手术中，代替传统的开腹手术。

[0040] 更具体而言，在腹部区域中的腹腔镜手术的情况下，例如，如图1所示，称为套管针2的开孔工具附接至腹壁的几个点。在这种条件下，将腹腔镜(在下文中也称为“内窥镜装置”或“内窥镜”)21和治疗装置3通过形成在套管针2中的孔而插入并且导入体内，而不是与在传统的开腹手术中一样切割腹部壁1。然后，通过由内窥镜装置11捕捉的患部4的视频图像的实时视野，进行通过使用治疗装置3切出患部(例如，肿瘤)4的治疗。

[0041] 在由内窥镜装置11捕捉视频图像的情况下，可能在所获得的图像中产生图像抖动，因此，需要用于校正图像抖动的机构。

[0042] 根据在图1所示的线性棒状内窥镜装置11，头部单元24由手术者、助理、镜体操作人员、机器人等把持。当把持头部单元24的手等抖动时，通过位于套管针2处的支点(旋转中心)，该抖动的移动传导给物镜22。因此，由于把持头部单元24的手的抖动，可能产生图像抖动。

[0043] 根据本技术的实施方式的内窥镜系统是能够实施用于校正由图像抖动产生的图像失真的所谓的图像稳定的系统。

[0044] <内窥镜系统的配置实例>

[0045] 在下文中参照图2，描述根据本技术的实施方式的内窥镜系统的配置实例。根据本实施方式的内窥镜系统10包括内窥镜装置11、图像校正装置(图像处理装置)12和显示装置13。

[0046] 内窥镜装置11和图像校正装置12不仅可以通过电缆而且可以通过无线电彼此连接。图像校正装置12可以放置在远离手术室的位置，并且通过诸如房屋LAN或因特网等的网络连接。该结构适用于在图像校正装置12和显示装置13之间的连接。

[0047] 内窥镜装置11包括线性棒状镜筒单元21和头部单元24。镜筒单元21也称为伸缩管或刚性管，其长度大约为数十厘米。物镜22设置在镜筒单元21的插入体内一侧的一端处，而另一端与头部单元24连接。中继光学系统的光学透镜单元23容纳在镜筒单元21内。镜筒单元21的形状不限于线性棒状。

[0048] 内窥镜系统可以设置为使得镜筒单元(内窥镜装置)和头部单元(内窥镜头部)可拆卸，并且镜筒单元的信息(例如，镜体的类型(直视镜/斜视镜)和斜视角)可以通过在其间的接触或非接触传输发送给头部单元(head unit，主机单元)。在这种情况下，透镜镜筒单元包括存储透镜镜筒的基本信息(例如，内窥镜的类型、斜视角、镜体的直径和聚焦范围等)的存储器，

[0049] 镜筒单元21的类型大致分为：直视镜型，其中，在图2中所示的镜筒轴A和光轴B彼此一致；以及斜视镜型，其中，镜筒轴A和光轴B形成预定角度。在图2所示的镜筒单元21是这两种类型中的斜视镜的实例。在斜视镜中，由镜筒轴A和光轴B形成的预定角度也称为斜视角，例如，通常设定为30°或70°。然而，存在具有其他角度的斜视镜，并且可获得允许任意设定斜视角的斜视镜。

[0050] 头部单元24容纳成像单元25和陀螺仪单元26。成像单元25包含诸如CMOS(互补金属氧化物半导体)等图像传感器，并且将从镜筒单元21输入的患部的光学图像转换为具有预定的帧速率的图像信号。头部单元24进一步与光源装置14连接，并且从光源装置14接收成像所需的光源的供应，以经由光学透镜单元23照亮患部4。在这种情况下，光源装置14能够发射作为可切换光的具有各种波长的光，并且除了普通光之外，还生成用于具体识别患部4的特殊光。因此，成像单元25能够从特殊光的图像信号以及普通光的图像信号生成图像。

[0051] 陀螺仪单元26检测头部单元24的移动的角速度，并且将检测结果输出到后续图像校正装置12。

[0052] 根据内窥镜装置11，由物镜22聚集光的患部的光学图像经由光学透镜单元23进入头部单元24的成像单元25。已经进入成像单元25的光学图像转换为具有预定的帧速率的图像信号，并且输出到后续图像校正装置12。另外，根据内窥镜装置11，由陀螺仪单元26检测头部单元24的移动的角速度，并输出到后续图像校正装置12。

[0053] 图3示出了内窥镜装置11的另一个配置实例。如该图所示，成像单元25可以直接设置在物镜22之后，以消除在镜筒单元21内的光学透镜单元23。

[0054] <校正处理的概要>

[0055] 在下文中参照图4，描述由图像校正装置12执行的校正处理的概要。图像校正装置12从具有预定帧速率并且从内窥镜装置11的成像单元25输入的图像信号的整个区域(有效像素区域)切出一区域，作为尺寸小于有效像素区域的切出区域，并且将基于切出区域生成的图像信号输出到后续显示装置13。在该处理中，通过将切出区域的位置偏移与相机抖动对应的偏移量，可校正相机抖动。另外，当卷帘快门设置为内窥镜装置11的成像单元25的快门机构时，可以去除由该配置产生的卷帘快门失真。

[0056] <图像校正处理装置的配置实例>

[0057] 在下文中参照图5描述图像校正装置12的配置实例。图像校正装置12包括角速度调平单元31、偏移量确定单元32、图像切出单元33、失真去除单元34和图像输出单元35。

[0058] 角速度调平单元31基于在时间方向上的角速度的积分来调平由内窥镜装置11的陀螺仪单元26检测到的头部单元24的角速度。此后，角速度调平单元31从调平的角速度中去除瞬时误差，并且将所得的角速度输出到偏移量确定单元32和失真去除单元34。

[0059] 偏移量确定单元32基于调平的角速度计算物镜22的偏移量，基于计算出的物镜22的偏移量确定图像切出区域的偏移量，并通知图像切出单元33图像切出区域的偏移量。与物镜22的偏移量对应的图像切出区域的偏移量根据物镜22的放大倍率而变化。因此，偏移量确定单元32保存用于基于物镜22的放大倍率和偏移量计算偏移量的函数，或者预先保存示出各个对应关系的表格。

[0060] 图像切出单元33从具有预定帧速率并且从内窥镜装置11的成像单元25依次输入的图像信号中将切出区域的像素切出。根据从偏移量确定单元32获得的偏移量，调整切出区域的位置。图像切出单元33基于切出区域生成稳定图像信号，并将稳定图像信号输出到失真去除单元34。

[0061] 如果有的话，失真去除单元34从图像切出单元33接收的稳定图像信号去除卷帘快门失真(当卷帘快门设置为成像单元25的快门机构时可能产生)，并将产生的稳定图像信号输出到图像输出单元35。可以通过使用现有的任意方法来去除卷帘快门失真。

[0062] 图像输出单元35将从失真去除单元34接收的稳定图像信号输出到后续单元(在这种情况下，显示装置13)。

[0063] <偏移量确定方法>

[0064] 在后文中描述用于确定偏移量的方法。

[0065] 通常，摄像机对距离数米到数十米的目标对象进行成像，如图6的左部所示。在这种情况下，在成像装置101的光学系统和目标对象之间的距离(在下文中称为“主体距离”)d2比在由相机抖动产生的旋转的旋转中心c2和成像装置101的光学系统之间的距离(在下文中称为“旋转半径”)足够长。因此，在PTL 1等中描述的方法，假设旋转半径r2足够短，以与主体距离d2相比处于可忽略的水平，来计算用于图像稳定的偏移量。图6的左边部分示出了当成像装置101'由于相机抖动而以围绕旋转中心c2的偏离角θ2偏移时的位置处的成像装置101。

[0066] 另一方面，刚性内窥镜装置以数毫米至数厘米的主体距离d1对目标对象进行成像，如图6的右部分所示。在腹腔镜手术的情况下，内窥镜装置11通过称为套管针2的圆筒插入，并且引入到腹腔内。在这种情况下，内窥镜装置11通过位于套管针2处的支点c1旋转。在内窥镜装置11的情况下，旋转半径r1不够短到相对于主体距离d1足以处于可忽略的水平，因此，在PTL 1等中描述的图像稳定方法不是有效的。图6的右部分示出了当头部单元24通过相机抖动而以围绕旋转中心c1的偏离角θ1偏移时的位置处的内窥镜装置11的头部单元24'。

[0067] 在本实施方式中使用的诸如内窥镜装置11等斜视镜的情况下，仅仅在考虑了由斜视镜的镜筒轴与光学系统的光轴形成的角度、镜筒从参考位置的旋转角度以及主体距离和旋转半径，来计算偏移量时，图像稳定是有效的。

[0068] 因此，为了描述斜视镜型内窥镜装置11的偏移量，在本文中首先讨论针孔相机模型的偏移量，作为斜视镜的偏移量的实例。

[0069] 例如，根据在图7所示的针孔相机模型，点O对应于在其上聚集光的光学中心(针孔)。在这种情况下，在图像表面S上形成图像(图片)。在内窥镜装置11的实际配置中，成像单元25包括在头部单元24中。然而，为了简化说明，在本文中考虑图像表面S在图7中位于光学中心O的前面。在本文中，在光学中心O和图像表面S之间的距离被视为焦距f。

[0070] 接下来参考图8，讨论以下方法：考虑在使用其镜筒轴A和光轴B彼此一致的直视镜时的主体距离和旋转半径，来计算用于图像稳定的偏移量。

[0071] 假设在时间t-1，对应于主体的点光源P反射在被包括在头部单元24中的成像单元25的图像表面的中心处。还假设在从时间t-1到时间t的时间段内，头部单元24移动到围绕中心点C旋转(抖动)θ[弧度]的头部单元24'的位置。在该条件下，确定点光源P在时间t反射在头部单元24'的图像表面上。更具体而言，在时间t由头部单元24'获得的图像上的点光源的位置与图像的中心之间的距离u对应于期望计算的用于图像稳定的偏移量。用于图像稳定的偏移量u基于在图8所示的几何关系由以下等式(1)定义。

[0072] [数学公式1]

[0073]

[0074] 在该等式中，d表示主体距离，r表示旋转半径，f表示焦距。通常，在微观时间(一个帧)期间的相机抖动量(旋转角度θ)非常短，因此，允许sinθ≈tanθ≈θ和cosθ≈1的近似。因此，等式(1)可以近似为以下等式(2)。

[0075] [数学公式2]

[0076]

[0077] 另外，当旋转半径r足够短，以便与在等式(2)中的主体距离d相比处于可忽略的水平(d>>r)时，允许d+r≈d的近似法。因此，等式(2)可以近似为以下等式(3)。

[0078] [数学公式3]

[0079] u＝f tanθ＝fθ   …(3)

[0080] 在该等式中所示的用于图像稳定的偏移量等同于在诸如PTL 1等中描述的摄像机等的普通成像装置的图像稳定的偏移量。

[0081] 在内窥镜装置11的情况下，如图6所示，相对于主体距离d，旋转半径r不可忽略。因此，考虑旋转半径r和主体距离d的等式(2)用于实现比传统方法的图像稳定更有效的图像稳定。

[0082] 接下来，讨论包括其光轴A相对于镜筒的轴线B倾斜的刚性镜的斜视镜的情况。

[0083] 首先参考图9，谈及出现在以下描述中的参数。在图9中，在斜视镜位于参考位置(θz＝0)时，由斜视镜的光轴B和镜筒轴(Z轴(＝A))形成的角度被视为Φ[弧度]。在斜视镜从参考位置旋转θz后，由斜视镜的镜筒轴Z与斜视镜的光轴B'投影在XZ平面上的线形成的角度被视为Φy。在斜视镜从参考位置旋转θz之后，斜视镜的光轴与斜视镜的光轴投影在X-Z平面上的线形成的角度被视为Φx。内窥镜装置11绕X轴的旋转被视为θx，内窥镜装置11绕Y轴的旋转被视为θy。

[0084] 在这种情况下，使用Φ和θz分别表示作为在X轴方向和Y轴方向上的角分量Φ的Φx和Φy，作为下面的等式(4)和等式(5)。

[0085] [数学公式4]

[0086]

[0087] [数学公式5]

[0088]

[0089] 接下来，参考图10，讨论在包括在头部单元24中的成像单元25的水平方向上的用于图像稳定的偏移量u。

[0090] 在图10中，假设头部单元24从参考位置旋转θz。在这种情况下，由镜筒轴Z(＝A)和光轴B投影在X-Z平面上的线形成的角Φy由等式(5)表示。在本文中，假设在时间t-1，对应于主体的点光源P反射在包括在头部单元24中的成像单元25的图像表面的中心处。还假设在从时间t-1到时间t的时间段内，头部单元24围绕Y轴旋转(抖动)θy[弧度]，其中心位于旋转中心C。在该条件下，确定在时间t点光源P反射在成像单元25的图像表面上。更具体而言，在时间t在由成像单元25获得的图像上的点光源P的位置与该图像的中心之间的距离u对应于用于图像稳定的偏移量。在图10中，r表示旋转半径，d表示在时间t-1在相机的光学中心与点光源P之间的主体距离，并且f表示焦距。

[0091] 通过在图10所示的几何关系可以理解，用于图像稳定的偏移量u由以下等式(6)表示。

[0092] [数学公式6]

[0093] u＝f tanθ(φy+αy)   ···(6)

[0094] 在该等式中，αy表示在时间t由镜筒轴Z和连接点光源P和头部单元24的光学中心的线形成的角度，并且由以下等式(7)定义。

[0095] [数学公式7]

[0096]

[0097] 在该等式中，h表示连接点光源P和旋转中心C的线。h的长度由以下等式(8)定义。

[0098] [数学公式8]

[0099]

[0100] 在等式(7)中，ωy表示在时间t处由线h和镜筒轴Z形成的角度，并且由以下等式(9)定义。

[0101] [数学公式9]

[0102]

[0103] 因此，考虑到斜视镜的光轴的方向的用于图像稳定的偏移量由上述等式(6)定义。

[0104] 以完全相似的方式定义用于在成像单元25的垂直方向上图像稳定的偏移量v。

[0105] 在直视镜的情况下，由光轴和镜筒轴形成的角度Φ为0，因此，在等式(5)中，Φy＝0成立。因此，当在等式(6)内代入Φy＝0时，等式(6)变为等同于用于在直视镜情况下计算用于图像稳定的偏移量的等式(3)。

[0106] 由陀螺仪单元26检测由相机抖动产生的等式(6)中的角度θy，该角度是旋转中心位于旋转中心C处时围绕Y轴的旋转角度。

[0107] 可以手动提供在等式(6)中的主体距离d，或者当成像单元25被配置为用作距离传感器，用于使用例如飞行时间法(time-of-flight)检测距离时，可以通过由成像单元25执行的图像分析获得该主体距离。

[0108] 可以手动提供在等式(6)中的旋转半径r，或者可以通过例如附接至成像单元25或套管针2的传感器(例如，压力传感器)或通过图像分析获得该旋转半径。

[0109] 可以手动提供由刚性镜的光轴与镜筒轴形成的等式(6)中角度(斜视角)Φ，或者可以通过例如图像分析获得。

[0110] Φ斜视角可以通过在其间的接触或非接触传输从透镜镜筒发送到头部单元。

[0111] 可以手动提供等式(6)中的内窥镜装置11从参考值旋转的角度θz，或者可以通过角度检测传感器或通过图像分析来获得。

[0112] <操作说明>

[0113] 在下文中，参照在图11所示的流程图，描述由图像校正装置12执行的图像校正处理。在本文中假设在校准或其他处理期间，通过手动输入、图像分析或其他方法预先设置了主体距离d、旋转半径r和角度Φ中的每一个。旋转角θz是由陀螺仪单元26测量的值。

[0114] 在步骤S1中，从内窥镜装置11向图像校正装置12开始输入具有预定帧速率的图像信号和表示头部单元24的移动的角速度信号。图像信号输入到图像切出单元33，而将角速度信号输入到角速度调平单元31。

[0115] 在步骤S2中，角速度调平单元31在时间方向上积分由内窥镜装置11的陀螺仪单元26检测到的头部单元24的角速度，以调平角速度，并且将调平的角速度输出到偏移量确定单元32和失真去除单元34。

[0116] 在步骤S3中，偏移量确定单元32通过使用上述等式(6)基于调平的角速度计算物镜22的偏移量，基于计算出的物镜22的偏移量确定图像切出区域的偏移量，并且向图像切出单元33通知图像切出区域的偏移量。

[0117] 在步骤S4中，图像切出单元33从具有预定帧速率并且从内窥镜装置11依次输入的图像信号中切出切出区域的像素，同时根据从偏移量确定单元32接收的偏移量，调整切出区域的位置。图像切出单元33基于切出区域生成稳定图像信号，并将该稳定图像信号输出到失真去除单元34。

[0118] 在步骤S5中，失真去除单元34从图像切出单元33接收的稳定图像信号中去除卷帘快门失真(如果有的话)，并将所产生的稳定图像信号输出到图像输出单元35。图像输出单元35将经由失真去除单元34输入的稳定图像信号输出到显示装置13。

[0119] 如上所述，根据本实施方式的内窥镜系统10能够校正在由内窥镜装置11捕捉的视频图像中可能产生的相机抖动。

[0120] 注意，例如，可以通过使内窥镜装置11围绕用作旋转中心的套管针广泛地移动来获得多个图像，并且可以通过基于旋转传感器的位置和角速度的拼接合成来合成多个图像，如图12所示。在这种情况下，仅仅通过较小的处理量可以获得高精度和宽视角图像。

[0121] 根据上述方法，对准和显示在由于相机抖动而改变的位置处形成的连续图像，用于实现图像稳定。该方法还适用于通过在相同位置重叠这些图像而从多个图像生成单个图像。当应用该方法时，可实现噪声去除。

[0122] 为校正相机抖动而计算的偏移量也可用作用于指示相机抖动的程度的指标。在这种情况下，可以将更大的偏移量视为更大程度的相机抖动。因此，例如，基于被视为指示用户的疲劳程度的指标的偏移量，可测量用户的疲劳程度。

[0123] 由在本文所述的图像校正装置12执行的一系列处理可以由硬件或由软件来执行。当由软件执行这系列处理时，包括在软件中的程序安装在计算机中。在本文使用的计算机的实例包括包含在专用硬件内的计算机和能够根据安装在计算机内的各种类型的程序执行各种类型的功能的计算机，例如，通用个人计算机。

[0124] 图13是示出根据这些程序执行上述一系列处理的计算机的硬件的配置实例的方框图。

[0125] 计算机100的CPU(中央处理单元)101、ROM(只读存储器)102以及RAM(随机存取存储器)103经由总线104彼此连接。

[0126] 输入/输出接口105进一步与总线104连接。输入单元106、输出单元107、存储单元108、通信单元109和驱动器110与输入/输出接口105连接。

[0127] 输入单元106包括键盘、鼠标、麦克风等。输出单元107包括显示器、扬声器等。存储单元108包括硬盘、非易失性存储器等。通信单元109包括网络接口等。驱动器110驱动可移动介质111，例如，磁盘、光盘、磁光盘和半导体存储器。

[0128] 根据具有这种结构的计算机100，CPU 101通过例如经由输入/输出接口105和总线104将存储在存储单元108中的程序加载到RAM 103内并且执行加载的程序来执行在本文描述的这些系列处理。

[0129] 由计算机100(CPU 101)执行的程序可以记录在作为软件包介质等的可并且例如以可移动介质111的形式提供移动介质111上。另外，可以经由有线或无线传输介质(例如，局域网、因特网和数字卫星广播)来提供这些程序。

[0130] 由计算机100执行的程序可以是根据其按照在本文描述的顺序以时间序列执行处理的程序，或者可以是在根据其并行或者在必要时(例如，调用时)执行处理的程序。

[0131] 本技术的实施方式不限于在本文描述的具体实施方式。在不背离本技术的主题的情况下，可以进行各种修改和改变。

[0132] 本技术可以具有以下配置。

[0133] (1)一种内窥镜系统，包括：

[0134] 内窥镜装置，包括：物镜，其设置在远端，所述物镜设置成使得所述物镜的光轴和所述物镜的纵轴以预定角度相交；内窥镜头部，其设置在近端；以及陀螺仪传感器，其设置在所述内窥镜头部上，并且用于检测所述内窥镜头部的移动的角速度，以及图像处理电路，其被配置为基于检测到的角速度来实施从所述内窥镜装置输入的图像信号的图像稳定。

[0135] (2)根据(1)所述的内窥镜系统，其特征在于，所述内窥镜装置是斜视内窥镜。

[0136] (3)根据(2)所述的内窥镜系统，其特征在于，所述斜视内窥镜的斜视角选自30度的角度或70度的角度。

[0137] (4)根据(1)到(3)中任一项所述的内窥镜系统，其中，所述图像处理电路被配置为基于所述图像信号测量所述斜视角。

[0138] (5)根据(1)到(4)中任一项所述的内窥镜系统，其中，所述图像处理电路被配置为在时间方向上调平检测到的角速度。

[0139] (6)根据(1)到(5)中任一项所述的内窥镜系统，其中，所述图像处理电路进一步被配置为从经受图像稳定的图像信号中去除卷帘快门失真。

[0140] (7)根据(1)所述的内窥镜系统，其中，所述图像处理电路进一步被配置为基于通过移动所述内窥镜装置而获得的多个图像来生成广视角图像。

[0141] (8)根据(1)所述的内窥镜系统，其中，所述图像处理电路进一步被配置为基于偏移量来测量指示用户的疲劳的指标。

[0142] (9)根据(1)所述的内窥镜系统，其中，所述内窥镜装置从所述内窥镜头部可拆卸，并且所述内窥镜头部接收从所述内窥镜装置发送的镜体信息。

[0143] (10)根据(9)所述的内窥镜系统，其中，所述镜体信息包括斜视角。

[0144] (11)根据(9)所述的内窥镜系统，其特征在于，所述镜体信息包括镜体类型信息。

[0145] (12)根据(1)所述的内窥镜系统，其中，图像处理电路进一步被配置为基于检测到的角速度，通过切出切出区域来实施图像信号的图像稳定。

[0146] (13)一种图像处理装置，用于从内窥镜装置输入的图像信号的图像稳定，所述内窥镜装置包括：物镜，其设置在远端，所述物镜设置成使得所述物镜的光轴和所述物镜的纵轴以预定角度相交；内窥镜头部，其设置在近端；以及陀螺仪传感器，其设置在所述内窥镜头部上，并且用于检测所述内窥镜头部的移动的角速度，所述图像处理装置包括：电路，其被配置为基于由所述内窥镜装置检测到的所述内窥镜装置的内窥镜头部的移动的角速度来实施从所述内窥镜装置输入的图像信号的图像稳定。

[0147] (14)一种由图像处理电路实施的图像处理方法，所述图像处理电路被配置为处理从内窥镜装置输入的图像信号，所述内窥镜装置包括：物镜，其设置在远端，所述物镜设置成使得所述物镜的光轴和所述物镜的纵轴以预定角度相交；内窥镜头部，其设置在近端；以及陀螺仪传感器，其设置在所述内窥镜头部上，并且用于检测所述内窥镜头部的移动的角速度，所述方法包括：基于检测的所述内窥镜装置的内窥镜头部的移动的角速度来实施图像信号的图像稳定。

[0148] (15)一种在其上存储有程序的非暂时性计算机可读介质，所述程序在由计算机执行时使所述计算机实现由图像处理电路实现的方法，所述图像处理电路被配置为处理从内窥镜装置输入的图像信号，所述内窥镜装置包括：物镜，其设置在远端，所述物镜设置成使得所述物镜的光轴和所述物镜的纵轴以预定角度相交；内窥镜头部，其设置在近端；以及陀螺仪传感器，其设置在所述内窥镜头部上，并且用于检测所述内窥镜头部的移动的角速度，所述方法包括：基于检测的所述内窥镜装置的内窥镜头部的移动的角速度来实施图像信号的图像稳定。

[0149] (16)一种内窥镜系统，包括：

[0150] 内窥镜装置，包括：

[0151] 物镜，其设置在插入体腔内的刚性插入部的尖端，所述物镜被设置成使得所述物镜的光轴和所述插入部的轴向形成预定角度，

[0152] 头部单元，其设置在所述插入部的基端，以及

[0153] 陀螺仪单元，其设置在所述头部单元上，以检测所述头部单元的移动的角速度；以及

[0154] 图像处理装置，其包括校正单元，所述校正单元基于所检测的角速度，从所述内窥镜装置输入的并且与由所述物镜在其上聚集光的光学图像对应的图像信号的有效像素区域中切出切出区域，所述校正单元基于所述切出区域实现所述图像信号的图像稳定。

[0155] (17)根据(16)所述的内窥镜系统，其中，所述内窥镜装置是包括物镜的斜视镜体，所述物镜的光轴和所述插入部的轴向形成对应于预定角度的斜视角。

[0156] (18)根据(17)所述的内窥镜系统，其中，所述斜视角包括30度的角度和70度的角度。

[0157] (19)根据(16)至(18)中任一项所述的内窥镜系统，其中，所述图像处理装置基于所述图像信号测量所述斜视角。

[0158] (20)根据(16)至(19)中任一项所述的内窥镜系统，其中，所述图像处理装置进一步包括角速度调平单元，其在时间方向上调平检测到的角速度。

[0159] (21)根据(16)至(20)中任一项所述的内窥镜系统，其中，所述图像处理装置进一步包括失真去除单元，其从经受图像稳定的图像信号中去除卷帘快门失真。

[0160] (22)一种图像处理装置，其包括校正单元，所述校正单元通过基于由内窥镜装置检测的内窥镜装置的头部单元的移动的角速度，从所述内窥镜装置输入的并且与由所述物镜在其上聚集光的光学图像对应的图像信号的有效像素区域中切出切出区域，来基于所述切出区域实现所述图像信号的图像稳定，其中，

[0161] 所述内窥镜装置包括：

[0162] 物镜，其设置在插入体腔内的刚性插入部的尖端，所述物镜被设置成使得所述物镜的光轴和所述插入部的轴向形成预定角度，

[0163] 头部单元，其设置在所述插入部的基端，以及

[0164] 陀螺仪单元，其设置在所述头部单元上，以检测所述头部单元的移动的角速度。

[0165] (23)一种用于图像处理装置的图像处理方法，所述图像处理装置处理从内窥镜装置输入的图像信号，所述内窥镜装置包括：

[0166] 物镜，其设置在插入体腔内的刚性插入部的尖端，所述物镜被设置成使得所述物镜的光轴和所述插入部的轴向形成预定角度，

[0167] 头部单元，其设置在所述插入部的基端，以及

[0168] 陀螺仪单元，其设置在所述头部单元上，以检测所述头部单元的移动的角速度，所述方法包括：

[0169] 通过基于检测的由内窥镜装置的头部单元的移动的角速度，从与由所述物镜在其上聚集光的光学图像对应的图像信号的有效像素区域中切出切出区域，来实现所述图像信号的图像稳定。

[0170] (24)一种程序，计算机按照所述程序控制图像处理装置，所述图像处理装置处理从内窥镜装置输入的并且与由物镜在其上聚集光的光学图像对应的图像信号，[0171] 所述内窥镜装置包括：

[0172] 物镜，其设置在插入体腔内的刚性插入部的尖端，所述物镜被设置成使得所述物镜的光轴和所述插入部分的轴向形成预定角度，

[0173] 头部单元，其设置在所述插入部的基端，以及

[0174] 陀螺仪单元，其设置在所述头部单元上，以检测所述头部单元的移动的角速度，并且

[0175] 所述程序使计算机用作校正单元，所述校正单元基于所检测的角速度，从与由所述物镜在其上聚集光的光学图像对应的图像信号的有效像素区域中切出切出区域，所述校正单元基于所述切出区域实施所述图像信号的图像稳定。

[0176] 附图标记列表

[0177] 2 套管针

[0178] 10 内窥镜系统

[0179] 11 内窥镜装置

[0180] 12 图像校正装置

[0181] 13 显示装置

[0182] 14 光源装置

[0183] 21 镜筒单元

[0184] 22 物镜

[0185] 23 光学透镜单元

[0186] 24 头部单元

[0187] 25 成像单元

[0188] 26 陀螺仪单元

[0189] 31 角速度调平单元

[0190] 32 偏移量确定单元

[0191] 33 图像切出单元

[0192] 34 失真去除单元

[0193] 35 图像输出单元

[0194] 100 计算机

[0195] 101 CPU