摄像装置、内窥镜装置以及摄像方法

摘要

摄像装置包含摄像元件(40)、成像光学系统(10)、可动掩模(30)以及第二滤镜(FR)。成像光学系统(10)通过第一光路和相对于第一光路具有视差的第二光路将被摄体(5)成像于摄像元件(40)。可动掩模(30)具有遮光部(34)和使第一波段通过的第一滤镜(SL)，该可动掩模(30)相对于成像光学系统(10)可动。第二滤镜(FR)设置于第二光路中，使与第一波段不同的第二波段通过。

权利要求

1.一种摄像装置，其特征在于，该摄像装置包含：摄像元件；

成像光学系统，其通过第一光路和相对于所述第一光路具有视差的第二光路将被摄体成像于所述摄像元件；

可动掩模，其具有遮光部和使第一波段通过的第一滤镜，该可动掩模相对于所述成像光学系统可动；以及第二滤镜，其设置于所述第二光路，使与所述第一波段不同的第二波段通过。

2.根据权利要求1所述的摄像装置，其特征在于，所述摄像装置包含对所述可动掩模进行控制的可动掩模控制部，在非立体模式下，所述可动掩模控制部将所述可动掩模设定为所述第一滤镜不插入于所述第一光路中并且所述遮光部插入于所述第二光路中的第一状态，在立体模式下，所述可动掩模控制部将所述可动掩模设定为所述第一滤镜插入于所述第一光路中并且所述遮光部不插入于所述第二光路中的第二状态。

3.根据权利要求2所述的摄像装置，其特征在于，在第一帧中，所述可动掩模控制部设定所述非立体模式，所述摄像元件拍摄第一摄像图像，在接着所述第一帧的第二帧中，所述可动掩模控制部设定所述立体模式，所述摄像元件拍摄第二摄像图像。

4.根据权利要求3所述的摄像装置，其特征在于，在动态图像的拍摄中交替地重复所述第一帧和所述第二帧。

5.根据权利要求4所述的摄像装置，其特征在于，所述摄像装置包含：图像输出部，其根据在所述动态图像中包含的所述第一摄像图像而输出观察用的动态图像；以及相位差检测部，其根据在所述动态图像中包含的所述第二摄像图像来检测所述第一波段的图像与所述第二波段的图像之间的相位差。

6.根据权利要求2至5中的任意一项所述的摄像装置，其特征在于，所述摄像装置包含可动掩模位置检测部，该可动掩模位置检测部根据在所述立体模式下拍摄的图像所包含的所述第一波段的图像与所述第二波段的图像之间的相似度来检测在所述立体模式下所述可动掩模是否被设定为所述第二状态。

7.根据权利要求6所述的摄像装置，其特征在于，当检测到在所述立体模式下所述可动掩模被设定为所述第一状态的情况下，所述可动掩模控制部修正所述可动掩模的状态与模式的对应。

8.根据权利要求2至7中的任意一项所述的摄像装置，其特征在于，所述摄像装置包含近红外图像生成部，该近红外图像生成部根据在所述非立体模式下拍摄的第一摄像图像和在所述立体模式下拍摄的第二摄像图像而生成近红外图像。

9.根据权利要求8所述的摄像装置，其特征在于，所述摄像元件拍摄的摄像图像由红色、绿色以及蓝色的图像构成，所述第一波段是与所述红色或者所述蓝色中的一方对应的波段，所述第二波段是与所述红色或者所述蓝色中的另一方对应的波段，所述近红外图像生成部根据所述第一摄像图像的所述红色的图像与所述第二摄像图像的所述红色的图像的差分、或所述第一摄像图像的所述蓝色的图像与所述第二摄像图像的所述蓝色的图像的差分而生成所述近红外图像。

10.根据权利要求1至9中的任意一项所述的摄像装置，其特征在于，所述摄像装置包含固定掩模，该固定掩模具有设置于所述第一光路中的第一光阑孔和设置于所述第二光路中的第二光阑孔，所述第二滤镜设置于所述第二光阑孔，

所述可动掩模具有设置于所述遮光部的第三光阑孔，所述第一滤镜设置于所述第三光阑孔。

11.根据权利要求10所述的摄像装置，其特征在于，所述成像光学系统具有：

第一成像光学系统，其使通过所述第一光阑孔的光成像；以及第二成像光学系统，其使通过所述第二光阑孔的光成像。

12.根据权利要求10所述的摄像装置，其特征在于，所述成像光学系统是使通过所述第一光阑孔的光和通过所述第二光阑孔的光成像的单眼的成像光学系统。

13.根据权利要求1至12中的任意一项所述的摄像装置，其特征在于，所述摄像装置包含相位差检测部，该相位差检测部根据在所述可动掩模被设定为所述第一滤镜插入于所述第一光路中并且所述遮光部不插入于所述第二光路中的状态的情况下拍摄的图像而检测所述第一波段的图像与所述第二波段的图像之间的相位差。

14.根据权利要求1至13中的任意一项所述的摄像装置，其特征在于，所述摄像元件拍摄的摄像图像由红色、绿色以及蓝色的图像构成，所述第一波段是与所述红色或者所述蓝色中的一方对应的波段，所述第二波段是与所述红色或者所述蓝色中的另一方对应的波段。

15.一种摄像装置，其特征在于，该摄像装置包含：摄像元件；

成像光学系统，其通过第一光路和相对于所述第一光路具有视差的第二光路将被摄体成像于所述摄像元件；以及可动掩模，其具有遮光部、使第一波段通过的第一滤镜和使与所述第一波段不同的第二波段通过的第二滤镜，该可动掩模相对于所述成像光学系统可动。

16.根据权利要求15所述的摄像装置，其特征在于，所述摄像装置包含对所述可动掩模进行控制的可动掩模控制部，在非立体模式下，所述可动掩模控制部将所述可动掩模设定为所述第一滤镜不插入于所述第一光路中并且所述遮光部插入于所述第二光路中的第一状态，在立体模式下，所述可动掩模控制部将所述可动掩模设定为所述第一滤镜插入于所述第一光路中并且所述第二滤镜插入于所述第二光路中的第二状态。

17.一种内窥镜装置，其特征在于，

该内窥镜装置包含权利要求1至16中的任意一项所述的摄像装置。

18.一种摄像方法，其特征在于，

在非立体模式下，通过将具有遮光部和使第一波段通过的第一滤镜的可动掩模设定为第一状态，使所述第一滤镜不插入于成像光学系统的第一光路中并且将所述遮光部插入到相对于所述第一光路具有视差的所述成像光学系统的第二光路中，在立体模式下，通过将所述可动掩模设定为第二状态，将所述第一滤镜插入于所述第一光路中并且使所述遮光部不插入于所述第二光路中。

说明书

摄像装置、内窥镜装置以及摄像方法

技术领域

[0001] 本发明涉及摄像装置、内窥镜装置以及摄像方法等。

背景技术

[0002] 以往，公知有光学测量三维形状的技术。例如，提出了基于左右双眼的立体视的立体摄像方式、基于正弦图案等的图案照明的相移方式、基于反射光的时间测定的TOF(Time of Flight：飞行时间)方式等各种方式。

[0003] 立体摄像方式只要是使摄像系统为立体光学系统的简单的机构即可，由于不需要特殊的照明机构和照明控制、高度的信号处理，因此考虑到现今的摄像系统的小型化技术的进步，适合小空间内的安装。例如，存在朝向内窥镜装置的前端部的安装和小型机器人的视觉传感器等大量需求。它们多是不仅期望高精度的测量功能，同时也期望高画质的正常观察功能，为了确保分辨率，采取了将视差图像成像于共同的摄像元件的形式而不是使用左右单独的摄像元件。在立体摄像方式中，基本在于根据左右图像的视差量来求取与被摄体的距离，因此如果无法将成像于共同的摄像元件的左右图像分离，则无法检测视差量，从而无法求取距离信息。

[0004] 作为分离左右图像的方法，例如在专利文献1中公开了以下的方法：利用机械快门而在时间上切换左右的成像光路，以时分的方式取得左右的图像。或者，在专利文献2中公开了以下的方法：将RG滤镜插入到单一的成像光路的左半部分，将GB滤镜插入到右半部分，按照摄像图像的R图像和B图像而将左右图像分离。并且，在专利文献2中，在正常观察的情况下，使RG滤镜和GB滤镜从成像光路避开而取得观察图像。

[0005] 现有技术文献

[0006] 专利文献

[0007] 专利文献1：日本特开2010-128354号公报

[0008] 专利文献2：日本特开2013-3159号公报

发明内容

[0009] 发明要解决的课题

[0010] 然而，在上述那样的立体摄像方式中，存在摄像系统或者被摄体的移动会带来不良影响这样的课题。例如在专利文献1中由于以时分的方式来拍摄右图像和左图像，因此在摄像系统或者被摄体移动了的情况下，检测到包含该抖动在内的相位差，难以从该相位差中将抖动与真的相位差分离，因此产生测量误差。或者，在专利文献2中切换观察图像的摄影和视差图像的摄影，但可以认为是假定自动对焦，没有假定高速的切换。在三维形状测量中，如果想要使观察图像和视差图像一致，则需要高速的切换，但在专利文献2的结构中具有两个可动部，因此存在驱动机构变大、故障的概率变高等问题。

[0011] 例如，在内窥镜装置等的照相机和被摄体没有被固定的用途中，上述那样的摄像系统与被摄体的相对的抖动容易成为问题。并且，通过增强应对移动的能力，有可能能够实现在一边移动照相机一边进行形状测量等以往来说较困难的测量。

[0012] 根据本发明的几个方式，能够提供实现抑制了摄像系统或者被摄体的移动的影响的立体测量和观察图像的摄影的摄像装置、内窥镜装置以及摄像方法等。

[0013] 用于解决课题的手段

[0014] 本发明的一个方式涉及摄像装置，其包含：摄像元件；成像光学系统，其通过第一光路和相对于所述第一光路具有视差的第二光路将被摄体成像于所述摄像元件；可动掩模，其具有遮光部和使第一波段通过的第一滤镜，该可动掩模相对于所述成像光学系统可动；以及第二滤镜，其设置于所述第二光路，使与所述第一波段不同的第二波段通过。

[0015] 根据本发明的一个方式，通过可动掩模构成为相对于成像光学系统可动，能够借助该可动掩模的位置的切换来实现立体测量和观察图像的摄影。此时，例如通过能够使用两个光路进行非时分的立体摄影、使作为可动部的可动掩模为一个等而抑制摄像系统或者被摄体的移动的影响。

[0016] 并且，本发明的另一方式涉及摄像装置，其包含：摄像元件；成像光学系统，其通过第一光路和相对于所述第一光路具有视差的第二光路将被摄体成像于所述摄像元件；以及可动掩模，其具有遮光部、使第一波段通过的第一滤镜和使与所述第一波段不同的第二波段通过的第二滤镜，该可动掩模相对于所述成像光学系统可动。

[0017] 并且，本发明的又一方式涉及内窥镜装置，其特征在于，该内窥镜装置包含上述任意方式所记载的摄像装置。

[0018] 并且，本发明的又一方式涉及摄像方法，在非立体模式下，通过将具有遮光部和使第一波段通过的第一滤镜的可动掩模设定为第一状态，使所述第一滤镜不插入于成像光学系统的第一光路中并且将所述遮光部插入到相对于所述第一光路具有视差的所述成像光学系统的第二光路中，在立体模式下，通过将所述可动掩模设定为第二状态，将所述第一滤镜插入于所述第一光路中并且使所述遮光部不插入于所述第二光路中。

附图说明

[0019] 图1是本实施方式的基本结构例。

[0020] 图2是本实施方式的基本结构例。

[0021] 图3是固定掩模、可动掩模的详细的结构例。

[0022] 图4是固定掩模、可动掩模的详细的结构例。

[0023] 图5是固定掩模的左眼光路的分光特性、固定掩模的右眼光路的分光特性以及可动掩模的左眼光路的分光特性。

[0024] 图6是观察模式下的摄像图像的分光特性。

[0025] 图7是立体测量模式下的摄像图像的分光特性。

[0026] 图8是固定掩模、可动掩模的变形例。

[0027] 图9是固定掩模、可动掩模的变形例。

[0028] 图10是成像光学系统的变形例。

[0029] 图11是成像光学系统的变形例。

[0030] 图12是立体测量的原理的说明图。

[0031] 图13是本实施方式的内窥镜装置的结构例。

[0032] 图14是切换观察模式和立体测量模式的序列图。

[0033] 图15是关于被摄体或摄像系统的抖动应对的说明图。

[0034] 图16是本实施方式的内窥镜装置的第二结构例。

具体实施方式

[0035] 以下，对本实施方式进行说明。另外，以下说明的本实施方式并不是对在权利要求书中记载的本发明的内容进行不当限定。并且，在本实施方式中说明的所有结构不一定是本发明的必须结构要件。

[0036] 例如以下将工业用的内窥镜装置作为本发明的应用例进行说明，但本发明不限于应用在工业用的内窥镜装置中，只要是通过立体摄影方式(检测由具有视差的摄像系统取得的两个图像的相位差而取得被摄体的距离信息的方法)来测量三维形状的三维测量装置或具有三维测量功能的摄像装置(例如医疗用的内窥镜装置、显微镜、工业用照相机、机器人的视觉功能等)就能够应用。

[0037] 1.基本结构

[0038] 首先对本实施方式的概要进行说明，接着对本实施方式的基本结构(原理的结构)进行说明。

[0039] 在使用内窥镜装置的检查中，例如将镜体插入到检查对象内，一边拍摄正常的图像一边确认是否有异常，在发现了伤等想要详细地观察的部分时，测量该部分的三维形状，分析是否需要进行进一步的检查。这样，正常的观察图像是使用白色光而进行拍摄的。作为兼顾这样的使用白色光的摄影和立体测量的方法，考虑有例如使用白色光进行立体摄影。然而，当在立体摄影中使用白色光的情况下，需要将图像传感器分割成左、右，使左图像和右图像成像于各自的区域中，因此图像变得低分辨率。作为将左图像和右图像成像于图像传感器的同一区域的方法，具有颜色相位差法，但由于所拍摄的图像为色偏移图像，因此无法作为观察图像使用。

[0040] 根据上述的内容，为了使用白色光在图像传感器的同一区域拍摄左图像和右图像，需要以时分的方式切换(例如专利文献1)。然而，在摄像系统与被摄体相对地运动了的情况下，在左图像与右图像之间存在运动抖动，因此三角测定变得不准确。尤其是在像内窥镜那样无法使照相机相对于被摄体固定的情况下，容易产生运动抖动。

[0041] 在本实施方式中，能够使用白色光取得高分辨率的观察图像，并且能够利用颜色相位差进行非时分的立体测量。

[0042] 作为利用颜色相位差以非时分的方式进行立体测量的方法，例如具有上述的专利文献2。然而，专利文献2将立体测量用于自动对焦，可以认为没有假定与观察图像的高速的切换。如上所述，由于具有两个作为可动部的滤镜，因此可以认为在高速的切换这方面不利。

[0043] 并且，在专利文献2的结构中，只是将单一光路从正中间分成左、右，因此难以拉开光瞳之间的距离，存在难以达到距离测定的精度这样的问题。在内窥镜装置中，由于需要泛焦(pan-focus)，因此光阑较小(F值较小)，因此将该较小的光阑径分成左、右，容易使光瞳之间的距离变得较近。

[0044] 并且，也包含立体的左右的时分方式的切换，需要在时分方式的切换中机械地移动(切换)快门和分光滤镜。由于在机械的移动中发生错误或故障，因此存在以下这样的问题：需要检测快门和分光滤镜处于切换的哪个状态(位置)，如果存在错误，则进行修复。在实现这样的检测功能的情况下，错误的种类较少的话，检测和修复都容易。例如在专利文献2的结构中，有可能产生两个分光滤镜中的双方都没有插入于光瞳的情况、仅一方插入于光瞳的情况等多种错误，因此难以可靠地进行检测和修复。

[0045] 在本实施方式中，能够通过以下那样的方法来解决上述那样的课题。即，是在一个摄像元件的共同区域内拍摄被摄体的左眼光学系统的成像图像和右眼光学系统的成像图像的结构。设置有切换机构，使得左眼光路(第一光路)和右眼光路(第二光路)能够交替地高速切换，采用以时分的方式来切换取得第一图像(观察图像)的观察模式和取得第二图像(视差图像、立体图像、左右图像、测量图像)的测量模式的结构。

[0046] 切换机构构成为使第一图像为仅利用左眼光路的图像，将第一图像用作正常观察用的图像。切换机构构成为使第二图像为将来自左眼光路和右眼光路双方的图像重叠而得到的，将第二图像用作测量用图像。但是，左眼图像和右眼图像为利用光路中的分光滤镜来分离波段而得到的图像。

[0047] 正常观察图像是没有视差的正常的彩色图像，测量用图像是具有左右的视差的分离图像。使用分离图像来求取视差量，从而根据立体测量的原理而计算与被摄体的距离信息，取得三维信息。由于在测量模式下能够同时取得视差图像，因此能够排除由被摄体抖动或者摄像系统的抖动引起的测量误差主要原因。并且，如后所述，通过使用分成了左眼光路和右眼光路的摄像系统，能够使可动部为一个，能够实现高速的切换、小型化、错误检测等。并且，通过使用分成了左眼光路和右眼光路的摄像系统，即使在小型的摄像系统中也容易确保视差、能够提高测量精度。并且，如后所述，当在观察图像中包含有近红外区域的情况下，能够通过计算从观察图像和测量图像中仅提取近红外图像。

[0048] 另外，作为本发明的应用对象，假定例如工业用内窥镜等摄像系统的位置不稳定(不固定)的装置、并且是摄像机构较小、无法为了确保分辨率而使用较大的摄像元件的装置。但是，本发明的应用不限于上述装置，能够广泛应用于以高精细观察、高精度测量为目的的三维测量装置。

[0049] 接下来，使用图1、图2对本实施方式的基本结构进行说明。在图1、图2中示出了从横向观察摄像部时(包含光轴在内的平面上的)剖视图和摄像元件上的成像的光量(或者由摄像元件拍摄的图像的像素值)与位置x的关系。位置x是与成像光学系统的光轴垂直的方向上的位置(坐标)，例如是摄像元件的像素位置。虽然实际上是二维的坐标系，但这里在二维中的视差方向的一维的坐标系下进行说明。

[0050] 本实施方式的内窥镜装置包含成像光学系统10、可动掩模30(第一掩模)、固定掩模20(第二掩模)、摄像元件40(摄像传感器、图像传感器)。成像光学系统10包含左眼成像系统11(第一成像光学系统)和右眼成像系统12(第二成像光学系统)。这里，以摄像元件40具有RGB拜耳阵列的滤色镜的情况为例进行说明，但不限于此，例如也可以具有补色滤镜等。

[0051] 如图1、图2所示，由双系统(左眼成像系统11、右眼成像系统12)的成像光学系统10将来自被摄体5的反射光成像在同一摄像元件40的面上。另外，省略了对被摄体5进行照明的照明机构的图示。d是左眼成像系统11的光轴AX1与右眼成像系统12的光轴AX2之间的距离，在立体测量中为基线长。另外，直线AXC是在包含光轴AX1、AX2在内的平面上与光轴AX1、AX2平行的直线，相当于立体测量的视差中心。

[0052] 左眼成像系统11、右眼成像系统12分别包含成像透镜。固定掩模20、可动掩模30例如设置于成像系统的光瞳位置。或者可以设置于比成像系统靠成像侧的位置。固定掩模20相对于成像系统固定，可动掩模30为能够在与光轴AX1、AX2垂直的平面内切换位置的结构。可动掩模30能够取得图1所示的作为第一状态的观察模式(第一模式、非立体模式、单眼模式)和图2所示的作为第二状态的立体测量模式(第二模式、立体模式)这两个模式，它们能够高速地切换。

[0053] 固定掩模20包含设置有两个光阑孔(左眼光阑孔、右眼光阑孔)的板状的遮光部(遮光部件)和设置于右眼光阑孔中的分光滤镜。光轴AX1通过左眼光阑孔(例如，该圆的中心)，光轴AX2通过右眼光阑孔(例如，该圆的中心)。光阑孔以外的部分被遮光部覆盖，不让光通过。另外，左眼光阑孔例如可以是贯通孔，或者可以设置某个分光滤镜(例如，至少使白色光透射的宽带的分光滤镜)。

[0054] 可动掩模30包含设置有一个光阑孔(左眼光阑孔)的板状的遮光部(遮光部件)和设置于左眼光阑孔中的分光滤镜。可动掩模30构成为在观察模式(通常观察模式)和立体测量模式的各模式中使固定掩模20的两个光阑孔中的一方开放(不与可动掩模30重叠)的大小。在图1、图2中图示了可动掩模30设置在比固定掩模20靠成像侧的位置的情况，但可动掩模30也可以设置在比固定掩模20靠物镜侧的位置。

[0055] 以下，将固定掩模20的左眼光阑孔的分光特性表示为FL，将右眼光阑孔的分光特性表示为FR，将可动分光掩模的左眼光阑孔的分光特性表示为SL。并且，为了便于理解，对于设置于各光阑孔中的分光滤镜，也使用相同的标号FL、FR、SL表示。

[0056] 图1示出了观察模式的状态，左眼侧光路为经由固定掩模20的左眼光阑孔而开放的状态，右眼侧光路为被可动掩模30遮断(遮光)的状态。在该情况下，成像于摄像元件40的图像为仅使用了左眼成像系统11的成像图像IL，能够得到正常的(使用单眼的白色光的)摄像图像。

[0057] 另一方面，图2示出了立体测量模式的状态，为固定掩模20的左眼光阑孔与可动掩模30的左眼光阑孔沿着光轴AX1重叠的状态。即，在左眼侧光路中，利用可动掩模30的短波长(蓝色)分光滤镜SL(第一滤镜)对通过了固定掩模20的右眼光阑孔的光进行过滤，将基于该短波长成分的图像IL’成像于摄像元件40。在右眼侧光路中，可动掩模30的遮光被解除，利用固定掩模20的长波长(红色)分光滤镜FR(第二滤镜)对成像光进行过滤，将基于该长波长成分的图像IR’成像于同一摄像元件40。

[0058] 因此，在立体测量模式下，由摄像元件40的蓝色像素取得的图像IL’为短波长图像，由摄像元件40的红色像素取得的图像IR’为长波长图像，能够分离取得来自两个光路的图像IL’、IR’。即，在立体测量模式下，能够同时并且独立地取得具有相位差的左眼图像IL’和右眼图像IR’，能够进行基于相位差图像的立体测量。

[0059] 2.固定掩模、可动掩模

[0060] 在图3、图4中示出了固定掩模20、可动掩模30的详细的结构例。在图3、图4中示出了成像光学系统10、固定掩模20以及可动掩模30的剖视图和沿光轴方向观察固定掩模20和可动掩模30时的图(从成像侧观察时的后视图)。

[0061] 在固定掩模20的左眼光路中开设有开放状态的光阑孔21(通孔)，在右眼光路中构成有具有长波长分光滤镜FR的光阑孔22。光阑孔21、22是在遮光部24(遮光部件)上开设的，例如是与摄像系统所需的景深对应的尺寸的孔(例如在圆形状的孔中，尺寸为直径)。光阑孔21、22的中心(例如圆的中心)分别与光轴AX1、AX2一致(包含大致一致)。遮光部24设置成在从正面(或者背面)观察收纳光学系统11、12的框体时堵塞框体，例如是设置成与光轴AX1、AX2垂直的板状部件。

[0062] 可动掩模30具有：光阑孔31，其具有短波长分光滤镜SL：以及遮光部34(遮光部件)，其开设有该光阑孔31。光阑孔31例如是比固定掩模20的光阑孔21稍大的尺寸的孔。或者可以是，与摄像系统所需的景深对应的尺寸的孔(例如在圆形状的孔中，尺寸为直径)。光阑孔31的中心(例如圆的中心)在立体观察模式下与光轴AX1一致(包含大致一致)。遮光部34连接于与光轴AX1、AX2垂直的旋转轴35，例如是设置成与光轴AX1、AX2垂直的板状部件。
遮光部34的形状例如是从圆形状的板向旋转轴35延伸有连接用的板而成的形状，但不限于此，只要是能够实现图3和图4的状态的形状即可。

[0063] 可动掩模30是以旋转轴35为中心在与光轴AX1、AX2垂直的方向上旋转规定的角度的结构。能够利用例如压电元件或马达等而实现旋转运动。在图3的观察模式下，可动掩模30向右眼侧旋转、倾斜规定的角度，使固定掩模20的左眼光路(光阑孔21)为开放状态，使右眼光路(光阑孔22)为遮光状态。在图4的立体测量模式下，可动掩模30向左眼侧旋转、倾斜规定的角度，可动掩模30的分光滤镜(光阑孔31)与固定掩模20的左眼光路(光阑孔21)重叠而仅使短波长成分通过，右眼光路(光阑孔22)从遮光状态开放。通过使固定掩模20的具有长波长分光滤镜FR的光阑孔22露出而仅使长波长成分通过。

[0064] 另外，在上述内容中，对通过使可动掩模30轴旋转规定角度而形成两个状态的情况进行了说明，但不限于此。例如，也可以通过滑动动作使可动掩模30移动从而形成两个状态。旋转动作或者滑动动作能够利用例如磁铁机构或压电机构等实现，只要考虑高速性和耐久性来选择适当的装置即可。

[0065] 3.左眼光路、右眼光路的分光滤镜特性

[0066] 在图5中示出了固定掩模20的左眼光路的分光特性FL、固定掩模20的右眼光路的分光特性FR以及可动掩模30的左眼光路的分光特性SL。图5将分光滤镜(或者通孔)的透射波长与透射率的关系表示为相对增益。另外，作为参照特性，使用虚线示出了摄像元件40的彩色像素所具有的分光特性(分光灵敏度特性)。标号“L”、“R”分别表示左眼光路、右眼光路，标号“r”、“g”、“b”、“ir”分别表示红色、绿色、蓝色、近红外。例如通过左眼光路而被摄像元件40的蓝色像素检测的光的分光特性表示为“Lb”。另外，为了便于理解，对于根据这些分光特性而取得的图像，也使用相同的标号(Lb等)表示。

[0067] 如图5所示，固定掩模20的左眼光路的分光特性FL设为包含摄像元件40的彩色像素所具有的分光特性Lb、Lg、Lr、Lir全部在内的特性。如果是单纯的开放状态(通孔)，则使朝向被摄体5的照明分光特性如此即可。或者，也可以将具有图5所示的分光特性FL的分光滤镜设置于左眼光阑孔21中。

[0068] 固定掩模的右眼光路的分光特性FR设为包含红色r的分光特性Rr并且不包含蓝色b的分光特性的特性。另外，由于只要构成为能够充分确保左右图像(红色图像、蓝色图像)的分离性即可，因此分光特性FR无需设为完全不包含蓝色b的分光特性的特性，无需设为包含红色r的整个分光特性Rr的特性。

[0069] 可動掩模30的立体测量模式下的左眼光路的分光特性SL设为包含蓝色b的分光特性Lb并且不包含红色r的分光特性的特性。另外，由于只要构成为能够充分确保左右图像(红色图像、蓝色图像)的分离性即可，因此分光特性SL无需设为完全不包含红色r的分光特性的特性，无需设为包含蓝色b的整个分光特性Lb的特性。由于可动掩模30的立体测量模式下的右眼光路仅是使固定掩模20的右眼光路为开放状态的，因此没有被限定的分光特性。

[0070] 4.摄像图像

[0071] 图6是在观察模式时经由左眼光路而由摄像元件40取得的摄像图像的分光特性。在图6中，使用实线示出摄像图像的分光特性，使用虚线示出左眼光路的分光特性FL。观察模式下的摄像图像是仅经由左眼光路而得到的图像，是由红色r、绿色g、蓝色b、近红外ir的成分构成的图像。因此，是不引起视差图像的重叠的简单的单眼摄像图像。

[0072] 图7是在立体测量模式时经由左眼光路而由摄像元件40取得的左眼图像的分光特性和经由右眼光路而由摄像元件40取得的右眼图像的分光特性。在图7中，使用实线示出左眼图像、右眼图像的分光特性，使用虚线示出左眼光路的分光特性SL、右眼光路的分光特性FR。作为参考，使用细虚线示出绿色图像的分光特性。

[0073] 例如在从左眼光路L取得的红色r的分光图像的含义方面，为了方便起见而表示为Lr，也将其他分光图像表示为Lg、Lb、Lir。一般情况下，关于原色拜耳的摄像元件40的彩色像素，红色像素具有(r+ir)的波段作为灵敏度，绿色像素具有(g+ir)的波段作为灵敏度，蓝色像素具有(b+ir)的波段作为灵敏度。因此，在观察模式下，能够分离取得下式(1)所示的三种彩色图像Vr、Vg、Vb。Vr、Vg、Vb表示观察模式下的红色图像、绿色图像、蓝色图像(或者，其分光特性)。

[0074] [数学式1]

[0075]

[0076] 在立体测量模式下，所取得的是经由左眼光路和右眼光路的两种视差图像，它们重叠地成像在同一摄像元件40上，因此为产生了像偏差的摄像图像。该像偏差为视差量，从而能够根据立体测量的原理而取得被摄体的深度信息，但要想求取该视差量，需要将左眼图像和右眼图像分离、取得双方的关联(匹配)来检测相位差。

[0077] 因此，在测量模式时，在左眼光路中，利用可动掩模30的左眼光路的分光特性SL进行过滤而提取通过固定掩模20的分光特性Lr、Lg、Lb、Lir的光中的分光特性Lb的光(包含分光特性Lg的一部分)。例如，像图7那样将可动掩模30的左眼光路的分光特性SL设为使550nm以下的波长通过并且遮断550nm以上的波长的特性。

[0078] 并且，在右眼光路中，可动掩模30为开放状态，利用通过固定掩模20的右眼光路的分光特性FR进行过滤而提取分光特性Lr的光(包含分光特性Lg的一部分)。例如，像图7那样将固定掩模20的右眼光路的分光特性FR设为使550nm以上并且800nm以下的波长通过并且遮断这以外的波长的特性。

[0079] 因此，在立体测量模式时，取得来自左眼光路的左眼图像作为具有基于摄像元件40(原色拜耳)的蓝色像素的分光特性的Lb的分光特性的图像。并且，取得来自右眼光路的右眼图像作为具有基于摄像元件40(原色拜耳)的红色像素的分光特性的Lr的分光特性的图像。即，能够通过独立的彩色像素将下式(2)所示的左眼图像和右眼图像分离为Mr、Mb而取得。Mr、Mb表示立体测量模式下的红色图像、蓝色图像(或者，其分光特性)。另外，在摄像元件40为补色类型的情况下，只要根据补色信息(青色、品红色、黄色)而转换提取红色图像Mr、蓝色图像Mb即可。

[0080] [数学式2]

[0081]

[0082] 根据以上的实施方式，摄像装置(内窥镜装置)包含摄像元件40、成像光学系统10、可动掩模30以及第二滤镜FR。成像光学系统10通过第一光路和相对于第一光路具有视差的第二光路将被摄体5成像于摄像元件40。可动掩模30具有遮光部34和使第一波段通过的第一滤镜SL，该可动掩模30相对于成像光学系统10可动。第二滤镜FR设置在第二光路中，使与第一波段不同的第二波段通过。

[0083] 通过采用这样的结构，能够进行图1～图4所说明那样的观测模式和立体测量模式的切换。并且，由于能够同时(不是以时分的方式)取得颜色相位差法的视差图像，因此能够进行准确的立体测量。并且，由于作为可动部的可动掩模30为一个，因此能够实现切换的高速化、驱动机构的简单化、模式切换下的故障和错误的抑制。并且，是在可动掩模30的遮光部34上设置有一个滤镜SL的简单的结构，能够抑制由切换的振动引起的滤镜偏移等问题。并且，由于使用明确地分出了第一光路和第二光路的摄像系统，因此易于取得较大的立体测量中的基线长(图12的d)，能够进行准确的距离测定。

[0084] 例如在本实施方式中，第一光路对应于左眼光路，第二光路对应于右眼光路。另外，也可以是，第一光路对应于右眼光路，第二光路对应于左眼光路。并且，为了方便起见，将光路沿左右分离，但光路的分离方向不限于左右。

[0085] 这里，光路是成像于摄像元件40的光从光学系统的物镜侧入射直至到达摄像元件40的路径。当在图1～图4中进行了说明的双眼光学系统的情况下，通过左眼光学系统11和固定掩模20的左眼光阑孔21(在立体测量模式下进而通过可动掩模30的光阑孔31)的光路是第一光路。并且，通过右眼光学系统12和固定掩模20的右眼光阑孔22的光路是第二光路。
即，由双眼光学系统和固定掩模20的两个光阑孔21、22规定了光路。当在图10、图11中后述的单眼光学系统的情况下，通过成像光学系统10和固定掩模20的左眼光阑孔21(在立体测量模式下进而通过可动掩模30的光阑孔31)的光路是第一光路。并且，通过成像光学系统10和固定掩模20的右眼光阑孔22的光路是第二光路。即，通过利用固定掩模20的两个光阑孔
21、22对单眼光学系统进行光瞳分割而规定了光路。

[0086] 这里，掩模是遮蔽入射到掩模的光并且使一部分的光通过的部件或部品。在本实施方式的固定掩模20和可动掩模30中，遮光部24、34遮蔽光并且光阑孔21、22、、31使光(整个带域或者一部分的带域)通过。

[0087] 并且，例如在本实施方式中，第一波段对应于蓝色的波段(白色光的短波长侧的带域)，第二波段对应于红色的波段(白色光的长波长侧的带域)。另外，也可以是，第一波段对应于红色的波段，第二波段对应于蓝色的波段。第一波段和第二波段只要能够按照波段将第一光路的图像和第二光路的图像分离即可。在本实施方式中按照拜耳摄像元件的蓝色图像和红色图像进行分离，但不限于此，只要是根据波段的分离而将视差图像分离的方法，就能够应用本发明。

[0088] 并且，在本实施方式中，摄像装置包含控制可动掩模30的可动掩模控制部340(图13)。关于可动掩模控制部340，在非立体模式(观察模式)下，将可动掩模30设定为第一滤镜SL没有插入于第一光路中并且遮光部34插入于第二光路中的第一状态(第一位置)。另一方面，在立体模式(立体测量模式)下，可动掩模控制部340将可动掩模30设定为第一滤镜SL插入于第一光路中并且遮光部34没有插入于第二光路中的第二状态(第二位置)。

[0089] 通过进行这样的可动掩模30的驱动控制，能够实现图1和图3的观察模式与图2和图4的立体测量模式的切换控制。即，在将可动掩模30设定为第一状态的情况下，由于第二光路被遮光部34遮蔽，因此是仅使用第一光路的摄影，由于在第一光路中没有插入第一滤镜SL，因此能够拍摄正常观察用的图像(白色光图像)。另一方面，在将可动掩模30设定为第二状态的情况下，由于在第一开路中插入有第一滤镜SL，在第二开路中固定有第二滤镜FR，因此能够拍摄颜色相位差法的视差图像。

[0090] 并且，在本实施方式中，摄像装置包含固定掩模20。固定掩模20具有设置于第一光路中的第一光阑孔21和设置于第二光路中的第二光阑孔22。而且，第二滤镜FR设置于第二光阑孔22中。可动掩模30具有设置于遮光部34的第三光阑孔31。而且，第一滤镜SL设置于第三光阑孔31中。

[0091] 通过这样设置具有第一光阑孔21和第二光阑孔22的固定掩模20，能够利用第一光阑孔21和第二光阑孔22明确地分离出第一光路和第二光路。而且，通过堵塞一方的光阑孔22，能够进行观察模式下的单眼摄影，通过使用光阑孔21、22双方，能够进行立体测量模式下的立体摄影。由于利用固定掩模20而明确地分离出了两个光路，因此能够像上述那样确保立体测量中的基线长(图12的d)。

[0092] 并且，在本实施方式中，成像光学系统10具有：第一成像光学系统11，其使通过第一光阑孔21的光成像；以及第二成像光学系统12，其使通过第二光阑孔22的光成像。

[0093] 这样，通过使用双眼成像光学系统，能够将光阑孔21、22设置在光轴上，能够取得高品质(例如像差小的)的成像。

[0094] 5.变形例

[0095] 对第一变形例进行说明。即，在上述的实施方式中以在可动掩模30上设置有一个光阑孔31的情况为例进行了说明，但不限于此。例如，也可以如图8、图9所示，在可动掩模30上设置两个光阑孔31、32。

[0096] 具体而言，可动掩模30包含遮光部34、设置于遮光部34的左眼光阑孔31以及设置于遮光部34的右眼光阑孔32。在左眼光阑孔31中设置有短波长的分光特性SL的分光滤镜，在右眼光阑孔32中设置有长波长的分光特性SR的分光滤镜。分光特性SR是与图5的分光特性FR相同的特性。

[0097] 固定掩模20包含遮光部24、设置于遮光部24的左眼光阑孔21以及设置于遮光部24的右眼光阑孔22。光阑孔21、22例如是开放状态(通孔)，其分光特性是与图5的分光特性FL相同的特性。

[0098] 在观察模式下，固定掩模20的左眼光阑孔21为开放状态，固定掩模20的右眼光阑孔22被可动掩模30的遮光部24遮光，拍摄基于单眼的白色光的图像。在立体测量模式下，固定掩模20的左眼光阑孔21与可动掩模30的左眼光阑孔31重叠，固定掩模20的右眼光阑孔22与可动掩模30的右眼光阑孔32重叠，拍摄基于颜色相位差法的视差图像(红色图像、蓝色图像)。

[0099] 根据本变形例，摄像装置(内窥镜装置)包含摄像元件40、成像光学系统10以及可动掩模30。成像光学系统10通过第一光路和相对于第一光路具有视差的第二光路将被摄体5成像于摄像元件40。可动掩模30具有遮光部34、使第一波段(蓝色的波段)通过的第一滤镜SL以及使与第一波段不同的第二波段(红色的波段)通过的第二滤镜SR，该可动掩模30相对于成像光学系统10可动。

[0100] 并且，在本变形例中，摄像装置包含对可动掩模30进行控制的可动掩模控制部340(图13)。关于可动掩模控制部340，在非立体模式(观察模式)下，将可动掩模30设定为第一滤镜SL没有插入于第一光路中并且遮光部34插入于第二光路中的第一状态。另一方面，在立体模式(立体测量模式)下，可动掩模控制部340将可动掩模30设定为第一滤镜SL插入于第一光路中并且第二滤镜SR插入于第二光路中的第二状态。

[0101] 通过这样的结构，也能够实现观测模式与立体测量模式的切换、立体测量模式下的视差图像的同时取得、模式切换的高速化、可动掩模30的驱动机构的简单化、模式切换下的故障和错误的抑制、立体测量中的基线长的确保等。

[0102] 接下来，对第二变形例进行说明。即，在上述的实施方式中以成像光学系统10是双眼光学系统11、12的情况为例进行了说明，但不限于此。例如也可以如图10、图11所示，成像光学系统10是单眼光学系统。

[0103] 具体而言，利用固定掩模20的光阑孔21、22对单眼成像光学系统10进行光瞳分割，其左光瞳光路为左眼光路，右光瞳光路为右眼光路。光阑孔21、22的中心线(左光瞳、右光瞳的中心线)IC1、IC2例如设置成与单眼成像光学系统10的光轴AX相距等距离。中心线IC1、IC2和光轴AX优选在同一平面内，但也可以不是必须在同一平面内。

[0104] 根据本变形例，成像光学系统10是使通过固定掩模20的第一光阑孔21的光和通过固定掩模20的第二光阑孔22的光成像的单眼的成像光学系统。

[0105] 通过这样在单眼的成像光学系统10中设置固定掩模20，能够通过光瞳分割而进行立体摄影。能够利用固定掩模20来确保立体测量的基线长，并且由于是单眼，因此能够使光学系统的结构简单化。

[0106] 6.立体三维测量的原理

[0107] 对立体测量模式下的立体测量的原理进行说明。如图12所示，左眼和右眼的光路独立构成，来自被摄体5的反射图像经由这些光路成像于摄像传感器面(受光面)上。三维空间的坐标系X、Y、Z定义如下。即，沿着摄像传感器面来设定X轴和与X轴垂直的Y轴，将Z轴设定为沿着与摄像传感器面垂直并且与光轴AX1、AX2平行的方向而朝向被摄体的方向。设Z轴与X轴、Y轴在零点处交叉。另外，这里，为了方便起见，省略了Y轴。

[0108] 左眼的成像透镜11和右眼的成像透镜12配置在Z轴上的同一位置。设透镜11、12与摄像传感器面的距离为b，设从透镜11、12到被摄体5的任意点Q(x，z)的距离为z。设右眼和左眼的成像透镜11、12的光轴中心AX1、AX2与Z轴的距离相同，各为d/2。即，立体测量中的基线长为d。设被摄体5的任意点Q(x，y)被左眼光学系统11成像于摄像传感器面上的对应点的X坐标为XL，设被摄体5的任意点Q(x，y)被右眼光学系统12成像于摄像传感器面上的对应点的X坐标为XR。能够使用在由任意点Q(x，z)和坐标XL、XR包围的三角形内形成的多个部分的直角三角形的相似关系而取得下式(3)。

[0109] [数学式3]

[0110]

[0111] 这里，下式(4)、(5)成立。

[0112] [数学式4]

[0113]

[0114] [数学式5]

[0115]

[0116] 由此，能够像下式(6)那样去掉上式(3)的绝对值。

[0117] [数学式6]

[0118]

[0119] 关于x求解上式(6)，则成为下式(7)。

[0120] [数学式7]

[0121]

[0122] 将上式(7)的x带入到上式(6)中，则得到了下式(8)，从而能够求取z。

[0123] [数学式8]

[0124]

[0125] d、b是已知的设定值，未知数XL、XR能够如下求取。即，以摄像传感器面的位置XL为基准进行考虑(将左图像的像素位置看作XL)，通过匹配处理(关联运算)来检测与位置XL对应的位置XR。通过针对各位置XL计算距离z来测量被摄体的形状。另外，在匹配不良的情况下有可能无法求取到距离z，但也可以通过例如根据周围的像素的距离z进行插补等而求取。

[0126] 7.内窥镜装置

[0127] 在图13中示出了本实施方式的内窥镜装置(广义上是摄像装置)的结构例。内窥镜装置包含镜体部100(摄像部)、主体部200(控制装置)。镜体部100包含成像光学系统10、固定掩模20、可动掩模30、摄像元件40、驱动部50。主体部200包含处理部210、监视器显示部220、摄像处理部230。处理部210包含图像选择部310(图像帧选择部)、彩色图像生成部320(图像输出部)、相位差检测部330、可动掩模控制部340(可动掩模驱动控制部)、可动掩模位置检测部350、距离信息计算部360、三维信息生成部370。

[0128] 另外，作为未图示的结构要素，主体部200也可以包含对主体部200进行操作的操作部、与外部设备连接的接口部等。作为未图示的结构要素，镜体部100也可以包含例如处置器具、照明部(光源、透镜等)、对镜体部100进行操作的操作部等。

[0129] 能够假定工业用、医疗用的所谓的视频镜体(内设有摄像元件的内窥镜装置)作为内窥镜装置。镜体部100构成为能够弯曲的柔性镜、镜体部100构成为棒状的硬性镜都能够应用本发明。例如在工业用的柔性镜的情况下，主体部200和摄像部110构成为可搬运的便携式设备，用于工业产品的制造检查和维修检查、建筑物和配管的维修检查等。

[0130] 驱动部50根据来自可动掩模控制部340的控制信号对可动掩模30进行驱动，切换第一状态(观察模式)和第二状态(立体测量模式)。例如，驱动部50由基于压电元件或磁铁机构的促动器构成。

[0131] 摄像处理部230对来自摄像元件40的信号进行摄像处理，输出摄像图像(例如拜耳图像等)。例如，进行相关双采样处理、增益控制处理、A/D转换处理、伽马校正、颜色校正、降噪等。摄像处理部230例如可以由ASIC等分立IC构成，或者可以内设于摄像元件40(传感器芯片)或处理部210。

[0132] 监视器显示部220显示由镜体部100拍摄的图像和被摄体5的三维形状信息等。例如，监视器显示部220由液晶显示器或EL(Electro-Luminescence：电致发光)显示器等构成。

[0133] 以下，对内窥镜装置的动作进行说明。可动掩模控制部340对驱动部50进行控制以切换可动掩模30的位置。在可动掩模控制部340将可动掩模30设定为观察模式的情况下，来自被摄体5的反射光经由左眼光路成像于摄像元件40。摄像处理部230读出成像于摄像元件40的图像的像素值，进行A/D转换等并将图像数据输出给图像选择部310。

[0134] 图像选择部310根据来自可动掩模控制部340的控制信号而检测可动掩模30的状态是否是观察模式，从摄像图像中选择{Vr，Vg，Vb}并输出给彩色图像生成部320。彩色图像生成部320进行去马赛克处理(根据拜耳图像而生成RGB图像的处理)和各种图像处理，将3板化RGB原色图像输出给监视器显示部220。监视器显示部220显示该彩色图像。

[0135] 在可动掩模控制部340将可动掩模30设定为了立体测量模式的情况下，来自被摄体5的反射光经由左眼光路和右眼光路同时成像于摄像元件40。摄像处理部230读出成像于摄像元件40的图像的像素值，进行A/D转换等并将图像数据输出给图像选择部310。

[0136] 图像选择部310根据来自可动掩模控制部340的控制信号而检测可动掩模30的状态是否为立体测量模式，从摄像图像中选择{Mr，Mb}并输出给相位差检测部330。相位差检测部330对分离出的两个图像Mr、Mb进行匹配处理，按照每个像素来检测相位差(相位偏差)。并且，相位差检测部330判断相位差检测是否可靠，在判断为不可靠的情况下，按照每个像素输出错误标志。以往，关于用于求取两个相似波形的偏差量(相位差)的匹配评价方法，提出了以ZNCC(Zero-mean Normalized Cross-Correlation：零均值归一化互相关)为代表的归一化互相关运算法、基于彼此的差分绝对值的总和的SAD(Sum of Absolute Difference：绝对差之和)等各种方法，因此能够适当应用。

[0137] 另外，即使使用为时分的方式、受被摄体抖动、摄像系统的抖动的影响但是为视差图像的Vr和Mr，也能够检测相位偏差(相位差)。当在被摄体5的反射中蓝色成分较少、红色成分较多的情况下，即使是使用Mr和Mb而难以检测的被摄体5，如果使用都具有红色成分的Vr和Mr，则能够进行测量。

[0138] 相位差检测部330将检测到的相位差信息和错误标志输出给距离信息计算部360。距离信息计算部360对各像素计算被摄体5的距离信息(例如图12的距离z)，将该距离信息输出给三维信息生成部370。也可以是，将错误标志被设置了的像素看作例如被摄体5的平坦部(边缘成分较少的区域)，根据例如周围的像素的距离信息进行插补。三维信息生成部
370根据距离信息(或者，距离信息和来自彩色图像生成部320的RGB图像)而生成三维信息。
关于三维信息，能够假定例如Z值图(距离图)、多边形、伪三维显示图像(例如基于阴影等的形状强调)等各种信息。三维信息生成部370根据需要而生成将所生成的三维图像、三维数据、或它们两者与观察图像重叠而成的显示图像等，并输出给监视器显示部220。监视器显示部220显示该三维信息。

[0139] 可动掩模位置检测部350使用在立体测量模式时取得的图像{Mr，Mb}来检测可动掩模30位于观察模式的位置还是立体测量模式的位置。而且，在判断为可动掩模30的状态与模式不一致的情况下，将位置错误标志输出给可动掩模控制部340。可动掩模控制部340接受位置错误标志，将可动掩模30修正成正确的状态(与图像选择对应的状态)。即使例如可动掩模控制部340输出立体测量模式的控制信号，但是当判断为在图像{Mr，Mb}中没有色偏移的情况下，实际的可动掩模30位于观察模式的位置。在该情况下，进行使控制信号与可动掩模30的位置一致的修正。另外，在即使进行了修正动作也没有成为正确的状态的情况下，判断为产生了某种故障，停止全体的功能。可动掩模30位于观察模式的位置还是立体测量模式的位置的检测或判断例如如下进行。

[0140] 即，在将图像Mr和图像Mb的判断区域内的电平(平均电平等)相加之后，通过基于图像Mr与图像Mb的绝对差分值和的判断(第一方法)、基于图像Mr与图像Mb的相关系数的判断(第二方法)等而进行位置错误的判断。

[0141] 在第一方法中，在各像素中求取像素值的差分值的绝对值，将其在所有像素或者部分像素组中累积。在其结果超过了规定的阈值的情况下，判断为立体测量模式的图像，在其结果为规定的阈值以下的情况下，判断为观察模式的图像。这是利用了由于在立体测量模式下图像Mr与图像Mb基本上是出现了色偏移的图像，因此能够取得规定量的差分值。

[0142] 在第二方法中，计算图像Mr与图像Mb的规定范围内的相关系数，在其结果为规定的阈值以下的情况下，判断为立体测量模式的图像，在其结果超过了规定的阈值的情况下，判断为观察模式的图像。这是利用了在立体测量模式下图像Mr与图像Mb基本上是出现了色偏移的图像，因此相关系数较小，与此相对，在观察模式下图像Mr与图像Mb是几乎一致的图像，因此相关系数较大。

[0143] 另外，本实施方式的内窥镜装置、摄像装置等也可以包含处理器和存储器。这里的处理器可以是例如CPU(Central Processing Unit：中央处理单元)。但是，处理器不限于CPU，能够使用GPU(Graphics Processing Unit：图像处理单元)或DSP(Digital Signal Processor：数字信号处理器)等各种处理器。并且，处理器也可以是基于ASIC的硬件电路。并且，存储器保存能够由计算机读取的指令，通过由处理器执行该指令，能够实现本实施方式的内窥镜装置、摄像装置等的各部分(例如处理部210的各部分等)。这里的存储器可以是SRAM、DRAM等半导体存储器，也可以是寄存器或硬盘等。并且，这里的指令可以是构成程序的指令集的指令，也可以是对处理器的硬件电路指示动作的指令。

[0144] 8.模式切换序列图

[0145] 在图14中示出了在动态图像摄影中切换观察模式和立体测量模式的序列图(动作时序图)。

[0146] 在上述的立体测量模式中，对于移动的被摄体也能够实现高精度的立体同时测量，但由于是色偏移图像，因此无法用于高品质的观察图像中。因此，能够通过高速地切换观察模式和立体测量模式来解决该问题，能够以大致近似于实时的状态显示观察图像并且执行立体测量。

[0147] 如图14所示，可动掩模30的状态的切换、摄像时机以及摄像图像的选择联动。如A1、A2所示，交替地重复观察模式的掩模状态和立体测量模式的掩模状态。如A3、A4所示，在各掩模状态下各进行一次拍摄。如A5所示，在处于观察模式的掩模状态时，由摄像元件40曝光拍摄的图像被选择为观察图像。如A6所示，在处于立体测量模式的掩模状态时，由摄像元件40曝光拍摄的图像被选择为测量图像。

[0148] 这样，通过交替地重复观察模式和立体测量模式，能够以大致近似于实时的状态连续取得观察图像和测量图像，因此在被摄体5移动的情况下也能够实现观察和测量双方。只要显示观察模式的图像并且根据需要将其与测量的信息重合进行显示，就能够向用户同时提供目视检查和定量检查，能够提供有用的信息。

[0149] 根据本实施方式，在第一帧(图14的A1)中，可动掩模控制部340设定非立体模式(观察模式)，摄像元件40拍摄第一摄像图像(观察图像)(A3)。在接着第一帧的第二帧(A2)中，可动掩模控制部340设定立体模式(立体测量模式)，摄像元件40拍摄第二摄像图像(测量图像)(A4)。

[0150] 具体而言，摄像装置(内窥镜装置)在动态图像的拍摄中交替地重复第一帧(A1)和第二帧(A2)。即，在接着第二帧的第三帧中进行与第一帧相同的动作。

[0151] 更具体而言，摄像装置包含：图像输出部(彩色图像生成部320)，其根据在动态图像中包含的第一摄像图像而输出观察用的动态图像；以及相位差检测部330，其根据在动态图像中包含的第二摄像图像来检测第一波段的图像(蓝色图像Mb)与第二波段的图像(红色图像Mr)之间的相位差。

[0152] 通过这样交替地重复观察模式下的摄像和立体测量模式下的摄像而拍摄动态图像，能够以单眼的通常图像来观察被摄体5并且实时进行立体测量。在本实施方式中，是适合高速切换可动掩模30和固定掩模20的结构，因此适合这样的实时测量。

[0153] 并且，在本实施方式中，摄像装置包含可动掩模位置检测部350。可动掩模位置检测部350根据在立体模式下拍摄的图像所包含的第一波段的图像(蓝色图像Mb)与第二波段的图像(红色图像Mr)之间的相似度(例如，在图13中进行了说明的绝对差分值和相关系数等)来检测在立体模式中可动掩模30是否被设定为了第二状态。

[0154] 而且，可动掩模控制部340在检测到在立体模式中可动掩模30被设定为了第一状态的情况下，修正可动掩模30的状态与模式的对应。

[0155] 在可动掩模30那样的机械的可动部中，有可能由于例如动作不良等主要原因而使控制与实际的动作变得不准确地一致。当这样的错误产生时，显示了色偏移图像作为观察图像，或无法准确地进行立体测量。关于该方面，根据本实施方式，由于能够根据视差图像之间的相似度来判定模式与掩模状态的对应，因此能够根据该判定结果而将模式与掩模状态的对应修正成正确的对应。在观察模式下，以单眼的方式进行拍摄，因此在红色图像与蓝色图像之间没有相位差、相似度高。因此，当在立体测量模式下取得了相似度高的红色图像和蓝色图像的情况下，能够判定为可动掩模30错误地位于观察模式的位置。

[0156] 9.近红外图像的提取处理

[0157] 如上所述，在本实施方式中能够进行观察图像的摄影和立体测量，但能够使用这些摄像图像来取得近红外图像。以下，对近红外图像的取得方法进行说明。

[0158] 能够根据上式(1)、(2)，按照下式(9)来提取近红外图像。由于观察模式的图像Vb＝Lb+Lir和立体测量模式的图像Mb＝Lb不是同时的，因此，为了区别，表示为Mb’＝Lb’。这些图像是来自相同的左眼光路的图像，被认为是没有相位偏差的图像。而且，由于具有同一分光特性的蓝色图像Lb和Lb’被认为是一致性高的图像彼此，因此，像下式(9)那样，使用图像Mb’＝Lb’而从图像Vb＝Lb+Lir中去除蓝色成分Lb，从而能够生成近红外成分Lir的图像。

[0159] [数学式9]

[0160] Vb-Mb’＝Lb+Lir-Lb’＝Lir    (9)

[0161] 10.被摄体或摄像系统的抖动应对

[0162] 当在近红外图像的提取中被摄体或摄像系统移动了的情况下，蓝色图像Lb与蓝色图像Lb’的一致性变低。以下，对其应对策略进行说明。

[0163] 在观察模式下取得的图像Vb与在测量模式下取得的图像Mb’是在时间上不同的摄像的时机取得的，因此由于被摄体或摄像系统移动而导致图像上的位置产生偏移。如图15所示，假设是图像Vb的与坐标位置XL对应的像素在图像Mb’上偏移了抖动量δ(XL)而得的。由于图像Vb和图像Mb’的视点略微不同，因此抖动量δ(XL)不仅包含移动抖动的抖动量，严格地说也包含视差量(从不同的方向观察时的图像的偏差)，是依赖于与被摄体反射面的距离的量。因此，需要按照图像Vb的每个坐标位置XL而进行求取，因此表示为δ(XL)。

[0164] 抖动量δ(XL)是能够通过坐标位置XL附近的图像Vb和图像Mb’的匹配搜索处理而求取的。但是，由于图像的品质劣化等理由导致不一定能够在所有坐标位置求得匹配的对应点，因此仅采用可靠性高的δ(XL)作为有效的数据。将无法求得δ(XL)的坐标位置设定为无法测量点。关于无法测量点，不在后段的相位差检测中计算与被摄体反射面的距离z。关于无法测量点的处理，虽然是任意的，但考虑有例如作为信息通知给使用者、或者通过来自周边的测量值的插补而进行补偿等各种处理。

[0165] 使用所采用的δ(XL)，将图像Mb’和图像Mr’移位抖动量δ(XL)以校正位置偏移。将校正位置偏移后的图像表示为Mb”、Mr”。接着，通过图像Mb”与图像Mr”的匹配搜索处理来检测坐标位置XL的与测量有关的相位差量s(XL)。只要能够取得相位差量s(XL)，就能够通过在图12等中说明了的方法来求取坐标位置XL所对应的与被摄体反射面的距离z。

[0166] 11.内窥镜装置的第二结构例

[0167] 在图16中示出了增加了近红外图像的摄像功能的情况下的内窥镜装置的结构例。内窥镜装置包含镜体部100和主体部200。镜体部100包含成像光学系统10、固定掩模20、可动掩模30、摄像元件40以及驱动部50。主体部200包含处理部210、监视器显示部220以及摄像处理部230。处理部210包含图像选择部310、彩色图像生成部320、相位差检测部330、可动掩模控制部340、可动掩模位置检测部350、距离信息计算部360、三维信息生成部370、近红外图像生成部380以及抖动量检测部390。另外，对与已经说明了的结构要素相同的结构要素，标注相同的标号并适当省略说明。

[0168] 从图像选择部310输出的图像Vb和图像Mb(图15的Mb’)输入给近红外图像生成部380。近红外图像生成部380像上式(9)那样运算图像Vb和图像Mb，取得具有来自左眼光学系统的近红外成分的图像Lir。近红外图像生成部380对所求得的图像Lir进行图像处理而输出近红外图像IR。通过将该近红外图像IR输入给监视器显示部220，而能够进行近红外图像IR的显示。

[0169] 另一方面，彩色图像生成部320对观察图像{Vr，Vg，Vb}实施图像处理，并输出可显示的彩色图像{R，G，B}。通过将该彩色图像{R、G、B}输入给监视器显示部220而能够显示彩色的观察图像。

[0170] 彩色图像{R，G，B}和近红外图像IR都是来自左眼光路的图像，因此不会产生像偏差并且没有位置偏移。因此，容易进行重叠等的统一显示和对使用彩色图像的颜色信息的近红外图像的着色等。

[0171] 并且，三维信息生成部370能够将三维信息和近红外图像IR关联起来。即，将距离信息与近红外图像IR的各像素对应起来，从而能够进行近红外图像的三维化。这样，能够几乎同时取得作为可见图像的观察彩色图像、近红外的观察图像以及距离信息，因此能够取得各种各样的信息提供的形态。

[0172] 根据以上的实施方式，摄像装置(内窥镜装置)包含近红外图像生成部380。近红外图像生成部380根据在非立体模式(观察模式)下拍摄的第一摄像图像{Vr，Vg，Vb}和在立体模式(立体测量模式)下拍摄的第二摄像图像{Mr，Mb}而生成近红外图像Lir(或IR)。

[0173] 具体而言，摄像元件40的摄像图像由红色r、绿色g以及蓝色b的图像构成。第一波段SL是与红色r或蓝色b中的一方对应的波段。第二波段FR是与红色r或蓝色b中的另一方对应的波段。而且，近红外图像生成部380根据第一摄像图像的红色的图像Vr与第二摄像图像的红色的图像Mr的差分、或第一摄像图像的蓝色的图像Vb与第二摄像图像的蓝色的图像Mb的差分而生成近红外图像Lir(或IR)。

[0174] 例如在本实施方式中，第一波段SL是蓝色的波段(与图5的特性Lb对应的带域SL)，第二波段FR是红色的波段(与图5的特性Rr对应的带域FR)，但不限于此，带域与颜色的对应也可以相反。并且，例如在本实施方式中，根据蓝色的图像Vb、Mb的差分(上式(9))而求取近红外图像Lir，但不限于此，也可以根据红色的图像Vr、Mr的差分而求取近红外图像Lir。

[0175] 通常的摄像元件40的灵敏度的范围直至近红外的带域，在观察模式下的白色光图像的摄影中能够取得包含近红外图像在内的图像。另一方面，由于在立体测量模式下经由红色和蓝色的分光滤镜而进行拍摄，因此近红外的带域的大部分被遮断，从而取得几乎不包含近红外图像的图像。因此，能够根据这些图像的差分来提取近红外图像。通过取得近红外图像，能够对使用可见光无法看见(或者难以看见)的对象进行观察。

[0176] 以上，对应用了本发明的实施方式及其变形例进行了说明，但本发明不直接限于各实施方式及其变形例，能够在实施阶段、在不脱离发明主旨的范围内，对结构要素进行变形并具体化。并且，能够通过适当组合在上述的各实施方式和变形例中公开的多个结构要素而形成各种发明。例如，可以从在各实施方式和变形例中记载的所有结构要素中删除几个结构要素。而且，也可以适当组合在不同的实施方式和变形例中进行了说明的结构要素。这样，能够在不脱离发明主旨的范围内进行各种变形和应用。并且，在说明书或附图中，至少一次与更广义或同义的不同的用语(观察模式、立体测量模式、左眼光路、右眼光路等)一同记载的用语(非立体模式、立体模式、第一光路、第二光路等)在说明书或附图中的任何位置也能够置换成该不同的用语。

[0177] 标号说明

[0178] 5：被摄体；10：成像光学系统；11：第一成像光学系统；12：第二成像光学系统；20：固定掩模；21：第一光阑孔；22：第二光阑孔；24：遮光部；30：可动掩模；31：第三光阑孔；34：
遮光部；35：旋转轴；40：摄像元件；50：驱动部；100：镜体部；110：摄像部；200：主体部；210：
处理部；220：监视器显示部；230：摄像处理部；310：图像选择部；320：彩色图像生成部；330：
相位差检测部；340：可动掩模控制部；350：可动掩模位置检测部；360：距离信息计算部；
370：三维信息生成部；380：近红外图像生成部；390：抖动量检测部；FR、SR：第二滤镜；Mr、Mb：第二摄像图像；s(XL)：相位差；SL：第一滤镜；Vr、Vg、Vb：第一摄像图像；z：距离；δ(XL)：
抖动量。