距离图像获取装置以及距离图像获取方法

摘要

本发明提供一种距离图像获取装置以及距离图像获取方法，根据本发明，即使在从自身装置和其他装置同时投射有相同形状的结构光的图案的情况下，也能够根据从自身装置投射的第1图案而获取精度良好的距离图像。本发明的一种方式所涉及的距离图像获取装置(10)具备：投射部(12)，在多个波长区域投射结构光的第1图案；摄像部(14)，从投射部(12)远离相当于基线长度而并列设置，并对多个波长区域中的每个区域具有灵敏度而进行拍摄，从而生成与多个波长区域中的每个区域对应的多个摄像图像；判别部(20C)，判别在摄像图像中是否包含从其他距离图像获取装置投射的结构光的第2图案；图案提取部(20A)，从由判别部(20C)判别为不包含第2图案的摄像图像中提取第1图案；以及距离图像获取部(20B)，根据由图案提取部(20A)提取的第1图案，获取表示测距区域内的被摄体的距离的距离图像。

权利要求

1.一种距离图像获取装置，其具备：

投射部，在多个波长区域向测距区域内的被摄体投射二维分布的结构光的第1图案；

摄像部，从所述投射部远离相当于基线长度而并列设置，并对所述多个波长区域中的每个区域具有灵敏度而进行拍摄，从而生成多个摄像图像，所述多个摄像图像包含在所述被摄体上反射的所述第1图案，且与所述多个波长区域中的每个区域对应；

判别部，判别在所述摄像图像中是否包含从其他距离图像获取装置投射的结构光的第

2图案；

图案提取部，至少从由所述判别部判别为不包含所述第2图案的摄像图像中提取所述第1图案；以及距离图像获取部，根据由所述图案提取部提取的所述第1图案，获取表示所述测距区域内的被摄体的距离的距离图像，所述第1图案和所述第2图案分别为点图案，

当所述摄像图像中的点图案的点数超过从所述投射部投射的所述第1图案的点数时，所述判别部判别为在所述摄像图像中包含所述第2图案。

2.根据权利要求1所述的距离图像获取装置，

其具备信标信息接收部，所述信标信息接收部从所述其他距离图像获取装置接收表示所述第2图案的投射的波长区域的信标信息，所述判别部判别为在根据所述信标信息表示的波长区域内的摄像图像中包含所述第2图案。

3.根据权利要求1或2所述的距离图像获取装置，其具备光调制部，所述光调制部从所述投射部在所述多个波长区域中的每个区域依次投射所述第1图案，所述摄像部与所述光调制部中的波长区域的切换同步，并仅对所述多个波长区域中从所述投射部正在投射的所述第1图案的波长区域具有灵敏度而进行拍摄。

4.根据权利要求1或2所述的距离图像获取装置，其中，所述投射部在所述多个波长区域同时投射所述第1图案。

5.根据权利要求1或2所述的距离图像获取装置，其中，所述摄像部具有对所述多个波长区域中的每个区域具有灵敏度的多种受光元件。

6.根据权利要求3所述的距离图像获取装置，其中，所述摄像部具有对所述多个波长区域中的每个区域具有灵敏度的多种受光元件。

7.根据权利要求4所述的距离图像获取装置，其中，所述摄像部具有对所述多个波长区域中的每个区域具有灵敏度的多种受光元件。

8.根据权利要求1或2所述的距离图像获取装置，其具备：透射波长区域切换器件，切换入射于所述摄像部的光的透射波长区域；以及透射波长区域控制部，使所述透射波长区域切换器件切换入射于所述摄像部的光的透射波长区域，从而使所述摄像部对所述多个波长区域中的每个区域具有灵敏度而进行拍摄。

9.根据权利要求3所述的距离图像获取装置，其具备：透射波长区域切换器件，切换入射于所述摄像部的光的透射波长区域；以及透射波长区域控制部，使所述透射波长区域切换器件切换入射于所述摄像部的光的透射波长区域，从而使所述摄像部对所述多个波长区域中的每个区域具有灵敏度而进行拍摄。

10.根据权利要求4所述的距离图像获取装置，其具备：透射波长区域切换器件，切换入射于所述摄像部的光的透射波长区域；以及透射波长区域控制部，使所述透射波长区域切换器件切换入射于所述摄像部的光的透射波长区域，从而使所述摄像部对所述多个波长区域中的每个区域具有灵敏度而进行拍摄。

11.一种距离图像获取方法，其包括：

从投射部在多个波长区域向测距区域内的被摄体投射二维分布的结构光的第1图案的步骤；

通过从所述投射部远离相当于基线长度而并列设置的摄像部，对所述多个波长区域中的每个区域具有灵敏度而进行拍摄，从而生成多个摄像图像的步骤，所述多个摄像图像包含在所述被摄体上反射的所述第1图案，且与所述多个波长区域中的每个区域对应；

判别在所述摄像图像中是否包含从其他距离图像获取装置投射的结构光的第2图案的步骤；

至少从判别为不包含所述第2图案的摄像图像中提取所述第1图案的步骤；

根据所述所提取的第1图案而获取表示所述测距区域内的被摄体的距离的距离图像的步骤；以及当所述摄像图像中的点图案的点数超过从所述投射部投射的所述第1图案的点数时，判别为在所述摄像图像中包含所述第2图案的步骤，所述第1图案和所述第2图案分别为点图案。

说明书

距离图像获取装置以及距离图像获取方法

技术领域

[0001] 本发明涉及一种距离图像获取装置以及距离图像获取方法，尤其涉及一种向测距区域内的被摄体投射二维分布的结构光，并获取表示被摄体的距离的距离图像的技术。

背景技术

[0002] 以往，这种距离图像获取装置中，从投射部向测距区域内的被摄体投射二维分布的结构光的点图案，由摄像部拍摄被摄体，从而获取包含在被摄体上反射的点图案的第1图像。并且，获取从投射部不投射点图案而由摄像部拍摄被摄体从而成为点图案的背景的第2图像，从第1图像减去第2图像，并根据减算结果，基于三角测量法来运算获取距离图像(三维距离信息)(专利文献1)。

[0003] 专利文献2中记载有：在一个距离测量装置中具备多个投射部(投影部)，并且多个投射部逐一依次进行投射而拍摄，或将从多个投射部投射的图案光设为不同颜色，以免在摄像部混淆多个投射部分别投射的图案。

[0004] 以往技术文献

[0005] 专利文献

[0006] 专利文献1：日本特开2011-169701号公报

[0007] 专利文献2：日本特开2014-115107号公报

发明内容

[0008] 发明要解决的技术课题

[0009] 专利文献1中记载的距离图像获取装置中存在如下问题：若利用多台距离图像获取装置同时对同一被摄体进行距离测量，则从多台距离图像获取装置分别投射的点图案混合存在而无法获取距离图像。有时希望用多台距离图像获取装置同时对用一台距离图像获取装置无法获取距离图像的大小的对象物体进行距离测量，或有时使用者并不知其他人在使用距离图像获取装置而自身也使用距离图像获取装置。尤其，当不直接显示距离图像等而用于其他用途，使得使用者本身并不知晓自己正在进行距离图像获取时，很有可能导致同时在同一场所使用距离图像获取装置。

[0010] 专利文献2中记载的技术是在一台装置中设有多个投射部时，在该一台装置的摄像部中避免图案的混淆的技术，很难适用于从分别设置于多台装置的多个投射部投射图案的情况。

[0011] 这是因为，如专利文献2中所记载，在一台装置中设有多个投射部时，从在一台装置内进行总体控制的CPU(中央处理器(Central Processing Unit))分别对多个投射部命令投射定时或波长区域，由此能够轻松地控制多个投射部的时间划分或波长区域划分(也称为频率划分)，但是分别在彼此独立的多台装置中设有投射部时，无法从自身装置的CPU对其他装置的投射部直接命令投射定时或波长区域。并且，如果假定新设置总体控制多台装置的主装置，并从主装置通过通信分别对作为从装置的多个装置命令投射定时或波长区域的结构，则不仅需要新设置主装置，还会失去各装置的独立性，因此，尤其很难适用于普通用户自由使用的终端。

[0012] 本发明是鉴于这种情况而完成的，其目的在于提供一种即使在从自身装置和其他装置同时投射有相同形状的结构光的图案的情况下，也能够根据从自身装置投射的图案而获取精度良好的距离图像的距离图像获取装置以及距离图像获取方法。

[0013] 用于解决技术课题的手段

[0014] 为了实现上述目的，本发明的一种方式所涉及的距离图像获取装置具备：投射部，在多个波长区域向测距区域内的被摄体投射二维分布的结构光的第1图案；摄像部，从投射部远离相当于基线长度而并列设置，并对多个波长区域中的每个区域具有灵敏度而进行拍摄，从而生成多个摄像图像，所述多个摄像图像包含在被摄体上反射的第1图案，且与多个波长区域中的每个区域对应；判别部，判别在摄像图像中是否包含从其他距离图像获取装置投射的结构光的第2图案；图案提取部，至少从由判别部判别为不包含第2图案的摄像图像中提取第1图案；以及距离图像获取部，根据由图案提取部提取的第1图案，获取表示测距区域内的被摄体的距离的距离图像。

[0015] 根据该结构，根据由判别部判别为不包含第2图案(为从其他装置投射的图案)的摄像图像内的图案(为从自身装置投射的第1图案)而获取距离图像，因此，即使在从自身装置和其他装置同时投射有相同形状的结构光的图案的情况下，也能够根据从自身装置投射的第1图案而获取精度良好的距离图像。

[0016] 上述投射部的“在多个波长区域投射结构光的第1图案”是指，“具有在多个波长区域投射结构光的第1图案的功能”，并且，存在在多个波长区域同时进行投射的情况(同时投射)和依次切换波长区域而进行投射的情况(依次投射)，本发明包括所有情况。上述摄像部的“对多个波长区域中的每个区域具有灵敏度而进行拍摄，从而生成多个摄像图像，所述多个摄像图像包含在被摄体上反射的第1图案，且与多个波长区域中的每个区域对应”是指，“具有对多个波长区域中的每个区域具有灵敏度而进行拍摄，从而生成多个摄像图像的功能，所述多个摄像图像包含在被摄体上反射的第1图案，且与多个波长区域中的每个区域对应”，并且，存在在多个波长区域同时进行拍摄的情况(同时拍摄)和依次切换波长区域而进行拍摄的情况(依次拍摄)，本发明包括所有情况。并且，上述摄像部的“生成摄像图像”包括读取摄像信号，即，包括仅从摄像部的受光元件读取电荷作为摄像信号的情况。

[0017] 上述判别部的“判别在摄像图像中是否包含从其他距离图像获取装置投射的结构光的第2图案”存在：由摄像部进行拍摄之后，判别在摄像图像中是否实际包含第2图案的情况；以及由摄像部进行拍摄之前，预先判别在摄像图像中是否包含第2图案的情况，本发明包括所有情况。

[0018] 上述提取部的“从由判别部判别为不包含第2图案的摄像图像中提取第1图案”存在：由判别部判别为不包含第2图案之前，预先从摄像图像中提取图案的情况(即，将判别为不包含第2图案之后提取完毕的图案作为第1图案而用于距离图像获取的情况)；以及由判别部判别为不包含第2图案之后，从摄像图像提取第1图案的情况，本发明包括所有情况。

[0019] 本发明的另一种方式所涉及的距离图像获取装置具备：投射部，在多个波长区域向测距区域内的被摄体投射二维分布的结构光的第1图案；摄像部，对多个波长区域中的每个区域具有灵敏度而进行拍摄，从而生成多个摄像图像，所述多个摄像图像包含在被摄体上反射的第1图案，且与多个波长区域中的每个区域对应；图案提取部，从将多个摄像图像相加而得的相加图像中提取第1图案；距离图像获取部，根据由图案提取部提取的第1图案，获取表示测距区域内的被摄体的距离的距离图像。

[0020] 根据该结构，从投射部在多个波长区域投射第1图案，由摄像部对多个波长区域中的每个区域具有灵敏度而进行拍摄，从而生成与多个波长区域中的每个区域对应的多个摄像图像，并且从将多个摄像图像相加而得的相加图像中提取距离图像获取用图案(为从自身装置投射的第1图案)，因此，即使在从自身装置和其他装置同时投射有相同形状的结构光的图案的情况下，也能够根据从自身装置投射的第1图案而获取精度良好的距离图像。

[0021] 在本发明的另一种方式所涉及的距离图像获取装置中，优选，第1图案和第2图案分别为点图案，当摄像图像中的点图案的点数超过从投射部投射的第1图案的点数时，判别部判别为在摄像图像中包含第2图案。即，能够根据点数迅速地判别在摄像图像中是否包含从其他装置投射的第2图案。

[0022] 在本发明的又一种方式所涉及的距离图像获取装置中，具备信标信息接收部，所述信标信息接收部从其他距离图像获取装置接收表示第2图案的投射的波长区域的信标信息，判别部判别为在根据信标信息显示的波长区域内的摄像图像中包含第2图案。即，无需新设置总体控制多台距离图像获取装置的主装置便能够在拍摄前预先判别在摄像图像中是否包含第2图案。

[0023] 在本发明的又一种方式所涉及的距离图像获取装置中，具备光调制部，所述光调制部从投射部在多个波长区域中的每个区域依次投射第1图案，摄像部与光调制部中的波长区域的切换同步，并仅对多个波长区域中从投射部正在投射的第1图案的波长区域具有灵敏度而进行拍摄。

[0024] 在本发明的又一种方式所涉及的距离图像获取装置中，投射部在多个波长区域同时投射第1图案。摄像部具有对多个波长区域中的每个区域具有灵敏度的多种受光元件。即，能够生成高帧率的距离图像。

[0025] 在本发明的又一种方式所涉及的距离图像获取装置中，具备：透射波长区域切换器件，切换入射于摄像部的光的透射波长区域；以及透射波长区域控制部，由透射波长区域切换器件切换入射于摄像部的光的透射波长区域，从而使摄像部对多个波长区域中的每个区域具有灵敏度而进行拍摄。

[0026] 本发明的又一种方式所涉及的距离图像获取方法包括：从投射部在多个波长区域向测距区域内的被摄体投射二维分布的结构光的第1图案的步骤；通过从投射部远离相当于基线长度而并列设置的摄像部，对多个波长区域中的每个区域具有灵敏度而进行拍摄，从而生成多个摄像图像的步骤，所述多个摄像图像包含在被摄体上反射的第1图案，且与多个波长区域中的每个区域对应；判别在摄像图像中是否包含从其他距离图像获取装置投射的结构光的第2图案的步骤；至少从判别为不包含第2图案的摄像图像中提取第1图案的步骤；以及根据所提取的第1图案而获取表示测距区域内的被摄体的距离的距离图像的步骤。

[0027] 在本发明的另一种方式所涉及的距离图像获取方法中，包括：从投射部在多个波长区域向测距区域内的被摄体投射二维分布的结构光的第1图案在多个波长区域进行投射的步骤；通过从投射部远离相当于基线长度而并列设置的摄像部，对多个波长区域中的每个区域具有灵敏度而进行拍摄，从而生成多个摄像图像的步骤，所述多个摄像图像包含在被摄体上反射的第1图案，且与多个波长区域中的每个区域对应；从将多个摄像图像相加而得的相加图像中提取第1图案的步骤；以及根据所提取的第1图案而获取表示测距区域内的被摄体的距离的距离图像的步骤。

[0028] 发明效果

[0029] 根据本发明，即使在从自身装置和其他装置同时投射有相同形状的结构光的图案的情况下，也能够根据从自身装置投射的图案而获取精度良好的距离图像。

附图说明

[0030] 图1是表示本发明所涉及的距离图像获取装置的第1实施方式的外观图。

[0031] 图2是为了说明距离图像获取装置中的距离图像获取的原理而使用的图。

[0032] 图3是表示第1实施方式的距离图像获取装置的内部结构例的框图。

[0033] 图4是表示在从自身装置投射有点图案时从其他装置未投射有点图案的状态下拍摄获取的摄像图像的一例的图。

[0034] 图5是表示在从自身装置投射有点图案时从其他装置未投射有点图案的状态下拍摄获取的摄像图像的一例的图。

[0035] 图6是表示对多个波长区域中的每个区域具有灵敏度而进行拍摄的摄像部的一例的受光元件排列的图。

[0036] 图7是表示关于第1实施方式中的距离图像获取方法的一例的处理流程的流程图。

[0037] 图8是表示关于第1实施方式中的距离图像获取方法的其他例的处理流程的流程图。

[0038] 图9是表示关于第2实施方式中的距离图像获取方法的一例的处理流程的流程图。

[0039] 图10是表示第3实施方式的距离图像获取装置的内部结构例的框图。

[0040] 图11是用于说明在从自身装置投射的第1图案与从其他装置投射的第2图案中产生的相加值的差的说明图。

[0041] 图12是表示关于第3实施方式中的距离图像获取方法的一例的处理流程的流程图。

[0042] 图13是为了说明透射波长区域切换器件的一例而使用的图。

[0043] 图14是作为距离图像获取装置的一例的智能手机的外观图。

[0044] 图15是表示智能手机的结构的框图。

具体实施方式

[0045] 以下，根据附图对本发明所涉及的距离图像获取装置以及距离图像获取方法的实施方式进行说明。

[0046] ＜第1实施方式＞

[0047] 图1是表示本发明所涉及的距离图像获取装置10的一例的外观的外观图。

[0048] 如图1所示，距离图像获取装置10具有投射部12和摄像部14，若通过快门按钮11的操作施加摄像命令输入，则获取表示摄像区域(测距区域)内的被摄体的距离(深度信息)的距离图像，对此将在之后详细进行说明。

[0049] 在此，距离图像获取装置10具有：静止图像模式，与静止图像摄像相同地获取1帧份的距离图像；以及动态图像模式，与动态图像摄像相同地获取以规定帧率(例如，30帧/秒、60帧/秒)连续的距离图像，这些静止图像模式和动态图像模式能够通过操作部28(图3)的模式选择部的操作来适当选择。而且，若在选择了静止图像模式时按一下快门按钮11，则获取1帧份的距离图像，若在选择了动态图像模式时按一下快门按钮11，则开始获取以规定帧率连续的距离图像，若再按一下快门按钮11，则停止获取距离图像。

[0050] 图2是为了说明距离图像获取装置10中的距离图像获取的原理而使用的图。

[0051] 如图2所示，获取距离图像时，投射部12向测距区域内的被摄体投射二维分布的结构光的图案(第1图案)。本实施方式中，作为结构光的第1图案，将矩阵状点图案投射于被摄体。以下，有时还将从投射部12投射的结构光的第1图案称为“第1点图案”。

[0052] 摄像部14拍摄包含在被摄体上反射的第1点图案的图像。如图2所示，摄像部14从投射部12远离相当于基线长度L而并列设置，且在从投射部12投射的第1点图案与由摄像部14拍摄的第1点图案的对应的各点之间，产生对应于被摄体的距离的视差。因此，能够根据从投射部12投射的第1点图案的各点在由摄像部14拍摄的图像传感器上的受光位置(未图示)，利用三角测量法来求出表示被摄体的距离的距离图像。

[0053] 此外，如图2所示，本实施方式的投射部12投射矩阵状的第1点图案，但并不限于此，可以投射点距随机(伪随机)的点图案，也可以投射网格状的图案。

[0054] 图3是表示上述距离图像获取装置10的内部结构例的框图。

[0055] 距离图像获取装置10除了具备前述投射部12和摄像部14以外，还具备AD(模拟到数字(Analog-to-Digital))转换器16、接口电路18、中央处理装置(CPU：Central Processing Unit)20、光调制部22、驱动部26、操作部28、通信部30以及存储部32。

[0056] 投射部12由发光二极管(LED：Light Emitting Diode)12A、衍射光学元件12B以及作为投射光学系统发挥作用的投射透镜12C构成。LED12A可以使用近红外LED。

[0057] 衍射光学元件12B作为利用光的衍射现象来转换光强度分布的元件而发挥作用，在本例中，使从LED12A发出的光入射并转换为图2所示的矩阵状的第1点图案。投射透镜12C将通过衍射光学元件12B转换的光的第1点图案投射于与基于摄像部14的摄像区域(测距区域)相同的测距区域的被摄体。

[0058] 摄像部14由成像透镜14A和图像传感器14B构成。成像透镜14A使来自被摄体的反射光(包含从投射部12投射且在被摄体上反射的第1点图案的光像)成像于图像传感器14B。

[0059] 图像传感器14B由具有垂直驱动器和水平驱动器等的CMOS(互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor))驱动器以及通过定时信号发生器驱动的CMOS型图像传感器构成。此外，图像传感器14B并不限于CMOS型，也可以是XY地址型或CCD(电荷耦合器件(Charge Coupled Device))型图像传感器。

[0060] 图像传感器14B中二维状地排列有多个受光元件(光电二极管)，并且在多个受光元件的入射面侧设有仅使特定的波长区域的光通过的带通滤波器或去除除特定的波长区域以外的波长区域的光的截止滤波器。由此，图像传感器14B的多个受光元件作为对特定的波长区域的光具有灵敏度的像素发挥作用。

[0061] 图像传感器14B通过从未图示的定时信号发生器施加的定时信号(快门控制信号)来控制曝光期间，图像传感器14B的各受光元件中积蓄有与在曝光期间入射的光的光量对应的电荷。而且，从图像传感器14B读取与在被摄体上反射的第1点图案的入射光量对应的像素信号(与按每个像素积蓄的电荷对应的模拟摄像信号)。此外，当被摄体上照射有环境光，且在环境光中包含从投射部12投射的投射光的波长区域的成分时，环境光中的与投射光相同的波长区域的成分作为干扰信号而包含在摄像信号中。

[0062] 从图像传感器14B读取的模拟摄像信号通过AD转换器16转换成数字摄像信号(图像数据)，经由作为图像输入控制器发挥作用的接口电路18而读入CPU20。此外，CMOS型图像传感器中存在包含AD转换器的图像传感器，该情况下能够省略AD转换器16。

[0063] CPU20具有：根据操作部28中的命令输入进行距离图像获取装置10的曝光控制、光调制部22及驱动部26等各部的整体控制的作为器件控制部的功能；以及作为图案提取部20A、距离图像获取部20B及判别部20C的功能。

[0064] 图案提取部20A从作为经由接口电路18输入的图像数据的摄像图像中提取第1点图案。例如，通过设定适当的阈值，并对根据该阈值输入的图像数据进行二值化处理，由此提取仅表示第1点图案的图像数据(二值图像数据)。

[0065] 距离图像获取部20B根据由图案提取部20A提取的第1点图案，获取(生成)表示测距区域内的被摄体的距离的距离图像。例如，根据表示第1点图案的二值图像数据，求出第1点图案的各点在图像传感器14B上的位置(例如，各点的重心的位置)，并根据求出的第1点图案的各点在图像传感器14B上的位置，按每个点计算被摄体的距离，由此获取(生成)表示测距区域内的被摄体的距离的距离图像。此外，距离图像为表示测距区域内的被摄体的距离的二维距离信息，通过将距离信息替换为与距离对应的亮度值或颜色信息，能够将距离图像作为图像进行视觉确认。

[0066] 判别部20C判别是否从其他距离图像获取装置(以下，简称为“其他装置”)投射有结构光的图案(第2图案)。以下，以从其他装置向被摄体投射矩阵状点图案而作为结构光的第2图案的情况为例来进行说明，有时还将从其他装置投射的结构光的第2图案称为“第2点图案”。即，判别部20C判别在摄像图像中是否包含从其他装置投射的第2点图案。

[0067] 光调制部22时间性地调制从投射部12投射的第1点图案。驱动部26根据来自CPU20的命令而驱动投射部12。操作部28包含电源开关、快门按钮11、模式选择部等，操作部28中的命令输入施加于CPU20。通信部30在与其他外围设备或接入点之间进行近距离无线通信。例如在与其他距离图像获取装置之间进行信标信息等的发送和接收。存储部32存储距离图像获取所需的信息以及通过CPU20执行的程序。

[0068] 接着，对本实施方式的主要部分的结构进行说明，所述本实施方式中，即使在从自身装置和其他装置同时有投射点图案的情况下，也会仅根据从自身装置投射的点图案(第1点图案)而获取距离图像。

[0069] 投射部12在多个波长区域向测距区域内的被摄体投射第1点图案。摄像部14对多个波长区域中的每个区域具有灵敏度而进行拍摄，从而生成多个摄像图像，所述多个摄像图像包含在被摄体上反射的第1点图案，且与多个波长区域中的每个区域对应。图案提取部20A从摄像图像中提取点图案。当摄像图像中的点图案的点数超过从投射部12投射的第1点图案的点数时，判别部20C判别为在摄像图像中包含第2点图案，当摄像图像中的点图案的点数为从投射部12投射的第1点图案的点数以下时，判别部20C判别为在摄像图像中不包含第2点图案。距离图像获取部20B根据从由判别部20C判别为不包含第2点图案的摄像图像中由图案提取部20A提取的点图案(为第1点图案)，获取表示测距区域内的被摄体的距离的距离图像。

[0070] 图4是表示在从自身装置投射有点图案时从其他装置未投射有点图案的状态下由摄像部14拍摄获取的摄像图像的一例的图。图4所示的摄像图像仅包含从自身装置的投射部12投射并在测距区域A内的被摄体上反射的第1点图案，因此，能够通过进行如使用了前述阈值的二值化处理这种简单的图像处理来提取第1点图案。然而，如图5所示，在从自身装置投射有第1点图案时从其他装置投射有第2点图案，且自身装置的第1点图案的投射的波长区域和其他装置的第2点图案的投射的波长区域重叠的情况下，在由摄像部14拍摄获取的摄像图像的测距区域A内存在第1点图案和第2点图案重复的重复区域B，且第1点图案和第2点图案的点形状相同，因此，无法仅提取第1点图案。

[0071] 然而，根据上述结构，根据从由判别部20C判别为不包含第2点图案的摄像图像中由图案提取部20A提取的点图案(为第1点图案)，可以获取表示测距区域内的被摄体的距离的距离图像。

[0072] 图6是表示对多个波长区域中的每个区域具有灵敏度而进行拍摄的摄像部14的一例的受光元件排列的图。本例的摄像部14的图像传感器14B构成为，受光的波长区域不同的4种受光元件(第1受光元件E1、第2受光元件E2、第3受光元件E3、第4受光元件E4)彼此相邻而构成的受光元件组14S在一个平面(受光面)上二维状地排列。此外，在本例中，波长区域数为“4”，但本发明中的波长区域数并无特别限定，波长区域数可以是“2”或“3”，也可以是“5”以上。即，构成受光元件组14S的受光元件的种类数并不限定于“4”。

[0073] 由于对多个波长区域中的每个区域具有灵敏度而进行拍摄，因此在多个受光元件E1、E2、E3、E4的入射面侧设有带通滤波器或截止滤波器。带通滤波器或截止滤波器的配设方式有多种。例如有如下方式：在第1受光元件E1设有仅使第1波长区域的光透射的带通滤波器，在第2受光元件E2设有仅使第2波长区域的光透射的带通滤波器，在第3受光元件E3设有仅使第3波长区域的光透射的带通滤波器，在第4受光元件E4设有仅使第4波长区域的光透射的带通滤波器。在实际操作中，由于制造能够仅透射各波长区域的带通滤波器的难度和成本等理由，能够采用使用了截止滤波器的方式。也可以是多个受光元件中的一个未设有滤波器的结构。

[0074] 使用具有图6的受光元件排列的摄像部14，能够实现在以下两个拍摄模式下的拍摄。

[0075] 在第1拍摄模式中，使用设有在多个波长区域(在本例中，为4个波长区域)中的每个区域发光的多种LED12A的投射部12，且通过光调制部22从投射部12在多个波长区域中的每个区域依次投射第1点图案。在该第1拍摄模式中，摄像部14与光调制部22中的波长区域的切换同步，并对多个波长区域中至少从投射部12正在投射的第1点图案的波长区域具有灵敏度而进行拍摄。

[0076] 在第2拍摄模式中，使用设有在多个波长区域(在本例中，为4个波长区域)中的每个区域发光的多种LED12A或遍及多个波长区域而发光的LED12A的投射部12，且通过光调制部22从投射部12在多个波长区域同时投射第1点图案。在该第2拍摄模式中，摄像部14对多个波长区域中的每个区域具有灵敏度，并在多个波长区域同时进行拍摄。

[0077] 图7是表示使用了第1实施方式的距离图像获取装置10的距离图像获取方法的一例的处理流程的流程图，表示主要通过CPU20的控制并按照程序执行的处理流程。本处理为动态图像模式下的距离图像获取处理，例如按一下快门按钮11，则开始。

[0078] 首先，CPU20将表示波长区域的变量i设定为初始值即“1”(步骤S102)。

[0079] 接着，使投射部12在第i波长区域投射第1点图案(步骤S104)。

[0080] 接着，使摄像部14对第i波长区域具有灵敏度而进行拍摄(步骤S106)。在摄像部14生成的模拟摄像信号(摄像图像)通过AD转换器16转换成数字摄像信号，并通过接口电路18存储于存储部32。即，包含从投射部12在第i波长区域投射的第1点图案的摄像图像(以下称为“第i波长区域的摄像图像”)存储于存储部32。

[0081] 接着，由图案提取部20A从第i波长区域的摄像图像中提取点图案(步骤S108)。

[0082] 接着，通过判别部20C，判别在第i波长区域的摄像图像中是否包含从其他装置投射的第2点图案(步骤S110)。本实施方式中，当从摄像图像中提取的点图案的点数超过从投射部12投射的第1点图案的点数时，判别为在摄像图像中包含第2点图案。

[0083] 例如，当从投射部12投射有图4所示的第1点图案时，第1点图案的数量为70个点。例如，如图5所示，当在摄像图像的测距区域A内存在第1点图案和第2点图案重复的重复区域B时，从摄像图像检测的点图案的点数超过从自身装置的投射部12投射的第1点图案的点数(图4中为70个点)。图5中为115个点(＝70个点+45个点)。这样，在从摄像图像中提取的点图案的数量超过实际投射的第1点图案的点数时，判别部20C判定为在摄像图像中包含第2点图案。

[0084] 当判别为在第i波长区域的摄像图像中包含第2点图案时(步骤S110中，为是的情况)，CPU20判定表示波长区域的变量i是否与波长区域数N(在本例中，为“4”)相等(步骤S112)。步骤S112中为否的情况下，进行表示波长区域的变量i的递增(i＝i+1)(步骤S114)，返回步骤S104，在下一个波长区域进行投射、拍摄和图案提取(步骤S104～S108)。

[0085] 当判定为在第i波长区域的摄像图像中不包含第2点图案时(步骤S110中，为否的情况)，通过距离图像获取部20B，根据从第i波长区域的摄像图像中提取的点图案(即，第1点图案)而获取距离图像(步骤S116)。

[0086] CPU20判定是否继续进行距离图像获取(步骤S118)，当判定为继续进行时(步骤S118中，为是的情况)，将表示波长区域的变量i初始化为“1”(步骤S102)，并重复进行步骤S104～S118。当判定为不继续进行时(步骤S118中，为否的情况)，结束本处理。本处理为动态图像模式下的距离图像获取，再按一下快门按钮11，则结束。

[0087] 当从其他装置在所有波长区域投射有第2点图案时，步骤S112中为是，通过CPU20执行其他处理(步骤S130)。其他处理只要适当进行即可，例如，优选通过与本例的实施方式不同的其他距离图像获取处理来获取距离图像。在没有其他装置遍及所有多个波长区域而投射第2点图案这一可能性的环境下进行的距离图像获取中，通常不会过渡到其他处理(步骤S130)，因此，也可以进行错误处理作为其他处理。即使在存在其他装置遍及所有多个波长区域而投射第2点图案这一可能性的环境下，只要该可能性较低，则例如也可以进行等到来自其他装置的第2点图案的投射结束为止的待机处理。

[0088] 图8是表示使用了第1实施方式的距离图像获取装置10的距离图像获取方法的其他例的处理流程的流程图，表示主要通过CPU20的控制并按照程序而执行的处理流程。本处理为动态图像模式下的距离图像获取处理，例如按一下快门按钮11，则开始。

[0089] 首先，通过投射部12，在多个波长区域同时向测距区域内的被摄体投射第1点图案(步骤S202)。即，若将波长区域数设为“N”，则在从第1波长区域至第N波长区域的较宽的波长区域投射第1点图案。

[0090] 接着，摄像部14中，对多个波长区域中的每个区域(从第1波长区域至第N波长区域的每个波长区域)具有灵敏度而拍摄测距区域内的被摄体(步骤S204)。即，从第1波长区域的摄像图像至第N波长区域的摄像图像，N张摄像图像存储于存储部32。

[0091] 接着，CPU20将表示波长区域的变量i设定为初始值即“1”(步骤S206)。

[0092] 接着，通过图案提取部20A，从第i波长区域的摄像图像中提取点图案(步骤S208)。

[0093] 接着，通过判别部20C，判别在第i波长区域的摄像图像中是否包含从其他装置投射的第2点图案(步骤S210)。

[0094] 当判定为在第i波长区域的摄像图像中包含第2点图案时(步骤S210中，为是的情况)，CPU20判定表示波长区域的变量i是否与波长区域数N相等(步骤S212)。步骤S212中，为否的情况下，进行表示波长区域的变量i的递增(i＝i+1)(步骤S214)，在下一个波长区域提取点图案(步骤S208)。

[0095] 当判定为在第i波长区域的摄像图像中不包含第2点图案时(步骤S210中，为否的情况)，根据从第i波长区域的摄像图像中提取的点图案(即，第1点图案)，通过距离图像获取部20B获取距离图像(步骤S216)。

[0096] CPU20判定是否继续进行距离图像获取(步骤S218)，当判定为继续进行时(步骤S218中，为是的情况)，重复进行步骤S202～S218。当判定为不继续时(步骤S218中，为否的情况)，结束本处理。本处理为动态图像模式下的距离图像获取，再按一下快门按钮11，则结束。

[0097] 步骤S230与图7所示的步骤S130相同，省略说明。

[0098] ＜第2实施方式＞

[0099] 利用图3对第2实施方式的距离图像获取装置10的内部结构进行说明。以下，主要对与第1实施方式的距离图像获取装置10的不同点进行说明，并省略在第1实施方式中已经说明的内容。

[0100] 本实施方式的通信部30从其他装置(其他距离图像获取装置)直接或经由接入点而接收包含表示第2点图案的投射的波长区域的信息(以下，称为“波长区域信息”)的信标信息。即，通信部30作为信标信息接收部而发挥作用。

[0101] 本实施方式的判别部20C判别为在根据信标信息中的波长区域信息显示的波长区域的摄像图像中包含第2点图案。

[0102] 图9是表示第2实施方式的距离图像获取方法的一例的处理流程的流程图，表示主要通过CPU20的控制并按照程序而执行的处理流程。本处理为为动态图像模式下的距离图像获取处理，例如按一下快门按钮11，则开始。

[0103] 首先，CPU20判定是否通过通信部30接收到从其他距离图像获取装置10发送的信标信息(步骤S302)。当在信标信息的可通信范围内存在其他距离图像获取装置10，且其他距离图像获取装置10发送信标信息时，通过通信部30接收信标信息。通信部30在所接收的信标信息中附加时间戳并存储于存储部32。CPU20能够通过参照附加于信标信息的时间戳来判定是否在一定时间以内接收到信标信息。

[0104] 当通过通信部30接收到信标信息时(步骤S302中，为是的情况)，CPU20从所接收的信标信息中提取波长区域信息(步骤S304)。

[0105] 接着，CPU20将表示波长区域的变量i设定为初始值即“1”(步骤S306)。

[0106] 接着，通过判别部20C，判别在第i波长区域的摄像图像中是否包含从其他装置投射的第2点图案(步骤S308)。即，当信标信息中的波长区域信息表示第i波长区域时，判别部20C判别为在第i波长区域的摄像图像中包含第2点图案，当信标信息中的波长区域信息表示与第i波长区域不同的波长区域时，判别部20C判别为在第i波长区域的摄像图像中不包含第2点图案。

[0107] 当判别为在第i波长区域的摄像图像中包含第2点图案时(步骤S308中，为是的情况)，CPU20判定表示波长区域的变量i是否与波长区域数N相等(步骤S310)。步骤S310中，为否的情况下，进行表示波长区域的变量i的递增(i＝i+1)(步骤S312)，返回步骤S308，在下一个波长区域中进行判别(步骤S308)。

[0108] 当判定为在第i波长区域的摄像图像中不包含第2点图案时(步骤S308中，为否的情况)，通过投射部12在第i波长区域投射第1点图案(步骤S314)，通过摄像部14至少对第i波长区域具有灵敏度而进行拍摄(步骤S316)，通过图案提取部20A从第i波长区域的摄像图像中提取第1点图案(步骤S318)，通过距离图像获取部20B根据第1点图案而获取距离图像(步骤S320)。

[0109] CPU20判定是否继续进行距离图像获取(步骤S322)，当判定为继续进行时(步骤S322中，为是的情况)，重复进行步骤S302～S322。当判定为不继续时(步骤S322中，为否的情况)，结束本处理。本处理为动态图像模式下的距离图像获取，再按一下快门按钮11，则结束。

[0110] 步骤S330与图7所示的步骤S130相同，省略说明。

[0111] ＜第3实施方式＞

[0112] 图10是表示本发明所涉及的第3实施方式的距离图像获取装置100的内部结构例的框图。在图10中，对与图3所示的第1实施方式的距离图像获取装置10相同的结构要件标注相同符号。以下，主要对与第1实施方式的不同点进行说明，并省略在第1实施方式中已经说明的内容。

[0113] 本实施方式的距离图像获取装置100的CPU20具备图案提取部20A、距离图像获取部20B、判别部20C以及相加图像生成部20D。

[0114] 投射部12在多个波长区域向测距区域内的被摄体同时投射第1点图案。摄像部14对多个波长区域中的每个区域具有灵敏度而进行拍摄，从而生成多个摄像图像，所述多个摄像图像包含在被摄体上反射的第1点图案，且与多个波长区域中的每个区域对应。相加图像生成部20D将多个摄像图像相加而生成相加图像。图案提取部20A从相加图像中提取第1点图案。距离图像获取部20B根据由图案提取部20A提取的第1点图案，获取表示测距区域内的被摄体的距离的距离图像。本实施方式中，可以省略判别部20C，但优选如后述那样通过使用判别部20C，获取精度更加良好的距离图像。

[0115] 接着，对基于图案提取部20A的来自相加图像的第1点图案的提取例进行说明。

[0116] 设为从自身装置在多个波长区域(在本例中，为从第1波长区域至第4波长区域的四个波长区域)同时以连续波投射第1点图案，且从其他装置在一个波长区域以连续波投射第2点图案。通过摄像部14在一定的曝光期间内进行曝光，通过相加图像生成部20D遍及多个波长区域而将像素值(相当于受光元件的积蓄电荷量)相加。如此一来，如图11所示，从自身装置在多个波长区域同时投射的第1点图案与从其他装置投射的第2点图案的相加值产生较大的差。在以脉冲波进行投射而非以连续波进行投射的情况下，也能够通过适当设定摄像部14中的曝光期间(受光期间)而使相加值产生适当的差。

[0117] 因此，图案提取部20A将构成相加图像中的点图案的多个像素中相加值(为相加图像的像素值)为阈值以上的像素判定为第1点图案的像素。并且，图案提取部20A将相加值小于阈值的像素判定为第2点图案的像素。即，通过根据阈值进行二值化处理，由此从相加图像中分离并提取仅表示第1点图案的图像数据(二值图像数据)。

[0118] 此外，当在相加图像中存在第1点图案和第2点图案的点的重叠时，将构成该点的重叠的像素判定为第1点图案的像素。

[0119] 作为其他方式，有使用直方图的方式。具体而言，以构成相加图像中的点图案的多个像素为对象，生成表示像素值的出现频率的直方图，分类为第1像素组以及像素值相对于第1像素组较低的第2像素组，并将仅由第1像素组构成的点图案识别为第1点图案。如此，通过使用直方图，能够从相加图像中仅分离并提取第1点图案。

[0120] 然而，如果从其他装置在多个波长区域(但是，为少于自身装置的波长区域数)投射有第2点图案时，如图11中的虚线所示，根据阈值的大小，第2点图案的相加值有可能高于阈值。这种情况下，通过判别部20C判别为从相加图像中提取的点图案的点数超过从投射部12实际投射的第1点图案的数量，因此在图案提取部20A中提高阈值而从相加图像中再次提取点图案。也就是说，提高阈值直至从相加图像中提取的点图案的点数成为从投射部12实际投射的第1点图案的数量以下，并再次进行提取，从而能够进行适当的图案提取。

[0121] 图12是表示第3实施方式的距离图像获取方法的一例的处理流程的流程图，表示主要通过CPU20的控制并按照程序而执行的处理流程。本处理为动态图像模式下的距离图像获取处理，例如按一下快门按钮11，则开始。

[0122] 步骤S402以及步骤S404分别与图8所示的第1实施方式的处理的步骤S202以及步骤S204相同。对概要进行说明，则通过投射部12在与波长区域数N对应的多个波长区域同时投射第1点图案(步骤S402)，通过摄像部14对与波长区域数N对应的多个波长区域中的每个区域具有灵敏度而进行拍摄，从而生成多个摄像图像，所述多个摄像图像包含在被摄体上反射的第1点图案，且与多个波长区域中的每个区域对应(步骤S404)。

[0123] 接着，通过相加图像生成部20D，将多个摄像图像(从第1波长区域的摄像图像至第N波长区域的摄像图像)相加而生成相加图像(步骤S406)。即，相加图像生成部20D遍及与波长区域数N对应的多个摄像图像，而将在彼此对应的像素位置的像素彼此的像素值进行相加，从而生成由相加值构成的相加图像。

[0124] 接着，通过图案提取部20A，从相加图像中提取第1点图案(步骤S408)。

[0125] 接着，通过距离图像获取部20B，根据从相加图像中提取的第1点图案而获取距离图像(步骤S410)。

[0126] 接着，CPU20判定是否继续进行距离图像获取(步骤S412)，当判定为继续进行时(步骤S412中，为是的情况)，重复进行步骤S402～S412。当判定为不继续时(步骤S412中，为否的情况)，结束本处理。本处理为动态图像模式下的距离图像获取，再按一下快门按钮11，则结束。

[0127] 图12中，为了便于理解本实施方式，以在从距离图像获取处理的开始至结束的多个波长区域进行点图案投射的情况为例而示出，但本发明并不限定于这种情况。优选为，首先，当由投射部12在一个波长区域进行点图案投射，并由判别部20C判别为在一个波长区域的摄像图像中不包含第2点图案时(即，判别为从其他装置未投射有第2点图案时)，根据从该一个波长区域的摄像图像中提取的第1点图案而获取距离图像，并且当由判别部20C判别为在一个波长区域的摄像图像中包含第2点图案时(即，判别为从其他装置投射有第2点图案时)，将投射部12中的第1点图案的投射从一个波长区域切换为多个波长区域，且进行相加图像的生成，从而根据从相加图像中提取的点图案而生成距离图像。

[0128] ＜在多个波长区域进行拍摄的方式的变化＞

[0129] 本发明中的摄像部并不特别限定于图6所示的摄像部14(为具有对多个波长区域中的每个区域具有灵敏度的多种受光元件的摄像部的一例)。

[0130] 例如，也可以使用图13中例示的透射波长区域切换器件51。本例的透射波长区域切换器件51构成为，透射波长区域不同的多个透射滤波器51A、51B、51C、51D沿着与摄像部14的光轴方向正交的方向S而线状排列。CPU20经由省略图示的驱动机构使透射波长区域切换器件51沿方向S滑动，从而切换入射于摄像部14的光的透射波长区域。即，CPU20通过由透射波长区域切换器件51切换入射于摄像部14的光的透射波长区域，从而作为透射波长区域控制部发挥作用，所述透射波长区域控制部使摄像部14对多个波长区域中的每个区域具有灵敏度而进行拍摄。

[0131] 当使用本例的透射波长区域切换器件51时，光调制部22从投射部12在多个波长区域中的每个区域依次投射第1点图案。并且，摄像部14与光调制部22中的波长区域的切换同步，并仅对多个波长区域中从投射部12正在投射的第1点图案的波长区域具有灵敏度而进行拍摄。即，在前述第2拍摄模式下进行拍摄。

[0132] 此外，以使多个透射滤波器51A、51B、51C、51D线状排列而滑动的情况为例进行了说明，但本发明并不限定于这种情况。例如，也可以为使环状排列有多个透射滤波器的透射波长区域切换器件转动的情况。

[0133] 并且，说明了通过驱动机构选择透射滤波器的情况，但本发明并不限定于这种情况。也可以将光学切换入射于摄像部14的入射光的波长的器件用作透射波长区域切换器件。

[0134] 能够适用本发明的方式并不限于具备获取距离图像的单独的功能的距离图像获取装置，也可以是能够拍摄彩色图像的普通的数码相机、摄像机中搭载有距离图像获取功能的装置，并且，也能够适用于在具备距离图像获取功能的基础上还具备除距离图像获取功能以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类。作为能够适用本发明的其他方式，例如，可以举出移动电话或智能手机、PDA(个人数字助理(Personal Digital Assistants))、便携式游戏机。以下，对能够适用本发明的智能手机的一例进行说明。

[0135] ＜智能手机的结构＞

[0136] 图14是表示作为距离图像获取装置的实施方式的智能手机500的外观的立体图。

[0137] 图14所示的智能手机500具有平板状的框体502，在框体502的一个面具备作为显示部的显示面板521和作为输入部的操作面板522成为一体的显示输入部520。并且，框体502具备扬声器531、麦克风532、操作部540、相机部541以及投射部542。此外，框体502的结构并不限定于此，例如，还能够采用显示部和输入部独立构成的结构、折叠结构或具有滑动机构的结构。

[0138] 图15是表示图14所示的智能手机500的结构的框图。如图15所示，作为智能手机500的主要构成要件，具备无线通信部510、显示输入部520、通话部530、操作部540、作为摄像部发挥作用的相机部541、存储部550、外部输入输出部560、GPS(全球定位系统(Global Positioning System))接收部570、动作传感器部580、电源部590以及主控制部501。并且，作为智能手机500的主要功能，具备经由基站装置和移动通信网进行移动无线通信的无线通信功能。

[0139] 无线通信部510根据主控制部501的命令而与容纳于移动通信网的基站装置进行无线通信。利用该无线通信来进行语音数据、图像数据等各种文件数据、电子邮件数据等的发送和接收，或Web数据和流数据等的接收。

[0140] 显示输入部520是通过主控制部501的控制而显示图像(静止图像和动态图像)或字符信息等并将信息视觉性地传递给用户，并且检测相对于所显示的信息的用户操作的所谓的触摸面板，且具备显示面板521和操作面板522。在观看所生成的三维图像时，优选显示面板521为三维显示面板。

[0141] 显示面板521将LCD(液晶显示器(Liquid Crystal Display))、OELD(有机电致发光显示器(Organic Electro-Luminescence Display))等作为显示器件而使用。

[0142] 操作面板522是以能够视觉确认显示在显示面板521的显示面上的图像的方式被载置，且通过用户的手指或尖笔操作的检测一个或多个坐标的器件。若通过用户的手指或尖笔操作该器件，则将因操作而产生的检测信号输出至主控制部501。接着，主控制部501根据所接收的检测信号来检测显示面板521上的操作位置(坐标)。

[0143] 如图14所示，智能手机500的显示面板521和操作面板522成为一体而构成显示输入部520，成为操作面板522完全覆盖显示面板521的配置。采用该配置时，操作面板522可以对显示面板521之外的区域也具备检测用户操作的功能。换句话说，操作面板522可以具备关于与显示面板521重叠的重叠部分的检测区域(以下，称为显示区域)，以及关于除此以外的不与显示面板521重叠的外缘部分的检测区域(以下，称为非显示区域)。

[0144] 此外，显示区域的大小和显示面板521的大小可以完全一致，但二者并不需要一定一致。并且，操作面板522可以具备外缘部分和除此以外的内侧部分这2个感应区域。此外，外缘部分的宽度是根据框体502的大小等而适当设计的。此外，作为操作面板522中采用的位置检测方式，可以举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任意方式。

[0145] 通话部530具备扬声器531和麦克风532，并将通过麦克风532输入的用户的声音转换成可在主控制部501处理的语音数据而输出至主控制部501，或者将通过无线通信部510或外部输入输出部560接收的语音数据进行解码而从扬声器531输出。并且，如图14所示，例如，能够将扬声器531和麦克风532搭载于与设有显示输入部520的面相同的面。

[0146] 操作部540是使用了键开关等的硬件键，并且接受来自用户的命令。例如，操作部540是搭载于智能手机500的框体502的显示部的下部、下侧面，且在用手指等按下时成为接通，放开手指时通过弹簧等的复原力而成为断开状态的按钮式开关。

[0147] 存储部550存储主控制部501的控制程序和控制数据、将通信对象的名称和电话号码等建立对应关联而成的地址数据、发送和接收的电子邮件数据、通过Web浏览下载的Web数据或已下载的内容数据，并且临时存储流数据等。并且，存储部550由智能手机内置的内部存储部551和具有装卸自如的外部存储器用插槽的外部存储部552构成。此外，构成存储部550的各内部存储部551和外部存储部552使用闪存型(flash memory type)、硬盘型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，Micro SD(注册商标)存储器等)、RAM(随机存取存储器(Random Access Memory))、ROM(只读存储器(Read Only Memory))等存放介质来实现。

[0148] 外部输入输出部560发挥与连结于智能手机500的所有外部设备之间的接口作用，用于通过通信等(例如，通用串行总线等)或网络(例如，互联网、无线LAN(局域网(Local Area Network))、蓝牙(Bluetooth)(注册商标)、RFID(射频识别(Radio Frequency Identification))、红外线通信(红外数据协会(Infrared Data Association：IrDA))、UWB(超宽带(Ultra Wideband))(注册商标)、紫蜂(ZigBee)(注册商标)等)而直接或间接地与其他外部设备连接。

[0149] 作为连结于智能手机500的外部设备，例如具有有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽而连接的存储卡(Memory card)或SIM(客户标识模块(Subscriber Identity Module))/UIM(用户标识模块(User Identity Module))卡、经由音频/视频I/O(输入/输出(Input/Output))端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、耳机等。外部输入输出部能够将从这种外部设备传输来的数据传递至智能手机500的内部的各构成要件，或者能够将智能手机500的内部的数据传输至外部设备。

[0150] GPS接收部570根据主控制部501的命令而接收从GPS卫星ST1～STn发送的GPS信号，根据所接收的多个GPS信号执行定位运算处理，并检测由智能手机500的纬度、经度、高度组成的位置。当能够从无线通信部510或外部输入输出部560(例如，无线LAN)获取位置信息时，GPS接收部570还能够利用该位置信息来检测位置。

[0151] 动作传感器部580例如具备三轴加速度传感器等，并根据主控制部501的命令而检测智能手机500的物理移动。通过检测智能手机500的物理移动，从而检测智能手机500的移动方向和加速度。该检测结果被输出至主控制部501。

[0152] 电源部590根据主控制部501的命令而向智能手机500的各部供给积蓄在电池(未图示的)的电力。

[0153] 主控制部501具备微处理器，并且根据存储部550所存储的控制程序和控制数据进行工作并整体控制智能手机500的各部。并且，主控制部501由于通过无线通信部510而进行语音通信和数据通信，因此具备控制通信系统的各部的移动通信控制功能和应用处理功能。

[0154] 应用处理功能通过根据存储部550所存储的应用软件而主控制部501进行工作来实现。作为应用处理功能，例如有控制外部输入输出部560而与对象设备进行数据通信的红外线通信功能、进行电子邮件的发送和接收的电子邮件功能、浏览Web页的Web浏览功能等。

[0155] 并且，主控制部501具备根据接收数据或所下载的流数据等的图像数据(静止图像或动态图像的数据)，将影像显示在显示输入部520等的图像处理功能。图像处理功能是指，主控制部501将上述图像数据进行解码并对该解码结果实施图像处理，从而将图像显示在显示输入部520的功能。

[0156] 此外，主控制部501执行对显示面板521的显示控制，以及检测通过操作部540、操作面板522进行的用户操作的操作检测控制。

[0157] 通过执行显示控制，主控制部501显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。此外，滚动条是指，用于使无法收容于显示面板521的显示区域的较大的图像等接受移动图像显示部分的命令的软件键。

[0158] 并且，通过执行操作检测控制，主控制部501检测通过操作部540进行的用户操作，或接受通过操作面板522而对上述图标进行的操作、对上述窗口的输入栏进行的字符串的输入，或者接受通过滚动条进行的显示图像的滚动要求。

[0159] 此外，通过执行操作检测控制，主控制部501判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的与显示面板521不重叠的外缘部分(非显示区域)，并具备对操作面板522的感应区域、软件键的显示位置进行控制的触摸面板控制功能。

[0160] 并且，主控制部501还能够检测对操作面板522的手势操作，并根据所检测的手势操作而执行预先设定的功能。手势操作是指用手指等描绘轨迹或同时指定多个位置，或者将它们进行组合而从多个位置对至少1个描绘轨迹的操作，而非以往简单的触摸操作。

[0161] 相机部541是使用CMOS(互补金属氧化物半导体(Complementary Metal Oxide Semiconductor))或CCD(电荷耦合器件(Charge-Coupled Device))等图像传感器进行电子拍摄的摄像装置。

[0162] 该情况下，优选相机部541为在1个图像传感器内设有受光的波长区域彼此不同的多个受光元件，且彩色摄像用受光元件(R像素、G像素、B像素)混合存在并二维排列的相机部。即，作为相机部541的图像传感器，优选使用设有彩色摄像用RGB滤色器的R像素、G像素以及B像素和设有距离图像获取用带通滤波器或截止滤波器的像素(仅对投射光具有灵敏度的像素)混合存在的图像传感器。

[0163] 投射部542具有LED，并在获取距离图像时投射光的第1点图案。并且，LED为具有光通信功能的智能手机500时，还能够作为光通信的光源来使用。

[0164] 并且，相机部541能够通过控制主控制部501，将通过拍摄获取的可见光的图像数据转换为例如JPEG(联合图像专家组(Joint Photographic coding Experts Group))等压缩的图像数据，并记录于存储部550或者通过外部输入输出部560或无线通信部510而进行输出，同样能够将表示被摄体的距离的距离图像记录于存储部550或者通过外部输入输出部560或无线通信部510而进行输出。在图14所示的智能手机500中，相机部541搭载于与显示输入部520相同的面，但相机部541的搭载位置并不限于此，也可以搭载于显示输入部520的背面，或者也可以搭载有多个相机部541。此外，搭载有多个相机部541时，还能够切换供拍摄的相机部541而单独进行拍摄，或者同时使用多个相机部541而进行拍摄。

[0165] 并且，相机部541能够利用于智能手机500的各种功能。例如，能够在显示面板521显示由相机部541获取的图像，或作为操作面板522的操作输入之一而利用相机部541的图像。并且，还能够在GPS接收部570检测位置时，参照来自相机部541的图像而检测位置。此外，也能够参照来自相机部541的图像而不使用三轴加速度传感器，或者同时使用三轴加速度传感器，来判断智能手机500的相机部541的光轴方向或判断当前的使用环境。当然，也能够在应用软件内利用来自相机部541的图像。

[0166] 例如可以通过投射部542构成本发明中的投射部。例如可以通过相机部541构成本发明中的摄像部。例如可以通过主控制部501构成本发明中的判别部、图案提取部、距离图像获取部以及相加图像生成部。虽省略了图示，但在智能手机500中设置本发明中的光调制部以及信标信息接收部。

[0167] 此外，本发明并不特别限定于获取连续的距离图像的情况(动态图像模式)，当然也能够在获取1帧份的距离图像的情况(静止图像模式)下实施。

[0168] 本发明并不限定于上述实施方式，在不脱离本发明的宗旨的范围内当然可以进行各种变形。

[0169] 符号说明

[0170] 10、100-距离图像获取装置，12-投射部，14-摄像部，16-AD转换器，18-接口电路，20-CPU，20A-图案提取部，20B-距离图像获取部，20C-判别部，20D-相加图像生成部，22-光调制部，26-驱动部，28-操作部，30-通信部，32-存储部，51-透射波长区域切换器件。