运动传感器装置、电路、记录介质以及图像处理装置

摘要

本公开的某实施方式中的运动传感器装置具备：图像传感器(701)；第1以及第2光源(702、703)；构成为对图像传感器(701)和第1以及第2光源(702、703)进行控制的控制部(710)。控制部(710)在第1时间一边使所述第1光源发光一边由所述图像传感器进行第1帧的摄像，在第2时间一边使所述第2光源发光一边由所述图像传感器进行第2帧的摄像，针对通过所述第1帧的摄像而取得的第1图像以及通过所述第2帧的摄像而取得的第2图像执行基于所述第1图像与所述第2图像之差的屏蔽处理，基于所述屏蔽处理后的所述第1图像、和所述屏蔽处理后的所述第2图像，获得到包含在所述第1以及第2图像中的对象物的距离信息。

权利要求

1.一种运动传感器装置，具备：

图像传感器；

第1光源以及第2光源；和

控制部，其构成为对所述图像传感器以及所述第1光源以及第2光源进行控制，所述控制部构成为：在第1时间一边使所述第1光源发光一边由所述图像传感器进行第1帧的摄像，在第2时间一边使所述第2光源发光一边由所述图像传感器进行第2帧的摄像，生成通过所述第1帧的摄像而取得的第1图像、和通过所述第2帧的摄像而取得的第2图像的差分数据，在所述差分数据中的、与所述第1光源以及第2光源的排列方向对应的方向的数据中，决定差分成为极大值的位置和所述差分成为极小值的位置之间所包含的推定对象物区域，针对所述第1图像以及第2图像中的除了所述推定对象物区域之外的区域，执行基于所述第1图像与所述第2图像之差的屏蔽处理，基于所述屏蔽处理后的所述第1图像、和所述屏蔽处理后的所述第2图像，获得到包含在所述第1图像以及第2图像中的对象物的距离信息。

2.根据权利要求1所述的运动传感器装置，其中，

所述屏蔽处理是将所述第1图像中的像素的亮度值、和与所述像素对应的所述第2图像中的像素的亮度值的差分小于阈值的区域，从所述第1图像以及第2图像中消除的处理。

3.根据权利要求1或2所述的运动传感器装置，其中，

所述控制部构成为：基于所述第1光源的发光输出、所述第2光源的发光输出、所述图像传感器的曝光时间、所述图像传感器的增益、所述图像传感器的焦点状态、以及光圈的设定值中的至少1个，使所述屏蔽处理的有无或者所述屏蔽处理的计算所使用的系数变化。

4.根据权利要求1或2所述的运动传感器装置，其中，

所述控制部构成为：基于所述对象物的距离信息、尺寸信息、以及材质信息中的至少1个，使所述屏蔽处理的有无或者所述屏蔽处理所使用的系数变化。

5.一种电路，在具备图像传感器和第1光源以及第2光源的运动传感器装置中使用，所述电路具备：差分作成部，其求出第1图像与第2图像的差分数据并输出，其中所述第1图像通过在第

1时间一边使所述第1光源发光一边由所述图像传感器进行第1帧的摄像而取得，所述第2图像通过在第2时间一边使所述第2光源发光一边由所述图像传感器进行第2帧的摄像而取得；

极大值搜索部，其在所述差分数据中的1个水平线的数据中，判定差分是否为第1阈值以上；

极小值搜索部，其在所述差分数据中的所述1个水平线的数据中，判定差分是否为小于所述第1阈值的第2阈值以下；

屏蔽作成部，其判定所述差分数据的绝对值是否为第3阈值以下；

控制部，其在从所述极大值搜索部接受了表示所述差分为所述第1阈值以上的信息时，从第1动作状态过渡到第2动作状态，在从所述极小值搜索部接受了表示所述差分为所述第

2阈值以下的信息时，从所述第2动作状态过渡到所述第1动作状态；

屏蔽信息记录部，其基于所述屏蔽作成部的判定结果对背景区域的屏蔽信息进行保存；

配对信息记录部，其在所述控制部处于所述第2动作状态时，对配对区域的信息进行保存，所述配对区域是所述差分成为所述第1阈值以上的位置、和所述差分成为所述第2阈值以下的位置之间的区域；和屏蔽减法部，其在所述控制部从所述第2动作状态过渡到所述第1动作状态时，对保存在所述屏蔽信息记录部中的所述屏蔽信息应用保存在所述配对信息记录部中的配对信息的“与”。

6.一种记录介质，保存了用于以可重构逻辑来执行的权利要求5的电路信息。

7.一种图像处理装置，在具备图像传感器、第1光源以及第2光源、和对从所述图像传感器输出的多个图像进行处理的图像处理装置的系统中使用，所述图像处理装置具备：处理器；

存储器；和

保存在所述存储器中的计算机程序，

所述计算机程序使所述处理器执行如下处理：

取得在第1时间一边使所述第1光源发光一边由所述图像传感器取得的第1图像；

取得在第2时间一边使所述第2光源发光一边由所述图像传感器摄像而得到的第2图像；

生成所述第1图像和所述第2图像的差分数据，

在所述差分数据中的、与所述第1光源以及第2光源的排列方向对应的方向的数据中，决定差分成为极大值的位置和所述差分成为极小值的位置之间所包含的推定对象物区域，针对所述第1图像以及第2图像中的除了所述推定对象物区域之外的区域执行基于所述第1图像与所述第2图像之差的屏蔽处理；

基于所述屏蔽处理后的所述第1图像、和所述屏蔽处理后的所述第2图像，获得到包含在所述第1图像以及第2图像中的对象物的距离信息。

说明书

运动传感器装置、电路、记录介质以及图像处理装置

技术领域

[0001] 本申请涉及具备多个光源的运动传感器装置。

背景技术

[0002] 专利文献1公开了一种一边从多个光源对静止或运动中的物体(对象物)分时投光，一边基于通过1个图像传感器取得的多个图像来测定到对象物的距离的技术。

[0003] 专利文献2公开了一种消除了背景光的影响的距离测量装置。该距离测量装置在不使光源发光的状态下取得仅包含背景光成分的图像，并在使光源发光的状态下取得测量用的图像。通过从测量用的图像的像素值中减去仅包含背景光成分的图像的像素值，能够消除背景光的影响。

[0004] 非专利文献1公开了一种不进行读取传输、能够几乎不产生时间差地拍摄多幅图像的传感器器件。

[0005] 非专利文献2公开了一种基于通过多样地改变光源的位置进行拍摄而取得的多个图像，来同时推定物体的反射特性、形状、以及光源的位置的方法。

[0006] 在先技术文献

[0007] 专利文献

[0008] 专利文献1：JP特开2001-12909号公报

[0009] 专利文献2：JP特开2008-122223号公报

[0010] 非专利文献

[0011] 非专利文献1：Gordon Wan、Xiangli Li、Gennadiy Agranov、Marc Levoy、and Mark Horowitz″CMOS Image Sensors With Multi-Bucket Pixels for Computational Photography″、IEEE JOURNAL OF SOLID- STATE CIRCUITS、VOL.47、NO.4、APRIL 2012[0012] 非专利文献2：荻野真佑，右田刚史，尺长健，“基于Torrance-Sparrow 模型的反射特性/形状/光源位置的同时推定的研究”、The Institute of Electronics、Information、and Communication Engineers、IEICE Technical Report IE2007-347、PRMU2007-331(2008-03)

发明内容

[0013] 在现有的背景光消除技术中，需要在使光源熄灭的状态下额外进行仅包含背景光成分的图像帧的摄像。因此，导致装置的成本增加、规格下降。

[0014] 本公开的实施方式提供一种能够解决该问题的新的运动传感器装置。

[0015] 解决课题的手段

[0016] 为了解决上述课题，本公开的一个方式所涉及的运动传感器装置具备：图像传感器；第1光源以及第2光源；和控制部，其构成为对所述图像传感器和所述第1光源以及第2光源进行控制。所述控制部构成为：在第1 时间一边使所述第1光源发光一边由所述图像传感器进行第1帧的摄像，在第2时间一边使所述第2光源发光一边由所述图像传感器进行第2帧的摄像，针对通过所述第1帧的摄像而取得的第1图像以及通过所述第2帧的摄像而取得的第2图像，执行基于所述第1图像与所述第2图像之差的屏蔽处理，基于所述屏蔽处理后的所述第1图像、和所述屏蔽处理后的所述第2图像，获得到包含在所述第1图像以及第2图像中的对象物的距离信息。

[0017] 本公开的其他方式所涉及的运动传感器装置具备：图像传感器；第1 光源以及第2光源；和控制部，其构成为对所述图像传感器和所述第1光源以及第2光源进行控制。所述控制部构成为：在第1时间一边使所述第 1光源发光一边由所述图像传感器进行第1帧的摄像，在第2时间一边使所述第2光源以与所述第1光源不同的输出而发光一边由所述图像传感器进行第2帧的摄像，针对通过所述第1帧的摄像而取得的第1图像以及通过所述第2帧的摄像而取得的第2图像，执行基于所述第1图像与所述第 2图像之差的屏蔽处理，对所述屏蔽处理后的所述第1图像以及所述屏蔽处理后的所述第2图像的至少一方，执行与所述第1光源以及第2光源的发光输出之差相应的亮度校正处理，基于从所述亮度校正处理后的所述第 1图像获得的对象物的亮度、和从所述亮度校正处理后的所述第2图像获得的所述对象物的亮度之比，获得到所述对象物的距离信息。

[0018] 本公开的其他方式所涉及的运动传感器装置具备：图像传感器；第1 光源以及第2光源；和控制部，其构成为对所述图像传感器和所述第1光源以及第2光源进行控制。所述控制部构成为：在第1时间一边使所述第 1光源发光一边由所述图像传感器进行第1帧的摄像，在第2时间一边使所述第2光源发光一边由所述图像传感器进行第2帧的摄像，生成通过所述第1帧的摄像而取得的第1图像、和通过所述第2帧的摄像而取得的第 2图像的差分数据，在所述差分数据中的、与所述第1光源以及第2光源的排列方向对应的方向的数据中，决定差分成为极大值的位置与所述差分成为极小值的位置之间所包含的推定对象物区域，针对所述第1图像以及第2图像中的除了所述推定对象物区域之外的区域，执行基于所述第1图像与所述第2图像之差的屏蔽处理，基于所述屏蔽处理后的所述第1图像、和所述屏蔽处理后的所述第2图像，获得到包含在所述第1图像以及第2 图像中的对象物的距离信息。

[0019] 本公开的其他方式所涉及的电路，在具备图像传感器和第1光源以及第2光源的运动传感器装置中使用，所述电路具备：差分作成部，其求出第1图像与第2图像的差分数据并输出，其中所述第1图像通过在第1时间一边使所述第1光源发光一边由所述图像传感器进行第1帧的摄像而取得，所述第2图像通过在第2时间一边使所述第2光源发光一边由所述图像传感器进行第2帧的摄像而取得；极大值搜索部，其在所述差分数据中的1个水平线的数据中，判定差分是否为第1阈值以上；极小值搜索部，其在所述差分数据中的所述1个水平线的数据中，判定差分是否为小于所述第1阈值的第2阈值以下；屏蔽作成部，其判定所述差分数据的绝对值是否为第3阈值以下；控制部，其在从所述极大值搜索部接受了表示所述差分为所述第1阈值以上的信息时，从第1动作状态过渡到第2动作状态，在从所述极小值搜索部接受了表示所述差分为所述第2阈值以下的信息时，从所述第2动作状态过渡到所述第1动作状态；屏蔽信息记录部，其基于所述屏蔽作成部的判定结果对背景区域的屏蔽信息进行保存；配对信息记录部，其在所述控制部处于所述第2动作状态时，对配对区域的信息进行保存，所述配对区域是所述差分成为所述第1阈值以上的位置、和所述差分成为所述第2阈值以下的位置之间的区域；和屏蔽减法部，其在所述控制部从所述第2动作状态过渡到所述第1动作状态时，对保存在所述屏蔽信息记录部中的所述屏蔽信息应用保存在所述配对信息记录部中的所述配对信息的“与”。

[0020] 本公开其他方式所涉及的记录介质保存有用于以可重构逻辑来执行的上述的电路信息。

[0021] 本公开的其他方式所涉及的图像处理装置，在具备图像传感器、第1 光源以及第2光源、和对从所述图像传感器输出的多个图像进行处理的图像处理装置的系统中使用，所述图像处理装置具备：处理器；存储器；和保存在所述存储器中的计算机程序。所述计算机程序使所述处理器执行如下处理：取得在第1时间一边使所述第1光源发光一边由所述图像传感器取得的第1图像，取得在第2时间一边使所述第2光源发光一边由所述图像传感器摄像而得到的第2图像，针对所述第1图像以及第2图像执行基于所述第1图像与所述第2图像之差的屏蔽处理，基于所述屏蔽处理后的所述第1图像、和所述屏蔽处理后的所述第2图像，获得到包含在所述第 1图像以及第2图像中的对象物的距离信息。

[0022] 这些总括的或具体的方式也可以通过系统、方法、集成电路、计算机程序、或者记录介质来实现。或者，也可以通过系统、装置、方法、集成电路、计算机程序以及记录介质的任意的组合来实现。

[0023] 发明效果

[0024] 根据本公开的运动传感器装置的实施方式，无需进行额外的图像帧的摄像，就能够实现抑制了背景光的影响的距离测量。

附图说明

[0025] 图1A是示意性地表示具备2个光源的运动传感器装置的剖面的图。

[0026] 图1B是图1A的装置的俯视图。

[0027] 图2是表示光源的辐射角与相对辐射强度的关系的曲线图。

[0028] 图3是表示光源的辐射角的图。

[0029] 图4A是表示用从第1光源102辐射的光来照射对象物104的样态的图。

[0030] 图4B是表示用从第2光源103辐射的光来照射对象物104的样态的图。

[0031] 图5是表示摄像数据的1行(line)的像素位置与亮度的关系的曲线图。

[0032] 图6是表示某辐射角下的亮度比与距离的关系的曲线图。

[0033] 图7A是表示用从第1光源102辐射的光来照射稍微移动了的对象物104的样态的图。

[0034] 图7B是表示用从第2光源103辐射的光来照射稍微移动了的对象物 104的样态的图。

[0035] 图8是表示将运动传感器装置放置于有户外光线的场所，并将人手遮在测量范围内的状况的图。

[0036] 图9是用于说明现有的背景光消除的效果的图。(a)表示在图8的例子中，一边使光源103发光一边进行了拍摄的情况下所取得的图像的例子，(b)表示在图8的例子中，使任何一个光源都不发光地进行了拍摄的情况下所取得的图像的例子，(c)表示从图9(a)所示的图像中减去图9(b)所示的图像而得到的差分图像。

[0037] 图10是示意性地表示本公开的实施方式1中的运动传感器装置的构成的图。

[0038] 图11是实施方式1中的光源以及图像传感器的时间图。

[0039] 图12是表示具备透镜901、2个图像传感器902、903、和半透明反射镜904的运动传感器装置的例子的图。

[0040] 图13是表示实施方式1中的控制部710的动作的流程图。

[0041] 图14是示意性地表示本公开的实施方式2中的运动传感器装置的构成的图。

[0042] 图15是表示实施方式2中的控制部810的动作的流程图。

[0043] 图16是用于说明实施方式2中的屏蔽处理的图。(a)表示通过第1 图像帧的摄像而取得的第1图像的例子，(b)表示通过第2图像帧的摄像而取得的第2图像的例子，(c)表示屏蔽处理后的第1图像的例子。

[0044] 图17是表示具有3个光源702、703、704的运动传感器装置的构成例的图。

[0045] 图18是表示在实施方式2的具有3个光源的构成中，不产生亮度差的情况下的例子的图。

[0046] 图19(a)是表示利用实施方式2的装置来处理位于近距离处的手的图像时所生成的屏蔽图像的图，(b)是表示通过实施方式3的处理修正后的屏蔽图像的图。

[0047] 图20是表示对位于图18所示的运动传感器装置的近距离处的手指进行了拍摄的情况下所取得的图像中的特定的水平线(horizontal line)的亮度的曲线图。

[0048] 图21是表示本公开的实施方式3中的运动传感器装置的构成的图。

[0049] 图22是表示实施方式3中的控制部910的动作的流程图。

[0050] 图23是本公开的实施方式4中的电路构成图。

[0051] 图24是表示搭载了实施方式1所涉及的运动传感器装置的显示器 1001的图。

具体实施方式

[0052] 首先，说明通过本公开的运动传感器装置能够测定到对象物(被摄体) 的距离的基本原理。

[0053] 图1A是示意性地表示运动传感器装置的剖面的图。图1B是图1A的俯视图。

[0054] 图1A以及图1B所示的装置具备位于中央的图像传感器101、和位于图像传感器101的两侧的2个光源装置102、103。在图示的例子中，图像传感器101以及光源装置102、103搭载于1个基板100。图像传感器101 是将许多微细的光探测单元(光电二极管)排列为行以及列状的固体摄像元件。图像传感器101典型的是CCD(Charge Coupled Device，电荷耦合器件)型或CMOS型。在以下的说明中，有时将光源装置简称为“光源”。

[0055] 图1A中示意性地示出了从第1光源102射出的光102a和从第2光源 103射出的光103a。该装置通过一边使光源102、103交替地点亮一边进行摄像，由此能够测定到测量对象物体(对象物)的距离。另外，“距离的测定”包含求出从图像传感器到对象物的距离的推定值、或者空间内的对象物的位置的推定值。对象物可能包含例如人的手、手指、人所拿的笔等。对象物也可以移动。能够实时地取得到正在高速移动的人的指尖的距离、或者指尖的位置的推定值的三维运动传感器装置，能够作为包括计算机、平板终端、智能手机、游戏设备、以及家电设备在内的多种多样的电子设备的“输入器件”来使用。

[0056] 图2是表示从光源102、103分别射出的光的辐射模式(配光特性) 的曲线图。如图3所示，曲线图的横轴是辐射的方向相对于基板100的法线方向N所形成的角度θ。曲线图的纵轴是相对辐射强度。以下，有时将辐射的角度θ称为“辐射角”。另外，相对辐射强度的值对应于放置在向特定角度的方向离开光源的位置处的对象物的照度(辐射照度)。

[0057] 从图2可知，从光源102、103分别射出的辐射当角度θ为0°时示出最高的强度。在图2的例子中，光源102、103示出了其辐射强度能够用 I0×cosθ来近似的配光特性。不过，这是一例，光源102、103的配光特性不限定于图2的例子。此外，从光源102、103射出的辐射不限定于可见光，也可以为如红外线那样对于人的视觉而言感觉不到的波长区域的电磁波。
在本说明书中，为了简单，有时将从光源射出的辐射简称为“光”。该“光”的用语不限定于可见光，而是广泛包含能够用图像传感器来检测的电磁波。

[0058] 接着，说明利用上述装置来测定到对象物的距离的方法。

[0059] 首先，参照图4A以及图4B。图4A示出了用从第1光源102辐射的光来照射对象物104，被对象物104反射的光的一部分入射到图像传感器 101的样态。另一方面，图4B示出了用从第2光源103辐射的光来照射对象物104，被对象物104反射的光的一部分入射到图像传感器101的样态。假设对象物104的位置在图4A以及图4B中实质上相同。

[0060] 根据该装置，在第1时刻，如图4A所示，在将光源102点亮并使光源103熄灭的状态下进行利用图像传感器101的第1摄像。接着，在第2 时刻，如图4B所示，在将光源103点亮并使光源102熄灭的状态下进行利用图像传感器101的第2摄像。假定第1以及第2摄像的各自的期间(曝光时间)充分短，达到可以当作对象物104实质上停止来对待的程度。

[0061] 在进行第1摄像时，从光源102射出的光的一部分被对象物104反射而入射到图像传感器101，因此能够得到与入射到图像传感器101的光的强度相应的亮度图像。同样，在进行第2摄像时，从光源103射出的光的一部分被对象物104反射而入射到图像传感器101，因此能够得到与入射到图像传感器101的光的强度相应的亮度图像。

[0062] 基于通过第1以及第2摄像而取得的2帧的图像的每一个，能够求出对象物104的亮度(亮度分布或亮度像)。另外，本说明书中的“亮度”并不是具有[坎德拉/m2]([candela/m2])的单位的心理物理量，而是按照图像传感器的每个像素而决定的“相对亮度”。本说明书中的“亮度”相当于光量或辐射量。构成各帧图像的各像素具有与受光量相应的“亮度值”。

[0063] 由于对象物104存在大小，因此各图像中的对象物104的像通常由多个像素构成。对象物104的“亮度”能够根据构成对象物104的像的多个像素的亮度值通过各种方法来决定。既可以将对象物104的像之中最明亮的“像素”或“像素块”的亮度作为对象物104的亮度，也可以将构成对象物104的像的所有像素的平均亮度作为对象物104的亮度。

[0064] 图5是表示在通过上述方法取得的2帧图像的每一个中，横切对象物 104的像的一条水平线的亮度值的曲线图。横轴是图像内的特定水平线上的像素位置，纵轴是相对亮度。曲线图中的曲线301是光源102点亮时的亮度，曲线302是光源103点亮时的亮度。在此，“水平线”是指图像的横向的线。在本实施方式中，光源102、103的排列方向对应于由图像传感器101取得的图像的横向。因此，考虑图像内的存在对象物的水平线上的相对亮度的分布。
在光源102、103的排列方向对应于与图像的横向不同的方向的情况下，只要考虑在该对应的方向的相对亮度的分布即可。

[0065] 在图5的例子中，曲线301以及曲线302分别具有单峰性的峰值。即，曲线301在某像素位置出示出极值303，曲线302在其他像素位置处示出极值304。

[0066] 如前所述，对象物104在2帧之间实质上静止。因此，存在于曲线301 与曲线302之间的差异起因于光源102所形成的辐射的模式(pattern)与光源103所形成的辐射的模式的不同。从光源102射出的光被对象物104 反射并入射到图像传感器101而取得的像的亮度、与从光源103射出的光被对象物104反射并入射到图像传感器101而取得的像的亮度的比率，取决于从光源102到对象物104的距离和从光源103到对象物104的距离之间的关系。

[0067] 根据拍摄到的图像的亮度比，能够测量物体的距离。图6是表示从图像传感器101的摄像面的法线起算45度的角度的方向上的距离与亮度比的关系的一例的曲线图。图6的曲线图的横轴表示将示出图2的特性的光源从图像传感器101向左右离开给定距离而配置的情况下的到对象物的相对的距离。纵轴表示亮度比。横轴的“距离”以图像传感器101和光源的距离为基准。“1”的距离意味着与图像传感器101和光源的距离相等的大小。

[0068] 对象物的亮度(或照度)与从光源到对象物的距离的平方成反比地衰减。因此，亮度的比根据距离而变化。由于图2所示的辐射特性是已知的，因此基于该辐射特性，能够实现精度高的距离的检测或推定。

[0069] 图6虽然是辐射角θ为45度时的距离与亮度比的关系的一例，但对于不同的多个角度，同样能够事先获得距离与亮度比的关系。对象物的角度能够基于由图像传感器取得的对象物的摄像位置来求出。

[0070] 从图6可知，在对象物与图像传感器的距离大致离开1以上的情况下，能够根据极值303与极值304的比来测量距离。

[0071] 对象物的亮度比的求法存在很多方法。最简单的方法是将图5所示的亮度的极大值303与其他极大值304之比直接作为亮度值的方法。即使极值303的坐标与极值304的坐标不一定一致，只要对象物的材质在对象区域内大致均匀，且局部的距离差很微小而忽视，则作为距离计算的亮度比能够将这些极值303、304之比作为亮度比来使用。

[0072] 此外，从抑制摄像中的光散粒噪声等噪声的观点出发，也可以将对图像上的对象物的区域内的亮度值进行积分而得到的值之比作为亮度比。

[0073] 进而，在考虑到被摄体的局部的材质差异的情况下，也可以使用例如非专利文献2所公开的照度差立体法等技术。虽然照度差立体法的计算量大，但通过假定局部的区域内的光量不变，或者假定物体为连续体，从而能够抑制计算量的增加。通过将作为运动传感器装置的目标的形状近似为例如用特定的方程式来表示的形状，也能够压缩运算量。

[0074] 在上述例子中，使用相对辐射强度根据辐射角而变化的光源。但是，该测定方法也能够使用不具有这种特性的光源。只要是发出平行光线的光源以外，则光强度在三维空间内会示出某些配光特性，因此这种光源也能够利用于距离测定。例如，配光为各向同性的“点光源”，由于对象物上的照度以及亮度与距光源的距离的平方呈反比地衰减，因此也可以说是在三维空间上具有不同的辐射模式的光源。

[0075] 接着，参照图7A以及图7B。这些图示出了对从图4A以及图4B所示的位置移动了的对象物104进行摄像的样态。只要能够进行高速的摄像以及距离的推定，则对于移动的对象物104，也能够通过前述方法来测定距离。通过反复进行光源102、103所进行的交替的照明和图像传感器101 所进行的摄像，能够检测移动的对象物104的位置。结果，能够探测对象物104的位置变化或运动。

[0076] 以上这种利用了2个图像中的对象物的亮度之比的单目式运动传感器装置存在因基于装置外部光源引起的背景光的影响而测量精度下降这一课题。

[0077] 图8是表示将单目式运动传感器装置放置于有户外光线的场所，并将人的手遮在测量范围内的状况的图。图8中作为测量对象物示出了人的手上的食指506、中指507、以及无名指508。入射到图像传感器101的光包含：来自光源102或103的反射光509；来自外部光源505的外部直射光 510；来自外部光源505的外部1次反射光511；和来自外部光源505的外部2次反射光512。

[0078] 外部直射光510、外部1次反射光511、以及外部2次反射光512是来源于光源102、103以外的光源505的光，因此称为“背景光”。在从图像传感器101输出的信号中，基于背景光的成分成为测量噪声。

[0079] 作为消除这种背景光的技术，例如有专利文献2所公开的技术。在专利文献2的技术中，与使光源发光而取得的测量用的图像分开地、在不进行来自光源的发光的状态下取得仅包含背景光成分的图像。通过从测量用的图像的亮度值中减去仅包含背景光成分的图像的亮度值，能够消除背景光的成分。

[0080] 图9是用于说明该背景光消除的效果的图。图9(a)示出了在图8的例子中，一边使光源103发光一边进行了拍摄的情况下所取得的图像的例子。该图像包含作为被摄体的手的像601、和作为外部光源的天花板的荧光灯照明的像602。

[0081] 图9(b)示出了在图8的例子中，使任意光源都不发光地进行了拍摄的情况下所取得的图像的例子。该图像也包含作为被摄体的手的像611、和作为外部光源的天花板的荧光灯照明的像612。在该图像中，由于不存在来自光源的发光，因此位于图像传感器附近的手的像611的亮度低于图 9(a)中的亮度。

[0082] 图9(c)示出了从图9(a)所示的图像中减去图9(b)所示的图像而得到的差分图像。在此，从某图像中减去其他图像意味着通过从某图像的各像素的亮度值中减去其他图像的对应的像素的亮度值来生成新的图像。在图9(c)所示的差分图像中，外部光源的像602被消除。

[0083] 外部光源的像602、612是相当于图8所示的外部直射光510的光的像。只要曝光时间等拍摄条件相同，则该像以几乎相同的亮度被拍摄。因此，在图9(c)所示的差分图像中，通过差分运算而使外部光源的像602 消失。

[0084] 图9(a)中的被摄体的像601主要包含来自光源103的反射光509的成分。除此之外，还包含若干来自外部光源505的外部1次反射光511以及外部2次反射光512的成分。相对于此，图9(b)中的被摄体的像611 仅包含外部1次反射光511以及外部2次反射光512的成分。因此，图9 (c)所示的差分图像中的被摄体的像621仅包含来自光源103的反射光509的成分。即，该差分图像为与在不存在外部光源505的环境中取得的图像等同的图像。

[0085] 通过这种方法，能够得到消除了背景光的影响的图像。但是，为此需要在使光源装置不发光的状态下额外进行图像帧的摄像。在运动传感器装置中，需要几乎不产生与测量用的图像之间的时间差地取得背景光图像。因此，需要使用能够额外地连续曝光1帧的高价的图像传感器。这引起成本的增加。此外，为了使光源装置不发光地取得的帧数据的读取传输而额外需要时间。因此，引起测量帧速率下降的问题。这导致作为运动传感器的规格下降。

[0086] 本申请发明者发现上述课题，并完成了本公开的技术。根据本公开的实施方式，不需要为了得到背景光图像而在光源熄灭了的状态下额外进行摄像。因此，能够不导致装置的成本增加、规格下降地，从图像中消除背景光。

[0087] 在运动传感器的通常的使用方式中，不会在图像传感器与检测对象物之间放置障碍物或其他光源。因此，可能成为背景光的主要是墙壁或者天花板的照明、或者来自屋外的太阳的外部光。背景光会成为问题的仅限于如图8所示从图像传感器101来看在对象物508～506的另一侧存在外部光源505的情况。

[0088] 图8所示的外部1次反射光511以及外部2次反射光512的强度与来自光源102、103的光509的强度相比充分小。其理由在于，光源102、103 的发光虽然时间短但是强度充分强，即使是通过对象物进行了扩散反射之后的反射光509，也具有与外部直射光510相当的强度。经过了1次扩散反射的外部1次反射光511、以及经过了2次扩散反射的外部2次反射光 512的强度，与来自光源102、103的反射光509以及外部直射光510的强度相比充分弱。

[0089] 另外，外部1次反射光511虽然与外部2次反射光512相比反射次数少，但强度与外部2次反射光512同样低。这是因为，根据外部光源与对象物的配置关系，外部1次反射光511是以浅的角度入射到对象物而被对象物反射的光。若考虑根据兰伯特的余弦定律而被广泛知晓的扩散反射的模式，则像这样以浅的角度被反射的光的强度非常弱。

[0090] 根据以上内容，本公开的实施方式所涉及的运动传感器装置并非如专利文献2那样完全消除背景光成分，而是仅消除来自外部光源的直射光的成分。由此，能够不导致成本增加、规格下降地消除背景光的成分。

[0091] 以下，对基于上述研究的本公开的具体的实施方式进行说明。

[0092] (实施方式1)

[0093] 首先，对第1实施方式所涉及的运动传感器装置进行说明。

[0094] 图10是示意性地表示具备图像传感器701、2个光源(第1光源702 以及第2光源703)、和对它们进行控制的控制部710的运动传感器装置的构成的图。图像传感器701以及光源702、703搭载在基板700上。在图10中还描绘了外部光源706以及对象物705。在图10所示的例子中，外部光源706为太阳，但如上所述，外部光源706也可以为荧光灯等其他光源。

[0095] 控制部710除了执行通过上述的2次连续曝光而产生的2个图像帧的摄像控制之外，还执行从取得的2个图像中消除背景光的成分的处理、以及基于消除了背景光的成分的2个图像的距离计算处理。控制部710，作为用于执行这些处理的功能块，具有差分作成部
711、屏蔽处理部712、和距离计算部713。控制部701的一部分或全部既可以安装在基板700上，也可以安装在其他基板上。此外，控制部710的功能的一部分也可以由置于分离的位置的电子装置来实现。

[0096] 图11是表示该运动传感器装置中的光源和图像传感器的控制定时的时间图。图11所示的期间802、803分别相当于光源702、703点亮的期间。第1曝光期间805以及第2曝光期间806分别对应于图像传感器701 所进行的第1帧以及第2帧的摄像。在图11所示的时间图中，光源702、 703依次点亮，但点亮的顺序是任意的。

[0097] 通常的图像传感器通过1次曝光来进行1帧的摄像，将所获得的图像数据读取到外部之后进行下一帧的摄像。即，按照每1帧来执行图像数据的读取动作。若基于这种图像传感器，则在第n帧(n为整数)的曝光结束之后、到开始第n+1帧的曝光为止的期间，需要用于对通过第n帧的摄像而获得的全部电荷进行传输来输出到外部的动作的时间。

[0098] 但是，在本实施方式中，如图11所示，在第1曝光期间805之后，立即开始第2曝光期间806。在第1曝光期间805进行第1帧的摄像而产生的各像素的电荷在第2曝光期间806开始之前转移到存储部，并积存在该存储部中。然后，积存在存储部中的电荷以及在第2曝光期间806产生的电荷的信号在期间Tt被读出，并被输出到外部。

[0099] 在本实施方式中，将第1～第2曝光期间的各长度设为“Te”时，以由与“2×Te+Tt”相等的长度Tf的倒数(1/Tf)决定的速率，读出2幅帧图像的数据。

[0100] 时间Tt虽然也取决于像素数，但考虑数据传输速率，例如可以设定为20毫秒程度的大小。另一方面，时间Te可以设定为1毫秒以下的短期间、例如25微秒。只要在短期间内连续地执行2幅帧的摄像，则即使在对象物如人的指尖那样高速地移动的情况下，也能够进行距离测量。例如在2×Te为50微秒的情况下，即使对象物以1米/秒的速度移动，在第1～第2摄像中对象物也仅移动0.050毫米。另一方面，若以通常的帧速率(例如60帧/秒)进行摄像，则对象物会移动50毫米。即便假设进行1000 帧/秒的高速度拍摄，对象物也会移动3毫米。在本实施方式中，能够将从第1帧的开始时间点到第2帧的结束时间点的期间缩短至例如2毫秒以下，因此作为运动传感器装置在各种用途中都很实用。

[0101] 在本实施方式的构成中，能够基于通过第1以及第2帧的摄像而取得的2幅图像来算出到对象物的距离。在充分短的时间内在强发光条件下拍摄的帧的亮度，大致与反射光的强度成比例。在此，将映现于第1帧的对象物的亮度称为“第1亮度”、将映现于第2帧的对象物的亮度称为“第 2亮度”。各亮度根据由对象物与各光源的位置关系规定的角度以及距离而决定。如前所述，根据这些亮度之比能够推定对象物的距离。

[0102] 在本实施方式中，通过使用能够连续地进行2帧的摄像的、略微高价的图像传感器，能够检测出到高速移动的对象物的距离、或者对象物的三维的运动。在预计作为测量对象的物体的移动速度充分低的情况下，也可以使用通常的1帧曝光的图像传感器。

[0103] 此外，也可以采用图12所示的构成。图12所示的运动传感器装置具备透镜901、2个图像传感器902、903、和半透明反射镜904。图像传感器902、903是能够实现通常的1帧曝光的图像传感器。半透明反射镜904 使入射光的约50％透过，并反射约50％。即使为这种构成，也能够实现多个帧的连续曝光。

[0104] 接着，再次参照图10，更详细地说明本实施方式所涉及的运动传感器装置的构成以及动作。

[0105] 光源702、703构成为射出同等程度的强度的光。光源702、703不限于使用发出可见光的光源，也可以使用发出近红外线等不可见光的光源。光源702、703例如是LED光源，但不限定于此。只要是点光源等在强度分布上三维地存在偏重的光源则任何光源都可以利用。也可以利用激光光源。激光光源为了射出平行光，光强度不会三维地改变，但通过与扩散板进行组合来变换为散射光从而能够利用。也可以对多个发光器件进行组合来作为1个光源装置。

[0106] 图像传感器701具有以像素为单位暂时积存电荷的存储部。因此，无需等待通过第n帧的摄像而获得的图像数据的读取就能够进行第n+1帧的摄像。只要增加图像传感器701内的存储部，则还能够实现3帧以上的连续的曝光。作为图像传感器701，也可以为能够按偶数/奇数行分别进行曝光的特殊传感器。图像传感器701典型的是CMOS图像传感器或CCD 图像传感器，但不限定于此。

[0107] 控制部710可以通过CPU或其他半导体集成电路、或者它们的组合来构成。控制部710对图像传感器701以及光源702、703进行控制，使得在第1时间一边使第1光源702发光一边由图像传感器701进行第1帧的摄像，在第2时间一边使第2光源703发光一边由图像传感器701进行第2帧的摄像。控制部710进而针对第1以及第2图像执行屏蔽处理，该屏蔽处理是基于通过第1帧的摄像而取得的第1图像、和通过第2帧的摄像而取得的第2图像之差的处理。然后，基于屏蔽处理后的第1以及第2 图像，生成到对象物705的距离信息。

[0108] 本实施方式中的屏蔽处理是从第1以及第2图像中消除如下区域的处理：第1图像中的像素的亮度值和与该像素对应的第2图像中的像素的亮度值的差分(绝对值)小于阈值的区域。在此，从某图像中“消除”某区域意味着将该区域的亮度值变更为更接近0的值。被消除的区域的像素的亮度值典型地变更为0，但也可以变更为接近0的其他值。2个亮度值的差分小于阈值的情况，包含2个亮度值之比与1的差分小于阈值的情况。

[0109] 作为用于执行这种处理的要素，控制部710具有：生成2个图像的差分图像的差分作成部711；执行屏蔽处理的屏蔽处理部712；和基于屏蔽处理后的第1以及第2图像，生成到对象物705的距离信息的距离计算部 713。这些功能块可以通过构成控制部710的电路的一部分、或者执行规定了本实施方式的处理的计算机程序的CPU来实现。

[0110] 接着，参照图13，更详细地说明控制部710的动作。图13是表示控制部710的动作的流程图。

[0111] 控制部710首先在图像传感器701的第1曝光期间，通过一边使光源 702发光一边进行第1图像帧的摄像来取得第1图像(步骤S101)。接下来，在图像传感器701的第2曝光期间，通过一边使光源703发光一边进行第2图像帧的摄像来取得第2图像(步骤S102)。

[0112] 在这2个图像中，外部光源706的像具有同等程度的亮度等级。相对于此，被摄体705的像，在离被摄体705的物理距离近的光源703发光的状态下取得的第2图像中具有更高的亮度。

[0113] 第1图像帧以及第2图像帧在曝光完成后进行读取传输，并被发送到差分作成部711和屏蔽处理部712。此时，只要进行读取控制，使得第1 图像帧和第2图像帧中对应的像素彼此在接近的定时被读出，则在此后的各处理部中能够削减帧存储器等存储部。

[0114] 差分作成部711生成第1图像与第2图像的差分数据(步骤S103)。更具体来说，计算第1图像中的各像素的亮度值和与该像素对应的第2图像中的像素的亮度值之差的绝对值，并生成将其结果与像素的位置信息建立了关联的差分数据。差分作成部711将差分数据发送到屏蔽处理部712。

[0115] 屏蔽处理部712基于从差分作成部711发送来的差分数据，生成对差分超过了给定阈值的区域和未超过给定阈值的区域进行区分的屏蔽信息 (步骤S104)。屏蔽信息例如可以为将像素的位置与表示该像素的亮度值的差分是否超过了阈值的数值(例如0或1)建立了关联的信息。屏蔽信息的数据形式不限定于特定的数据形式。屏蔽信息也可以不是每个像素的信息，而是每个由多个接近的像素构成的区域的信息。例如，也可以为按照每个由多个像素构成的像素块，表示亮度值的差分的平均值是否超过了阈值的信息。

[0116] 屏蔽处理部712基于生成的屏蔽信息，对第1以及第2图像执行屏蔽处理(步骤S105)。在屏蔽信息中，差分未超过阈值的区域可以视为无差分。因此，屏蔽处理部712为了忽视差分未超过阈值的区域的亮度值，而将第1以及第2图像中的相应的像素的亮度值置换为0等低的值。在本说明书中，将这种处理称作“屏蔽处理”。屏蔽处理部712将屏蔽处理后的第1以及第2图像分别作为第1屏蔽完成图像以及第2屏蔽完成图像发送到距离计算部713。

[0117] 距离计算部713基于发送来的第1屏蔽完成图像以及第2屏蔽完成图像，计算到对象物的距离(步骤S106)。具体来说，从第1以及第2屏蔽完成图像中，搜索存在对象物的像的区域，并根据该区域中的亮度比换算为距离信息来作为3D运动信息而输出。用于根据亮度比来换算为距离信息的数据，预先记录在未图示的存储器等记录介质中。该数据可以为表或函数的形式。

[0118] 通过以上的动作，只要将运动感测的对象区域限定为通过来自2个光源702、703的出射光而产生亮度差分的区域，则能够实现降低了背景光的影响的良好的运动传感器。

[0119] 另外，在本实施方式中，第1光源702和第2光源703配置于离图像传感器701等距离的位置，但不限定于这种配置。例如，也可以将第2光源703配置于比第1光源702更接近图像传感器701的位置。此外，图像传感器701、第1光源702、第2光源703无需排列为一条直线，也可以将它们的一部分配置于从直线上偏离了的位置。像这样，光源702、703 也可以相对于图像传感器701非对称地配置。进而，2个光源702、703 的发光输出无需相同，也可以不同。

[0120] (实施方式2)

[0121] 接着，对本公开的第2实施方式进行说明。

[0122] 在实施方式1中，在被摄体位于某种程度以上的远处的情况下，由于来自多个光源的反射光的亮度差并不足够大，因此因光散粒噪声、暗电流所引起的噪声等噪声成分而存在无法检测亮度差的可能性。结果，存在无法实现充分的屏蔽分离处理的课题。在本实施方式中，通过改变2个光源的发光输出，对低输出的光源发光的期间所取得的图像的亮度等级进行放大，来解决该课题。

[0123] 图14是表示本实施方式中的运动传感器装置的简要构成的图。在图 14中，对与图10相同的构成要素采用相同的标号，并省略说明。本实施方式中的控制部810具有对屏蔽处理后的第2图像的亮度等级进行放大的放大部814。

[0124] 以下，参照图15对本实施方式中的控制部810的动作进行说明。图 15是表示本实施方式中的控制部810所进行的动作的流程图。

[0125] 控制部810首先在图像传感器701的第1曝光定时，一边使光源702 发光一边进行第1图像帧的摄像，由此取得第1图像(步骤S201)。接着，在图像传感器701的第2曝光定时，一边使光源702发光一边进行第2图像帧的摄像，由此取得第2图像(步骤S202)。此时使光源703的发光输出低于光源702的发光输出。

[0126] 在本说明书中，“发光输出”意味着图像传感器701的1次曝光时间中的发光能量的总量。发光输出也可以称作“发光量”。低发光输出可以通过例如缩短曝光时间中的发光的期间，或者变更为发光功率(瓦数)小的发光器件来实现。

[0127] 在2个图像帧中，外部光源706的像以相同的亮度等级被拍摄。另一方面，对于对象物705的像而言，根据光源702、703的输出差，第2图像帧以较低的亮度被拍摄。结果，在第1图像帧和第2图像帧中对象物705 的像的亮度产生差别。

[0128] 第1图像帧和第2图像帧，在曝光完成后，进行读取传输，并被送往差分作成部711以及屏蔽处理部712。

[0129] 图16是用于说明本实施方式中的屏蔽处理的图。图16(a)示出了通过第1图像帧的摄像而取得的第1图像的例子。图16(b)示出了通过第 2图像帧的摄像而取得的第2图像的例子。图16(c)示出了屏蔽处理后的第1图像的例子。图16(a)、(b)中的对象物的像1001、1011是人手的像。图14中的对象物705对应于该手的中指的前端部。利用相对较低的输出的光源703拍摄到的对象物的像1011以比像1001小的亮度被拍摄。图16(a)、(b)中的像1002、
1012是2根直管荧光灯的像。像1002、 1012对应于图14中的外部光源706。像1002、1012的亮度等级为同等程度。

[0130] 差分作成部711生成第1图像与第2图像的差分数据(步骤S203)。差分数据被送往屏蔽处理部712。

[0131] 屏蔽处理部712基于从差分作成部711发送来的差分数据，生成屏蔽信息(步骤S204)。图16(c)是用图像表示了屏蔽信息的图。差分超过了给定阈值的区域用白色表示，未超过阈值的区域用黑色表示。屏蔽处理部712对第1图像以及第2图像利用屏蔽信息进行屏蔽处理(步骤S205)。即，为了忽视被判定为无差分的区域的亮度，而将相应的像素的亮度值置换为零等低的值。屏蔽处理部712将屏蔽处理后的第1图像作为第1屏蔽完成图像发送到距离计算部713。另一方面，屏蔽处理后的第2图像作为第2屏蔽完成图像发送到放大部814。

[0132] 放大部814根据光源702与光源703的输出比对第2屏蔽完成图像的亮度等级进行放大(步骤S206)。在本说明书中，将像该放大处理这样根据2个光源的发光输出之差(包含比)来校正亮度的处理称作“亮度校正处理”。放大部814将亮度校正处理后的第2图像发送到距离计算部713。

[0133] 通过亮度校正处理，距离计算部713能够获得与光源702和光源703 以相同的输出而发光的情况同等的2幅图像。距离计算部713基于屏蔽处理后的第1图像和亮度校正处理后的第2图像，算出到对象物的距离(步骤S207)。

[0134] 根据以上的构成，在比实施方式1更广的范围内，降低背景光的影响，能够实现良好的运动传感器。

[0135] 另外，在本实施方式中，仅通过放大部814进行了第2图像的亮度等级的放大，但通过降低第1图像的亮度等级，或者调整第1以及第2图像双方的亮度等级也能够获得同等的效果。即，通过使屏蔽处理后的第1以及第2图像的至少一方执行与第1以及第2光源的发光输出的差相应的亮度校正处理，能够获得与本实施方式同样的效果。

[0136] 此外，只要结果能够获得与进行了亮度校正处理同样的效果，则也可以利用其他方法来获得距离信息。例如，通过根据多个光源的输出比来校正用于根据亮度比来换算距离的表或函数的方法也能够获得同等的结果。在本实施方式中，在屏蔽处理后进行亮度校正，使得用于求出距离的亮度比成为适当的值是很重要的。只要是能够获得与进行了这种亮度校正的情况等价的结果的方法，则可以视为进行了亮度校正。

[0137] 在本实施方式中，为了简单，对具有2个光源的运动传感器装置进行了说明。但是，实际上图17所示那样的具有3个光源的构成尤其有效。

[0138] 图17是表示具有3个光源702、703、704的运动传感器装置的构成例的图。图像传感器701、第1光源702、第2光源703与图14所示的相同。第3光源704以与第1光源702同等程度的发光输出而发光。在该例中，第2光源703配置于比第1光源701以及第3光源704更接近图像传感器701的位置。这样，光源702、703、704相对于图像传感器701非对称地配置。另外，虽然在图17中已省略，但实际上图14所示的控制部810 与图像传感器701以及光源702、703、704连接。

[0139] 在本例中，控制部810利用一边使第2光源703发光一边取得的第2 图像帧、和一边使第3光源704发光一边取得的第3图像帧，能够进行与上述处理同样的处理。即，控制部810在进行第1以及第2帧的摄像之后，在第3曝光时间一边使第3光源704发光一边用图像传感器701进行第3 帧的摄像。然后，针对第2以及第3图像执行基于通过第2帧的摄像而取得的第2图像、和通过第3帧的摄像而取得的第3图像之差的屏蔽处理。进而，对屏蔽处理后的第2以及第3图像的至少一方执行与第2以及第3 光源的发光输出之差相应的亮度校正处理。由此，基于根据亮度校正处理后的第2以及第3图像而获得的对象物的亮度比，能够生成到对象物的距离信息。

[0140] 在本构成例中，对于图17中位于比中心更靠右侧的区域的对象物，使用来自第1光源702的光与来自第2光源703的光的亮度比，这在唯一地算出距离方面较为合适。对于此时的亮度而言，来源于第2光源703的亮度相对较强。另一方面，对于图17中位于比中心更靠左侧的区域的对象物，使用来自第2光源703的光与来自第3光源704的光的亮度比，这在唯一地算出距离方面较为合适。对于此时的亮度而言，来源于光源703 的亮度相对较强。

[0141] 若考虑到这一点，则使如图17所示的第2光源703那样、在物理上接近图像传感器701的光源的输出比其他光源的输出弱，这作为系统整体较为适合。原因在于，在求取亮度比时进行的除法运算中，除法结果的有效精度取决于除数与被除数之中低精度的一方。通过摄像而取得的图像的各像素的亮度值的精度虽然受到光散粒噪声的制约，但光散粒噪声与亮度的平方根成比例。因此，使除数与被除数的精度一致，能够以更少的发光功率得到同等的精度。

[0142] (实施方式3)

[0143] 接着，对本公开的第3实施方式进行说明。

[0144] 在实施方式2中，在远处等、简单来说不易产生来自多个光源的亮度差的区域，使得能够屏蔽背景光区域。但是，留有无法实现在近距离处因距离或角度而导致亮度差下降的区域的检测的课题。本实施方式解决该课题。

[0145] 图18是表示在实施方式2的具有3个光源的构成中，不产生亮度差的情况的例子的图。光源703与光源702、704相比，以低输出而发光。在图18这样的位置关系中，虽然来自光源703的光的强度低于来自光源 702、704的光的强度，但由于对象物705在物理上接近光源703，因此存在对象物的特定部分的亮度在3个图像中成为同等程度的情况。结果，从这3个图像中选择的2个图像中的亮度比接近0，无法与外部光源的亮度区分。若在该状态下执行实施方式2的屏蔽处理，则产生如下课题：即使是应测量距离的对象物的区域，也会被屏蔽而从测量处理中被除去。

[0146] 图19(a)是表示实际利用实施方式2的装置对位于近距离处的手的图像进行了处理时所生成的屏蔽图像的图。可知原本为对象物的手指的中央部被多余地屏蔽。此时，引起如下课题：原本为1根的手指，由于区域被分断而被识别为不同的对象物，即，被识别为手指有2根。

[0147] 根据本实施方式，能够解决该问题。

[0148] 首先，根据位置关系而在来自光源的反射光的强度中产生较大差异的，情况仅限于对象物比较接近图像传感器701或光源702～704的情况。关于这种近距离的对象物，存在如下特性：在摄像得到的对象物的像的区域内较大地产生基于光源的亮度差。

[0149] 图20是表示对图18所示的位于运动传感器装置的近距离处的手指进行了拍摄的情况下所取得的图像中的特定的水平线的亮度的曲线图。图20 中示出了光源703发光时所拍摄的图像中的亮度1201、光源704发光时所拍摄的图像中的亮度1202、以及亮度1201与亮度1202的差分1203。图中的区域1204是对象物所位于的区域，区域1205是外部光源所位于的区域。

[0150] 在外部光源所位于的外部光源区域1205中，对于亮度1201以及亮度 1202双方，存在亮度等级的高点。但是，这些高点在2个图像中处于相同的亮度等级，因此在亮度差分1203中几乎不出现。

[0151] 在存在对象物的对象物区域1204中，存在亮度差分1203取正值的区域和取负值的区域。在这些区域的边界，亮度等级成为0。在该点的附近，对象物与外部光源无法区分。尤其是，对于具有平坦部较多的形状的对象物而言，亮度等级接近0的区域大范围出现，判定更加困难。

[0152] 若着眼于对象物区域1204整体，则在区域的左端亮度1201高，亮度差分1203示出正值。在区域的右端亮度1202高，亮度差分1203示出负值。因此，本实施方式的控制部，在亮度差分1203中，对包括取极大值的位置在内的取给定值以上的正值的区域、和出现在其右侧的包括取极小值的位置在内的取其他给定值以下的负值的区域进行配对。然后，在该配对后的区域间，即使亮度差分1203为零附近的值也推定为对象物区域来进行处理。在本说明书中，将像这样推定为对象物区域的区域称作“推定对象物区域”。

[0153] 图19(b)示出了施加了这种处理的情况下的屏蔽图像。可知避免了同一手指的分断。虽然作为外形信息也能够看到略微不完整的部分，但作为实际的动作在以手指等为单位来对区域进行划分方面没有问题。由于能够无问题地确保用于计算各区域的亮度比的主要区域，因此确认了作为运动传感器的识别动作能够无问题地进行。

[0154] 接着，对进行上述处理的运动传感器装置的构成进行说明。

[0155] 图21是表示本实施方式中的运动传感器装置的构成的图。在此，为了简单，采用具有2个光源702、703的构成，但如上所述，也可以扩展为3个光源。在图21中，对与图14相同的构成要素采用相同的标号，并省略说明。本实施方式中的控制部910，除了具有实施方式2中的构成要素之外，还具有极大值搜索部1401、极小值搜索部1402、配对部(pairing unit)1403、和屏蔽减法部1404。

[0156] 以下，参照图22，对本实施方式中的控制部910的动作进行说明。图 22是表示本实施方式中的控制部910的动作的流程图。

[0157] 控制部910首先在图像传感器701的第1曝光定时，一边使光源702 发光一边进行第1图像帧的摄像，由此取得第1图像(步骤S301)。接着，在图像传感器701的第2曝光定时，一边使光源703发光一边进行第2图像帧的摄像，由此取得第2图像(步骤S302)。此时，使光源703的发光输出低于光源702的发光输出。低的发光输出能够通过例如缩短曝光时间中的发光的期间，或者变更为发光功率(瓦数)小的发光器件来实现。

[0158] 在2个图像帧中，外部光源706的像以相同的亮度等级被拍摄。另一方面，对于对象物705的像而言，根据光源702、703的输出差，第2图像帧以较低的亮度被拍摄。结果，在第1图像帧和第2图像帧中，对象物 705的像的亮度产生差异。

[0159] 第1图像帧和第2图像帧，在曝光完成后，进行读取传输，并被送往差分作成部711以及屏蔽处理部712。

[0160] 差分作成部711生成第1图像与第2图像的差分数据(步骤S303)。差分数据被送往极大值搜索部1401、极小值搜索部1402、以及屏蔽处理部712。

[0161] 极大值搜索部1401从差分数据中提取包括取极大值的位置在内的第 1值以上的区域，将该区域的坐标信息作为极大值坐标信息输出到配对部 1403(步骤S304)。极小值搜索部1402从差分数据中提取包括取极小值的位置在内的第2值以下的区域，将该区域的坐标信息作为极小值坐标信息输出到配对部1403(步骤S305)。在此，第1值可以是接近0的正值，第2值可以是接近0的负值。

[0162] 配对部1403根据提取出的包含极大值的区域、和包含极小值的区域，决定作为屏蔽对象外的区域(步骤S306)。具体来说，分别根据极大值坐标信息所包含的坐标以及极小值坐标信息所包含的坐标来决定成对的坐标，将这些坐标之间的推定对象物区域的坐标信息送出到屏蔽减法部1404。此时，将不存在对应的对的极大值坐标信息以及极小值坐标信息废弃。

[0163] 屏蔽减法部1404基于从差分作成部711发送来的差分数据以及从配对部1403发送来的表示屏蔽对象外的区域的坐标信息，生成屏蔽信息(步骤S307)。更具体来说，生成在差分数据中具有小于给定阈值的值的区域之中、将属于屏蔽对象外的区域除去后的区域的屏蔽信息，并送出到屏蔽处理部712。

[0164] 屏蔽处理部712利用从屏蔽减法部1404送来的屏蔽信息，对第1以及第2图像进行屏蔽处理(步骤S308)。即，为了忽视被判定为无差分的区域的亮度，而将相应的像素的亮度值置换为零等低的值。屏蔽处理部712 将屏蔽处理后的第1图像作为第1屏蔽完成图像发送到距离计算部713。另一方面，屏蔽处理后的第2图像作为第2屏蔽完成图像发送到放大部814。

[0165] 放大部814根据光源702与光源703的输出比对第2屏蔽完成图像的亮度等级进行放大(步骤S309)。放大部814将亮度校正处理后的第2 图像发送到距离计算部713。

[0166] 距离计算部713基于屏蔽处理后的第1图像、和亮度校正处理后的第 2图像，算出到对象物的距离(步骤S310)。

[0167] 通过以上处理，能够增大来自远处的对象物的反射光的亮度差，同时能够救济在对象物存在于运动传感器装置附近的情况下产生的不产生亮度差的区域所引起的误检测。

[0168] 另外，通过实现本实施方式的背景光消除功能自身的开启/关闭(ON /OFF)、屏蔽作成时或极值搜索时的阈值的动态变更，能够进一步提高性能。例如，在对象物非常近，且存在强反射光的情况下，需要缩短图像传感器的曝光时间，并降低模拟增益值。此时，由于外部光源的映入等级下降，因此即便使背景光消除功能起作用也只不过是浪费电力。

[0169] 这种情况可以通过各种各样的方法来探测。一个方法是使用图像传感器的自动曝光控制(曝光时间以及光圈的设定值的控制)、自动对焦、自动增益控制的结果的方法。根据这些结果可以获知摄像亮度的等级、到对象物的距离。基于这些信息的至少1个，能够实现背景光消除功能的开启 /关闭、阈值的变更。

[0170] 另一个方法是使用运动传感器所具有的被摄体距离测量的功能的方法。基于根据亮度比而求出的被摄体距离或尺寸能够进行来自被摄体的反射光的强度推定。在计算亮度比时，在采用了照度差立体法的情况下，还能够获得物体的反射率等的材质信息。因此，只要使用这些信息，就能够实现更高精度的来自被摄体的反射光的强度推定。基于这些信息，能够实现背景光消除功能的开启/关闭、阈值的变更。

[0171] 像这样，本公开的运动传感器装置的控制部，也可以基于第1光源702 的发光输出、第2光源703的发光输出、图像传感器701的曝光时间、图像传感器701的增益、图像传感器701的焦点状态、以及光圈的设定值中的至少1个，来改变屏蔽处理的有无或者在屏蔽处理的计算中使用的系数 (阈值)。此外，控制部也可以基于对象物的距离信息、尺寸信息、以及材质信息中的至少1个，来改变屏蔽处理的有无或者在屏蔽处理中使用的系数。

[0172] (实施方式4)

[0173] 在构成实施方式3中的装置的方法中，例如有利用诺依曼(Neumann) 型CPU等通过前述的实施方式所示的步骤来实施处理的方法。但是，诺依曼型CPU在使用于图像处理的情况下，电力效率低。进而，由于在实施方式3中的配对那样的处理中需要从图像的左右起的扫描，因此存在执行时间取决于数据而变动的课题。

[0174] 本实施方式涉及解决这些课题的电路发明。本实施方式的电路是能够主要通过FPGA(Field Programmable Gate Array，现场可编程门阵列) 等的可重构逻辑来实现的实际的集成电路。在本实施方式这种能够通过可重构逻辑来执行动作的集成电路中，有在电源接通时将保存在闪存等记录介质中的电路信息读入来执行动作的集成电路。

[0175] 图23是本实施方式中的电路构成图。该电路具备：照相机输入部1501 (CAMERA-IN)，其用于进行照相机信号的输入；差分作成部1502 (SUB)，其取得从照相机输入的2种图像的差分；极大值搜索部1503 (CMP_L)，其具备从图像的1行之中对被摄体的左边缘、即差分信号是否为某阈值以上进行判定的比较器；极小值搜索部1504(CMP_R)，其具备从图像的1行之中对被摄体的右边缘、即差分信号是否为某阈值以下进行判定的比较器；以及屏蔽生成部1505(CMP_ABS)，其具备对亮度差的绝对值是否为某阈值以下进行判定的比较器。进而，还具备：计数器部1515(COUNTER)，其对行内的像素数进行计数；控制部1506 (CONTROL)；触发器1507(MASK_FF)，其作为具备图像的1行的像素数以上的触发器的屏蔽信息记录部；触发器1508(PAIR_FF)，其作为具备用于暂时对极大值和极小值的配对区域进行保持的图像的1行的像素数以上的触发器的配对信息记录部；屏蔽减法部1509(AND)，其取得保存在触发器1507中的屏蔽信息与保存在触发器1508中的配对信息的“与”来部分去除屏蔽区域；行存储器1511和1512(LINE_RAM)，其在屏蔽完成为止的期间，保持1行的图像；以及屏蔽处理部1513和1514 (MASK)，其对图像数据和屏蔽数据进行组合，将屏蔽区域的值设为0，将除此以外的区域的值直接输出。

[0176] 接下来，对本实施方式的电路动作进行说明。

[0177] 在照相机中以不同的发光条件被曝光而取得的2种图像，从照相机输入部1501同时被取入电路内。这些图像按照每1行保存在行存储器1511、 1512中，并且被发送到差分作成部1502。差分作成部1502求出2个信号之差并输出。极大值搜索部1503判定从差分作成部1502发送来的差分是否为预先准备的一定的阈值以上。若为阈值以上则判定为被摄体的左边缘，将该结果发送到控制部1506。极小值搜索部1504判定从差分作成部1502 发送来的差分是否为预先准备的一定的阈值以下。若为阈值以下则判定为被摄体的右边缘，将该结果发送到控制部1506。

[0178] 计数器部1515是由照相机输入部1501的水平同步信号而复位，并由像素时钟而递增的计数器。计数器部1515的值表示图像行中的当前的读取像素位置。该值作为地址信息被发送到作为屏蔽信息记录部的触发器 1507和作为配对信息记录部的触发器1508。

[0179] 屏蔽生成部1505判定从差分作成部1502发送来的差分的绝对值是否为预先准备的一定的阈值以上。若小于阈值则判定为应屏蔽的区域(非被摄体区域)，对作为屏蔽信息记录部的触发器1507中的、从计数器部1515 发送来的地址位置的触发器进行置位(set)。

[0180] 控制部1506接受照相机输入部1501的水平同步信号，对作为屏蔽信息记录部的触发器1507的所有触发器进行复位(reset)。自己成为第1 动作状态，进行待机直到从极大值搜索部1503发来左边缘信息为止。

[0181] 控制部1506在从极大值搜索部1503发来左边缘信息的情况下，对作为配对信息记录部的触发器1508的所有触发器进行置位之后，过渡到第2 动作状态。

[0182] 控制部1506在第2动作状态中，对作为配对信息记录部的触发器1508 中的、从计数器部1515发送来的地址位置的触发器进行复位。

[0183] 控制部1506在第2动作状态时从极小值搜索部1504发送来了右边缘信息的情况下，将此时的作为配对信息记录部的触发器1508被复位的区域作为配对区域。然后，利用屏蔽减法部1509，对触发器1507应用触发器1508的“与”，将配对区域的屏蔽解除。接着，自己过渡到第1动作状态，再次进行待机直到从极大值搜索部1503发来左边缘信息为止。

[0184] 将该操作持续进行到1行的结束为止，之后分别通过屏蔽处理部1513 和1514对储存在行存储器1511和1512中的图像数据进行处理。这些图像数据基于作为屏蔽信息记录部的触发器1507的状态将屏蔽部分的像素的亮度值变更为接近0的值，从而作为进行了背景光区域的消除的图像而输出。

[0185] 通过构成以上的电路，能够实现不取决于数据的内容、在所有的情况下都能够以相同时间完成处理的背景光消除电路。

[0186] 另外，极大值搜索部1503所搜索的极大值和极小值搜索部1504所搜索的极小值取决于所处理的信号的符号，按照信号的定义也存在相反的情况。

[0187] (其他实施方式)

[0188] 以上，作为本公开的技术的例示，对实施方式1～4进行了说明。但是，本公开的技术不限定于这些实施方式。以下，对其他实施方式进行例不。

[0189] 图24示出了搭载了实施方式1所涉及的运动传感器装置的显示器 1001。该显示器1001搭载有2个光源702、703。因此，能够朝向显示器 1001进行手势输入。图24中为了参考而示意性地示出了进行手势输入的手。图示的手正在向箭头的方向移动。在图24所示的显示器中，能够以高灵敏度探测这种手的动作来进行手势输入。

[0190] 只要将本实施方式所涉及的运动传感器装置利用于显示器等，则也可以用于通过手势输入进行的频道切换等的用户接口。此外，也可以应用于对人的各部分的动作进行了识别的跳舞游戏等。

[0191] 在图24的显示器中，也可以装入实施方式2等其他实施方式所涉及的运动传感器装置。这样，本公开包含一种电子装置，其具备上述任一实施方式所涉及的运动传感器装置、和响应于由该运动传感器装置检测出的对象物的运动而使显示内容变化的显示器。

[0192] 根据本公开的运动传感器装置的各实施方式，能够消除距离测量的对象物以外的背景光的影响，实现更高精度的检测。根据本公开，能够提供一种寻求实时的检测的3D运动传感器装置。

[0193] 另外，本公开的运动传感器装置的至少一部分的功能也可以通过经由有线或无线的网络而连接的其他装置来实现。

[0194] 在以上的实施方式中，作为获得到对象物的距离信息的方法，说明了基于多个图像中的该对象物的亮度之比的方法。但是，也可以不基于亮度比，而是像例如美国专利申请公开第2013/0182077号说明书所公开的那样，基于像的轮廓信息来获得到对象物的距离信息。将美国专利申请公开第2013/0182077号说明书的公开内容整体援引于本申请说明书。

[0195] 工业实用性

[0196] 本公开的运动传感器装置的实施方式具有能够实时地测量物体的三维位置的功能。因此，在显示装置等各种电气产品的非接触手势用户接口的用途中很有用。也可以作为车载设备而应用于搭乘者的状态、车外的人物或障碍物的探测。也可以应用于摄像机的自动对焦等的用途。

[0197] 标号说明

[0198] 100、700     基板

[0199] 101、701    图像传感器

[0200] 102、103、702、703、704    光源装置

[0201] 104、506、507、508、705    对象物

[0202] 301、302、1201、1202    亮度

[0203] 303、304    亮度的极大值

[0204] 505、706   外部光源

[0205] 509    来自光源装置的反射光

[0206] 510    外部直射光

[0207] 511    外部1次反射光

[0208] 512    外部2次反射光

[0209] 601、611、621、1001、1011    对象物的像

[0210] 602、612、1002、1012  外部光源的像

[0211] 710、810、910     控制部

[0212] 711、1502     差分作成部

[0213] 712、1513、1514  屏蔽处理部

[0214] 713    距离计算部

[0215] 814    放大部

[0216] 901   透镜

[0217] 902、903   摄像元件

[0218] 904   半透明反射镜

[0219] 1001  显示器

[0220] 1203  亮度差分

[0221] 1204  被摄体区域

[0222] 1205  外部光源区域

[0223] 1401、1503  极大值搜索部

[0224] 1402、1504  极小值搜索部

[0225] 1403  配对部

[0226] 1404、1509  屏蔽减法部

[0227] 1501  照相机输入部

[0228] 1505  屏蔽生成部

[0229] 1507  作为屏蔽信息记录部的触发器

[0230] 1508  作为配对信息记录部的触发器

[0231] 1511、1512  行存储器

[0232] 1515  计数器部