面部图像拍摄设备

摘要

一种用于车辆的面部图像拍摄设备将差值图像(px-py)输出到图像ECU(30)。当输出次数达到预定次数时，输出未从中去掉干扰光影响的亮面部图像(px)。从而，图像ECU能够根据该差值图像以及所输出的亮面部图像来判断车辆外部的环境(白天、黑夜等等)。

权利要求

1.一种用于车辆的面部图像拍摄设备，所述设备包括：

相机，用于重复拍摄面部图像，所述面部图像是所述车辆中的乘员的面部的图像；

投光灯，用于照亮所述乘员的面部；

投光灯控制装置，用于针对以下至少一项来控制所述投光灯，以便对照射到所述乘员的面部的光的照射状态进行调节：(i)在开启光和关闭光之间的切换，以及(ii)在开启光时的光量；

图像拍摄控制装置，用于与所述照射状态调节同步地控制拍摄所述面部图像的拍摄时间；

差值图像生成装置，用于生成表示亮面部图像与环境光面部图像之间亮度差的差值图像，其中，所述亮面部图像是所述相机在主要由所述投光灯的光进行照射的照射状态下拍摄的，所述环境光面部图像是所述相机在主要由环境光进行照射的照射状态下拍摄的；

图像输出装置，用于重复输出由所述差值图像生成装置所生成的所述差值图像，所述图像输出装置包括输出条件判断单元，其判断用于输出以下至少一个面部图像的条件是否满足：(i)所述亮面部图像，以及(ii)所述环境光面部图像，其中，当确定满足所述条件时，所述图像输出装置除了所述差值图像之外，还输出所述至少一个面部图像；以及困倦判断装置，用于基于：(a)由所述图像输出装置所输出的所述差值图像，以及

(b)由所述图像输出装置所输出的(i)所述亮面部图像和(ii)所述环境光面部图像中的所述至少一个面部图像，来判断所述乘员是否困倦。

2.如权利要求1所述的面部图像拍摄设备，其中，

所述输出条件判断装置在以下情况之一发生时确定所述条件满足：第一情况是达到了用于输出所述差值图像的时间点，第二情况是所述差值图像的输出次数达到一预定次数，第三情况是从要对其输入所述差值图像的输入装置发出了输出指令。

3.一种用于车辆的面部图像拍摄设备，所述设备包括：

相机，用于重复拍摄面部图像，所述面部图像是所述车辆中的乘员的面部的图像；

投光灯，用于照亮所述乘员的面部；

投光灯控制装置，用于针对以下至少一项来控制所述投光灯，以便对照射到所述乘员的面部的光的照射状态进行调节：(i)在开启光和关闭光之间的切换，以及(ii)在开启光时的光量；

图像拍摄控制装置，用于与所述照射状态调节同步地控制拍摄所述面部图像的拍摄时间；

差值图像生成装置，用于生成表示亮面部图像与环境光面部图像之间亮度差的差值图像，其中，所述亮面部图像是所述相机在主要由所述投光灯的光进行照射的照射状态下拍摄的，所述环境光面部图像是所述相机在主要由环境光进行照射的照射状态下拍摄的；

图像输出装置，用于重复输出由所述差值图像生成装置所生成的所述差值图像，所述图像输出装置包括输出条件判断单元，其判断用于输出以下至少一个面部图像中一面部图像的预定区域的亮度值的条件是否满足：(i)所述亮面部图像，以及(ii)所述环境光面部图像，其中，当确定满足所述条件时，所述图像输出装置除了所述差值图像之外，还输出所述亮度值；以及困倦判断装置，用于根据由所述图像输出装置所输出的(a)所述差值图像和(b)所述亮度值，判断所述乘员是否困倦。

4.如权利要求3所述的面部图像拍摄设备，其中，

所述至少一个面部图像中的所述面部图像的所述预定区域定义为是这样的图像区域：在该图像区域中，将所述乘员的面部拍摄为在所述至少一个面部图像中的图像。

5.如权利要求3或4所述的面部图像拍摄设备，其中，

所述输出条件判断装置在以下情况之一发生时确定所述条件满足：第一情况是达到了用于输出所述差值图像的时间点，第二情况是所述差值图像的输出次数达到一预定次数，第三情况是从要对其输入所述差值图像的输入装置发出了输出指令。

说明书

面部图像拍摄设备

技术领域

[0001] 本发明涉及一种面部图像拍摄设备，其适于拍摄车辆内驾驶者面部的图像。

背景技术

[0002] 已经提出了一种技术，用于提取不受干扰光影响的面部图像(例如，参考专利文献1)。根据在光源点亮的情况下拍摄的亮拍摄图像，以及在光源未点亮的情况下拍摄的暗拍摄图像，来获得差值图像。如果有人存在，则生成人的面部掩膜并去掉背景。由此从差值图像中提取了面部图像。

[0003] -专利文献1：JP 2007-25758A

[0004] 如果使用从中去掉干扰光影响的面部图像来检测驾驶者的困倦和打瞌睡，则不能从该面部图像中了解到车辆外部环境的情况。因此，当驾驶者缩小眼睛时，难以确定眼睛的缩小是由阳光入射引起的还是由困倦引起的。

发明内容

[0005] 针对以上问题作出本发明。一个目的在于提供一种面部图像拍摄设备，其能够辨别车辆的外部环境。

[0006] 根据本发明的一个方面，提供了如下一种用于车辆的面部图像拍摄设备。相机用于重复拍摄面部图像，所述面部图像是所述车辆中的乘员的面部的图像。投光灯用于照亮所述乘员的面部。投光灯控制装置针对以下至少一项来控制所述投光灯，以便对照射到所述乘员面部的光的照射状态进行调节：(i)在开启光和关闭光之间的切换，以及(ii)在开启光时的光量。图像拍摄控制装置用于与所述照射状态调节同步地控制拍摄所述面部图像的拍摄时间。差值图像生成装置用于生成表示亮面部图像与环境光面部图像之间亮度差的差值图像，其中，所述亮面部图像是所述相机在主要由所述投光灯的光进行照射的照射状态下拍摄的，所述环境光面部图像是所述相机在主要由环境光进行照射的照射状态下拍摄的。图像输出装置用于重复输出由所述差值图像生成装置所生成的所述差值图像。在此，所述图像输出装置包括输出条件判断单元，其判断用于输出以下至少一个面部图像的条件是否满足：(i)所述亮面部图像，以及(ii)所述环境光面部图像。当确定满足所述条件时，所述图像输出装置除了所述差值图像之外，还输出所述至少一个面部图像。该面部图像拍摄设备还包括困倦判断装置，用于基于(a)由所述图像输出装置所输出的所述差值图像，以及(b)由所述图像输出装置所输出的(i)所述亮面部图像和(ii)所述环境光面部图像中的所述至少一个面部图像，来判断所述乘员是否困倦。

[0007] 根据本发明的另一方面，提供了如下的一种面部图像拍摄设备。相机用于重复拍摄面部图像，所述面部图像是所述车辆中的乘员的面部的图像。投光灯用于照亮所述乘员的面部。投光灯控制装置用于针对以下至少一项来控制所述投光灯，以便对照射到所述乘员的面部的光的照射状态进行调节：(i)在开启光和关闭光之间的切换，以及(ii)在开启光时的光量。图像拍摄控制装置，用于与所述照射状态调节同步地控制拍摄所述面部图像的拍摄时间。差值图像生成装置用于生成表示亮面部图像与环境光面部图像之间亮度差的差值图像，其中，所述亮面部图像是所述相机在主要由所述投光灯的光进行照射的照射状态下拍摄的，所述环境光面部图像是所述相机在主要由环境光进行照射的照射状态下拍摄的。图像输出装置，用于重复输出由所述差值图像生成装置所生成的所述差值图像。在此，所述图像输出装置包括输出条件判断单元，其判断用于输出以下至少一个面部图像中一面部图像的预定区域的亮度值的条件是否满足：(i)所述亮面部图像，以及(ii)所述环境光面部图像。当确定满足所述条件时，所述图像输出装置除了所述差值图像之外，还输出所述亮度值。该面部图像拍摄设备还包括困倦判断装置，用于根据由所述图像输出装置所输出的(a)所述差值图像和(b)所述亮度值，判断所述乘员是否困倦。

附图说明

[0008] 根据以下结合附图的详细描述，本发明的以上和其他目的、特征和优点将会变得显而易见。在附图中：

[0009] 图1是示出根据本发明各个实施例的面部图像拍摄设备的结构框图；

[0010] 图2是示出车辆的车厢内部的相机与投光灯的布置的视图；

[0011] 图3是示出从驾驶者方进行观察，相机光轴与投光灯之间的位置关系的视图；

[0012] 图4是示出了相机的图像拍摄、投光灯的发光、以及差值图像的输出的时序图；

[0013] 图5A、5B、5C分别是白天中的亮面部图像、环境光面部图像和差值图像的示例；

[0014] 图5D、5E、5F分别是夜间中的亮面部图像、环境光面部图像和差值图像的示例；

[0015] 图6是用于解释根据本发明第一实施例的差值图像生成过程的流程图；

[0016] 图7示出了沿着经过亮面部图像中的驾驶者面部区域的垂直轴和水平轴的亮度值变化；以及

[0017] 图8是用于解释根据本发明第二实施例的差值图像生成过程的流程图。

具体实施方式

[0018] 将参考附图描述本发明的各个实施例。这些实施例解释了使用一种面部图像拍摄设备拍摄车辆中驾驶者面部图像的情况。

[0019] (第一实施例)

[0020] 图1是示出根据本发明各个实施例的面部图像拍摄设备的结构框图。如图1中所示，该面部图像拍摄设备包括：相机10、与相机10集成的相机装置20、图像ECU(电子控制单元)30、投光灯控制电路或装置40、以及投光灯50。

[0021] 相机10用于拍摄车辆的车厢内的驾驶者或乘员的面部的图像(面部图像)，如图2中所示。相机10布置在车辆的车厢中的仪表板附近。相机10采用能够高速拍摄图像的成像器。可以将大约30微秒的拍摄时间间隔插入到连续图像的拍摄时间期间之间，如图4所示，该拍摄时间期间大约为300微秒。

[0022] 相机装置20包括图像存储器21和信号处理电路22。图像存储器21是用于存储相机10所拍摄的图像的图像信息的存储装置。信号处理电路22读出存储在图像存储器21中的图像信息，并且充当差值图像生成装置，来执行随后描述的差值图像生成处理。信号处理电路22还充当图像输出装置，来输出所生成的图像信息(例如差值图像)至图像ECU30。

[0023] 图像ECU 30包括图像处理电路或装置31和图像拍摄控制电路或装置32。图像处理电路31接收从相机装置20输出的图像信息。图像处理电路31从所接收的图像信息中检测驾驶者的面部区域或面部部分，或者执行图像处理来检测驾驶者的视线。图像拍摄控制电路32与对投光灯控制电路40的照射状态的调节同步地控制相机10的图像拍摄时间，并且还控制相机10的曝光时间期间或输出增益等等。

[0024] 投光灯控制电路40控制：(i)在开启与关闭投光灯50之间的切换，或者(ii)当开启投光灯50时的光量(强度)。如图2、3所示，将投光灯50与相机10相邻布置，将投光灯50的纵轴垂直布置。投光灯控制电路40与相机10的拍摄时间同步地调节照射到驾驶者面部上的光的照射状态。

[0025] 如图3所示，投光灯50配有多个光源，其发出中心波长约为850到950nm的红外光或近红外光。这些光源沿着驾驶者面部的纵向或垂直方向布置，并照射驾驶者的面部。

[0026] 接下来，解释面部图像拍摄设备的操作。图4是时序图，示出了：(i)相机10的图像拍摄时间，(ii)投光灯50的发光时间，以及(iii)从相机10所拍摄的面部图像中所生成的差值图像的输出时间。面部图像拍摄设备首先使用相机10拍摄图5A或图5D中的亮面部图像px。在以下照射状态中拍摄亮面部图像px：照射到驾驶者面部的光主要由投光灯50的光共享或占据。在此，实际上，不仅投光灯50的光照射到驾驶者面部，而且还有驾驶者周围的环境光(阳光、反射的阳光、等等)。在此，将亮面部图像px的图像拍摄时间或时间期间设置为约300微秒。在完成了亮面部图像px的图像拍摄之后，将所拍摄的图像信息暂时存储在图像存储器21中。

[0027] 在此后大约30微秒内，面部图像拍摄设备使用相机10开始拍摄环境光面部图像pz。在以下照射状态下拍摄在图5B或图5E中的环境光面部图像pz：照射或入射到驾驶者面部上的光主要由驾驶者附近的环境光共享或占据。在此，可以同时使用投光灯50发出的光进行照射，但该光量被调节为降低到相当低的等级。在此，将环境光面部图像pz的拍摄时间期间设置为约300微秒，其与亮面部图像px相同。在完成了环境光面部图像pz的图像拍摄之后，将所拍摄的图像信息暂时存储在图像存储器21中。

[0028] 此外，相机10采用了能够连续地高速拍摄图像的成像器。因此，即使是以如上所述的共享时间来拍摄面部图像，面部图像也不会受到两者之间的相应时间间隔内的驾驶者位置变化的影响。该位置变化可能是由驾驶者的本能运动或者车辆的伴随振动所导致的。另外，亮面部图像px的拍摄时间与环境光面部图像pz的拍摄时间之间的时间间隔相对较短。因此，可以认为是对两个图像进行同时拍摄；因此，通常可以不考虑在该时间间隔内的环境光变化。

[0029] 由此拍摄了亮面部图像px和环境光面部图像pz。然后，信号处理电路22通过使用暂时存储在图像存储器21中的亮面部图像px和环境光面部图像pz的图像信息计算亮度差值，来生成差值图像。这可以称为差值图像生成处理。

[0030] 例如，针对亮面部图像px和环境光面部图像pz的彼此相对应的像素位置，通过用亮面部图像px的亮度值减去环境光面部图像pz的亮度值来计算该差值。在此，详细解释差值图像的生成。

[0031] 首先，亮面部图像px是当入射或照射到驾驶者面部的光的主要部分是从投光灯50照射的光的情况下所拍摄的面部图像。因此，在来自投光灯50的光完全到达的驾驶者面部区域中，亮度值较高。相比而言，来自投光灯50的光相对地没有到达驾驶者面部区域周围的背景区域。在相机10拍摄背景区域的反射图像时，背景区域中的亮度值相对较低。

[0032] 此外，环境光面部图像pz是当入射到驾驶者面部的光的主要部分是环境光时所拍摄的面部图像。因此，在环境光面部图像pz中，与亮面部图像px相比，在驾驶者面部区域中的亮度值较低。对于与面部区域相比距离投光灯50较远的背景或物体而言，亮度值相对地不受投光灯50的影响。因此，在面部区域中的亮度值和在背景区域中的亮度值彼此相类似。

[0033] 另外，诸如下午的太阳之类的阳光可以入射到车辆的车厢中并照射驾驶者面部。在该情况下，在亮面部图像px与环境光面部图像pz之间的比较中，在投光灯50照射的驾驶者面部区域中，在亮面部图像px中的亮度值要高很多。因此，如图5C所示，通过用亮面部图像px的亮度值减去环境光面部图像pz的亮度值以计算差值，来生成差值图像(px-pz)，用来强调亮度值差值。这使得可以生成差值图像(px-pz)，在该差值图像中，已经去掉了诸如阳光之类的环境光(干扰光)的影响。

[0034] 一旦生成了差值图像(px-pz)，信号处理电路22就每约33毫秒一次地将图像信息输出到图像ECU 30，如图4所示。在该情况下，在本实施例中，只要差值图像(px-pz)的输出次数达到一个预定次数，就拍摄亮面部图像px。然后，将未从中去掉干扰光影响的所拍摄的亮面部图像px输出到图像ECU 30。因此，在图像ECU 30中，能够根据未从中去掉干扰光影响的亮面部图像，来确定车辆外部的环境(白天或黑夜)。

[0035] 换而言之，存在以下情况：即，亮面部图像px整体上的亮度值较高，例如，整个图像都高于一个阈值。在该情况下，假设阳光是直接地或者反射地入射到车辆的车厢中，或者是迎面而来的车辆的前灯光入射；因此，可以确定外面是白天或者有强光入射。相比而言，存在以下情况：(i)在亮面部图像中除了特定区域(例如面部区域)之外的其他区域，或者(ii)整个环境光面部图像是大致均匀暗的。即，存在以下情况：不存在非常亮的局部区域并且整个图像都在所述阈值以下。在该情况下，可以确定车辆外部是黑夜、在暗的室内停车场、或者在隧道中。

[0036] 接下来，使用图6中的流程图来解释信号处理电路22执行的、用于生成差值图像的差值图像生成处理。该处理是在图像拍摄控制电路32启动之后进行的。在S2，启动一个计数器，其对差值图像(px-pz)的输出次数进行计数。

[0037] 在S3，拍摄亮面部图像px，并且将所拍摄的图像信息存储在图像存储器21中。在S4，拍摄环境光面部图像pz，并将所拍摄的图像信息存储在图像存储器21中。在S5，通过针对其相应像素位置用亮面部图像px的亮度值减去环境光面部图像pz的亮度值以得到亮度值差值，来生成或计算差值图像(px-pz)。

[0038] 在S6，将所生成的差值图像(px-pz)输出到图像ECU 30。在S7，重置图像存储器21，从而消除所存储的图像信息。在S8，将计数器的计数累加1。在S9，判断计数器的计数是否达到所述预定次数。当在S9中的判断为否定是，处理返回到S3以重复上述过程。

[0039] 在S10，与S3相似地拍摄亮面部图像px，并将所拍摄的图像信息存储在图像存储器21中。在S11，将所拍摄的亮面部图像px的图像信息输出到图像ECU 30。在S12，重置计数器的计数，并结束该过程。然后在图像拍摄控制电路32开启时，从S2开始重复该过程。

[0040] 如上所述，面部图像拍摄设备重复地将差值图像(px-pz)输出到图像ECU 30。当输出次数达到一个预定次数时，将未从中去掉干扰光影响的所拍摄的亮面部图像px输出到图像ECU 30。因此，图像ECU 30能够根据差值图像(px-pz)以及所输出的亮面部图像px，来确定车辆外部的环境(白天、黑夜、等等)。由此，信号处理电路22充当了输出条件判断部件、单元、设备。

[0041] (修改例1)

[0042] 在该第一实施例中，当差值图像(px-pz)的输出次数达到一个预定次数时，拍摄亮面部图像px。作为替代，可以拍摄环境光面部图像pz并将其输出到图像ECU 30。与亮面部图像px类似，环境光面部图像pz是未从中去掉干扰光影响的图像。因此，根据该环境光面部图像pz，也能够确定车辆外部的环境(白天、黑夜、等等)。

[0043] (修改例2)

[0044] 在第一实施例中，图像ECU 30能够根据差值图像(px-pz)以及所输出的亮面部图像px来确定车辆外部的环境(白天、黑夜、等等)。此外，可以根据差值图像(px-pz)和亮面部图像px来判断驾驶者是否困倦。在该情况下，图像ECU 30可以充当困倦判断部件、单元或装置。

[0045] 如上所解释的，当在亮面部图像或环境光面部图像中某个特定区域比其他区域亮时，则可以确定车辆外部是白天或者有外部光入射。在该情况下，当根据在该时刻所生成的差值图像(px-pz)知道驾驶者缩小了眼睛时，可以确定驾驶者缩小眼睛是因为由于光从外部入射到车辆的车厢内而导致眩目，例如阳光或者迎面而来的车辆的前灯光。

[0046] 相比而言，当(i)在亮面部图像px中除了特定区域(例如面部区域)之外的其他区域或者(ii)整个环境光面部图像pz是大致均匀暗的时，就能够确定车辆外部是黑夜、在暗的室内停车场中、或者在隧道中。当根据在该时刻所生成的差值图像(px-pz)可以清楚地知道驾驶者缩小了眼睛，则能够确定驾驶者缩小眼睛是因为困倦(即，驾驶者在打瞌睡)。

[0047] 另外，与修改例1类似，当拍摄环境光面部图像pz并将其输出到图像ECU 30时，可以根据差值图像(px-pz)和环境光面部图像pz来判断驾驶者是否困倦。

[0048] (修改例3)

[0049] 在第一实施例中，在图6中的S9，所设定的条件是差值图像(px-pz)的输出次数达到一个预定次数。当满足该条件时，拍摄亮面部图像px并输出到图像ECU 30。可替换地，例如，如果达到了用于输出差值图像(px-pz)的时间点，则拍摄亮面部图像px和环境光面部图像pz中至少一个并将其输出到图像ECU 30。即，可以始终与所输出的差值图像(px-pz)同时地拍摄亮面部图像px和环境光面部图像pz中至少一个并将其输出到图像ECU30。

[0050] 另外，可替换地，可以设定另一条件：从图像ECU 30向相机装置20发出了用于输出差值图像(px-pz)的指令，其中，图像ECU 30充当用于接收差值图像(px-pz)的输入装置。当满足该条件时，可以拍摄亮面部图像px和环境光面部图像pz中至少一个并将其输出到图像ECU 30。这就能够判断是否输出(i)亮面部图像和(ii)环境光面部图像中至少一个图像的信息，其中两者都未去掉干扰光影响。

[0051] (第二实施例)

[0052] 第二实施例具有与第一实施例类似的结构。将主要对两者之间的不同部分进行详细解释。在第一实施例中，除了差值图像(px-pz)之外，面部图像拍摄设备还将未从中去掉干扰光影响的亮面部图像输出到图像ECU 30。

[0053] 相比而言，第二实施例与第一实施例的不同之处在于：除了差值图像(px-pz)之外，面部图像拍摄设备还输出在亮面部图像px内某个预定区域中的亮度值，而不是整个亮面部图像px。该预定区域包括(i)经过拍摄有驾驶者面部的面部区域的垂直轴和水平轴中的至少一个轴，或者(ii)在亮面部图像px中的预定的多个点。

[0054] 当在亮面部图像px或环境光面部图像pz中一个特定区域比其他区域亮时，在该特定区域中的亮度值高，而在其他区域中的亮度值低。因此，在经过这两个区域的垂直轴和水平轴中观察到亮度值变化：因此，假设有阳光或外部光入射到车辆的车厢中。由此，确定车辆的外部是白天或者有外部光入射。

[0055] 相比而言，当(i)在亮面部图像px中除了特定区域(例如面部区域)之外的其他区域或者(ii)整个环境光面部图像pz是大致均匀暗的，就能够确定车辆的外部是黑夜、在暗的室内停车场中、或者在隧道中。因此，根据沿着垂直轴和水平轴中至少一个的亮度值就能够确定车辆外部的环境(白天、黑夜、等等)，其中，这两个轴都经过一个预定区域并且未去掉干扰光影响。

[0056] 图7示出了当阳光入射到车辆的车厢内并且阳光照射到驾驶者面部的一部分上时所拍摄的亮面部图像px。在没有到面部的直射光的状态中，由于面部上的器官或者皱纹或者来自投光灯的反射光造成了亮度或亮/暗中出现变化。相比而言，当在亮面部图像px中存在直射光的状态中，亮度上会有更大的显著变化或者增大。因此，可以根据沿着经过拍摄有驾驶者面部的面部区域的垂直轴和水平轴的亮度值，确定车辆外部是白天或者有外部光入射。相比而言，当沿着上述轴的亮度值中没有变化时，可以确定车辆外部是黑夜。

[0057] 因此，可以基于在除了差值图像(px-pz)之外所输出的未从中去掉干扰光影响的亮面部图像px中、沿着经过拍摄有驾驶者面部的面部区域的垂直轴和水平轴中至少一个轴的亮度值，确定车辆外部的环境(白天、黑夜、等等)。

[0058] 在此，为了简单地判断是否有阳光照射到驾驶者面部，可以将垂直轴和水平轴中至少一个轴设定为经过拍摄有驾驶者面部的面部区域。此外，该轴还可以设定为经过面部区域的中心。这是因为随着入射到车辆的车厢内的光越来越靠近驾驶者面部，驾驶者把眼睛变得越来越窄。

[0059] 另外，可以不仅仅将亮度值限定于在亮面部图像px中沿着经过拍摄有驾驶者面部的面部区域的垂直轴和水平轴中至少一个轴的亮度值。可替换地，该亮度值可以是在拍摄有驾驶者面部的面部区域中的多个预定点(像素)的亮度值。

[0060] 图8示出了根据第二实施例的面部图像拍摄设备中的差值图像生成处理。图8除了包括图6中的相应处理之外，还包括S101。在S101，在亮面部图像px中提取沿着经过拍摄有驾驶者面部的面部区域的垂直轴和水平轴中至少一个轴的亮度值。在S11，将所提取的亮度值输出到图像ECU 30。

[0061] 此外，在第一次处理的S101，还没有设定拍摄有驾驶者面部的面部区域。因此，提取沿着经过亮面部图像px中心的垂直轴和水平轴中至少一个轴的亮度值。在该第一次处理之后的后续处理中，根据从图像ECU 30所获取的关于图像区域的信息，设定经过面部区域的垂直轴和水平轴中至少一个轴。然后，沿着所设定的轴提取亮度值。

[0062] (修改例4)

[0063] 在第二实施例中，每当差值图像(px-pz)的输出次数到达一个预定次数时，拍摄亮面部图像px。可替换地，可以拍摄环境光面部图像pz，并且可以将沿着经过拍摄有驾驶者面部的面部区域的垂直轴和水平轴中至少一个轴的亮度值输出到图像ECU 30。与亮面部图像px类似，环境光面部图像pz是未从中去掉干扰光影响的图像。因此，可以根据环境光面部图像pz来确定车辆外部的环境(白天、黑夜、等等)。

[0064] (修改例5)

[0065] 在第二实施例的图像ECU 30中，可以基于在除了差值图像(px-pz)之外所输出的亮面部图像px中的、沿着经过拍摄有驾驶者面部的面部区域的垂直轴和水平轴中至少一个轴的亮度值，确定车辆外部的环境(白天、黑夜、等等)。此外，可以根据差值图像(px-pz)以及在亮面部图像px中沿着经过拍摄有驾驶者面部的面部区域的垂直轴和水平轴中至少一个轴的亮度值，判断驾驶者是否困倦。

[0066] 如上所解释的，如果在亮面部图像px或环境光面部图像pz中沿着经过拍摄有驾驶者面部的面部区域的垂直轴和水平轴中至少一个轴的亮度值中观察到超出一个阈值的变化，则就能够确定车辆外部是白天。这是因为，当根据在该时刻所生成的差值图像(px-pz)清楚的知道驾驶者缩小眼睛时，能够确定驾驶者缩小眼睛是因为入射到车辆的车厢内的阳光。

[0067] 相比而言，如果在亮面部图像px或环境光面部图像pz中沿着经过拍摄有驾驶者面部的面部区域的垂直轴和水平轴中至少一个轴的亮度值中没有观察到超出该阈值的变化，则确定车辆外部是黑夜。这是因为，当根据在该时刻所生成的差值图像(px-pz)清楚的知道驾驶者缩小眼睛时，能够确定驾驶者缩小眼睛是因为困倦(即，驾驶者在打瞌睡)。

[0068] (修改例6)

[0069] 在第二实施例中，在图8中的S9，设定了条件：差值图像(px-pz)的输出次数达到一个预定次数。当该条件满足时，拍摄亮面部图像px，并将沿着经过驾驶者面部的面部区域的垂直轴和水平轴中至少一个轴的亮度值输出到图像ECU 30。可替换地，可以设定另一条件。例如，如果达到了用于输出差值图像(px-pz)的时间点，则拍摄亮面部图像px和环境光面部图像pz中至少一个。然后，在所述至少一个所拍摄的面部图像中，可以将沿着经过驾驶者面部的面部区域的垂直轴和水平轴中至少一个轴的亮度值输出到图像ECU 30。即，可以始终与所输出的差值图像(px-pz)同时地拍摄亮面部图像px和环境光面部图像pz中至少一个。在所述至少一个所拍摄的面部图像中，可以将沿着经过驾驶者面部的面部区域的垂直轴和水平轴中至少一个轴的亮度值输出到图像ECU 30。

[0070] 另外，可替换地，可以设定另一条件：从图像ECU 30发出了用于输出差值图像(px-pz)的指令，其中，图像ECU 30充当用于接收差值图像(px-pz)的输入装置。当满足该条件时，可以拍摄亮面部图像px和环境光面部图像pz中的至少一个面部图像，并将在所述至少一个面部图像中的沿着经过驾驶者面部的面部区域的垂直轴和水平轴中至少一个轴的亮度值输出到图像ECU 30。这就能够判断是否输出在亮面部图像和环境光面部图像中的至少一个面部图像中的、沿着经过拍摄有驾驶者面部的面部区域的垂直轴和水平轴中至少一个轴的亮度值，其中，未从亮面部图像和环境光面部图像中去掉干扰光影响。

[0071] 以上所述的任何处理、步骤、或部件中每一种或者任意其组合，都可以实现为软件单元(例如子程序)和/或者硬件单元(例如电路或集成电路)，其可以包括或不包括相关装置的功能；此外，硬件单元可以构建在微型计算机内部。

[0072] 此外，软件单元或者多个软件单元的任意组合可以包含在软件程序中3，该软件程序可以包含在计算机可读存储介质中，或者可以经由通信网络下载并安装在计算机中。

[0073] 在以下条款中阐述了在此所描述的本发明的各个方面。

[0074] 根据第一方面，提供了如下一种用于车辆的面部图像拍摄设备。相机用于重复拍摄面部图像，所述面部图像是所述车辆中的乘员的面部的图像。投光灯用于照亮所述乘员的面部。投光灯控制装置用于针对以下至少一项来控制所述投光灯，以便对照射到所述乘员的面部的光的照射状态进行调节：(i)在开启光和关闭光之间的切换，以及(ii)在开启光时的光量。图像拍摄控制装置用于与所述照射状态调节同步地控制拍摄所述面部图像的拍摄时间。差值图像生成装置用于生成表示亮面部图像与环境光面部图像之间亮度差的差值图像，其中，所述亮面部图像是所述相机在主要由所述投光灯的光进行照射的照射状态下拍摄的，所述环境光面部图像是所述相机在主要由环境光进行照射的照射状态下拍摄的。图像输出装置用于重复输出由所述差值图像生成装置所生成的所述差值图像。在此，所述图像输出装置包括输出条件判断单元，其判断用于输出以下至少一个面部图像的条件是否满足：(i)所述亮面部图像以及(ii)所述环境光面部图像。当确定满足所述条件时，所述图像输出装置除了所述差值图像之外，还输出所述至少一个面部图像。

[0075] 存在以下情况：在亮面部图像或环境光面部图像中整个图像的亮度或亮度值较高。在该情况下，假设阳光是直接地或者反射地入射到车辆的车厢中，或者是迎面而来的车辆的前灯光入射；因此，可以确定外面是白天或者有强光入射。

[0076] 相比而言，存在以下情况：在亮面部图像中面部区域比该面部区域之外的其他区域亮，即，投光灯反射的图像占主要地位。在该情况下，就确定车辆的外部是黑夜、在暗的室内停车场中、或者在隧道中。

[0077] 另外，在环境光面部图像中，当整个图像都是暗的时，确定车辆的外部是黑夜、在暗的室内停车场中、或者在隧道中。在此，“亮或暗”定义为经过相机镜头或成像器入射的光量，而不是人通过相机而认知或感知到的感觉。这是当快门速度变得更快或增益变得更低时，输出的图像是较暗的，即使是车辆外部是亮的情况下也是如此。因此，根据未从中去掉干扰光影响的亮面部图像或环境光面部图像，可以确定车辆外部的环境(白天、黑夜、等等)。

[0078] 作为该第一方面的面部图像拍摄设备的一个可选择方面，困倦判断装置用于根据由所述图像输出装置所输出的所述至少一个面部图像和所述差值图像，判断所述乘员是否困倦。

[0079] 存在以下情况：作为使用亮面部图像或环境光面部图像判断外部环境的结果，所观察到的亮度超出了一个阈值，并由此使得驾驶者眩目。在该情况下，当从在该时刻所生成的差值图像知道驾驶者缩小了眼睛时，可以确定驾驶者缩小眼睛是因为由于光从外部入射到车辆的车厢内，例如阳光或者迎面而来的车辆的前灯光。

[0080] 相比而言，当亮面部图像或环境光面部图像在亮度上是大致均匀的时或者当环境光面部图像整体较暗时，可以确定车辆的外部是黑夜。当从在该时刻所生成的差值图像知道驾驶者缩小了眼睛时，可以确定驾驶者缩小眼睛是因为困倦(即，驾驶者在打瞌睡)。

[0081] 根据第二方面，提供了如下的一种面部图像拍摄设备。相机用于重复拍摄面部图像，所述面部图像是所述车辆中的乘员的面部的图像。投光灯用于照亮所述乘员的面部。投光灯控制装置用于针对以下至少一项来控制所述投光灯，以便对照射到所述乘员的面部的光的照射状态进行调节：(i)在开启光和关闭光之间的切换，以及(ii)在开启光时的光量。图像拍摄控制装置用于与所述照射状态调节同步地控制拍摄所述面部图像的拍摄时间。差值图像生成装置用于生成表示亮面部图像与环境光面部图像之间亮度差的差值图像，其中，所述亮面部图像是所述相机在主要由所述投光灯的光进行照射的照射状态下拍摄的，所述环境光面部图像是所述相机在主要由环境光进行照射的照射状态下拍摄的。图像输出装置用于重复输出由所述差值图像生成装置所生成的所述差值图像。在此，所述图像输出装置包括输出条件判断单元，其判断用于输出以下至少一个面部图像中一面部图像的预定区域的亮度值的条件是否满足：(i)所述亮面部图像以及(ii)所述环境光面部图像。当确定满足所述条件时，所述图像输出装置除了所述差值图像之外，还输出所述亮度值。

[0082] 在此，所述亮度值表示不受在诸如快门速度或相机增益之类的可调值的变化的影响的归一化值。

[0083] 当在亮面部图像或环境光面部图像中的一个特定区域比其他区域亮时，该特定区域的亮度值就比其他区域的高。因此，由于观察到在该特定区域与其他区域之间的亮度值中的差异和变化，可以假设阳光或外部光入射到车辆的车厢中。因此，可以确定车辆的外部是白天或者有外部光入射。

[0084] 相比而言，当(i)在亮面部图像中除了特定区域(例如面部区域)之外的其他区域或者(ii)整个环境光面部图像是大致均匀暗的时，可以确定车辆外部是黑夜、在暗的室内停车场、或者在隧道中。因此，根据在预定区域中的亮度值，就能够确定车辆外部的环境(白天或黑夜)。在此，除了差值图像之外，还输出在该预定区域中的、未去掉干扰光影响的亮度值。

[0085] 作为该第二方面的面部图像拍摄设备的一个可选择方面，所述至少一个面部图像中的所述面部图像的所述预定区域定义为这样的图像区域：其中，将所述乘员的面部拍摄为在所述至少一个面部图像中的图像。这是因为易于判断所述乘员的面部是否被入射的阳光照射。

[0086] 作为该第二方面的面部图像拍摄设备的一个可选择方面，困倦判断装置可以根据由所述图像输出装置所输出的所述差值图像和所述亮度值，判断所述乘员是否困倦。

[0087] 如上所述，如果观察到所述特定区域与其他区域之间在亮度值中的差异和变化超出了一个阈值，则可以确定车辆的外部是白天或者有外部光入射。在该情况下，当从在该时刻所生成的差值图像中知道驾驶者缩小了眼睛时，可以确定驾驶者缩小眼睛是因为由于光从外部入射到车辆的车厢内而导致眩目，例如阳光或者迎面而来的车辆的前灯光。

[0088] 相比而言，如果未观察到在所述特定区域与其他区域之间在亮度值中的差异和变化，则可以确定车辆的外部是黑夜。当从在该时刻所生成的差值图像中知道驾驶者缩小了眼睛时，可以确定驾驶者缩小眼睛是因为困倦(即，驾驶者在打瞌睡)。

[0089] 作为第一或第二方面的面部图像拍摄设备的一个可选择方面，所述输出条件判断装置在以下情况之一发生时确定所述条件满足：第一情况是达到了用于输出所述差值图像的时间点，第二情况是所述差值图像的输出次数达到一预定次数，第三情况是从要对其输入所述差值图像的输入装置发出了输出指令。

[0090] 这就能够进行如下判断：(i)是否在未从亮面部图像和环境光面部图像中去掉干扰光影响的情况下输出这两个面部图像中的一个面部图像；或者(ii)是否输出在该面部图像中的预定区域中的亮度值。

[0091] 对于本领域技术人员而言显而易见的是，可以在本发明的上述实施例中进行各种变化。然而，本发明的范围应由附带的权利要求确定。