成像装置以及成像方法

摘要

本发明公开了成像装置、成像方法及计算机程序，其中，该成像装置包括：图像输入单元，用于输入对象的图像；图像信号处理单元，用于处理输入图像；图像记录单元，用于将输入图像记录在记录介质上；笑程度检测单元，用于检测在通过图像信号处理单元处理的输入图像中所包含的对象的笑等级；检测阈值等级设定单元，用于基于由笑程度检测单元检测的笑等级来设定执行对象是否在笑的确定的笑脸检测阈值等级；以及拍摄控制单元，用于响应于由通过笑程度检测单元检测的对象的笑等级达到笑脸检测阈值等级来控制拍摄操作。在本发明中，可以适应性地修改笑脸检测阈值等级。

权利要求

1.一种成像装置，包括：

图像输入装置，用于输入对象的图像；

图像信号处理装置，用于处理输入图像；

图像记录装置，用于将所述输入图像记录在记录介质上；

笑程度检测装置，用于检测在通过所述图像信号处理装置处理的输入图像中所包含的对象的笑等级；

检测阈值等级设定装置，用于基于由所述笑程度检测装置所检测的笑等级来设定执行所述对象是否在笑的确定的笑脸检测阈值等级；

拍摄控制装置，用于响应于由所述笑程度检测装置检测的所述对象的笑等级达到所述笑脸检测阈值等级来控制拍摄操作；

通知装置，用于向用户通知关于由所述笑程度检测装置检测的对象的笑等级的信息；

以及

显示装置，用于显示通过所述图像信号处理装置处理的输入图像，其中，所述通知装置以屏幕上显示的方式在由所述显示装置显示的整个图像上显示关于由所述笑程度检测装置检测的对象的笑等级的信息。

2.根据权利要求1所述的成像装置，其中，所述通知装置以屏幕上显示的方式，与由所述笑程度检测装置检测的笑等级相结合地显示由所述检测阈值等级设定装置设定的笑脸检测阈值等级。

3.根据权利要求2所述的成像装置，其中，所述通知装置使用具有由0％等级和100％等级所限定的范围的滑标计来显示由所述笑程度检测装置检测的笑等级，同时还以所述滑标计上的滑动条显示由所述检测阈值等级设定装置设定的笑脸检测阈值等级。

4.根据权利要求1所述的成像装置，还包括：操作装置，用于接收由用户输入的指示，其中，所述检测阈值等级设定装置响应于由所述用户输入的指示修改所述笑脸检测阈值等级。

5.根据权利要求3所述的成像装置，还包括：操作装置，用于接收由用户输入的指示，其中，所述检测阈值等级设定装置响应于由所述用户输入的指示修改所述笑脸检测阈值等级，其中，所述通知装置响应于由所述检测阈值等级设定装置设定的笑脸检测阈值等级来更新所述滑标计上的所述滑动条的显示位置。

6.根据权利要求1所述的成像装置，其中，所述检测阈值等级设定装置响应于由所述输入图像中所述对象的检测面部检测笑脸的状态来自动调节所述笑脸检测阈值等级。

7.根据权利要求6所述的成像装置，其中，所述检测阈值等级设定装置响应于从所述对象的检测面部没有检测到笑脸所经过的时间来降低所述笑脸检测阈值等级。

8.根据权利要求7所述的成像装置，其中，所述检测阈值等级设定装置保持所述笑脸检测阈值等级达到的下限等级。

9.根据权利要求7所述的成像装置，其中，所述检测阈值等级设定装置保持从所述对象的检测面部检测到笑脸时的笑脸检测阈值等级。

10.根据权利要求7所述的成像装置，其中，当不再从所述输入图像中检测到所述对象的面部时，所述检测阈值等级设定装置将所述笑脸检测阈值等级恢复到其初始值。

11.根据权利要求1所述的成像装置，还包括：

显示装置，用于显示通过所述图像信号处理装置处理的输入图像；

分辨率转换装置，用于将通过所述图像信号处理装置处理的输入图像转换为具有将显示在所述显示装置上的图像大小或具有与拍摄模式相匹配的图像大小的图像；以及图像压缩装置，用于根据拍摄模式，压缩通过所述分辨率转换装置转换了分辨率的图像，其中，所述图像记录装置将所述图像被压缩成的图像信息记录在所述记录介质上。

12.根据权利要求11所述的成像装置，其中，所述笑程度检测装置基于分辨率被转换而显示在所述显示装置上的图像，来检测所述对象的笑图案。

13.一种成像方法，对对象的输入图像执行拍摄操作，包括以下步骤：处理步骤，处理所述输入图像；

检测步骤，检测包含在被处理的输入图像中的对象的笑等级；

设定步骤，基于所检测的笑等级来设定执行所述对象是否在笑的确定所依据的笑脸检测阈值等级；

记录步骤，响应于所检测的对象的笑等级达到所述笑脸检测阈值等级来将所述输入图像记录在预定记录介质上；以及通知步骤，向用户通知关于所检测的对象的笑等级的信息；以及其中，所述通知步骤以屏幕上显示的方式在经过处理的整个图像上显示关于所检测的对象的笑等级的信息。

14.根据权利要求13所述的成像方法，其中，所述通知步骤包括：以屏幕上显示的方式，与所检测的笑等级相结合地显示设定的所述笑脸检测阈值等级。

15.根据权利要求14所述的成像方法，其中，所述通知步骤包括：使用具有由0％等级和100％等级所限定的范围的滑标计来显示所检测的笑等级，同时还以所述滑标计上的滑动条显示设定的所述笑脸检测阈值等级。

16.根据权利要求13所述的成像方法，其中，所述设定步骤包括：响应于由用户输入的指示修改所述笑脸检测阈值等级。

17.根据权利要求15所述的成像方法，其中，所述通知步骤包括：响应于来自用户的指示更新所述滑标计上所述滑动条的显示位置，以及其中，所述设定步骤包括：响应于所述滑标计上所述滑动条的显示位置修改所述笑脸检测阈值等级。

18.根据权利要求13所述的成像方法，其中，所述设定步骤包括：响应于由所述输入图像中所述对象的检测面部检测笑脸的状态来自动调节所述笑脸检测阈值等级。

19.根据权利要求18所述的成像方法，其中，所述设定步骤包括：响应于从所述对象的检测面部没有检测到笑脸所经过的时间来在不低于预定下限的范围内降低所述笑脸检测阈值等级，并保持从所述对象的检测面部检测到笑脸时的等级。

20.根据权利要求18所述的成像装置，其中，所述设定步骤包括：当不再从所述输入图像中检测到所述对象的面部时，将所述笑脸检测阈值等级恢复到其初始值。

说明书

成像装置以及成像方法

[0001] 相关申请的交叉参考

[0002] 本发明包含于2007年6月13日向日本专利局提交的日本专利申请JP2007-156068的主题，其全部内容结合于此作为参考。

技术领域

[0003] 本发明涉及用于捕获包含作为对象的人物的图像的图像的成像装置、成像方法以及计算机程序。具体地，本发明涉及用于响应于从图像中表示的对象识别特定图案来执行自动相机工作(camerawork)的成像装置、成像方法以及计算机程序。

[0004] 本发明还涉及用于响应于包含在图像中的对象的笑脸图像的识别来自动确定拍摄定时的成像装置、成像方法以及计算机程序。具体地，本发明还涉及用于通过基于笑等级(smile level)而不管诸如人物、性别、种族和文化差异的差异检测适当对象的笑脸来确定拍摄定时的成像装置、成像方法以及计算机程序。

背景技术

[0005] 相机具有被用作记录视觉信息的工具的悠久历史。目前，数码相机正逐步取代使用感光板或胶卷的银盐相机，并得到了广泛使用。数码相机利用诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)器件的固态成像元件捕获图像，并对图像进行模数转换。数码相机在存储器上存储经过数字编码的图像，并利用计算机对图像执行图像处理操作和图像管理。这种数码相机不受胶卷使用寿命的限制。

[0006] 银盐相机与数码相机在基本相机工作方面是基本相同的。数码相机在相机工作中结合了先进的自动技术。即使一个没有经验的用户也能够成功拍摄。

[0007] 数码相机具有自动聚焦(AF)功能、自动曝光(AE)功能以及图像稳定功能。数码相机具有不仅通过光学系统而且还在数字处理中执行AF功能和AE功能的优点。此外，数码相机通过在数字处理中对所捕获图像进行图像质量调节来执行适当的颜色再现。数字处理包括在自动白平衡功能中使所捕获图像与白平衡增益相乘。

[0008] 通过聚焦在存在于图像帧中的至少一个对象上的相机执行自动聚焦和图像质量调整。以前，用户手动设定重要的对象。现在，数码相机结合了面部检测的拍摄技术。例如，相机从所捕获的图像中检测人物面部，并自动地聚焦在所检测面部上或自动地相对于面部调整图像质量。

[0009] 日本未审查专利申请公开第2003-271933号公开了从捕获的图像信号检测面部的技术。根据所公开的内容，平均面部图像用作对输入图像信号进行检查用于匹配的模板。这种技术被众所周知。所捕获图像中的面部倾斜难以检测。在这种情况下，检测面部角度，根据所检测的角度值旋转面部图像，然后执行匹配处理。日本未审查专利申请公开第9-171560号公开了检测面部角度的技术。根据公开的内容，检测面部的中心线，并基于面部的左右对称性计算中心线的类似性。输出具有高类似性的中心线角度作为面部角度。

[0010] 近来，研究并开发了用于基于诸如笑脸的对象图像的特定图案的识别确定拍摄定时的自动快门。

[0011] 日本未审查专利申请公开第2000-347278号、2004-294498号和2006-237803号公开了在满足预定拍摄条件时输出拍摄定时信号的相机。这种相机确定主要对象在将被拍摄的主要对象中所包含的感兴趣区域内是否满足预定拍摄条件。如果人物被拍摄，则感兴趣区域可包括人物的眼睛和嘴巴的形状和颜色，而如果鸟被拍摄，则感兴趣区域可包括鸟的羽毛。

[0012] 用作具体拍摄定时的要素可以是使人物在照片中看上去不错的条件，例如，“保持不眨眼”、“看相机”和“笑”。在相关技术中，长时间利用修描技术来修改人物的照片，以使人物看上去不错。然而，难以将人物眨眼的照片修改为人物保持不眨眼的照片，或者将具有笑脸的人物的照片修改为没有笑脸的人物的照片。这是为什么笑脸是一个拍摄条件的一个原因。

[0013] 基于与对象中眼睛的白色面积、对象嘴巴的水平长度和嘴巴中白色部分面积相关的图像信息确定“笑”的拍摄条件。如果在经由成像元件输入的图像帧中示出了多个对象，则不知道哪个对象被用于确定拍摄定时。对象中眼睛的白色面积、对象嘴巴的水平长度和嘴巴中白色部分的面积因人而异。这些要素还根据性别、年龄、种族、文化等的不同而不同。通过应用于这种变化要素的统一阈值执行笑脸检测是存在问题的。

[0014] 例如，可能对一个人物相比于其他人物更加容易地检测到笑脸，即使他或她实际上没有笑。在这种情况下，会引发不必要的拍摄操作，导致无用图像的累积。相反，可能对一个特定人物相比于其他人物不太容易引发拍摄操作，即使他或她明显在笑。在这种情况下，作为对象的人物被迫在拍摄期间张开眼睛和嘴并露出牙齿来试图笑。

[0015] 向用户和对象中的一个通知拍摄定时的相机是众所周知的。对象可响应于表示执行了拍摄操作的警报声或LED闪光的产生而停止笑。然而，这并不意味着向对象通知对象的笑等级(即，关于如何评价对象的笑脸)。如果没有将拍摄告知对象，则对象被迫微笑来为拍摄定时做准备，而不知道笑等级是否不足或者照明或其他拍摄条件是否不足。

发明内容

[0016] 因此，期望提供卓越的成像装置，卓越的成像方法以及计算机程序，用于响应于从包含在所捕获图像中的对象识别特定图案来执行自动相机工作。

[0017] 此外，还期望提供卓越的成像装置，卓越的成像方法以及计算机程序，用于响应于从包含在所捕获图像中的对象识别笑脸来自动确定适当的拍摄定时。

[0018] 此外，还期望提供卓越的成像装置，卓越的成像方法以及计算机程序，用于通过基于笑等级而不管诸如人物、性别、种族和文化等差异的差异检测适当对象的笑脸来确定拍摄定时。

[0019] 根据本发明的一个实施例，提供了一种成像装置，包括：图像输入单元，用于输入对象的图像；图像信号处理单元，用于处理输入图像；图像记录单元，用于将输入图像记录在记录介质上；笑程度检测单元，用于检测在通过图像信号处理单元处理的输入图像中所包含的对象的笑等级；检测阈值等级设定单元，用于基于由笑程度检测单元检测的笑等级来设定执行对象是否在笑的确定的笑脸检测阈值等级；以及拍摄控制单元，用于响应于由笑程度检测单元检测的对象的笑等级达到笑脸检测阈值等级来控制拍摄操作。

[0020] 诸如数码相机的成像装置得到广泛使用，并且还开发了用于自动相机工作的技术。已经对自动相机工作的自动快门功能进行了研究和开发。自动快门功能使用微笑者(对象)图像中的特定图案确定拍摄定时。用作特定拍摄定时的要素可以是使人物在照片中看上去不错的条件，例如，“保持不眨眼”、“看相机”和“笑”。

[0021] 众所周知，生成报警声和灯的闪光或闪烁是用于在相机的拍摄操作中通知对象拍摄定时的通知功能。

[0022] 这并不意味着向用户和对象中的一个通知对象的笑等级(即，关于如何评价对象的笑脸)。根据个人差异，拍摄操作可以因为检测到较少的笑脸而较少引发，或者可以因为检测到较多的笑脸而被较多引发。在后者的情况下，拍摄了许多不必要的图像。

[0023] 在本发明一个实施例的成像装置中，笑程度检测单元检测输入图像中包含的对象的笑等级。拍摄控制单元响应于检测的对象笑等级达到笑脸检测阈值等级来控制拍摄操作。成像装置还包括检测阈值等级设定单元，用于基于笑等级设定执行对象是否在笑的确定的笑脸检测阈值等级。检测阈值等级设定单元可将笑脸检测阈值等级设定为适当的等级，而不管人物、性别、年龄、种族、文化等的差异。由用户设定用作拍摄条件的笑脸检测阈值等级。

[0024] 本发明一个实施例的成像装置还可以包括通知单元，不仅在从被拍摄对象检测的笑图案满足预定拍摄条件的条件下执行捕获操作，而且还向用户通知关于由笑程度检测单元所检测的对象的笑等级的信息。

[0025] 用户和对象中的一个可以知道对象的当前笑脸状态。检测阈值等级设定单元响应于经由通常用在成像装置中的操作单元由用户输入的指示来修改笑脸检测阈值等级。笑脸检测阈值等级不充分依赖于个人差异。例如，可以轻易引发自动拍摄操作，尽管对象没有笑，或者可以保持不引发自动拍摄操作，尽管对象明显在笑。在这种情况下，用户和对象中的一个适应性地修改笑脸检测阈值等级。

[0026] 由此，成像装置可以避免被置于待机状态，其中，成像装置准备准备通过对对象设定的视角检测笑脸，但仍保持在没有检测面部的未引发状态。成像装置还避免了甚至在对象没有怎么笑的时候就检测笑脸的易引发状态。

[0027] 通知单元可以以屏幕上显示的方式在整个图像上显示关于对象的笑等级的信息。通知单元可以以屏幕上显示的方式，与由检测阈值等级设定单元设定的笑脸检测阈值等级一起显示关于笑等级的信息。

[0028] 可以使用相关技术中已知的滑标计显示笑等级和笑脸检测阈值等级。通过从0％等级到100％等级沿直线变化的值，滑标计被数字分级。例如，用实线或突出方式表示当前检测的笑等级的范围。用沿滑标计可移动的滑动条表示笑脸检测阈值等级。用户可通过移动滑动条来修改笑脸检测阈值等级。

[0029] 笑脸检测阈值等级可以在本发明一个实施例的信息处理系统中被自动调节，而不是响应于来自用户和对象中的一个的指示而调节。例如，成像装置可响应于来自输入图像中对象的检测面部的笑脸的检测频率来自动调节笑脸检测阈值等级。

[0030] 更具体地，检测阈值等级设定单元可响应于从对象的检测面部没有检测到笑脸所经过的时间来降低笑脸检测阈值等级。检测阈值等级设定单元保持笑脸检测阈值等级达到的下限等级。检测阈值等级设定单元保持从对象的检测面部检测到笑脸的时刻的笑脸检测阈值等级。当不再从输入图像中检测到对象的面部时，检测阈值等级设定单元恢复笑脸检测阈值等级至其初始值。当检测新对象的面部时，执行同样的处理。

[0031] 成像装置还可以包括：显示单元，显示通过图像信号处理单元处理的输入图像；分辨率转换单元，用于转换被图像信号处理单元处理的输入图像；以及图像压缩单元，用于根据拍摄模式，压缩通过分辨率转换单元转换了分辨率的图像。图像记录单元在记录介质上记录图像被压缩的图像信息。笑程度检测单元可检测图像中对象的笑图案，该图像被进行分辨率转换作为整个图像而不是将被捕获的图像。

[0032] 根据本发明的一个实施例，用于使计算机对对象的输入图像执行拍摄操作的计算机可读程序，包括下列步骤：处理输入图像；检测包含在经过处理的输入图像中的对象的笑等级；基于检测的笑等级设定执行对象是否在笑的确定所依据的笑脸检测阈值等级；以及响应于所检测的对象的笑等级达到笑脸检测阈值等级来将输入图像记录在预定记录介质上。

[0033] 在将在计算机上执行的计算机可读格式下描述计算机程序。通过在计算机上安装计算机程序，计算机可以以与上述成像装置相同的方式工作。

[0034] 根据本发明的实施例，基于从包含在图像中的对象识别特定图案来执行自动相机工作处理。

[0035] 根据本发明的实施例，通过基于包含在图像中的对象的笑等级检测适当对象的面部来自动确定拍摄定时。

[0036] 根据本发明的实施例，通过根据适当的笑脸检测阈值等级而不管诸如人物、性别、种族、文化等差异的差异检测笑脸来自动确定拍摄定时。

[0037] 通过根据本发明一个实施例的成像装置，用户和对象中的一个可以知道对象笑脸的当前状态。例如，可以轻易引发自动拍摄操作，尽管对象没有笑，或者可以保持自动拍摄操作未引发状态，尽管对象明显在微笑。在这种情况下，用户和对象中的一个适应性地修改笑脸检测阈值等级。

[0038] 由此，本发明一个实施例的成像装置可以避免被置于待机状态，其中，成像装置准备通过对对象设定的视角检测笑脸，但仍保持在没有检测面部的未引发状态。成像装置还避免了甚至在对象没怎么微笑的时候就检测笑脸的易引发状态。

[0039] 从下面参照附图的本发明实施例的描述，这些和其他目的、特征和优点将变得显而易见。

附图说明

[0040] 图1示意性示出了根据本发明一个实施例的数码相机的硬件结构；

[0041] 图2示意性示出了作为显示在监控显示器上的整个图像(through image)的相机图像的数据流；

[0042] 图3示意性示出了数码相机执行拍摄操作的数据流；

[0043] 图4是示出执行拍摄操作的数码相机的处理的流程图；

[0044] 图5是示出基于笑脸检测执行自动拍摄操作同时向作为对象的人物通知拍摄定时的数码相机的处理的流程图；

[0045] 图6示出了显示对象的笑等级以及当前设定的笑脸检测阈值等级以允许在其上进行等级调节的设定屏幕；

[0046] 图7示出了使用5个操作键，即，上、下、左、右和输入键设定笑脸检测阈值等级的屏幕更新；

[0047] 图8示出了笑脸检测阈值等级的自动调节；以及

[0048] 图9是笑脸检测阈值等级的自动调节的程序分析图(PAD)；

具体实施方式

[0049] 下面，参照附图描述本发明的实施例。

[0050] 图1示出了根据本发明一个实施例的数码相机1的硬件结构。数码相机1包括成像元件11、模拟前端(AFE)部12和相机数字信号处理(DSP)部16。数码相机1对通过光学系统10输入的图像进行数字处理，并记录经过处理的图像。

[0051] 光学系统10包括：透镜，用于在成像元件11上收集来自对象的光束；驱动机构，用于移动用于聚焦和变焦的透镜；快门机构，用于响应于快门释放操作使来自对象的光束在预定的持续时间内入射到成像元件11；以及光圈机构，用于在光束的方向和截面区域方面限制来自对象的光束(这些机构均未示出)。驱动器10a响应于来自稍后讨论的中央处理单元(CPU)29的控制信号来控制光学系统10中的每个机构。

[0052] 成像元件11包括像素的矩阵，每个像素均具有光电转换效应(例如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)的一个)。成像元件11将来自对象的入射光束转换为电信号。成像元件11在其光接收部上包括具有RB部分被编码的绿色(G)部分检测板(checker board)图案的板。在每个像素中累积与已经穿过每个滤色器的入射光量相对应的信号电荷，并根据从像素读取的三原色信号电荷再现每个像素位置上的每个入射光束的颜色。从成像元件11输出的模拟图像信号是各个RGB三原色信号。可选地，模拟图像信号可以是各个互补色信号。

[0053] 模拟前端部12是集成电路(IC)芯片，并包括CDS/AGC/ADC单元13、定时发生器14和V驱动器15。

[0054] 在降低来自成像元件11的图像信号中的低电平噪声之后，CDS/AGC/ADC单元13执行相关双采样(CDS)并采样保持图像信号，对图像信号执行自动增益控制(AGC)处理，然后将图像信号模数转换为数字图像信号。

[0055] 定时发生器14生成驱动成像元件11的定时脉冲信号。响应于定时脉冲信号，V驱动器15输出用于在垂直方向上以线为单位从成像元件11中的像素输出电荷的驱动信号。

[0056] 相机DSP部16具有单芯片结构，并包括相机信号处理器17、分辨率转换器18、图像编码解码处理器19、存储控制器20、显示控制器21以及媒体控制器22。

[0057] 相机信号处理器17对来自模拟前端部12的图像信号执行包括像素缺陷校正、数字箝位和数字增益控制的预处理。相机信号处理器17利用AWB功能对经过预处理的图像信号执行白平衡增益控制处理，同时还对图像信号执行包括清晰度、颜色饱和度、对比度调整的图像质量校正处理。由此再现适当的颜色状态。相机信号处理器17通过去马赛克处理生成RGB图像信号。图像质量校正处理可以包括闪光等级和红眼消除调整。相机信号处理器17还对RGB图像信号执行伽玛校正，从而将图像信号转换为适于监控、打印输出或视频记录的灰度的信号。相机信号处理器17从来自模拟前端部12的输出图像信号中检测亮度信息。更具体地，相机信号处理器17执行直方图检测以检测基于每个预定范围的直方图，以及执行颜色检测以检测基于预定范围的颜色信息。从稍后讨论的控制器27输出直方图检测结果和颜色检测结果。

[0058] 分辨率转换器18转换图像大小。图像编码解码处理器19将RGB图像信号颜色空间转换为亮度信号和色差信号(Y、Cr和Cb)，并且还执行包括联合图像专家组(JPEG)压缩和运动图片专家组(MPEG)压缩的压缩编码处理。

[0059] 存储控制器20控制存取操作，以向包括同步DRAM(SDRAM)的存储器24读取或写入所捕获图像信息的数据。

[0060] 监控显示器25包括液晶显示器或其他类型的显示器的平面显示面板。显示控制器21控制监控显示器25。显示控制器21将从相机信号处理器17输出的图像数据(整个图像)和存储在存储器24上的图像数据转换为将被显示在监控显示器25上的信号，然后向监控显示器25输出信号。

[0061] 监控显示器25响应于来自控制器27的请求，进一步作为屏幕上显示(OSD)显示菜单屏幕和各种设定屏幕以及各种警告信息。根据本发明的一个实施例，以OSD显示方式在监控显示器25上显示的设定屏幕包括用于笑脸图案的检测结果的屏幕和用于设定笑脸检测阈值等级作为拍摄条件的屏幕。

[0062] 媒体控制器22具有接收诸如记忆棒(注册商标)的可移动记录介质26的插槽，并在记录介质26上读和写。例如，媒体控制器22在记录介质26上记录存储在存储器24上的捕获图像文件。

[0063] 相机DSP部16经由总线接口单元(BIU)23连接至控制器27。控制器27包括用户界面(UI)28、通常响应于用户操作控制数码相机1的操作的CPU 29、用作CPU 29的主存储器的随机存取存储器(RAM)30以及以非易失性方式存储程序代码和装置信息的电可擦除和可编程的只读存储器(EEPROM)31。

[0064] CPU 29使用由分辨率转换器18转换分辨率的图像检测笑脸。CPU 29执行用于在监控显示器25上显示OSD的GUI处理。根据本发明的一个实施例，GUI处理包括显示对象的笑等级和当前设定的笑脸检测阈值等级，以及用于切换这种等级的设定屏幕。

[0065] UI 28具有利用其用户可输入指示的操作功能以及作为扬声器和发光二极管(LED)灯的输出功能。为了执行操作功能，UI 28包括快门释放按钮以及用于包括闪光灯开和关的各种设定的键和拨盘。对应于对这些控制的用户操作的控制信号被输入至CPU 29。根据本发明的一个实施例，UI 28包括5个操作(十字)键，即，上、下、左、右键以及被这四个键围绕的中心输入键。

[0066] 在输出功能中，UI 28使用警报声和LED的照明或闪烁向用户反馈关于相机工作的信息。

[0067] 闪光部32响应于来自控制器27的闪光控制信息而闪光。

[0068] 在数码相机1中，由成像元件11连续接收而后光电转换的信号被馈送给模拟前端部12。在CDS处理和AFE处理之后，对所得到的信号进行模数转换。相机信号处理器17对由模拟前端部12提供的数字图像信号进行图像质量校正，然后将经过图像质量校正的信号转换为亮度(Y)信号和色差(R-Y和B-Y)信号。

[0069] 显示控制器21将从相机信号处理器17输出的图像数据转换为图像信号。然后，监控显示器25显示对应于图像信号的整个图像。

[0070] 图2示出了显示在监控显示器25上的相机图像的数据流。

[0071] 通过光学系统10、成像元件11和模拟前端部12将关于对象的信息转换为数字信号，然后将得到的数字信号提供给相机DSP部16。相机DSP部16执行图像信号处理，从而校正亮度和颜色。相机DSP部16还对图像执行分辨率转换。然后，在监控显示器25上显示得到的图像。控制器27中的CPU 29通过执行预定程序代码控制这种图像输出处理。图像输出控制处理实际被分为小工作部分(segment)。由于这种工作部分与本发明不太相关，所以在这里省略其讨论。

[0072] 当经由UI 28将用户操作指示输入至控制器27以指示控制器27记录图像时，将来自相机信号处理器17的图像数据提供给图像编码解码处理器19。图像编码解码处理器19对图像数据执行预定的压缩编码处理，然后将经过压缩编码的图像数据经由存储控制器
20存储在存储器24上或经由媒体控制器22记录在记录介质26上。当记录静止图像时，相机信号处理器17将一帧的图像数据提供给图像编码解码处理器19。当记录运动图像时，将经过处理的图像数据连续提供给图像编码解码处理器19。

[0073] 图3示意性示出了数码相机1的拍摄操作的数据流。图4是数码相机1的拍摄操作的流程图。

[0074] 以与参照图2描述相同的方式，在监控显示器25上显示对象。当用户按压UI 28上的快门键时(步骤S1)，UI 28检测被按压的键，并将键信息的信号发送至CPU 29。响应于此，CPU 29输出控制信号至驱动器10a，并执行拍摄操作(步骤S2)。同时还执行AF处理和AE处理。

[0075] 当经由驱动器10a发布执行拍摄操作的命令时，经由光学系统10、成像元件11和模拟前端部12将关于对象的信息转换为数字信号。然后，将得到的数字信号提供给相机DSP部16。相机DSP部16执行图像信号处理，从而校正图像信号上的亮度和颜色。相机DSP部16还对图像信号执行分辨率转换，从而将图像信号转换为适于拍摄模式的图像大小(步骤S3)。图像编码解码处理器19对图像执行JPEG压缩处理(步骤S4)。然后，经由媒体控制器22在记录介质26上记录经过JPEG压缩的图像(步骤S5)。

[0076] 本发明一个实施例的数码相机1执行自动快门功能。利用自动快门功能，数码相机1基于从微笑者(对象)的图像识别的特定图案确定拍摄定时。可通过执行图像识别处理程序的CPU 29执行笑脸识别。可通过集成在控制器27中的图像识别处理引擎(未示出)执行笑脸识别。笑脸识别技术可以是在相关技术中公开的任意一种技术，所以省略其讨论。

[0077] 在拍摄操作中，数码相机1可使用UI 28的输出功能通知对象拍摄定时。更具体地，数码相机1生成警报声或灯的照明或闪烁以通知对象拍摄定时。

[0078] 如果多个人物程度相同的笑，则根据人物、性别、年龄、种族、甚至文化的差异，使用笑脸识别技术在图像内确定的人物笑程度变得不同。将通过图像处理获得的对象的笑等级与统一笑脸检测阈值等级相比较，以确定对象是否在笑，并响应于比较结果引发自动拍摄操作。通过这种配置，可轻易引发自动拍摄操作，尽管对象没有笑，或者可以保持不引发自动拍摄操作，尽管对象明显在笑。

[0079] 本发明一个实施例的数码相机1向用户和对象中的一个通知当前拍摄对象的笑等级(即，关于如何评价对象的笑脸)。由用户手动设定用作拍摄条件的笑脸检测阈值等级。

[0080] 用户和对象中的一个可以知道由相机捕获的对象笑脸的当前状态。可以轻易引发自动拍摄操作，尽管对象没有笑，或者可保持不引发自动拍摄操作，尽管对象明显在笑。如果考虑到人物差异确定笑脸检测阈值等级不适当，则用户和对象中的一个可以适应地校正笑脸检测阈值等级，从而根据人物来转换人物差异。

[0081] 图5是由数码相机1响应于检测的笑脸执行自动拍摄操作的流程图。

[0082] 根据图2的数据流，在监控显示器25上显示经由光学系统10输入的相机图像(步骤S11)。

[0083] 然后，还将显示的图像提供给控制器27。执行预定图像识别处理程序的CPU29(图像识别引擎(未示出))检测对象的笑等级(步骤S12)。

[0084] 当用户按压UI 28上的快门键时，相机拍摄操作开始(步骤S13)。更具体地，CPU29经由驱动器10a发布指示以执行拍摄操作。经由光学系统10、成像元件11和模拟前端部12将对象信息转换为信号，并将得到的数字信号提供给相机DSP部16。相机DSP部16在图像信号处理中校正亮度和颜色。

[0085] 当激活对应于笑脸检测的自动拍摄功能时，响应于快门键的按压，没有立刻激活快门释放操作。替代地，相机拍摄操作在对象的笑等级达到预定笑脸检测阈值的时刻开始。根据本发明的一个实施例，成像装置包括：通知单元，用于向用户和对象中的一个通知显示在监控显示器25上的对象的笑等级；以及操作单元，用于使用户手动设定用作拍摄条件的笑脸检测阈值等级。稍后将详细描述这些单元。

[0086] 响应于面部检测结果，按压快门键或激活相机拍摄操作。然后，分辨器转换器18将图像转换为与拍摄模式相匹配的图像大小(步骤S14)。图像编码解码处理器19对图像执行JPEG压缩处理(步骤S15)。然后，媒体控制器22在记录介质26上记录图像(步骤S16)。

[0087] 在将所捕获图像转换为将被显示的图像大小的JPEG压缩处理的时刻，CPU 29向用户发布诸如UI 28上闪烁LED的反馈(步骤S17)。因此，对象可以知道对象的笑脸已经使拍摄操作被成功完成。

[0088] 在步骤17中，CPU 29使用在步骤S12中获得的笑脸检测结果来代替在步骤S14中转换分辨率，由此转换大小的图像。基于分辨率被转换以(作为一个图像)显示在监控显示器25上的图像执行笑脸检测。因此执行LED发光处理，而在拍摄操作中没有任何延迟。

[0089] 具体描述用于向用户和对象中的一个通知显示在监控显示器25上的对象的笑等级的通知单元以及用于使用户手动设定用作拍摄条件的笑脸检测阈值等级的操作单元。预期在控制器27中安装图像识别引擎以检测对象的面部和任意对象的笑脸。然而，为了方面解释，这里由CPU 29执行这些处理。

[0090] 响应于由分辨率转换器18进行分辨率转换的供给，CPU 29识别出现在该图像中的对象，并计算其笑等级。然后，CPU 29产生OSD以在GUI显示器上显示笑等级的信息，然后经由显示控制器21在监控显示器25上显示OSD。

[0091] 图6示出了对象的笑等级和当前设定的笑脸检测阈值等级的显示以及用于切换这种等级的设定屏幕。在屏幕的左下方，笑等级的信息被显示为滑标计(slider meter)。滑标计包括在水平方向配置的垂直条。最左端的条表示0％的等级，而最右端的条表示100％的等级。包含长条的部分(A)表示当前检测的笑等级，垂直拉长的滑动条(B)沿滑标计的水平方向是可移动的，并表示当前应用的笑脸检测阈值等级。从连续输入的图像中检测对象的笑等级。当笑等级超过笑脸检测阈值等级时(当部分(A)的笑脸条的右边缘超出笑脸检测阈值等级的滑动条(B)时)，从所检测的对象面部检测到笑脸，即，满足拍摄条件。

[0092] 滑动条在现有技术中是众所周知的，并发现诸如音量控制的许多应用。

[0093] 用户可通过操作UI 28在滑标计上向左或向右移动笑脸检测阈值等级的滑动条(B)来修改笑脸检测阈值等级。笑脸检测阈值等级可以不充分依赖于个人差异。例如，可轻易引发自动拍摄操作，尽管对象没有笑，或者可以保持不引发自动拍摄操作，尽管对象明显在笑。在这种情况下，使用滑动条(B)手动调节笑脸检测阈值等级。

[0094] 滑标计上调节笑脸检测阈值等级的UI 28的用户操作不限于任何特定方法。例如，用户可以使用上、下、左、右和中心输入键的5个操作键来调节笑脸检测阈值等级。图7示出了这种操作。如图7所示，被按压的键用阴影表示。

[0095] 数码相机1现在可以处于笑脸检测模式。通过选择输入键，输入了笑脸检测阈值等级修改模式。

[0096] 在笑脸检测阈值等级修改模式中，可通过选择右键来提高笑脸检测阈值等级。每当用户选择右键时，笑脸检测阈值等级的滑动条就向右移动，笑脸检测阈值等级被提高。

[0097] 可通过选择左键降低笑脸检测阈值等级。每当用户选择左键时，笑脸检测阈值等级的滑动条就向左移动，笑脸检测阈值等级被降低。

[0098] 当完成笑脸检测阈值等级的设定时，可以选择中心输入键以回到最初的笑脸检测模式。

[0099] 代替上述OSD平面上的用户操作，响应于来自输入图像中所检测对象面部的笑脸检测的频率，可以修改笑脸检测阈值等级。

[0100] 图8是笑脸检测阈值等级的自动调节的示图。图的横坐标表示时间，纵坐标表示笑脸检测阈值等级。

[0101] 对输入图像连续执行对象的面部检测。如果在N秒内没有检测到笑脸，则降低笑脸检测阈值等级。对每个周期重复执行这种处理。通过每个周期预定的常数降低笑脸检测阈值等级。

[0102] 为了避免连续检测笑脸，在笑脸检测阈值等级上设定下限。通过恒定值重复降低笑脸检测阈值等级，直到下限。在下限处，停止降低操作。如果在降低操作的中间检测到笑脸，则停止降低操作，并在该处保持笑脸检测阈值等级。

[0103] 如果不再从输入图像中检测到对象的面部图像，则笑脸检测阈值等级默认回其原始值。

[0104] 因此，响应于来自于输入图像的笑脸检测的状态自动调节笑脸检测阈值等级。

[0105] 图9是示出图8的笑脸检测阈值等级的自动调节流程的流程图。图9示出了被称作问题分析图(PDA)的流程，并因此示出了根据不同于日本工业标准(JIS)流程图的程序图技术的算法结构。该算法主要由连接、反复和选择三个基本单位表示。使用三个基本单位描述PDA。

[0106] 将用于对检测对象的面部或对象的笑脸的周期进行计数的定时器设定为0(P1)。将笑脸检测阈值等级初始化为默认值(P2)。然后，执行L1的循环处理。

[0107] 在循环L1中，在拍摄模式下重复下列处理：

[0108] 从输入图像中检测执行面部检测(C11)。如果检测到面部(C11中为是)，则确定是否从所检测面部中检测到笑脸(C21)。

[0109] 如果从所检测的面部中检测到笑脸(C21中为是)，则保持当前笑脸检测阈值等级(P31)。

[0110] 如果从所检测的面部中没有检测到笑脸(C21中为否)，则定时器在P41中计数值增加。当计时器的计数超过N秒(C31中为否)，则确定所保持的笑脸检测阈值等级是否达到下限(C41)。

[0111] 如果笑脸检测阈值等级达到下限(C41中为是)，则保持当前笑脸检测阈值等级(P51)。如果笑脸检测阈值等级没有达到下限，则低笑脸检测阈值等级(C51)。

[0112] 如果确定从输入图像中没有检测到面部(C11中为否)，则计时器复位至0(P21)，并初始化笑脸检测阈值等级(P22)。

[0113] 由此，成像装置1可以避免被置于待机状态，其中，成像装置准备通过对对象设定的视角检测笑脸，但仍保持在没有检测面部的未引发状态。成像装置还避免了甚至在对象没有怎么笑的时候就检测笑脸的易引发状态。

[0114] 本领域的技术人员应该理解，根据设计要求和其他因素，可以有多种修改、组合、再组合和改进，均应包含在本发明的权利要求或等同物的范围之内。