成像装置、成像方法

摘要

本发明公开了一种成像装置、成像方法和程序。该成像装置包括成像单元、预处理单元、信号处理单元和执行控制的控制单元，成像单元能够选择性地运行正常成像模式中的成像操作和组合成像模式中的成像操作，正常成像模式中的成像操作在一个单位周期中输出正常曝光图像信号，而组合成像模式中的成像操作输出长时和短曝光图像信号，预处理单元对正常曝光图像信号或长时和短曝光图像信号执行增益处理，信号处理单元通过对长时和短曝光图像信号进行组合来生成组合图像信号，在控制单元的控制中，通过根据正常或组合成像模式切换预处理单元的增益处理中的参考增益设置值，使得当成像单元处于组合成像模式时，参考增益设置值被设置为大于当成像单元处于正常成像模式时的参考增益设置值。

权利要求

1.一种成像装置，包括：

成像单元，该成像单元能够选择性地运行正常成像模式中的成像操作和组合成像模式中的成像操作，正常成像模式中的成像操作在一个单位周期中输出作为一种曝光图像信号的正常曝光图像信号，而组合成像模式中的成像操作在所述单位周期中输出与相对较长的曝光时间相对应的长曝光图像信号和与相对较短的曝光时间相对应的短曝光图像信号；

预处理单元，该预处理单元对所述正常曝光图像信号、或所述长曝光图像信号和所述短曝光图像信号执行增益处理；

信号处理单元，该信号处理单元通过对受到所述增益处理的所述长曝光图像信号和所述短曝光图像信号进行组合，来生成具有比所述长曝光图像信号和所述短曝光图像信号的动态范围中的至少一个相对较宽的动态范围的组合图像信号；以及控制单元，该控制单元执行通过根据所述正常成像模式和所述组合成像模式之一来切换所述预处理单元的增益处理中的参考增益设置值的控制，使得当所述成像单元处于所述组合成像模式时，所述参考增益设置值被设置为大于当所述成像单元处于所述正常成像模式时设置的参考增益设置值。

2.如权利要求1所述的成像装置，

其中所述预处理单元包括可编程增益放大器，并且

其中所述参考增益设置值是用于所述可编程增益放大器的参考增益设置值。

3.如权利要求1所述的成像装置，还包括响应于所述信号处理单元的输出执行检测的检测单元，其中所述控制单元响应于所述检测单元的输出执行曝光控制。

4.一种成像方法，包括以下步骤：

以正常成像模式中的成像操作和组合成像模式中的成像操作之一执行成像，正常成像模式中的成像操作在一个单位周期中输出作为一种曝光图像信号的正常曝光图像信号，而组合成像模式中的成像操作在所述单位周期中输出与相对较长的曝光时间相对应的长曝光图像信号和与相对较短的曝光时间相对应的短曝光图像信号；

对所述正常曝光图像信号、或所述长曝光图像信号和所述短曝光图像信号执行增益处理；

通过对受到所述增益处理的所述长曝光图像信号和所述短曝光图像信号进行组合，来生成具有比所述长曝光图像信号和所述短曝光图像信号的动态范围中的至少一个相对较宽的动态范围的组合图像信号；以及通过根据所述正常成像模式和所述组合成像模式之一切换所述增益处理中的参考增益设置值，来在所述组合成像模式的情况下，将所述参考增益设置值设置为大于在所述正常成像模式的情况下的参考增益设置值。

5.如权利要求4所述的成像方法，

其中所述参考增益设置值是用于可编程增益放大器的参考增益设置值。

说明书

成像装置、成像方法

技术领域

[0001] 本发明涉及可以选择性地运行正常成像模式中的成像操作和组合成像模式中的成像操作的成像装置、成像方法和程序，正常成像模式中的成像操作在一个单位周期中输出正常曝光图像信号，而组合成像模式中的成像操作在单位周期中输出与相对较长的曝光时间相对应的长曝光(long-time-exposure)图像信号和与相对较短的曝光时间相对应的短曝光(short-time-exposure)图像信号。

背景技术

[0002] 在使用诸如电荷耦合器件之类的固态成像器件的现有技术的成像装置中，通过控制孔径和电子快门速度来调节输入到成像器件的光(曝光)量。换句话说，控制曝光量。当成像是在亮场景中执行的时，曝光量被缩减以便防止由于成像器件的输出信号的饱和而发生的过曝光。相反地，对于暗场景，光量被增大以便防止所谓的欠曝光的发生。 [0003] 在对具有大的亮度差异的场景执行成像的情况下(例如背投式成像和室内-室外同时成像)，固态成像器件的动态范围的不足可能导致这样的问题，即只控制曝光量使得难以适当地再现亮部分和暗部分，这是因为亮部分倾向于饱和因此被过曝光，而暗部分倾向于欠曝光。

[0004] 为了解决这一问题，在日本未实审专利申请公布No.6-141229和相应的美国专利No.5,455,621中公开了一种方法，其中通过在一场中使用两个不同的电子快门速度，或者改变每一场中的电子快门速度，来分别执行对亮区域信息的成像和对暗区域信息的成像，并将所得到的信息处理为图像。

[0005] 另外，作为以上方法被应用到的装置，有一种可以对具有宽动态范围的图像执行成像的装置(宽动态范围照相机)，并且在日本未实审专利申 请公布No.2002-84449和2004-120205(相应的美国专利申请No.2006-0033823A1)中公开了一种提高组合图像的质量的装置和方法。

[0006] 一般而言，宽动态范围照相机的操作状态是两种类型之一：执行宽动态范围成像的组合成像模式和不执行宽动态范围成像的正常成像模式。在现有技术的宽动态范围照相机的曝光控制中，组合成像模式和正常成像模式具有共同的成像器件的输出幅度(工作区域)。如图8所示，工作区域被设置在低于成像器件的饱和区域的水平。这是因为当成像器件的工作区域延伸到饱和区域时，如图9所示，由于对于高亮度信号每个像素的动态范围的变化而生成了饱和不均匀性，并且高亮度部分中的图像质量恶化。

[0007] 然而，如上所述，当工作区域被设置在低于饱和区域的水平时，防止了饱和不均匀性的生成。显然，发生了新的问题，即工作区域的降低导致了信噪比的恶化。 [0008] 另外，希望的是在正常操作模式中，工作区域得以扩展。因此，其中尽可能地减小饱和均匀性的信号处理是必要的。

[0009] 在日本未实审专利申请公布No.7-240859中公开了一种成像装置，其中通过孔径校正防止了由于每个像素动态范围的变化而在白部分中生成的固定形式的噪声的增强，并且该装置被配置为获得宽动态范围。

[0010] 通过在正常成像模式的信号处理中使用该技术，可以扩展工作区域，并且可以增大信噪比。

[0011] 取决于照相机的目的，信噪比的恶化可能比饱和不均匀性更严重。在正常操作模式中，可能希望工作区域被扩展，即使不执行减小饱和不均匀性的上述处理。 发明内容

[0012] 如上所述，当工作区域被设置在低于饱和区域的水平时，可以防止饱和不均匀性的生成。然而，降低工作区域导致信噪比恶化的问题在宽动态范围照相机中仅仅在正常成像模式中很重要。在组合成像模式中，该问题并不重要，因为组合成像模式的主要目的是扩展动态范围。在组合成像模式中，包括饱和不均匀性的图像的组合导致图像质量恶化；该恶化取决于 用于组合处理的信号处理。因而，有必要设置工作区域完全低于饱和区域。 [0013] 考虑到现有技术的以上情形，希望提供这样一种成像装置、成像方法和程序，当选择性地运行正常成像模式中的成像操作(该操作输出一种曝光图像信号)和组合成像模式中的成像操作(该操作在单位周期中输出与相对较长的曝光时间相对应的长曝光图像信号和与相对较短的曝光时间相对应的短曝光图像信号)时，该成像装置、成像方法和程序增大了正常成像模式中的信噪比，并且防止了组合成像模式中的饱和不均匀性。 [0014] 根据本发明的一个实施例，提供了一种成像装置，包括成像单元、预处理单元、信号处理单元和执行控制的控制单元，成像单元能够选择性地运行正常成像模式中的成像操作和组合成像模式中的成像操作，正常成像模式中的成像操作在一个单位周期中输出作为一种曝光图像信号的正常曝光图像信号，而组合成像模式中的成像操作在单位周期中输出与相对较长的曝光时间相对应的长曝光图像信号和与相对较短的曝光时间相对应的短曝光图像信号；预处理单元对正常曝光图像信号、或长曝光图像信号和短曝光图像信号执行增益处理；信号处理单元通过对受到增益处理的长曝光图像信号和短曝光图像信号进行组合，来生成具有比长曝光图像信号和短曝光图像信号的动态范围中的至少一个相对较宽的动态范围的组合图像信号；在控制单元的控制中，通过根据正常成像模式和组合成像模式之一切换预处理单元的增益处理中的参考增益设置值，使得当成像单元处于组合成像模式时，参考增益设置值被设置为大于当成像单元处于正常成像模式时设置的参考增益设置值。

[0015] 根据本发明的另一个实施例，提供了一种成像方法，包括以下步骤：以正常成像模式中的成像操作和组合成像模式中的成像操作之一执行成像，正常成像模式中的成像操作在一个单位周期中输出作为一种曝光图像信号的正常曝光图像信号，而组合成像模式中的成像操作在单位周期中输出与相对较长的曝光时间相对应的长曝光图像信号和与相对较短的曝光时间相对应的短曝光图像信号；对正常曝光图像信号或长曝光图像信号和短曝光图像信号执行增益处理；通过对受到增益处理的长曝光图像信号和短 曝光图像信号进行组合，来生成具有比长曝光图像信号和短曝光图像信号的动态范围中的至少一个相对较宽的动态范围的组合图像信号；以及通过根据正常成像模式和组合成像模式之一切换增益处理中的参考增益设置值，来在组合成像模式的情况下，将参考增益设置值设置为大于在正常成像模式的情况下的参考增益设置值。

[0016] 根据本发明的另一个实施例，提供了一种用于使得计算机运行成像方法的程序，该成像方法包括以下步骤：以正常成像模式中的成像操作和组合成像模式中的成像操作之一执行成像，正常成像模式中的成像操作在一个单位周期中输出作为一种曝光图像信号的正常曝光图像信号，而组合成像模式中的成像操作在单位周期中输出与相对较长的曝光时间相对应的长曝光图像信号和与相对较短的曝光时间相对应的短曝光图像信号；对正常曝光图像信号或长曝光图像信号和短曝光图像信号执行增益处理；通过对受到增益处理的长曝光图像信号和短曝光图像信号进行组合，来生成具有比长曝光图像信号和短曝光图像信号的动态范围中的至少一个相对较宽的动态范围的组合图像信号；以及通过根据正常成像模式和组合成像模式之一切换增益处理中的参考增益设置值，来在组合成像模式的情况下，将参考增益设置值设置为大于在正常成像模式的情况下的参考增益设置值。 附图说明

[0017] 图1是示出本发明被应用到的成像装置的配置的框图；

[0018] 图2A和2B是图示成像装置中的长曝光和短曝光的图表；

[0019] 图3是图示成像装置中的组合处理的图表；

[0020] 图4是示出通过在预处理单元中改变PGA的增益设置来改变成像器件的工作区域的状态的图示；

[0021] 图5是示出成像装置中的组合成像模式下的参考增益设置值的图示； [0022] 图6是示出成像装置中的正常成像模式下的参考增益设置值的图示； [0023] 图7是示出成像装置的操作的流程图；

[0024] 图8是示出在现有技术的宽动态范围照相机的曝光控制中的工作区域的设置状态的电荷耦合器件光电转换特性图表；以及

[0025] 图9是示出由现有技术的宽动态范围照相机获得的图像的亮度信号的波形图。 具体实施方式

[0026] 将参考附图详细描述本发明的实施例。本发明并不限于以下示例。显然，本发明可以在不脱离其精神的前提下自由地改变。

[0027] 本发明被应用于例如具有图1中所示的配置的成像装置10。

[0028] 这里，成像装置10是能够以用于宽动态范围照相机的组合成像模式来进行成像操作的成像装置，并且例如适合用作监视照相机。很明显，成像装置10可以用作普通用户所用的数字静态照相机、数字视频照相机等等。

[0029] 成像装置10包括成像光学系统1、成像元件单元2、预处理单元3、信号处理单元4、输出单元5、检测单元6、定时发生器7、光学组件驱动单元8、控制单元9、操作单元11和显示单元12。

[0030] 成像光学系统1包括透镜和消除不必要的波长的滤光镜以及孔径1a。从对象入射的光经由成像光学系统1中的光学组件被引导到成像元件单元2。

[0031] 成像元件单元2被配置为诸如电荷耦合器件(CCD)传感器阵列或互补金属氧化物半导体(CMOS)传感器阵列之类的固态图像单元。成像元件单元2对经由成像光学系统1引导的光进行光电转化，并输出电信号作为所捕获图像。在成像装置10中，成像元件单元2以正常成像模式和组合成像模式执行不同的曝光处理。

[0032] 换句话说，如图2A所示，在正常成像模式中，成像元件单元2执行在一场周期中曝光预定时间的正常曝光，并输出电信号作为曝光图像信号。在组合成像模式中，如图2B所示，成像元件单元2在一场周期中执行长曝光和短曝光，并时分输出电信号作为长曝光图像信号和短曝光图像信号。

[0033] 在以下描述中，为了描述的简短，如图2A所示正常成像模式中的曝光操作被称为“正常曝光”。因此，正常成像模式中的曝光操作与如图 2B所示组合成像模式中的“长曝光”和“短曝光”相区分。另外，通过正常曝光获得的曝光图像信号被称为“正常曝光图像信号”，并且与“长曝光图像信号”和“短曝光图像信号”相区分。

[0034] 成像元件单元2并不限于使用固态成像器件的配置。例如，可以采用这样的配置，其中例如使用诸如图像拾取管之类的非固态成像器件。关于非固态成像器件，通过使用机械快门、液晶快门等，可以执行长曝光或短曝光，并且可以改变正常曝光、长曝光和短曝光中的每一种的曝光时间。

[0035] 这里，下面将提到正常成像模式和组合成像模式。

[0036] 在通常使用的成像装置中的正常成像操作(正常成像模式)下，很难应对从对象的极暗部分到对象的极亮部分的宽动态范围。例如，在可以看见室外场所的状态下、在很好的天气中的白天时间的室内场所中执行成像的情况下，当曝光参考是基于室外场所中的对象设置的时，室外部分丢失灰度，并且生成了过曝光的高亮部分。相反地，当曝光参考是基于室外部分设置的时，室内对象具有欠曝光状态。换句话说，在对象的亮度存在大的差异的情况下，很难获得与亮度的动态范围相匹配的所捕获图像。

[0037] 与此不同，在组合成像模式下的成像操作中，通过使用例如电子快门来改变快门速度并执行组合具有不同曝光时间的多个图像的处理，可以获得具有宽动态范围并且无过曝光高亮和欠曝光状态的所捕获图像。

[0038] 然而，组合成像模式中获得的图像可能导致对眼睛有轻微的不自然感。因此，取决于用户的偏好、成像目的等，优选地在执行成像的情况下在正常成像模式和组合成像模式之间切换。

[0039] 图2A和2B中的每一个示出了在一场中的曝光时间和在成像元件单元2中的累积曝光(电荷)量。

[0040] 图2A示出了正常成像模式的情况，其中在作为成像单位周期的1/60秒的一场周期中执行曝光。尽管在图2A中曝光时间是1/60秒，但是显然，曝光时间并不限于1/60秒。某一曝光时间被设置为电子快门速度。在成像元件单元2中，在一场周期中针对某一曝光时间执行曝光，并且获得一场的曝光图像信号。对曝光图像信号执行信号处理以生成一场的所捕获图像数据。

[0041] 图2B示出了组合成像模式的情况。图2B表明，在具有1/60秒的一场中，执行了具有1/64秒的长曝光和具有1/2000秒的短曝光。长曝光时间和短曝光时间可以被控制改变。

[0042] 通过在一场周期中执行长曝光和短曝光，获得了长曝光图像信号和短曝光图像信号。另外，通过组合这两种图像信号，生成了一场的所捕获图像数据。

[0043] 长曝光和短曝光不需要在一场周期中执行。相反，这样的处理也是可能的，其中在多场周期中执行长曝光，而在下一个多场周期中执行短曝光，并且对曝光图像信号进行组合。

[0044] 图3示出了长曝光图像信号的输入/输出亮度特性L和短曝光图像信号的输入/输出亮度特性S，以说明针对长曝光图像信号和短曝光图像信号的组合处理。 [0045] 在组合处理中，例如由亮度阈值代表的切换点被用作组合位置。具有低于组合位置(即，切换点)的亮度的每个像素采用像素信号作为长曝光图像信号。具有高于组合位置(即，切换点)的亮度的每个像素采用像素信号作为短曝光图像信号。此时，通过将短曝光图像乘以长曝光图像和短曝光图像之间的曝光比，执行了这两种图像的水平匹配。 [0046] 如果长曝光图像和短曝光图像之间的曝光比是10：1，则针对短曝光图像的曝光是针对长曝光图像的曝光的1/10。然而，存在的光量是短曝光图像的亮度信号水平的十倍。因此，通过将短曝光图像信号乘以作为增益K的10，执行了水平匹配。

[0047] 如上所述，针对短曝光图像信号执行增益相乘，并且，如图3所示，获得了其水平与长曝光图像信号特性相匹配的特性KS。

[0048] 结果，生成了由特性L-KS表示的组合图像。换句话说，关于组合图像，对象的相对较暗区域提供了基于长曝光图像信号并且没有欠曝光状态的部分，而对象的相对较亮区域提供了基于短曝光图像信号并且没有过曝光高亮部分的部分。

[0049] 关于组合成像模式以捕获具有宽动态范围的对象的图像(其中输出图像包括亮部分到暗部分)的技术，不仅有如上所述的用于组合具有不同曝 光时间的亮和暗图像的技术，还有各种技术。

[0050] 例如，有这样一种技术，其中在以像素为单位改变灵敏度的同时仅从成像器件中提取出基于相同曝光条件的信号，再现图像，并对具有不同曝光条件的一个或至少两个图像进行组合。

[0051] 另外，还有一种技术，该技术对来自具有光缩减功能的成像器件的光输出进行组合，具有光缩减功能的成像器件例如是中性滤光镜，其中入射光被棱镜分割并且所发送的光在所有波长上都被缩减，即，入射光的量被均等地缩减。

[0052] 根据采用这些技术的组合成像模式，可以获得比在正常成像模式下的成像情况宽得多的动态范围。因此，可以执行对具有宽动态范围(在输出图像中包括极亮部分到极暗部分)的对象的成像。例如，组合成像模式适用于在具有强外部光的房间中、在具有大照明差异的场所中等等成像的情况。具体而言，组合成像模式对于这样的情况是优选的：在诸如到建筑物(例如银行)的入口或公路之类的场所中执行成像的情况下，动态范围根据诸如白天或夜间之类的时间区有极大地不同。

[0053] 成像装置10中的预处理单元3是所谓的模拟前端。预处理单元3对从成像元件单元2输出的作为所捕获图像的电信号执行相关双采样(CDS)、增益处理和模数转换处理。预处理单元3将通过以上处理获得的曝光图像信号提供给信号处理单元4。换句话说，在正常成像模式中，预处理单元3将正常曝光图像信号提供给信号处理单元4。在组合成像模式中，预处理单元3将长曝光图像信号和短曝光图像信号提供给信号处理单元4。 [0054] 信号处理单元4通过对正常成像模式和组合成像模式中的每一种执行必要的信号处理来生成所捕获图像数据。

[0055] 例如，在正常成像模式中，通过对输入的正常曝光图像信号执行诸如伽马校正处理和白平衡处理之类的处理，生成了所捕获图像数据。

[0056] 另外，在组合成像模式中，对作为输入的长曝光图像信号和短曝光图像信号执行参考图3所描述的组合处理。换句话说，信号处理单元4对时分提供的长曝光图像信号和短曝光图像信号执行定时调节和颜色平衡校正 处理，并执行使得短曝光图像信号的亮度水平与长曝光图像信号的亮度水平一致的增益处理，以及组合处理。信号处理单元4还通过对组合图像信号执行伽马校正处理和白平衡处理来生成所捕获图像数据。 [0057] 信号处理单元4将所生成的所捕获图像数据输出到输出单元5和检测单元6。 [0058] 输出单元5对来自信号处理单元4的所捕获图像数据执行用于显示在监视显示器上的处理，或用于发送到外部设备的处理。

[0059] 检测单元6计算累积亮度值，作为对来自信号处理单元4的所捕获图像数据的测光处理，并将累积亮度值提供给控制单元9。在检测单元6中，根据来自控制单元9的指令选择要运行的测光方法。作为测光方法，可以运行中心加权度量方法、评估度量方法、平均度量方法和部分曝光度量方法。这些测光方法在图像区域中具有不同的检测帧。检测单元6向控制单元9提供由要运行的每种测光方法设置的每个检测帧。

[0060] 控制单元9例如由包括中央处理单元(CPU)、只读存储器(ROM)、随机访问存储器(RAM)和闪存的微计算机形成，并且控制整个成像装置10的操作。

[0061] 另外，控制单元9控制形成成像处理系统的成像元件单元2、预处理单元3、信号处理单元4和定时发生器7，以运行正常成像模式和组合成像模式中的每一种的成像操作。 [0062] 另外，控制单元9控制检测单元6以指定累积亮度帧。

[0063] 另外，控制单元9改变要赋予预处理单元3的可编程增益放大器(PGA)3a的增益，以改变组合成像模式和正常成像模式中的每一种中的工作区域。通过使用最优的增益设置作为参考增益设置来执行曝光处理。

[0064] 图4示出了通过改变PGA3a的增益设置来改变成像器件的工作区域的状态。 [0065] 换句话说，输出信号的工作区域被固定。因而，输入信号区域被增益设置改变。输入信号的最大值由下式表示：

[0066] IN＝OUT/X

[0067] 其中输出信号的最大值是OUT，增益是X倍。因此，工作区域被设 置。 [0068] 这里，关于在组合成像模式和正常成像模式中的每一种中通过参考增益设置改变工作点的示例，讨论这样一种情况，其中当成像器件的输出是500至600mV时，每个像素的动态范围的变化出现，并且生成了由饱和引起的不均匀性。

[0069] 在组合成像模式中，包括由饱和引起的不均匀性的组合信号导致图像恶化。因而，如图5所示，有必要设置高达500mV(在此处生成由饱和引起的不均匀性)的区域作为工作区域。因此，增益设置被加倍。组合成像模式中的参考增益设置值被称为WDGAIN。 [0070] 另外，在正常成像模式中，有必要尽可能地扩展工作区域以增大信噪比。因而，如图6所示，为了设置直到饱和的高达600mV的区域作为工作区域，增益设置被设置为1.67倍。正常成像模式中的参考增益设置值被称为NMGAIN。

[0071] 组合成像模式中的参考增益设置值由WDGAIN>NMGAIN表示。即，组合成像模式中的参考增益设置值WDGAIN大于正常成像模式中的参考增益设置值NMGAIN。 [0072] 控制单元9中的ROM存储用于运行以上控制处理的成像控制程序。基于成像控制程序，运行以上类型的控制所必需的计算和控制处理。

[0073] 定时发生器7生成诸如CCD之类的成像元件单元2所必需的操作脉冲。例如，定时发生器7生成各种类型的脉冲，例如用于垂直传送的四相位脉冲、场偏移脉冲、用于水平传送的两相位脉冲和快门脉冲，并将所生成的脉冲提供给成像元件单元2。成像元件单元2可以被定时发生器7驱动(电子快门功能等)。当被控制单元9指示激活正常成像模式时，定时发生器7允许成像元件单元2运行一场周期中预定时间的正常曝光，如图2A所示。当被控制单元9指示激活组合成像模式时，定时发生器7允许成像元件单元2运行具有相对较长的曝光时间的长曝光和具有相对较短的曝光时间的短曝光。

[0074] 很明显，正常成像模式中的正常曝光时间、以及组合成像模式中的长时和短曝光时间可以改变。

[0075] 光学组件驱动单元8被用于驱动成像光学系统1中的光学组件。例如，光学组件驱动单元8包括驱动孔径1a以调节入射光量的驱动电路部分。

[0076] 操作单元11和显示单元12被提供用于用户接口。操作单元11响应于用户操作将操作信息输出到控制单元9。

[0077] 响应于来自控制单元9的指令，显示单元12显示要显示的信息，例如操作状态、时间信息、模式信息和消息。

[0078] 操作单元11和显示单元12可以与成像装置10相分离。另外，要显示在显示单元12上的信息可以显示在监视显示器上，以通过将例如作为字符图像的信息叠加在输出单元
5中的所捕获图像数据上来显示所捕获图像。

[0079] 在具有上述配置的成像装置10中，基于控制单元9的控制，根据图7中所示的流程图来执行成像操作。

[0080] 在成像装置10开始成像操作之后，在步骤ST1中，控制单元9执行操作模式判定，判定组合成像模式是否被激活。如果控制单元9得到了肯定的判定，即，如果组合成像模式被激活，则控制单元9进行到步骤ST2-1，并且执行组合成像处理。或者，如果控制单元9得到了否定的判定，即，如果正常成像模式被激活，则控制单元9进行到步骤ST2-2，并且执行正常成像处理。

[0081] 在步骤ST2-1的组合成像处理中，控制单元9使用定时发生器7来控制成像元件单元2的驱动并在成像元件单元2中设置一个电子快门速度，并且运行如图2B所示的长曝光和短曝光。换句话说，定时发生器7可以在一场周期中设置两个不同的电子快门速度，并且允许成像元件单元2在一场周期中运行如图2B所示的长曝光和短曝光。这使得可以获得基于不同曝光量的两个所捕获图像信号，例如与1/64秒曝光时间相对应的长曝光图像信号和与1/2000秒曝光时间相对应的短曝光图像信号。长曝光图像信号和短曝光图像信号被预处理单元3处理，并且处理后的信号被提供给信号处理单元4。

[0082] 在步骤ST3-1中，控制单元9使用在PGA中设置的参考增益设置值作 为组合成像模式中的参考增益设置值WDGAIN，从而从饱和区域降低工作点，因而防止了由饱和引起的不均匀性的生成。

[0083] 在步骤ST4中，控制单元9控制信号处理单元4以参考图3所描述的技术执行组合处理。

[0084] 换句话说，在组合成像模式中，信号处理单元4对由预处理单元3数字化的长曝光图像信号和短曝光图像信号进行组合以扩展动态范围，并将组合信号输出到输出单元5和检测单元6。

[0085] 另外，在步骤ST2-2的正常成像处理中，定时发生器7控制成像元件单元2的驱动，并且在成像元件单元2中设置一个电子快门速度。定时发生器7控制成像元件单元2在一场周期中运行预定时间的正常曝光，并生成正常曝光图像信号。正常曝光图像信号被预处理单元3处理，并且处理后的信号被提供给信号处理单元4。在正常成像模式中，信号处理单元4不执行组合，并将正常曝光图像信号输出到输出单元5和检测单元6。 [0086] 在步骤ST5中，检测单元6执行检测处理。

[0087] 在步骤ST5的检测处理中，检测单元6生成由控制单元9指定的检测帧中的累积亮度值，并针对每一场将累积亮度值发送到控制单元9。

[0088] 在步骤ST6中，控制单元9执行曝光控制处理。

[0089] 在步骤ST6的曝光控制处理中，控制单元9使用从检测单元6接收的累积亮度值来由当前亮度和目标亮度之间的差异计算用于孔径1a的孔径值、成像元件单元2的长曝光时间和短曝光时间、以及预处理单元3的PGA所必需的控制值，从而执行适当的曝光控制。换句话说，对象的亮度越低，在PGA中设置的增益就增大的越多。对象的亮度越高，在PGA中设置的增益就减小的越多。另外，随着对象的亮度变高，通过控制孔径1a的关闭来执行亮度调节。

[0090] 换句话说，在成像装置10中，由可以选择性地运行正常成像模式中的成像操作和组合成像模式中的成像操作的成像元件单元2获得的曝光图像信号、或者长曝光图像信号和短曝光图像信号被预处理单元3放大，并且放大后的信号被提供给信号处理单元4。信号处理单元4通过对在正常成像模式下的成像操作中获得的曝光图像信号执行信号处理来生成图像信 号，并对由成像元件单元2在组合成像模式下的成像操作中获得的长曝光图像信号和短曝光图像信号进行组合，从而生成具有比长曝光图像信号和短曝光图像信号中的至少一个宽的动态范围的组合图像信号。在这种情况下，控制单元9根据成像元件单元2中的成像模式切换预处理单元3中的参考增益设置值，从而，当成像元件单元2处于组合成像模式的图像操作状态时，执行控制以使得参考增益设置值大于当成像元件单元2处于正常成像模式的成像操作状态时的参考增益设置值。

[0091] 如上所述，在成像装置10中，通过在组合成像模式和正常成像模式中的每一种中切换成像器件的工作区域，在正常成像模式中，工作点被扩展到饱和区域以增大信噪比。在组合成像模式中，工作点被设置为比饱和区域低，从而防止了基于饱和的不均匀性，因而可以获得对于这两种成像模式最优的图像质量。

[0092] 在成像装置10中，根据本发明的成像控制程序是控制单元9中的上述处理程序，即，使得由微计算机形成的控制单元9运行图7中所示的步骤的程序。

[0093] 该程序可以预先记录在内建在诸如成像装置10之类的设备中的硬盘驱动器(作为记录介质)内，或者记录在包括CPU的微计算机中的只读存储器、闪存等中。 [0094] 或者，程序可以临时或永久地存储(记录)在可移动记录介质中，例如致密盘只读存储器、磁光盘、数字多功能盘、蓝光光盘、磁盘、半导体存储器或存储卡。该可移动记录介质可以提供为所谓的打包软件。

[0095] 成像控制程序可以从可移动记录介质安装到个人计算机等上。另外，成像控制程序可以经由诸如局域网或因特网之类的网络从下载站点下载。

[0096] 已经描述了实施例。然而，本发明可以作各种修改。

[0097] 尽管本发明例如可以应用于执行运动图像成像的照相机系统，但是它也可以应用于执行静止图像成像的照相机系统。即使静止图像成像是在设置的曝光模式下执行的，在直到例如成像定时的监视期间，在每一场周期中，也可以执行上述的曝光控制(短曝光时间的控制)。

[0098] 另外，在执行非交织扫描成像的情况下，场周期中的上述处理可以被 认为是帧周期中的处理。

[0099] 显然，图像信号的单位周期可以是各种周期，例如一场周期、一帧周期、多场周期和多帧周期，无论扫描方法如何。例如，这样的操作示例是可能的，其中检测处理、曝光校正处理和曝光控制处理例如在多场周期中执行一次。

[0100] 本领域技术人员应当理解，取决于设计需求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们在权利要求及其等同物的范围内。

[0101] 本发明包含与2007年9月28日向日本专利局提交的日本专利申请JP2007-255207相关的主题，这里通过引用将该申请的全部内容并入。