摄像装置以及摄像方法

摘要

在以多个不同的曝光时间连续多次使摄像部（202）曝光而获得的曝光量不同的多个图像数据中，将在曝光时间最短的曝光时获得的图像数据决定为基准图像数据（S209）。第1合成处理部（220）根据基准图像数据进行参照图像数据的对位来执行第1合成处理（S210）。第2降噪处理部（223）对由第1合成处理获得的第1合成图像数据实施第2降噪处理（S212），第1降噪处理部（222）对基准图像数据实施第1降噪处理（S214）。第2合成处理部（221）根据第1合成处理的结果进行合成基准图像数据与第1合成图像数据的第2合成处理（S215）。

权利要求

1.一种摄像装置，其特征在于，具备：

摄像部，其对通过摄像镜头接收到的光进行光电转换来获得图像数据；

摄像控制部，其进行控制，将所述摄像部的光圈值和ISO灵敏度设为固定状态，且使所述摄像部以多个不同的曝光时间连续多次进行曝光，在所述摄像部中获得曝光量不同的多个图像数据；

基准图像决定部，其将所述曝光量不同的多个图像数据中的1个决定为基准图像数据；

相关量检测部，其针对所述曝光量不同的多个图像数据中除了所述基准图像数据之外的多个图像数据中的每一个数据，分别计算该多个图像数据中的每一个数据与所述基准图像数据之间的相关量；

第1合成处理部，其根据所述相关量检测部所检测出的相关量，以在所述基准图像决定部中决定的所述基准图像数据为基准来合成所述曝光量不同的多个图像数据，生成第1合成图像数据；以及第2合成处理部，其对所述基准图像数据与所述第1合成图像数据进行合成，所述基准图像决定部将所述曝光量不同的多个图像数据中曝光时间最短的图像数据决定为所述基准图像数据。

2.根据权利要求1所述的摄像装置，其特征在于，

所述摄像控制部进行控制，使所述摄像部按照曝光时间从短到长的顺序进行多次曝光，所述基准图像决定部将通过最初的曝光在所述摄像部中获得的图像数据决定为所述基准图像数据。

3.根据权利要求1所述的摄像装置，其特征在于，

所述摄像控制部进行控制，使所述摄像部按照曝光时间从长到短的顺序进行多次曝光，所述基准图像决定部将通过最后的曝光在所述摄像部中获得的图像数据决定为所述基准图像数据。

4.一种摄像方法，其特征在于，

利用摄像控制部将摄像部的光圈值和ISO灵敏度设为固定状态，且使摄像部以多个不同的曝光时间连续多次进行曝光，获得曝光量不同的多个图像数据，利用基准图像决定部将由所述摄像部获得的曝光量不同的多个图像数据中的曝光时间最短的图像数据决定为基准图像数据，利用相关量检测部，针对所述曝光量不同的多个图像数据中除了所述基准图像数据之外的多个图像数据中的每一个数据，分别检测该多个图像数据中的每一个数据与所述基准图像数据之间的相关量，利用第1合成处理部，根据所述相关量检测部所检测出的相关量，以在所述基准图像决定部中决定的所述基准图像数据为基准来合成所述曝光量不同的多个图像数据，生成第

1合成图像数据，

利用第2合成处理部，对所述基准图像数据与所述第1合成图像数据进行合成。

说明书

摄像装置以及摄像方法

技术领域

[0001] 本发明涉及摄像装置以及摄像方法。

背景技术

[0002] 近年来，公知有通过合成由多次曝光获得的多个图像数据来实现降噪或动态范围扩大这样的技术。在合成多个图像数据的过程中，当产生手抖动或被摄体抖动时，无法正确地合成多个图像数据。作为在产生手抖动或被摄体抖动时也能合成多个图像数据的方法，公知有将多个图像数据中的某图像数据作为基准图像数据并以该基准图像数据为基准进行图像数据间的对位后再合成的方法（例如，参照日本特开2009-194700号公报）。

发明内容

[0003] 这里，在日本特开2009-194700号公报等的现有技术中没有特别提及基准图像数据的决定方法。但是，合成后的图像数据的画质根据基准图像数据的决定方法而较大地变化。因此，希望从多个图像数据中决定最优的基准图像数据进行合成。

[0004] 本发明是鉴于上述情况而作出的，其目的是提供可合成由多次曝光而获得的多个图像数据来生成高画质的图像数据的摄像装置以及摄像方法。

[0005] 为了达到上述目的，本发明第1方式的摄像装置的特征是，具备：摄像部，其对通过摄像镜头接收到的光进行光电转换来获得图像数据；摄像控制部，其进行控制，使所述摄像部以多个不同的曝光时间连续多次进行曝光，在所述摄像部中获得曝光量不同的多个图像数据；基准图像决定部，其将所述曝光量不同的多个图像数据中的1个决定为基准图像数据；

[0006] 相关量检测部，其检测所述基准图像数据与所述曝光量不同的多个图像数据中除了所述基准图像数据之外的图像数据之间的相关量；第1合成处理部，其根据所述相关量检测部所检测出的相关量，以在所述基准图像决定部中决定的所述基准图像数据为基准来合成所述曝光量不同的多个图像数据，生成第1合成图像数据；以及第2合成处理部，其对所述基准图像数据与所述第1合成图像数据进行合成，所述基准图像决定部将所述曝光量不同的多个图像数据中曝光时间最短的图像数据决定为所述基准图像数据。

[0007] 另外，为了达到上述目的，本发明第2方式的摄像方法的特征是，利用摄像控制部使摄像部以多个不同的曝光时间连续多次进行曝光，获得曝光量不同的多个图像数据，利用基准图像决定部将由所述摄像部获得的曝光量不同的多个图像数据中的曝光时间最短的图像数据决定为基准图像数据，利用相关量检测部检测所述基准图像数据与所述曝光量不同的多个图像数据中除了所述基准图像数据之外的图像数据之间的相关量，利用第1合成处理部，根据所述相关量检测部所检测出的相关量，以在所述基准图像决定部中决定的所述基准图像数据为基准来合成所述曝光量不同的多个图像数据，生成第1合成图像数据，利用第2合成处理部，对所述基准图像数据与所述第1合成图像数据进行合成。

附图说明

[0008] 图1是示出作为本发明各实施方式的摄像装置的一例的数字照相机的结构的框图。

[0009] 图2是示出作为本发明第1实施方式的摄像方法的一例的数字照相机的摄影动作的流程图。

[0010] 图3是示出基准图像数据的决定处理的流程图。

[0011] 图4是示出作为本发明第2实施方式的摄像方法的数字照相机的摄影动作的第1例的流程图。

[0012] 图5是示出作为本发明第2实施方式的摄像方法的数字照相机的摄影动作的第2例的流程图。

具体实施方式

[0013] 以下，参照附图来说明本发明的实施方式。

[0014] [第1实施方式]

[0015] 图1是示出作为本发明各实施方式的摄像装置的一例的数字照相机的结构的框图。图1所示的数字照相机10是镜头更换式的数字照相机。但是，数字照相机10并非必需是镜头更换式的数字照相机，也可以是镜头一体式的数字照相机。

[0016] 图1所示的数字照相机10具有更换式镜头100和照相机主体200。更换式镜头100构成为相对于照相机主体200拆装自如。当照相机主体200上安装有更换式镜头100时，更换式镜头100与照相机主体200通信自如地进行连接。由此，更换式镜头100成为可根据照相机主体200的控制进行动作的状态。

[0017] 更换式镜头100具有摄像镜头101、光圈102、驱动器103、镜头微计算机104和闪速存储器105。

[0018] 摄像镜头101是用于将来自未图示的被摄体的光束会聚到照相机主体200内的摄像元件202的光学系统。该摄像镜头101具有对焦镜头以及变焦镜头等多个镜头。

[0019] 光圈102构成为开闭自如，用于调整经由摄像镜头101入射的光束的量。驱动器103具有电动机等。该驱动器103根据镜头微计算机104的控制沿着其光轴方向驱动摄像镜头101内的对焦镜头及变焦镜头，或者对光圈102进行开闭驱动。

[0020] 镜头微计算机104在将更换式镜头100安装到照相机主体200上时经由接口（I/F）106与照相机主体200内的微计算机215通信自如地进行连接。该镜头微计算机104根据来自微计算机215的控制来使驱动器103进行驱动。另外，镜头微计算机104将在闪速存储器105中存储的更换式镜头100的镜头信息等经由I/F106向微计算机215通信。

[0021] 闪速存储器105存储有摄像镜头101的像差信息等镜头信息或执行更换式镜头100的动作所需要的程序等。

[0022] 照相机主体200具有机械快门201、摄像元件202、模拟处理部203、模拟/数字（A/D）转换部204、总线205、帧存储器206、AE处理部207、AF处理部208、图像处理部209、图像压缩解压缩部210、存储器接口（I/F）211、记录介质212、显示驱动器213、显示部214、微计算机215、操作部216、闪速存储器217、运动矢量计算部218、振动传感器219、第1合成处理部220、第2合成处理部221、第1降噪处理（NR）部222和第2降噪处理（NR）部223。

[0023] 机械快门201构成为移动自如，使摄像元件202的光电转换面成为遮光状态或曝光状态。通过使该机械快门201移动来调整摄像元件202的曝光时间。

[0024] 摄像元件202具有使通过摄像镜头101会聚的来自被摄体的光束成像的光电转换面。光电转换面构成为2维地配置有多个像素。另外，在光电转换面的光入射侧设置有滤色镜。这样的摄像元件202将在光电转换面上形成的与光束对应的像（被摄体像）转换为与其光量对应的电信号（以下，称为图像信号）后进行输出。

[0025] 这里，摄像元件202已知有CCD方式或CMOS方式等各种结构的摄像元件。另外，滤色镜的颜色排列也公知有拜尔排列等各种排列。在本实施方式中，摄像元件202的结构不限于特定的结构，可采用各种结构的摄像元件。

[0026] 模拟处理部203对由摄像元件202获得的图像信号实施CDS（相关双采样）处理或AGC（自动增益控制）处理等模拟处理。A/D转换部204将在模拟处理部203中模拟处理的图像信号转换为数字信号（以下，称为图像数据）。

[0027] 这里，摄像元件202、模拟处理部203、A/D转换部204作为摄像部的一例发挥功能。

[0028] 总线205是用于传输在照相机主体200内部产生的各种数据的传输通路。帧存储器206是用于暂时存储在照相机主体200内部产生的各种数据的存储部。这里，帧存储器206例如是SDRAM。

[0029] AE处理部207采用图像数据来计算被摄体亮度。此外，被摄体亮度不仅仅根据图像数据进行计算，例如也可以通过专用测光传感器进行测定。AF处理部208从图像数据中取出高频分量的信号，对所取出的高频分量信号进行累计来取得AF用的对焦评价值。

[0030] 图像处理部209进行对图像数据的各种图像处理。图像处理部209具有白平衡（WB）校正部2091、同时化处理部2092、颜色再现处理部2093等。

[0031] WB校正部2091对图像数据实施白平衡校正处理，即乘以用于校正图像数据色平衡的增益。同时化处理部2092对图像数据实施同时化处理，该同时化处理是将拜尔排列等的1个像素与1个颜色分量对应的图像数据转换为1个像素与多个颜色分量对应的图像数据。颜色再现处理部2093对图像数据实施用于进行色相或饱和度调整的矩阵运算等与图像的颜色再现相关的处理。

[0032] 图像压缩解压缩部210在记录图像时，对由图像处理部209中的图像处理获得的图像数据实施JPEG方式等的压缩处理。另外，图像压缩解压缩部210在图像再现时对已实施压缩处理的图像数据实施解压缩（解码）处理。

[0033] 存储器I/F211是用于微计算机215等访问记录介质212的接口。记录介质212例如是在照相机主体200上拆装自如的存储卡。该记录介质212记录图像文件等。

[0034] 显示驱动器213将由图像处理部209获得的图像数据或由图像压缩解压缩部210解压缩的图像数据转换为影像信号后输出至显示部214。显示部214例如是液晶显示器（LCD）。该显示部214显示基于从显示驱动器213输入的影像信号的图像。

[0035] 微计算机215具有作为摄像控制部的功能，并控制机械快门201或摄像元件202的动作。另外，微计算机215控制图像处理部209或显示驱动器213等照相机主体200的各部的动作。另外，微计算机215采用AE处理部207所运计算的被摄体亮度进行AE处理，或者采用AF处理部208所运计算的AF评价值进行AF处理。另外，微计算机215在安装更换式镜头100时还控制更换式镜头100的动作。此外，本实施方式中的微计算机215还具有作为基准图像决定部的功能。具体地说，微计算机215从作为后述多次曝光的结果获得的多个图像数据中决定基准图像数据。

[0036] 操作部216是由用户进行操作的各种操作部件。作为操作部216例如包含有释放按钮、电源按钮或选择键等。释放按钮是用于指示执行摄影动作的操作部。电源按钮是用于指示照相机主体200的电源接通或断开的操作部。此外，这些按钮可构成为通过触摸面板来操作一部分或全部的虚拟操作部。

[0037] 闪速存储器217存储例如在白平衡校正用的白平衡增益或颜色再现处理中采用的彩色矩阵等图像处理部209的动作所需的参数等照相机主体200的动作所需的各种参数。这里，在本实施方式中，闪速存储器217还存储在后述第1降噪处理中采用的第1降噪参数以及在第2降噪处理中采用的第2降噪参数。此外，闪速存储器217还存储微计算机215执行的各种程序。

[0038] 作为相关量检测部的运动矢量计算部218计算运动矢量，该运动矢量表示由后述多次曝光获得的多个图像数据中的基准图像数据与除去基准图像数据之外的各个图像数据（以下，称为参照图像数据）之间的相关量。可采用利用基准图像数据与参照图像数据之间的图像匹配的方法等周知的方法来计算运动矢量。

[0039] 振动传感器219例如是角速度传感器，其检测由于手抖动等而在照相机主体200中产生的振动。也可以从振动传感器219的输出中检测基准图像数据与参照图像数据之间的相关量。

[0040] 第1合成处理部220合成由后述摄影动作时的多次曝光而获得的多个图像数据。第2合成处理部221合成基准图像数据与通过第1合成处理部220的合成而获得的第1合成图像数据。

[0041] 第1NR处理部222根据闪速存储器217所存储的第1降噪参数，对在第1合成处理部220中获得的合成图像数据实施降低重叠噪声的处理。第2NR处理部223根据闪速存储器217所存储的第2降噪参数对基准图像数据实施降低重叠噪声的处理。这里，第1NR处理部222与第2NR处理部223可由通用的降噪处理部构成。另外，第1NR处理部222与第2NR处理部223未必通过同一处理来进行降噪。但是，当两者通过同一处理进行降噪时，可利用分时使用同一处理块等的方法来抑制装置规模。

[0042] 接着，参照图2来说明图1所示的数字照相机的动作。图2是示出作为本发明第1实施方式的摄像方法的一例的数字照相机的摄影动作的流程图。作为本实施方式的摄像装置的一例的数字照相机，在摄影动作时进行多次曝光，将由多次曝光获得的多个图像数据合成为1个图像数据，由此可生成动态范围宽的图像数据。这里，例如在闪速存储器217中存储有用于执行图2的摄影动作的程序。微计算机215读入该程序来控制图2的摄影动作。

[0043] 通过用户对操作部216的释放按钮进行操作来开始图2的摄影动作。首先，微计算机215进行初始设定（步骤S201）。在该初始设定中，微计算机215将在自身具有的未图示的寄存器中设定的参数i的值初始化为0。参数i是用于对图像数据的张数进行计数的参数。

[0044] 接着，微计算机215读入表示所合成的图像数据张数的参数m的值（步骤S202）。参数m例如可以作为固定值存储于闪速存储器217内，或者可由用户对操作部216进行操作来适当设定。在参数m读入之后，微计算机215进行AE处理以及AF处理（步骤S203）。

[0045] 在AE处理时，微计算机215利用AE处理部207来计算被摄体亮度。然后，微计算机215根据AE处理部207所计算出的被摄体亮度来决定曝光时的曝光量为规定适当值（适当曝光量）的曝光条件，例如ISO灵敏度Sv、光圈值Av、快门速度Tv。当在照相机主体200中设置面部检测部时，可构成为在AE处理中决定ISO灵敏度、光圈值、快门速度，使得特定面部的亮度适当。

[0046] 在AF处理时，微计算机215利用AF处理部208来取得对焦评价值。然后，微计算机215根据在AF处理部208中取得的对焦评价值对图像数据中的对比度进行评价，并且指示镜头微计算机104，使其每次以微量驱动摄像镜头101的对焦镜头。然后，微计算机215指示镜头微计算机104，使其在对比度最大的时刻停止对焦镜头的驱动。这样的AF处理是所谓的对比度方式的AF处理。作为AF处理可采用相位差AF处理。当在照相机主体200上设置面部检测部时，在AF处理中还可以驱动对焦镜头，使其相对于特定的面部范围对焦。

[0047] 在AE处理以及AF处理之后，微计算机215进行曝光动作（步骤S204）。此时，微计算机215根据在曝光动作前决定的曝光条件进行曝光动作。具体地说，微计算机215根据ISO灵敏度来设定模拟处理部203中的增益控制量（放大率），并且将在曝光动作前决定的光圈值发送至镜头微计算机104。然后，微计算机215与基于镜头微计算机104的控制的光圈102的驱动同步地根据在曝光动作前决定的快门速度来使机械快门201动作，以控制摄像元件202的曝光量。作为曝光动作的结果，将从摄像元件202输出的图像信号经由模拟处理部203和A/D转换部204转换为数字信号的图像数据。在帧存储器206中存储图像数据（步骤S205）。另外此时，微计算机215例如在帧存储器206中预先存储曝光条件（ISO灵敏度Sv、光圈值Av、快门速度Tv）。

[0048] 在曝光动作结束之后，微计算机215使i加1（步骤S206）。接着，微计算机215判定i是否大于m（步骤S207）。

[0049] 当在步骤S207的判定中判定为i是m以下时、换言之判定为还没有获得所设定的合成张数的图像数据时，微计算机215变更曝光条件（步骤S208）。然后，微计算机215使处理返回至步骤S204，根据变更后的曝光条件来执行下一曝光动作。通过后述的合成处理，为了获得动态范围宽的图像数据而需要合成曝光量不同的多个图像数据。为了改变曝光量，变更ISO灵敏度、光圈值、快门速度的至少一个即可。这里，当使光圈值变化时，摄像镜头101的焦点距离即摄影视场角也发生变化。另外，当使1SO灵敏度增加时噪声量也增加。因此，在变更曝光条件时希望使快门速度变化。这里，每次曝光的曝光量（快门速度）的变化量可以是任意的。一般情况下，快门速度越慢即曝光时间越长，照相机主体200的手抖动或被摄体抖动越大。利用后述合成处理中的对位来降低这种手抖动或被摄体抖动所导致的图像抖动的影响。

[0050] 另外，当在步骤S207的判定中判定为i超过m时，微计算机215结束曝光动作，从作为m次曝光的结果存储到帧存储器206的m张图像数据中决定基准图像数据（步骤S209）。后面对基准图像数据的决定处理进行详细叙述。

[0051] 在决定基准图像数据之后，微计算机215执行第1合成处理（步骤S210）。

[0052] 在第1合成处理时，微计算机215利用运动矢量计算部218来检测基准图像数据与各个参照图像数据之间的运动矢量。可根据由振动传感器219检测出的照相机主体200的振动量来检测运动矢量。在检测出运动矢量之后，微计算机215将检测出的运动矢量输入至第1合成处理部220并指示第1合成处理。第1合成处理部220接受该指示而采用运动矢量在将帧存储器206所存储的多张图像数据的像素位置对齐之后进行合成。此时例如，在基准图像数据中依次合成参照图像数据。作为合成，例如是第1合成处理部220使多张图像数据中对应像素的数据彼此相加。此时，第1合成处理部220计算基准图像数据的各个像素的数据与参照图像数据中对应像素的数据之间的差值。然后，第1合成处理部220使所算出的差值的绝对值为规定值以下的像素的数据相加，而不加上差值的绝对值大于规定值的像素的数据。差值的绝对值大于规定值的像素是与基准图像数据的对应像素位置偏差大的像素。当加上这样的像素时会产生双重像，所以在相加中不采用该像素。

[0053] 在相加后，第1合成处理部220根据在各像素位置中相加的图像数据的张数使合成结果标准化，并在帧存储器206中存储标准化后获得的第1合成图像数据。第1合成处理部220将表示每个像素位置的相加图像数据张数的信息输出至第2合成处理部221。

[0054] 在第1合成处理之后，微计算机215从闪速存储器217中读入第2降噪参数（步骤S211）。第2降噪参数是以适用于第1合成图像数据的情况为前提进行调整的降噪参数，根据曝光条件（ISO灵敏度等）进行选择。第2降噪参数与第1降噪参数相比被设定为降噪强度弱。典型地是，根据假定为在第1合成处理中合成全部图像数据时的噪声量的减少来设定第2降噪参数。

[0055] 在读入第2降噪参数之后，微计算机215执行第2降噪处理（步骤S212）。在第2降噪处理中，微计算机215将从闪速存储器217读入的第2降噪参数输出至第2NR处理部223。第2NR处理部223接受第2降噪参数的输入，对从帧存储器206读入的第1合成图像数据实施采用第2降噪参数的降噪处理。

[0056] 微计算机215与第2降噪处理并行地从闪速存储器217中读入第1降噪参数（步骤S213）。第1降噪参数是以适用于1个图像数据的情况为前提进行调整的降噪参数，与第2降噪参数同样地根据曝光条件（ISO灵敏度等）进行选择。

[0057] 在读入第1降噪参数之后，微计算机215执行第1降噪处理（步骤S214）。在第1降噪处理中，微计算机215将从闪速存储器217读入的第1降噪参数输出至第1NR处理部222。第1NR处理部222接受第1降噪参数的输入，对从帧存储器206读入的基准图像数据实施采用第1降噪参数的降噪处理。

[0058] 在第1降噪处理与第2降噪处理结束之后，微计算机215执行第2合成处理（步骤S215）。

[0059] 在第2合成处理时，微计算机215对第2合成处理部221指示第2合成处理。第2合成处理部221接受该指示，并根据按照每个像素位置表示在第1合成图像数据中相加的图像数据张数的信息，针对每个像素来决定基准图像数据与第1合成图像数据的合成比率。关于第1合成图像数据中的合成张数少的像素即降噪的强度相对弱的像素，提高基准图像数据的合成比率，关于第1合成图像数据中的图像数据的合成张数多的像素即降噪的强度相对强的像素，提高第1合成图像数据的合成比率。

[0060] 在这样决定合成比率之后，第2合成处理部221通过对基准图像数据的各个像素的数据与第1合成图像数据的各个像素的数据进行合成（加权平均）来获得第2合成图像数据，并将该第2合成图像数据存储到帧存储器206。通过这样获得第2合成图像数据，使第2合成图像数据的各个像素成为以大致相同的强度实施降噪处理后的状态。

[0061] 在第2合成处理之后，微计算机215利用图像处理部209来实施对帧存储器206所存储的第2合成图像数据的图像处理（步骤S216）。然后，微计算机215在记录介质212中记录由图像处理部209处理过的第2合成图像数据，或者使显示部214显示与第2合成图像数据对应的图像（步骤S217）。在图像的记录或显示之后，微计算机215使图2的流程图的处理结束。

[0062] 图3是示出基准图像数据的决定处理的流程图。在本实施方式中，将由多次曝光获得的多个图像数据中曝光时间最短即快门速度最快的图像数据作为基准图像数据。

[0063] 在图3中，微计算机215进行初始设定（步骤S301）。在该初始设定中，微计算机215将在自身具有的未图示的寄存器中设定的参数i的值初始化为1，将TV_max的值初始化为0，将Std_frame的值初始化为1。参数i是表示图像数据张数的参数。TV_max是表示快门速度的最大值的参数。Std_frame是用于表示基准图像数据张数的参数。

[0064] 在初始设定之后，微计算机215例如从帧存储器206中读入帧存储器206所存储的多个图像数据中的第1个图像数据（例如，在最初的曝光中获得的图像数据）的快门速度tv_1（步骤S302）。然后，微计算机215将TV_max的值设定为tv_1，并且使i加1（步骤S303）。

[0065] 在设定TV_max的值之后，微计算机215例如从帧存储器206中读入帧存储器206所存储的多个图像数据中的第i个图像数据（例如，在第i次曝光中获得的图像数据）的快门速度tv_i（步骤S304）。然后，微计算机215对TV_max的值与tv_i的值进行比较，判断TV_max的值是否小于tv_i（步骤S305）。在步骤S305的判定中，当判定为TV_max的值小于tv_i时，微计算机215将TV_max的值设为tv_i，并且将Std_frame的值设为i（步骤S306）。另外，当在步骤S305的判定中判定为TV_max的值是tv_i以上时，微计算机215跳过步骤S306的处理。

[0066] 当在步骤S305的判定中判定为TV_max的值是tv_i以上时或者在S306之后，微计算机215使i加1（步骤S307）。接着，微计算机215判断i是否大于m（步骤S308）。当在步骤S308的判定中判定为i是m以下时，微计算机215使处理返回至步骤S304。

[0067] 另外，当在步骤S308的判定中判定为i超过m时，微计算机215将在此时刻的Std_frame的值所示的帧的图像数据决定为基准图像数据（步骤S309）。然后，微计算机215结束图3的流程图的处理。

[0068] 如以上所说明的那样，在本实施方式中，将成为合成处理时的对位基准的基准图像数据设为由曝光时间最短的曝光获得的图像数据。当曝光时间最短时，可认为手抖动或被摄体抖动的影响也最低。通过将这样的图像数据作为基准图像数据，可减少手抖动或被摄体抖动所引起的图像抖动的影响，能够向用户提供高画质且宽动态范围的图像。

[0069] 这里，在图2中当合成多张图像数据时实施降噪处理。但是，在本实施方式中，降噪处理不是必须的。

[0070] 另外，图像数据的合成方法也不被上述方法所限定。例如，在图2的例子中，在图像处理部209的图像处理之前进行合成处理，但也可以例如在图像处理部209的图像处理之后、例如在同时化处理之后进行合成处理。另外，本实施方式的技术可适用于从由多次曝光获得的多张图像数据中决定基准图像数据并以该基准图像数据为基准进行对位的各种合成处理。

[0071] [第2实施方式]

[0072] 接着，对本发明的第2实施方式进行说明。在第1实施方式中，在进行多次曝光之后决定基准图像数据。与此相对，第2实施方式是由于使曝光量的变化保持规定的顺序从而不需要基准图像数据的决定处理的例子。此外，作为第2实施方式中的摄像装置一例的数字照相机的结构可以与图1相同。因此，省略详细的说明。

[0073] 图4是示出作为本发明第2实施方式的摄像方法的数字照相机的摄影动作的第1例的流程图。在图4中，微计算机215进行与第1实施方式同样的初始设定。（步骤S401）。在该初始设定中，微计算机215将在自身具有的未图示的寄存器中设定的参数i的值初始化为0。

[0074] 接着，微计算机215读入表示要合成的图像数据的张数的参数m的值（步骤S402）。在读入参数m之后，微计算机215取得用于决定多次曝光的各个曝光量的参数Δev、start_ev（步骤S403）。Δev是表示曝光量的变化量的参数。start_ev是表示第1次曝光时的曝光量与适当曝光量的差值的参数。在本例中，设定第1次曝光量，使其成为多次曝光中的最小曝光量。这里，Δev、start_ev的值作为固定值可存储到闪速存储器217内，或者可以由用户对操作部216进行操作来设定。

[0075] 在取得△ev、start_ev之后，微计算机215进行AE处理以及AF处理（步骤S404）。AE处理以及AF处理可以与第1实施方式相同。

[0076] 在AE处理以及AF处理之后，微计算机215变更曝光条件（步骤S405）。在本例中，使初次曝光时的曝光量最小。如上所述，通过变更快门速度来变更曝光量。因此，在步骤S405中，一边固定相对于适当曝光量计算出的ISO灵敏度、光圈值，一边变更快门速度，由此使曝光量成为（适当曝光量﹣start_ev）。在这样变更的曝光条件下获得的图像数据为曝光时间最短的图像数据。因此，在本例中，将在最初曝光时获得的图像数据用作基准图像数据。

[0077] 在步骤S405中，在变更曝光条件之后，微计算机215根据在步骤S405中决定的曝光条件来进行曝光动作（步骤S406）。作为曝光动作的结果，从摄像元件202输出的图像信号经由模拟处理部203和A/D转换部204转换为数字信号的图像数据。将该图像数据作为基准图像数据存储到帧存储器206内（步骤S407）。另外此时，微计算机215例如在帧存储器206内预先存储曝光条件（ISO灵敏度Sv、光圈值Av、快门速度Tv）。

[0078] 在取得基准图像数据之后，微计算机215从闪速存储器217中读入第1降噪参数（步骤S408）。在读入第1降噪参数之后，微计算机215执行第1降噪处理（步骤S409）。

[0079] 在第1降噪处理结束之后，微计算机215变更曝光条件（步骤S410）。在该处理中，微计算机215变更快门速度的值，使变更后的曝光量成为（最初的曝光量+Δev）。即，使快门速度的值从最初的值开始延迟△ev。接着，微计算机215根据变更后的曝光条件进行曝光动作（步骤S411）

[0080] 参照图像数据用的曝光动作结束之后，微计算机215执行第1合成处理（步骤S412）。在帧存储器206中存储利用第1合成处理合成的合成图像数据（步骤S413）。

[0081] 第1合成处理结束之后，微计算机215使i加1（步骤S414）。接着，微计算机215判定i是否大于m（步骤S415）。当在步骤S415的判定中判定为i是m以下时，微计算机215使处理返回至步骤S410来变更曝光条件，并进行与以下参照图像数据相关的曝光动作。

[0082] 这样，在本例中，每当1次参照图像数据用的曝光结束时进行第1合成处理。在此情况下，1张1张地依次合成参照图像数据。与此相对，与第1实施方式相同，可以在获得所设定的合成张数的参照图像数据的全部之后进行第1合成处理。

[0083] 另外，当在步骤S415的判定中判定为i超过m时，微计算机215从闪速存储器217中读入第2降噪参数（步骤S416）。然后，微计算机215执行第2降噪处理（步骤S417）。

[0084] 在第2降噪处理结束之后，微计算机215执行第2合成处理（步骤S418）。在第2合成处理之后，微计算机215利用图像处理部209实施对帧存储器206所存储的第2合成图像数据的图像处理（步骤S419）。然后，微计算机215在记录介质212中记录图像处理部209所处理的第2合成图像数据或者在显示部214上再现与第2合成图像数据对应的图像（步骤S420）。在图像的记录或显示之后，微计算机215结束图4的流程图的处理。

[0085] 如以上所说明的那样，在本例中使用于合成处理的多次曝光中的最初曝光的曝光时间最短。在此情况下，因为要作为基准图像数据的图像数据被固定，所以不需要如第1实施方式这样的基准图像数据的决定处理。另外，可通过将由最初曝光获得的图像数据作为基准图像数据来使释放时滞最小。

[0086] 图5是示出作为本发明第2实施方式的摄像方法的数字照相机的摄影动作的第2例的流程图。在图5中，微计算机215进行与第1实施方式同样的初始设定（步骤S501）。在该初始设定中，微计算机215将在自身具有的未图示的寄存器中设定的参数i的值初始化为0。

[0087] 接着，微计算机215读入表示合成的图像数据张数的参数m的值（步骤S502）。在读入参数m之后，微计算机215取得用于决定多次曝光的各个曝光量的参数△ev、start_ev（步骤S503）。Δev是表示曝光量的变化量的参数。start_ev是表示第1次曝光时的曝光量与适当曝光量的差值的参数。在本例中，设定第1次曝光量，使其成为多次曝光中的最大曝光量。这里，可将Δev、start_ev的值作为固定值存储到闪速存储器217内，或者可由用户对操作部216进行操作来设定。

[0088] 在取得Δev、start_ev之后，微计算机215进行AE处理以及AF处理（步骤S504）。AE处理以及AF处理可以与第1实施方式相同。

[0089] 在AE处理以及AF处理之后，微计算机215变更曝光条件（步骤S505）。在本例中使初次曝光时的曝光量最大。如上所述，通过变更快门速度来变更曝光量。因此，在步骤S505中，一边固定相对于适当曝光量计算出的ISO灵敏度、光圈值一边变更快门速度，由此使曝光量成为（适当曝光量+start_ev）。

[0090] 在步骤S505中，在变更曝光条件之后，微计算机215根据在步骤S505中决定的曝光条件来进行曝光动作（步骤S506）。作为曝光动作的结果，从摄像元件202输出的图像信号经由模拟处理部203和A/D转换部204转换为数字信号的图像数据。将该图像数据作为参照图像数据存储到帧存储器206内（步骤S507）。另外此时，微计算机215例如预先在帧存储器206中存储曝光条件（ISO灵敏度Sv、光圈值Av、快门速度Tv）。

[0091] 参照图像数据用的曝光动作结束之后，微计算机215使i加l（步骤S508）。接着，微计算机215变更曝光条件（步骤S509）。在该处理中，微计算机215变更快门速度的值，使变更后的曝光量成为（最初的曝光量-Δev）。即，使快门速度的值从最初的值起加快Δev。接着，微计算机215判定i是否大于m（步骤S510）。当在步骤S510的判定中判定为i是m以下时，微计算机215使处理返回至步骤S506来变更曝光条件，并进行与下一图像数据相关的曝光动作（步骤S511）。在第2例中，该最后的曝光动作中获得的图像数据为曝光时间最短的图像数据。因此，在本例中，将在最后曝光时获得的图像数据用作基准图像数据。

[0092] 在取得基准图像数据之后，微计算机215从闪速存储器217中读入第1降噪参数（步骤S512）。在读入第1降噪参数之后，微计算机215执行第1降噪处理（步骤S513）。

[0093] 在执行第1降噪处理之后，微计算机215执行第1合成处理（步骤S514）。在第1合成处理之后，微计算机215从闪速存储器217中读入第2降噪参数（步骤S515）。在读入第2降噪参数之后，微计算机215执行第2降噪处理（步骤S516）。

[0094] 在第1降噪处理与第2降噪处理结束之后，微计算机215执行第2合成处理（步骤S517）。在第2合成处理之后，微计算机215利用图像处理部209实施对帧存储器206所存储的第2合成图像数据的图像处理（步骤S518）。然后，微计算机215在记录介质212中记录由图像处理部209处理的第2合成图像数据，或者在显示部214上再现与第2合成图像数据对应的图像（步骤S519）。在图像的记录或显示之后，微计算机215结束图5的流程图的处理。

[0095] 如以上所说明的那样，在本例中，使用于合成处理的多次曝光中的最后曝光的曝光时间最短。在此情况下，因为要作为基准图像数据的图像数据被固定，所以不需要如第1实施方式这样的基准图像数据的决定处理。另外，可通过将由最后曝光获得的图像数据作为基准图像数据，来生成如进行所谓后帘同步摄影这样的自然描绘的图像。

[0096] 这里，在上述各实施方式的第2合成处理中，由于在合成中不使用相对于基准图像数据抖动多的像素，因而抑制了双重像的产生。然后，通过针对每个像素变更降噪处理完毕的基准图像数据和降噪处理完毕的第1合成图像数据的合成比率而进行合成，来补偿基于每个像素的合成张数差引起的降噪处理的强度差的画质差异。但是，在实际中会略微产生画质差异。为了完全没有该画质差异，而考虑了使第1合成图像数据的各个像素的合成张数相等、换言之无视图像抖动的方法。第2例在无视这样的图像抖动进行合成时特别有效。

[0097] 以上根据实施方式来说明了本发明，但本发明不限于上述实施方式，显然在本发明的主旨范围内可进行各种变形或应用。另外，上述各流程图的动作并非表示必需按照上述顺序来实施动作。另外，在上述实施方式的说明中，关于图像处理部进行的处理以硬件的处理为前提，但并非仅限于这样的结构。例如，也可以构成为另行利用软件进行处理的结构。

[0098] 此外，在上述实施方式中含有各种阶段的发明，可通过公开的多个构成要件的适当组合来提取各种发明。例如，即使从实施方式所示的全部构成要件中删除几个构成要件，也能够解决上述这样的课题，在获得上述这样的效果的情况下，删除该构成要件的结构也可以作为发明来提取。