图像处理装置、摄像装置及介质

摘要

本发明提供摄像装置、及图像合成方法，摄像装置具有：摄像部，拍摄被摄体图像并取得图像；选择部，从由上述摄像部连续拍摄的多个图像中，选择一个图像作为基准图像；计算部，计算上述基准图像与上述基准图像以外的多个图像的每一个图像之间的位置偏移量；生成部，对上述基准图像和上述多个图像中上述位置偏移量为规定偏移量以下的图像进行位置对齐后合成，生成合成图像。上述选择部以上述位置偏移量为上述规定偏移量以下的图像变多的方式，选择上述基准图像。

权利要求

1.一种图像处理装置，其特征在于，具有：

选择部，从多个图像中选择基准图像；

合成部，使用上述多个图像中的与上述基准图像的位置偏移量为规定值以下的图像来生成合成图像；以及处理部，对应于合成所有上述多个图像而获得的图像的曝光，对上述合成图像进行曝光校正处理，上述处理部计算为了使上述合成图像的曝光与合成所有上述多个图像而获得的图像的曝光一致的必要增益量，在上述必要增益量为规定值以下的情况下，通过对上述合成图像附加数字增益而进行上述曝光校正处理，在上述必要增益量比上述规定值大的情况下，通过使复制的上述合成图像彼此以规定量偏移并相加合成而进行上述曝光校正处理。

2.一种摄像装置，其特征在于，具有：

权利要求1所述的图像处理装置；

摄像部，生成图像；以及

控制部，控制上述摄像部以生成规定数量的图像，上述选择部从上述规定数量的图像中选择上述基准图像，上述合成部使用上述规定数量的图像中的与上述基准图像的位置偏移量为规定值以下的图像来生成合成图像，上述处理部对上述合成图像进行上述曝光校正处理。

3.根据权利要求2所述的摄像装置，其特征在于，在上述规定数量的图像中存在与上述基准图像的位置偏移量比上述规定值大的图像的情况下，上述处理部对上述合成图像进行上述曝光校正处理。

4.根据权利要求3所述的摄像装置，其特征在于，具备用于切换到特定的摄影模式的操作部，

在通过上述操作部切换到了上述特定的摄影模式的情况下，上述选择部选择上述基准图像，上述合成部生成上述合成图像，上述处理部进行上述曝光校正处理。

5.一种介质，存储有程序，其特征在于，该程序使计算机执行如下步骤：从多个图像中选择基准图像；

使用上述多个图像中的与上述基准图像的位置偏移量为规定值以下的图像来生成合成图像；以及对应于合成所有上述多个图像而获得的图像的曝光，对上述合成图像进行曝光校正处理，计算为了使上述合成图像的曝光与合成所有上述多个图像而获得的图像的曝光一致的必要增益量，在上述必要增益量为规定值以下的情况下，通过对上述合成图像附加数字增益而进行上述曝光校正处理，在上述必要增益量比上述规定值大的情况下，通过使复制的上述合成图像彼此以规定量偏移并相加合成而进行上述曝光校正处理。

说明书

图像处理装置、摄像装置及介质

[0001] 本申请为2011年7月13日提交的、申请号为201110204654.2的、发明名称为“摄像装置、及图像合成方法”的申请的分案申请。

技术领域

[0002] 以下优先权基础申请的公开内容引用到本说明书中：日本特许出愿2010－159541号(2010年7月14日申请)，日本特许出愿2010－159542号(2010年7月14日申请)。

[0003] 本发明涉及一种摄像装置及图像合成方法。

背景技术

[0004] 将主摄像分为多个连续的曝光来进行，合成每次获得的图像信号来获得一个曝光图像，这一技术为世人所知(日本特许公开No.2001－86398)。

[0005] 但在现有技术中，当连续拍摄的图像间的位置偏移量过大时，在图像之间无法对齐位置，不能合成图像。因此，可考虑将无法进行位置对齐的图像从合成对象中排除，使用其他图像来替代已排除的图像。但这种情况下，如不能适当选择基准图像，则存在从合成对象排除的图像变多的可能性。

[0006] 并且，当同一图像用于多个合成时，产生在合成的图像中，特定的图像增益提升成分过大的问题。

发明内容

[0007] 本发明的第1形态下的摄像装置具有：摄像部，拍摄被摄体图像并取得图像；选择部，从由上述摄像部连续拍摄的多个图像中，选择一个图像作为基准图像；计算部，计算由上述选择部选择的上述基准图像与、通过上述摄像部连续拍摄的多个图像中的上述基准图像以外的多个图像的每一个图像之间的位置偏移量；以及生成部，对上述基准图像和上述多个图像中由上述计算部算出的上述位置偏移量为规定偏移量以下的图像进行位置对齐后合成，生成合成图像。在该摄像装置中优选：上述选择部以使上述位置偏移量为上述规定偏移量以下的图像变多的方式选择上述基准图像。

[0008] 根据本发明的第2形态，在第1形态的摄像装置中，上述选择部可以从由上述摄像部连续拍摄的多个图像中的、除了最初拍摄的图像和最后拍摄的图像以外的图像中，选择上述基准图像。

[0009] 根据本发明的第3形态，在第2形态的摄像装置中优选，上述选择部在由上述摄像部连续拍摄的多个图像的数量是奇数时，选择以时间序列排列上述多个图像时位于中央的1张图像作为上述基准图像，在由上述摄像部连续拍摄的多个图像的数量是偶数时，选择以时间序列排列上述多个图像时位于中央的2张图像中的任意一个作为上述基准图像。

[0010] 根据本发明的第4形态，在第3形态的摄像装置中，上述选择部可以在上述摄像部连续拍摄的多个图像的数量是偶数时，选择以时间序列排列上述多个图像时位于中央的2张图像中的、较晚时刻拍摄的图像作为上述基准图像。

[0011] 根据本发明的第5形态，在第1形态的摄像装置中，上述选择部可以从由上述摄像部连续拍摄的多个图像中，选择与其他图像的最大位置偏移量最小的图像作为上述基准图像。

[0012] 根据本发明的第6形态，在第5形态的摄像装置中，优选上述选择部在选择的上述基准图像中产生抖动时，选择与其他图像的位置偏移量第二小的图像作为替代的基准图像。

[0013] 根据本发明的第7形态，在第1～第6的任意形态的摄像装置中，优选由上述摄像部拍摄的图像是进行了手抖动校正的图像。

[0014] 根据本发明的第8形态，是一种摄像装置，合成多个图像，获得根据拍摄时的情况确定的适当曝光的图像，具有：摄像部，拍摄被摄体图像并取得图像；选择部，从由上述摄像部连续拍摄的多个图像中，选择一个图像作为基准图像；计算部，计算由上述选择部选择的上述基准图像与、通过上述摄像部连续拍摄的多个图像中的上述基准图像以外的多个图像的每一个图像之间的位置偏移量；生成部，对上述基准图像和上述多个图像中由上述计算部算出的上述位置偏移量为规定偏移量以下的对象图像进行位置对齐后合成，生成合成图像；以及处理执行部，在上述基准图像和上述对象图像中无法获得上述适当曝光的图像时，对应于由上述生成部合成的上述基准图像和上述对象图像的张数，使得对上述合成图像进行的曝光校正的处理不同。

[0015] 根据本发明的第9形态，在第8形态的摄像装置中，优选上述处理执行部根据由上述摄像部连续拍摄的多个图像的张数、及用于合成的上述对象图像的张数，对上述合成图像进行用于曝光校正的处理，以使上述合成图像的曝光与合成所有上述多个图像所获得的图像的曝光一致。

[0016] 根据本发明的第10形态，在第9形态的摄像装置中，上述处理执行部可以对上述合成图像附加和上述对象图像的张数对应的数字增益，以使上述合成图像的曝光与合成所有上述多个图像所获得的图像的曝光一致。

[0017] 根据本发明的第11形态，在第9形态的摄像装置中，上述处理执行部也可以使上述合成图像以和上述对象图像的张数对应的次数分别向不同方向以规定量偏移并相加合成，以使上述合成图像的曝光与合成所有上述多个图像所获得的图像的曝光一致。

[0018] 根据本发明的第12形态，在第9形态的摄像装置中，优选上述处理执行部根据由上述摄像部连续拍摄的多个图像的张数、及用于合成的上述对象图像的张数，计算出为使上述合成图像的曝光与合成所有上述多个图像所获得的图像的曝光一致而必要的增益量，当上述必要增益量为规定倍率以下时，对上述合成图像附加和上述对象图像的张数对应的数字增益，当上述必要增益量比规定倍率大时，使上述合成图像以和上述对象图像的张数对应的次数分别向不同方向以规定量偏移并相加合成。

[0019] 根据本发明的第13形态，是一种图像合成方法，包括以下步骤：摄像步骤，连续拍摄被摄体图像并取得图像；选择步骤，从通过上述摄像步骤连续拍摄的多个图像中，选择一个图像作为基准图像；计算步骤，计算通过上述选择步骤选择的上述基准图像与、通过上述摄像步骤连续拍摄的多个图像中的上述基准图像以外的多个图像的每一个图像之间的位置偏移量；以及生成步骤，对上述基准图像和上述多个图像中通过上述计算步骤算出的上述位置偏移量为规定偏移量以下的图像进行位置对齐后合成，生成合成图像。在该图像合成方法中优选：上述选择步骤以使上述位置偏移量为上述规定偏移量以下的图像变多的方式选择上述基准图像。

[0020] 根据本发明的第14形态，是一种图像合成方法，合成多个图像，获得根据拍摄时的情况确定的适当曝光的图像，包括以下步骤：摄像步骤，连续拍摄被摄体图像并取得图像；选择步骤，从通过上述摄像步骤连续拍摄的多个图像中，选择一个图像作为基准图像；计算步骤，计算通过上述选择步骤选择的上述基准图像与、通过上述摄像步骤连续拍摄的多个图像中的上述基准图像以外的多个图像的每一个图像之间的位置偏移量；生成步骤，对上述基准图像和上述多个图像中通过上述计算步骤算出的上述位置偏移量为规定偏移量以下的对象图像进行位置对齐后合成，生成合成图像；以及处理执行步骤，在上述基准图像和上述对象图像中无法获得上述适当曝光的图像时，对应通过上述生成步骤合成的上述基准图像和上述对象图像的张数，使得对上述合成图像进行的曝光校正的处理不同。

[0021] 根据本发明，可以将多个图像适当地合成，获得合成图像。

附图说明

[0022] 图1是表示照相机的一个实施方式的构成的框图。

[0023] 图2是示例分为6次进行连拍时的图。

[0024] 图3是将拍摄7张图像时的各图像的偏移量配置在二维坐标上表示的图。

[0025] 图4是表示第1实施方式中的基准图像的选择处理的流程的流程图。

[0026] 图5是表示第2实施方式中的基准图像的选择处理的流程的流程图。

[0027] 图6是表示第3实施方式中的手持夜景摄影模式时的图像合成处理的流程的流程图。

[0028] 图7是示例计算机装置的图。

具体实施方式

[0029] 第1实施方式

[0030] 图1是表示第1实施方式中的照相机的一个实施方式的构成的框图。在图1中，照相机1具有：摄影光学系统11、摄像元件12、图像处理部13、缓存14、显示部件15、CPU16、闪存17、卡接口(I/F)18、操作部件19。

[0031] CPU16、闪存17、卡接口18、图像处理部13、缓存14及显示部件15分别通过总线20连接。

[0032] 摄影光学系统11由包括变焦镜头、聚焦镜头的多个镜头组构成，使被摄体图像成像于摄像元件12的受光面。此外，为简化图1，将摄影光学系统11作为单镜头图示。

[0033] 摄像元件12由受光元件在受光面上二维排列的CMOS图像传感器等构成。摄像元件12对由通过了摄像光学系统11的光束形成的图像进行光电变换，生成数字图像信号。数字图像信号输入到图像处理部13。

[0034] 图像处理部13对数字图像数据实施各种图像处理(颜色内插处理、灰度变换处理、轮廓强调处理、白平衡调整处理等)。并且也进行下述手持夜景摄影模式中的合成处理(位置对齐、相加)。

[0035] 显示部件15由液晶面板等构成，对应来自CPU16的指示，显示图像、操作菜单画面等。缓存14暂时存储图像处理部13进行图像处理的在先步骤、后续步骤中的数字图像数据。闪存17除了存储由CPU16执行的方法外，存储下述表格数据。

[0036] CPU16通过执行闪存17存储的方法，控制照相机1进行的动作。CPU16也进行AF(自动对焦)动作控制、自动曝光(AE)计算。AF动作例如使用对比度检测方式：根据通过透镜图像(through-the-lens image)的对比度信息，求出聚焦镜头(未图示)的对焦位置。通过透镜图像是指，在释放操作前由摄像元件12以规定的时间间隔(例如60帧/秒)反复取得的监视用图像。

[0037] 存储卡接口18具有连接器(未图示)，存储卡等存储介质30连接到该连接器。存储卡接口18对所连接的存储介质30进行数据写入、或来自存储介质30的数据的读入。存储介质30由内置了半导体存储器的存储卡、或硬盘驱动器等构成。

[0038] 操作部件19包括释放按钮(release button)、菜单开关等。操作部件19将和摄影操作、模式切换操作、菜单选择操作等各种操作对应的操作信号发送到CPU16。

[0039] 本实施方式的照相机1具有被称为手持夜景摄影模式的摄影模式。该摄影模式是不将照相机1固定于三脚架，而在手持状态下轻松进行夜景拍摄的模式。本实施方式在手持夜景摄影模式时的摄影控制具有特征，因此以手持夜景摄影模式时的处理为中心进行以下说明。

[0040] 一般情况下，夜景摄影因被摄体较暗，所以需要较长的曝光时间。而在手持摄影中，在经过比被称为手抖动界限的曝光时间Tlimit长的曝光时间时，摄影图像中有可能产生抖动。曝光时间Tlimit例如在摄影光学系统11的焦点距离为f(mm)时，为1/f(秒)(换算为35mm版的照相机系统时)。

[0041] 在通常的夜景摄影中，需要比曝光时间Tlimit长的曝光时间，因此很难不产生手抖地进行手持摄影。因此，在手持夜景摄影模式中，将主摄影分为多次(N次)的连续的曝光来进行(连拍)，将各次摄影所得的N张图像信号通过公知的数字计算技术进行相加，作为一个长时间曝光图像。此外，手持夜景摄影模式时的连拍的摄影次数N可以是提前设定的固定次数，也可由使用者任意变更，或CPU16可根据摄影条件进行变更。

[0042] CPU16对各次摄影中的曝光时间Tdiv，将必要的曝光时间T等分来决定，以使曝光时间Tdiv比上述曝光时间Tlimit短，且使连拍次数N最少。其中，曝光时间T是通过自动曝光计算(AE)可获得适当曝光地决定的曝光时间。CPU16例如根据构成上述通过透镜图像的图像信号值，进行自动曝光计算(AE)，根据该通过透镜图像的平均亮度决定曝光时间T。并且，要求T＝N×Tdiv成立、各次曝光时间Tdiv比Tlimit短、且使连拍次数N最小的曝光时间Tdiv。

[0043] CPU16对于分为N次连拍的N张图像，在分别进行位置对齐的基础上进行相加。例如，在各图像中，根据规定区域(包括通用的被摄体的区域)中含有的图像信号(约60像素)，进行边沿检测，使构成该边沿的像素位置对齐地进行位置对齐。通过这样合成多个图像，可在照相机1中获得根据摄像时的情况确定的适当曝光的图像。

[0044] 但存在以下情况：在分为N次连拍的N张图像中，拍摄了和前后的图像相比抖动较大的特殊图像。这种情况下的CPU16将N张图像中不特殊的其他图像的复制品替换该特殊图像用于相加。例如，CPU16将N张图像中的至少一张作为基准图像，将该基准图像和其他图像的位置偏移量大于规定的偏移量的图像确定作为特殊图像。例如，CPU16从连拍获得的N张图像中，选择最初拍摄的图像、中途拍摄的图像等的任意一张作为基准图像。并且，CPU16将确定的特殊图像从相加对象排除，替代该特殊图像，使用复制了其他图像的任意一个的图像例如基准图像的复制图像，将它们位置对齐并相加。

[0045] 图2是示例分为N＝6次连拍时的图。在图2中，假定第4张图像产生较大抖动。CPU16从N＝6张的图像中不特殊的第1～3张及第5、6张图像中，例如复制第1张图像，用该复制图像替代第4张特殊图像。这样一来，复制的第1张图像和其他帧的图像相比相加次数多(本例中为2次)。

[0046] 一般情况下，照相机1形成的摄影图像中包括被称作模拟噪声的随机噪声。因是随机噪声所以时刻变化，因此在连拍的各帧图像中，包括在各不同时刻产生的不同状态的噪声。一般情况下，当将彼此不同的帧的图像相加时，各帧中含有的随机噪声被其他帧的随机噪声抵消，因此随机噪声的影响降低。

[0047] 但如上所述，用其他帧的复制图像替代抖动图像时，复制所使用的帧的图像和其他帧相比相加次数变多，因此复制所使用的帧中含有的随机噪声难以通过其他帧的随机噪声抵消。即，在相加后的图像中，复制所使用的帧中含有的随机噪声可能变得明显。

[0048] 在本实施方式中，为了降低这种随机噪声的影响，尽量防止同一帧被多次相加，对用于确定上述特殊图像而使用的基准图像的选择方法进行了研究。换言之，CPU16对基准图像的选择方法进行了研究，以使与基准图像的位置偏移量为规定偏移量以下的图像变多。即，在本实施方式中，CPU16从拍摄的N张图像中的、除了最初拍摄的图像和最后拍摄的图像以外的图像中，选择基准图像。例如如图2所示，当拍摄6张图像时，从除了第1张图像和第6张图像的第2～5张图像中选择基准图像。

[0049] 此外，为尽量防止同一帧被多次相加，优选当以时间序列排列N张图像时，尽量选择位于中央的1张图像作为基准图像。例如，当N是奇数时，优选选择以时间序列排列多张图像时的位于中央的1张图像作为基准图像。并且，当N是偶数时，优选选择以时间序列排列N张图像时位于中央的2张图像中的任意一个作为基准图像。以下说明其理由。

[0050] 图3是将拍摄7张图像时的各图像的偏移量配置在二维坐标上表示的图。使用该图3说明通过本实施方式中的基准图像的选择方法可获得的益处。在图3中，纵轴表示距基准图像的在纵向的偏移量(像素)，横轴表示距基准图像的在横向的偏移量(像素)。并且，圆3c表示用于判断特殊图像的阈值，与基准图像的偏移量比该阈值大的图像、即表示与基准图像的偏移量的点位于圆3c的外侧的图像，判断为特殊图像。

[0051] 在该图3中，点3a－1到点3a－7、及点3b－1到点3b－7表示拍摄7张图像时的基准图像和其他图像的偏移量。此外，点3a－1到点3a－7表示以第4张图像为基准图像时的基准图像和其他图像的偏移量，及点3b－1到点3b－7表示以第1张图像为基准图像时的基准图像和其他图像的偏移量。即，拍摄的7张图像在时间序列中向一定方向(在此是向右上方)偏移量增加。例如，在镜头11具有透镜移位方式的手抖动校正机构时，进行了手抖动校正后的连拍图像在时间序列上向一定方向偏移量有增加倾向。

[0052] 首先说明以点3b－1到点3b－7所示的第1张图像为基准图像时的特殊图像的判断例。这种情况下，基准图像的偏移量是0，因此表示基准图像的偏移量的点3b－1位于原点。并且，如表示第2张图像的偏移量的点3b－2、表示第3张图像的偏移量的点3b－3、表示第4张图像的偏移量的点3b－4、表示第5张图像的偏移量的点3b－5、表示第6张图像的偏移量的点3b－6、表示第7张图像的偏移量的点3b－7所示，距基准图像的偏移量向一定方向增加。

[0053] 此时，对距基准图像的偏移量大于阈值的图像、即表示距基准图像的偏移量的点与圆3c相比位于外侧的图像，判断为上述特殊图像。其中，点3b－5、点3b－6、点3b－7位于圆3c外侧，因此第5张、第6张、第7张图像判断为特殊图像。这样一来，拍摄的图像的偏移量在时间序列中向一定方向增加时，选择第1张图像作为基准图像时，越是靠后拍摄的图像，距基准图像的偏移量越大，因此易于判断它们是特殊图像。因此，将特殊图像用其他图像的复制图像替代并相加的可能性也变大，如上所述，随机噪声增加的可能性也增大。这在以最后拍摄的图像为基准图像选择时也同样。

[0054] 接着说明以点3a－1、点3a－7所示的第4张图像为基准图像时的特殊图像的判断例。这种情况下，基准图像的偏移量是0，因此表示基准图像的偏移量的点3a－4位于原点。并且，表示第1张图像的偏移量的点3a－1、表示第2张图像的偏移量的点3a－2、表示第3张图像的偏移量的点3a－3、表示第5张图像的偏移量的点3a－5、表示第6张图像的偏移量的点3a－6、表示第7张图像的偏移量的点3a－7，以位于原点的点3a－4为中心，向一定方向增加。

[0055] 这种情况下，表示距基准图像的偏移量的所有点位于圆3c内，不存在被判断为特殊图像的图像。因此，CPU16可将全部7张图像位置对齐后进行相加。这样一来，拍摄的图像的偏移量在时间序列中向一定方向增加时，将7张图像中的中途拍摄的图像(在此是第4张图像)作为基准图像选择时，距其前后拍摄的图像的基准图像的偏移量变小，因此其他图像难以被判断为特殊图像。所以将特殊图像用其他图像的复制图像替代并相加的可能性降低，从而可防止随机噪声的增加。

[0056] 图4是表示第1实施方式中的基准图像的选择处理的流程的流程图。图4所示的处理，由CPU16执行在手持夜景摄影模式中，多个图像连拍时起动的方法。

[0057] 在步骤S10中，CPU16判断连拍是否结束。在步骤S10中作出肯定判断时，前进到步骤S20。在步骤S20中，CPU16判断连拍获得的图像张数是否是奇数。

[0058] 在步骤S20中作出肯定判断时，前进到步骤S30，CPU16选择连拍获得的多个图像以时间序列排列时位于中央的1张图像作为基准图像，前进到步骤S50。与之相对，在步骤S20中作出否定判断时，前进到步骤S40，CPU16选择连拍获得的多个图像在时间序列中排列时位于中央的2张图像中的任意一张作为基准图像，前进到步骤S50。

[0059] 在步骤S50中，CPU16如上所述，将与基准图像的位置偏移量大于规定偏移量的图像作为特殊图像确定，将确定的特殊图像从合成对象排除。之后前进到步骤S60，CPU16在将排除了的特殊图像以其他的连拍图像的复制图像进行替换，将该图像的组合进行位置对齐后进行相加，结束处理。

[0060] 根据以上说明的第1实施方式，可获得以下作用效果。

[0061] (1)CPU16以使位置偏移量为规定偏移量以下的图像变多的方式选择基准图像，以该基准图像为基准进行位置对齐，将图像相加。具体而言，CPU16从拍摄的N张图像中的、除了最初拍摄的图像和最后拍摄的图像以外的图像中，选择基准图像。这样一来，尽量防止了同一帧被多次相加，可降低合成图像中的随机噪声的影响。

[0062] (2)CPU16在连拍张数为奇数时，选择多个图像以时间序列排列时位于中央的1张图像作为基准图像，当连拍图像的张数是偶数时，选择多个图像以时间序列排列时位于中央的2张图像中的任意一张作为基准图像。这样一来，偏移量以时间序列向一定方向增加时，能够以使与基准图像的位置偏移量为规定偏移量以下的图像变多的方式选择基准图像。

[0063] 第2实施方式

[0064] 在上述第1实施方式中，说明了CPU16为了使与基准图像的位置偏移量为规定偏移量以下的图像变多，在N张图像以时间序列排列时尽量选择位于中央的1张图像作为基准图像的例子。与之相对，在第2实施方式中，CPU16从连拍获得的多个图像中，选择与其他图像的最大位置偏移量最小的图像作为基准图像。此外，在第2实施方式中，图1及图2和第1实施方式相同，因此省略说明。

[0065] 以下说明第2实施方式中的基准图像的选择方法。例如，通过连拍拍摄了6张图像时，CPU16将第1张图像作为候选图像，分别计算出该候选图像和第2～6张图像的各个位置偏移量，从中确定位置偏移量最大的图像的组合(第1组合)。并且，将第2张图像作为候选图像，分别计算出该候选图像和第3～6张图像的各个位置偏移量，从中确定位置偏移量最大的图像的组合(第2组合)。

[0066] 并且，将第3张图像作为候选图像，分别计算出该候选图像和第4～6张图像的各个位置偏移量，从中确定位置偏移量最大的图像的组合(第3组合)。并且，将第4张图像作为候选图像，分别计算出该候选图像和第5～6张图像的各个位置偏移量，从中确定位置偏移量最大的图像的组合(第4组合)。并且，将第5张图像作为候选图像，分别计算出该候选图像和第6张图像的位置偏移量，从中确定位置偏移量最大的图像的组合(第5组合)。

[0067] 并且，CPU16从第1组合～第5组合中确定两个图像间的位置偏移量最小的组合，将确定的组合中的候选图像作为基准图像选择。例如，两个图像间的位置偏移量最小的组合是第3组合时(例如第3张图像和第6张图像的组合)，选择该第3组合中的候选图像即第3张图像作为基准图像。这样一来，可选择与其他图像的最大位置偏移量最小的图像作为基准图像，因此增加与基准图像的位置偏移量为规定偏移量以下的图像，尽量防止同一帧被多次相加。

[0068] 图5是表示第2实施方式中的基准图像的选择处理的流程的流程图。图5所示的处理由CPU16执行手持夜景摄影模式中，当多个图像连拍时起动的方法。并且在图5中，对和图4相同的处理，附加和图4相同的步骤代码，在此以和图4的不同点为中心进行说明。

[0069] 在步骤S21中，如上所述，CPU16将各图像分别设定为候选图像，确定与其他图像的位置偏移量最大的图像的组合。之后前进到步骤S31，CPU16从第1组合～第5组合中，确定两个图像间的位置偏移量最小的组合。之后前进到步骤S41。在步骤S41中，CPU16将在步骤S31中确定的组合中的候选图像作为基准图像选择，前进到步骤S50。

[0070] 根据以上说明的第2实施方式，除了上述第1实施方式中的效果外，还可获得以下作用效果。即，CPU16从通过连拍获得的多个图像中，将与其他图像的最大位置偏移量最小的图像作为基准图像选择。这样一来，可尽量防止同一帧被反复相加，降低合成图像中的随机噪声的影响。

[0071] 第3实施方式

[0072] 在上述第1及第2实施方式中，作为降低随机噪声的影响的方法，说明了为了使与基准图像的位置偏移量为规定偏移量以下的图像变多而研究基准图像的选择方法的例子。与之相对，在第3实施方式中，作为降低随机噪声影响的方法，使用除了特殊图像以外的图像，将上述基准图像作为位置对齐的基准使用，进行位置对齐，并进行相加(相加合成)。即，对基准图像、及位置偏移量相对基准图像为规定偏移量以下的图像，位置对齐后进行合成，生成合成图像。之后，对该相加后的合成图像，为降低随机噪声进行曝光校正的处理。此外，在第3实施方式中，图1及图2和第1及第2实施方式相同，因此省略说明。

[0073] 以下说明第3实施方式中的曝光校正处理。在第3实施方式中，作为用于降低随机噪声的曝光校正处理，使用以下方法(A)、(B)。

[0074] (A)附加数字增益

[0075] 在本实施方式中，作为降低随机噪声的第1方法，采用对相加后的合成图像附加和相加的图像张数对应的数字增益的方法。即，CPU16对除了特殊图像以外的图像进行相加合成而获得的合成图像，以使该合成图像的曝光与不除去特殊图像而相加合成时的图像的曝光一致的方式，附加数字增益。例如，通过连拍拍摄6张，其中的第2张、第3张、第4张、第6张共4张是特殊图像，仅第1张和第5张是可合成相加的图像时，在对第1张和第5张相加合成后，对合成图像附加3倍的数字增益。通过这样处理，同一图像、例如基准图像不会被多次相加，因此可减少相加后的图像的随机噪声量。

[0076] (B)像素移位合成

[0077] 在本实施方式中，作为降低随机噪声的第2方法，将相加后的合成图像以和相加的图像张数对应的个数复制。并且，对复制的合成图像之间，在构成合成图像的像素排列方向上向上下左右的任意一个方向分别错开1像素并进行相加。在本实施方式中，将这种使多个合成像素分别错开1像素并相加合成的方法称为像素移位合成。例如，通过连拍拍摄6张，其中的第2张、第3张、第4张、第6张共4张是特殊图像，仅第1张和第5张是可相加合成的图像。这种情况下，复制将第1张和第5张相加合成而获得的合成图像，准备出3张，使第1张合成图像和第2张合成图像向上下左右的任意一个方向错开1像素，进行像素移位合成。进一步，将通过该像素移位合成获得的合成图像和第3张合成图像向上下左右的任意一个方向错开1像素，进行像素移位合成。此时，在第1次像素移位合成和第2次像素移位合成中，改变1像素错位的方向。通过这样处理，同一图像不会被多次相加，因此可减少相加后的图像的随机噪声量。

[0078] 其中，通过上述第1方法对合成图像附加数字增益时，可合成相加的图像较少，因此对合成图像附加的数字增益的量变大时，因附加数字增益而产生的噪声变大。因此，CPU16在对合成图像附加的数字增益的必要增益量小于规定倍、例如小于2倍时，执行上述第1方法所示的处理，当对合成图像附加的数字增益的必要增益量为规定倍以上、例如2倍以上时，执行上述第2方法所示的处理。这样一来，根据生成合成图像时合成的基准图像、及位置偏移量相对该基准图像为规定偏移量以下的图像的个数，可使对合成图像进行的曝光校正的处理不同。因此使附加到合成图像的数字增益的量变大，从而可防止因附加数字增益而产生的噪声变大的情况。

[0079] 图6是表示本实施方式中的手持夜景摄影模式时的图像合成图像的流程的流程图。图6所示的处理由CPU16执行手持夜景摄影模式时，当多个图像连拍时起动的方法。

[0080] 在步骤S110中，CPU16判断连拍是否结束。在步骤S110中作出肯定判断时，前进到步骤S120。在步骤S120中，CPU16如上所述，将连拍获得的N张图像中的任意一张、例如最初拍摄的图像，作为基准图像，将该基准图像和其他图像的位置偏移量大于规定偏移量的图像作为特殊图像确定。并且，CPU16将确定的特殊图像从相加对象排除。之后前进到步骤S130，CPU16将排除了在步骤S120中确定的特殊图像的组合进行位置对齐并相加，前进到步骤S140。

[0081] 在步骤S140中，CPU16判断为了使相加合成除了特殊图像以外的图像并进行合成图像时的合成图像的曝光、与不除去特殊图像地进行相加合成时的图像曝光一致的、必要的增益量是否为规定倍以上、例如2倍以上。在步骤S140中作出肯定判断时，前进到步骤S150。在步骤S150中，CPU16对通过步骤S130相加合成的合成图像如上所述进行像素移位合成，结束处理。

[0082] 与之相对，在步骤S140中作出否定判断时，前进到步骤S160。在步骤S160中，CPU16对通过步骤S130相加合成而获得的合成图像，如上所述附加数字增益，结束处理。

[0083] 根据以上说明的实施方式，可获得以下作用效果。

[0084] (1)CPU16为使将除了特殊图像以外的图像相加合成而获得的合成图像的曝光、与不除去特殊图像地进行相加合成时的图像曝光一致，附加了数字增益。这样一来，可防止同一图像被多次相加，可减少相加后的图像的随机噪声量。

[0085] (2)CPU16为使将除了特殊图像以外的图像相加合成而获得的合成图像的曝光、与不除去特殊图像地进行相加合成时的图像曝光一致，复制和相加的图像个数对应的数量，对复制的合成图像之间，在构成合成图像的像素排列方向上向上下左右的任意一个方向错开1像素进行相加。这样一来，可防止同一图像被多次相加，可减少相加后的图像的随机噪声量。

[0086] (3)CPU16在附加到合成图像的数字增益的必要增益量小于规定倍数、例如小于2倍时，对合成图像附加数字增益，在必要增益量为规定倍以上、例如2倍以上时，进行像素移位合成。这样一来，附加到合成图像的数字增益的量变大，从而可防止因附加数字增益而产生的噪声变大的情况。

[0087] 变形例

[0088] 此外，上述实施方式的照相机可如下变形。

[0089] (1)在上述第1实施方式中，CPU16在连拍图像的个数是偶数时，选择以时间序列排列多个图像时位于中央的2张图像中的任意一张作为基准图像。此时，CPU16也可以将这2张图像中稍晚时刻拍摄的图像作为基准图像选择。这是因为，使用者按下释放按钮而产生的图像抖动在刚按下释放按钮时较大，随着时间经过而变小，因此通过将这2张图像中按下释放按钮后经过时间较长的图像作为基准图像，可选择伴随释放按钮按下而产生的图像抖动较小的图像作为基准图像。

[0090] (2)在上述第2实施方式中，说明了CPU16从第1组合～第5组合中，确定两个图像间的位置偏移量最小的组合，选择确定的组合中的候选图像作为基准图像的例子。但也可以是：CPU16判断两个图像间位置偏移量最小的组合中的候选图像是否产生图像抖动，当产生图像抖动时，从第1组合～第5组合中，确定两个图像间的位置偏移量第二小的组合，选择确定的组合中的候选图像作为基准图像。这样一来，可防止产生图像抖动的图像作为基准图像被选择。

[0091] 此外，两个图像间的位置偏移量第二小的组合中的候选图像也产生图像抖动时，可选择两个图像间的位置偏移量第三小的组合中的候选图像作为基准图像。并且，在第1实施方式中同样，CPU16在选择的基准图像产生图像抖动时，可选择该基准图像的前或后拍摄的图像(除了连拍中最初拍摄的图像和最后拍摄的图像)作为基准图像。此外，判断图像中是否产生图像抖动的方法是公知的，因此省略说明。

[0092] (3)在上述第3实施方式中，CPU16对合成图像附加的数字增益的必要增益量小于规定倍、例如小于2倍时，对合成图像附加数字增益，当附加到合成图像的数字增益的必要增益量为规定倍以上、例如2倍以上时，进行像素移位合成。但也可以是，CPU16无论必要增益量的大小如何，均对合成图像附加数字增益，以防止随机噪声的发生。或者也可以是，CPU16无论必要增益量的大小如何，均对合成图像进行像素移位合成，从而防止随机噪声的发生。

[0093] (4)并且在上述第3实施方式中，对应根据合成图像的生成所使用的图像的张数确定的数字增益的必要增益量，如上所述决定采用第1方法和第2方法的哪一个。但也可以是，不根据数字增益的必要增益量，而根据合成图像的生成所使用的图像张数、即基准图像和位置偏移量相对基准图像为规定偏移量以下的图像的总张数，决定采用第1方法和第2方法的哪一个。例如，当合成图像的生成所使用的图像张数小于规定张数时，采用第2方法，进行像素移位合成，当是规定张数以上时，采用第1方法，对合成图像附加数字增益。

[0094] (5)并且在上述第3实施方式中，CPU16可组合像素移位合成处理和附加数字增益的处理。例如，当上述必要增益量是4倍时，对二个合成图像进行像素移位合成后，可对获得的图像附加2倍的数字增益。

[0095] (6)在上述第3实施方式中，说明了在像素移位合成中，CPU16使复制的合成图像之间在构成合成图像的像素排列方向上向上下左右的任意一个方向分别错开1像素进行相加的例子。但是，CPU16在相加对象的合成图像有多张时，如对至少一张合成图像错开1像素，则和对所有合成图像进行相加合成相比，可降低随机噪声。

[0096] (7)在上述第1、第2及第3实施方式中，说明了将本发明适用于照相机的例子。但通过由图7所示的计算机装置100执行进行图4、图5或图6所示处理的图像合成方法，也可构成夜景图像合成处理装置。将图像合成方法调入到个人计算机100并使用时，将方法下载到个人计算机100的数据存储装置中，并通过执行该方法，作为图像合成处理装置使用。此时的计算机装置100的工作存储器(未图示)中暂时存储连拍获得的N张连拍摄影图像。

[0097] 方法向个人计算机100的下载可将存储了方法的CD-ROM等记录介质104设置到个人计算机100来进行，也可通过经由网络等通信线路101的方法下载到个人计算机100。在经由通信线路101时，将方法存储到与通信线路101连接的服务器(计算机)102的硬盘装置103等中。图像合成方法借助存储介质104、通信线路101等来提供，可作为各种方式的计算机程序产品来提供。

[0098] 此外，只要无损于本发明的特征性功能，本发明不限上述实施方式中的构成的任何限制。并且，也可是组合了上述实施方式和多个变形例的构成。