信号处理装置和信号处理方法

摘要

本发明公开了信号处理装置、信号处理方法、程序和记录介质。该信号处理装置包括：接收由第一相机生成的第一图像和由多个第二相机生成的高分辨率的第二图像的输入单元；检测第一图像中包含的被摄物的一部分和每个第二图像中包含的被摄物之间的类似部分的类似部分检测单元；将第二图像粘贴在第一图像内与检测出的类似部分相对应的位置处以生成合成图像的图像合成单元；从合成图像中检测一区域作为不可成像区域的成像区域检测单元，在第一图像中该区域的图像信息不充分并且难以被第二相机补充；以及改变用于控制拍摄第二图像的第二相机的相机参数的相机参数计算单元，其中第一图像中不充分的图像信息被该第二图像补充。

权利要求

1.一种信号处理装置，包括：

输入单元，该输入单元接收由第一相机生成的第一图像，所述第一相机以第一视角拍摄预定范围中包含的被摄物，并且该输入单元接收由多个第二相机生成的、分辨率比第一图像高的多个第二图像，每个第二相机以比第一视角窄的第二视角拍摄所述预定范围中包含的被摄物的一部分；

类似部分检测单元，该类似部分检测单元检测第一图像中包含的被摄物的一部分和每个第二图像中包含的被摄物之间的类似部分；

图像合成单元，该图像合成单元将第二图像粘贴在第一图像内与检测出的类似部分相对应的位置处以生成合成图像；

成像区域检测单元，该成像区域检测单元从所述合成图像中检测一区域作为不可成像区域，在第一图像中该区域的图像信息不充分并且难以被第二相机补充；以及相机参数计算单元，该相机参数计算单元基于成像区域检测单元检测出的不可成像区域来改变用于控制拍摄第二图像的第二相机的相机参数，其中第一图像中不充分的图像信息被该第二图像补充。

2.如权利要求1所述的信号处理装置，其中

所述成像区域检测单元获得分别包含在第一图像和第二图像中的被摄物中的每一个的亮度分布或频率分布，并且基于能够被第一相机和第二相机拍摄的图像区域来检测所述不可成像区域。

3.如权利要求2所述的信号处理装置，其中

所述相机参数计算单元包括：

亮度计算单元，该亮度计算单元获得被摄物的亮度分布以检测能够被第一相机和第二相机成像的亮度范围，并且该亮度计算单元使所述相机参数包括用于改变变焦率的信息；

以及

变焦率计算单元，该变焦率计算单元获得被摄物的频率分布以基于能够被第一相机和第二相机拍摄的频率区域来检测所述不可成像区域，并且该变焦率计算单元使所述相机参数包括用于改变变焦率的信息。

4.如权利要求3所述的信号处理装置，其中

所述成像区域检测单元对由低频提取单元提取的低频图像应用二维快速傅立叶变换以检测包含在所述低频图像中且频率高于预定阈值的区域，其中所述低频提取单元使穿过每个第二相机的透镜的光线中的低频分量的光线透过。

5.如权利要求3所述的信号处理装置，其中

所述成像区域检测单元基于差图像来检测包含在第二图像中且频率高于预定阈值的区域，其中所述差图像是通过从第二图像的频率分量中减去由低频提取单元提取出的低频图像的频率分量而获得的，所述低频提取单元使穿过每个第二相机的透镜的光线中的低频分量透过。

6.如权利要求1所述的信号处理装置，还包括：

图像信息校正单元，该图像信息校正单元基于包含在第一图像和第二图像的每一个中并且包括亮度或频率的至少任一种的图像信息来校正所述合成图像中包含的图像信息。

7.如权利要求6所述的信号处理装置，其中

所述类似部分检测单元基于经所述图像信息校正单元校正后的图像信息以及所述成像区域检测单元检测出的不可成像区域和可成像区域来检测所述类似部分。

8.如权利要求1所述的信号处理装置，其中

所述相机参数计算单元获得与颜色、亮度和焦点中的至少任一种有关的信息作为所述相机参数，将所述相机参数作为利用第一相机为参照的公共信息进行管理，并且将相对于所述公共信息的多个第二相机的信息作为个体信息进行管理，其中利用所述相机参数逐个像素地确定多个低频图像相对于第一图像的特性量。

9.一种信号处理方法，包括以下步骤：

接收由第一相机生成的第一图像，该第一相机以第一视角拍摄预定范围中包含的被摄物，并且接收由多个第二相机生成的分辨率比第一图像高的多个第二图像，每个第二相机以比第一视角窄的第二视角拍摄所述预定范围中包含的被摄物的一部分；

检测第一图像中包含的被摄物的一部分和每个第二图像中包含的被摄物之间的类似部分；

将第二图像粘贴在第一图像内与检测出的类似部分相对应的位置处以生成合成图像；

从所述合成图像中检测一区域作为不可成像区域，在第一图像中该区域的图像信息不充分并且难以被第二相机补充；以及基于检测出的不可成像区域来改变用于控制拍摄第二图像的第二相机的相机参数，其中第一图像中不充分的图像信息被该第二图像补充。

说明书

信号处理装置和信号处理方法

技术领域

[0001] 本发明涉及适当地被应用于例如获得宽范围的高对比率图像的信号处理装置、信号处理方法、程序和记录介质。

背景技术

[0002] 在现有技术中，为了以宽视角拍摄风景等，采用全景成像方法、多个相机被放置在多个位置的多相机成像方法、低分辨率动态图像与高分辨率静态图像合成的成像方法、使用具有多个焦点的相机的多焦点成像方法等等。这里，“视角”是指通过相机的透镜可以拍摄被摄物的范围。下文中，将简单描述以上成像方法。

[0003] 在全景成像方法中，多个相机拍摄的图像被拼接在一起以生成宽区域图像。全景成像方法包括单视点方法和多视点方法。在单视点方法中，因为多个相机在同一位置拍摄被摄物，所以拼接的图像没有边界。在多视点方法中，因为多个相机在不同的位置拍摄被摄物，所以拼接的图像有边界。

[0004] 在单视点方法的情况下，拼接之前的图像的外围部分由于装配到相机的透镜的特性等而发生变形。图像的变形引起拼接图像的质量下降。如果变形后的图像被直接投影到屏幕上，则在屏幕边缘处图像的变形更加明显。

[0005] 在单视点方法的情况下，在相邻相机拍摄的图像的边界周围发生相邻图像重叠的公共部分。这里，将参考图33来描述相邻图像的公共部分。

[0006] 图33是使用被布置为使得相机的成像方向在一点处相交的相机的成像方法的例子。在该方法中，三个相机101a至101c被布置在以视点102为基准的成像方向的延长线上。注意，成像方向分别与相机的光轴一致。这样，多个光轴彼此相交的一点被用作虚拟的“相机阵列(多个相机)的视点”。当多个相机拍摄的图像被合成时，可能有必要考虑上述两种类型的视点，即，“相机阵列的视点”和“多个相机的视点”。这里，有两种类型的使“多个相机的视点”彼此一致的方法，这些方法被称为“单视点方法”。第一种方法利用具有实体上单个透镜的中继光学系统对被摄物成像。第二方法对被摄物成像以使这些相机的视角分别被设置为没有任何相邻图像重叠的公共部分。即使当想要使用除单视点方法以外的方法而使“多个相机的视点”彼此一致时，由于相机之间的透镜的大小不同仍然是很难的。

[0007] 返回参考图33，相机101a至101c各自以相同视角拍摄位于远景103和近景105中的被摄物。然后，相机101a至101c聚焦在物侧焦平面104上。此时，存在一个相邻相机101a和101b的成像部分在远景103中重叠的公共部分103a。类似地，存在一个相邻相机101b和101c的成像部分在远景103中重叠的公共部分103b。另外，存在一个相邻相机101a和101b的成像部分在物侧焦平面104中重叠的公共部分104a。类似地，存在一个相邻相机101b和101c的成像部分在物侧焦平面104中重叠的公共部分104b。

[0008] 相机101a至101c拍摄的图像的公共部分103a、103b、104a和104b在色度上逐个像素地混合。然而，当多个相机的视点彼此不一致时，从每个相机到被摄物的物距不同。在特定焦平面(在该例子中，是物侧焦平面104的平面)上拍摄的多个图像可以被平滑地拼接，而当从每个相机到被摄物的物距不同时(在该例子中，远景103和近景105被混合的状态)，图像之间的接合点往往看起来不自然(也称为“近景分割”)。因而，即使多个图像的公共部分彼此混合时，也难以维持高分辨率的图像。

[0009] 这里，将通过参考日本未实审专利申请公布(PCT申请的译文)No.2005-522108至日本未实审专利申请公布No.2004-135209来简单描述用于合成图像的技术。日本未实审专利申请公布(PCT申请的译文)No.2005-522108描述了近景分割。其描述了一种在高等级表示和低等级表示中学习到的升级函数被用于提高图像数据、视频数据和音频数据的等级的技术。

[0010] 另一方面，在多视点方法中，可以获得相同分辨率和色度的图像的相机被布置在多个位置处以拍摄被摄物。每个相机的个体差异表现为变焦率(zoom rate)等的差异，因此个体差异的影响被排除以使相机的性能趋同。此时，为了使用特性虚拟趋同的相机来拍摄被摄物，每个相机获得的图像通过各种方法被校准。

[0011] 日本未实审专利申请公布No.7-143439描述了一种图像拍摄装置。图像拍摄装置含有以低分辨率拍摄动态图像的动态图像拍摄单元和以高分辨率拍摄静态图像的静态图像拍摄单元，并且在期望的拍照时机获得高质量的图像。

[0012] 日本未实审专利申请公布No.2005-318548描述了一种用于成像的技术，该技术使得第一图像数据序列(低分辨率和高帧率的图像数据序列)和第二图像数据序列(高分辨率和低帧率的图像数据序列)落在同一范围内。当这两种图像数据序列被合并以执行图像处理时，可以获得高分辨率和高帧率的图像。

[0013] 在日本未实审专利申请公布No.7-143439和日本未实审专利申请公布No.2005-318548中描述的方法为每个相机指定时间和分辨率。例如，当一个相机在一长时间段内拍摄窄范围时，所获得的图像具有高分辨率。另一方面，当另一相机在一短时间段内拍摄宽范围时，所获得的图像具有低分辨率。这样，在拍摄时间和分辨率存在一种折衷关系。这样，相机被放置在同一位置(视点位置)，拍摄窄范围的相机和拍摄宽范围的相机相互分开，然后所拍摄的图像被合成。结果，可以获得在宽范围中以高分辨率拍摄的图像，因此消除了时间和分辨率之间的折衷关系。

[0014] 当多个图像被合成时，使用下面的信号处理装置110。图34示出了现有的信号处理装置110的配置例子。信号处理装置110包括低频提取单元(LPF：低通滤波器)111。低频提取单元111输入由以窄视角拍摄被摄物的第一相机生成的高分辨率图像121，并且提取频率低于预定频带的低频图像122。在图34中，与处理模块一起，示出了与高分辨率图像121和低频图像122有关的直方图，其中横轴表示频率并且纵轴表示频率的增益。

[0015] 另外，信号处理装置110包括学习单元112和参数设置单元113。学习单元112基于输入的高分辨率图像121和低频图像122来学习高分辨率图像121相对于低频图像122的对应关系。参数设置单元113设置各种参数。然后，信号处理装置110包括映射单元114。映射单元114将从参数设置单元113送来的高分辨率图像121叠加在由第二相机(未示出)以宽视角拍摄的低分辨率图像123上以生成合成图像124。映射单元114将合成图像124输出到外部输出设备。

[0016] 图35示出了由信号处理装置110执行的现有的图像处理的例子。首先，低频提取单元111将以窄视角拍摄的高分辨率图像121的频带减小到以宽视角拍摄的低分辨率图像123的低频，并提取低频图像122(步骤S101)。随后，学习单元112在由低频提取单元111提取的低频图像122和高分辨率图像121之间进行学习，并且参数设置单元113获得参数(步骤S102)。

[0017] 映射单元114使用由参数设置单元113设置的参数，并且执行映射，在映射中，高分辨率图像121被叠加在宽视角中与低分辨率图像123相对应的位置处(步骤S103)。通过将高分辨率图像121映射在低分辨率图像123上而获得的图像被输出为合成图像。

[0018] 日本未实审专利申请公布No.9-139878描述了一种利用多个焦点进行成像的技术。以上技术想要获得这样一种图像，其中对于远景和近景中的任何一个都实现了正确的聚焦。然后，多个相机的透镜各自包括使远景实现聚焦的外透镜和使近景实现聚焦的中心透镜。

[0019] 日本未实审专利申请公布No.2004-135209描述了一种技术，该技术用于当布置有多个相机时在相机的视点的位置被校正之后合成高分辨率图像。

发明内容

[0020] 另外，在日本未实审专利申请公布(PCT申请的翻译)No.2005-522108所描述的技术中，相邻图像重叠的公共部分的宽度是可变的以应对近景分割。然而，当在相机的拍摄范围内存在多个物体或者当多个相机被一个叠加另一个地布置或并排布置时，难以平滑地拼接图像。

[0021] 例如，与DRC(数字真实创建，Digital Reality Creation：商标)的情况一样，存在一种将甚至经历了各种处理且质量下降的低分辨率图像转换为高分辨率图像的处理。然而，即使利用DRC，所获得的高分辨率图像的频带也是受限的，因此例如当图像被放大时在每个像素中缺陷是明显的。

[0022] 另外，在日本未实审专利申请公布No.7-143439和日本未实审专利申请公布No.2005-318548中描述的技术是基于供MPEG(运动图像专家组)使用的I图片和P图片的结构的处理。I图片是高分辨率图像，并且P图片包括与被摄物的运动有关的信息。在该技术中，因为拍摄高分辨率图像的相机和计算运动信息的相机的指派是固定的，所以不容易增大分辨率。由此，难以相对于被设置用于拍摄静态图像的相机的固态图像感应器件(例如，CMOS：互补金属氧化物半导体，CCD：电荷耦合器件)的分辨率来增大图像的分辨率。

[0023] 另外，在日本未实审专利申请公布No.9-139878描述的技术中，不同的透镜负责远景和近景的聚焦以进行成像；然而，没有大量相机的公共焦点。因而，每个相机很容易变得失焦，因此拼接图像往往看起来不自然。

[0024] 另外，在日本未实审专利申请公布No.2004-135209描述的技术中，例如，当拍摄同时出现暗的房间和明亮的室外的被摄物时，所拍摄的图像具有高对比率。当拍摄高对比率的被摄物时，房间或室外的纹理(物体表面材质的感觉)消失或者其超过可成像的亮度。因而，暗的房间中的图像被白化模糊，或者明亮的室外的风景消失。

[0025] 希望在拍摄宽范围中的高对比率的被摄物时获得高对比率的图像。

[0026] 根据本发明的一个实施例，接收由第一相机生成的第一图像，该第一相机以第一视角拍摄预定范围中包含的被摄物，并且接收由多个第二相机生成的、分辨率比第一图像高的多个第二图像，每个第二相机以比第一视角窄的第二视角拍摄预定范围中包含的被摄物的一部分。随后，检测第一图像中包含的被摄物的一部分和每个第二图像中包含的被摄物之间的类似部分，并且将第二图像粘贴在第一图像内与检测出的类似部分相对应的位置处以生成合成图像。另外，从合成图像中检测一区域作为不可成像区域，在第一图像中该区域的图像信息不充分并且难以被第二相机补充。然后，改变用于控制拍摄第二图像的第二相机的相机参数，其中第一图像中不充分的图像信息被该第二图像补充。

[0027] 利用以上配置，可以获得具有高对比率的高分辨率合成图像。

[0028] 根据本发明的实施例，因为可以获得具有高对比率的高分辨率合成图像，所以有利地可以在大屏幕上以增大的对比率显示合成图像。

附图说明

[0029] 图1是示出根据本发明一个实施例的图像处理系统的例子的配置图；

[0030] 图2是示出根据本发明实施例的信号处理装置的内部配置例子的框图；

[0031] 图3是图示在本发明的实施例中每个图像的亮度分布的例子的视图；

[0032] 图4是图示在本发明的实施例中变焦率的变化例子的视图；

[0033] 图5A和图5B是图示在本发明的实施例中公共信息和个体信息的例子的视图；

[0034] 图6是示出在本发明的实施例中改变第二相机的相机参数的过程的例子的流程图；

[0035] 图7是图示在本发明的实施例中的高对比率被摄物的例子的视图；

[0036] 图8是图示在本发明的实施例中真实世界中的亮度直方图的例子的视图；

[0037] 图9是图示在本发明的实施例中一个相机的可成像亮度范围的例子的视图；

[0038] 图10是图示在本发明的实施例中第一和第二相机对被摄物的成像区域的例子的视图；

[0039] 图11是图示亮度直方图的例子的视图，该亮度直方图示出了在本发明的实施例中第二相机的可成像亮度范围；

[0040] 图12是图示亮度直方图的例子的视图，该亮度直方图示出了在本发明的实施例中第二相机的可成像亮度范围；

[0041] 图13是图示亮度直方图的例子的视图，该亮度直方图示出了在本发明的实施例中第一相机的可成像亮度范围；

[0042] 图14A至图14C是图示在本发明的实施例中第一和第二相机的视角、可成像区域和不可成像区域的例子的视图；

[0043] 图15是示出在本发明的实施例中多个第二相机的视角的例子的视图；

[0044] 图16是示出在本发明的实施例中多个第二相机的视角的例子的视图；

[0045] 图17是示出在本发明的实施例中改变第二相机的相机参数的过程的例子的流程图；

[0046] 图18是图示在本发明的实施例中包括高频区域中的物体的被摄物例子的视图；

[0047] 图19是图示在本发明的实施例中被摄物的频率分布的例子的视图；

[0048] 图20是图示在本发明的实施例中一个相机的可成像频率范围的例子的视图；

[0049] 图21是图示在本发明的实施例中变焦之前的第二相机的可成像频率范围的例子的视图；

[0050] 图22是图示在本发明的实施例中变焦之后的第二相机的可成像频率范围的例子的视图；

[0051] 图23是图示在本发明的实施例中第一相机的可成像频率范围的例子的视图；

[0052] 图24A至图24C是图示在本发明的实施例中第一和第二相机的视角、可成像区域和不可成像区域的例子的视图；

[0053] 图25是图示在本发明的实施例中变焦之前的第二相机的视角、可成像区域和不可成像区域的例子的视图；

[0054] 图26是图示在本发明的实施例中变焦之后的第二相机的视角、可成像区域和不可成像区域的例子的视图；

[0055] 图27是示出在本发明的实施例中第一相机和第二相机的配置例子的框图；

[0056] 图28是图示在本发明的实施例中经二维傅立叶变换的图像的例子的视图；

[0057] 图29A至图29D是图示在本发明的实施例中检测高频区域的过程的多个步骤中的图像例子的视图；

[0058] 图30A和图30B是示出在本发明的实施例中第一和第二相机中每一个的配置例子的框图；

[0059] 图31A至图31C是图示在本发明的实施例中检测高频区域的过程的多个步骤中的图像例子的视图；

[0060] 图32是图示在本发明的另一实施例中多个相机单元的布置例子的视图；

[0061] 图33是图示在现有的单视点方法中相机的布置例子的视图；

[0062] 图34是示出现有的信号处理装置的配置例子的框图；

[0063] 图35是示出现有的图像处理的例子的流程图。

具体实施方式

[0064] 下文中，将参考图1至图28来描述本发明的实施例。在本实施例中，将描述这样一个例子，其中根据本发明实施例的信号处理装置10被应用到图像处理系统1以拍摄宽范围中的高对比率的被摄物然后生成高分辨率和高对比率的合成图像。

[0065] 图像处理系统1的配置例子

[0066] 图1示出了图像处理系统1的配置例子。图像处理系统1包括第一相机2和第二相机3a至3c。第一相机2以第一视角拍摄预定的范围以生成第一图像5。第二相机3a至3c以比第一视角窄的第二视角拍摄该预定范围中的若干部分，并生成第二图像6a至6c。第一图像5和第二图像6a至6c被提供给信号处理装置10，信号处理装置10合成多个图像以生成宽范围的高分辨率图像。由信号处理装置10生成的合成图像被输出到例如由投影仪构成的显示设备20。显示设备20将输入的合成图像30投影到屏幕上。

[0067] 高分辨率相机、HD(高清晰度)相机等等被用作第一相机2和第二相机3a至3c。这些相机分别具有个体差异，并且当执行校准以调节个体差异时代价高昂。然而，在本实施例中，第二相机3a至3c基于有关作为参照的第一相机2的视点、色度、亮度和焦点的“公共信息”被校准。因而，每个相机的个体差异很容易地以低成本进行调节。第二相机3a至3c的个体差异被分别管理为“个体信息”。另外，根据本实施例的信号处理装置10例如能够利用第一相机2和第二相机3a至3c生成具有10比特灰度级的图像，这些相机能够根据由每个相机拍摄的每个区域的亮度分布执行8比特灰度级的拍摄。

[0068] 根据本实施例的图像处理系统1根据拍摄的图像改变第一相机2和第二相机3a至3c中的每一个的拍摄方式。例如，信号处理装置10基于第一图像5和第二图像6a至6c的亮度分布和颜色分布来改变相机参数。另外，信号处理装置10基于第一图像5和第二图像6a至6c的频率(每个图像的波形的精细度)来改变相机参数。

[0069] 信号处理装置10的内部配置例子

[0070] 图2示出了信号处理装置10的内部配置例子。信号处理装置10包括输入单元11a和输入单元11b。由第一相机2拍摄的第一图像5被输入到输入单元11a。第二图像6a至6c被从第二相机3a至3c输入到输入单元11b。另外，信号处理装置10包括类似部分检测单元12。类似部分检测单元12检测在通过输入单元11a获取的第一图像5中包括的被摄物和在通过输入单元11b获取的第二图像6a至6c中包括的被摄物之间类似的部分，以作为“类似部分”。“类似部分”例如指这样的部分：在该部分中，作为第一图像5中包括的森林的一部分的树类似于第二图像6a至6c中分别包括的树。通过检测类似部分，得到第二图像6a至6c相对于第一图像5的位置，并且可以容易地将第一图像5的若干部分与第二图像6a至6c匹配。

[0071] 另外，信号处理装置10包括图像合成单元13。图像合成单元13基于类似部分检测单元12检测出的类似部分来转换第二图像6a至6c的相位等，并将第二图像6a至6c粘贴在与第一图像5内检测出的类似部分相对应的位置处。另外，信号处理装置10包括图像信息校正单元14。图像信息校正单元14基于第一图像5和第二图像6a至6c中包括的多条图像信息来校正合成图像中包含的图像信息。在该实施例中，“图像信息”包括亮度、色度和频率中的至少任一信息。因而，图像信息校正单元14在亮度、色度和频率中的至少任一个方面校正合成图像。经图像信息校正单元14转换的亮度和色度信息被提供给类似部分检测单元12。另外，亮度和色度经图像信息校正单元14转换的图像经由输出单元17被输出到显示设备20。

[0072] 另外，信号处理装置10包括成像区域检测单元15。成像区域检测单元15将图像信息在第一图像5中不充分并且难以被第二相机3a至3c补充的区域检测为合成图像中的不可成像区域。根据本实施例的成像区域检测单元15基于第一图像5和第二图像6a至6c获得相机能够成像的可成像区域和相机难以成像的不可成像区域。然后，被摄物中包含的亮度和频率被用作用于获得可成像区域和不可成像区域的参考信息。经图像信息校正单元14校正的图像信息和成像区域检测单元15检测出的关于成像区域的信息被提供给类似部分检测单元12，并且在检测类似部分时被使用。

[0073] 另外，信号处理装置10包括相机参数计算单元16。相机参数计算单元16基于成像区域检测单元15检测出的成像区域来改变用于控制拍摄第二图像6a至6c的第二相机3a至3c的相机参数，其中第二图像6a至6c用来补充第一图像5中不充分的图像信息。每个相机参数包含诸如视点位置、曝光、焦点等的信息。

[0074] 相机参数计算单元16包括亮度计算单元16a。亮度计算单元16a获得第一图像5和第二图像6a至6c中每一个所包含的被摄物的亮度分布，检测第一相机2和第二相机3a至3c中每一个的可成像亮度区域，然后使每个相机参数包含改变变焦率的信息。另外，相机参数计算单元16包括变焦率计算单元16b。变焦率计算单元16b获得被摄物的频率分布，基于第一和第二相机的可成像区域检测不可成像区域，然后使每个相机参数包含变焦率。第二相机3a至3c基于相机参数计算单元16计算出的相机参数来改变相机参数。

[0075] 图3示出了使用第一图像5和第二图像6a的亮度直方图的亮度分布的例子。第一图像5的亮度被示为亮度直方图25。亮度直方图25示出了整个第一图像5上的亮度分布26和拍摄到第二图像6a的范围的亮度分布27。整个第二图像6a的亮度被示为亮度直方图28。亮度分布27和29具有不同的比例，但是表示相同的亮度分布。

[0076] 如亮度直方图25中所示，仅利用第一相机2，如果被摄物具有高亮度或者被摄物具有宽动态范围，则很可能出现由于不充分的灰度级而引起的不可成像部分。在图3所示的例子中，在亮度分布26的中间亮度值附近，与亮度分布29相比亮度是不充分的。由此，当被第二相机3a至3c拍摄的图像6a至6c被叠加在第一图像5上时，可以再现原始图像的亮度。于是，因为可以获得详细的亮度信息，所以一个图像可以以比第一图像5更多的比特被显示在显示设备20上，或者一个图像可以被调节。

[0077] 图4是由于变焦率的变化而引起的视角的例子。在图4中，第一相机2和第二相机3a至3c的布置与图1中类似。例如，当被摄物被细致取景时，第二相机3b拉近(zoom in)而其他第二相机3a和3c拉远(zoom out)。然后，当在宽范围中被第一相机2拍摄的范围内发现运动物体时，第二相机3b拉近以便可以拍摄该物体。因而，可能有必要允许逐个相机地改变变焦率。

[0078] 另外，从被第一相机2拍摄的宽范围的图像中可能部分获得低分辨率图像。因而，当第二相机3a至3c的成像范围并不连续时，被第一相机2拍摄的第一图像5被放置在相邻成像范围之间的间隙中以便可以生成合成图像。另外，还可想到，例如利用高通滤波器对一图像检测高频分量以作为改变每个相机的变焦率的触发，然后主要拍摄高频部分。

[0079] 在本实施例中，因为被第一相机2拍摄的第一图像5被用作图像合成时的参照，所以第一相机2的变焦率不改变。因而，第一相机2的视角不改变。另一方面，当第二相机3a至3c的各自变焦率改变时它们的视角比原始变焦率下的视角窄。因而，变焦率改变之后的区域21比原始变焦率的可成像区域22窄；然而，可以获得更高分辨率的图像。

[0080] 然后，相机参数计算单元16获得与颜色、亮度和焦点中的至少任一种有关的信息作为相机参数，利用该相机参数逐个像素地确定第二图像6a至6c的特性量。这样，通过利用相机参数改变第二相机3a至3c的特性，被各个相机拍摄的图像中的不充分的信息可以被补充。此时补充的信息被称为“相机参数”。相机参数包括分辨率、亮度、焦点、白平衡、视点等等。下文中将描述相机参数。

[0081] (1)在分辨率的情况下

[0082] 第二相机3a至3c各自改变变焦率以便能够通过自由地改变每个成像区域的分辨率来执行拍摄。

[0083] (2)在视点的情况下

[0084] 第二相机3a至3c各自能够通过根据目标被摄物自由地改变视点来执行拍摄。

[0085] (3)在白平衡(色度)的情况下

[0086] 第二相机3a至3c各自能够通过根据被摄物的颜色自由地改变每个成像区域的白平衡来执行拍摄。

[0087] (4)在亮度的情况下

[0088] 第二相机3a至3c各自能够通过利用自动增益等自由地改变每个成像区域的亮度来执行拍摄。

[0089] (5)在焦点的情况下

[0090] 第二相机3a至3c各自能够通过根据到被摄物的距离自由地改变每个成像区域的焦点来执行拍摄。

[0091] 第二相机3a至3c各自根据变焦率改变每个成像区域的分辨率和亮度。然后，根据到被摄物的距离改变每个成像区域的焦点，并且根据所拍摄的图像的颜色改变每个成像区域的白平衡，从而改变到被摄物的视点。

[0092] 图5A和图5B示出了公共信息和个体信息的例子。在本实施例中，与第一相机2的相机参数有关的信息被称为“公共信息”。公共信息被用作第一相机2和全部第二相机3a至3c上的参照，并且主要指示第二相机3a至3c相对于第一相机2的差异。当使用公共信息时，可以消除当拼接由相机拍摄的多个图像时每个相机的个体差异、视差等的影响。然而，公共信息可能是通过拍摄很宽的范围而获得的，因此分辨率极低。

[0093] 另一方面，相对于公共信息而言、与第二相机3a至3c的相机参数有关的信息被称为“个体信息”。个体信息总体上不同于相机阵列的公共信息，但是信息的质量(分辨率的分辨力、亮度的分辨力、色度的分辨力、调节焦点的位置，等等)很高。与个体信息相比，公共信息具有高信息质量(例如分辨率)，但是相机之间的个体差异不被考虑。难以仅通过一个相机管理公共信息和个体信息，并且这些信息由相机参数计算单元16管理。通过获得个体信息相对于公共信息的差异，得到第二相机3a至3c中每一个相对于第一相机2的相机参数变化。然后，得到的相机参数变化被用于例如在图像合成单元13合成图像时校正图像的偏离和/或色度。

[0094] 图5A示出了如何管理公共信息和个体信息的例子。在本实施例中，第二图像6a至6c利用第一相机2的视点和第一图像5的色度为参照被叠加。因为第一相机2的视角很宽，所以第一图像5具有低分辨率。另一方面，第二相机3a至3c各自具有窄视角，并对第一图像5的一部分进行缩放以进行拍摄，因此第二图像6a至6c各自具有高分辨率。第一相机2的视点、色度、亮度和焦点被用作公共信息，该公共信息被用作当第二图像6a至6c被叠加在第一图像5上时的参照。另外，在相机之间，第二相机3a至3c的亮度和焦点在特性上是不同的。

[0095] 图5B示出了利用公共信息和个体信息两者生成的信息的例子。个体信息与分辨率、视点、色度、亮度和焦点有关，这些信息被用于使第二相机3a至3c的特性与第一相机2相匹配。在本实施例中，希望获得与第二相机3a至3c的图像相当的高分辨率的图像。另外，当第一相机2被放置的位置被设置为一个视点时，使放置第二相机3a至3c的位置与第一相机2的视点一致。进而，与低分辨率的第一图像5相比，第二图像6a至6c各自具有详细的色彩信息。另外，与仅具有低亮度的亮度信息的第一图像5相比，第二图像6a至6c各自具有高亮度的亮度信息。另外，第二相机3a至3c各自聚焦在包括被摄物的相应成像区域上。

[0096] 在现有技术中，当布置有以窄视角拍摄被摄物的多个相机并且随后图像被拼接在一起时，因为相机的视点是不同的，所以图像之间的接合点看起来不自然。在本实施例中，准备第一相机2和第二相机3a至3c，并且被摄物的公共信息和个体信息是分开捕获的。公共信息和个体信息包括分辨率、视点、色度、亮度和焦点的信息。当使用公共信息和个体信息时，获得利用每个相机的特性的图像。

[0097] 图6是示出改变第二相机3a至3c的相机参数的过程的例子的流程图。首先，信号处理装置10经由输入单元11a获取来自第一相机2的第一图像5，并且经由输入单元11b获取来自第二相机3a至3c的第二图像6a至6c(步骤S11)。

[0098] 随后，类似部分检测单元12检测第一图像5和第二图像6a至6c之间的类似部分(步骤S12)。此时，类似部分检测单元12基于经图像信息校正单元14校正的图像信息以及成像区域检测单元15检测出的不可成像区域和可成像区域来检测类似部分。在该实施例中，类似部分检测单元12检测每个图像的类似部分，然后再次检测类似部分以提高检测类似部分的精度。另外，每个相机具有个体差异，因此当现有技术被用于检测类似部分时检测精度是相当差的。这里，“相机的个体差异”意味着由于滤色镜等的偏差，相机之间的色度等不同。

[0099] 为了准确获得在亮度、色度等方面对每个相机的个体差异的校正量，希望匹配图像的相位。然后，通过执行诸如类似部分检测和个体差异校正之类的反馈过程，提高检测类似部分的精度。这里，下面示出了数学表达式(1)，该式示出了用于校正每个相机的个体差异的校正量P。像素值Y1指示由第一相机2拍摄的图像的每个像素的像素值。另外，像素值Y2指示由第二相机3a至3c拍摄的图像的每个像素的像素值。

[0100]

[0101] 如数学表达式(1)中所示，校正量P是通过以下方式获得的：将通过从第二相机3a至3c的每个像素值中减去平均像素值而获得的值的绝对值除以通过从第一相机2的每个像素值中减去平均像素值而获得的值的绝对值。然后，下面的数学表达式(2)被用于获得校正后的像素值Y2。

[0102] Y2＝P×(Y1-AVG(Y1))+AVG(Y2)...(2)

[0103] 在获得了校正量P之后，第二相机3a至3c的个体差异被校正，以使相机的每个像素的像素值Y1与像素值Y2相匹配。注意，利用类似部分检测单元12所检测的每个图像的类似部分的结果，可以进一步获得校正量P。

[0104] 然后，图像合成单元13将第二图像6a至6c粘贴在预定位置处以便与第一图像5的相位相匹配(步骤S13)。步骤S13中的图像转换和粘贴采用在日本未实审专利申请公布No.2004-135209中描述的技术。

[0105] 然后，图像信息校正单元14转换第二相机3a至3c的亮度以便与第一相机2的亮度相匹配(步骤S14)。然后，图像信息校正单元14将图像再次传送到类似部分检测单元12以便匹配亮度和色度(步骤S15)。

[0106] 在步骤S14的处理之后，成像区域检测单元15检测与不可被第一相机2和第二相机3a至3c两者成像的不可成像区域有关的信息(步骤S16)。成像区域检测单元15基于第一图像5和第二图像6a至6c中的每一个中包含的被摄物的一部分的对比率来获得被摄物的亮度分布。然后，成像区域检测单元15基于第一相机2和第二相机3a至3c难以执行拍摄的亮度范围来检测不可成像区域。不可成像区域包括可能引起被摄物饱和的高亮度。另外，当获得频率分布以检测不可成像区域时，不可成像区域包括具有高频分量的区域，该区域难以利用相机此时的分辨率来处理。

[0107] 然后，成像区域检测单元15将与为每个相机检测出的成像区域有关的信息发送到类似部分检测单元12(步骤S17)。与成像区域有关的信息被用作指示哪一区域被类似部分检测单元12匹配的参数。

[0108] 在步骤S16的处理之后，相机参数计算单元16计算为第二相机3a至3c设置的相机参数，并且对第二相机3a至3c设置这些相机参数(步骤S18)。

[0109] 接下来，将参考图7至图17来描述在根据本实施例的图像处理系统1中选择相机的过程的例子。在图7至图17中，执行基于被摄物的亮度改变相机的成像区域的过程。下文中，将描述第一相机2以及第二相机3a和3b被用于拍摄被摄物的情况。

[0110] 图7示出了高对比率的被摄物31的例子。在该实施例中，将描述当由黑暗的房间中向明亮的室外拍摄时所看见的被摄物。被摄物31包括暗室内区域32和亮室外区域33。室内区域32例如包括窗户框32a至32c。室外区域33例如包括太阳33a、云彩33b和森林
33c。

[0111] 在现有技术中，当相机聚焦在室外区域33上时，室内区域32中包括的窗户框32a至32c的图案等看起来很暗。另一方面，当相机聚焦在室内区域32上时，室外区域33中包含的被摄物看起来发白，因此例如森林33c中包括的树木的叶子等消失不见。因此，单个相机难以清楚地拍摄被摄物31。

[0112] 图8示出了从被摄物31获得的亮度直方图的例子。亮度直方图的亮度值以对数显示来表示。下文中，在图8至图12各自示出的亮度直方图中，横轴表示亮度并且纵轴表示频率。室内区域32的亮度分布34例如在0和100堪德拉(candela)之间。这样，室内区域32的亮度在亮度分布34内达到峰值。室外区域33的亮度分布35例如在1500到6000堪德拉之间。这样，室外区域33的亮度在亮度分布35内达到峰值。

[0113] 图9示出了在图8所示的亮度直方图内单个相机的可成像亮度范围36。第一相机2和第二相机3a至3c的可成像亮度范围36局限在255灰度级的某一范围内。由此，仅仅利用第一相机2以及第二相机3a和3b之一，难以同时以高亮度拍摄室内区域32和室外区域33两者。在本实施例中，对于室内区域32和室外区域33相互不同地设置相机的成像区域，因此每个获得的图像的亮度很高。通过合成这些图像，可以获得具有高对比率的合成图像。

[0114] 这里，将参考图10至图17来描述成像区域检测单元15检测每个相机的成像区域的过程。图10示出了拍摄图7中所示的被摄物31的第一相机2以及第二相机3a和3b的视角的例子。图10中所示的相机的视角是通过相机参数改变视角之前的初始状态。

[0115] 第一相机2的视角41被设置为拍摄整个被摄物31。在该实施例中，视角41包括室内区域32中的被摄物和室外区域33中的被摄物。第二相机3a的视角42a被设置为拍摄室外区域33。另一方面，第二相机3b的视角42b被设置为拍摄室内区域32和室外区域33。然而，第二相机3a的视角42a与第二相机3b的视角42b部分重叠。另外，第二相机3b的视角42b小于第二相机3a的视角42a。

[0116] 图11示出了显示第二相机3a的可成像亮度范围的亮度直方图的例子。第二相机3a适合于拍摄高亮度(例如，在500到6000堪德拉之间)被摄物的情况。因而，当第二相机3a拍摄亮度落在500到6000堪德拉的范围外的被摄物时，所获得的图像变暗。

[0117] 图12示出了图示第二相机3b的可成像亮度范围的亮度直方图的例子。第二相机3b适合于拍摄低亮度(例如，在0到500堪德拉之间)的被摄物的情况。因而，当第二相机
3b拍摄亮度落在0到500堪德拉的范围外的被摄物时，所获得的图像变白。

[0118] 图13示出了图示第一相机2的可成像亮度范围的亮度直方图的例子。第一相机2适合于拍摄100到1500堪德拉的被摄物的情况。因而，当第一相机2拍摄亮度落在100到1500堪德拉的范围外的被摄物时，所获得的图像变白。

[0119] 成像区域检测单元15从第一相机2以及第二相机3a和3b收集与宿主装置的可成像亮度范围有关的信息。然后，以第二相机3a的视角42a拍摄的图像和以第二相机3b的视角42b拍摄的图像被映射在以第一相机的视角41拍摄的图像上。

[0120] 图14A至14C示出了相机的视角以及可成像和不可成像区域的例子。图14A示出了第一相机2的视角41以及可成像和不可成像区域的例子。图14B示出了第二相机3a的视角42a以及可成像和不可成像区域的例子。图14C示出了第二相机3b的视角42b以及可成像和不可成像区域的例子。

[0121] 各个视角中包含的图像相当于以图10中所示的视角拍摄的图像。在下面的描述中，空白部分是相机难以拍摄的不可成像区域，而阴影部分是相机能够拍摄的可成像区域。

[0122] 图15示出了第二相机3a和3b的视角的例子。第二相机3a的视角42a和第二相机3b的视角42b相当于图10中所示的视角。

[0123] 成像区域检测单元15检测出第二相机3b的视角42b不与第二相机3a的视角42a重叠的一部分，该部分包括室外区域33的一部分作为第二相机3a和3b中的任何一个都难以拍摄的不可成像区域43。即使当多个图像在该状态中被合成时，也难以获得清楚地再现被摄物的亮度的图像。然后，为了区分可成像区域与不可成像区域，成像区域检测单元15为以视角42a和42b拍摄的每个图像中包含的每个像素设置一标志。

[0124] 因而，成像区域检测单元15预测不可成像区域43的亮度，这对于使用第一相机2进行拍摄可能是必要的。然后，从第二相机3a和3b中选择能够对所预测的亮度成像的相机。在该实施例中，假定选择了第二相机3a。然后，成像区域检测单元15向相机参数计算单元16提供用于改变视角的信息。相机参数计算单元16将改变后的相机参数提供给第二相机3a以便通过扩展第二相机3a的视角来改变成像范围，并且执行用于改变第二相机3a的视角的设置。该相机参数包括用于改变变焦率的信息，并且能够通过改变变焦率来改变相机的视角。

[0125] 图16示出了视角被扩展的第二相机3a和3b的视角的例子。这里，示出了通过扩展第二相机3a的视角42a而获得的视角42’。通过这样扩展视角42a，可以通过第二相机3a拍摄不可成像区域43(见图15)。

[0126] 图17示出了成像区域检测单元15检测成像区域的过程的例子。首先，成像区域检测单元15基于视角42a和42b获得每个相机的可成像区域，视角42a和42b是第二相机3a和3b拍摄时的视角并且是经由输入单元11b获取的(步骤S21)。

[0127] 随后，成像区域检测单元15将视角42a和42b的信息粘贴在由第一相机2拍摄的第一图像上(步骤S22)。然后，成像区域检测单元15基于粘贴到第一图像上的视角42a和42b的信息来提取第二相机3a和3b的不可成像区域43(步骤S23)。

[0128] 之后，成像区域检测单元15检查不可成像区域43的亮度值，并且从第二相机3a和3b中选择能够拍摄不可成像区域43的亮度值的相机(步骤S24)。例如，在步骤S24中，能够拍摄不可成像区域43的第二相机3a或3b是基于图11至图13中所示的亮度直方图来选择的。

[0129] 然后，亮度值落在可成像区域内的第二相机3a或3b的相机参数被改变(步骤S25)。这里，作为被改变的相机参数，变焦率被改变以改变视角。然后，即使是不可成像区域43也可以以通过扩展视角42a而获得的视角42’来拍摄。注意，可改变的相机参数包括诸如成像方向和焦点之类的信息。

[0130] 接下来，将参考图18至图26来描述改变相机参数的过程的例子。在图18至图26中，基于被摄物中包含的频率(例如，图像的波形(图案等)的精细度)来改变由第二相机3a和3b拍摄的区域。这里，因为第一相机2拍摄宽范围，所以所拍摄的图像并不包含高频分量。因而，选择能够拍摄高频分量的第二相机3a或3b，并且可能有必要适当地改变相机参数。该实施例中的相机参数包括用于改变变焦率的信息。

[0131] 图18示出了被摄物的一部分包括高频区域的图像的例子。图18包括作为被摄物的天空53、具有栅栏的建筑物54和多个建筑物55。在该实施例中，第一相机2生成以第一视角51拍摄的整个被摄物的图像。另外，第二相机3a和3b生成以比第一相机2的视角窄的第二视角52a和52b拍摄的图像。建筑物54具有暗和亮以预定间隔发生改变的图案(在该实施例中是栅栏)，因此与天空53和建筑物55相比，建筑物54包括高频。因而，仅利用第一相机2难以拍摄建筑物54的图案。

[0132] 图19示出了图18所示的被摄物中包括的天空53和建筑物55的频率分布的例子。如天空53的频率分布61所示，天空53的频率分量低。另一方面，如建筑物55的频率分布
62所示，建筑物55的频率分量高。

[0133] 图20示出了单个相机的可成像频率范围的例子。所有的第一相机2以及第二相机3a和3b都有基本相等的可成像频率范围63。然而，当第二相机3a和3b被变焦时，可成像频率范围64比频率范围63宽。因而，可以拍摄纹理更加精细(高频)的图像。然而，当第二相机3a和3b被变焦时，与变焦之前的视角相比视角变小。

[0134] 图21示出了变焦之前的第二相机3a的可成像频率范围的例子。第二相机3a能够拍摄如可成像范围65a中所示的低频分量的图像。

[0135] 图22示出了变焦之后的第二相机3b的可成像频率范围的例子。第二相机3b能够拍摄如可成像范围65b中所示的高频分量的图像。因而，第二相机3b拍摄的图像具有高分辨率，并且能够拍摄精细的图案等。

[0136] 图23示出了第一相机2的可成像频率范围的例子。第一相机2拍摄宽范围内的被摄物。这样，第一相机2的可成像频率范围66基本上等于天空53的频率分布61。也就是说，第一相机2已设置了极低的变焦率，因此所拍摄的图像具有低分辨率(低频)，并且第一相机2难以拍摄精细的图案等。

[0137] 图24A至图24C示出了相机的视角与可成像和不可成像区域的例子。图24A示出了第一相机2的视角51与可成像和不可成像区域的例子。图24B示出了第二相机3a的视角52a与可成像和不可成像区域的例子。图24C示出了第二相机3b的视角52b与可成像和不可成像区域的例子。

[0138] 视角51、52a和52b中包括的被摄物的图像相当于图18中所示的被摄物的图像。如图24A至图24C所示，发现利用相机中的任何一个都难以拍摄包括高频区域的建筑物54。

[0139] 另外，为了合成相机所拍摄的图像，可能有必要获得相机的可成像频率范围的信息。这里，将参考图25和图26来描述改变相机的视角的过程。

[0140] 图25示出了变焦之前的第二相机3a和3b的视角的例子。第二相机3a的视角52a和第二相机3b的视角52b相当于图18中所示的情形。另外，包括高频区域的建筑物54被包括在第二相机3b的视角52b与第二相机3a的视角52a的重叠部分中。因此，难以清楚地拍摄建筑物54的图案。为了以高分辨率拍摄建筑物54，只需要使第二相机3a和3b中的任何一个被变焦。在该实施例中，因为第二相机3b能够拍摄最高频率范围的被摄物(见图22)，所以第二相机3b的变焦率被改变以改变相机参数，该相机参数改变视角。相机参数包括用于改变视角的信息。

[0141] 图26示出了变焦后的第二相机3b的视角的例子。这里，示出了通过对第二相机3b的视角52b变焦而获得的第二相机的视角57。看起来视角57比视角52b窄(见图25)。
通过这样对第二相机3b变焦，可以以高分辨率拍摄如图25所示的包括高频区域的建筑物
54。

[0142] 这里，将参考图27至图31C来描述第二相机3a和3b的配置例子以及当检测被摄物中包含的高频区域时处理后的图像的例子。

[0143] 图27示出了第一相机2以及第二相机3a至3c中每一个的成像单元70的配置例子。成像单元70包括透镜71、低频分离单元(光学LPF：低通滤波器)72和成像器件(CCD、CMOS等)73。从被摄物发射的光线经过透镜71，并且低通滤波器72提取出低频分量的光线。低频分量的光线被成像器件73转换为图像信号，并且被提供给第一相机2以及第二相机3a至3c中每一个的处理块。注意，被摄物中包含的高频区域可以利用诸如二维傅立叶变换和DCT(离散余弦变换)之类的技术来检测。

[0144] (1)在分析图像分量的情况下

[0145] 首先，将描述成像区域检测单元15通过分析图像分量来检测高频区域的过程的例子。图28示出了应用了二维傅立叶变换的图像的例子。首先，成像区域检测单元15以8×8块为单位划分图像，然后对图像应用二维傅立叶变换。参考变换后的图像74，发现在具有低频的部分75附近存在一个频率比预定阈值高的区域。也就是说，白色块是频率低于预定阈值的区域。

[0146] 图29A至图29D示出了在检测高频区域的过程中步骤中的图像的例子。图29A示出了原始图像81的例子。原始图像包括一个填满的玩具熊和穿在洋娃娃身上的和服的一部分的图像。注意，原始图像81是在不经过低通滤波器72的情况下获得的。图29B示出了以8×8块为单位在整个原始图像81上应用二维快速傅立叶变换(FFT)得到的图像82的例子。这里，图28中所示的8×8块被显示在块80处。从图像82中，看起来在精细图案的和服附近是白色的，并且在此附近包括高频分量。

[0147] 图29C示出了通过对原始图像81应用低通滤波器72而获得的低频图像83的例子。因为低频图像83仅仅由低频分量形成，所以它整体上是不清楚的。图29D示出了以应用低通滤波器72得到的低频图像83的8×8块为单位、被应用二维快速傅立叶变换的图像84的例子。同样在这种情况下，从图像84中看起来在精细图案的和服附近是白色的，并且在此附近包括高频分量。

[0148] (2)在获得通过从原始图像中减去低频分量而获得的差图像的情况下[0149] 图30A和图30B示出了第一相机2以及第二相机3a至3c中每一个的成像单元70的配置例子。每个块的配置与图27中所示的配置例子类似，因此省略其详细描述。图30A是当低通滤波器72关闭时的配置例子。在这种情况下，获得原始图像81。图30B是当低通滤波器72开启时的配置例子。在这种情况下，获得低频图像83。

[0150] 图31A至图31C示出了在检测高频区域的过程中步骤中的图像例子。图31A是当低通滤波器72关闭时获得的原始图像81的例子。在这种情况下，因为原始图像81包括高频分量，所以和服等的图案也被清楚示出。图31B是当低通滤波器72开启时获得的图像82的例子。在这种情况下，因为图像82仅包括低于预定阈值的低频分量，所以图像82整体上不清楚。图31C示出了差图像84的例子。在这种情况下，因为从原始图像81中减去图像82，所以差图像84仅包括高于预定阈值的频率分量。结果，可以从差图像84中检测被摄物中包括的高频分量。

[0151] 然后，变焦率计算单元16b基于检测出的高频区域的信息将包括改变后的变焦率的相机参数提供给第二相机3a和3b中所选的一个。结果，通过改变第二相机3a或3b的变焦率，可以通过缩窄视角来拍摄高频区域中的被摄物。

[0152] 利用根据上述实施例的信号处理装置10，由第二相机3a至3c拍摄的第二图像6a至6c被粘贴到由第一相机2拍摄的第一图像5上以生成合成图像。当生成合成图像时，图像信息校正单元14将关于亮度和色度的信息提供给类似部分检测单元12以确保检测类似部分的处理。另外，成像区域检测单元15获得第一相机2以及第二相机3a至3c中每一个的可成像区域和不可成像区域。这里获得的可成像区域和不可成像区域的信息被提供给类似部分检测单元12以进一步提高检测类似部分的处理的可靠性。

[0153] 另外，通过将成像区域检测单元15检测出的可成像区域和不可成像区域的信息提供给相机参数计算单元16，可以提高当改变第二相机3a至3c的相机参数时的精度。

[0154] 另外，可以通过指定相机3a至3c的属性(分辨率、视点、颜色、亮度和焦点)来进行拍摄。然后，当利用属性(分辨率、视点、颜色、亮度和焦点)不同的相机3a至3c拍摄得到的多个图像合成新的图像时，在这些图像中使用每个图像中的详细相机参数信息。结果，从第一图像5和第二图像6a至6c获得高分辨率的合成图像。此时，为了仅将第二图像6a至6c的高频分量粘贴到第一图像5的低频分量上，利用第一图像5的色度自然地合成图像。这样，在本实施例中生成的合成图像可以是静态图像和动态图像中的任何一种。

[0155] 另外，即使当多个相机的视点彼此不一致时，对于第二相机3a至3c中的每一个也可以获取相对于公共信息的个体信息。然后，基于个体信息调节相机参数，获得图像被平滑拼接的合成图像。因而，第二相机3a至3c的数目没有限制，对于其布置也没有限制。

[0156] 另外，当仅有第一相机2被用于拍摄亮度差较大的被摄物时，所获得的第一图像5没有精确地捕获低亮度或高亮度的部分。然而，这些部分可以利用第二相机3a至3c拍摄的第二图像6a至6c来补充。因而，所获得的合成图像是多灰度级(高动态范围)的图像。

[0157] 注意，在根据上述实施例的信号处理装置中，可以堆叠多层结构，并且可以以高分辨率进行拍摄，只要相机的机制允许即可。这里，将参考图32描述另一实施例。

[0158] 图32示出了设有多个相机单元的例子。当一组图1中所示的第一相机2和第二相机3a至3c是一个单元时，设有多个单元。在该实施例中，进一步提供了第三相机9，第三相机9以比第一相机2宽的视角拍摄被摄物。然而，基本操作类似于使用由第一相机2和第二相机3a至3c形成的一个单元的情况。此时，以第三相机9执行拍摄时的视角90作为参照，每个单元在相对于视角90的偏离被校正并且合成图像被形成的状态下执行拍摄。这样，可以获得具有多级结构的高分辨率的合成图像。因而，其优点在于，可以获得具有高分辨率并且没有变形的立体图像。

[0159] 另外，上述实施例中的一系列过程可以通过硬件或软件执行。当这一系列过程通过软件执行时，构成软件的程序被安装到装配到专用硬件的计算机上，或者构成期望软件的程序被安装在例如能够通过安装各种程序来执行各种功能的通用计算机上。

[0160] 另外，记录实现上述实施例的功能的软件的程序代码的记录介质被送入一个系统或装置，并且显然地，上述实施例的功能可以由读取并执行存储在记录介质中的程序代码的系统或装置的计算机(控制器，例如CPU)实现。

[0161] 在这种情况下，用于提供程序代码的记录介质例如可包括软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡、ROM等等。

[0162] 另外，本发明的实施例不仅包括上述实施例的功能通过执行由计算机读取的程序代码来实现的情况，还包括运行在计算机上的OS等基于程序代码的指令执行整个实际处理过程或其一部分、然后上述实施例的功能由这些处理来实现的情况。

[0163] 注意，在说明书中，描述构成软件的程序的步骤不仅包括以所写的顺序按时序执行的处理，还包括当不按时序执行这些处理时被并行执行或分开执行的处理。

[0164] 此外，本发明的实施例并不限于上述实施例；显然地，它可以被修改为各种形式，而不脱离本发明的范围。

[0165] 本申请包含与2008年6月27日向日本专利局提交的日本在先专利申请JP2008-169445有关的主题，上述申请的全部内容通过引用而结合于此。

[0166] 本领域技术人员应当理解，取决于设计需求和其他因素可以发生各种修改、组合、子组合和变更，只要这些修改、组合、子组合和变更在权利要求或其等同物的范围内。