成像设备、数据处理方法和程序

摘要

提供了成像设备、数据处理方法及程序。该成像设备包括：方位传感器，其检测表示在其上定位成像设备的方向的方位；控制器，其生成由所捕捉的图像以及与所捕捉的图像相关联的属性信息形成的数据并且在记录部件中记录数据；以及记录部件，其存储所捕捉的图像和属性信息，其中控制器在存储器中相继记录条目，条目使通过相继接收用方位传感器检测到的值所计算出的方位信息与表示从方位传感器输入检测值的时间的时间戳相关，从在存储器中记录的条目中提取具有接近于捕捉图像的时间的时间戳的多个条目，以及通过使用所提取的条目中的多条方位信息来计算表示在其上捕捉图像的方向的方位信息。

权利要求

1.一种成像设备，包括：

方位传感器，其检测表示在其上定位所述成像设备的方向的方位；

控制器，其生成由所捕捉的图像以及与所捕捉的图像相关联的属性信息形成的数据并且在记录部件中记录数据；以及记录部件，其存储所捕捉的图像和属性信息，

其中，所述控制器在存储器中相继记录条目，所述条目使通过相继接收用所述方位传感器检测到的值而计算出的方位信息与表示从所述方位传感器输入检测值的时间的时间戳相关，从记录在所述存储器中的条目中提取具有接近于捕捉图像的时间的时间戳的多个条目，以及通过使用所提取的条目中具有中间值的多条方位信息的平均值来计算表示在其上捕捉图像的方向的方位信息。

2.根据权利要求1所述的成像设备，

其中，所述控制器从在所述存储器中记录的条目中提取具有接近于捕捉图像的时间的时间戳的多个条目，从所提取的条目中的多条方位信息中再选择具有方位信息的中间值的少量条目，并将多个再选择条目中的多条方位信息的平均值设置为表示在其上捕捉图像的方向的方位信息。

3.根据权利要求1所述的成像设备，

其中，所述控制器

从在所述存储器中记录的条目中选择具有最接近捕捉图像的时间的时间戳的单个代表性条目，选择具有接近于所述代表性条目的时间戳的时间戳的指定数目的相邻条目，将由所述代表性条目和所述相邻条目组成的多个条目按方位信息的大小的递增或者递减的次序排序，以及从所排序的条目中至少移除该最大以及最小端的条目，在剩余的中间条目中求方位信息的值的平均，并设置该平均值为表示在其上捕捉图像的方向的方位信息。

4.根据权利要求1至3中任意一项所述的成像设备，其中，所述控制器

获取捕捉每个连续捕捉的图像的时间，

从在所述存储器中记录的条目中提取具有接近于在其上捕捉每个连续捕捉的图像的时间的时间戳的多个条目，以及通过使用所提取的条目中的多条方位信息来计算表示在其上捕捉每个连续捕捉的图像的方向的方位信息。

5.根据权利要求1至3中任意一项所述的成像设备，其中，所述控制器从在所述存储器中记录的条目中提取具有接近于捕捉组合多个捕捉图像而生成的全景图像的中心图像的时间的时间戳的多个条目，并通过使用所提取的条目中的多条方位信息来计算表示在其上捕捉所述全景图像的方向的方位信息。

6.根据权利要求5所述的成像设备，

其中，所述控制器根据捕捉所述全景图像的成像开始帧的时间来计算捕捉所述全景图像的中心图像的时间。

7.一种在成像设备中执行的数据处理方法，所述方法包括步骤：允许控制器在存储器中相继记录条目，所述条目使通过相继接收方位传感器检测到的值所计算的方位信息与表示从所述方位传感器输入检测值的时间的时间戳相关，所述方位传感器检测表示在其上定位所述成像设备的方向的方位；

允许所述控制器获取捕捉图像的时间；以及

允许所述控制器从在所述存储器中记录的条目中提取具有接近于捕捉图像的时间的时间戳的多个条目，以及通过使用所提取的条目中具有中间值的多条方位信息的平均值来计算表示捕捉图像的方向的方位信息。

说明书

成像设备、数据处理方法和程序

技术领域

[0001] 本发明涉及成像设备、数据处理方法和程序，且具体地说涉及成像设备、数据处理方法和程序，其用于将成像设备记录所捕捉的图像与表示捕捉图像的方向的方位信息一起记录。

背景技术

[0002] 近年来，有一种相机，其包括用于检测定位相机的方向的方位传感器，并且当捕捉图像时，获取表示用方位传感器获取的成像方向的方位信息。该类型的相机将所捕捉的图像与作为与所捕捉的图像相关联的属性信息(元信息)的方位信息一起记录在介质(存储装置)上。

[0003] 例如，记录在介质上的、作为与图像相关联的属性信息的方位信息用于指示显示在PC或者任何其他设备的显示部件上的图(map)上的成像方向。或者，当通过组合多个连续捕捉的图像生成全景图像时，方位信息用于确定捕捉每个图像的方向。方位信息用于各种其他应用中。

[0004] 例如，在JP-A-2005-110031以及JP-A-2005-26859中描述了获取以及记录方位信息的成像设备。

[0005] 然而，在数码相机或者其他类似的相机中，捕捉图像的定时与在介质上记录所捕捉的图像的定时不相同。该时间差由捕捉图像之后需要时间来记录所捕捉的图像所造成。例如，在捕捉图像之后，相机中的数据处理器编码所捕捉的图像、格式化记录介质、执行其他处理、然后将所捕捉的图像记录在介质上。因此，数码相机一般要求在成像之后以及记录之前有某一处理时段。

[0006] 在许多情况下，当在介质上记录所捕捉的图像时，现有技术的相机从相机中配备的方位传感器获取最新的方位信息并且记录方位信息作为关于成像方向的信息。在从捕捉图像的定时到在介质上记录图像的定时期间定位相机的方向的任何改变都会导致所记录的方位信息不同于实际捕捉图像的方向。

[0007] 具体示例将参考图1和图2描述。

[0008] 图1描述在一般的单个或者连续图像捕捉处理中的图像捕捉和记录序列。

[0009] 图2描述移动相机时捕捉多个图像、处理相机中所捕捉的图像以生成水平延伸的全景图像、以及记录全景图像的序列。

[0010] 首先将参考图1描述在一般的单个或者连续图像捕捉处理中的图像捕捉和记录序列。图1示出以下序列

[0011] (a)成像，

[0012] (b)记录，以及

[0013] (c)获取方位信息。时间(t)从左至右流逝。

[0014] 首先用户在时间t1捕捉图像1。然后用户在时间t2捕捉图像2，随后捕捉后来的图像，然后在时间t3捕捉图像N。假定总共捕捉N张图像。用户在改变定位相机的方向的同时捕捉图像。

[0015] 每个所捕捉的图像由相机中的信号处理器编码成JPEG图像或者任何其他适当的压缩图像。在记录之前，还将已编码的图像转换为遵循指定的图像记录格式的数据，诸如EXIF格式。在这些处理之后，在闪速存储器或者任何其他适当的记录介质上记录数据。

[0016] 如上所述，编码和其他信号处理一般要求预定时段(period)。因此如图1所示，在时间t4、t5和t6分别将图像1、图像2和图像N记录在介质上。

[0017] 获取方位信息的传感器在预先指定的采样时间间隔将以传感器获取的信息提供给控制器(CPU)。控制器获取在介质上记录所捕捉的图像时所获取的最新的方位信息并且将所获取的方位信息记录在介质上。

[0018] 结果，与图像1相关联的属性信息(元信息)中记录的方位信息是紧接在记录图像1的时间t4之前从方位传感器输入的方位信息。结果，如图1所示，将错误的方位信息[135°]记录为表示捕捉图像1的方向的信息。所记录的方位信息明显不同于实际捕捉图像1时(t1)的方位信息[0°]。

[0019] 类似地，对于在时间t2捕捉的图像2，记录紧接在时间t4时记录图像2之前所获取的方位信息[180°]，但是所记录的方位信息不同于实际成像动作时(t2)的方位信息[45°]。

[0020] 如上所述，成像定时与记录定时之间的时间滞后导致将不同于实际成像动作时的方位信息的方位信息记录为与所捕捉的图像相关联的属性信息(元信息)。

[0021] 图2描述移动相机时捕捉多个图像、处理相机中的所捕捉的图像以生成水平延伸的全景图像以及记录全景图像的序列。图2示出以下序列

[0022] (a)成像，

[0023] (b)记录，以及

[0024] (c)获取方位信息，如图1所示。时间(t)从左至右流逝。

[0025] 用户设置相机为全景成像模式，并在移动相机时捕捉多个图像。在捕捉图像之后，相机中的数据处理器连接多个图像以生成全景图像并且在记录介质上记录全景图像。

[0026] 在图2中，时间ta表示捕捉形成全景图像的多个图像期间的时段的中心时间。用户捕捉多个图像之后，相机组合图像以生成全景图像、编码全景图像为JPEG图像或者任何其他适当的压缩图像、以及在记录已编码的图像之前，将其转换为遵循指定的图像记录格式的数据。在这些处理之后，在闪速存储器或者任何其他适当的记录介质上记录数据。

[0027] 上述数据处理一般要求预定时段，且在时间tb将全景图像记录在介质上，如图2所示。同样在这种情况下，相机中的控制器获取将所捕捉的图像之一记录在介质上时所获取的最新的方位信息并且在介质上记录所获取的方位信息。

[0028] 结果，与全景图像1相关联的元信息中记录的方位信息是紧接在记录全景图像1的时间tb之前从方位传感器输入的方位信息。结果，如图2所示，记录错误的方位信息[180°]作为表示捕捉全景图像1的方向的信息。所记录的方位信息明显不同于实际捕捉全景图像1时(ta)的方位信息[45°]。

[0029] 如上所述，成像定时与记录定时之间的时间滞后导致将不同于实际成像动作时的方位信息的方位信息记录为与所捕捉的图像相关联的属性信息(元信息)。

[0030] 另一方面，在许多情况下，相机中配备的方位传感器被配置为使用检测地球磁性的磁性传感器与加速度传感器的组合来获取方位信息。然而，在一些情况下，由于相机中的驱动机构以及电子元件所生成的磁性，即，干扰，磁性传感器输出错误的检测值。

[0031] 具体地，例如，在成像操作期间，当在焦点调节或者任何其他处理时驱动透镜的时候，由于生成的磁性，磁性传感器可能输出错误的检测值。

[0032] 因此，现有技术情况下的成像设备，即，获取方位信息、使方位信息与相应的图像相关、并且记录它们的成像设备具有以下问题。

[0033] (a)由于捕捉将要记录在介质上的图像的时间与获取方位信息的时间之间的差异，方位信息的准确性降低

[0034] (b)由于干扰，方位信息的准确性降低

发明内容

[0035] 期望提供一种成像设备、数据处理方法和程序，其允许记录与以成像设备捕捉的图像相关联的准确方位信息。

[0036] 本发明的实施例涉及包括以下的成像设备：方位传感器，检测表示在其上定位成像设备的方向的方位；控制器，生成由所捕捉的图像以及与所捕捉的图像相关联的属性信息形成的数据并且在记录部件中记录数据；以及记录部件，存储所捕捉的图像和属性信息；控制器，在存储器中相继记录条目(entry)，条目使通过相继接收用方位传感器检测到的值计算出的方位信息与表示从方位传感器输入检测值的时间的时间戳相关；从存储在存储器中的条目中提取具有接近于捕捉图像的时间的时间戳的多个条目，以及通过使用所提取的条目中的多条方位信息计算表示在其上捕捉图像的方向的方位信息。

[0037] 在根据本发明的成像设备的一个实施例中，控制器从记录在存储器中的条目中提取具有接近于捕捉图像的时间的时间戳的多个条目，从所提取的条目中的多条方位信息中再选择具有方位信息的中间值的少量条目，并设置多个再选择条目中的多条方位信息的平均值为表示在其上捕捉图像的方向的方位信息。

[0038] 在根据本发明的成像设备的一个实施例中，控制器从记录在存储器中的条目中选择具有最接近捕捉图像的时间的时间戳的单个代表性条目(representative entry)，选择具有接近于代表性条目的时间戳的时间戳的指定数目的相邻条目(near entry)，将由代表性条目以及相邻条目组成的多个条目按方位信息的大小的递增或者递减的次序排序，从排序的条目中至少移除最大和最小端的条目，求剩余的中间条目中的方位信息的值的平均，然后设置平均值作为表示在其上捕捉图像的方向的方位信息。

[0039] 在根据本发明的成像设备的一个实施例中，控制器获取捕捉每个连续捕捉的图像的时间，从记录在存储器中的条目中提取具有接近于在其上捕捉每个连续捕捉的图像的时间的时间戳的多个条目，然后通过使用所提取的条目中的多条方位信息计算表示在其上捕捉每个连续捕捉的图像的方向的方位信息。

[0040] 在根据本发明的成像设备的一个实施例中，控制器从记录在存储器中的条目中提取具有接近于捕捉通过组合多个捕捉图像所生成的全景图像的中心图像的时间的时间戳的多个条目，然后通过使用所提取的条目中的多条方位信息计算表示在其上捕捉全景图像的方向的方位信息。

[0041] 在根据本发明的成像设备的一个实施例中，控制器根据捕捉全景图像的成像开始帧的时间来计算捕捉全景图像的中心图像的时间。

[0042] 本发明的另一实施例涉及在成像设备中执行的数据处理方法，该方法包括：允许控制器在存储器中相继记录条目，条目使通过相继接收方位传感器检测的值所计算的方位信息与表示从方位传感器输入检测值的时间的时间戳相关，所述方位传感器检测表示在其上定位成像设备的方向的方位；允许控制器获取捕捉图像的时间；以及允许控制器从记录在存储器中的条目中提取具有接近于捕捉图像的时间的时间戳的多个条目，以及通过使用所提取的条目中的多条方位信息来计算表示在其上捕捉图像的方向的方位信息。

[0043] 本发明的再一实施例涉及命令成像设备执行数据处理的程序，包括：允许控制器在存储器中相继记录条目，条目使通过相继接收方位传感器检测的值所计算的方位信息与表示从方位传感器输入检测值的时间的时间戳相关，所述方位传感器检测表示在其上定位成像设备的方向的方位；允许控制器获取捕捉图像的时间；以及允许控制器从记录在存储器中的条目中提取具有接近于捕捉图像的时间的时间戳的多个条目，以及通过使用所提取的条目中的多条方位信息来计算表示在其上捕捉图像的方向的方位信息。

[0044] 根据本发明的该实施例的程序能够以计算机可读记录介质或者通信介质的形式提供给能够执行各种程序代码的信息处理设备或者计算机系统。提供计算机可读形式的程序允许信息处理设备或者计算机系统根据程序执行处理。

[0045] 从本发明的以下实施例以及附图的更详细描述中，本发明的其他目的、特征、以及优点将很明显。在此使用的词“系统”意指多个器件的逻辑组，而“系统”的组成器件并不一定需要被包括在单个壳体(house)中。

[0046] 根据本发明的实施例的配置，使通过相继接收方位传感器检测的值所计算的方位信息与表示从方位传感器输入检测值的时间的时间戳相关的条目被相继记录在存储器中，所述方位传感器检测表示在其上定位成像设备的方向的方位。当捕捉图像时，从存储器中提取具有接近于捕捉图像的时间的时间戳的多个条目，以及使用所提取的条目中的多条方位信息来计算表示在其上捕捉图像的方向的方位信息。然后，记录所计算的方位信息作为与图像相关联的属性信息。在该配置中，可以基于方位传感器在捕捉图像的时间前后获取的多条方位信息来计算将要作为与图像相关联的属性信息记录的方位信息数据。另外，因为对通过移除多条排序的方位信息的两端上的数据而再选择的方位信息数据求平均，所以可以记录没有由于干扰或者其他因素引起的异常值的准确方位信息作为与图像相关联的元数据。

附图说明

[0047] 图1描述在一般的单个或者连续图像捕捉处理中的图像捕捉和记录序列；

[0048] 图2描述移动相机时捕捉多个图像、处理相机中所捕捉的图像以生成水平延伸的全景图像和记录全景图像的序列；

[0049] 图3描述根据本发明实施例的成像设备的示例性配置；

[0050] 图4描述由根据本发明实施例的成像设备执行的单个或者连续图像捕捉处理中的图像捕捉和记录序列；

[0051] 图5A和图5B描述了根据本发明实施例的成像设备存储在存储器中的已记录数据的示例；

[0052] 图6描述由根据本发明实施例的成像设备执行的全景图像捕捉和记录序列；

[0053] 图7是描述由根据本发明实施例的成像设备中的控制器执行的处理的栈图；

[0054] 图8描述计算并记录与所捕捉的图像相关联的方位信息的细节；

[0055] 图9描述计算并记录与所捕捉的图像相关联的方位信息的细节；

[0056] 图10描述计算并记录与所捕捉的图像相关联的方位信息的细节；

[0057] 图11描述在根据本发明实施例的成像设备中执行的单个图像捕捉处理中的图像捕捉和记录序列；

[0058] 图12描述在根据本发明实施例的成像设备中执行的连续图像捕捉处理中的图像捕捉和记录序列；

[0059] 图13描述在根据本发明实施例的成像设备中执行的全景图像捕捉处理中的图像捕捉和记录序列；以及

[0060] 图14描述在根据本发明实施例的成像设备中执行的计算全景图像捕捉时间的示例性处理。

具体实施方式

[0061] 以下将参考附图描述根据本发明实施例的成像设备、数据处理方法和程序。描述由以下项组成，并按以下次序进行。

[0062] 1.成像设备的示例性配置

[0063] 2.由根据本发明实施例的成像设备执行的处理

[0064] 3.计算并记录与所捕捉的图像相关联的方位信息的细节

[0065] 4.由根据本发明实施例的成像设备执行的处理序列

[0066] [1.成像设备的示例性配置]

[0067] 首先将参考图3描述根据本发明实施例的成像设备的示例性配置。

[0068] 图3示出根据本发明实施例的成像设备100的示例性配置。根据本发明实施例的成像设备100包括通过其输入被摄体图像的透镜111、将通过透镜111输入的光信号转换为电信号的成像器件112以及接收由成像器件112生成的电信号以及对所接收的信号执行信号处理的信号处理器113，如图3所示。

[0069] 信号处理器113不仅执行白色平衡调节、伽玛校正、内插以及各种其他信号处理，而且执行如生成诸如JPEG图像之类的压缩图像的处理的编码。控制器120将信号处理器113生成的图像转换为将要以例如EXIF格式(该EXIF格式是图像记录格式)记录的图像，并将产生的图像记录在记录部件(记录介质)117中。

[0070] 操作部件114由快门115以及用于焦点调节、模式设置以及其他目的的其他操作部件116形成。

[0071] 记录部件(记录介质)117由例如闪速存储器、磁盘、光盘或者任何其他类型的介质形成。

[0072] 外部存储器118是盘或者可以任意加载的任意其他介质。

[0073] 用户可以选择性地使用记录部件(记录介质)117以及外部存储器118作为记录图像的目的地。

[0074] 定时器119是用于时间保持(timekeeping)的时钟。定时器119可以是执行实时时间保持的时钟或者递增以预定时段为单位表示的计数的计数器。

[0075] 控制器120控制成像、记录、从方位传感器124中获取方位信息以及在成像设备100中执行的其他处理。根据存储在例如ROM 121中的程序执行上述处理。

[0076] 控制控制器120中执行的处理所需的程序被存储在例如ROM 121中，且控制器(CPU)120根据程序执行各种处理。

[0077] 存储器(RAM)122用作控制器(CPU)120根据程序执行的各种处理的工作区域。存储器(RAM)122还用作存储图像以及各条设置信息的区域。存储器(RAM)122还用作记录以方位传感器124获取的方位信息的区域。旧的方位信息数据被相继以新的方位信息数据重写。存储器(RAM)122由例如环形缓冲器形成。

[0078] 显示部件(监控器)123由例如LCD显示器形成，且用于显示呈现给用户的所捕捉的图像或者操作信息以及设置信息。

[0079] 方位传感器124检测表示定位成像设备的方向(定位成像设备的镜头的方向，诸如北方、南方、东方、或者西方)的方位，且由加速度传感器131以及磁性传感器132组成。

[0080] 方位传感器124在预置采样时间间隔(例如，100毫秒)将可以从其计算成像设备的方位的传感器检测信息提供给控制器120。控制器120根据预置算法基于以加速度传感器131和磁性传感器132检测的信息而计算表示定位成像设备的方向的方位信息，并且将所计算的方位信息记录在存储器122中。

[0081] 当在存储器122中记录方位信息时，控制器120还记录从定时器119输入的表示方位信息检测时间的时间戳。稍后将详细描述该处理以及如何在存储器122中记录方位信息。

[0082] 如上所述，控制器120记录使根据以方位传感器124检测并从方位传感器124相继输入的值而计算的方位信息与表示何时从方位传感器124输入检测值的时间的时间戳相关的条目。另外，当捕捉图像时，控制器120从存储器122中提取具有接近于捕捉图像的时间的时间戳的多个条目，并使用所提取的条目中的多条方位信息计算表示捕捉图像的方向的方位信息。稍后将详细描述该计算。控制器120将图像与作为与图像相关联的属性信息的由此计算的方位信息一起记录在记录部件(记录介质)117中。

[0083] [2.由根据本发明实施例的成像设备执行的处理]

[0084] 接下来将描述由根据本发明实施例的成像设备100执行的处理。

[0085] 首先将参考图4至图6描述由根据本发明实施例的成像设备100执行的处理、捕捉图像的处理、以及将图像与捕捉图像时获取的准确方位信息一起记录的处理的序列。

[0086] 图4和图6示出由根据本发明实施例的成像设备执行的示例性处理，其与图1以及2中所描述的相对应。

[0087] 即，图4描述在一般的单个或者连续图像捕捉处理中的图像捕捉和记录序列。

[0088] 图6描述移动相机时捕捉多个图像、处理相机中所捕捉的图像以生成水平延伸的全景图像以及记录全景图像的序列。

[0089] 图5A和图5B示出在根据本发明实施例的成像设备中在存储器(例如，环形缓冲器)中记录的数据的示例。在存储器中记录的数据使方位信息获取传感器所获取的方位信息与表示获取方位信息的时间的时间戳相关。

[0090] 首先将参考图4描述在一般的单个或者连续图像捕捉处理中的图像捕捉和记录序列。图4示出以下序列：

[0091] (a)成像，

[0092] (b)记录，

[0093] (c)获取方位信息，

[0094] (d)基于定时器的时间保持，以及

[0095] (e)在存储器(缓冲器)中记录图像以及相关联的信息。时间(t)从左至右流逝。

[0096] 首先用户在时间t1处捕捉图像1。然后用户在时间t2处捕捉图像2，随后向后捕捉图像。用户在改变定位相机的方向的同时捕捉图像。每个所捕捉的图像由相机中的信号处理器编码成诸如JPEG图像之类的压缩图像，且在记录之前，进一步将其转换为遵循诸如EXIF格式之类的指定的图像记录格式的数据。在这些处理之后，将数据记录在闪速存储器或者任何其他适当的记录介质上。

[0097] 编码以及其他信号处理一般要求预定时段。因此如图4所示，将图像在以下定时记录在介质上：在时间t4处记录图像1，在时间t5处记录图像2。

[0098] 获取方位信息的方位传感器124在预先指定的采样时间间隔(例如，100毫秒)将由传感器获取的信息提供给控制器(CPU)120。控制器120将传感器获取的信息和与定时器119测量的时间有关的信息一起记录在存储器(缓冲器)122中。在每个采样时间传感器所获取的方位信息和表示获取方位信息的时间的时间戳相互相关，并且被记录在存储器122中。

[0099] 图5A和图5B示出在存储器中记录的数据的示例。如图5A和图5B所示，由方位传感器124获取的、并在控制器120中计算的方位信息和表示获取方位信息的时间的时间戳相互相关并且被记录在存储器122中。

[0100] 在存储器122中设置预先指定的方位信息记录区域，将基于方位传感器124获取的信息的方位信息以及时间戳连续记录在存储区域中。例如，存储器122中设置的区域容纳200条采样数据，当数据数目超过200时，以新数据顺序重写旧数据。因此，将最新的200条方位信息与各个时间戳一起记录在存储器122中。当采样时间间隔被设置在100毫秒时，将200条方位信息与最近20秒内与其相关的时间戳一起存储并且保存在存储器122中。

[0101] 在图5A和图5B所示的示例中，记录从12:00:00:0[时、分、秒、百毫秒]到12:00:19:9[时、分、秒、百毫秒]以100毫秒的间隔获取的200条方位信息。注意，方位信息用0到360度范围内的数字表示，例如，北方(N)＝0，东方(E)＝90，南方(S)＝180，且西方(W)＝270。

[0102] 在图5A和图5B所示的示例中，时间戳由从定时器119获取的实际时间信息表示。定时器119可以用例如上述计数器代替，且在该情况下记录计数。

[0103] 可使用的计数器的示例是相机显示器中的视频场计数器(VFC)。VFC计数器是系统启动时开始计数、并且无论何时显示新的视频场时都递增计数的计数器。VFC计数器的计数可以代替实际时间数据，且因为不需要添加新的定时器或者其他类似组件，所以使用VFC计数器会产生成本降低的有益结果。

[0104] 即使当正在捕捉图像时，控制器120也从定时器119(或者计数器)中获取表示成像时间的信息。当将所捕捉的图像记录在记录部件(记录介质)117中时，控制器120从存储器122中获取具有接近于捕捉图像的时间的时间戳的多条方位信息、基于多条所获取的方位信息而计算方位信息、以及将所计算的方位信息作为与所捕捉的图像相关联的方位信息记录在记录部件(记录介质)117中。

[0105] 例如，在图4所示的示例中，在时间(t1)处捕捉图像1，然后因为在随后的编码以及其他处理期间时间流逝，所以在时间(t4)处将图像1记录在介质上。在本发明的配置中，从存储器中获取的不是在将图像1记录在介质上的时间(t4)时获取的方位信息，而是具有接近于成像时间(t1)的时间戳的多条方位信息。其后，通过执行如下所述的计算，从多条所获取的方位信息中计算出一条方位信息，并将所计算的方位信息作为与图像1相关联的属性信息(元信息)记录在介质上。

[0106] 上述情况也适用于图像2。从存储器中获取的不是在将图像2记录在介质上的时间(t5)时获取的方位信息，而是具有接近于捕捉图像2的时间(t2)的时间戳的多条方位信息。其后，根据预定计算来计算方位信息，然后将所计算的方位信息作为与图像2相关联的元信息记录在介质上。

[0107] 稍后将详细描述作为与图像相关联的元信息记录的方位信息的计算。

[0108] 图6描述移动成像设备(相机)时捕捉多个图像、处理相机中所捕捉的图像以生成水平延伸的全景图像、以及记录全景图像的处理序列。图6也示出以下序列：

[0109] (a)成像，

[0110] (b)记录，

[0111] (c)获取方位信息，

[0112] (d)基于定时器的时间保持，以及

[0113] (e)在存储器(缓冲器)中记录图像以及相关联的信息，如图4所示，时间(t)从左至右流逝。

[0114] 用户设置相机为全景成像模式，以及从时间t1至t3在移动相机的同时连续地捕捉多个图像。相机连接多个图像以生成单个全景图像，进一步在内部信号处理器中对全景图像执行编码以及其他处理，且然后在介质上记录所产生的图像。

[0115] 生成全景图像和编码以及其他信号处理一般要求预定时段。因此延迟了在介质上记录图像的定时。具体地，在时间t4在介质上记录全景图像1，如图6所示。

[0116] 同样地在这种情况下，控制器120将方位传感器124获取的信息和与定时器119测量到的时间有关的信息一起记录在存储器122中，如参考图4描述的处理中那样。基于方位传感器124检测到的信息而在每个采样时间获取的方位信息和表示获取方位信息的时间的时间戳相互相关，并且被记录在存储器122中，如参考图5A和图5B所示。当设置采样时间间隔为100毫秒时，将200条方位信息与最近20秒内与其相关的时间戳一起存储并保存在存储器122中。

[0117] 当在记录部件(记录介质)117中记录所捕捉的图像时，控制器120获取关于捕捉图像的时间的信息、从存储器122中获取具有接近于有关捕捉图像的时间的信息的时间戳的多条方位信息、计算与图像相关联的方位信息、以及将所计算的方位信息记录在介质上。在图6所示的示例中，控制器120获取具有接近于时间(t2)的时间戳的多条方位信息，该时间(t2)是捕捉全景图像1期间从t1至t3的时段的中心时间、控制器120还基于多条方位信息而计算一条方位信息、以及将所计算的方位信息作为与全景图像1相关联的元信息记录在记录部件(记录介质)117中。

[0118] 图7是描述由根据本发明实施例的成像设备100中的控制器120执行的处理的栈图。

[0119] 控制器120运行以下程序：

[0120] (A)方位信息处理程序201以及

[0121] (B)图像信息处理程序202，如图7中的(1)所示。将程序预先记录在ROM 121中，且控制器120从ROM 121中读取程序然后运行它们。

[0122] (A)方位信息处理程序201主要负责从方位传感器124中获取方位信息以及将方位信息记录在存储器122中。

[0123] (B)图像信息处理程序202主要负责捕捉和记录图像。

[0124] 控制器120根据方位信息处理程序201(A)执行图7中的(1)所示的处理(A-1)至(A-3)。图7中的(2)详细示出处理如下。

[0125] A-1.从定时器获取时间信息

[0126] A-2.从方位传感器获取方位

[0127] A-3.将时间(时间戳)以及方位信息记录在存储器(环形缓冲器)122中[0128] 上述处理周期地执行(例如，每隔100毫秒)。

[0129] 控制器120还根据图像信息处理程序202(B)执行图7中的(1)所示的处理(B-1)至(B-4)。图7中的(3)详细示出处理如下。

[0130] B-1.从定时器获取成像时间

[0131] B-2.发布请求给方位信息处理程序以获取与成像时间相对应的成像方向[0132] B-3.通过使用方位信息处理程序计算与成像时间相对应的成像方向并提供结果给图像信息处理程序

[0133] B-4.将图像以及包含由方位信息处理程序计算的方位信息的元信息(属性信息)记录在记录部件(记录介质)中

[0134] 在从成像到记录的时段期间执行这些处理。

[0135] 方位信息处理程序201以及图像信息处理程序202协同地执行处理B-3。

[0136] [3.计算并记录与所捕捉的图像相关联的方位信息的细节]

[0137] 接下来将参考图8至图10描述计算并记录与所捕捉的图像相关联的方位信息的细节。

[0138] 参考图8至图10描述的处理是图7中的(3)所示的处理B-3的细节，即，以下处理的细节。

[0139] B-3.通过使用方位信息处理程序计算与成像时间相对应的成像方向并提供结果给图像信息处理程序

[0140] 首先将参考图8描述示例性的基本处理(1)。

[0141] 为了获取与所捕捉的图像相关联的方位信息，图像信息处理程序202将与所捕捉的图像相关联的成像时间信息301提供给方位信息处理程序201。

[0142] 假定成像时间信息301是[12,00,00,4](时，分，秒，百毫秒)，如图8所示。

[0143] 控制器120根据方位信息处理程序201，基于成像时间信息[12,00,00,4]而计算将要与图像相关并且记录在记录部件(记录介质)117中的方位信息。

[0144] 在步骤S11，控制器120首先从存储器122中提取接近于从图像信息处理程序202中获取的指定时间301的多条方位信息作为要排序的数据，如图8所示。

[0145] 在这种情况下，指定时间301是[12,00,00,4]。

[0146] 从存储在存储器122中的、使时间戳与方位信息相关的数据中，提取具有接近于指定时间301(＝[12,00,00,4])的时间戳的n个条目(在本示例中，n＝8)作为将要排序的数据。在这种情况下，认为具有最接近指定时间301(＝[12,00,00,4])的时间戳的条目(条目5)是中心，以及从条目5的两侧获取基本上相同数量的条目。在这种情况下，提取条目号1至8，如图8所示。

[0147] 在该示例中，条目5中的时间戳与指定时间301(＝[12,00,00,4])完全一致。在这种情况下，作为包括作为中心条目的条目5的8个条目，获取条目1至8或者条目2至9。可以任意地选择任何一种组合，以及根据预置算法提取它们中的一个。在任何一种情况下，以具有最接近捕捉上述图像的时间的时间戳的条目基本上是8个条目中的中心条目的方式来提取多个条目作为将要排序的数据。

[0148] 在步骤S12，从存储器122中提取的8条方位信息被按方位信息的大小的递增或者递减的次序排序。

[0149] 如图8所示，条目1至8中的方位信息的值在最小值147至最大值170的范围内。将多条方位信息按大小的递增顺序排序。

[0150] 在步骤S13，对排序的方位信息的中心的4条求平均。

[0151] 即，从排序的条目中移除最大和第二大条目以及最小和第二小条目，并认为仅中间4个条目的方位信息是将要计算且然后求平均的数据。对此的理由是要从将要求平均的值中移除如上所述由于干扰或者其他因素引起的显著偏离中心值的值。

[0152] 结果，具有方位信息中间值的以下4个条目用作将要求平均的条目，如图8所示。

[0153] 条目7：方位信息[148]

[0154] 条目5：方位信息[153]

[0155] 条目1：方位信息[154]

[0156] 条目3：方位信息[158]

[0157] 根据以下等式对4个条目求平均，且平均值是与在成像时间[12,00,00,4]捕捉的图像相关联的方位信息的值。

[0158] 成像方向＝(148+153+154+158)/4＝153.25度

[0159] 因此，控制器120将所计算出的方位信息[153.25度]作为与在成像时间[12,00,00,4]捕捉的图像相关联的方位信息记录在记录部件(记录介质)117中。

[0160] 接下来将参考图9描述存储在存储器中的方位信息数目小于8的情况(2)中执行的示例性处理，其中8是基本处理中指定的将要排序的方位信息数目。

[0161] 为了获取与所捕捉的图像相关联的方位信息，图像信息处理程序202将与所捕捉的图像相关联的成像时间信息311提供给方位信息处理程序201。

[0162] 假定成像时间信息311是[12,00,00,4]，如图9所示。

[0163] 上述过程与参考图8描述的示例性基本处理(1)中的相同。

[0164] 控制器120根据方位信息处理程序201，基于成像时间信息[12,00,00,4]而计算将要与图像相关并且记录在记录部件(记录介质)117中的方位信息。

[0165] 在步骤S21，控制器120首先从存储器122中提取接近于从图像信息处理程序202中获取的指定时间311的多条方位信息作为将要排序的数据，如图9所示。

[0166] 在示例性基本处理中，将要提取的作为将要排序的条目的条目数目n是8。

[0167] 然而，存储器122仅存储条目1至6的6条方位信息，如图9所示，且由此不能选择8条数据。

[0168] 当存储在存储器122中的方位信息数目小于上述将要排序的数据的指定数目(n＝8)时，控制器120提取具有接近于指定时间311[12,00,00,4])的时间戳的全部条目(但是小于8)作为将要排序的数据。在这种情况下，提取条目号1至6的6条数据，如图9所示。

[0169] 在步骤S22，从存储器122中提取的6条方位信息被按方位信息的大小的递增或者递减的次序排序。

[0170] 如图9所示，条目1至6中的方位信息的值在最小值148至最大值170的范围内。多条方位信息按大小的递增顺序排序。

[0171] 在步骤S23，对排序的方位信息的中心4条求平均。

[0172] 即，从排序的条目中移除最大条目以及最小条目，以及认为仅中间4个条目的方位信息是将要计算且然后求平均的数据。对此的理由是要从将要求平均的值中移除如上所述由于干扰或者其他因素引起的大大偏离中心值的值。

[0173] 结果，具有方位信息中间值的以下4个条目用作将要求平均的条目，如图9所示。

[0174] 条目5：方位信息[153]

[0175] 条目1：方位信息[154]

[0176] 条目3：方位信息[158]

[0177] 条目4：方位信息[169]

[0178] 根据以下等式对4个条目求平均，且平均值是与在成像时间[12,00,00,4]时捕捉的图像相关联的方位信息的值。

[0179] 成像方向＝(153+154+158+169)/4＝158.5度

[0180] 因此，控制器120将所计算的方位信息[158.5度]作为与在成像时间[12,00,00,4]时捕捉的图像相关联的方位信息记录在记录部件(记录介质)117中。

[0181] 接下来将参考图10描述情况(3)中执行的示例性处理，其中存储器中没有存储具有与成像时间相对应的时间戳之后的时间戳的任意条目。

[0182] 为了获取与所捕捉的图像相关联的方位信息，图像信息处理程序202将与所捕捉的图像相关联的成像时间信息321提供给方位信息处理程序201。

[0183] 假定成像时间信息321是[12,00,00,8]，如图10所示。

[0184] 上述过程与参考图8描述的示例性基本处理(1)中的相同。

[0185] 控制器120根据方位信息处理程序201，基于成像时间信息[12,00,00,8]而计算将要与图像相关并且记录在记录部件(记录介质)117中的方位信息。

[0186] 在步骤S31，控制器120首先从存储器122中提取接近于从图像信息处理程序202中获取的指定时间321的多条方位信息作为将要排序的数据，如图10所示。

[0187] 在示例性基本处理中，将要提取作为将要排序的条目的条目数目n是8，基本上用从具有最接近指定时间321的时间戳的条目的两侧提取基本上相同数目的数据的方式提取将要排序的数据，如示例性基本处理(1)中所示。

[0188] 存储在存储器122中的具有最接近成像时间信息[12,00,00,8]的时间戳的条目是条目9，但是在存储器122中没有具有与其后的时间相对应的时间戳的条目，如图10所示。

[0189] 当如此配置所存储的数据时，用从条目9的两侧提取基本上相同数目的条目的方式，不能提取到8个条目。

[0190] 在这种情况下，控制器忽略要从条目9的两侧提取的条目数目的平衡，而是提取包括具有最接近成像时间信息[12,00,00,8]的时间戳的条目9的多个条目(在本示例中是8个)。

[0191] 在图10所示的示例中，提取包括条目9的、具有条目9的时间戳之前的时间戳的8个条目作为将要排序的数据。在这种情况下，提取条目号2至9的8条数据，如图10所示。

[0192] 在步骤S32，从存储器122中提取的8条方位信息被按方位信息的大小的递增或者递减的次序排序。

[0193] 如图10所示，条目2至9中的方位信息的值在最小值147至最大值170的范围内。多条方位信息被按大小的递增顺序排序。

[0194] 在步骤S33，对排序的方位信息的中心4条求平均。

[0195] 即，从排序的条目中移除最大和第二大条目以及最小和第二小条目，以及认为仅中间4个条目的方位信息是将要计算且然后求平均的数据。对此的理由是要从将要求平均的值中移除如上所述由于干扰或者任何其他因素引起的大大偏离中心值的值。

[0196] 结果，具有方位信息中间值的以下4个条目用作将要求平均的条目，如图10所示。

[0197] 条目7：方位信息[148]

[0198] 条目5：方位信息[153]

[0199] 条目3：方位信息[158]

[0200] 条目9：方位信息[158]

[0201] 根据以下等式对4个条目求平均，且平均值是与在成像时间[12,00,00,8]时捕捉的图像相关联的方位信息的值。

[0202] 成像方向＝(148+153+158+158)/4＝154.25度

[0203] 因此，控制器120将所计算的方位信息[154.25度]作为与在成像时间[12,00,00,8]时捕捉的图像相关联的方位信息记录在记录部件(记录介质)117中。

[0204] [4.由根据本发明实施例的成像设备执行的处理序列]

[0205] 接下来将参考图11至图13描述由根据本发明实施例的成像设备执行的处理序列。图11至图13所示的序列图描述以下处理。

[0206] (a)图11：单个图像捕捉处理中的图像捕捉和记录序列

[0207] (b)图12：连续图像捕捉处理中的图像捕捉和记录序列

[0208] (c)图13：全景图像捕捉处理中的图像捕捉和记录序列

[0209] 以下将参考图11至图13顺序描述以上成像和记录序列。

[0210] (a)单个图像捕捉处理中的图像捕捉和记录序列

[0211] 首先将参考图11描述单个图像捕捉处理中的图像捕捉和记录序列。

[0212] 图11示出以下组件中的数据处理序列：

[0213] 控制器(图像信息处理程序)，

[0214] 控制器(方位信息处理程序)，以及

[0215] 定时器。

[0216] 如上所述，控制器120运行主要负责捕捉和记录图像的图像信息处理程序、以及主要负责在存储器122中记录基于方位传感器124获取的信息而计算的方位信息的方位信息处理程序。

[0217] 图11所示的序列图示出分别运行两个程序的独立部件。

[0218] 步骤S100中的处理是由控制器120根据方位信息处理程序执行的循环处理，且无论何时方位传感器124检测到信息(以采样时间间隔)都重复执行。具体地，重复执行以下处理。

[0219] 步骤S101：从定时器119获取时间信息

[0220] 步骤S102：获取用方位传感器124检测的信息(方位信息)

[0221] 步骤S103：在存储器122中记录使时间戳与方位信息(见图5A和图5B)相关的数据

[0222] 无论何时方位传感器124检测到信息(以采样时间间隔)，都重复执行步骤S101至S103的处理。例如，当以100毫秒的采样间隔重复执行处理时，在存储器122的预定区域中容纳最新的多条方位信息(例如，200个条目)。

[0223] 在步骤S100中，控制器120根据独立于循环处理的图像信息处理程序来执行处理。

[0224] 在步骤S152以及其后的那些处理是根据图像信息处理程序的处理。当在步骤S151用户完全按下快门时，即，当由输入的图像捕捉指令触发时，执行步骤S152以及其后的那些处理。

[0225] 在步骤S151，当用户完全按下快门时，在步骤S152拍摄或者捕捉图像。

[0226] 在步骤S153，然后从定时器获取成像时间。

[0227] 在步骤S154，对所捕捉的图像执行诸如JPEG编码之类的各种处理。

[0228] 在步骤S155，通过将步骤S153中获取的成像时间信息提供给控制器中的方位信息处理程序运行部件，发布获取与成像时间相对应的方位信息的请求。

[0229] 步骤S155至S158的处理与参考图8至图10描述的那些处理相对应。

[0230] 在步骤S155，提供给控制器中的方位信息处理程序运行部件的成像时间信息与例如图8所示的成像时间信息301相对应。

[0231] 在步骤S156，控制器中的方位信息处理程序运行部件从存储在存储器122中的条目中选择具有接近于成像时间的时间戳的条目。

[0232] 在步骤S157，控制器中的方位信息处理程序运行部件进一步排序所选的条目附近的多个(n个)条目(例如，n＝8)，从排序的条目中再选择(例如，(n/2)＝4个)中间条目，以及对再选择条目中的方位信息的值求平均。

[0233] 然后，在步骤S158，控制器中的方位信息处理程序运行部件将所计算的方位信息提供给控制器120中的图像信息处理程序运行部件。

[0234] 然后，在步骤S159，控制器120中的图像信息处理程序运行部件将所捕捉的图像以及包含方位信息的元数据记录在记录部件(记录介质)117中。

[0235] 在上述处理中，基于方位传感器在捕捉图像的时间前后获取的多条方位信息而计算将要与所捕捉的图像相关且然后记录的方位信息数据。另外，因为对多条所选的方位信息进行排序，以及对通过移除排序的数据两端的数据而再选择的方位信息数据求平均，所以可以记录将没有由于干扰或者其他因素引起的异常值的准确方位信息作为与图像相关联的元数据。

[0236] (b)连续图像捕捉处理中的图像捕捉和记录序列

[0237] 接下来将参考图12描述连续图像捕捉处理中的图像捕捉和记录序列。

[0238] 图12示出以下组件中的数据处理序列：

[0239] 控制器(图像信息处理程序)，

[0240] 控制器(方位信息处理程序)，以及

[0241] 定时器，如图11所示。

[0242] 步骤S200中的处理是由控制器120根据方位信息处理程序执行的循环处理，且无论何时方位传感器124检测到信息(以采样时间间隔)时都重复执行。具体地，重复执行以下处理。

[0243] 步骤S201：从定时器119获取时间信息

[0244] 步骤S202：获取用方位传感器124检测的信息(方位信息)

[0245] 步骤S203：在存储器122中记录使时间戳与方位信息(见图5A和图5B)相关的数据

[0246] 无论何时方位传感器124检测到信息(以采样时间间隔)时，重复执行步骤S201至S203的处理。例如，当以100毫秒的采样间隔重复执行处理时，在存储器122的预定区域中容纳最新的多条方位信息(例如，200个条目)。

[0247] 在步骤S200，控制器120根据独立于循环处理的图像信息处理程序执行处理。

[0248] 在步骤S260以及其后的那些处理是根据图像信息处理程序的处理。当在步骤S251用户完全按下快门时，即，当由输入的图像捕捉指令触发时，执行步骤S260以及其后的那些处理。

[0249] 图12所示的示例示出连续图像捕捉序列，其中通过保持按下快门，用户连续地捕捉多个图像。

[0250] 将图12所示的步骤S260至S290中用矩形虚线包围的处理重复地执行连续捕捉的图像的数目。即，步骤S260至S290的每个处理作为循环处理执行。

[0251] 步骤S260中的循环处理包括步骤S261中捕捉图像以及步骤S262中获取与所捕捉的图像相对应的成像时间的处理。对在连续图像捕捉中捕捉的每个图像重复执行该处理。

[0252] 步骤S270中的循环处理是对所捕捉的图像执行诸如JPEG编码之类的各种图像处理的处理。对连续图像捕捉中捕捉的每个图像重复执行该处理。

[0253] 步骤S280中的循环处理是使方位信息与每个捕捉图像相关以及记录它们的方位信息获取处理。

[0254] 在步骤S281中，通过将步骤S262中获取的成像时间信息提供给控制器中的方位信息处理程序运行部件，发布获取与成像时间相对应的方位信息的请求。

[0255] 在步骤S282中，控制器中的方位信息处理程序运行部件从存储在存储器122中的条目中选择具有接近于成像时间的时间戳的条目。

[0256] 在步骤S283中，控制器中的方位信息处理程序运行部件进一步排序所选的条目附近的多个(n个)条目(例如，n＝8)，从排序的条目中再选择(例如，(n/2)＝4个)中间条目，以及对再选择条目中的方位信息的值求平均。

[0257] 然后，在步骤S284中，控制器中的方位信息处理程序运行部件将所计算的方位信息提供给控制器120中的图像信息处理程序运行部件。

[0258] 对连续图像捕捉中捕捉的每个图像重复执行上述处理。

[0259] 步骤S290中的循环处理是在记录部件(记录介质)117中记录所捕捉的图像的处理。

[0260] 在步骤S291中，控制器120中的图像信息处理程序运行部件将所捕捉的图像以及包含方位信息的元数据记录在记录部件(记录介质)117中。

[0261] 对连续图像捕捉中捕捉的每个图像重复执行上述处理。

[0262] 在上述处理中，基于方位传感器在捕捉图像时顺序获取的多条方位信息而计算将要与连续图像捕捉中捕捉的各个图像相关且然后记录在记录部件(记录介质)117中的多条方位信息数据。

[0263] (c)全景图像捕捉处理中的图像捕捉和记录序列

[0264] 接下来将参考图13描述在全景图像捕捉处理中的图像捕捉和记录序列。

[0265] 图13示出以下组件中的数据处理序列：

[0266] 控制器(图像信息处理程序)，

[0267] 控制器(方位信息处理程序)，以及

[0268] 定时器，如图11和图12所示。

[0269] 步骤S300中的处理是由控制器120根据方位信息处理程序执行的循环处理，且无论何时方位传感器124检测到信息(以采样时间间隔)时都重复执行。具体地，重复执行以下处理。

[0270] 步骤S301：从定时器119获取时间信息

[0271] 步骤S302：获取用方位传感器124检测的信息(方位信息)

[0272] 步骤S303：在存储器122中记录使时间戳与方位信息(见图5A和图5B)相关的数据

[0273] 无论何时方位传感器124检测到信息(以采样时间间隔)时，重复执行步骤S301至S303的处理。例如，当以100毫秒的采样间隔重复执行处理时，在存储器122的预定区域中容纳最新的多条方位信息(例如，200个条目)。

[0274] 在步骤S300中，控制器120根据独立于循环处理的图像信息处理程序执行处理。

[0275] 在步骤S352以及后来的那些处理是根据图像信息处理程序的处理。当在步骤S351用户输入作为触发的指令来开始捕捉全景图像时，执行步骤S352以及后来的处理。

[0276] 图13所示的示例示出当移动相机时用户捕捉多个图像的序列，且成像设备中的信号处理器连接多个所捕捉的图像以生成并记录全景图像。

[0277] 上述处理与已经参考图6描述的处理相对应。

[0278] 当用户在步骤S351开始捕捉全景图像时，在步骤S352拍摄或者捕捉图像。

[0279] 然后在步骤S353从定时器获取成像时间。

[0280] 当在步骤S354完成全景图像捕捉处理时，在步骤S355对所捕捉的图像执行各种处理，诸如连接多个图像以生成全景图像以及JPEG编码。

[0281] 在步骤S356计算捕捉所生成的全景图像的中心图像的时间。

[0282] 将参考图14描述成像时间计算的示例。图14示出通过连接多个图像生成的全景图像500。

[0283] 全景图像500是在全景成像模式下通过组合以预先指定的成像时间间隔连续捕捉的多个图像f01至f07而生成的图像。

[0284] 在图13的序列图中，步骤S353中获取与第一图像帧f01相关联的成像时间信息。

[0285] 假定捕捉帧f01的时间是[15，23，31，2](时，分，秒，百毫秒)。

[0286] 为了执行全景成像，用户设置相机为全景成像模式，并按下快门且然后移动相机。在该处理中，捕捉多个图像f01至f07，如图14所示。相机中的信号处理器连接多个图像以生成全景图像500。

[0287] 将要记录为与全景图像500相关联的元数据的方位信息是例如捕捉全景图像500的中心图像的方向。在这种情况下，图14中示出的点P的位置是全景图像500的中心位置。

[0288] 包含点P的图像是帧f04。

[0289] 捕捉帧f04的时间可以由捕捉第一帧的时间计算。预先指定全景模式下捕捉图像的时间间隔。因此可以根据以下等式计算捕捉帧f04的时间，如图14所示。

[0290] 捕捉帧f04的时间＝[15，23，31，2]+(成像间隔×3)

[0291] 例如，当每隔100毫秒执行连续成像时，捕捉帧f04的时间可以计算如下。

[0292] 捕捉帧f04的时间＝[15，23，31，2]+(100毫秒×3)＝[15，23，31，5](时，分，秒，百毫秒)

[0293] 在图13所示的序列图中的步骤S356中，例如以上述方式计算捕捉全景图像的中心图像的时间。

[0294] 在步骤S357中，通过将步骤S356计算的成像时间信息提供给控制器中的方位信息处理程序运行部件，发布获取与成像时间(在本示例中，捕捉全景图像的中心图像的时间)相对应的方位信息的请求。

[0295] 步骤S357至S360的处理与参考图8至图10描述的处理相对应。

[0296] 在步骤S358中，控制器中的方位信息处理程序运行部件从存储在存储器122中的条目中选择具有接近于成像时间(在本示例中，捕捉全景图像的中心图像的时间)的时间戳的条目。

[0297] 在步骤S359中，控制器中的方位信息处理程序运行部件进一步排序所选的条目附近的多个(n个)条目(例如，n＝8)，从排序的条目中再选择(例如，(n/2)＝4个)中间条目，以及对再选择条目中的方位信息的值求平均。

[0298] 然后，在步骤S360中，控制器中的方位信息处理程序运行部件将所计算的方位信息提供给控制器120中的图像信息处理程序运行部件。

[0299] 然后，在步骤S361中，控制器120中的图像信息处理程序运行部件将全景图像以及包含方位信息(在本示例中，与捕捉全景图像的中心图像的时间相对应的方位信息)的元数据记录在记录部件(记录介质)117中。

[0300] 在上述处理中，基于捕捉在形成全景图像的多个图像中的全景图像的中心图像的时间前后、方位传感器获取的多条方位信息而计算将要与全景图像相关且然后记录的方位信息数据。另外，因为对多条所选的方位信息进行排序，以及对通过移除排序的数据两端的数据再选择的方位信息数据求平均，所以可以记录没有由于干扰或者其他因素引起的异常值的准确方位信息作为与全景图像相关联的元数据。

[0301] 在参考图13描述的示例性处理中，仅记录与全景图像相关联的一条方位信息作为元数据。或者，与形成全景图像的每个图像相关联的成像方向信息可以被作为元数据记录在记录部件(记录介质)117中。例如，在图14所示的示例中，记录与形成全景图像500的每个图像f01至f07相关联的方位信息作为元数据。

[0302] 为了执行上述处理，通过使用参考图14描述的方法，对于形成全景图像500的每个图像f01至f07计算成像时间，以及提供与每个图像相关联的成像时间信息给控制器中的方位信息处理程序运行部件。

[0303] 其后，方位信息处理程序运行部件获取与在参考图8至图10描述的处理中捕捉每个图像的时间相对应的方位信息，并提供所获取的方位信息给控制器中的图像信息处理程序运行部件。

[0304] 图像信息处理程序运行部件将该方位信息作为与形成全景图像500的每个图像f01至f07相关联的方位信息记录在记录部件(记录介质)117中。

[0305] 已经参考具体实施例详细描述了本发明。然而很明显，在修改或者替换不偏离本发明的实质的程度上，本领域技术人员能够修改或者替换实施例。即，本发明已经用示例的方式公开，而不应该限制于此进行解释。为了理解本发明的实质，应该参考权利要求。

[0306] 说明书中描述的一系列处理能够由硬件、软件、或者其组合执行。为了通过软件执行处理，将记录处理序列的程序安装在集成到专用硬件的计算机的存储器中且然后运行，或者将程序安装在能够运行各种处理的通用计算机中然后运行。例如，可以预先将程序记录在记录介质上。可以将程序从记录介质安装到计算机上，或者可以通过LAN(局域网)、因特网、或者任何其他适当的网络接收程序且然后安装在内嵌的硬盘驱动器或者任何其他适当的记录介质上。

[0307] 说明书中描述的各种处理可以按说明书中描述的次序按时间顺序执行，或者按需要或者根据执行处理的设备的性能可以同时或者分开执行。在此使用的词“系统”意指多个装置的逻辑组，且“系统”的构成器件并不一定需要集成在单个壳体中。

[0308] 如上所述，根据本发明的实施例的配置，使通过相继接收方位传感器检测的值所计算的方位信息与表示从方位传感器输入检测值的时间的时间戳相关的条目被相继记录在存储器中，该方位传感器检测表示定位成像设备的方向的方位。当捕捉图像时，从存储器中提取具有接近于捕捉图像的时间的时间戳的多个条目，且所提取的条目中的多条方位信息用于计算表示捕捉图像的方向的方位信息。然后，记录所计算的方位信息作为与图像相关联的属性信息。在该配置中，可以基于方位传感器在捕捉图像的时间前后获取的多条方位信息而计算将要记录为与图像相关联的属性信息的方位信息数据。另外，因为对通过移去多条排序的方位信息两端的数据而再选择的方位信息数据求平均，所以可以记录没有由于干扰或者其它因素引起的异常值的准确方位信息作为与图像相关联的元数据。

[0309] 本申请包含与于2009年12月4日在日本专利局提交的日本优先权专利申请JP2009-276450中公开的主题有关的主题，将其全部内容通过引用合并于此。

[0310] 本领域技术人员应该理解，在附加权利要求或者其等价物范围内，取决于设计要求及其它因素，可以进行多种修改、组合、部分组合以及变更。