抖动校正装置、摄像设备和抖动校正方法

摘要

一种摄像设备，其配备有用于对由诸如照相机抖动等的抖动而可能产生的图像的图像抖动进行校正的抖动校正单元及其驱动器。角速度计检测抖动的角速度，并且加速度计检测抖动的加速度。CPU获取角速度检测信号和加速度检测信号，然后计算作为在与摄像光学系统的光轴垂直的方向上的抖动的第一平行抖动量。速度计算单元通过将加速度检测信号和第一平行抖动量进行合成来计算第二平行抖动量。驱动器基于第二平行抖动量来驱动抖动校正单元以校正抖动。

权利要求

1.一种抖动校正装置，包括：

第一计算单元，用于根据从用于检测抖动的角速度检测单元输出的角速度信号和从用于检测抖动的加速度检测单元输出的加速度信号，来计算第一平行抖动校正量；

第二计算单元，用于在不使用所述角速度信号的情况下，根据所述加速度信号来计算第二平行抖动校正量；

合成单元，用于执行用于对所述第一平行抖动校正量和所述第二平行抖动校正量进行合成的处理，由此计算第三平行抖动校正量；以及控制单元，用于通过抖动校正单元使用所述第三平行抖动校正量来校正图像抖动，其中，所述第一平行抖动校正量是所述抖动的低频分量的校正量，并且所述第二平行抖动校正量是所述抖动的高频分量的校正量。

2.根据权利要求1所述的抖动校正装置，其中，所述合成单元针对所述抖动的低频分量，将所述第一平行抖动校正量的加权值设置得高于所述第二平行抖动校正量的加权值，并且针对所述抖动的高频分量，将所述第二平行抖动校正量的加权值设置得高于所述第一平行抖动校正量的加权值。

3.根据权利要求1所述的抖动校正装置，其中，所述第一计算单元根据所述加速度信号和所述角速度信号来计算转动半径，然后根据所述转动半径和所述角速度信号来计算所述第一平行抖动校正量。

4.根据权利要求1所述的抖动校正装置，其中，所述第一计算单元根据所述角速度信号以及通过对所述加速度信号进行积分而获得的信号来计算转动半径，然后根据所述转动半径以及通过对所述角速度信号进行积分而获得的信号来计算所述第一平行抖动校正量。

5.根据权利要求1所述的抖动校正装置，其中，在所述角速度检测单元的噪声大于预定值的情况下，与所述噪声小于所述预定值的情况相比，所述合成单元将所述第二平行抖动校正量的加权值设置得较高。

6.根据权利要求1所述的抖动校正装置，其中，在所述加速度检测单元的噪声大于预定值的情况下，与所述噪声小于所述预定值的情况相比，所述合成单元将所述第一平行抖动校正量的加权值设置得较高。

7.根据权利要求1所述的抖动校正装置，其中，在所述抖动校正装置的抖动小于预定值的情况下，与所述抖动大于所述预定值的情况相比，所述合成单元将所述第二平行抖动校正量的加权值设置得较高。

8.根据权利要求1所述的抖动校正装置，其中，在所述抖动校正装置的抖动大于预定值的情况下，与所述抖动小于所述预定值的情况相比，所述合成单元将所述第一平行抖动校正量的加权值设置得较高。

9.根据权利要求1所述的抖动校正装置，其中，在状态被判断为平摇状态的情况下，与状态没有被判断为平摇状态的情况相比，所述合成单元将所述第一平行抖动校正量的加权值设置得较高。

10.一种摄像设备，包括：

根据权利要求1所述的抖动校正装置；以及

图像传感器。

11.一种抖动校正装置，包括：

第一计算单元，用于根据从运动矢量检测单元输出的运动矢量信号来计算第一平行抖动校正量；

第二计算单元，用于在不使用角速度信号的情况下，根据从用于检测抖动的加速度检测单元输出的加速度信号来计算第二平行抖动校正量；

合成单元，用于执行用于对所述第一平行抖动校正量和所述第二平行抖动校正量进行合成的处理，由此计算第三平行抖动校正量；以及控制单元，用于通过抖动校正单元使用所述第三平行抖动校正量来校正图像抖动，其中，所述第一平行抖动校正量是所述抖动的低频分量的校正量，并且所述第二平行抖动校正量是所述抖动的高频分量的校正量。

12.一种摄像设备，包括：

根据权利要求11所述的抖动校正装置；以及

图像传感器。

13.一种抖动校正方法，包括以下步骤：

第一计算步骤，用于根据从用于检测抖动的角速度检测单元输出的角速度信号和从用于检测抖动的加速度检测单元输出的加速度信号，来计算第一平行抖动校正量；

第二计算步骤，用于在不使用所述角速度信号的情况下，根据所述加速度信号来计算第二平行抖动校正量；

合成步骤，用于执行用于对所述第一平行抖动校正量和所述第二平行抖动校正量进行合成的处理，由此计算第三平行抖动校正量；以及控制步骤，用于控制抖动校正单元，以使用所述第三平行抖动校正量来校正图像抖动，其中，所述第一平行抖动校正量是所述抖动的低频分量的校正量，并且所述第二平行抖动校正量是所述抖动的高频分量的校正量。

14.一种抖动校正方法，包括以下步骤：

第一计算步骤，用于根据从运动矢量检测单元输出的运动矢量信号来计算第一平行抖动校正量；

第二计算步骤，用于在不使用角速度信号的情况下，根据从用于检测抖动的加速度检测单元输出的加速度信号来计算第二平行抖动校正量；

合成步骤，用于执行用于对所述第一平行抖动校正量和所述第二平行抖动校正量进行合成的处理，由此计算第三平行抖动校正量；以及控制步骤，用于控制抖动校正单元，以使用所述第三平行抖动校正量来校正图像抖动，其中，所述第一平行抖动校正量是所述抖动的低频分量的校正量，并且所述第二平行抖动校正量是所述抖动的高频分量的校正量。

说明书

抖动校正装置、摄像设备和抖动校正方法

技术领域

[0001] 本发明涉及用于对由照相机抖动等而可能产生的图像抖动进行校正的抖动校正技术。

背景技术

[0002] 摄像装置包括如下的照相机，其中这些照相机配备有具有抖动检测单元的图像抖动校正装置和用于校正由照相机抖动等引起的图像抖动的抖动校正单元。这种图像抖动校正装置使用角速度计等来检测角度抖动，并且通过移动用作抖动校正单元的透镜组的一部分或者图像传感器来减轻摄像面上的图像抖动。

[0003] 然而，在近距离处所进行的拍摄或者具有高的摄影倍率的拍摄中，存在图像受到仅利用角速度计无法检测到的抖动的影响的情况。结果，由于由在与照相机的光轴平行的方向或与该光轴垂直的方向上施加的所谓的平行抖动所引起的图像抖动，因而可能产生图像劣化。例如，在照相机接近被摄体直到约20cm为止时进行微距摄影的情况下、或者即使在被摄体离照相机约 1m远时摄像光学系统的焦距也长(例如，400mm)的情况下，需要主动地检测并校正平行抖动。

[0004] 专利文献1公开了如下的技术：通过加速度计所检测到的加速度的二重积分来获得平行抖动，然后伴随与此，使用单独设置的角速度计的输出来驱动抖动校正单元。在这种情况下，加速度计的输出受到诸如干扰噪声或温度变化等的环境变化影响。由于在加速度经过二重积分时、这种不稳定因素进一步扩大，因此难以进行平行抖动的高度精确校正。

[0005] 专利文献2公开了如下的方法，其中该方法用于通过在假定转动中心在远离照相机的位置的情况下将平行抖动视为角度抖动，来获得该平行抖动。在该方法中，设置角速度计和加速度计，根据该角速度计和该加速度计的输出来使用角度抖动的转动半径来获得校正值和角度并相应地校正抖动，并且可以在限制于几乎不受干扰的影响的频带的情况下获得转动中心。通过上述的操作，可以减轻如上所述的加速度计的不稳定因素的影响。

[0006] 引文列表

[0007] 专利文献

[0008] 专利文献1：日本特开平7-225405

[0009] 专利文献1：日本特开2010-25962

[0010] 在使用角度抖动的转动半径来校正平行抖动的方法中，需要准确地计算转动半径。然而，关于实际处于手持状态的照相机的拍摄条件，仅由于一次转动的影响而发生平行抖动的条件很少，并且在多数情况下，由于多次转动的影响而发生平行抖动。在专利文献2中所公开的方法中，可以校正由于影响最大的转动而发生的平行抖动，但很难在所有频带中始终准确地进行抖动校正。另外，尽管在低频带中转动对平行抖动的影响大的情况下、准确地校正了低频率的平行抖动，但是在高频率处不同于实际的平行抖动，过度校正可能会影响对由平行抖动引起的图像抖动进行校正的效果。

发明内容

[0011] 本发明在宽频带中针对平行抖动进行高度精确的抖动校正。

[0012] 根据本发明的实施例的一种抖动校正装置，包括：第一计算单元，用于根据从用于检测抖动的角速度检测单元输出的角速度信号和从用于检测抖动的加速度检测单元输出的加速度信号，来计算第一平行抖动校正量；第二计算单元，用于在不使用所述角速度信号的情况下，根据所述加速度信号来计算第二平行抖动校正量；合成单元，用于执行用于对所述第一平行抖动校正量和所述第二平行抖动校正量进行合成的处理，由此计算第三平行抖动校正量；以及控制单元，用于通过抖动校正单元使用所述第三平行抖动校正量来校正图像抖动。

[0013] 通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

[0014] 图1是安装有根据本发明的实施例的抖动校正装置的照相机的顶视图。

[0015] 图2是安装有根据本发明的实施例的抖动校正装置的照相机的侧视图。

[0016] 图3是根据本发明的第一实施例的抖动校正装置的框图。

[0017] 图4是用于说明照相机的抖动的转动中心的图。

[0018] 图5A是例示根据本发明的第一实施例的速度计算用滤波器的频率特性的图。

[0019] 图5B是例示根据本发明的第一实施例的速度计算用滤波器的频率特性的图。

[0020] 图6是根据本发明的第二实施例的抖动校正装置的框图。

[0021] 图7是根据本发明的第二实施例的抖动校正的说明图。

[0022] 图8是根据本发明的第三实施例的抖动校正装置的框图。

[0023] 图9是根据本发明的第三实施例的重力加速度的图。

具体实施方式

[0024] 以下将参考附图来详细说明本发明的各实施例。本发明不限于数字单镜头反光照相机或数字紧凑型照相机的抖动校正装置，并且还可以安装在诸如以下等的摄像装置中：包括透镜装置的光学设备、数字摄像机、监视照相机、 web照相机和移动电话。

[0025] 第一实施例

[0026] 图1和2是示出配备有根据本发明的第一实施例的抖动校正装置的照相机101的功能结构的示意图。图1是从上方观看照相机101的情况的图，并且图2是从侧面观看照相机101的情况的图。照相机101中所安装的抖动校正装置检测该装置的抖动并且进行图像抖动的校正。利用箭头103p和103y指示的抖动表示相对于与光轴102垂直的两个轴的抖动(以下称为角度抖动)。“p”表示俯仰方向，并且“y”表示横摆方向。另外，利用箭头104p和104y指示的抖动表示与光轴102垂直的方向上的抖动(以下称为平行抖动)。

[0027] 照相机101具有释放按钮105，并且照相机中央处理单元(CPU)106是用于获取释放按钮105的操作信号S1并且控制摄像操作的中央控制单元。图像传感器107经由摄像光学系统对被摄体进行摄像，并且输出摄像信号。

[0028] 角速度计108p和108y是用于检测箭头108pa和108ya指示的方向上的角度抖动的第一抖动检测单元。另外，加速度计109p和109y是用于检测箭头 109pa和109ya指示的方向上的平行抖动的第二检测单元。角速度计108p和 108y以及加速度计109p和109y的各输出被输入至照相机CPU 106。抖动校正单元110通过在图1和2的箭头110p和110y的方向上驱动抖动校正透镜111来对添加有角度抖动和平行抖动这两者的抖动进行校正。照相机CPU 106将控制信号输出至驱动器112，因而驱动器112驱动抖动校正单元110。

[0029] 在本实施例中，作为图像抖动校正方法，进行所谓的光学图像抖动校正，其中在该光学图像抖动校正中，基于所计算出的校正量来使抖动校正透镜 111移动到与光轴垂直的平面内。在不限于这种基于透镜驱动的方法的情况下，存在通过使图像传感器107移动到与光轴垂直的平面内来校正图像抖动的方法。可选地，存在电子图像抖动校正方法，其中在该电子图像抖动校正方法中，通过改变图像传感器107所输出的各拍摄帧的图像切出位置，经由图像处理来减轻抖动的影响。在使用这些方法中的任意方法或者通过组合这些方法所获得的方法来进行图像抖动校正的情况下，可以获得本发明的效果。

[0030] 接着，将参考图3来说明根据本实施例的抖动校正装置的结构。图3是例示抖动校正装置的功能框图。在图3中，仅示出关于在照相机101的垂直方向 (俯仰方向；参见图2的箭头103p和104p)上发生的抖动的结构。还针对在照相机101的水平方向(横摆方向；参见图1的箭头103y和104y)上发生的抖动设置相同的结构。除方向的差异外，这些结构是基本相同的结构，因而将通过例示仅说明俯仰方向的结构。

[0031] 首先，将说明角度抖动量的计算处理。将角速度计108p所输出的角速度检测信号输入至照相机CPU 106。该角速度检测信号被输入至HPF积分滤波器301。HPF积分滤波器301包括高通滤波器(HPF)和积分滤波器。在HPF积分滤波器301中，HPF截除输入信号的直流(DC)分量，积分滤波器对高通滤波器处理后的信号进行积分，由此将角速度检测信号转换成角度信号。照相机抖动的频带为1Hz～10Hz。由于该原因，HPF具有截除例如离照相机抖动的频带足够远的0.1Hz以下的频率分量的一次HPF特性。HPF积分滤波器301的输出被输入至灵敏度调整单元303。

[0032] 灵敏度调整单元303基于变焦和调焦位置信息302、以及根据该变焦和调焦位置信息302所获得的焦距和摄影倍率，来放大HPF积分滤波器301的输出，由此输出角度抖动的校正目标值。变焦和调焦位置信息302是从摄像光学系统内所设置的变焦透镜位置检测单元和调焦透镜位置检测单元所获取到的。设置灵敏度调整单元303的原因是：由于与变焦、调焦等有关的光学信息的变化，因而在作为照相机摄像面的抖动量相对于抖动校正透镜111的移动量的比的抖动校正灵敏度中发生变化，因而需要进行调整。HPF积分滤波器301和灵敏度调整单元303构成针对角度抖动量的计算单元。

[0033] 接着，将说明平行抖动量的计算处理。通过以下步骤来计算根据本实施例的平行抖动量。

[0034] (1)根据关注预定频率所计算出的转动半径(表示为L)和来自角速度计 108p的输出，来计算第一平行抖动速度。

[0035] (2)根据第一平行抖动速度和加速度计109p所输出的加速度检测信号，来计算第二平行抖动速度。

[0036] (3)通过对第二平行抖动速度进行积分，来计算平行抖动位移。

[0037] (4)基于变焦和调焦位置信息302和根据该变焦和调焦位置信息302所获得的摄影倍率来放大平行抖动位移，并且输出平行抖动的校正目标值。

[0038] 在根据使用转动半径L和角速度计108p的输出所计算出的第一平行抖动速度来校正平行抖动的方法中，难以在所有频带中高精度地计算第一平行抖动速度。由于该原因，仅在有限的特定频带中计算带来高的校正效果的平行抖动速度。然而，在利用处于手持状态的照相机的实际拍摄期间的拍摄条件中，在多数情况下，由于多次转动的影响而发生平行抖动。总之，在通过获得转动半径L并且将该转动半径L乘以角速度来计算平行抖动量的方法中，很难在所有频带中都准确地校正抖动。另外，不同于实际的平行抖动，在高频带处过度校正可能会影响平行抖动校正的效果。

[0039] 另外，作为关于平行抖动校正量的另一计算方法，存在通过对加速度传感器的输出信号进行二重积分来计算平行抖动位移的方法。在这种情况下，加速度计109p输出通过将重力加速度与根据平行抖动所推导出的抖动加速度相加所获得的加速度检测信号。在对平行抖动进行校正所需的抖动加速度的检测中，根据照相机的姿势角度而改变的重力加速度作为噪声而出现。如果该重力加速度在低频带变为非常大的输出噪声、并且该重力加速度的信号经过二重积分，则低频噪声也被放大。因此，难以正确地检测由抖动加速度引起的平行抖动位移。

[0040] 因而，在本实施例中，在根据第一平行抖动速度和加速度计109p的输出来计算第二平行抖动速度时，在低频带中第一平行抖动速度的加权值被设置得高，并且在高频带中加速度计的输出的加权值被设置得高，并且将这两个加权值进行合成。因此，在减少高频带中的噪声和低频带中的噪声的同时，将两个信号进行合成并由此计算平行抖动量，因而可以在宽的频带中高精度地检测抖动。换句话说，根据本实施例，在通过将转动半径L乘以所检测到的角速度来计算平行抖动量的方法中，可以去除难以去除的高频带中的噪声。另外，在根据加速度计的输出来计算平行抖动量的方法中，可以去除难以去除的低频带中的噪声。

[0041] 将说明根据本实施例的针对平行抖动速度和校正目标值的详细计算方法。

[0042] 将角速度计108p所输出的角速度检测信号输入至HPF积分滤波器301，并且还输入至HPF 309。HPF 309截除输入信号的DC分量，并且将这些分量输出至输出校正单元310。与该处理同时，将角速度计108p所输出的角速度检测信号输入至HPF相位调整单元304。HPF相位调整单元304截除叠加在角速度计108p的输出上的DC分量，并且还对该信号进行相位调整。HPF相位调整单元304的HPF截止频率与以下要说明的HPF积分滤波器305的HPF截止频率相匹配，并且这两者的频率特性被设置为彼此一致。将HPF相位调整单元 304的输出输入至角速度计带通滤波器(BPF)单元306，并且由此仅提取预定频带的频率分量。

[0043] 另一方面，将加速度计109p的输出输入至HPF积分滤波器305。在HPF 积分滤波器305中HPF截除输入信号的DC分量之后，积分滤波器进行积分，并由此将加速度检测信号转换成速度信号。如上所述，HPF积分滤波器305 的HPF截止频率被设置成与HPF相位调整单元
304的HPF的频率特性相匹配。将HPF积分滤波器305的输出输入至加速度计带通滤波器(BPF)单元307，并且由此仅提取预定带的频率分量。

[0044] 比较器308获取角速度计BPF单元306和加速度计BPF单元307各自的输出以计算转动半径L。使用以下要说明的方法来进行转动半径L的计算，并且将该计算结果发送至输出校正单元310。输出校正单元310使用作为HPF 309 的输出的经过了HPF处理的角速度检测信号以及从比较器308获取到的转动半径L，来计算第一平行抖动速度。

[0045] 接着，将说明从比较器308向输出校正单元310输出的校正值(转动半径 L)。

[0046] 图4是示出施加至照相机101的角度抖动103p和平行抖动104p的图。利用 Y来表示照相机101的拍摄镜头内的摄像光学系统的主点位置处的平行抖动 (参见104p)，并且利用θ来表示抖动角度(参见103p)。使用以下的公式(1)来表示确定转动中心O(参见401p)的情况下的转动半径L(参见402p)与Y和θ之间的关系。另外，利用ω来表示角速度，利用V来表示速度，并且使用公式(2) 来表示V、L和ω之间的关系。

[0047] 数学式1

[0048] Y＝L×θ.........(1)

[0049] V＝L×ω.........(2)

[0050] A＝L×ωa.........(3)

[0051] 转动半径L是从转动中心401p起直到加速度计109p为止的距离。

[0052] 在公式(1)中，通过对加速度计109p的输出进行二重积分而计算出的位移 Y相对于通过对角速度计108p的输出进行一重积分而计算出的角度θ的比是转动半径L。另外，在公式(2)中，通过对加速度计109p的输出进行一重积分而计算出的速度V相对于作为角速度计108p的输出的角速度ω的比是转动半径L。在公式(3)中，加速度A和角加速度ωa的比是转动半径L。根据加速度计 109p的输出来获得加速度A，并且通过对角速度计108p的输出进行一重积分来获得角加速度ωa。可以使用任何方法来获得转动半径L。

[0053] 比较器308获取例如作为角速度计BPF单元306的输出的角速度ωb和通过对加速度计BPF单元307的输出进行一重积分所获得的速度Vb，然后使用以下的公式(4)来计算转动半径L。

[0054] 数学式2

[0055] L＝Vb/ωb.........(4)

[0056] 可以根据预定时间段内的速度Vb和角速度ωb各自的最大振幅的峰值的比来计算转动半径L。在角速度计BPF单元306和加速度计BPF单元307的截止频率为5Hz的情况下，该预定时间段被设置为例如约200ms。此外，可以在分别计算速度Vb和角速度ωb时更新转动半径L。可选地，为了去除在计算转动半径L时出现的高频噪声分量，比较器308按时序方式对速度Vb和角速度ωb分别进行平均，或者可以进行利用低通滤波器(LPF)截除高频分量的处理。

[0057] 输出校正单元310使用公式(2)，根据比较器308所计算出的转动半径L和作为HPF 309的输出的HPF处理后的角速度检测信号来计算第一平行抖动速度。将第一平行抖动速度输入至速度计算单元311。同时将加速度计109p的输出输入至速度计算单元311。速度计算单元311获取第一平行抖动速度和加速度计109p所输出的加速度检测信号，然后计算第二平行抖动量。

[0058] 以下将说明用于使用作为估计器的示例的卡尔曼滤波器来根据角速度检测信号和第一平行抖动速度计算第二平行抖动速度的处理。

[0059] 如以下的公式所示，将状态变量设置为Velocity(平行速度)和Accelbias (加速度计的偏移偏置(offset bias)分量)。

[0060] 数学式3

[0061] x＝[Velocity Accelbias]T

[0062] 利用dt来表示使用卡尔曼滤波器的计算的采样周期。将输出变量y设置到输出校正单元310所输出的第一平行抖动速度，并且将输入变量u设置到从加速度计109p输出的加速度。可以通过公式(5)来表示状态方程式。

[0063] 数学式4

[0064]

[0065]

[0066]

[0067] C＝[1 0]，D＝[0]

[0068]

[0069] 在上述公式中，wk是系统噪声(加速度计的噪声)，并且vk是观测噪声(作为输出校正单元310的输出的第一平行抖动速度中所包括的噪声)。

[0070] 如下所述获得通过卡尔曼增益g和状态估计值(通过在xk上添加符号“∧”来表示)。

[0071] 数学式5

[0072] 初步预测步骤

[0073]

[0074] P-k＝APk-1AT+BQBT…(8)

[0075] 滤波步骤

[0076]

[0077]

[0078] Pk＝(I-gkC)P-k…(11)

[0079] 这里，如下所述设置表示系统噪声的方差的值的“Q＝σw2”和表示观测噪声的方差的值的“R＝σv2”。

[0080] 系统噪声的方差Q是根据作为施加于输入端子的系统噪声的、加速度计 109p的传感器噪声所设置的。另外，观测噪声的方差P是根据作为输出校正单元310的输出的第一平行抖动速度中所包括的噪声所设置的。卡尔曼增益g 根据方差Q和R的大小而改变。如果方差Q的值被设置得高，则计算第二平行抖动速度(抖动校正速度)，使得第一平行抖动速度的加权值增大。另外，如果方差R的值被设置得高，则计算第二平行抖动速度，使得加速度计109p的输出的加权值增大。速度计算单元311根据处于手持状态的照相机101的拍摄条件来确定Q的值和R的值，并由此计算第二平行抖动速度。

[0081] 另外，可以检测照相机101的抖动状态，并且可以根据该抖动状态来设置卡尔曼增益g。例如，如果抖动微小，则该抖动可以具有频率相对较高的小的平行抖动量、而不是频率低的大的平行抖动量。因而，如果抖动微小，则照相机的姿势的角度变化量小、并且重力的影响的变化所引起的加速度计的输出的噪声相对较小，因而方差R的值可被设置得高。最终，针对加速度计109p的输出，利用被设置得相对较高的加权值来计算第二平行抖动速度。另一方面，如果抖动剧烈、并且频率低的大的平行抖动占主导，则照相机的姿势的角度变化量大并且重力的影响的变化所引起的加速度计的输出的噪声大，因此方差Q的值被设置得高。最终，利用被设置得相对较高的第一平行抖动速度的加权值来计算第二平行抖动速度，因而可以减轻加速度计的输出误差对图像抖动的校正的影响。

[0082] 在照相机101的抖动状态的检测中，可以使用角速度计108p和加速度计 109p的输出中的任一个或这两者。抖动状态检测单元例如使角速度计108p的输出或加速度计109p的输出通过HPF，并由此使HPF处理后的信号转换成绝对值。抖动状态检测单元测量已转换成绝对值的信号在预定时间段内超过预定水平的阈值的次数，并且将该次数与预定阈值进行比较。如果所测量到的次数等于或小于预定阈值，则状态被判断为微小抖动的状态，并且如果所测量到的次数大于预定阈值，则状态被判断为剧烈抖动的状态。可选地，在其它方法中，抖动状态检测单元将通过使用根据转换成绝对值的信号的移动平均、或者LPF等而生成的信号的水平与预定阈值进行比较。如果该信号的水平等于或低于预定阈值，则状态被判断为微小抖动的状态，并且如果该信号的水平高于预定阈值，则状态被判断为剧烈抖动的状态。

[0083] 通过上述处理，可以利用简单结构来计算与抖动状态相对应的最佳平行抖动速度。注意，尽管已经说明了使用卡尔曼滤波器的第二平行抖动速度的计算处理作为示例，但存在其它方法(参考图5A和5B)。例如，对作为输出校正单元310的输出的第一平行抖动速度进行低通滤波处理。对LPF处理后的速度(LPF速度)进行积分，并由此计算角度(LPF角度)。对加速度计109p的输出进行高通滤波处理。对HPF处理后的速度(HPF速度)进行积分，并由此计算角度(HPF角度)。通过将LPF角度与HPF角度相加，可以计算第二平行抖动速度。图5A示出低通滤波器的特性，并且图5B示出高通滤波器的特性。在上部示出相位的特性，在下部示出增益的特性，并且横轴表示频率轴。在该方法中，将LPF的截止频率501和HPF的截止频率502设置为相同值。在低频带中，可以基于来自输出校正单元310的第一平行抖动速度来计算第二平行抖动速度，并且在高频带中，可以基于加速度计109p的输出来计算第二平行抖动速度。在这种情况下，使用角速度计108p和加速度计109p的输出中的任一个或这两者，来如上所述判断照相机101的抖动状态。滤波器的截止频率501 和502根据抖动状态的判断结果而改变。例如，在判断为照相机101处于其抖动大于阈值的状态的情况下，将截止频率
501和502设置为低的值，并且进行相加合成处理，使得根据加速度计109p所计算出的平行抖动的比率变高。另外，在判断为照相机101处于其抖动小于阈值的状态的情况下，将截止频率 501和502设置为高的值，并且进行相加合成处理，使得使用转动半径L所计算出的第一平行抖动速度的输出的比率变高。通过该操作，可以根据照相机 101的抖动状态来计算最佳的平行抖动速度。

[0084] 图3的速度计算单元311将所计算出的第二平行抖动速度输出至积分器 312。积分器312通过积分来计算平行抖动位移并且将该结果输出至灵敏度调整单元313。灵敏度调整单元313基于变焦和调焦位置信息302以及根据该信息所获得的摄影倍率来放大积分器312的输出，并且将平行抖动的校正目标值输出至加法器314。加法器314将作为灵敏度调整单元303的输出的角度抖动的校正目标值与作为灵敏度调整单元313的输出的平行抖动的校正目标值相加。由此，计算抖动校正目标值，然后将该抖动校正目标值输出至驱动器 112。

[0085] 利用δ来表示灵敏度调整单元303、灵敏度调整单元313和加法器314所计算出的抖动校正目标值。利用f来表示摄像光学系统的焦距，利用β来表示摄影倍率，并且利用Ts来表示抖动校正灵敏度。抖动校正灵敏度Ts是照相机摄像面上的抖动量相对于抖动校正单元110的移动量的比。利用以下的公式 (12)，使用平行抖动Y和摄像光学系统的抖动角度θ、摄像光学系统的焦距f 和摄影倍率β、以及抖动校正灵敏度Ts来计算抖动校正目标值δ。

[0086] 数学式6

[0087]

[0088] 公式(12)的右侧第一项是作为灵敏度调整单元303的输出的角度抖动校正量，并且右侧第二项是作为灵敏度调整单元313的输出的平行抖动校正量。将如上所述所计算出的作为加法器314的输出的抖动校正目标值δ输入至驱动器112。基于抖动校正目标值δ，驱动器112驱动抖动校正单元110，并且根据抖动校正透镜111的移动来进行抖动校正操作。

[0089] 在本实施例中，通过将转动半径L乘以所检测到的角速度来计算第一平行抖动速度。对信号进行合成，使得在低频带中第一平行抖动速度的加权值被设置得高、并且在高频带中根据加速度输出所获得的平行抖动速度的加权值被设置得高，由此计算第二平行抖动速度。通过第二平行抖动速度的积分来计算平行抖动位移，并且获得灵敏度已被调整的平行抖动的抖动校正目标值。根据本实施例，可以通过在去除高频带和低频带各自中的噪声成分的同时、对两个信号进行合成并计算平行抖动量，来在宽的频带内高精度地检测抖动，如此针对平行抖动的图像抖动校正效果提高。

[0090] 第二实施例

[0091] 接着，将说明本发明的第二实施例。将以上所使用的附图标记用于本实施例中的与第一实施例的构成元件相同的构成元件，将省略针对这些构成元件的详细说明，并且将主要说明不同之处。这种说明的省略还适用于以下要说明的实施例。

[0092] 将参考图6来说明根据本实施例的抖动校正装置。图6是抖动校正装置的控制框图。本实施例的特征如下所述。

[0093] 设置有用于计算所拍摄图像的运动矢量的运动矢量计算单元601。

[0094] 设置有切出量调整单元604和图像切出抖动校正单元605。

[0095] 在本实施例中，作为第一平行抖动速度的检测单元的运动矢量计算单元 601根据图像传感器107所输出的图像数据来检测装置的抖动。换句话说，运动矢量计算单元601比较图像传感器107在不同时刻所输出的图像，并且进行运动矢量的计算处理。在使用运动矢量来检测照相机抖动或构图的偏移的方法中，可以基于从实际拍摄获得的图像数据来检测抖动。基于表示所检测到的图像的偏移的运动矢量来获得图像偏移量，并且通过根据该图像偏移量进行帧图像的切出处理，可以校正拍摄动态图像时发生的图像抖动。此时，应当注意以下几点。

[0096] 在所拍摄到的各帧图像中检测运动矢量，因而存在可精确检测的频带根据帧频而受到限制的情况。另外，由于使用矢量来检测被摄体图像相对于图像的偏移，因此不能忽略实际图像抖动中的时间延迟。结果，存在检测精度在低频带中变高、但在高频带中变低的可能性。因而，在本实施例中，进行控制，使得使用运动矢量所检测到的抖动量的加权值在低频带中被设置得高，并且加速度传感器的输出的加权值在高频带中被设置得高。通过对加权值已被控制的信号进行合成来计算抖动校正量，因而可以提高平行抖动量的检测精度。

[0097] 在本实施例中，使用运动矢量来检测平行抖动量，并且在平行抖动的校正中使用切出图像来进行图像抖动的电子校正。换句话说，切出量调整单元 604和图像切出抖动校正单元605不驱动光学构件，而是通过图像处理来校正图像抖动。另一方面，关于角度抖动的校正，如第一实施例那样，通过驱动抖动校正透镜111来进行图像抖动的光学校正。对于角速度计108p所检测到的抖动检测信号，HPF积分滤波器301进行HPF处理和积分，并且此外，灵敏度调整单元303进行灵敏度的调整。将使用变焦和调焦位置信息302调整了灵敏度的角度抖动的校正目标值输入至驱动器112，然后抖动校正单元110校正角度抖动。

[0098] 以下将详细说明运动矢量计算单元601所进行的运动矢量的计算。

[0099] 图像传感器107将从被摄体反射来的光光电转换成电气信号，并由此获取图像信息。所获取到的图像信息被转换成数字信号，并且转换处理后的数字图像数据被发送至运动矢量计算单元601。在该时间点，运动矢量计算单元601获取预先存储在存储器中的一帧前的图像数据，并且将当前图像数据与在时间上连续的过去图像数据进行比较。运动矢量计算单元601根据不同时刻的图像之间的相对偏移的信息来计算运动矢量。此时所提取的图像信息包括图像整体的数据或图像的一部分的数据。可选地，运动矢量计算单元601 通过比较通过将图像分割成多个区域所获得的各个小区域的图像数据来计算运动矢量，并且从这些运动矢量中选择最佳的运动矢量。不限制运动矢量计算处理的方法。

[0100] 运动矢量计算单元601将所计算出的运动矢量的信息输出至速度计算单元602。速度计算单元602使用所获取到的运动矢量的信息和加速度计109p的输出来执行速度计算处理。首先，速度计算单元602将运动矢量转换成平行抖动速度量V。利用Vm来表示运动矢量的速度，利用P来表示一个像素的间距，并且利用β来表示基于变焦和调焦位置信息302的摄影倍率。通过以下的公式(13)，将速度Vm转换成平行抖动速度量V。

[0101] 数学式7

[0102] V＝Vm×P/β·····(13)

[0103] 速度计算单元602使用通过公式(13)所获得的平行抖动速度量V作为第一平行抖动速度，并且如第一实施例那样，使用公式(5)～(11)来计算第二平行抖动速度。

[0104] 将速度计算单元602所输出的第二平行抖动速度输入至积分器603。积分器603通过积分来计算平行抖动位移，并且将该平行抖动位移输出至切出量调整单元604。切出量调整单元604基于变焦和调焦位置信息302和根据该信息所获得的摄影倍率β来设置图像切出位置。将切出量调整单元604所输出的图像切出位置的信息输入至图像切出抖动校正单元605。图像切出抖动校正单元605根据所获取到的图像切出位置，通过图像切出来进行平行抖动的校正。将参考图7来说明基于图像数据的切出处理的图像抖动的电子校正。

[0105] 图7是用于说明图像切出抖动校正单元605进行图像偏移处理的状态的图。对象图像是根据图像传感器107的输出所生成的所拍摄图像。在图像偏移处理中，改变所拍摄图像中的输出区域。例如，图7的图像701a表示在拍摄时刻T1所拍摄到的图像传感器107的输出图像。图像701b表示在从拍摄时刻T1起经过了预定时间段之后(例如，在1/30秒之后)到达的拍摄时刻T2所拍摄到的图像传感器107的输出图像。

[0106] 没有设置有用于通过使拍摄光轴偏心来以光学方式校正图像抖动的抖动校正单元的摄像装置受到两个图像701a和701b之间的与角度抖动和平行抖动相对应的位置偏移的影响。在本实施例中，由于驱动器112和抖动校正单元110进行角度抖动的校正，因此仅由于平行抖动的影响而在图像701a和 701b的构图中发生偏移。切出量调整单元604根据图像的水平方向和垂直方向上的平行抖动量来针对各拍摄帧计算水平方向和垂直方向上的图像切出移动量。利用图7的箭头702y表示的第一矢量表示水平方向上的图像切出移动量，并且利用箭头702p表示的第二矢量表示垂直方向上的图像切出移动量。在对第一矢量和第二矢量进行合成的情况下，获得利用箭头702表示的矢量、即与图像切出移动量等同的合成矢量。

[0107] 图像切出抖动校正单元605使用从切出量调整单元604获取到的图像切出移动量的信息来使图像切出位置偏移。因此，拍摄时刻T1的图像701a的切出图像是图像703，并且拍摄时刻T2的图像701b的切出图像是图像703。换句话说，在主被摄体704的图像的图像抖动受到抑制的状态下拍摄动态图像。图像切出抖动校正单元605通过图像切出处理来针对各拍摄帧校正平行抖动。这样，可以在动态图像的拍摄期间同时执行平行抖动的校正和角度抖动的校正。

[0108] 在本实施例中，角度抖动的校正处理单元根据角速度计108p的输出来计算角度抖动校正量，并且通过使拍摄光轴偏心来校正图像抖动。平行抖动的校正处理单元根据运动矢量和加速度计109p的输出来计算平行抖动量，并且通过使拍摄图像的输出区域偏移来通过图像切出处理校正图像抖动。根据本实施例，可以高精度地校正图像抖动。

[0109] 第三实施例

[0110] 接着，将说明本发明的第三实施例。

[0111] 图8是根据本实施例的抖动校正装置的控制框图。与第一实施例(参见图 3)的不同之处在于：设置有两个判断单元801和802。判断单元801是用于进行平摇状态的判断(以下称为平摇判断)的平摇判断单元801。另外，判断单元 802是用于判断摄像装置的姿势变化的姿势判断单元。将平摇判断单元801和姿势判断单元802的各输出输入至速度计算单元803。本实施例的特征是：速度计算单元803基于平摇判断单元801的平摇判断结果和姿势判断单元802的姿势判断结果，来改变第一平行抖动速度与根据加速度计109p的输出所获得的速度的合成比率。

[0112] 首先，将说明平摇判断单元801所进行的平摇状态判断处理。

[0113] 在平摇判断状态中，平摇判断单元801获取角速度计108p的输出并且将该输出与预定阈值进行比较。测量角速度检测信号的水平等于或高于预定阈值的时间(检测时间)。如果检测时间等于或长于预定时间段，则平摇判断单元801判断为平摇操作进行中。该预定时间段是指为了判断平摇持续期间而预先设置的基准时间。平摇判断单元801将表示用户的平摇操作是否进行中的平摇判断的结果输出至速度计算单元803。

[0114] 由于在平摇期间照相机的倾斜角度改变，因此源于重力的影响的分量容易叠加在加速度计109p的输出上。另外，由于在平摇期间由平摇操作产生的转动半径L(参见图4)占主导，因此平行速度的检测精度高。由于该原因，速度计算单元803在判断平摇状态的情况下改变合成比率，使得加速度计109的输出的加权值被设置得相对较低，并且第一平行抖动速度的加权值被设置得相对较高。作为使用利用该合成比率所计算出的第二平行抖动速度来进行图像抖动的校正的结果，平行抖动的校正效果提高。结果，生成接近实际的平行抖动的信号，并且基于该信号来校正平行抖动。注意，关于倾斜状态的判断，也进行相同的处理。在这种情况下，倾斜判断单元在判断倾斜状态的情况下改变合成比率，使得加速度计109的输出的加权值被设置得相对较低，并且第一平行抖动速度的加权值被设置得相对较高。

[0115] 接着，将说明姿势判断单元802所进行的姿势判断处理。

[0116] 如果将三轴加速度计用于加速度计109，则将该三轴加速度计的输出输入至姿势判断单元802，并且姿势判断单元802计算照相机的倾斜角度。将加速度计109的测量轴设置为X轴、Y轴和Z轴，并且将X轴定义为图像传感器的摄像面内的水平方向的轴。另外，将Y轴定义为图像传感器的摄像面内的垂直方向的轴，并且将Z轴定义为照相机的光轴方向的轴。最终，照相机被配置成面向与摄像面(X-Y面)垂直的Z轴方向，并且可以根据各轴的加速度输出的关系来计算照相机的倾斜角度。将参考图9来说明照相机的姿势变化对重力加速度的不同影响。

[0117] 图9示出在照相机原始位置处的角度被设置为0度的情况下、通过照相机的滚转角度变化而产生的加速度计109的输出的变化。照相机原始位置对应于在用户将照相机保持于横向位置的情况下其图像传感器的左右方向上的轴与重力方向垂直的基准姿势。图9的横轴表示角度(单位：度)，并且其纵轴表示加速度计109的输出(单位：G)。曲线901表示X轴的输出的变化，并且曲线902表示Y轴的输出的变化。

[0118] 在角度为0度的照相机原始位置的附近，相对于滚转角度的变化的Y轴上的重力加速度的变化量小，但由于0度附近的斜率大，因此相对于滚转角度的变化的X轴上的重力加速度的变化量大。因而，在照相机原始位置附近，Y 轴上的加速度计109的输出的加权值被控制得高。即，计算第二平行抖动速度的精度提高。然而，如果X轴上的加速度计109的输出的加权值被设置得高，则重力加速度的变化的影响可能导致第二平行抖动速度的误计算。因而，X 轴上的加速度计109的输出的加权值被设置得低，然后进行用于计算第二平行抖动速度的处理。另外，在照相机的垂直位置中、即在照相机的角度为90 度或-90度的姿势中，X轴和Y轴上的重力加速度的影响变得与姿势的角度为0 度的情况相反。因而，通过将Y轴上的加速度计109的输出的加权值设置得低、并且将X轴上的加速度计109的输出的加权值设置得高，来计算第二平行抖动速度。通过这样根据照相机的姿势变化来改变合成比率，可以计算出针对照相机的姿势的最佳平行抖动校正量。

[0119] 合成比率改变方法包括如第一实施例所述的、用于通过改变卡尔曼滤波器的卡尔曼增益来改变合成比率的方法。可选地，作为另一方法，可以计算第二平行抖动速度。例如，速度计算单元对作为输出校正单元310的输出的第一平行抖动速度进行LPF处理，并且计算LPF处理后的速度(LPF速度)。另外，速度计算单元对加速度计109p的输出进行HPF处理，然后对该输出进行积分处理，由此计算HPF和积分处理后的速度(HPF速度)。可以通过将LPF速度与HPF速度相加来计算第二平行抖动速度。在该方法中，关于被设置为具有相同的截止频率的LPF和HPF，可以通过根据照相机的姿势改变截止频率来计算第二平行抖动速度。

[0120] 在本实施例中，基于平摇(或倾斜)判断结果或者姿势判断结果，来进行用于改变第一平行抖动速度与根据角速度计109的输出所获得的平行抖动速度之间的合成比率的处理。适当地改变合成比率的值，然后计算第二平行抖动速度，并且校正平行抖动，因此可以根据照相机的状态或姿势来实现图像抖动的适当校正。

[0121] 其它实施例

[0122] 还可以通过读出并执行记录在存储介质(还可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以进行上述实施例中的一个或多个的功能以及/或者包括用于进行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或设备的计算机和通过下面的方法来实现本发明的各实施例，其中，该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能以及/或者控制该一个或多个电路以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机系统的存储器、光盘(诸如致密盘(CD)、数字多功能盘(DVD)或蓝光盘 (BD)等)、闪速存储装置和存储卡等中的一个或多个。

[0123] 尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

[0124] 本申请要求2015年5月29日提交的日本专利申请2015-109363的优先权，在此通过引用包含其全部内容。