摄像装置及像抖动校正方法转让专利

申请号 : CN201580069816.2

文献号 : CN107111207B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 和田哲

申请人 : 富士胶片株式会社

摘要 :

本发明提供一种摄像装置及像抖动校正方法,摄像装置具备:检测部,其检测正交3轴的各轴向的加速度;生成部,其使用正交3轴的各轴向的加速度的合成矢量的大小与重力加速度的大小的差分为规定阈值以下时的合成矢量而生成基准矢量;及校正部,其根据正交3轴的各轴向的加速度,并使用基准矢量,校正至少由与摄像光学系统2的光轴垂直的正交2轴的各轴向的平移抖动引起的像抖动。

权利要求 :

1.一种摄像装置,其具备:

加速度检测部,其检测正交3轴的各轴向的加速度;及重力加速度估算部,其对与摄像装置的姿势变化联动而旋转的所述正交3轴的坐标系中的重力加速度进行估算;

其特征在于,所述摄像装置还具备:

基准矢量生成部,其使用由所述加速度检测部检测出的所述正交3轴的各轴向的加速度的合成矢量的大小与重力加速度的大小之间的差分为规定阈值以下时的所述合成矢量而生成基准矢量;

重力加速度校正部,其根据所述基准矢量,校正由所述重力加速度估算部估算出的所述正交3轴的坐标系中的重力加速度;及抖动校正部,其根据从由所述加速度检测部检测出的所述正交3轴的各轴向的加速度减去通过所述重力加速度校正部校正后的所述重力加速度的所对应的轴向成分而得的加速度,至少对由与摄像光学系统的光轴垂直的正交2轴的各轴向的平移抖动引起的像抖动进行校正。

2.根据权利要求1所述的摄像装置,其中,

所述基准矢量生成部根据最新的所述合成矢量和过去的所述合成矢量或过去的所述基准矢量来生成所述基准矢量。

3.根据权利要求2所述的摄像装置,其中,

所述基准矢量生成部根据最新的所述合成矢量和过去的所述合成矢量或过去的所述基准矢量的加权平均来生成所述基准矢量。

4.根据权利要求3所述的摄像装置,其中,

所述基准矢量生成部根据最新的所述合成矢量相对于过去的所述合成矢量或过去的所述基准矢量的变化量,改变加权平均中的权重系数。

5.一种像抖动校正方法,其具备:

估算步骤,检测摄像装置的姿势变化,对与姿势变化联动而旋转的正交3轴的坐标系中的重力加速度进行估算,其特征在于,所述像抖动校正方法还具备:

生成步骤,使用作用于摄像装置的所述正交3轴的各轴向的加速度的合成矢量的大小与重力加速度的大小之间的差分为规定阈值以下时的所述合成矢量而生成基准矢量;

校正步骤,根据所述基准矢量,校正所估算出的所述正交3轴的坐标系中的重力加速度;及像抖校正步骤,根据从作用于摄像装置的所述正交3轴的各轴向的加速度减去校正后的所述重力加速度的所对应的轴向成分而得的加速度,至少对由与摄像光学系统的光轴垂直的正交2轴的各轴向的平移抖动引起的像抖动进行校正。

6.根据权利要求5所述的像抖动校正方法,其中,在所述生成步骤中,根据最新的所述合成矢量及过去的所述合成矢量或过去的所述基准矢量来生成所述基准矢量。

7.根据权利要求6所述的像抖动校正方法,其中,在所述生成步骤中,根据最新的所述合成矢量和过去的所述合成矢量或过去的所述基准矢量的加权平均来生成所述基准矢量。

8.根据权利要求7所述的像抖动校正方法,其中,在所述生成步骤中,根据最新的所述合成矢量相对于过去的所述合成矢量或过去的所述基准矢量的变化量,改变加权平均中的权重系数。

说明书 :

摄像装置及像抖动校正方法

技术领域

[0001] 本发明涉及一种摄像装置及像抖动校正方法。

背景技术

[0002] 已知有校正由手抖等导致摄像装置的抖动而引起的像抖动的摄像装置。摄像装置的抖动有摄像装置绕与光轴正交的轴旋转的角度抖动及摄像装置沿与光轴正交的轴向位移的平移抖动。
[0003] 通常,在针对旋转抖动的像抖动校正中,检测出绕与光轴正交的轴的角速度,计算出摄像装置的旋转抖动量。而且,校正光学系统或摄像元件根据旋转抖动量以相互抵消摄像元件的摄像面上的像抖动的方式移动。
[0004] 并且,在针对平移抖动的像抖动校正中,检测出与光轴正交的轴向的加速度,计算出摄像装置的平移抖动量。而且,校正光学系统或摄像元件根据平移抖动量以相互抵消摄像元件的摄像面上的像抖动的方式移动。
[0005] 为了检测摄像装置的平移抖动而使用加速度传感器。然而,加速度传感器的输出中包含重力加速度成分,因此需要去除该重力加速度成分。在专利文献1中所记载的抖动校正装置中,根据作为惯性体的相机的运动方程式使用静态的初始加速度和角速度变化求出重力加速度方向(初始姿势)后,从加速度传感器的输出值去除通过运算求出的重力加速度成分。并且,在专利文献2中所记载的像抖动校正装置中,根据来自角速度计的手抖角度信号的变化求出施加于加速度计的重力的变化后,计算出来自加速度计的手抖加速度信号与伴随该已求出的重力变化的信号的差分,由此进行因重力影响导致的加速度计的输出误差的消除。
[0006] 现有技术文献
[0007] 专利文献
[0008] 专利文献1:日本特开2013-250414号公报
[0009] 专利文献2:日本专利第4717651号公报

发明内容

[0010] 发明要解决的技术课题
[0011] 上述说明的专利文献1、2中的任意装置为了导出重力加速度成分,均使用由传感器检测出的角速度。然而,若由该角速度的位移导致的误差逐渐累积,则不能从加速度信号以高精确度去除重力加速度成分。即使根据未去除重力加速度成分的加速度信号进行像抖动的校正,也不能消除像劣化。
[0012] 本发明鉴于上述情况而完成的,其目的在于提供一种能够以高精确度校正由平移抖动引起的像抖动的摄像装置及像抖动校正方法。
[0013] 用于解决技术课题的手段
[0014] 本发明的一方式的摄像装置具备:加速度检测部,其检测正交3轴的各轴向的加速度;基准矢量生成部,其使用由所述加速度检测部检测出的所述正交3轴的各轴向的加速度的合成矢量的大小与重力加速度的大小的差分为规定阈值以下时的所述合成矢量而生成基准矢量;及抖动校正部,其根据由所述加速度检测部检测出的所述正交3轴的各轴向的加速度,并使用所述基准矢量,校正至少由与摄像光学系统的光轴垂直的正交2轴的各轴向的平移抖动引起的像抖动。
[0015] 本发明的一方式的像抖动校正方法具备:生成步骤,使用作用于摄像装置的正交3轴的各轴向的加速度的合成矢量的大小与重力加速度的大小的差分为规定阈值以下时的所述合成矢量而生成基准矢量;及校正步骤,根据作用于摄像装置的所述正交3轴的各轴向的加速度,并使用所述基准矢量,校正至少由与摄像光学系统的光轴垂直的正交2轴的各轴向的平移抖动引起的像抖动。
[0016] 发明效果
[0017] 根据本发明,能够提供一种能够以高精确度校正由平移抖动引起的像抖动的摄像装置及像抖动校正方法。

附图说明

[0018] 图1是表示用于说明本发明的实施方式的摄像装置的一例的外观的图。
[0019] 图2是表示图1的摄像装置的结构的图。
[0020] 图3是表示图1的摄像装置的像抖动校正系统的一例的结构的图。
[0021] 图4是表示来自过去合成矢量或过去基准矢量的最新合成矢量的变化量与被乘以最新合成矢量的权重系数之间的关系的图。
[0022] 图5是表示图3所示的像抖动校正系统的工作的流程图。
[0023] 图6是表示合成矢量的大小与重力加速度的大小的差分的经时变化和正交3轴中的任一轴向的加速度及基准矢量的经时变化的图。
[0024] 图7是表示图1的摄像装置的像抖动校正系统的另一例的结构的图。
[0025] 图8是表示图7所示的像抖动校正系统的工作的流程图。
[0026] 图9是表示用于说明本发明的实施方式的摄像装置另一例的外观的图。
[0027] 图10是表示图9的摄像装置的结构的图。

具体实施方式

[0028] 图1表示用于说明本发明的实施方式的摄像装置的一例的外观,图2表示图1的摄像装置的结构。
[0029] 作为图1及图2所示的摄像装置的一例的数码相机1具备包括在光轴方向(z轴向)及与光轴方向正交的2轴的各轴向(x轴向及y轴向)上可移动地被支承的可动透镜2a的摄像光学系统2、通过摄像光学系统2拍摄被摄体的摄像元件3、确定可动透镜2a的对焦位置的调焦部4、使可动透镜2a沿z轴向移动的对焦驱动部5及控制部6。
[0030] 可动透镜2a在数码相机1的框体内部以沿x轴、y轴、z轴的各轴向可移动的方式被簧片2b弹性支承。
[0031] 摄像元件3例如使用CCD(ChargeCoupledDevice)型或CMOS(ComplementaryMetalOxideSemiconductor)型图像传感器。
[0032] 摄像元件3的输出信号通过信号处理部7经相关双采样处理等模拟信号处理而被数字转换。而且,信号处理部7对摄像元件3的输出信号进行了数字转换的信号进行插值运算或伽马校正运算或RGB/YC转换处理等数字信号处理而生成图像数据。
[0033] 调焦部4根据通过信号处理部7生成的图像数据,通过例如对比方式等AF方式判定对焦状态,并确定可动透镜2a的对焦位置。而且,调焦部4将命令已确定的对焦位置的调焦信号输出至控制部6。
[0034] 对焦驱动部5为所谓的音圈马达,且包括以对置的方式配置且其中一个固定于可动透镜2a的磁铁及驱动线圈,并根据供给至驱动线圈的驱动电流,产生使可动透镜2a沿z轴向移动的驱动力。
[0035] 控制部6中,从操作部8输入基于用户的摄影命令等命令信号。控制部6响应摄影命令而驱动摄像元件3,并使摄像元件3进行拍摄。
[0036] 在数码相机1中设置有存储设定信息等的主存储器9、包括存储通过信号处理部7生成的图像数据的存储卡等存储介质的存储部10、及包括显示通过信号处理部7生成的图像数据及菜单的液晶显示面板等显示面板的显示部11。
[0037] 调焦部4、信号处理部7、主存储器9、存储部10及显示部11通过控制总线12及数据总线13相互连接,且通过从控制部6的指令被控制。
[0038] 控制部6中输入由调焦部4命令可动透镜2a的对焦位置的调焦信号。控制部6根据调焦信号控制对焦驱动部5,在通过调焦信号命令的对焦位置保持可动透镜2a。在本例中,对焦驱动部5为音圈马达,调焦信号为命令供给至驱动线圈的驱动电流值的信号。
[0039] 数码相机1还具备检测作用于数码相机1的加速度的加速度检测部20及校正由数码相机1的抖动引起的摄像元件3的摄像面上的像抖动的校正驱动部21。在本例中,作为对焦透镜通过对焦驱动部5沿z轴向移动的可动透镜2a还通过基于控制部6的控制下的校正驱动部21沿x轴、y轴的各轴向移动而像抖动被校正。
[0040] 另外,也可以与作为对焦透镜的可动透镜2a不同地另行设置像抖动校正用透镜而使像抖动校正用透镜沿x轴、y轴的各轴向移动来校正像抖动,或也可以使摄像元件3沿x轴、y轴的各轴向移动来校正像抖动。在这种情况下,可动透镜2a可沿z轴向移动即可。
[0041] 图3表示数码相机1的像抖动校正系统的功能块的一例。
[0042] 加速度检测部20包括检测x轴向的加速度的加速度传感器22x、检测y轴向的加速度的加速度传感器22y及检测z轴向的加速度的加速度传感器22z。
[0043] 控制部6包括生成作用于数码相机1的加速度的基准矢量的基准矢量生成部23及控制校正驱动部21的抖动校正控制部24。
[0044] 基准矢量生成部23计算出由加速度检测部20检测出的正交3轴的各轴向的加速度的合成矢量M的大小(|M|)。加速度的合成矢量M的大小通过分别由加速度传感器22x、22y、22z检测出的加速度ax、ay、az的平方和(ax2+ay2+az2)来求出。基准矢量生成部23将计算出的合成矢量M与计算时间建立对应关联而储存于主存储器9。
[0045] 而且,若计算出的合成矢量M的大小|M|与预先确定的值即重力加速度的大小|G|的差分C(=|M|-|G|)的绝对值为规定阈值Cth以下,则基准矢量生成部23使用基于加权平均的后述的递归滤波器而计算出加速度的基准矢量R。另一方面,当上述的差分C的绝对值超过规定阈值Cth时,基准矢量生成部23不进行基准矢量R的计算。基准矢量生成部23将计算出的基准矢量R与计算时间建立对应关联而储存于主存储器9。另外,重力加速度的大小|G|为预先确定的值。
[0046] 基准矢量生成部23在计算基准矢量R时所使用的递归滤波器,如下所示,使用最新合成矢量M0及储存在主存储器9中的过去所计算出的当前基准矢量(以下称为“过去基准矢量”。)R1。另外,被乘以最新合成矢量M0的权重系数α与被乘以过去基准矢量R1的权重系数β的总和为1。
[0047] 递归滤波器的一例:αM0+βR1
[0048] 另外,乘以权重系数β的对象并不限于过去基准矢量R1,如下所示,也可以是储存在主存储器9中的过去合成矢量M1。
[0049] 递归滤波器的另一例:αM0+βM1
[0050] 并且,计算基准矢量R中所使用的过去合成矢量或过去基准矢量并不限于一个,如下所示,也可以是多个。
[0051] 递归滤波器的另一例:αM0+βR1+……+γRn(Rn为n次前所计算出的基准矢量)[0052] 递归滤波器的另一例:αM0+βM1+……+γMn(Mn为n次前所获得的合成矢量)[0053] 另外,在这种情况下,被乘以各合成矢量或各基准矢量的权重系数的总和也是1。
[0054] 基准矢量生成部23在确定计算基准矢量R中所使用的递归滤波器时,设定权重系数α的值。如图4所示,权重系数α根据来自过去合成矢量M1或过去基准矢量R1的最新合成矢量M0的变化量ΔM,被设定为0至1的规定值。即,关于权重系数α,变化量ΔM为0至规定阈值ΔMth1的值时被设定为0,变化量ΔM为比规定阈值ΔMth1大的规定阈值ΔMth2以上的值时,被设定为1,变化量ΔM为阈值ΔMth1至阈值ΔMth2之间的值时,被设定为与该变化量ΔM的大小成比例的0至1之间的值。另外,变化量ΔM的计算按正交3轴的每个轴成分进行,权重系数α的值的设定也按正交3轴的每个轴成分进行。
[0055] 抖动校正控制部24对从由加速度传感器22x检测出的x轴向的加速度减去由基准矢量生成部23计算出的新基准矢量R0的x轴成分的差分值进行二阶积分,求出x轴向的平移抖动量。同样地,抖动校正控制部24对从由加速度传感器22y检测出的y轴向的加速度减去由基准矢量生成部23计算出的新的基准矢量R0的y轴成分的差分值进行二阶积分,求出y轴向的平移抖动量。
[0056] 接着,抖动校正控制部24根据已求出的x轴及y轴的各轴向的平移抖动量,求出可动透镜2a的x轴及y轴的各轴向的移动量。
[0057] 而且,抖动校正控制部24控制校正驱动部21,以求出的可动透镜2a的移动量来使可动透镜2a沿x轴及y轴的各轴向移动。由此,由数码相机1的平移抖动引起的像抖动被校正。
[0058] 由抖动校正控制部24及校正驱动部21以及作为校正用透镜的可动透镜2a构成校正像抖动的抖动校正部。
[0059] 另外,校正驱动部21与对焦驱动部5同样能够以音圈马达来构成。
[0060] 图5是表示图3所示的像抖动校正系统的工作的流程图。如图5所示,控制部6中所包含的基准矢量生成部23计算出由加速度检测部20检测出的正交3轴的各轴向的加速度的合成矢量M的大小|M|(步骤S101)。接着,基准矢量生成部23计算出在步骤S101中计算出的合成矢量M的大小|M|与预先确定的值即重力加速度的大小|G|的差分C(=|M|-|G|)(步骤S103)。接着,基准矢量生成部23判断在步骤S103中计算出的差分C的绝对值是否为阈值Cth以下(|C|≤Cth)(步骤S105),若为|C|≤Cth,则进入步骤S107,若为|C|>Cth,则结束处理。
[0061] 在步骤S107中,基准矢量生成部23按正交3轴的每个轴成分计算出来自过去合成矢量或过去基准矢量的最新合成矢量的变化量ΔM。接着,基准矢量生成部23设定与正交3轴的每个轴成分的变化量ΔM对应的权重系数α,且也设定与该权重系数α相应的其他权重系数(步骤S109)。接着,基准矢量生成部23使用在步骤S109中所设定的权重系数以及基于最新合成矢量及过去基准矢量或合成矢量的递归滤波器,计算出新的基准矢量(步骤S111)。
[0062] 最后,抖动校正控制部24使用在步骤S111中计算出的基准矢量,并根据由加速度检测部20检测出的正交3轴的各轴向的加速度,控制由与光轴方向(z轴向)垂直的正交2轴的各轴向(x轴向及y轴向)的平移抖动引起的像抖动的校正处理(步骤S113)。
[0063] 图6是表示为了校正处理像抖动而使用基准矢量R1的状态下数码相机1的姿势发生较大变化时的基准矢量R的变化的图。图6所示的时间t1为止的数码相机1的姿势较稳定,该状态下的由加速度检测部20检测的加速度信号是由重力支配,因此基准矢量生成部23定期进行基准矢量R的计算。在数码相机1的用户有意改变数码相机1的姿势的时间t1~t2期间,加速度信号中除了重力以外附加由改变姿势而引起的加速度。此时的正交3轴的各轴向的加速度的合成矢量M的大小|M|与重力加速度的大小|G|的差分C超过阈值Cth,因此在时间t1~t2期间,基准矢量生成部23不进行基准矢量R的计算。时间t2以后数码相机1的姿势再次稳定,加速度信号再次由重力支配,因此基准矢量生成部23进行基准矢量R的计算,并得到新的基准矢量R0。因此,时间t2以后的抖动校正控制部24使用重新计算出的基准矢量R0,并根据正交3轴的各轴向的加速度,控制由平移抖动引起的像抖动的校正处理。
[0064] 另外,对由基准矢量生成部23计算出的基准矢量R进行低通滤波处理。在该处理中,从降低干扰影响的方面考虑,优选将截止频率设定为较低的值。但是,若截止频率较低,则在数码相机1的姿势发生较大变化的时间t1~t2期间也计算基准矢量R的情况下,如图6中的虚线所示,基准矢量R追随期望值为止需要时间。在本实施方式中,如上所述,在时间t1~t2期间,不进行基准矢量R的计算,因此即使截止频率设定为较低的值,也能够实现基准矢量R的充分的追随性。
[0065] 根据以上,数码相机1的姿势发生较大变化的期间不进行基准矢量的计算,而根据数码相机1的姿势再次稳定的状态下得到的加速度的合成矢量计算出基准矢量。因此,能够适当地追随重力方向的变化,并且以高精确度校正由平移抖动引起的像抖动。
[0066] 并且,根据数码相机1的姿势再次稳定的状态下得到的最新合成矢量和过去合成矢量或过去基准矢量的加权平均计算出基准矢量。因此,能够求出参考了过去信息的精确度高的基准矢量。
[0067] 而且,被乘以最新合成矢量的权重系数及被乘以过去合成矢量或过去基准矢量的权重系数根据来自过去合成矢量或过去基准矢量的最新合成矢量的变化量而互不相同,该变化量越大,对被乘以最新合成矢量的权重系数,设定更大的值。因此,在与加速度相关的最新信息从过去信息发生较大变动的情况下,以较大的比率利用算术平均中的最新信息且以较小的比率利用过去信息,因此能够求出追随了重力方向的变化的精确度高的基准矢量。
[0068] 图7表示数码相机1的像抖动校正系统的功能块的另一例。另外,在该系统中,包括检测正交3轴的各轴向的数码相机1的角速度的角速度检测部31。在图7中,对与图3通用的构成要件(加速度检测部20及基准矢量生成部23)标注相同的参考符号并简化或省略说明。
[0069] 控制部6包括生成作用于数码相机1的加速度的基准矢量的基准矢量生成部23、重力加速度估算部32、重力加速度校正部33及控制校正驱动部21的抖动校正控制部34。
[0070] 重力加速度估算部32根据数码相机1的姿势稳定时的由加速度检测部20检测出的正交3轴的加速度及由角速度检测部31检测出的正交3轴的角速度,并使用作为惯性体的数码相机1的运动方程式,计算出施加于加速度检测部20的重力加速度的估算值。数码相机1的姿势稳定时的由加速度检测部20检测出的x轴、y轴、z轴的各轴向的加速度的合成矢量与重力加速度对应,并根据对由角速度检测部31检测出的绕x轴、y轴、z轴的各轴的角速度分别进行积分而获得的绕各轴的角度变化量而使合成矢量旋转,由此能够估算出与数码相机1的姿势变化联动而旋转的x轴、y轴、z轴的惯性坐标系中的重力加速度。
[0071] 重力加速度校正部33根据由基准矢量生成部23计算出的基准矢量,校正由重力加速度估算部32计算出的重力加速度的估算值。当数码相机1的姿势连续发生变化时,由加速度检测部20检测的加速度信号中重力以外的加速度连续发生变化。在这种情况下,不能从加速度信号跟踪重力加速度的方向,因此根据角速度估算出的重力加速度有效。但是,若由角速度检测部31中所使用的传感器的漂移等引起的所检测的角速度的误差累积,则该估算出的重力加速度的误差也会变大。因此,重力加速度校正部33根据由基准矢量生成部23计算出的基准矢量校正由重力加速度估算部32计算出的重力加速度的估算值。由此,所检测的角速度的误差的累积被抑制,且由重力加速度估算部32计算出的重力加速度的估算值的精确度得以维持。
[0072] 以下,对基于重力加速度估算部32的计算重力加速度的估算值的详情及基于重力加速度校正部33的校正重力加速度的估算值的详情进行说明。
[0073] 表示三维空间的绕x轴、y轴及z轴的各轴的旋转的旋转矩阵由以下式(1)~(3)来表示。式(1)所示的Rx(θx)为将y轴朝向z轴方向的旋转矩阵。并且,式(2)所示的Ry(θy)为将z轴朝向x轴方向的旋转矩阵。并且,式(3)所示的Rz(θz)为将x轴朝向y轴方向的旋转矩阵。θx、θy、θz为从由角速度检测部31检测出的角速度求出的旋转角度θ的各轴成分的旋转角度。
[0074] [数式1]
[0075]
[0076]
[0077]
[0078] 在三维空间数码相机1沿各轴分别以任意旋转角旋转的情况下,通过Rx(θx)、Ry(θy)、Rz(θz)的乘积来获得合成矩阵Rxyz(θ)。
[0079] 重力加速度估算部32通过对数码相机1的姿势发生变化之前得到的单位重力矢量G1(x、y、z)乘以表示数码相机1的旋转的上述Rxyz(θ),计算出数码相机1的姿势发生变化后的单位重力矢量G0(x、y、z)。另外,单位重力矢量表示重力矢量的大小为1。由重力加速度估算部32计算出的单位重力矢量G0(x、y、z)作为重力加速度的估算值来被输出。
[0080] 接着,重力加速度校正部33根据由基准矢量生成部23计算出的基准矢量R(x、y、z),进行由重力加速度估算部32计算出的单位重力矢量G0(x、y、z)的校正。只要一个轴中出现基准矢量R(x、y、z)的各轴成分的值与单位重力矢量G0(x、y、z)的同轴成分的值的差分为阈值以上的情况,就进行该校正,且对所有正交3轴进行该校正。
[0081] 以下,示出基于重力加速度校正部33的校正重力矢量G0a(x、y、z)的一例。另外,α为系数。
[0082] G0a(x)=G0(x)+α{G0(x)-R(x)}
[0083] G0a(y)=G0(y)+α{G0(y)-R(y)}
[0084] G0a(z)=G0(z)+α{G0(z)-R(z)}
[0085] 重力加速度校正部33将校正重力矢量G0a的大小的倒数乘以校正重力矢量G0a(x、y、z)的值作为已校正的重力加速度来输出,以使上述校正重力矢量G0a(x、y、z)成为单位矢量。
[0086] 抖动校正控制部34对从由加速度传感器22x检测出的x轴向的加速度减去通过重力加速度校正部33校正的重力加速度的x轴成分的差分值进行二阶积分,求出x轴向的平移抖动量。同样地,抖动校正控制部34对从由加速度传感器22y检测出的y轴向的加速度减去通过重力加速度校正部33校正的重力加速度的y轴成分的差分值进行二阶积分,求出y轴向的平移抖动量。
[0087] 接着,抖动校正控制部34根据已求出的x轴及y轴的各轴向的平移抖动量,求出可动透镜2a的x轴及y轴的各轴向的移动量。
[0088] 而且,抖动校正控制部34控制校正驱动部21,以求出的可动透镜2a的移动量来使可动透镜2a沿x轴及y轴的各轴向移动。由此,由数码相机1的平移抖动引起的像抖动被校正。
[0089] 图8是表示图7所示的像抖动校正系统的工作的流程图。在图8所示的流程图中,在图5所示的流程图中的步骤S111与步骤S113之间执行步骤S201、S203。在步骤S201中,重力加速度估算部32计算出施加于加速度检测部20的重力加速度的估算值。并且,在步骤S203中,重力加速度校正部33根据在步骤S111中计算出的基准矢量校正在步骤S201中计算出的重力加速度的估算值。
[0090] 根据以上,即使在数码相机1的姿势连续发生变化的情况下,也能够适当地追随重力方向的变化,并且以高精确度校正由平移抖动引起的像抖动。
[0091] 另外,在具备检测正交3轴的角速度的角速度检测部31的本例中,也可以是如下方式:根据x轴及y轴的各轴向的平移抖动量及绕x轴及y轴的各轴的旋转抖动量求出可动透镜2a的x轴及y轴的各轴向的移动量,且以求出的可动透镜2a的移动量来使可动透镜2a沿x轴及y轴的各轴向移动,由此校正由数码相机1的平移抖动及角度抖动引起的像抖动。
[0092] 另外,如图6所示,也可以是如下方式:数码相机1的姿势较稳定,且通过基准矢量生成部23定期计算基准矢量R的时间t1为止的期间、及时间t2以后的期间,根据从由加速度检测部20检测出的x轴及y轴的各轴向的加速度减去基准矢量R的各轴成分而求出各轴向的平移抖动量,数码相机1的姿势发生较大的变化,且不能通过基准矢量生成部23计算基准矢量R的时间t1~t2之间这期间,从由加速度检测部20检测出的x轴及y轴的各轴向的加速度减去由重力加速度估算部32计算出并通过重力加速度校正部33校正的重力加速度的估算值的各轴成分而求出各轴向的平移抖动量。
[0093] 至此,作为摄像装置以数码相机1为例子进行了说明,以下,作为摄像装置对带相机的智能手机的实施方式进行说明。
[0094] 图9表示本发明的摄影装置的一实施方式即智能手机200的外观。
[0095] 图9所示的智能手机200具有平板状框体201,在框体201的一侧的面具备作为显示部的显示面板202与作为输入部的操作面板203成为一体的显示输入部204。并且,这种框体201具备扬声器205、麦克风206、操作部207及相机部208。另外,框体201的结构并不限定于此,例如,能够采用显示部与输入部独立的结构,或采用具有折叠结构或滑动机构的结构。
[0096] 图10表示图9所示的智能手机200的结构。
[0097] 如图10所示,作为智能手机的主要构成要件具备无线通信部210、显示输入部204、通话部211、操作部207、相机部208、存储部212、外部输入输出部213、GPS(GlobalPositioningSystem)接收部214、动作传感器部215、电源部216及主控制部220。并且,作为智能手机200的主要功能具备经由省略图示的基站装置BS及省略图示的移动通信网NW进行移动无线通信的无线通信功能。
[0098] 无线通信部210根据主控制部220的命令,对容纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发及Web数据及流数据等的接收。
[0099] 显示输入部204是所谓的触摸面板,其具备显示面板202及操作面板203,所述显示输入部通过主控制部220的控制,显示图像(静态图像及动态图像)和文字信息等来视觉性地向用户传递信息,并且检测用户对所显示的信息的操作。
[0100] 显示面板202是将LCD(LiquidCrystalDisplay)、OELD(OrganicElectro-LuminescenceDisplay)等用作显示设备的装置。
[0101] 操作面板203是以能够视觉辨认显示于显示面板202的显示面上的图像的方式载置,并检测通过用户的手指或触控笔来操作的一个或多个坐标的设备。若通过用户的手指或触控笔操作该设备,则将因操作而产生的检测信号输出至主控制部220。接着,主控制部220根据所接收的检测信号检测显示面板202上的操作位置(坐标)。
[0102] 如图9所示,作为本发明的摄影装置的一实施方式例示的智能手机200的显示面板202与操作面板203成为一体而构成显示输入部204,配置成操作面板203完全覆盖显示面板
202。
[0103] 当采用该配置时,操作面板203可以对显示面板202外的区域也具备检测用户操作的功能。换言之,操作面板203可以具备针对与显示面板202重叠的重叠部分的检测区域(以下,称为显示区域)及针对除此以外的不与显示面板202重叠的外缘部分的检测区域(以下,称为非显示区域)。
[0104] 另外,可以使显示区域的大小与显示面板202的大小完全一致,但无需一定要使两者一致。并且,操作面板203可以具备外缘部分及除此以外的内侧部分这2个感应区域。而且,外缘部分的宽度可以根据框体201的大小等适当设计。此外,作为操作面板203中采用的位置检测方式,可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式或静电电容方式等,也能够采用任意方式。
[0105] 通话部211具备扬声器205及麦克风206,且将通过麦克风206输入的用户的语音转换成能够在主控制部220中处理的语音数据并输出至主控制部220,或对通过无线通信部210或外部输入输出部213接收的语音数据进行解码而从扬声器205输出。并且,如图9所示,例如能够将扬声器205搭载于与设置有显示输入部204的面相同的面,并将麦克风206搭载于框体201的侧面。
[0106] 操作部207为使用键开关等的硬件键,且接受从用户的命令。例如,如图9所示,操作部207搭载于智能手机200的框体201的侧面,用手指等按下时开启,移开手指时通过弹簧等的复原力而成为关闭状态的按钮式开关。
[0107] 存储部212存储将主控制部220的控制程序和控制数据、应用软件、与通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件数据、通过Web浏览下载的Web数据及已下载的内容数据,并且临时存储流数据等。并且,存储部212由智能手机内置的内部存储部217及具有装卸自如的外部存储器插槽的外部存储部218构成。另外,构成存储部212的各个内部存储部217与外部存储部218通过使用闪存类型(flashmemorytype)、硬盘类型(hard disk type)、微型多媒体卡类型(multimediacardmicrotype)、卡类型的存储器(例如,MicroSD(注册商标)存储器等)、RAM(RandomAccessMemory)或ROM(ReadOnlyMemory)等存储介质来实现。
[0108] 外部输入输出部213发挥与连结于智能手机200的所有外部设备的接口的作用,用于通过通信等(例如,通用串行总线(USB)、IEEE1394等)或网络(例如,互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(RadioFrequencyIdentification)、红外线通信(InfraredDataAssociation:IrDA)(注册商标)、UWB(UltraWideband)(注册商标)或紫蜂(ZigBee)(注册商标)等)直接或间接与其他外部设备连接。
[0109] 作为与智能手机200连结的外部设备,例如有:有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插座连接的存储卡(Memorycard)或SIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的个人计算机、耳机等。外部输入输出部213能够将从这种外部设备接受到传送的数据传递至智能手机200内部的各构成要件,或将智能手机200内部的数据传送至外部设备。
[0110] GPS接收部214根据主控制部220的命令,接收从GPS卫星ST1~STn发送的GPS信号,执行基于所接收的多个GPS信号的测位运算处理,检测包括智能手机200的维度、经度及高度的位置。GPS接收部214在能够从无线通信部210或外部输入输出部213(例如,无线LAN)获取位置信息时,还能够利用该位置信息检测位置。
[0111] 动作传感器部215例如具备3轴加速度传感器等,根据主控制部220的命令检测智能手机200的物理动作。通过检测智能手机200的物理动作,可检测智能手机200的移动方向或加速度。该检测结果输出至主控制部220。
[0112] 电源部216根据主控制部220的命令,向智能手机200的各部供给蓄积在电池(未图示)中的电力。
[0113] 主控制部220具备微处理器,根据存储部212所存储的控制程序或控制数据进行动作,统一控制智能手机200的各部。并且,主控制部220为了通过无线通信部210进行语音通信或数据通信,具备控制通信系统各部的移动通信控制功能及应用处理功能。
[0114] 应用处理功能通过主控制部220根据存储部212所存储的应用软件进行动作来实现。作为应用处理功能,例如有控制外部输入输出部213来与对象设备进行数据通信的红外线通信功能、收发电子邮件的电子邮件功能及浏览Web页面的Web浏览功能等。
[0115] 并且,主控制部220具备根据接收数据或下载的流数据等图像数据(静止图像或动态图像数据)在显示输入部204显示影像等的图像处理功能。图像处理功能是指主控制部220对上述图像数据进行解码,对该解码结果执行图像处理并将图像显示于显示输入部204的功能。
[0116] 而且,主控制部220执行对显示面板202的显示控制及检测通过操作部207、操作面板203进行的用户操作的操作检测控制。通过执行显示控制,主控制部220显示用于启动应用软件的图标或滚动条等软件键,或显示用于创建电子邮件的窗口。另外,滚动条是指对无法收入显示面板202的显示区域的较大图像等接受用于使图像的显示部分移动的命令的软件键。
[0117] 并且,通过执行操作检测控制,主控制部220检测通过操作部207进行的用户操作,或通过操作面板203接受对上述图标的操作或对上述窗口的输入栏输入字符串,或接受通过滚动条进行的显示图像的滚动请求。
[0118] 而且,通过执行操作检测控制,主控制部220判定对操作面板203操作的位置是与显示面板202重叠的重叠部分(显示区域)还是除此以外的不与显示面板202重叠的外缘部分(非显示区域),并具备控制操作面板203的感应区域或软件键的显示位置的触摸面板控制功能。
[0119] 并且,主控制部220还能够检测对操作面板203的手势操作,并根据检测出的手势操作执行预先设定的功能。手势操作并非以往的单纯的触摸操作,而是通过手指等描绘轨迹、或同时指定多个位置、或组合这些来从多个位置对至少一个描绘轨迹的操作。
[0120] 相机部208包括图2所示的数码相机1中的摄像光学系统2、摄像元件3、调焦部4、对焦驱动部5、控制部6、信号处理部7、主存储器9、加速度检测部20及校正驱动部21的结构。
[0121] 通过相机部208生成的图像数据能够记录于存储部212,或能够通过外部输入输出部213或无线通信部210输出。
[0122] 在图9所示的智能手机200中,相机部208搭载于与显示输入部204相同的面,但相机部208的搭载位置并不限定于此,也可以搭载于显示输入部204的背面。
[0123] 并且,相机部208能够利用于智能手机200的各种功能。例如,能够在显示面板202显示通过相机部208获取的图像,或作为操作面板203的操作输入之一来利用相机部208的图像。
[0124] 并且,当GPS接收部214检测位置时,还能够参考从相机部208的图像来检测位置。而且,还能够参考从相机部208的图像,不使用三轴加速度传感器或与三轴加速度传感器同时使用来判断智能手机200的相机部208的光轴方向或判断当前的使用环境。当然,还能够在应用软件内利用从相机部208的图像。
[0125] 另外,也能够在静态图像或动态图像的图像数据中附加通过GPS接收部214获取的位置信息、通过麦克风206获取的语音信息(可以通过主控制部等进行语音文本转换而成为文本信息)、通过动作传感器部215获取的姿势信息等等而记录于存储部212,或通过外部输入输出部213或无线通信部210输出。
[0126] 如上所述的结构的智能手机200中,也能够适当地追随重力方向的变化,并且以高精确度校正由平移抖动引起的像抖动。
[0127] 如以上说明,本说明书中所公开的摄像装置具备:加速度检测部,其检测正交3轴的各轴向的加速度;基准矢量生成部,其使用由上述加速度检测部检测出的上述正交3轴的各轴向的加速度的合成矢量的大小与重力加速度的大小的差分为规定阈值以下时的上述合成矢量而生成基准矢量;及抖动校正部,其根据由上述加速度检测部检测出的上述正交3轴的各轴向的加速度,并使用上述基准矢量,校正至少由与摄像光学系统的光轴垂直的正交2轴的各轴向的平移抖动引起的像抖动。
[0128] 并且,上述抖动校正部根据从由上述加速度检测部检测出的上述正交3轴的各轴向的加速度减去上述基准矢量的所对应的轴向成分的加速度,校正至少由与摄像光学系统的光轴垂直的正交2轴的各轴向的平移抖动引起的像抖动。
[0129] 并且,还具备对与摄像装置的姿势变化联动而旋转的上述正交3轴的坐标系中的重力加速度进行估算的重力加速度估算部、及根据上述基准矢量校正由上述重力加速度估算部估算出的上述重力加速度的重力加速度校正部,上述抖动校正部根据从由上述加速度检测部检测出的上述正交3轴的各轴向的加速度减去通过上述重力加速度校正部校正的上述重力加速度的所对应的轴向成分的加速度,校正至少由与摄像光学系统的光轴垂直的正交2轴的各轴向的平移抖动引起的像抖动。
[0130] 并且,上述基准矢量生成部根据最新的上述合成矢量及过去的上述合成矢量或过去的上述基准矢量生成上述基准矢量。
[0131] 并且,上述基准矢量生成部根据最新的上述合成矢量和过去的上述合成矢量或过去的上述基准矢量的加权平均生成上述基准矢量。
[0132] 并且,上述基准矢量生成部根据来自过去的上述合成矢量或过去的上述基准矢量的最新的上述合成矢量的变化量,改变加权平均中的权重系数。
[0133] 并且,本说明书中所公开的像抖动校正方法具备:生成步骤,使用作用于摄像装置的正交3轴的各轴向的加速度的合成矢量的大小与重力加速度的大小的差分为规定阈值以下时的上述合成矢量而生成基准矢量;及校正步骤,根据作用于摄像装置的上述正交3轴的各轴向的加速度,并使用上述基准矢量,校正至少由与摄像光学系统的光轴垂直的正交2轴的各轴向的平移抖动引起像抖动。
[0134] 并且,上述校正步骤根据从作用于摄像装置的上述正交3轴的各轴向的加速度减去上述基准矢量的所对应的轴向成分的加速度,校正至少由与摄像光学系统的光轴垂直的正交2轴的各轴向的平移抖动引起的像抖动。
[0135] 并且,还具备:估算步骤,检测摄像装置的姿势变化,且对与姿势变化联动而旋转的上述正交3轴的坐标系中的重力加速度进行估算;及校正步骤,根据上述基准矢量校正所估算出的上述重力加速度,上述校正步骤根据从作用于摄像装置的上述正交3轴的各轴向的加速度减去已校正的上述重力加速度的所对应的轴向成分的加速度,校正至少由与摄像光学系统的光轴垂直的正交2轴的各轴向的平移抖动引起的像抖动。
[0136] 并且,上述生成步骤中,根据最新的上述合成矢量及过去的上述合成矢量或过去的上述基准矢量生成上述基准矢量。
[0137] 并且,上述生成步骤中,根据最新的上述合成矢量和过去的上述合成矢量或过去的上述基准矢量的加权平均生成上述基准矢量。
[0138] 并且,上述生成步骤中,根据来自过去的上述合成矢量或过去的上述基准矢量的最新的上述合成矢量的变化量,改变加权平均中的权重系数。
[0139] 本申请是基于2014年12月22日于日本申请的日本专利申请(专利申请2014-258976)的发明,其内容作为参考援用于此。
[0140] 符号说明
[0141] 1-数码相机,2-摄像光学系统,2a-可动透镜(对焦透镜),3-摄像元件,4-调焦部,5-对焦驱动部,6-控制部,20-加速度检测部,21-校正驱动部,22x、22y、22z-加速度传感器,
23-基准矢量生成部,24、34-抖动校正控制部,31-角速度检测部,32-重力加速度估算部,
33-重力加速度校正部。