用于图像俘获装置的预测性聚焦值计算的方法与装置转让专利

申请号 : CN200780034637.0

文献号 : CN101518053B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 迪扬·京强·李塞波·罗伯特·洪英·谢·诺依斯钱川·安德鲁·秋

申请人 : 高通股份有限公司

摘要 :

本发明描述用于在图像俘获装置内进行预测性聚焦值计算的技术。图像俘获装置可包含数字照相机和数字摄像机。所述技术包含在图像俘获装置内通过基于在透镜稳定之后立即从第一帧计算出的所述图像俘获装置中所包含的透镜的一透镜位置的不可靠聚焦值而预测所述透镜位置处的场景的聚焦值来执行自动聚焦过程。因此,所述自动聚焦过程可基于所述所预测的有效聚焦值而确定所述透镜到下一透镜位置的移动的大小和方向,并在第二帧期间将所述透镜移动到所述下一透镜位置。以此方式,所述技术可在每一帧期间将所述透镜移动到另一透镜位置,从而通过使所述自动聚焦过程的速度潜在地加倍或变为三倍而大大减少自动聚焦等待时间。

权利要求 :

1.一种用于图像俘获装置的预测性聚焦值计算的方法,其包括:

在第一帧期间将图像俘获装置中包含的透镜移动到一透镜位置;

在透镜稳定之后从所述第一帧计算所述透镜位置处的场景的不可靠聚焦值;以及基于所述不可靠聚焦值而预测所述透镜位置处的所述场景的有效聚焦值。

2.根据权利要求1所述的方法,其进一步包括在所述第一帧期间所述透镜的不同移动阶段从所述图像俘获装置中包含的传感器阵列获得所述场景的图像信息,其中计算不可靠聚焦值包括基于来自所述第一帧的所述图像信息而计算所述透镜位置处的所述场景的所述不可靠聚焦值。

3.根据权利要求2所述的方法,其进一步包括在所述第一帧期间基于所述透镜的所述不同移动阶段而测量所述第一帧的系数,其中预测有效聚焦值包括基于所述透镜位置的所述不可靠聚焦值、所述第一帧的所述系数和先前透镜位置的有效聚焦值而预测所述透镜位置处的所述场景的有效聚焦值。

4.根据权利要求1所述的方法,其中所述透镜位置包括第一透镜位置,所述方法进一步包括在计算所述第一透镜位置的所述不可靠聚焦值之后在第二帧期间将所述透镜移动到第二透镜位置。

5.根据权利要求1所述的方法,其进一步包括:

在所述场景的多个帧中的每一者期间将所述透镜移动到不同的透镜位置;

在后续帧期间在透镜稳定之后从对应帧计算不同透镜位置处的所述场景的不可靠聚焦值;以及基于对应透镜位置的所述不可靠聚焦值而预测所述不同透镜位置中的每一者处的所述场景的有效聚焦值。

6.根据权利要求5所述的方法,其进一步包括:

基于所述所预测的聚焦值而针对所述场景选择所述透镜位置中的一者;

将所述透镜位置中的所述选定一者传送到所述图像俘获装置中包含的图像俘获控制器;以及使用所述透镜位置中的所述选定一者用所述图像俘获装置中包含的传感器阵列俘获所述场景的图像帧。

7.根据权利要求5所述的方法,其进一步包括:

基于所述不可靠聚焦值而确定所述透镜的下一透镜位置;

将包含所述透镜的移动步长和移动方向的移动信息发送到所述图像俘获装置中包含的图像俘获控制器;以及基于所述移动信息而将所述透镜移动到所述所确定的下一透镜位置。

8.根据权利要求1所述的方法,其进一步包括:

在所述第一帧的开始处起始所述场景的图像信息与所述图像俘获装置中包含的传感器阵列的每一线的整合;

针对所述整个第一帧从所述传感器阵列的每一线完成对所述场景的所述图像信息的读出;以及基于所述第一帧期间所述透镜的不同移动阶段而测量所述第一帧的参考线处的整合时间的系数,其中预测所述透镜位置的有效聚焦值包括基于所述透镜位置的所述不可靠聚焦值、所述第一帧的所述系数和先前透镜位置的有效聚焦值而预测有效聚焦值。

9.根据权利要求8所述的方法,其中计算不可靠聚焦值包括在从所述整个第一帧接收所述图像信息读出之后计算所述透镜位置处的所述场景的所述不可靠聚焦值。

10.根据权利要求8所述的方法,其中测量所述第一帧的系数包括:

将所述第一帧的所述参考线处的整合时间划分为之前透镜移动阶段、期间透镜移动阶段和之后透镜移动阶段;

在所述之前透镜移动阶段处测量所述第一帧的所述系数中的第一者;

在所述期间透镜移动阶段处测量所述第一帧的所述系数中的第二者;以及在所述之后透镜移动阶段处测量所述第一帧的所述系数中的第三者,其中所述系数的总和等于一。

11.根据权利要求10所述的方法,其中预测所述透镜位置的有效聚焦值包括基于等式FV1′=a1·FV0+a2·(FV0→FV1)+a3·FV1而预测所述透镜位置的所述有效聚焦值FV1,其中FV1′是所述透镜位置的所述不可靠聚焦值,a1是所述系数中的所述第一者,a2是所述系数中的所述第二者,a3是所述系数中的所述第三者,FV0是所述先前透镜位置的所述有效聚焦值,且FV0→FV1是在从所述先前透镜位置向所述透镜位置移动期间的过渡聚焦值。

12.根据权利要求8所述的方法,其中测量所述第一帧的系数包括:

将所述第一帧的所述参考线处的整合时间划分为之前透镜移动阶段、期间透镜移动阶段和之后透镜移动阶段;

将所述之前透镜移动阶段处的所述第一帧的所述系数中的第一者设定为等于一;

将所述期间透镜移动阶段处的所述第一帧的所述系数中的第二者设定为等于零;以及将所述之后透镜移动阶段处的所述第一帧的所述系数中的第三者设定为等于零。

13.根据权利要求12所述的方法,其中预测所述透镜位置的有效聚焦值包括基于等式FV2′=FV1而预测所述透镜位置的所述有效聚焦值FV1,其中FV2′是后续透镜位置的不可靠聚焦值。

14.一种用于图像俘获装置的预测性聚焦值计算的方法,其包括:

在透镜稳定于第一透镜位置处之后从第一帧计算图像俘获装置中包含的透镜的所述第一透镜位置处的场景的不可靠聚焦值;

基于所述第一透镜位置的所述不可靠聚焦值而预测所述第一透镜位置处的所述场景的有效聚焦值;以及在计算所述第一透镜位置的所述不可靠聚焦值之后在第二帧期间将所述透镜移动到第二透镜位置。

15.根据权利要求14所述的方法,其进一步包括:

在第三帧期间在透镜稳定于所述第二透镜位置处之后从所述第二帧计算所述第二透镜位置处的所述场景的不可靠聚焦值;以及基于所述第二透镜位置的所述不可靠聚焦值而预测所述第二透镜位置处的所述场景的有效聚焦值。

16.根据权利要求14所述的方法,其进一步包括:

在所述第二帧期间的所述透镜的不同移动阶段从所述图像俘获装置中包含的传感器阵列获得所述场景的图像信息;

基于来自所述第二帧的所述图像信息而计算所述第二透镜位置处的所述场景的不可靠聚焦值;

基于所述第二帧期间的所述透镜的不同移动阶段而测量所述第二帧的系数;以及基于所述第二透镜位置的所述不可靠聚焦值、所述第二帧的所述系数和所述第一透镜位置的所述所预测的聚焦值而预测所述第二透镜位置的有效聚焦值。

17.一种用于图像俘获装置的预测性聚焦值计算的装置,其包括:

图像俘获控制器,其在第一帧期间将所述装置中包含的透镜移动到透镜位置;以及预测性自动聚焦模块,其在透镜稳定之后从所述第一帧计算所述透镜位置处的场景的不可靠聚焦值,且基于所述不可靠聚焦值而预测所述透镜位置处的所述场景的有效聚焦值。

18.根据权利要求17所述的装置,其进一步包括传感器阵列,所述传感器阵列在所述第一帧期间的所述透镜的不同移动阶段获得所述场景的图像信息,其中所述预测性自动聚焦模块包含聚焦值计算模块,所述聚焦值计算模块基于来自所述第一帧的所述图像信息而计算所述透镜位置处的所述场景的所述不可靠聚焦值。

19.根据权利要求18所述的装置,其中所述预测性自动聚焦模块包含自动聚焦控制器,所述自动聚焦控制器基于所述第一帧期间的所述透镜的所述不同移动阶段而测量所述第一帧的系数,且基于所述透镜位置的所述不可靠聚焦值、所述第一帧的所述系数和先前透镜位置的有效聚焦值而预测所述透镜位置处的场景的有效聚焦值。

20.根据权利要求17所述的装置,其中所述透镜位置包括第一透镜位置,且其中在所述预测性自动聚焦模块计算所述第一透镜位置的所述不可靠聚焦值之后,所述图像俘获控制器在第二帧期间将所述透镜移动到第二透镜位置。

21.根据权利要求17所述的装置,

其中所述图像俘获控制器在所述场景的多个帧中的每一者期间将所述透镜移动到不同的透镜位置,且其中所述预测性自动聚焦模块包含:聚焦值计算模块,其在后续帧期间在透镜稳定之后从对应帧计算不同透镜位置处的所述场景的不可靠聚焦值;以及自动聚焦控制器,其基于对应透镜位置的所述不可靠聚焦值而预测所述不同透镜位置中的每一者处的所述场景的有效聚焦值。

22.根据权利要求21所述的装置,

其中所述自动聚焦控制器基于所述所预测的聚焦值而针对所述场景选择所述透镜位置中的一者,并将所述透镜位置中的所述选定一者传送到所述图像俘获控制器,且其中所述图像俘获控制器针对所述场景设定所述透镜位置中的所述选定一者,所述装置进一步包括使用所述透镜位置中的所述选定一者而俘获所述场景的图像帧的传感器阵列。

23.根据权利要求21所述的装置,

其中所述预测性自动聚焦模块包含透镜移动模块,所述透镜移动模块基于所述不可靠聚焦值而确定所述透镜的下一透镜位置,且将包含所述透镜的移动步长和移动方向的移动信息发送到所述图像俘获控制器,且其中所述图像俘获控制器基于所述移动信息而将所述透镜移动到所述所确定的下一透镜位置。

24.根据权利要求17所述的装置,其进一步包括传感器阵列,所述传感器阵列在所述第一帧的开始处起始所述场景的图像信息与所述装置中包含的传感器阵列的每一线的整合,其中所述图像俘获控制器针对所述整个第一帧从所述传感器阵列的每一线完成对所述场景的所述图像信息的读出,其中所述预测性自动聚焦模块包含自动聚焦控制器,所述自动聚焦控制器基于所述第一帧期间的所述透镜的不同移动阶段而测量所述第一帧的参考线处的整合时间的系数,且其中所述自动聚焦控制器基于所述透镜位置的所述不可靠聚焦值、所述第一帧的所述系数和先前透镜位置的有效聚焦值而预测有效聚焦值。

25.根据权利要求24所述的装置,其中所述预测性自动聚焦模块包括聚焦值计算模块,所述聚焦值计算模块在从所述整个第一帧接收所述图像信息读出之后计算所述透镜位置处的所述场景的所述不可靠聚焦值。

26.根据权利要求24所述的装置,其中所述自动聚焦控制器包含系数测量模块,所述系数测量模块:将所述第一帧的所述参考线处的整合时间划分为之前透镜移动阶段、期间透镜移动阶段和之后透镜移动阶段;

在所述之前透镜移动阶段处测量所述第一帧的所述系数中的第一者;

在所述期间透镜移动阶段处测量所述第一帧的所述系数中的第二者;且

在所述之后透镜移动阶段处测量所述第一帧的所述系数中的第三者,其中所述系数的总和等于一。

27.根据权利要求26所述的装置,其中所述自动聚焦控制器包含预测性算法单元,所述预测性算法单元基于等式FV1′=a1·FV0+a2·(FV0→FV1)+a3·FV1而预测所述透镜位置的所述有效聚焦值FV1,其中FV1′是所述透镜位置的所述不可靠聚焦值,a1是所述系数中的所述第一者,a2是所述系数中的所述第二者,a3是所述系数中的所述第三者,FV0是所述先前透镜位置的所述有效聚焦值,且FV0→FV1是在从所述先前透镜位置向所述透镜位置移动期间的过渡聚焦值。

28.根据权利要求24所述的装置,其中所述自动聚焦控制器包含系数测量模块,所述系数测量模块:将所述第一帧的所述参考线处的整合时间划分为之前透镜移动阶段、期间透镜移动阶段和之后透镜移动阶段;

将所述之前透镜移动阶段处的所述第一帧的所述系数中的第一者设定为等于一;

将所述期间透镜移动阶段处的所述第一帧的所述系数中的第二者设定为等于零;且将所述之后透镜移动阶段处的所述第一帧的所述系数中的第三者设定为等于零。

29.根据权利要求28所述的装置,其中所述自动聚焦控制器包含预测性算法单元,所述预测性算法单元基于等式FV2′=FV1而预测所述透镜位置的所述有效聚焦值FV1,其中FV2′是后续透镜位置的不可靠聚焦值。

30.一种用于图像俘获装置的预测性聚焦值计算的装置,其包括:

预测性自动聚焦模块,其在透镜稳定于第一透镜位置处之后从第一帧计算图像俘获装置中包含的透镜的所述第一透镜位置处的场景的不可靠聚焦值,并基于所述第一透镜位置的所述不可靠聚焦值而预测所述第一透镜位置处的所述场景的有效聚焦值;以及图像俘获控制器,其在计算所述第一透镜位置的所述不可靠聚焦值之后在第二帧期间将所述透镜移动到第二透镜位置。

31.根据权利要求30所述的装置,其中所述预测性自动聚焦模块在第三帧期间在透镜稳定于所述第二透镜位置处之后从所述第二帧计算所述第二透镜位置处的所述场景的不可靠聚焦值,并基于所述第二透镜位置的所述不可靠聚焦值而预测所述第二透镜位置处的所述场景的有效聚焦值。

32.根据权利要求30所述的装置,其进一步包括传感器阵列,所述传感器阵列在所述第二帧期间的所述透镜的不同移动阶段获得所述场景的图像信息,其中所述预测性自动聚焦模块包含:聚焦值计算模块,其基于来自所述第二帧的所述图像信息而计算所述第二透镜位置处的所述场景的所述不可靠聚焦值;以及自动聚焦控制器,其基于所述第二帧期间的所述透镜的不同移动阶段而测量所述第二帧的系数,并基于所述第二透镜位置的所述不可靠聚焦值、所述第二帧的所述系数和所述第一透镜位置的所述所预测的聚焦值而预测所述第二透镜位置的有效聚焦值。

33.一种用于图像俘获装置的预测性聚焦值计算的装置,其包括:

用于在第一帧期间将所述装置中包含的透镜移动到第一透镜位置的装置;以及用于在透镜稳定于所述第一透镜位置处之后从所述第一帧计算所述第一透镜位置处的所述场景的不可靠聚焦值且基于所述不可靠聚焦值而预测所述第一透镜位置处的所述场景的有效聚焦值的装置,其中所述用于移动所述透镜的装置在计算所述第一透镜位置的所述不可靠聚焦值之后在第二帧期间将所述透镜移动到第二透镜位置。

说明书 :

用于图像俘获装置的预测性聚焦值计算的方法与装置

技术领域

[0001] 本发明涉及用图像俘获装置俘获图像,且更具体地说,涉及计算图像的聚焦值。

背景技术

[0002] 图像俘获装置(例如,数字摄像机或数字照相机)用于不同应用和环境中。图像俘获装置应能够从相对于场景的目标的多种距离产生高质量图像。典型的图像俘获装置执行自动聚焦过程以选择图像俘获装置内实现对场景的图像帧的锐聚焦的透镜位置。图像俘获装置可执行有源自动聚焦过程、无源自动聚焦过程或所述两个过程的组合。
[0003] 在通过透镜式(TTL)无源自动聚焦过程的情况下,图像俘获装置中包含的自动聚焦过程计算若干取样透镜位置处的聚焦值(即,表示聚焦程度的得分),并基于所述聚焦值而选择用于场景的透镜位置。将透镜移动到取样透镜位置中的每一者独立于(即,不同步于)计算场景的聚焦值。换句话说,自动聚焦过程在每一帧期间计算场景的聚焦值,但必须知道在透镜移动之后所述聚焦值中的哪一者对于透镜位置是有效的。
[0004] 图像俘获装置中包含的传感器阵列在每一帧期间获得场景的图像信息,且自动聚焦过程计算来自每一帧的场景的聚焦值。然而,为了获得透镜位置处的场景的有效聚焦值,自动聚焦过程必须等待在透镜稳定于所述透镜位置处之后起始对场景的图像信息的整合的有效帧。自动聚焦过程可丢弃在透镜稳定之前起始对图像信息的整合的遭破坏帧期间针对场景计算的聚焦值。
[0005] 依据传感器阵列的类型(例如,电荷耦合装置(CCD)或互补金属-氧化物半导体(CMOS)),第一有效帧可以是在透镜稳定之后的两个或三个帧。因此,自动聚焦过程可能必须等待若干帧来计算取样透镜位置中的每一者的有效聚焦值。自动聚焦过程可仅在计算当前透镜位置的有效聚焦值之后确定透镜到下一透镜位置的移动的大小和方向。

发明内容

[0006] 一般来说,本发明涉及用于在图像俘获装置内进行预测性聚焦值计算的技术。图像俘获装置可包含数字照相机和数字摄像机。所述技术包含基于一透镜位置的不可靠聚焦值而预测所述透镜位置处的场景的有效聚焦值。不可靠聚焦值是在透镜稳定之后立即从第一帧计算的。因此,预测性自动聚焦过程可基于所预测的有效聚焦值而确定所述透镜到下一透镜位置的移动的大小和方向,并在第二帧期间将所述透镜移动到所述下一透镜位置。以此方式,所述技术可在每一帧期间将所述透镜移动到另一透镜位置,从而通过使常规自动聚焦过程的速度潜在地加倍或变为三倍而大大减少自动聚焦等待时间。
[0007] 根据本文描述的技术,图像俘获装置包含:图像俘获控制器,其在每一帧期间将透镜移动到不同的透镜位置;以及传感器阵列,其在每一帧期间的透镜的不同移动阶段获得场景的图像信息。在从整个第一帧读出图像信息之后,图像俘获装置中包含的预测性自动聚焦模块在透镜稳定于第一透镜位置处之后立即从第一帧计算第一透镜位置处的场景的不可靠聚焦值。预测性自动聚焦模块基于第一透镜位置的不可靠聚焦值而预测第一透镜位置处的场景的有效聚焦值。预测性自动聚焦模块接着可基于所预测的透镜位置而确定第二透镜位置。图像俘获控制器在第二帧期间将透镜移动到所确定的第二透镜位置。
[0008] 在确定场景的最大预测聚焦值后,预测性自动聚焦模块选择与场景的最大预测聚焦值相关联的透镜位置。图像俘获控制器设定用于场景的选定透镜位置,且传感器阵列使用选定透镜位置来俘获场景的图像帧以实现对场景的图像帧的锐聚焦。
[0009] 在一个实施例中,本发明提供一种方法,其包括:在第一帧期间将图像俘获装置中包含的透镜移动到一透镜位置;以及在透镜稳定之后从第一帧计算所述透镜位置处的场景的不可靠聚焦值。所述方法进一步包括基于所述不可靠聚焦值而预测所述透镜位置处的场景的有效聚焦值。
[0010] 在另一实施例中,本发明提供一种方法,其包括基于在透镜稳定于第一透镜位置处之后从第一帧计算的第一透镜位置的不可靠聚焦值而预测图像俘获装置中包含的透镜的所述第一透镜位置处的场景的有效聚焦值。所述方法还包括在计算第一透镜位置的不可靠聚焦值之后立即在第二帧期间将透镜移动到第二透镜位置。
[0011] 在另一实施例中,本发明提供一种计算机可读媒体,其包括促使可编程处理器执行以下操作的指令:在第一帧期间将图像俘获装置中包含的透镜移动到一透镜位置,在透镜稳定之后从第一帧计算所述透镜位置处的场景的不可靠聚焦值,且基于所述不可靠聚焦值而预测所述透镜位置处的场景的有效聚焦值。
[0012] 在又一实施例中,本发明提供一种装置,其包括图像俘获控制器,所述图像俘获控制器在第一帧期间将装置中包含的透镜移动到一透镜位置。所述装置还包含预测性自动聚焦模块,其在透镜稳定之后从第一帧计算所述透镜位置处的场景的不可靠聚焦值,且基于所述不可靠聚焦值而预测所述透镜位置处的场景的有效聚焦值。
[0013] 在另一实施例中,本发明提供一种装置,其包括预测性自动聚焦模块,所述预测性自动聚焦模块基于在透镜稳定于第一透镜位置处之后从第一帧计算的第一透镜位置的不可靠聚焦值而预测图像俘获装置中包含的透镜的所述第一透镜位置处的场景的有效聚焦值。所述装置进一步包括图像俘获控制器,其在计算第一透镜位置的不可靠聚焦值之后立即在第二帧期间将透镜移动到第二透镜位置。
[0014] 在又一实施例中,本发明提供一种装置,其包括用于在第一帧期间将装置中包含的透镜移动到第一透镜位置的装置以及用于在透镜稳定于第一透镜位置处之后从第一帧计算第一透镜位置处的场景的不可靠聚焦值且基于所述不可靠聚焦值而预测第一透镜位置处的场景的有效聚焦值的装置。所述用于移动透镜的装置在计算第一透镜位置的不可靠聚焦值之后立即在第二帧期间将透镜移动到第二透镜位置。
[0015] 本文描述的技术可在硬件、软件、固件或其任何组合中实施。如果在软件中实施,那么所述技术可整体或部分由包括指令的计算机可读媒体来实现,所述指令当由处理器执行时执行本文描述的方法中的一者或一者以上。
[0016] 在附图和以下描述内容中陈述一个或一个以上实施例的细节。从所述描述内容和图式以及从权利要求书中将了解其它特征、目的和优点。

附图说明

[0017] 图1是说明用于从场景俘获图像信息的示范性图像俘获装置的框图。
[0018] 图2是说明常规自动聚焦过程内的对图像信息的示范性整合和读出的曲线图。
[0019] 图3是更详细说明来自图1的图像俘获装置内的预测性自动聚焦模块的框图。
[0020] 图4是说明预测性自动聚焦过程内的对图像信息的示范性整合和读出的曲线图。
[0021] 图5是说明通过不同自动聚焦过程计算的给定透镜位置处的场景的聚焦值的示范性比较的曲线图。
[0022] 图6是说明通过不同自动聚焦过程计算的多个透镜位置处的场景的聚焦值的示范性比较的曲线图。
[0023] 图7是说明用于图像俘获装置内的预测性自动聚焦过程的预测性聚焦值计算的示范性操作的流程图。
[0024] 图8是更详细说明用于图像俘获装置内的预测性自动聚焦过程的预测性聚焦值计算的示范性操作的流程图。
[0025] 图9是说明预测性自动聚焦过程内的对图像信息的另一示范性整合和读出的曲线图。

具体实施方式

[0026] 图1是说明用于从场景俘获图像信息的示范性图像俘获装置10的框图。根据本发明中描述的技术,图像俘获装置10针对图像俘获装置10内执行的预测性自动聚焦过程执行预测性聚焦值计算。聚焦值包括表示聚焦程度的得分。图像俘获装置10基于在透镜稳定之后立即从第一帧计算的一透镜位置的不可靠聚焦值而预测图像俘获装置10中包含的透镜的所述透镜位置处的场景的聚焦值。因此,预测性自动聚焦过程可基于所预测的有效聚焦值而确定透镜到下一透镜位置的移动的大小和方向,并在第二帧期间将透镜移动到下一透镜位置。以此方式,所述技术可在每一帧期间将透镜移动到另一透镜位置。
[0027] 如图1所示,图像俘获装置10包含传感器阵列12、图像俘获控制器14、图像处理器16、预测性自动聚焦模块18、图像存储装置20和聚焦值存储装置22。图1中说明的图像俘获装置10中所包含的组件可通过硬件和/或软件的任何适宜组合来实现。在所说明的实施例中,所述组件经描绘为单独的单元。然而,在其它实施例中,所述组件中的任一者可集成到共用硬件和/或软件内的组合单元中。因此,将特征表示为组件或模块希望突出特定功能特征,而不一定需要通过单独的硬件或软件来实现此类特征。
[0028] 图像俘获装置10可以是数码相机,例如数字摄像机、数字照相机或所述两者的组合。另外,图像俘获装置10可以是独立装置,例如独立相机,或可集成在另一装置(例如,无线通信装置)中。作为实例,图像俘获装置10可集成在移动电话中以形成所谓的相机电话或视频电话。图像俘获装置10优选地经装备以俘获彩色图像、黑白图像或所述两者。在本发明中,术语“图像”、“图像信息”或类似术语可互换地指代视频或静态图片。同样,术语“帧”可指代由图像俘获装置10获得的视频帧或静态图片帧。
[0029] 传感器阵列12在俘获场景的图像帧之前获得所述场景的图像信息。传感器阵列12包含例如布置成行和列的个别图像传感器的二维阵列。传感器阵列12可包括(例如)例如互补金属-氧化物半导体(CMOS)传感器或电荷耦合装置(CCD)传感器等固态传感器的阵列。传感器阵列12内的图像传感器暴露于所述场景以获得场景的图像信息并俘获场景的图像帧。传感器阵列12中的固态传感器并非瞬间俘获一帧的所有图像信息。而是,传感器连续暴露于场景以获得所述帧的图像信息。图像俘获装置10设定传感器阵列12的整合时间,从而限制传感器阵列12暴露于光以获得给定帧的图像信息的时间量。
[0030] 传感器阵列12将一个或一个以上帧的图像信息提供到图像处理器16以供存储在图像存储装置20中。传感器阵列12还将图像信息提供到图像俘获控制器14。图像俘获控制器14利用所述图像信息进行初步视觉前端(VFE)处理,例如自动聚焦和自动曝光。举例来说,图像俘获控制器14基于来自传感器阵列12的图像信息而起始自动聚焦过程。图像俘获装置10内的自动聚焦过程计算若干取样透镜位置处的聚焦值并基于所述聚焦值而选择用于场景的透镜位置。所选择的透镜位置可与场景的最大聚焦值相关联。
[0031] 图像俘获装置内的常规自动聚焦过程在每一帧期间计算场景的聚焦值,但必须知道在透镜移动之后所述聚焦值的哪一者对于所述透镜位置来说是有效的。为了获得所述透镜位置处的场景的有效聚焦值,常规自动聚焦过程必须等待在透镜稳定于所述透镜位置处之后起始对场景的图像信息的整合的有效帧。将透镜从先前透镜位置移动到当前透镜位置依据马达设计而花费时间。一旦透镜到达当前透镜位置并停止移动,就发生透镜稳定。在一些情况下,第一有效帧可以是在透镜稳定之后的两个或三个帧。常规自动聚焦过程可仅在计算当前透镜位置的有效聚焦值之后确定透镜到下一透镜位置的移动的大小和方向。
[0032] 以此方式,常规自动聚焦过程可花费不可接受的长时间周期来识别具有场景的最大聚焦值的透镜位置以实现所述场景的锐图像帧。举例来说,如果常规自动聚焦过程在针对场景选择所述透镜位置中的一者之前将透镜移动到十个不同的透镜位置,那么常规自动聚焦过程必须在所述透镜位置中的每一者处等待三个帧以计算所述透镜位置的有效聚焦值。因此,常规自动聚焦过程需要30个帧或近似2秒来选择用于场景的准确透镜位置。
[0033] 本文揭示的技术使图像俘获装置10能够在第二帧期间在透镜稳定之后立即从第一帧预测一透镜位置的有效聚焦值,而无需等待直到所述透镜位置的有效(第三或第四)帧为止。图像俘获装置10通过基于一透镜位置的不可靠聚焦值而预测所述透镜位置处的场景的聚焦值来执行预测性自动聚焦过程。当在透镜稳定于一透镜位置处之后但在透镜稳定于所述透镜位置处之后起始对场景的图像信息的整合的有效帧之前进行计算时,可认为聚焦值对于所述透镜位置是不可靠的。可在透镜稳定之后立即从第一帧计算不可靠聚焦值。因此,预测性自动聚焦过程可基于所预测的有效聚焦值而确定透镜到下一透镜位置的移动的大小和方向,并在第二帧期间将所述透镜移动到所述下一透镜位置。以此方式,所述技术可在每一帧期间将所述透镜移动到另一透镜位置,从而通过使常规自动聚焦过程的速度潜在地加倍或变为三倍而大大减少自动聚焦等待时间。
[0034] 图像俘获控制器14在每一帧期间将图像俘获装置10中包含的透镜移动到不同的透镜位置。传感器阵列12在每一帧期间的透镜的不同移动阶段获得场景的图像信息。在针对整个第一帧读出图像信息之后,预测性自动聚焦模块18在透镜稳定于第一透镜位置处之后立即从第一帧计算第一透镜位置处的场景的不可靠聚焦值。
[0035] 预测性自动聚焦模块18基于第一透镜位置的不可靠聚焦值而预测第一透镜位置处的场景的有效聚焦值。预测性自动聚焦模块18可接着将第一透镜位置的所预测的有效聚焦值连同先前透镜位置的有效聚焦值一起存储在聚焦值存储装置22中。预测性自动聚焦模块18可基于第一透镜位置的所预测的聚焦值而确定第二透镜位置。图像俘获控制器14在第二帧期间将透镜移动到所确定的第二透镜位置。
[0036] 在确定所述场景的最大所预测聚焦值后,预测性自动聚焦模块18选择与所述场景的最大所预测聚焦值相关联的透镜位置。图像俘获控制器14接着设定用于场景的选定透镜位置,且传感器阵列12使用选定透镜位置俘获所述场景的图像帧以实现对场景的图像帧的锐聚焦。
[0037] 以此方式,预测性自动聚焦过程可花费相对较短的时间周期来识别具有场景的最大聚焦值的透镜位置,以实现所述场景的锐图像帧。举例来说,如果预测性自动聚焦过程在场景选择所述透镜位置中的一者之前将透镜移动到十个不同的透镜位置,那么预测性自动聚焦过程必须在所述透镜位置中的每一者处等待仅一个帧以预测所述透镜位置的有效聚焦值。因此,常规自动聚焦过程仅需要10个帧或近似0.7秒来选择用于场景的准确透镜位置。
[0038] 预测性自动聚焦模块18可实施为独立的硬件组件或实施为逻辑装置(例如,微处理器、DSP等)的可编程特征。在一些实施例中,预测性自动聚焦模块18可以是实施图像处理器16的逻辑装置的可编程或集成特征。明确地说,预测性自动聚焦模块18可实施为由此类逻辑装置执行的一个或一个以上软件过程。
[0039] 图像处理器16从传感器阵列12接收所俘获的图像帧,并对图像帧执行任何必要的处理。图像处理器16可(例如)执行对传感器阵列12所俘获的图像帧的滤波、剪切、去马赛克、压缩、图像增强或其它处理。图像处理器16可由微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或任何其它等效离散或集成逻辑电路来实现。在一些实施例中,图像处理器16可形成根据特定编码技术或格式(例如,MPEG-2、MPEG-4、ITU H.263、ITU H.264、JPEG等)对图像帧进行编码的编码器-解码器(编解码器)的一部分。
[0040] 图像处理器16将图像帧存储在图像存储装置20中。图像处理器16可将原始图像帧、经处理图像帧或经编码图像帧存储在图像存储装置20中。如果图像伴随有音频信息,那么所述音频也可独立地或结合图像帧而存储在图像存储装置20中。图像存储装置20可包括任何易失性或非易失性存储器或存储装置,例如只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)或快闪存储器,或者例如磁性数据存储装置或光学数据存储装置。
[0041] 图2是说明常规自动聚焦过程内的对图像信息的示范性整合和读出的曲线图。在此实例中,图像俘获装置内的传感器阵列遵照具有将传感器阵列内的传感器连续暴露于场景的滚动式快门的CMOS传感器的阵列。所说明的曲线图包含场景的每一帧的从传感器阵列的每一线的图像信息的整合和读出时间。图2还说明与整合和读出曲线图相关联的帧速率。
[0042] 图像俘获装置中包含的常规自动聚焦过程计算若干取样透镜位置处的聚焦值,并基于所述聚焦值而选择用于所述场景的透镜位置。如图2所示,在场景的每一帧的开始处,传感器阵列起始对场景的图像信息的整合。通过滚动式快门将传感器阵列内的CMOS传感器连续暴露于场景以获得每一帧的图像信息。滚动式快门促使传感器阵列的每一线在不同时间开始和结束整合。另外,滚动式快门促使传感器阵列同时地用最后线启始对来自当前帧的图像信息的整合和用第一线启始对来自下一帧的图像信息的整合。以此方式,传感器阵列连续整合场景的图像信息。
[0043] 常规自动聚焦过程在每一帧期间在整个帧读出图像信息后计算场景的聚焦值。然而,将图像俘获装置内的透镜移动到不同的透镜位置独立于基于所接收的图像信息而计算场景的聚焦值。常规自动聚焦过程必须知道在透镜移动之后所述聚焦值中的哪一者对于所述透镜位置是有效的。为了获得一透镜位置处的场景的有效聚焦值,常规自动聚焦过程必须等待在透镜稳定于所述透镜位置处之后起始对场景的图像信息的整合的有效帧。
[0044] 举例来说,如图2所示,在所述场景的第一帧24的开始处,传感器阵列用传感器阵列的每一线起始对来自第一帧24的场景的图像信息的整合。在第一帧24期间,常规自动聚焦过程计算初始透镜位置处的场景的有效聚焦值FV0,并将透镜从初始透镜位置移动到第一透镜位置。一旦透镜到达当前透镜位置并停止移动,就发生透镜稳定。然而,移动透镜花费时间,且透镜直到第二帧25开始之后才在图像俘获装置内的第一透镜位置处稳定。因此,在透镜稳定于第一透镜位置处时,传感器阵列已起始对来自第二帧25的场景的图像信息的整合。
[0045] 常规自动聚焦过程在第二帧25期间在透镜稳定于第一透镜位置处之后立即基于来自第一帧24的图像信息而计算第一透镜位置处的场景的不可靠聚焦值。可认为所述聚焦值对于第一透镜位置来说是不可靠的,因为在透镜稳定于第一透镜位置处之后但在当透镜稳定于第一透镜位置处之后起始对场景的图像信息的整合的有效帧之前计算所述聚焦值。另外,常规自动聚焦过程在第三帧26期间基于来自第二帧25的图像信息而计算第一透镜位置处的场景的另一不可靠聚焦值。常规自动聚焦过程可丢弃在透镜已稳定之前起始对图像信息的整合的帧期间针对场景所计算的不可靠聚焦值。
[0046] 如图2所示,常规自动聚焦过程必须等待直到第三帧26以计算第一透镜位置处的针对场景的有效聚焦值。在第三帧26的开始处,传感器阵列在透镜已稳定于第一透镜位置处之后起始对来自第三帧26的场景的图像信息的整合。因此,常规自动聚焦过程在第四帧27期间在从整个第三帧26读出图像信息之后计算第一透镜位置处的场景的有效聚焦值FV1。常规自动聚焦过程可仅在第四帧27期间计算第一透镜位置的有效聚焦值之后确定透镜到第二透镜位置的移动的大小和方向。以此方式,常规自动聚焦过程可花费不可接受的长时间周期来识别具有场景的最大聚焦值的透镜位置以实现所述场景的锐图像帧。
[0047] 图3是更详细说明来自图1的图像俘获装置10内的预测性自动聚焦模块18的框图。如图3中所说明,预测性自动聚焦模块18包含聚焦值计算模块32、自动聚焦控制器34和透镜移动模块30。图像俘获装置10内的预测性自动聚焦模块18计算若干取样透镜位置处的聚焦值,并基于所述聚焦值而选择用于场景的透镜位置。所选择的透镜位置可与场景的最大聚焦值相关联。
[0048] 预测性自动聚焦模块18在图像俘获控制器10内包含的透镜的不同移动阶段从图像俘获控制器14接收场景的每一帧的图像信息。预测性自动聚焦模块18接着基于所预测的聚焦值而将透镜移动信息或用于场景的选定透镜位置输出到图像俘获控制器14,所述所预测的聚焦值是基于图像信息在多个透镜位置处针对场景计算的。
[0049] 图4是说明预测性自动聚焦过程内的对图像信息的示范性整合和读出的曲线图。在此实施例中,图像俘获装置10内的传感器阵列12遵照具有滚动式快门的CMOS传感器的阵列。所说明的曲线图包含场景的每一帧的从传感器阵列12的每一线的图像信息的整合和读出时间。如图4所示,在场景的每一帧的开始处,传感器阵列12起始对场景的图像信息的整合。通过滚动式快门将传感器阵列12内的CMOS传感器连续暴露于场景以获得每一帧的图像信息。滚动式快门促使传感器阵列12的每一线在不同时间开始和结束整合。另外,滚动式快门促使传感器阵列12同时地用最后线起始对来自当前帧的图像信息的整合和用第一线起始对来自下一帧的图像信息的整合。以此方式,传感器阵列12连续整合场景的图像信息。
[0050] 传感器阵列12在第一帧40的开始处起始对场景的图像信息的整合。在第一帧40期间,预测性自动聚焦模块18基于初始透镜位置的不可靠聚焦值FV0′而预测初始透镜位置处的场景的有效聚焦值FV0。预测性自动聚焦模块18可接着将初始透镜位置的所预测的有效聚焦值FV0连同先前透镜位置的有效聚焦值一起存储在聚焦值存储装置22中。图像俘获控制器14接着将透镜从初始透镜位置移动到第一透镜位置。一旦透镜到达当前透镜位置并停止移动,就发生透镜稳定。移动透镜花费时间,且透镜直到第二帧42开始之后才在图像俘获装置内的第一透镜位置处稳定。
[0051] 传感器阵列12继续在第一帧40期间的透镜的不同移动阶段整合场景的图像信息。图像俘获控制器14接着在第二帧42期间针对整个第一帧40完成从传感器阵列12的每一线的图像信息的读出。图像俘获控制器14将整个第一帧40的图像信息发送到预测性自动聚焦模块18。
[0052] 预测性自动聚焦模块18将图像信息转发到聚焦值计算模块32。聚焦值计算模块32在第二帧42期间在透镜稳定于第一透镜位置处之后立即基于来自第一帧40的图像信息而计算第一透镜位置处的场景的不可靠聚焦值FV1′。可认为所述聚焦值FV1′对于第一透镜位置来说是不可靠的,因为在透镜稳定于第一透镜位置处之后但在当透镜稳定于第一透镜位置处之后起始对场景的图像信息的整合的有效帧之前计算所述聚焦值。
[0053] 聚焦值计算模块32将不可靠聚焦值FV1′发送到自动聚焦控制器34。自动聚焦控制器34内的系数测量模块38将第一帧40的参考线48处的通过传感器阵列12的整合时间划分为在第一帧40期间的所述透镜的不同移动阶段。举例来说,参考线48可包括传感器阵列12内的传感器的中心线。整合时间可划分为之前透镜移动阶段50、期间透镜移动阶段52和之后透镜移动阶段54。系数测量模块38接着在之前透镜移动阶段50处测量第一帧40的第一系数a1。系数测量模块38还在期间透镜移动阶段52处测量第一帧40的第二系数a2,且在之后透镜移动阶段54处测量第一帧40的第三系数a3。所述系数的总和等于一,即a1+a2+a3=1。
[0054] 在一些情况下,个别系数的值可能难以准确测量,因为所述系数中的每一者均小于一。因此,在一些情况下,系数测量模块38可估计系数值。举例来说,如果参考线48对应于传感器阵列12内的传感器的中心线,那么总整合时间在图像俘获控制器14在第一帧40期间将透镜移动到第一透镜位置时将至少有一半已完成。因此,第一系数a1将大于0.5,且组合的第二系数a2和第三系数a3将小于0.5。在此情况下,系数测量模块38可将第一系数a1设定为等于一,且将第二系数a2和第三系数a3设定为等于零。
[0055] 自动聚焦控制器34中包含的预测性算法单元36基于不可靠聚焦值(FV1′)、第一帧40的系数(a1、a2和a3)和从聚焦值存储装置22检索的先前透镜位置的有效聚焦值(FV0)而预测第一透镜位置处的场景的有效聚焦值(FV1)。举例来说,预测性算法单元36可基于等式FV1′=a1·FV0+a2·(FV0→FV1)+a3·FV1而预测第一透镜位置的有效聚焦值FV1,其中FV0→FV1是在从先前透镜位置向第一透镜位置移动期间的过渡聚焦值。
[0056] 过渡聚焦值是初始透镜位置的聚焦值FV0与第一透镜位置的聚焦值FV1之间的加权值。如果透镜以恒定速度从初始透镜位置移动到第一透镜位置,那么过渡聚焦值是初始透镜位置处的聚焦值与第一透镜位置处的聚焦值的平均值。然而,如果透镜移动不是恒定的,那么在期间透镜移动阶段52的近似中点处估计透镜移动的百分比。将对应于中点处的透镜移动的百分比的权数指派给初始透镜位置的聚焦值FV0,且将对应于透镜移动的剩余百分比的权数指派给第一透镜位置的聚焦值FV1。举例来说,如果在期间透镜移动阶段52的中点处透镜移动完成了75%,那么过渡聚焦值FV0→FV1将为0.75*FV0+0.25*FV1。
[0057] 在系数测量模块38将第一系数a1设定为等于一且将第二系数a2和第三系数a3设定为等于零的情况下,预测性算法单元36可基于等式FV2′=FV1而预测第一透镜位置的有效聚焦值FV1,其中FV2′是后续透镜位置的不可靠聚焦值。
[0058] 在预测第一透镜位置的有效聚焦值之后,自动聚焦控制器34可复审第一透镜位置和先前透镜位置的有效聚焦值以确定所述透镜位置中的一者是否具有场景的最大所预测聚焦值。如果尚未预测最大聚焦值,那么自动聚焦控制器34将第一透镜位置的所预测聚焦值发送到透镜移动模块30。透镜移动模块30在基于从聚焦值存储装置22检索的第一透镜位置的所预测聚焦值和先前透镜位置的有效聚焦值而计算第一透镜位置的不可靠聚焦值之后立即确定用于所述透镜的第二透镜位置。透镜移动模块30将包含用于透镜的移动步长和移动方向信息的移动信息发送到图像俘获控制器14。图像俘获控制器14接着在第二帧52期间基于所述移动信息而将透镜从第一透镜位置移动到第二透镜位置。
[0059] 预测性自动聚焦模块18继续基于对应透镜位置的不可靠聚焦值、对应帧的系数和先前有效聚焦值而预测多个透镜位置中的每一者处的有效聚焦值,直到在所述透镜位置中的一者处预测到场景的最大聚焦值为止。如图4所示,聚焦值计算模块32在第三帧44期间在透镜稳定于第二透镜位置处之后立即基于来自第二帧42的图像信息而计算第二透镜位置处的场景的不可靠聚焦值FV2′,并在第四帧46期间在透镜稳定于第三透镜位置处之后立即基于来自第三帧44的图像信息而计算第三透镜位置处的场景的不可靠聚焦值FV3′。
[0060] 预测性算法单元36接着基于第二透镜位置的不可靠聚焦值(FV2′)、第二帧42的系数(a1、a2和a3)和从聚焦值存储装置22检索的第一透镜位置的有效聚焦值(FV1)而预测第二透镜位置的有效聚焦值FV2。预测性算法单元36还基于第三透镜位置的不可靠聚焦值(FV3′)、第三帧44的系数(a1、a2和a3)和从聚焦值存储装置22检索的第二透镜位置的有效聚焦值(FV2)而预测第三透镜位置的有效聚焦值FV3。
[0061] 举例来说,预测性算法单元36可基于等式组(1)而预测由图4说明的透镜位置的有效聚焦值。
[0062] FV0′=FV0
[0063] FV1′=a1·FV0+a2·(FV0→FV1)+a3·FV1
[0064] FV2′=a1·FV1+a2·(FV1→FV2)+a3·FV2 (1)
[0065] FV3′=a1·FV2+a2·(FV2→FV3)+a3·FV3
[0066] 以此方式,预测性算法单元36可利用预测性等式的矩阵
[0067]
[0068] 并对有效聚焦值的矩阵等式求解。
[0069] [FV′]=[M]·[FV]-1
[0070] [FV]=[M] ·[FV′] (3)
[0071] 在系数测量模块38将第一系数a1设定为等于一且将第二系数a2和第三系数a3设定为等于零的情况下,预测性算法单元36可基于等式组(4)而预测由图4说明的透镜位置的有效聚焦值。
[0072] FV0′=FV0
[0073] FV1′=FV0 (4)
[0074] FV2′=FV1
[0075] FV3′=FV2
[0076] 在确定场景的最大所预测聚焦值后,自动聚焦控制器34选择与场景的最大聚焦值相关联的透镜位置,并将选定透镜位置发送到图像俘获控制器14。图像俘获控制器14可接着设定用于场景的选定透镜位置,且传感器阵列12使用所述选定透镜位置来俘获场景的图像帧。
[0077] 图5是说明通过不同自动聚焦过程来计算的给定透镜位置处的场景的聚焦值的示范性比较的曲线图。如图5所示,所述曲线图包含聚焦值曲线,其取决于真实聚焦值60、不可靠聚焦值62和所预测聚焦值64的给定透镜位置处的所述场景内的目标的模糊圈半径。
[0078] 真实聚焦值60是在当透镜稳定于给定透镜位置处之后读出其中起始整合的有效帧之后在常规自动聚焦过程内计算的。真实聚焦值60在为零的模糊圈处具有最大峰值。不可靠聚焦值62是在透镜稳定于给定透镜位置处之后但在有效帧之前在常规自动聚焦过程或预测性自动聚焦过程内计算的。不可靠聚焦值62在近似10微米的模糊圈处具有最大峰值。因此,不可靠聚焦值62提供所述透镜位置的不准确聚焦值。
[0079] 所预测聚焦值64是在透镜稳定于给定透镜位置处之后但在有效帧之前基于不可靠聚焦值62在本文描述的预测性自动聚焦过程内计算的。如图5所示,尽管所预测聚焦值64与真实聚焦值60并不相同,但所预测聚焦值64在为零的模糊圈处具有最大峰值。因此,预测性自动聚焦过程能够在透镜稳定之后立即预测给定透镜位置处的场景的准确聚焦值。
[0080] 图6是说明通过不同自动聚焦过程计算的多个透镜位置处的场景的聚焦值的示范性比较的曲线图。如图6所示,所述曲线图包含场景的聚焦值曲线,其取决于用于常规过程66和预测性过程68的透镜位置。常规过程66在当透镜稳定于所述透镜位置中的每一者处之后读出其中起始整合的有效帧之后计算真实聚焦值。常规过程66在近似7的透镜位置处具有最大峰值。因此,常规自动聚焦过程66将选择透镜位置7来俘获场景的图像帧。
[0081] 预测性过程68基于在透镜稳定于所述透镜位置中的每一者处之后但在有效帧之前计算的不可靠聚焦值而计算所预测聚焦值。如图6所示,尽管预测性过程68与常规过程66并不相同,但预测性过程68也在近似7的透镜位置处具有最大峰值。因此,预测性自动聚焦过程68也将选择近似7的透镜位置来俘获场景的图像帧。预测性自动聚焦过程68能够在透镜稳定之后立即基于所预测聚焦值而选择用于场景的准确透镜位置。
[0082] 图7是说明用于图像俘获装置内的预测性自动聚焦过程的预测性聚焦值计算过程的示范性操作的流程图。本文中将参看来自图1的图像俘获装置10而描述所述操作。图像俘获控制器14在第一帧期间将图像俘获装置10中包含的透镜移动到一透镜位置(70)。传感器阵列12在第一帧期间的透镜的不同移动阶段获得场景的图像信息(72)。
[0083] 图像俘获控制器14针对第一帧从传感器阵列12读出图像信息,并将图像信息发送到预测性自动聚焦模块16。预测性自动聚焦模块18接着在透镜稳定之后立即基于来自第一帧的图像信息而计算所述透镜位置处的场景的不可靠聚焦值(74)。预测性自动聚焦模块18基于所述不可靠聚焦值而预测所述透镜位置处的场景的有效聚焦值(76)。
[0084] 预测性自动聚焦模块18可接着将当前透镜位置的所预测的有效聚焦值连同先前透镜位置的有效聚焦值一起存储在聚焦值存储装置22中。在一些情况下,预测性自动聚焦模块18在基于从聚焦值存储装置22检索的当前透镜位置的所预测聚焦值和针对先前透镜位置的有效聚焦值而计算当前透镜位置的不可靠聚焦值之后立即确定用于所述透镜的下一透镜位置。图像俘获控制器14可接着在第二帧期间将透镜移动到下一透镜位置。在其它情况下,预测性自动聚焦模块18选择当前透镜位置或先前透镜位置中具有场景的最大有效聚焦值的一者,并将选定透镜位置发送到图像俘获控制器14。图像俘获控制器14可接着设定用于场景的选定透镜位置,且传感器阵列12使用所述选定透镜位置来俘获场景的图像帧。
[0085] 图8是更详细说明用于图像俘获装置内的预测性自动聚焦过程的预测性聚焦值计算过程的示范性操作的流程图。本文中将参看来自图3的包含于图像俘获装置10中的预测性自动聚焦模块18而描述所述操作。传感器阵列12在第一帧的开始处起始对场景的图像信息的整合(80)。在所说明的实施例中,传感器阵列12可包含用滚动式快门整合图像信息的CMOS传感器,在所述滚动式快门中传感器阵列12的每一线在不同时间开始和结束整合。图像俘获控制器14从传感器阵列12的每一线读出图像信息。
[0086] 图像俘获控制器14在第一帧期间将图像俘获装置10中包含的透镜移动到第一透镜位置(82)。传感器阵列12继续在第一帧期间的透镜的不同移动阶段整合场景的图像信息。图像俘获控制器14接着在第二帧期间针对整个第一帧完成从传感器阵列14的图像信息的读出(84)。图像俘获控制器14将整个第一帧的图像信息发送到预测性自动聚焦模块18。
[0087] 预测性自动聚焦模块18包含聚焦值计算模块32、自动聚焦控制器34和透镜移动模块30。聚焦值计算模块32在第二帧期间在透镜稳定于第一透镜位置处之后立即基于来自第一帧的图像信息而计算第一透镜位置处的场景的不可靠聚焦值(86)。聚焦值计算模块32将所述不可靠聚焦值发送到自动聚焦控制器34。
[0088] 自动聚焦控制器34内的系数测量模块38将第一帧的参考线处的通过传感器阵列12的整合时间划分为在第一帧期间的所述透镜的不同移动阶段(88)。举例来说,参考线可包括传感器阵列12内的传感器的中心线。整合时间可划分为之前透镜移动阶段、期间透镜移动阶段和之后透镜移动阶段。系数测量模块38接着在之前透镜移动阶段处测量第一帧的第一系数(90)。系数测量模块38还在期间透镜移动阶段处测量第一帧的第二系数(92)。
系数测量模块38在之后透镜移动阶段处测量第一帧的第三系数(94)。所述系数的总和等于一。
[0089] 自动聚焦控制器34中包含的预测性算法单元36接着基于不可靠聚焦值、系数和从聚焦值存储装置22检索的先前透镜位置的有效聚焦值而预测第一透镜位置处的场景的有效聚焦值(96)。举例来说,预测性算法单元36可基于以下等式而预测第一透镜位置的有效聚焦值FV1:
[0090] FV1′=a1·FV0+a2·(FV0→FV1)+a3·FV1,
[0091] 其中FV1′是所述透镜位置的不可靠聚焦值,a1是第一系数,a2是第二系数,a3是第三系数,FV0是先前透镜位置的有效聚焦值,且FV0→FV1是在从先前透镜位置向第一透镜位置移动期间的过渡聚焦值。
[0092] 然而,个别系数的值可能难以准确测量,因为所述系数中的每一者均小于一。因此,在一些情况下,系数测量模块38可估计系数值。举例来说,如果参考线是传感器阵列12内的传感器的中心线,那么整合时间在图像俘获控制器14在第一帧期间将透镜移动到第一透镜位置时将至少有一半已完成。因此,第一系数a1将大于0.5,且组合的第二系数a2和第三系数a3将小于0.5。在此情况下,系数测量模块38可将第一系数a1设定为等于一,且将第二系数a2和第三系数a3设定为等于零。预测性算法单元36可接着基于等式FV2′=FV1而预测第一透镜位置的有效聚焦值FV1,其中FV2′是后续透镜位置的不可靠聚焦值。
[0093] 自动聚焦控制器34将所预测聚焦值发送到透镜移动模块30。透镜移动模块30在基于从聚焦值存储装置22检索的第一透镜位置的所预测聚焦值和先前透镜位置的有效聚焦值而计算第一透镜位置的不可靠聚焦值之后立即确定用于所述透镜的第二透镜位置。透镜移动模块30将包含用于所述透镜的移动步长和移动方向信息的移动信息发送到图像俘获控制器14。图像俘获控制器14接着在第二帧期间基于所述移动信息而将透镜从第一透镜位置移动到第二透镜位置(98)。
[0094] 在确定场景的最大所预测聚焦值后,自动聚焦控制器34选择与场景的最大所预测聚焦值相关联的透镜位置。自动聚焦控制器34接着将选定透镜位置发送到图像俘获控制器14。图像俘获控制器14可设定用于所述场景的选定透镜位置,且传感器阵列12使用选定透镜位置来俘获场景的图像帧。
[0095] 图9是说明预测性自动聚焦过程内的对图像信息的另一示范性整合和读出的曲线图。在此实施例中,图像俘获装置10内的传感器阵列12遵照具有全域式快门的CCD传感器的阵列。所说明的曲线图包含场景的每一帧的从传感器阵列12的每一线的图像信息的整合和读出时间。如图9所示,在场景的每一帧的开始处,传感器阵列12起始对场景的图像信息的整合。通过全域式快门将传感器阵列12内的CCD传感器连续暴露于场景以获得每一帧的图像信息。全域式快门促使传感器阵列12的每一线在相同时间开始和结束整合。
[0096] 图9中说明的全域式快门传感器阵列实施例以大致类似于图4中说明的滚动式快门传感器阵列实施例的方式而操作。传感器阵列12在第一帧100的开始处起始对场景的图像信息的整合。在第一帧100期间,预测性自动聚焦模块18基于初始透镜位置的不可靠聚焦值FV0′而预测初始透镜位置处的场景的有效聚焦值FV0。图像俘获控制器14接着将透镜从初始透镜位置移动到第一透镜位置。一旦透镜在第一帧100期间到达当前透镜位置并停止移动,就发生透镜稳定。传感器阵列12继续在第一帧100期间的透镜的不同移动阶段整合场景的图像信息。一旦整合完成,图像俘获控制器14就针对整个第一帧100起始从传感器阵列12的每一线的图像信息的读出。
[0097] 图像俘获控制器14将整个第一帧100的图像信息发送到预测性自动聚焦模块18。预测性自动聚焦模块18将图像信息转发到聚焦值计算模块32。聚焦值计算模块32在第一帧100期间在透镜稳定于第一透镜位置处之后基于来自第一帧100的图像信息而计算第一透镜位置处的场景的不可靠聚焦值FV1。
[0098] 聚焦值计算模块32将不可靠聚焦值FV1′发送到自动聚焦控制器34。自动聚焦控制器34内的系数测量模块38将第一帧100的参考线108处的通过传感器阵列12的整合时间划分为在第一帧100期间的所述透镜的不同移动阶段。整合时间可划分为之前透镜移动阶段110、期间透镜移动阶段112和之后透镜移动阶段114。系数测量模块38接着在之前透镜移动阶段110处测量第一帧100的第一系数a1,在期间透镜移动阶段112处测量第一帧100的第二系数a2,且在之后透镜移动阶段114处测量第一帧100的第三系数a3。在一些情况下,系数测量模块38可估计系数值。举例来说,系数测量模块38可将第一系数a1设定为等于一,且将第二系数a2和第三系数a3设定为等于零。
[0099] 自动聚焦控制器34中包含的预测性算法单元36基于不可靠聚焦值(FV1′)、第一帧100的系数(a1、a2和a3)和从聚焦值存储装置22检索的先前透镜位置的有效聚焦值(FV0)而预测第一透镜位置处的场景的有效聚焦值FV1。在系数测量模块38将第一系数a1设定为等于一且将第二系数a2和第三系数a3设定为等于零的情况下,预测性算法单元36可基于后续透镜位置的不可靠聚焦值FV2′而预测第一透镜位置的有效聚焦值FV1。
[0100] 预测性自动聚焦模块18继续基于对应透镜位置的不可靠聚焦值、对应帧的系数和先前有效聚焦值而预测多个透镜位置中的每一者处的有效聚焦值,直到在所述透镜位置中的一者处预测到场景的最大聚焦值为止。举例来说,预测性算法单元36可基于上文给出的等式组(1)而预测由图9说明的透镜位置的有效聚焦值。在确定场景的最大所预测聚焦值后,自动聚焦控制器34选择与场景的最大聚焦值相关联的透镜位置,并将选定透镜位置发送到图像俘获控制器14。图像俘获控制器14可接着设定用于场景的选定透镜位置,且传感器阵列12使用所述选定透镜位置来俘获场景的图像帧。
[0101] 已描述了许多实施例。然而,对这些实施例的各种修改是可能的,且本文中所呈现的原理也可应用于其它实施例。如本文描述的方法可实施在硬件、软件和/或固件中。此类方法的各种任务可实施为可由逻辑元件(例如,微处理器、内嵌式控制器或IP核心)的一个或一个以上阵列执行的指令集。在一个实例中,一个或一个以上此类任务经布置以在移动台调制解调器芯片或芯片集内执行,所述移动台调制解调器芯片或芯片集经配置以控制例如蜂窝式电话等个人通信装置的各种装置的操作。
[0102] 本发明中描述的技术可实施在通用微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它等效逻辑装置内。如果实施在软件中,那么所述技术可实施为计算机可读媒体上的指令,所述计算机可读媒体例如为随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器等。所述指令促使一个或一个以上处理器执行本发明中描述的功能性的某些方面。
[0103] 作为其它实例,实施例可部分或整体地实施为硬连线电路,实施为制造至专用集成电路中的电路配置,或者实施为作为机器可读代码加载到非易失性存储装置中的固件程序或者从数据存储媒体加载或加载到数据存储媒体中的软件程序,所述代码为可由例如微处理器或其它数字信号处理单元等逻辑元件阵列执行的指令。数据存储媒体可为:存储元件阵列,例如半导体存储器(其可包含(不限于)动态或静态RAM、ROM和/或快闪RAM)或铁电、双向、聚合物或相变存储器;或者盘式媒体,例如磁盘或光盘。
[0104] 在本发明中,已描述了用于在图像俘获装置内进行预测性聚焦值计算的技术。所述技术包含通过基于在第二帧期间在透镜稳定之后立即从第一帧计算的一透镜位置的不可靠聚焦值而预测图像俘获装置中包含的透镜的所述透镜位置处的场景的有效聚焦值,来执行图像俘获装置内的自动聚焦过程。因此,自动聚焦过程可基于所预测的有效聚焦值而确定所述透镜到下一透镜位置的移动的大小和方向,并在第二帧期间将所述透镜移动到所述下一透镜位置。以此方式,所述技术可在每一帧期间将所述透镜移动到另一透镜位置,从而通过使自动聚焦过程的速度加倍或变为三倍而大大减少自动聚焦等待时间。
[0105] 根据本文描述的技术,图像俘获装置包含:图像俘获控制器,其在每一帧期间将透镜移动到多个透镜位置;以及传感器阵列,其在每一帧期间的透镜的不同移动阶段获得场景的图像信息。在从整个第一帧读出图像信息之后,图像俘获装置中包含的预测性自动聚焦模块在第二帧期间在透镜稳定于第一透镜位置处之后立即从第一帧计算第一透镜位置处的场景的不可靠聚焦值。预测性自动聚焦模块基于第一透镜位置的不可靠聚焦值而预测第一透镜位置处的场景的有效聚焦值。预测性自动聚焦模块接着可基于所预测的透镜位置而确定第二透镜位置,并引导图像俘获控制器在第二帧期间将透镜移动到所确定的第二透镜位置。这些和其它实施例属于所附权利要求书的范围内。