具有双数字传感器的立体图像及视频捕获装置及使用所述装置的方法

摘要

本发明揭示一种设备，其包括：第一图像传感器；第二图像传感器，其与所述第一图像传感器间隔开；分集组合模块，其将来自所述第一与第二图像传感器的图像数据组合到补色立体图中；及图像处理模块，其经配置以处理来自所述分集组合模块的经组合图像数据以执行垂直失配补偿。

权利要求

1.一种具有双数字传感器的视频处理设备，其包括：第一图像传感器；

第二图像传感器，其与所述第一图像传感器间隔开；

分集组合模块，其组合来自所述第一与第二图像传感器的图像数据；

图像处理模块，其经配置以处理来自所述分集组合模块的经组合图像数据，其中所述图像处理模块包括映射模块，所述映射模块经配置以为来自所述第一与第二图像传感器的数据提供垂直方向一维映射；及控制器，所述控制器经配置以：

对所述映射模块的垂直方向一维映射数据执行相关；及找出对应于来自所述第一与第二图像传感器的图像数据的垂直映射的最大相关的垂直失配偏移，其中所述分集组合模块使用所述垂直失配偏移来组合来自所述第一与第二图像传感器的图像数据。

2.如权利要求1所述的设备，其中所述图像处理模块经配置以产生补色立体图像以用于立体显示。

3.如权利要求1所述的设备，其中所述图像处理模块经配置以产生补色立体图像以在自动立体显示器上直接可视化。

4.如权利要求1所述的设备，其中所述图像处理模块经配置以产生补色立体视频以用于立体显示。

5.如权利要求1所述的设备，其中所述图像处理模块经配置以产生补色立体视频以在自动立体显示器上直接可视化。

6.如权利要求1所述的设备，其进一步包括：

第一缓冲器，其用以存储来自所述第一图像传感器的数据；及第二缓冲器，其用以存储来自所述第二图像传感器的数据，其中所述分集组合模块经配置以交替地接收来自所述第一与第二缓冲器的数据。

7.如权利要求1所述的设备，其中所述分集组合模块经配置以：将所述垂直失配偏移与来自所述第一图像传感器的第一像素的垂直索引进行比较；

如果来自所述第一图像传感器的所述第一像素的所述垂直索引大于所述垂直失配偏移，则将所述第一像素发送到所述图像处理模块；

将所述垂直失配偏移与来自所述第二图像传感器的第二像素的垂直索引进行比较；且如果来自所述第二图像传感器的所述第二像素的所述垂直索引小于图像高度减去所述垂直失配偏移，则将所述第二像素发送到所述图像处理模块。

8.如权利要求1所述的设备，其中所述控制器经配置以将所述垂直失配偏移与阈值进行比较以确定是否存在立体图像复合失败。

9.如权利要求1所述的设备，其中所述图像处理模块经配置以对所述第一与第二图像传感器所捕获的图像执行以下操作中的至少一者：减黑色、透镜滚降校正、通道增益调节、坏像素校正、去马赛克、裁切、按比例缩放、白平衡、色彩校正、亮度适应、色彩转换及增强图像对比度。

10.如权利要求1所述的设备，其中所述图像处理模块包括色彩转换模块，所述色彩转换模块经配置以执行色彩通道遮罩任务以复合三维图像。

11.如权利要求10所述的设备，其中所述图像处理模块输出用于所述第一图像传感器行数据的红色通道数据且输出用于所述第二图像传感器行数据的绿色及蓝色通道数据。

12.如权利要求1所述的设备，其中所述第一与第二图像传感器相隔约六厘米定位。

13.如权利要求1所述的设备，其中所述第二图像传感器经配置以在所述设备进入低功率模式时去激活。

14.如权利要求1所述的设备，其中所述设备为移动电话。

15.如权利要求1所述的设备，其进一步包括经配置以传输及接收无线信号的收发器。

16.一种使用双数字传感器的视频处理方法，其包括：使用第一图像传感器感测第一图像；

使用与所述第一图像传感器间隔开的第二图像传感器感测第二图像；

分集组合来自所述第一与第二图像传感器的图像数据；

处理所述经组合图像数据以产生补色立体图像，其中处理所述经组合图像包括为来自所述第一与第二图像传感器的数据提供垂直方向一维映射；

对垂直方向一维映射数据执行相关；及

找出对应于来自所述第一与第二图像传感器的图像数据的垂直映射的最大相关的垂直失配偏移，其中分集组合使用所述垂直失配偏移来组合来自所述第一与第二图像传感器的图像数据。

17.如权利要求16所述的方法，其进一步包括准备所述补色立体图像以用于立体显示。

18.如权利要求16所述的方法，其进一步包括准备所述补色立体图像以用于在自动立体显示器上直接可视化。

19.如权利要求16所述的方法，其进一步包括产生补色立体视频以用于立体显示。

20.如权利要求16所述的方法，其进一步包括产生补色立体视频以在自动立体显示器上直接可视化。

21.如权利要求16所述的方法，其进一步包括：

存储来自所述第一图像传感器的数据；及

存储来自所述第二图像传感器的数据，其中分集组合包括交替地接收来自所述第一与第二缓冲器的数据。

22.如权利要求16所述的方法，其中分集组合包括：将所述垂直失配偏移与来自所述第一图像传感器的第一像素的垂直索引进行比较；

如果来自所述第一图像传感器的所述第一像素的所述垂直索引大于所述垂直失配偏移，则处理所述第一像素；

将所述垂直失配偏移与来自所述第二图像传感器的第二像素的垂直索引进行比较；且如果来自所述第二图像传感器的所述第二像素的所述垂直索引小于图像高度减去所述垂直失配偏移，则处理所述第二像素。

23.如权利要求16所述的方法，其进一步包括将所述垂直失配偏移与阈值进行比较以确定是否存在立体图像复合失败。

24.如权利要求16所述的方法，其中处理包括对所述第一与第二图像传感器所捕获的图像执行以下操作中的至少一者：减黑色、透镜滚降校正、通道增益调节、坏像素校正、去马赛克、裁切、按比例缩放、白平衡、色彩校正、亮度适应、色彩转换及增强图像对比度。

25.如权利要求16所述的方法，其中处理包括执行色彩通道遮罩任务以复合三维图像。

26.如权利要求25所述的方法，其中处理输出所述第一图像传感器行数据的红色通道数据且输出第二图像传感器行数据的绿色及蓝色通道数据。

27.如权利要求16所述的方法，其进一步包括在低功率模式中去激活所述第二图像传感器。

28.如权利要求16所述的方法，其进一步包括传输及接收无线信号。

说明书

具有双数字传感器的立体图像及视频捕获装置及使用所述

装置的方法

[0001] 相关申请交叉参考案

[0002] 本申请案涉及在2006年7月25日提出申请的名称为“具有双数码相机传感器的移动装置及使用所述装置的方法(MOBILE DEVICE WITH DUAL DIGITALCAMERA SENSORS AND METHODS OF USING THE SAME)”的共同受让的美国专利申请案第____号(代理档案第061170号)，其整体内容以引用方式并入本文中。

技术领域

[0003] 本申请案涉及电子装置，且更特定来说涉及一种具有双数字传感器的立体图像及视频捕获装置及使用所述装置的方法。

背景技术

[0004] 例如蜂窝电话等移动装置可具有捕获图像的传感器。

发明内容

[0005] 一个方面涉及一种设备，其包括：第一图像传感器；第二图像传感器，其与所述第一图像传感器间隔开；分集组合模块，其组合来自所述第一与第二图像传感器的图像数据；及图像处理模块，其经配置以处理来自所述分集组合模块的经组合图像数据。

[0006] 另一方面涉及一种方法，其包括：使用第一图像传感器来感测第一图像；使用与所述第一图像传感器间隔开的第二图像传感器来感测第二图像；对来自所述第一与第二图像传感器的图像数据进行分集组合；及处理所述经组合图像数据以产生补色立体图像。

[0007] 在附图及下文说明中将阐述一个或一个以上实施例的细节。

附图说明

[0008] 图1图解说明具有两个或两个以上相机传感器的移动装置。

[0009] 图2A图解说明投影到图像平面P1′与P2′的两个物体点P1与P2，其中单个视点V是相机传感器的定位。

[0010] 图2B图解说明投影到右图像平面P1r′及P2r′与左图像平面P11′及P21′的两个物体点P1与P2的透视投影，其中V左与V右是两个相机传感器的定位。

[0011] 图3图解说明图1的装置中的相机处理管线的实例。

[0012] 图4图解说明可由图1的装置执行的立体视频处理流程图。

[0013] 图5图解说明图1的装置的两个传感器所观察的图像的实例。

[0014] 图6图解说明图1的装置的两个传感器控制器的流程图。

[0015] 图7A-7B及8A-8B图解说明从分开一水平距离的两个传感器捕获的图像的实例。

[0016] 图7C及8C显示由图7A-7B及8A-8B的左眼与右眼视图复合的3-D图像。

[0017] 图9图解说明具有两个或两个以上传感器的移动装置的另一配置。

[0018] 图10图解说明一种使用图9的装置进行视频模式处理的方法。

具体实施方式

[0019] 透视投影

[0020] 相机通过执行透射投影来捕获图像，如图2A所示。图2A图解说明投影到图像平面P1′与P2′的两个物体点P1与P2，其中单个视点V是相机传感器的定位。

[0021] 为模仿具有深度感觉的人类视觉系统，具有两个相机传感器的装置可捕获左眼与右眼视图，如图2B所示。图2B图解说明投射到右图像平面P1r′及P2r′与左图像平面P11′及P21′的两个物体点P1与P2的透视投影，其中V左与V右是两个相机传感器的定位。所述图像平面上的物体的投影差异产生作为立体图像的深度感觉。

[0022] 图7A-7B及8A-8B图解说明从分开约6厘米的水平距离的两个传感器捕获的图像的实例。图7C及8C显示由图7A-7B及8A-8B的左眼与右眼视图复合的3-D图像，如下文所描述。

[0023] 3-D立体图像及视频

[0024] 不断增强的感觉真实性已成为促进下一代多媒体发展的因素。迅速成长的多媒体通信及娱乐市场可使用涵盖立体图像捕获、处理、压缩、递送及显示的三维(3-D)(也称为立体)图像及视频技术。

[0025] 立体图像与单一图像之间的主要差异是，前者提供对第三维度及到场景中物体的距离的感觉。由于我们的左眼与右眼以不同的透视视点看见双眼视图，因此人类视觉在本质上是立体的。我们的大脑可合成具有立体深度的图像。

[0026] 多媒体装置可以单像架构来实施。单像相机可捕获及产生立体图像。单像相机可使用来自自动聚焦处理的统计来检测及估计用于产生立体图像的深度信息。

[0027] 具有双传感器的装置

[0028] 可存在关于具有双传感器的装置的若干问题，例如这些传感器的增加的数据处理的计算复杂度、功率消耗、定位及分辨率设置。例如相机电话的装置可具有在固定定位处的两个图像传感器，即，所述两个传感器不可移动。所述两个传感器可被不同地配置或处理，例如具有不同分辨率的主要传感器及辅助传感器。低分辨率传感器可用于捕获视频，而高分辨率传感器可用于捕获静止图像。可将从两个传感器获得的图像组合或处理在一起，如下文所描述。

[0029] 双传感器相机电话可获得用于捕获及产生立体图像或视频的准确视图。可将双相机传感器移动装置的成本降低到约与单传感器装置相同。下文说明描述一种双相机传感器移动装置或立体成像系统，其可启用高质量立体图像/视频捕获及立体图像合成。

[0030] 图1图解说明具有双数字相机传感器132、134的移动装置130，其经配置以捕获及处理3-D立体图像及视频。一般来说，移动装置130可经配置以捕获、创建、处理、修改、按比例缩放、编码、解码、传输、存储及显示数字图像及/或视频序列。装置130可提供高质量立体图像捕获、各种传感器定位、视角失配补偿及有效分辨率来处理及组合立体图像。

[0031] 移动装置130可表示无线通信装置、个人数字助理(PDA)、手持式装置、膝上型计算机、桌上型计算机、数码相机、数字记录装置、网络启用数字电视、移动电话、蜂窝电话、卫星电话、相机电话、基于陆地的无线电电话、直接双向通信装置(有时称为“对讲机”)、摄像放像机等或实施于所述装置中。

[0032] 移动装置130可包含：第一传感器132、第二传感器134、第一相机接口136、第二相机接口148、第一缓冲器138、第二缓冲器150、存储器146、分集组合模块140(或引擎)、相机处理管线142、第二存储器154、用于3-D图像的分集组合控制器152、移动显示处理器(MDP)144、视频编码器156、静止图像编码器158、用户接口120及收发器129。除图1中所示组件之外或替代所述组件，移动装置130还可包含其它组件。图1中的架构仅为实例。本文中所描述的特征及技术可与各种其它架构一起实施。

[0033] 传感器132、134可以是数码相机传感器。传感器132、134可具有类似或不同的物理结构。传感器132、134可具有类似或不同配置的设置。传感器132、134可捕获静止图像快照及/或视频序列。每一传感器可包含布置在个别传感器或传感器元件的表面上的滤色片阵列(CFA)。

[0034] 存储器146、154可以是分开的或集成的。存储器146、154可在处理之前及之后存储图像或视频序列。存储器146、154可包含易失性存储装置及/或非易失性存储装置。存储器146、154可包括任何类型的数据存储装置，例如：动态随机存取存储器(DRAM)、快闪存储器、“或非”或“与非”门存储器或任何其它数据存储技术。

[0035] 相机处理管线142(也称为引擎、模块、处理单元、视频前端(VFE)等)可包括用于移动电话的芯片组，所述芯片组可包含硬件、软件、固件及/或一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其各种组合。管线142可执行一个或一个以上图像处理技术以改善图像及/或视频序列的质量。图3图解说明图1的相机处理管线142的实例，如下文所描述。

[0036] 视频编码器156可包括用于编码(或压缩)及解码(或解压缩)数字视频数据的编码器/解码器(CODEC)。视频编码器156可使用一个或一个以上编码/解码标准或格式，例如MPEG或H.264。

[0037] 静止图像编码器158可包括用于编码(或压缩)及解码(或解压缩)图像数据的编码器/解码器(CODEC)。静止图像编码器156可使用一个或一个以上编码/解码标准或格式，例如JPEG。

[0038] 收发器129可接收经编码图像或视频序列且/或将其传输到另一装置或网络。收发器129可使用例如码分多址(CDMA)等无线通信标准。CDMA标准的实例包含CDMA 1x演进数据优化(EV-DO)(3GPP2)、宽带CDMA(WCDMA)(3GPP)等。

[0039] 装置130可包含用于两传感器相机架构的高度优化硬件解决方案，其成本可大约等于单传感器相机中使用的处理引擎的成本。可在双相机传感器装置130中实施一组模块以提供所捕获图像及视频的高视觉质量及低功率约束条件。

[0040] 装置130可维持两个传感器138、150之间的固定水平距离以便可有效地产生3-D立体图像及视频。如图1中所示，两个传感器132、134可分开约6厘米的水平距离，但可使用大于或小于6厘米的其它距离。第一传感器132可以是主要传感器，且第二传感器134可以是辅助传感器。可关掉第二传感器134以达到非立体模式来减少功率消耗。

[0041] 两个缓冲器138、150可存储实时传感器输入数据，例如来自两个传感器132、134的一行或一排像素数据。传感器像素数据可在线上(即实时地)进入小缓冲器138、150并离线地由在传感器132、134(或缓冲器138、150)之间来回切换的分集组合模块140及/或相机引擎管线引擎142处理。分集组合模块140及/或相机引擎管线引擎142可在一个传感器的数据速率的两倍的速度下操作。为减少输出数据带宽及存储器需求，可在相机引擎142中复合立体图像及视频。

[0042] 分集组合模块140可首先从第一缓冲器138选择数据。在缓冲器138的一个行末端，分集组合模块140可切换到第二缓冲器150以从第二传感器134获得数据。分集组合模块140可在来自第二缓冲器150的一行数据末端切换回到第一缓冲器138。

[0043] 为减小处理功率及数据业务带宽，可通过缓冲器138、150(绕过第一存储器146)将视频模式中的传感器图像数据直接发送到分集组合模块140。另一方面，对于快照(图像)处理模式来说，可将传感器数据保存在存储器146中以供离线处理。另外，为获得低功率消耗分布，可关断第二传感器134，且可减小相机管线驱动时钟。

[0044] 立体图像复合

[0045] 图7A-7B及8A-8B图解说明从分开约6厘米水平距离的第一与第二传感器132、134捕获的图像(左眼与右眼视图)的实例。图7A-7B及8A-8B显示可被直接传递到自动立体系统以供显示(在图1的装置130或从装置130接收数据的某些其它装置中)。用户应使用3-D眼镜来观察可表明立体应用的效应的立体显示。自动立体与立体之间的差异是，立体显示需要3-D眼镜。所述3-D眼镜针对每只眼睛选择性地允许一正确视图进入。对于这些3-D眼镜上的滤色片(补色立体图)，左眼视图仅含有红色通道数据，且右眼视图可含有绿色及蓝色通道。图3的相机处理管线中的色彩通道遮罩328可移除未使用的通道数据。

[0046] 图7C及8C图解说明由图7A-7B及8A-8B中的两眼视图复合的3-D立体图像(补色立体图)。

[0047] 相机管线

[0048] 图3图解说明图1中的相机处理管线142的实例。例如，管线142可包含：减黑色模块300、透镜滚降校正模块302、通道增益模块304、坏像素校正或噪声降低模块306、去马赛克模块308、统计数据收集模块310、1-D Y映射模块312、视场(FOV)裁切模块314、按比例缩放模块316、白平衡模块318、色彩校正模块320、肤色处理器322、亮度适应模块324、红/绿/蓝(RGB)查找表(LUT)、RGB到YCrCb色彩转换或通道遮罩模块338、Y适应空间滤波(ASF)模块330及减色度模块332。除图3中所示模块/功能外或替代所述模块/功能，管线142还可包含其它模块及/或功能。可将管线142的输出提供给图1中的第二存储器154。

[0049] 垂直失配偏移

[0050] 装置130可以可靠地计算及补偿从两个独立的传感器132、134捕获的两个视图图像的垂直失配。

[0051] 图5图解说明图1的两个传感器132、134所观察或捕获的图像的实例。可从垂直失配偏移(称为“Y偏移”，存在于两个传感器132、134之间)为每一传感器132、134导出有效的行索引。用于3-D图像的分集组合控制器152可导出Y偏移，如下文参照图6所描述。例如，如果Y偏移＝5，则第一传感器132的有效行索引可为从5到(图像高度-1)，且第二传感器134的有效行索引可为从0到(图像高度-6)。或者，如果Y偏移＝-5，则第一传感器132的有效行索引可为从0到(图像高度-6)，且第二传感器134的有效行索引可为从5到(图像高度-1)。单个相机VFE管线142可由较高时钟频率驱动以消耗两个传感器的输出数据。

[0052] 为估计所述Y偏移，Y 1-D映射模块312提供垂直方向1-D映射数据，例如附表A的伪码中的Y求和传感器1[]与Y求和传感器2[]。由于输入行数据交替地来自第一传感器132与第二传感器134，因此每一行的Y求和传感器1[]与Y求和传感器2[]将可在帧结束时获得。当Y估计任务被停用时，可停用此1-D Y映射模块312以减少功率消耗。

[0053] 通道遮罩模块328执行定期图像及视频处理的色彩转换且可执行复合3-D图像中的色彩通道遮罩任务。由于左眼视图仅包含红色通道数据，且右眼视图包含绿色及蓝色通道，因此相机引擎142可仅发送出第一传感器行数据的红色通道数据及第二传感器行数据的绿色及蓝色通道数据。因此，可减少用于复合立体图像的输出数据业务带宽、存储器需求及后处理任务。

[0054] 视频模式处理

[0055] 图4图解说明可由图1的装置130执行的立体视频处理流程图。可以与图4的立体视频模式过程类似的方式来实施立体图像处理。在方块400中，水平像素索引确定缓冲器选择是第一缓冲器138(第一传感器数据)还是第二缓冲器150(第二传感器数据)。在方块402、406中，分别从第一或第二缓冲器138、150读取像素。在方块404及408中，将垂直像素索引(y像素)与Y偏移(y_偏移)比较以获得不同于第一与第二传感器数据的有效数据准则。所述有效行数据将在方块410中被发送到分集组合模块140且接着在方块412中被发送到相机管线引擎142。方块414确定所述像素是否是最后像素，且如果不是，则返回到方块400。如果所述像素是最后像素，则第一传感器数据的经处理红色通道数据及第二传感器数据的蓝色通道数据将被保存在存储器154中(方块416)以供进一步使用，例如方块418中的显示或视频编码。

[0056] 传感器控制器

[0057] 由于定位不准确性及视角失配，因此两个传感器的所捕获图像之间可存在一些垂直失配偏移。图5图解说明两个传感器的所捕获图像之间的垂直偏移(“Y偏移”)。两个传感器的控制器152可调节定位在垂直方向上的共用重叠区域中的经复合图像。在裁切出图像的顶部部分或底部部分(通过图4中的方块404及408或图3中的FOV裁切模块314)之后，“经复合图像高度”等于“传感器图像高度”减去Y偏移，如图5中所示。

[0058] 图6图解说明图1中的两个传感器控制器152的流程图。图6图解说明可在装置130通电或当传感器位置改变时活动的估计任务。由于偏移仅在垂直方向上，因此通过1-D Y映射(通过图3中的1-D Y映射模块312)来完成所建议的估计解决方案且随后进行1-D交叉相关。附表A列出了对应的伪码。

[0059] 由于两个图像同时被捕获，具有一水平距离及一小段垂直距离，因此两个场景在水平方向上可极为类似且高度相关。因此，所述过程可仅使用1-D垂直映射及交叉相关搜索即实现稳健且有效的目标。

[0060] 在方块602及606中，第一与第二传感器132、134捕获数据。可在帧结束时获得每一行的所累积亮度数据。在方块604及608中，相机管线142通过图3中的1-DY映射模块312用1-D Y映射来处理传感器数据。

[0061] 在方块610中，图1中的控制器152找出对应于两个传感器的Y映射之间的最大相关的Y偏移。由图1中的控制器152在后处理中完成两个传感器的Y映射数据的交叉相关。对应于最大交叉相关的偏移是所导出的Y偏移。视视角而定，所述垂直偏移可以是限定的值。搜索范围也可以是限定的。

[0062] 在方块612中，为避免立体图像处理失败，由图1中的控制器152将最大交叉相关与阈值比较。如果最大交叉相关小于阈值，则立体图像被成功地复合，且设置y偏移以在方块614中进行分集组合。例如，所述阈值可设置为第一传感器Y映射数据的自动相关的90％。换句话说，仅当第一传感器数据与第二传感器数据之间的重叠图像能量大于或等于第一传感器数据的能量的90％时，所复合的状态才是成功的。如果最大交叉相关小于所述阈值，则立体图像没有被成功复合，如方块616中所示。

[0063] 总而言之，具有双相机传感器132、134的装置130可启用高质量立体图像及视频捕获。例如传感器定位、视角失配补偿及两视图组合等若干问题可得以解决。装置130可高度优化以满足特定应用的低功率约束条件，以使装置130的成本大约与单传感器相机电话中使用的处理引擎相等。另一方面，一种灵活且可靠的解决方案可计算及补偿从两个独立的传感器132、134所捕获的两个视图图像的垂直失配以保证高视觉质量。

[0064] 具有两个传感器的装置，其中至少一个传感器可移动

[0065] 图9图解说明具有两个或两个以上传感器102、104的移动装置100的另一配置。装置100可经配置以实施上文所描述的功能中的一者或一者以上。移动装置100可经配置以捕获、创建、处理、修改、按比例缩放、编码、解码、传输、存储及显示数字图像及/或视频序列。移动装置100可表示一种装置(例如：无线通信装置、个人数字助理(PDA)、膝上型计算机、桌上型计算机、数码相机、数字记录装置、网络启用数字电视、移动电话、蜂窝电话、卫星电话、相机电话、基于陆地的无线电电话、直接双向通信装置(有时称为“对讲机”)等)或实施于所述装置中。

[0066] 移动装置100可包含：第一传感器102、第二传感器104、传感器位置控制器106、相机处理管线108、显示器110、视频编码器112、静止图像编码器114、存储器116、相机控制器118、用户接口120、处理器128及收发器129。除图9中所示组件之外或替代所述组件，移动装置100还可包含其它组件。图9中所图解说明的架构仅为实例。本文中所描述的特征及技术可与各种其它架构一起实施。

[0067] 传感器102、104可以是数码相机传感器。传感器102、104可捕获静止图像快照及/或视频序列。每一传感器可包含布置在个别传感器或传感器元件的表面上的滤色片阵列(CFA)。

[0068] 存储器116可在处理之前及之后存储图像或视频序列。存储器116可包含易失性存储装置及非易失性存储装置。存储器116可包括任何类型的数据存储装置，例如：动态随机存取存储器(DRAM)、快闪存储器、“或非”或“与非”门存储器或任何其它数据存储技术。

[0069] 相机处理管线108(也称为引擎、模块、处理单元等)可包括用于移动电话的芯片组，其包含硬件、软件、固件及/或一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其各种组合。相机处理管线108可执行一个或一个以上图像处理技术以改善图像及/或视频序列的质量。例如，管线108可执行例如去马赛克、透镜滚降校正、按比例缩放、色彩校正、色彩转换及空间滤波等技术。管线108还可执行其它技术。

[0070] 视频编码器112可包括用于编码(或压缩)及解码(或解压缩)数字视频数据的编码器/解码器(CODEC)。

[0071] 静止图像编码器114可包括用于编码(或压缩)及解码(或解压缩)图像数据的编码器/解码器(CODEC)。

[0072] 收发器129可接收经编码图像或视频序列且/或将其传输到另一装置或网络。收发器129可使用例如码分多址(CDMA)等无线通信标准。CDMA标准的实例包含CDMA 1x演进数据优化(EV-DO)、宽带CDMA(WCDMA)等。

[0073] 关于传感器的更多细节

[0074] 下文描述具有两个单独的传感器102、104的移动装置100的设计及特征。传感器102、104可具有两个方面。首先，传感器位置控制器106可调节两个传感器102、104的定位及或/位置，例如在一个或一个以上方向上旋转、移位或滑动传感器102、104。图9中显示移动的某些实例，但可实施其它二维(2-D)或三维(3-D)移动。所述移动可由用户及/或由相机控制器118设置。可调节传感器102、104可启用若干高级特征，例如图像质量改善、
3-D图像及视频可视化及360度全景视频产生。

[0075] 所述移动可固定达一时间周期或以一频率交替。在一个配置中，装置100包括两个以上传感器，其中所述传感器以直线、三角形、圆或某一其它图案布置。在此配置中，装置100可在不移动任何传感器的情况下激活某些传感器及去激活其它传感器。此配置可避免移动传感器而引起的问题。

[0076] 其次，传感器102、104的各种设置(例如分辨率)可是可调节的，以启用更多高级特征及/或图像处理应用。双传感器102、104可改善移动装置100的图像处理灵活性。

[0077] 图10图解说明一种使用图9的装置100进行视频模式处理的方法。图10可经组合或修改以包含参照图1-8C所描述的功能中的任一者。在方块202及204中，传感器102、104捕获图像并将像素数据发送到相机处理管线108，相机处理管线108可在视频前端(VFE)中实施或与其组合来实施。在方块206及208中，相机处理管线108处理所述像素数据。例如，相机处理管线108可通过调节色彩、按比例缩放大小及增强图像对比度来改善图像质量。

[0078] 在方块210中，相机处理管线108可组合(或拼接)来自两个传感器102、104的经处理所捕获图像。可将所述经组合图像保存在存储器116中以供由显示器110显示及/或由编码器112、114进行静止图像及/或视频编码(方块214)。决策方块212确定是否存在更多待捕获及处理的像素数据。

[0079] 所述两个传感器102、104可提供一个或一个以上优点。首先，观察者的观看角度可通过调节传感器位置来控制。其次，来自两个传感器102、104的输入图像可共同处理及复合。再次，两个传感器102、104之间的水平距离可是可调节的。这些优点中的一者或一者以上可增加支持各种各样高级特征的灵活性及能力。

[0080] 本文中所描述的技术可取决于针对特定应用的传感器位置设置及控制配置。为获得低功率消耗分布，可关断第二传感器104，且可减小相机管线驱动时钟。

[0081] 可调节传感器定位

[0082] 可存在传感器102、104的三个位置或定位，从而可提供灵活性并启用高级特征。

[0083] 两个传感器102、104可彼此极为接近地定位。当两个传感器102、104以大致相同视口作为目标时(即，当两个传感器102、104之间的距离在理论上趋近于零时)，所捕获图像及/或视频的质量可大大增强。可使用可调节算法使所捕获的图像移位以将其合并为一个。

[0084] 随机图像噪声可成为一个问题，尤其是在低光环境下。两个传感器102、104的接收分集可能是在不限制曝光时间且没有时间分集导致的重叠图像模糊的情况下降低传感器噪声的一种良好解决方案。可将两个传感器102、104彼此接近地放置在一起以减小两个传感器102、104的所捕获场景的差异。传感器噪声分布可是独立的且具有相同方差。在组合来自两个传感器102、104的两个经处理图像后，可如下计算信噪比(SNR)：

[0085] ..............(1)

[0086]

[0087]

[0088] 其中S1与S2分别是从传感器102及传感器104捕获的图像的信号，且var(N1)及var(N2)分别是来自传感器102及传感器104的传感器噪声图像方差。在组合所述两个传感器的图像或视频后，SNR可大大地改善达3分贝(dB)。

[0089] 本文中描述了一种具有双相机传感器的移动装置。在所述装置中，所述传感器的设置及定位均是可调节的。智能特征适应图像组合引擎可提供高级特征或应用，例如图像质量改善、3-D图像及视频可视化及360度全景视频产生。

[0090] 结合本文中所揭示各方面而描述的各种说明性逻辑块、模块、电路、及算法步骤可实施为电子硬件、计算机软件或二者的组合。为清楚地图解说明硬件与软件的此可互换性，上文已就其功能总体描述了各种说明性组件、块、模块、电路及步骤。此功能实施为硬件还是软件取决于施加于整体系统上的特定应用及设计约束条件。所属技术领域的技术人员对于每一特定应用可以不同方式实施所描述的功能，但是，此类实施决定不应被解释为具限定性。

[0091] 结合本文中所揭示各方面描述的各种说明性逻辑块、模块及电路可由以下装置实施或执行：通用处理器、DSP、ASIC、FPGA或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文所描述功能的任何组合。通用处理器可以是微处理器，但另一选择为，所述处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一个或一个以上微处理器与DSP核心的联合或任何其它此类配置。

[0092] 结合本文中所揭示实施例描述的方法或算法可直接包含在硬件中、可由处理器执行的软件模块中或所述二者的组合中。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬磁盘、可抽换磁盘、CD-ROM或任何其它形式的存储媒体中。存储媒体耦合到处理器，以使处理器可从存储媒体读取信息及向其写入信息。另一选择为，存储媒体可以是处理器的一部分。处理器及存储媒体可驻存在一ASIC中。所述ASIC可驻存在用户终端中。另一选择为，处理器及存储媒体可作为离散组件驻存在一用户终端中。

[0093] 所属技术领域的技术人员将明了对所描述方面的各种修改，且本文所界定的一般原理可应用于其它实施例，此并不背离本发明揭示内容的精神或范围。因此，不打算将本发明揭示内容限定于本文中所示实施例，而是将赋予其与本文所揭示原理及新颖特征相一致的最宽广范围。

[0094] 附表A

[0095] 用于失配偏移计算的伪码：

[0096] //find the 1-D Y mapping

[0097] For(i＝0：i＜image height：i++)

[0098] {

[0099] Y SumSensor1[i]＝0；

[0100] Y SumSensor2[i]＝0；

[0101] For(j＝0；j＜image width；j++)

[0102] {

[0103] Y SumSensor1[i]+＝Sensor_1_Luma[i][j]；

[0104] Y SumSensor2[i]+＝Sensor_2_Luma[i][j]：

[0105] }

[0106] }

[0107] //find the max in the correlation of Y mapping

[0108] For(k＝0；k＜maxSearchRange；k++)

[0109] {

[0110] Correlation[k]＝0；

[0111] Correlation[-k]＝0；

[0112] For(i＝0；i＜image height-k；i++)

[0113] {

[0114] Correlation[k]+＝Y SumSensor1[i]*Y SumSensor2[i+k]；

[0115] Correlation[-k]+＝Y SumSensor1[i+k] * Y SumSensor2[i]；

[0116] }

[0117] Correlation[k]＝Correlation[k]/(image height-k)；

[0118] Correlation[-k]＝Correlation[k]/(image height-k)；

[0119] If(Correlation[k]＞MaxCorrelation)

[0120] {

[0121] MaxCorrelation＝Correlation[k]；

[0122] Yoffset＝k；

[0123] }

[0124] If(Correlation[-k]＞MaxCorrelation)

[0125] {

[0126] MaxCorrelation＝Correlation[-k]；

[0127] Yoffset＝-k；

[0128] }