主动式立体摄影校正装置以及产生立体摄影参数的方法

摘要

一种配置了立体摄影装置的电子装置所执行的主动式立体摄影校正方法，包含：获取特征点集合；并且至少依据所获取的特征点集合，利用所述电子装置中的立体摄影校正电路来计算立体摄影参数集合。此外，一种配置了立体摄影装置的电子装置中的主动式立体摄影校正装置包含立体摄影校正电路。所述立体摄影校正电路包含输入接口以及立体摄影校正单元。该输入接口用来获取特征点集合。该立体摄影校正单元用来至少依据所获取的特征点集合计算立体摄影参数集合。

权利要求

1.一种配置了立体摄影装置的电子装置所执行的主动式立体摄影校正方法，包含：获取特征点集合，该步骤包括：从存储装置中获取所述特征点集合的至少一部分；并且至少依据所获取的特征点集合，利用所述电子装置中的立体摄影校正电路来计算立体摄影参数集合；

其中，在所述立体摄影装置配置至所述电子装置之前，通过所述立体摄影装置获取所述特征点集合的至少一部分，并存储至所述存储装置中；以及在所述立体摄影装置配置至所述电子装置之后，所述特征点集合被计算。

2.根据权利要求1所述的主动式立体摄影校正方法，其特征在于，所述立体摄影装置是立体摄影模块。

3.根据权利要求2所述的主动式立体摄影校正方法，其特征在于，至少一部分的所述特征点集合是在制造所述立体摄影模块的模块厂获得的。

4.根据权利要求2所述的主动式立体摄影校正方法，其特征在于，至少一部分的所述特征点集合是通过依据校正模型样板所执行的一次拍摄校正而获得的。

5.根据权利要求1所述的主动式立体摄影校正方法，其特征在于，所述方法进一步包含：通过机器学习，产生学习数据集合，其中所述特征点集合的至少一部分是从所述学习数据集合中获得。

6.根据权利要求5所述的主动式立体摄影校正方法，其特征在于，产生学习数据集合的步骤包含：执行特征提取与匹配操作至立体图像输入，以产生特征提取与匹配结果，所述立体图像输入是从所述立体摄影装置的输出中获得；以及执行自我学习操作至所述特征提取与匹配结果，以产生所述学习数据集合。

7.根据权利要求5所述的主动式立体摄影校正方法，其特征在于，所述立体摄影装置是立体摄影模块。

8.根据权利要求1或5所述的主动式立体摄影校正方法，其特征在于，所述立体摄影装置是模块简化并且具有两个单透镜图像传感器。

9.根据权利要求1或5所述的主动式立体摄影校正方法，其特征在于，进一步包含：依据所述立体摄影参数集合执行图像形变操作至立体图像输入，所述立体图像输入是从所述立体摄影装置的输出而获得，并据此产生校正的立体图像输出。

10.根据权利要求9所述的主动式立体摄影校正方法，其特征在于，进一步包含：依据自校正参数集合执行图像形变操作至立体图像输入，其中所述自校正参数集合是基于特征提取与匹配结果执行自校正程序而产生。

11.根据权利要求9所述的主动式立体摄影校正方法，其特征在于，进一步包含：依据自动融合参数集合执行图像形变操作至立体图像输入，其中所述自动融合参数是基于特征提取与匹配结果执行自动融合程序而产生。

12.根据权利要求1或5所述的主动式立体摄影校正方法，其特征在于，其中所述电子装置是移动电话。

13.一种配置了立体摄影装置的电子装置中的主动式立体摄影校正装置，包含：立体摄影校正电路，包含：

输入接口，用来获取特征点集合；

立体摄影校正单元，用来至少依据所获取的特征点集合计算立体摄影参数集合；以及存储装置，用来存储至少一部分所述特征点集合；

其中，在所述立体摄影装置配置至所述电子装置之前，通过所述立体摄影装置获取至少一部分所述特征点集合，并存储至所述存储装置中；在所述立体摄影装置配置至所述电子装置之后，所述特征点集合被计算；以及所述输入接口从所述存储装置中获取所述至少一部分所述特征点集合。

14.根据权利要求13所述的主动式立体摄影校正装置，其特征在于，所述立体摄影装置是立体摄影模块。

15.根据权利要求14所述的主动式立体摄影校正装置，其特征在于，至少一部分的所述特征点集合是在制造所述立体摄影模块的模块厂存储至所述存储装置的。

16.根据权利要求14所述的主动式立体摄影校正装置，其特征在于，所述至少一部分特征点集合具有包含在一个单独立体图像组中的左眼图像与右眼图像的，所述单独立体图像组是所述立体摄影模块拍摄校正模型样板而产生的。

17.根据权利要求13所述的主动式立体摄影校正装置，其特征在于，所述存储装置还用来存储学习数据集合，所述学习数据集合是通过机器学习而产生的，其中所述输入接口从所述存储装置获取至少一部分所述特征点集合和/或所述学习数据集合。

18.根据权利要求17所述的主动式立体摄影校正装置，其特征在于，进一步包含：特征提取以及匹配电路，用来处理立体图像输入，以产生特征提取与匹配结果，其中所述立体图像输入是从所述立体摄影装置的输出获得；以及自我学习电路，用来执行自我学习操作至所述特征提取与匹配结果，以产生所述学习数据集合。

19.根据权利要求17所述的主动式立体摄影校正装置，其特征在于，所述立体摄影装置是立体摄影模块。

20.根据权利要求17所述的主动式立体摄影校正装置，其特征在于，所述立体摄影装置是模块简化并且具有两个单透镜图像传感器。

21.根据权利要求13或17所述的主动式立体摄影校正装置，其特征在于，进一步包含：图像形变电路，用来依据至少所述立体摄影参数集合执行图像形变操作至立体图像输入，所述立体图像输入是从所述立体摄影装置的输出而获得，并据此产生校正的立体图像输出。

22.根据权利要求21所述的主动式立体摄影校正装置，其特征在于，所述图像形变电路依据自校正参数集合执行图像形变操作至立体图像输入，其中所述自校正参数集合是自校正电路基于特征提取与匹配结果执行自校正程序而产生。

23.根据权利要求21所述的主动式立体摄影校正装置，其特征在于，所述图像形变电路依据自动融合参数集合执行图像形变操作至立体图像输入，其中所述自动融合参数集合是自动融合电路基于特征提取与匹配结果执行自动融合程序而产生。

24.根据权利要求13或17所述的主动式立体摄影校正装置，其特征在于，其中所述电子装置是移动电话。

说明书

主动式立体摄影校正装置以及产生立体摄影参数的方法

[0001] 优先权声明

[0002] 本申请主张在2013年7月5日提出申请的美国临时专利申请第61/843，221号的权利，且上述美国专利申请以引用方式并入本文中。

技术领域

[0003] 本发明所揭露的实施方式是与立体摄影装置的校正有关，具体来说，涉及到主动式立体摄影校正装置以及产生立体摄影参数的方法。

背景技术

[0004] 随着科学与技术的发展，相比较于高质量的图像，用户追求更具立体感与真实感的图像。目前，具有两种展现立体图像的技术。一种是使用视频输出装置，其与镜片(例如立体眼镜、偏振眼镜、快门眼镜)合作，另外一种是直接使用一种视频输出装置，而并非与匹配的镜片配合。无论使用哪种技术，产生立体图像显示的主要理论是使得左眼与右眼看到不同的图像(即一个左眼图像与一个右眼图像)，因此大脑将两眼的不同的图像作为一个立体图像。

[0005] 一个左眼图像与一个右眼图像的立体图像组可以通过使用一个立体摄影装置来获得。立体摄影装置是一个摄影机，其具有两个图像传感器，来同时获得两个图片。立体图像组，包含一个左眼图像与一个右眼图像，从而当用户观看时创造一个三维(3D)效果。举例来说，一个智能手机配置有立体摄影模块，该立体摄影模块包含两个图像传感器，每一个图像传感器具有一个透镜。立体摄影模块的捕获结果被处理并且在智能手机的3D板(3D panel)上显示。

[0006] 然而，当制造立体摄影模块时，可能在透镜模块、图像传感模块、以及/或者立体摄影模块的立体摄影布局上具有不可避免的误差。因此，一个立体图像组包含的一个左眼图像与一个右眼图像的基准点(即中心)并非具有X轴的共线性、左眼图像的Y轴与右眼图像的Y轴并不平行、以及/或者左眼图像的Z轴与右眼图像的Z轴并不平行。

[0007] 在智能手机配备有立体摄影模块之后，智能手机的一个图像处理芯片需要应用图像校正至立体摄影模块产生每一立体图像组，来避免/缓和立体摄影模块的内在误差导致的图像质量下降。基于智能手机的图像处理芯片的校正模块，模块厂(module house)需要执行一个线下(离线off-line)立体摄影校正来产生校正模块当前所需的立体摄影参数。然而，当智能手机的图像处理芯片被修正，从而使用不同的校正模块时，模块厂需要执行另外一次线下立体摄影校正，以产生校正模块当前所需的新的立体摄影参数。

[0008] 此外，立体摄影校正程序是在装配程序之后执行。实际上，立体摄影校正程序是由模块厂来完成，而不是由装配厂来完成。因此，多个图像传感器之间的相对位置需要在模块厂以及装配厂之间保持一致。然而，在装配厂中，这是变化的。因此，基于模块厂提供的立体摄影参数所执行的立体图像校正可能不能够有效地减缓由于立体摄影模块的内在误差导致的图像质量下降。

发明内容

[0009] 依据本申请的示范性举例，主动式立体摄影校正装置以及产生立体摄影参数的相关方法被提出，从而解决上述技术问题。

[0010] 根据本发明的第一方面，提供了一种示例性的主动式立体摄影校正方法。主动式立体摄影校正方法由配置了立体摄影装置的电子装置所执行，包含：获取特征点集合；并且至少依据所获取的特征点集合，利用所述电子装置中的立体摄影校正电路来计算立体摄影参数集合。

[0011] 根据本发明的第二方面，提供了一种示例性的配置了立体摄影装置的电子装置中的主动式立体摄影校正装置，包含立体摄影校正电路。所述立体摄影校正电路包含输入接口以及立体摄影校正单元。该输入接口用来获取特征点集合。该立体摄影校正单元用来至少依据所获取的特征点集合计算立体摄影参数集合。

[0012] 在阅读以下对各图及图式中所例示的优选实施例的详细说明之后，本发明的这些及其它目标无疑将对所属领域的技术人员显而易见。

附图说明

[0013] 图1是依据本发明的一个实施例的在模块厂产生特征点集合的举例说明。

[0014] 图2是用来一次拍摄校正的3D校正模型样板的举例说明。

[0015] 图3是具有对称图像传感器的立体摄影模块的举例说明。

[0016] 图4是具有非对称图像传感器的立体摄影模块的举例说明。

[0017] 图5是依据本发明的实施例的支持主动式立体摄影校正的电子装置的举例说明。

[0018] 图6是依据本发明的实施例的第一立体摄影方案的流程图。

[0019] 图7是依据本发明的实施例的支持主动式立体摄影校正的另一电子装置的举例说明。

[0020] 图8是具有对称单透镜图像传感器的模块简化立体摄影机的举例说明。

[0021] 图9是具有非对称单透镜图像传感器的模块简化立体摄影机的举例说明。

[0022] 图10是依据本发明的实施例的第二立体摄影方案的流程图。

[0023] 图11是依据本发明的支持主动式立体摄影校正的又一电子装置的举例说明。

具体实施方式

[0024] 本说明书及权利要求书通篇中所用的某些用语指代特定部件。如所属领域的技术人员可以理解的是，电子设备制造商可利用不同名称来指代同一个部件。本文并非以名称来区分部件，而是以功能来区分部件。在以下说明书及权利要求书中，用语“包括”是开放式的限定词语，因此其应被解释为意指“包括但不限于…”。另外，用语“耦合”旨在意指间接电连接或直接电连接。因此，当一个装置耦合到另一装置时，则这种连接可以是直接电连接或通过其他装置及连接部而实现的间接电连接。

[0025] 本发明的一方面提供了一种跨平台的立体摄影校正，这是一种主动式(on-line)立体摄影校正，其使用由模块厂所提供的特征点集合。相同的特征点集合可用来提供不同的校正模块所需的信息。因此，当一个电子装置(例如一个移动电话)的图像处理芯片被修正，以配置一个新的平台所使用的不同的校正模块时，模块厂不需要为了移动电话中配置的立体摄影模块提供一个新的特征点集合。本发明的另一方面，用来提供一种基于学习的(learning-based)立体摄影校正，其使用经由机器学习所提供的特征点集合。执行自我学习的程序来收集基于由电子装置中配置的立体摄影装置产生的每一立体图像组的特征点。因此，特征点集合是在装配厂所做的装配程序之后获得。尽管由于某些因素，图像传感器之间的相对位置改变了，特征点集合将由自我学习的程序更新。基于自我学习的程序所保持的学习数据组而获得的特征点集合，电子装置所执行的图像校正能够避免/减缓由立体摄影装置的误差导致的图像质量下降。本发明提出用于大规模生产的对称/非对称的立体摄影系统的两种立体摄影校正方案。具体细节如下详述。

[0026] 图1是依据本发明的一个实施例的在模块厂产生特征点集合的举例说明。模块厂制造立体摄影模块104，包含多个图像传感器，每一图像传感器具有一个透镜。举例来说，立体摄影模块104具有至少两个图像传感器，来同时捕获一个左眼图像以及一个右眼图像，即立体摄影模块也可称为双摄像模块，用于产生双摄影图像(即立体图像)。模块厂通过装配立体摄影模块104在一个装配装置(未显示)上来设置一个校正环境。接下来，模块厂可在立体摄影模块104上执行一次拍摄校正(one-shot calibration)。具体来说，立体摄影模块104是用来仅仅拍摄3D校正模型样板CP3D一次，来产生包含左眼图像IMGL与右眼图像IMGR的立体图像组103。需注意的是，使用3D校正模型样板CP3D来实现一次拍摄校正仅仅用来举例说明。可替换地，模块厂可使用不同的校正模型样板。此外，立体图像组103可能通过拍摄多于一次的校正模型样板来产生。

[0027] 图2是用来一次拍摄校正的3D校正模型样板CP3D的举例说明。如图2所示，3D校正模型样板CP3D具有一个颜色模型202位于y-z平面，另一个颜色模型204位于x-z平面，以及另一个颜色模型206位于x-y平面。每一颜色模型202-206具有一个不同颜色成份的棋盘布置。举例来说，颜色模型202具有一个红色(255，0，0)颜色成份(在图2中以“R”来表示)以及一个青色(0，255，255)颜色成份(在图2中以“C”来表示)分布其中，颜色模型204具有一个绿色(0，255，0)颜色成份(在图2中以“G”来表示)以及一个紫红色(255，0，255)的颜色成份(在图2中以“F”来表示)分布其中，以及颜色模型206具有一个蓝色(0，0，255)颜色成份(在图2中以“B”来表示)以及一个黄色(255，255，0)颜色成份(在图2中以“Y”来表示)分布其中。需注意的是，3D校正模型样板CP3D仅仅用于举例说明，而并非作为本发明的限制。举例来说，可以在另一个一次拍摄校正设计中使用不同的校正模型样板。

[0028] 立体摄影模块104产生立体图像组103，包含左眼图像IMGL与右眼图像IMGR，至特征提取电路(feature extraction circuit)106。特征提取电路106被配置来应用特征提取至左眼图像IMGL与右眼图像IMGR。依照3D校正模型样板CP3D的设计，特征提取电路106能够在左眼图像IMGL与右眼图像IMGR中侦测到网格点(grid point)作为特征点，并且存储一个特征点集合FP至一个存储装置108，该特征点集合包含提取的网格点。举例来说，存储装置108可以是一个非易失性存储器，例如电性可擦除程序只读存储器(EEPROM)。立体摄影模块104与存储装置108都是从模块厂提供至装配厂，从而立体摄影模块104以及相关的存储装置108将配置在一个装配厂生产的相同的电子装置(例如移动电话)中。

[0029] 如上所示，模块厂执行离线特征提取来获得特征点集合FP，并且并不需要执行离线立体摄影校正来获得立体摄影参数。需注意的是，立体摄影模块104是立体摄影模块300具有对称的图像传感器301与302(即图像传感器具有相同的分辨率)，如图3所示，或者是一个立体摄影模块400具有非对称的图像传感器，该非对称的图像传感器包含主图像传感器401以及第二(从属)图像传感器402(即图像传感器具有不同的分辨率)，如附图图4所示。因此，模块厂执行特征提取(例如一次拍摄特征提取)，无论立体摄影模块104的类型是什么。
在一个实施例中，当立体摄影模块300/400配置在一个电子装置中时，立体摄影模块300/
400通过一个集成其中的桥接电路连接至图像信号处理器(ISP)304。因此，并不需要额外的桥接集成电路(IC)耦接在ISP以及立体摄影模块的图像传感器之间。

[0030] 依据本发明，在电子装置中通过装配其中的立体摄影模块104与存储装置108执行主动式立体摄影校正，从而获得立体摄影参数。图5是依据本发明的实施例的支持主动式立体摄影校正的电子装置的举例说明。通过举例说明，而并非限制，电子装置500可是一个移动电话。如图5所示，电子装置500包含立体摄影装置502以及主动式立体摄影校正装置504。在这个实施例中，立体摄影装置502是图1中所示的立体摄影模块104。因此，具有存储在其中的特征点集合FP的关联的存储装置108也装配在相同的电子装置500中。主动式立体摄影校正装置504可以集成在电子装置500的一个基带处理芯片中。在这个实施例中，主动式立体摄影校正装置504包含立体摄影校正电路506，图像形变电路(image warping circuit)
508，以及一个或者多个可选的图像处理电路(例如特征提取与匹配电路510，自校正电路(self-rectification circuit)512以及/或者基于双眼视觉的图像自动融合电路514)。

[0031] 立体摄影校正电路506包含输入接口516以及立体摄影校正单元518。输入接口516是用来从存储装置108中获得特征点集合FP。如上所述，特征点集合FP可以从在制造立体摄影模块104的模块厂所执行的一次拍摄校正获得。因此，特征点集合FP是在模块厂所提供的存储装置(例如EEPROM)108中可用的。输入接口516可以是一个存储器接口，该存储器接口负责读取特征点集合FP以及提供特征点集合FP至立体摄影校正单元518。立体摄影校正单元518是配置来通过获取的特征点集合FP计算立体摄影参数集合CP。具体来说，依据图像形变电路508所使用的校正模块，立体摄影校正单元518产生所使用的校正模块所需的立体摄影参数集合CP。举例来说，当图像形变电路508被配置来实施单独形变方案(single-warp solution)，立体摄影校正单元518产生一个立体摄影参数集合CP来满足单独形变方案的需求；并且当图像形变电路508配置为实施双形变方案(dual-warp solution)，立体摄影校正单元518产生另外一个立体摄影参数集合CP来满足双形变方案的需求。简单来说，特征点集合FP是由模块厂产生，并且主动式立体摄影校正装置504支持多种策略来进行立体摄影校正。因此，当主动式立体摄影校正装置504以及立体摄影模块104是在分别的具有不同的硬件配置/限制的电子装置中实施时，主动式立体摄影校正装置504能够依据相同的特征点集合FP在多个电子装置上执行不同的立体摄影校正。由于所提出的立体摄影校正算法，模块厂的影响与成本可以减少，并且立体摄影校正的灵活性能够显著增加。

[0032] 立体摄影参数集合CP可被立体摄影机的几何校正参考。举例来说，立体摄影参数集合CP包含立体摄影模块104的内在参数以及/或者立体摄影模块104的外在参数。内在参数是与透镜以及一个对应的图像传感器之间的关系相关，并且具有透镜畸变(lens distortion)以及一个校正矩阵，包含聚焦长度、基准点、倾斜参数等等。外在参数是与一组透镜以及对应的图像传感器与其他组透镜以及对应的图像传感器之间的关系相，并且具有转换校正、旋转校正等等。

[0033] 图像形变电路508是用来依据至少立体摄影参数集合CP执行图像形变操作至一个立体图像输入IMG_IN，该立体图像输入是从立体摄影装置502(即立体摄影模块104在这个实施例中)的输出而获得，并据此产生一个校正立体图像输出IMG_OUT。需注意的是，立体图像输入IMG_IN可以是立体摄影模块104的一个直接的立体捕获输出，或者是依据立体摄影模块104的立体捕获输出在ISP(例如图3/图4中所示的304)中经由至少一图像处理阶段而产生的图像处理结果。由于立体摄影模块104的误差导致的图像质量下降可以通过依据至少立体摄影参数集合CP而执行的图像形变操作而避免/减缓。需注意的是，图像形变操作可以是单形变操作(其仅仅调整立体图像组中的左眼图像与右眼图像中的一个)或者是一个双形变操作(其调整立体图像组中包含的两个左眼图像与右眼图像)，依据电子装置500的实际平台设计而决定。

[0034] 除了立体摄影参数集合CP，图像形变电路508被设置使用更多参数集合，以使得校正立体图像输出IMG_OUT具有更佳的视觉质量。举例来说，特征提取与匹配电路510处理立体图像输入IMG_IN，来提取在立体图像组中的左眼图像以及右眼图像的特征点，并且找到立体图像组中的左眼图像以及右眼图像的匹配/对应。自校正电路512参考特征提取与匹配结果来决定自校正参数集合P1，用来改善几何约束(geometry constraint)。自动融合电路514参考特征提取与匹配电路510的输出(如果自校正电路512被省略)或者自校正电路512的输出(如果使用自校正电路512)来决定一个自动融合参数集合P2，用来调整体图像组中的左眼图像以及右眼图像之间的视差(disparity)，从而获得更佳的3D显示的视觉效果。在这种情况下，图像形变电路508通过依据立体摄影参数集合CP、以及自校正参数集合P1与自动融合参数集合P2两者中的至少一个，套用图像形变至立体图像输入IMG_IN，从而产生校正立体图像输出IMG_OUT。

[0035] 图6是依据本发明的实施例的第一立体摄影方案方法的流程图。如果结果相同或者相似，各步骤的执行顺序并不局限于图6所示。本发明所提出的第一立体摄影校正方案包含如下步骤：

[0036] 步骤600：开始。

[0037] 步骤602：利用立体摄影模块来拍摄一个3D校正模型样板。

[0038] 步骤604：执行特征提取程序，来获得3D校正模型样板的特征点集合。

[0039] 步骤606：存储特征点集合至存储装置(例如EEPROM)。

[0040] 步骤608：从存储装置中提取特征点集合。

[0041] 步骤610：基于提取的特征点集合执行立体摄影校正程序，并据此产生立体摄影参数集合。

[0042] 步骤612：应用特征提取与匹配至立体图像输入，该立体图像输入是从立体摄影模块的立体捕获输出中获得。

[0043] 步骤614：基于特征提取与匹配结果执行自校正程序，并据此产生自校正参数集合。

[0044] 步骤616：依据特征提取与匹配结果执行自动融合程序，并据此产生自动融合参数集合。

[0045] 步骤618：依据至少立体摄影参数集合套用图像形变至立体图像输入。举例来说，依据立体摄影参数集合与附加的参数集合(例如自校正参数集合以及/或者自动融合参数集合)执行图像形变操作。

[0046] 步骤620：输出校正立体图像输出。

[0047] 步骤622：结束。

[0048] 需注意的是，步骤602-606是在制造立体摄影模块的模块厂执行，并且步骤608-620是在配置了立体摄影模块的电子装置中执行。此外，步骤612、614与616是可选的，依据实际的设计需要而决定。在阅读了上述段落之后，本领域技术人员能够理解图6中所示的每一步骤的具体细节，更进一步的具体说明在此省略。

[0049] 依据如上所述的第一立体摄影校正方案，需要模块厂通过应用一次拍摄校正至立体摄影模块来提供3D校正模型样板的特征点集合。为了节省模块厂的效能与成本，本发明进一步提出一个第二立体摄影校正方案，该第二立体摄影校正方案实施机器学习技术来获得所学的特征点集合，以用于立体摄影校正。依据此处讨论的第二立体摄影校正方案，立体摄影校正不需要校正模型样板，从而允许平台硬件(例如中央处理单元CPU、图形处理单元GPU等等)更具有灵活性，并且为图像传感器的动态瓦片提供了更佳的鲁棒性(robustness)。

[0050] 图7是依据本发明的实施例的支持主动式立体摄影校正的另一电子装置的举例说明。举例来说，但并不局限于，电子装置700是一个移动电话。如图7所示，电子装置700包含立体摄影装置702以及主动式立体摄影校正装置704。在一个示例性设计中，立体摄影装置702可以是图3所示的立体摄影模块300或者图4所示的立体摄影模块400。在另一个示例性设计中，立体摄影装置702可以是一个模块简化立体摄影机800，具有两个对称的单透镜图像传感器801与802(即各个图像传感器具有相同的分辨率，并且各个图像图像传感器是分别被提供，而并非是封装为一个立体摄影模块)，如图8所示，或者是一个模块简化立体摄影机900，有两个非对称的单透镜图像传感器，一个主图像传感器901与一个第二(从属)图像传感器902(即各个图像传感器具有不同的分辨率，并且各个图像图像传感器是分别被提供，而并非是封装为一个立体摄影模块)，如图9所示。因此，电子装置700执行基于学习的立体摄影校正，而无论立体摄影装置702的类型。在一个实施例中，当模块简化(module-less)立体摄影机800/900配置在电子装置中时，模块简化立体摄影机800/900通过一个集成其中的桥接电路连接至图像信号处理器(ISP)304。因此，并不需要额外的桥接集成电路(IC)耦接在ISP以及立体摄影模块的图像传感器之间。

[0051] 主动式立体摄影校正装置704可以集成在电子装置700的基带处理芯片中。在这个实施例中，主动式立体摄影校正装置704包含特征提取与匹配电路706，立体摄影校正电路708，图像形变电路710，一或多个可选的图像处理电路(例如自校正电路712以及/或者自动融合电路714)，自我学习电路716以及存储装置718。

[0052] 特征提取与匹配电路706是配置来处理立体图像输入IMG_IN’，来提取在立体图像输入IMG_IN’中每一立体图像组中的左眼图像以及右眼图像的特征点，并且找到立体图像输入IMG_IN’中每一立体图像组中的左眼图像以及右眼图像的匹配/对应，其中立体图像输入IMG_IN’是通过立体摄影装置702的输出而获得。需注意的是，立体图像输入IMG_IN’可以是立体摄影模块702的输出的一个直接的立体捕获输出，或者是依据立体摄影模块702的输出在ISP(例如图3/图4中所示的304)中经过至少一个图像处理阶段处理之后的处理结果而产生。

[0053] 自我学习电路716是用来依据来自特征提取与匹配电路706的特征提取与匹配结果(例如当前特征点集合FP”)执行自我学习操作，以产生学习数据集合705，并存储学习数据集合705至存储装置718。举例来说，存储装置718是一个非易失性记忆体。具体来说，当用户使用电子装置(例如移动电话)700来获得包含一个左眼图像与一个右眼图像立体图像组，存储装置718中的学习数据集合705由于自我学习操作的增量学习(incremental learning)被创建并更新。换言之，学习数据集合705可响应于立体图像输入MG_IN’中找到的可信任的匹配特征点而更新。然而，使用自我学习电路716来处理特征提取与匹配电路706的输出仅仅是举例说明。具体地，任何能够创建立体摄影校正所需的学习数据集合的基于机器学习的手段都可以采用。此外，通过机器学习以及从学习数据集合获得特征点集合从而产生学习数据集合将落入本发明的范围内。

[0054] 关于立体摄影校正电路708，其包含输入接口720与立体摄影校正单元722。输入接口(例如存储器接口)720是用来从存储装置718中获取特征点集合FP’，并将获得的特征点集合FP’提供至立体摄影校正单元722。由于特征点集合FP’是从存储装置718的学习数据集合705中获取的，特征点集合FP’可视为具有在自我学习的程序中立体摄影装置702产生的立体图像组中收集的历史特征点。

[0055] 立体摄影校正单元722是用来依据至少获取的特征点集合FP’计算立体摄影参数集合CP’。具体来说，基于图像形变电路710所使用的校正模块，立体摄影校正单元722产生所使用的校正模块所需的立体摄影参数集合CP’。举例来说，当图像形变电路710实施单独形变方案，立体摄影校正单元722产生一个立体摄影参数集合CP’来满足单独形变方案的需求；并且当图像形变电路710配置为实施双形变方案，立体摄影校正单元722产生另外一个立体摄影参数集合CP’来满足双形变方案的需求。

[0056] 此外，输入接口720被设置为从特征提取与匹配电路706接收当前特征点集合FP”，包含可信赖匹配特征点。因此，立体摄影校正单元722设置为基于所学习的特征点集合(即特征点集合FP’从学习数据集合705中获得)产生立体摄影参数集合CP’，并且当前特征点集合FP”是从特征提取与匹配电路706当前产生的。这也符合本发明的精神。

[0057] 立体摄影参数集合CP’可被立体摄像机的几何校正参考。举例来说，立体摄影参数集合CP’包含立体摄影装置702的内在参数以及/或者立体摄影装置702的外在参数。内在参数是与透镜以及一个对应的图像传感器之间的关系相关，并且具有透镜畸变(lens distortion)以及一个校正矩阵，包含聚焦长度、基准点、倾斜参数等等。外在参数是与一组透镜以及对应的图像传感器与其他组透镜以及对应的图像传感器之间的关系相，并且具有转换校正、旋转校正等等。

[0058] 在这个实施例中，图像形变电路710用来依据至少立体摄影参数集合CP’执行图像形变操作至立体图像输入IMG_IN’，并据此产生校正立体图像输出IMG_OUT’。由于立体摄影模块702的误差导致的图像质量下降可以通过依据至少立体摄影参数集合CP’而执行的图像形变操作而避免/减缓。需注意的是，图像形变操作可以是单形变操作(其仅仅调整立体图像组中的左眼图像与右眼图像中的一个)或者是一个双形变操作(其调整立体图像组中包含的两个左眼图像与右眼图像)，依据电子装置700的实际平台设计而决定。

[0059] 除了立体摄影参数集合CP’，图像形变电路710被设置使用更多参数集合，以使得校正立体图像输出IMG_OUT’具有更佳的视觉质量。举例来说，自校正电路712参考特征提取与匹配结果来决定自校正参数集合P1’，用来改善几何约束。自动融合电路714参考特征提取与匹配电路706的输出(如果自校正电路712被省略)或者自校正电路712的输出(如果使用自校正电路712)来决定一个自动融合参数集合P2’，用来调整体图像组中的左眼图像以及右眼图像之间的视差，从而获得更佳的3D显示的视觉效果。在这种情况下，图像形变电路710通过依据立体摄影参数集合CP’、以及自校正参数集合P1’与自动融合参数集合P2’两者中的至少一个，套用图像形变至立体图像输入IMG_IN’，从而产生校正立体图像输出IMG_OUT’。

[0060] 图10是依据本发明的实施例的第二立体摄影方案方法的流程图。如果结果相同或者相似，各步骤的执行顺序并不局限于图10所示。本发明所提出的第二立体摄影校正方案包含如下步骤：

[0061] 步骤1000：开始。

[0062] 步骤1002：应用特征提取与匹配至立体图像输入，该立体图像输入是从立体摄影装置的立体捕获输出而获得。在一个示例性设计中，立体摄影装置是一个立体摄影模块。在另一个示例性设计中，立体摄影装置是模块简化的并且具有两个单独的单透镜图像传感器。

[0063] 步骤1004：通过机器学习产生学习数据集合。举例来说，执行自我学习操作来获得学习数据集合。

[0064] 步骤1006：从学习数据集合获得特征点集合。

[0065] 步骤1008：依据至少所获得的特征点集合执行立体摄影校正，并据此产生立体摄影参数集合。

[0066] 步骤1010：基于特征提取与匹配结果执行自校正程序，并据此产生自校正参数集合。

[0067] 步骤1012:基于特征提取与匹配结果执行自动融合程序，并据此产生自动融合参数集合。

[0068] 步骤1014：依据至少立体摄影参数集合套用图像形变至立体图像输入。举例来说，依据立体摄影参数集合与附加的参数集合(例如自校正参数集合以及/或者自动融合参数集合)执行图像形变操作。

[0069] 步骤1016：输出校正立体图像输出。

[0070] 步骤1018：结束。

[0071] 在一个实施例中，所有步骤1002-1016是配置了立体摄影模块的电子装置中执行。此外，至少步骤1010与1012中的一个是可选的，依据实际的设计需要而决定。在阅读了上述段落之后，本领域技术人员能够理解图10中所示的每一步骤的具体细节，更进一步的具体说明在此省略。

[0072] 依据如上所述的第一立体摄影校正方案，立体摄影校正所使用的摄像参数集合是依据模块厂所提供的特征点集合而产生的。依据如上所述的第二立体摄影校正方案，立体摄影校正所使用的摄像参数集合是依据自我学习的程序所保持的学习数据集合中所获得的特征点集合而产生的。在其他的替代设计中，使用同时从模块厂提供的特征点集合以及学习数据集合中获得的特征点集合来获得的特征点，来获得摄像参数集合是灵活可实现的。此外，如图5与图7所示，无论是模块长提供的特征点集合厂或者是从学习数据集合获得的特征点集合都没有在自我校正程序中使用。在另一替代设计中，模块长提供的特征点集合厂以及从学习数据集合获得的特征点集合中的一或两个特征点集合可用来提供自我校正程序中所需的特征点。

[0073] 请参考图11，是依据本发明的支持主动式立体摄影校正的另一电子装置的举例说明。电子装置1100可通过修正图7中的电子装置700而获得。除了自我学习电路716创建并更新的学习数据集合705，主动式立体摄影校正装置1104的存储装置1118可进一步存储模块厂提供的特征点集合FP。在这个实施例中，特征点集合FP’是从输入接口720获取的，可以是从特征点集合FP、学习数据集合705、或者特征点集合FP与学习数据集合705的组合中得到的。换言之，所获取的特征点集合FP’中的至少一部分(即部分或者全部)是从特征点集合FP中获得，或者所获取的特征点集合FP’中的至少一部分(即部分或者全部)是从学习数据集合705而获得。举例来说，一部分特征点集合FP’包含特征点集合FP中记录的特征点，并且特征点集合FP’的另一部分包含学习数据集合705中记录的特征点。

[0074] 所获取的特征点集合FP’提供至立体摄影校正单元722。因此，立体摄影参数集合CP’可基于从特征点集合FP、学习数据集合705、或者特征点集合FP与学习数据集合705的组合而获得的特征点而产生，其依据实际设计需要而决定。

[0075] 在这个实施例中，立体摄影校正电路1108进一步包含一个可选的自校正单元1112。自校正单元1112的功能与操作与自校正电路712相似。自校正单元1112与自校正电路
712的主要区别是自校正单元1112可以使用或获取的特征点集合FP’作为其输入。因此，自校正参数集合P1’可以是依据从特征点集合FP、学习数据集合705、或者特征点集合FP与学习数据集合705的组合而获得的特征点而产生，其依据实际设计需要而决定。

[0076] 在这个实施例中，学习数据集合705与特征点集合FP存储在相同的存储装置1118中。然而，这并非是本发明的限制。此外，特征点集合FP与学习数据集合705也可存储在不同的存储装置中(例如108与718)。

[0077] 本领域技术人员在阅读了图7相关的段落之后，能够了解图11中所示的其他电路单元，更进一步的解释说明在此省略。

[0078] 所属领域的技术人员易知，可在保持本发明的教示内容的同时对装置及方法作出诸多修改及变动。因此，以上公开内容应被视为仅受随附权利要求书的范围的限制。