用于生成3D全景图像的图像生成装置及方法

摘要

本发明涉及一种用于生成3D全景图像的图像生成装置及方法。在图像生成装置中生成3D全景图像的方法包括如下步骤：接收多个2D图像及与多个2D图像对应的多个深度图；基于所述多个深度图，对所述多个2D图像分别设定左眼图像区域及右眼图像区域；合成所述多个2D图像内所设定的各个左眼图像区域的图像而生成左眼全景图像，并合成所述多个2D图像内所设定的各个右眼图像区域的图像而生成右眼全景图像。据此，图像生成装置可以基于2D图像来生成没有失真的3D全景图像。

权利要求

1.一种3D全景图像生成方法，该方法为在图像生成装置中生成3D全景图象的方法，包括如下步骤：接收多个2D图像及与所述多个2D图像对应的多个深度图；

基于所述多个深度图，对所述多个2D图像分别设定左眼图像区域及右眼图像区域；

合成所述多个2D图像内所设定的各个左眼图像区域的图像而生成左眼全景图像，并合成所述多个2D图像内所设定的各个右眼图像区域的图像而生成右眼全景图像，其中，在所述设定的步骤中，分析所述多个深度图中的每一个深度图的各个区域的深度值，以在与具有相似的深度值的区域对应的各个2D图像的图像区域中，把属于已设定的第一区域的图像区域设定为左眼图像区域，并把属于已设定的第二区域的图像区域设定为右眼图像区域。

2.如权利要求1所述的3D全景图像生成方法，其特征在于，所述多个2D图像中的至少一个2D图像与其前后的2D图像的一部分重叠。

3.如权利要求1所述的3D全景图像生成方法，其特征在于，还包括步骤：从所述多个2D图像中提取特征点，其中，在所述生成的步骤中，

基于所述多个左眼图像区域的各个图像的特征点来生成针对所述多个左眼图像区域的左眼全景图像，基于所述多个右眼图像区域的各个图像的特征点来生成针对所述多个右眼图像区域的右眼全景图像。

4.如权利要求3所述的3D全景图像生成方法，其特征在于，还包括如下步骤：估计拍摄所述多个2D图像的拍摄装置的拍摄方向及位置；以及

考虑所述估计结果，把所述多个2D图像及所述多个深度图校正为所述拍摄装置在基准方向及基准位置拍摄时能够获得的基准图像及基准深度图；

其中，在所述设定的步骤中，

基于所述校正的基准深度图来对所述校正的多个2D图像分别设定左眼及右眼图像区域。

5.如权利要求4所述的3D全景图像生成方法，其特征在于，在所述估计的步骤中，基于通过从所述多个2D图像提取到的特征点的变化信息及传感器来测量的结果中的至少一个来估计所述拍摄装置的拍摄方向及位置，其中，所述传感器是惯性测量传感器。

6.如权利要求5所述的3D全景图像生成方法，其特征在于，还包括如下步骤：在没有接收到与所述多个2D图像对应的深度图时，通过与基于经由所述传感器所测量到的结果而估计的所述拍摄装置的方向及位置对应的2D图像之间的图像匹配来生成与所述多个2D图像对应的深度图。

7.如权利要求1所述的3D全景图像生成方法，其特征在于，在所述生成的步骤中，利用图像镶嵌算法来合成所述多个左眼图像区域的图像，并合成所述多个右眼图像区域的图像。

8.一种图像生成装置，包括：

图像输入部，接收多个2D图像及与所述多个2D图像对应的多个深度图；

区域设定部，基于所述多个深度图对所述多个2D图像分别设定左眼图像区域及右眼图像区域；以及控制部，合成所述多个2D图像内所设定的各左眼图像区域的图像来生成左眼全景图像，并合成所述多个2D图像内所设定的各右眼图像区域的图像来生成右眼全景图像，其中，所述区域设定部对所述多个深度图中每一个深度图的各区域的深度值进行分析，以在与具有相似的深度值的区域对应的各个2D图像的图像区域中，把属于已设定的第一区域的图像区域设定为左眼图像区域，并把属于已设定的第二区域的图像区域设定为右眼图像区域。

9.如权利要求8所述的图像生成装置，其特征在于，所述多个2D图像中的至少一个2D图像与其前后的2D图像的一部分重叠。

10.如权利要求8所述的图像生成装置，其特征在于，所述控制部从所述多个2D图像中提取特征点，而且在提取到的所述特征点中，基于所述多个左眼图像区域的各图像的特征点来生成针对所述多个左眼图像区域的左眼全景图像，并基于所述多个右眼图像区域的各图像的特征点来生成针对所述多个右眼图像区域的右眼全景图像。

11.如权利要求10所述的图像生成装置，其特征在于，还包括：位置估计部，估计拍摄所述多个2D图像的拍摄装置的拍摄方向及位置；以及图像变换部，考虑由所述位置估计部估计到的估计结果，把所述多个2D图像及所述多个深度图校正为所述拍摄装置在基准方向及基准位置拍摄时所能够获得的基准图像及基准深度图，而且所述区域设定部基于所述校正的基准深度图来对所述校正的多个2D图像分别设定左眼及右眼图像区域。

说明书

用于生成3D全景图像的图像生成装置及方法

技术领域

[0001] 本发明涉及一种用于生成3D全景图像的图像生成装置及方法，具体而言，涉及一种用于基于多个2D图像以及与多个2D图像分别对应的深度图(depth map)来生成3D全景图像的图像生成装置及方法。

背景技术

[0002] 随着电子技术的发展，多种类型的电子产品得到开发和普及。尤其，TV、手机、PC、笔记本电脑、PDA等各种拍摄装置在大部分一般家庭中也都广泛使用。

[0003] 随着拍摄装置的使用增加，用户对更为多样的功能的需求(needs)也随之增大。据此，各制造商为符合用户需求加大了努力，从而具备以往没有的新技能的产品也正在陆续登场。

[0004] 特别是，近来开发的智能手机或平板电脑等电子装置可利用通过内置摄像机连续拍摄的2D图像而生成2D全景图像。进一步地，最近开发的电子装置可以利用连续拍摄的多个2D图像生成3D全景图像。下述的方式作为如上所述的用于基于多个2D图像来生成3D全景图像的方式而得到应用。

[0005] 第一，是一种利用2D全景图像和深度全景图像生成3D全景图像的方式(以下称为‘第一现有技术’)。具体而言，第一现有技术利用连续拍摄的多个2D图像生成2D全景图像，并根据与多个2D图像分别对应的多个深度图来生成深度全景图像。之后，第一现有技术基于利用多个深度图生成的深度全景图像来把2D全景图像生成为3D全景图像。

[0006] 但是，如上所述的通过第一现有技术生成3D全景图像时，存在背景区域上发生隐藏区域的问题，而且对隐藏区域执行孔填充时，会存在基于孔填充的3D全景图像上出现图像缺陷的问题。

[0007] 第二，是一种在2D图像中提取摄像机的条带(Strip)而生成两个系列的条带(Strip)，并且对这两个系列的条带进行镶嵌(Mosaicing)处理或者拼接(stitching)处理而生成3D全景图像的方式(以下统称为‘第二现有技术’)。

[0008] 但是，在通过上述的第二现有技术从2D影像生成稳定的条带时，会存在必须得利用专门的旋转型机械装置的问题。即，在从2D图像中生成稳定的条带时，2D图像的拍摄方向或拍摄装置的移动方向需要以垂直方向移动。但是，用户拍摄时的拍摄装置的拍摄方向及移动方向不规则，因此，连续拍摄的2D图像会发生缺陷或失真。因此，利用这种发生失真的2D图像生成3D全景图像时，会存在所生成的3D全景图像上发生阶梯型图像缺陷、结构失真及发生全景图像生成区域减少的飘移(Drift)现象等问题。

发明内容

[0009] 本发明是根据上述的必要性而提出的，本发明的目的在于从多个2D图像中生成没有失真的3D全景图像。

[0010] 进一步地，本发明的目的在于在没有专门的补助装置的情况下利用手提式(Hand-Held)摄像机生成没有失真的3D全景图像。

[0011] 用于达成上述目的的根据本发明的一实施例的图像生成装置上生成3D全景图像的方法包括如下步骤：接收多个2D图像及与多个2D图像对应的多个深度图；基于所述多个深度图，对所述多个2D图像分别设定左眼图像区域及右眼图像区域；合成所述多个2D图像内所设定的各个左眼图像区域的图像而生成左眼全景图像，并合成所述多个2D图像内所设定的各个右眼图像区域的图像而生成右眼全景图像。

[0012] 而且，所述多个2D图像中至少一个2D图像与前后2D图像的一部分重叠。

[0013] 另外，在所述设定的步骤中，可以分析所述多个深度图各自的区域的深度值，以在与具有相似深度值的区域对应的各个2D图像的图像区域中，把属于已设定的第一区域的图像区域设定为左眼图像区域，并把属于已设定的第二区域的图像区域设定为右眼图像区域。

[0014] 而且，在所述设定的步骤中，可以利用色彩分割算法设定所述多个2D图像各自的图像区域，并在所设定的所述图像区域中，把属于已设定的第一区域的图像区域设定为左眼图像区域，并把属于已设定的第二区域的图像区域设定为右眼图像区域。

[0015] 另外，还包括从所述多个2D图像中提取特征点的步骤，而且在所述生成的步骤中，基于所述多个左眼图像区域的各图像的特征点来生成针对所述多个左眼图像区域的左眼全景图像，并基于所述多个右眼图像区域的各图像的特征点来生成针对所述多个右眼图像区域的右眼全景图像。

[0016] 而且，还包括如下步骤：估计拍摄所述多个2D图像的所述拍摄装置的拍摄方向及位置；考虑所述估计结果，把所述多个2D图像及所述多个深度图校正为所述拍摄装置在基准方向及基准位置拍摄时能够获得的基准图像及基准深度图；而且在所述设定的步骤中，可基于所述校正的基准深度图来对所述校正的多个2D图像分别设定左眼及右眼图像区域。

[0017] 另外，在所述估计的步骤中，基于通过从所述多个2D图像提取到的特征点的变化信息及传感器来测到的结果中的至少一个来估计所述拍摄装置的拍摄方向及位置，而且所述传感器可以是惯性测量传感器(IMU)。

[0018] 而且，还可以包括如下步骤：在没有接收到与所述多个2D图像对应的深度图时，通过与基于经由所述传感器所测量到的结果而估计的所述拍摄装置的方向及位置对应的2D图像之间的图像匹配(Stereo Matching)来生成与所述多个2D图像对应的深度图。

[0019] 另外，所述生成的步骤可以利用图像镶嵌算法来合成所述多个左眼图像区域的图像，还可以合成所述多个右眼图像区域的图像。

[0020] 另外，根据本发明的另一实施例，图像生成装置包括：图像输入部，接收多个2D图像及与所述多个2D图像对应的多个深度图；区域设定部，基于所述多个深度图对所述多个2D图像分别设定左眼图像区域及右眼图像区域；以及控制部，合成所述多个2D图像内所设定的各左眼图像区域的图像来生成左眼全景图像，并合成所述多个2D图像内所设定的各右眼图像区域的图像来生成右眼全景图像。

[0021] 而且，所述多个2D图像中至少一个2D图像可以与前后2D图像的一部分重叠。

[0022] 另外，所述区域设定部可以对多个深度图各自的各区域的深度值进行分析，以在与具有相似的深度值的区域对应的各个2D图像的图像区域中，把属于已设定的第一区域的图像区域设定为左眼图像区域，并把属于已设定的第二区域的图像区域设定为右眼图像区域。

[0023] 而且，所述区域设定部可以利用色彩分割算法对所述多个2D图像分别设定图像区域，并在所设定的所述图像区域中，把属于已设定的第一区域的图像区域设定为左眼图像区域，把属于已设定的第二区域的图像区域设定为右眼体现区域。

[0024] 另外，所述控制部可以从所述多个2D图像中提取特征点，而且在提取到的所述特征点中，可以基于所述多个左眼图像区域的各图像特征点来生成针对所述多个左眼图像区域的左眼全景图像，并基于所述多个右眼图像区域的各图像的特征点来生成针对所述多个右眼图像区域的右眼全景图像。

[0025] 而且，还可以包括：位置估计部，估计拍摄所述多个2D图像的拍摄装置的拍摄方向及位置；图像变换部，考虑由所述位置估计部估计到的估计结果，把所述多个2D图像及所述多个深度图校正为所述拍摄装置在基准方向及基准位置拍摄时能够获得的基准图像及基准深度图，而且所述区域设定部可以基于所述校正的基准深度图来对所述校正的多个2D图像分别设定左眼及右眼图像区域。

[0026] 另外，所述位置估计部基于通过从所述多个2D图像提取到的特征点的变化信息及传感器来测到的结果中的至少一个来估计所述拍摄装置的拍摄方向及位置，而且所述传感器可以是惯性测量传感器(Inertial Measurement Unit:IMU)。

[0027] 还有，在没有接收到与所述多个2D图像对应的深度图时，所述控制部可以通过与基于经由所述传感器所测量的结果而估计的所述拍摄装置的方向及位置对应的2D图像之间的图像匹配(Stereo Matching)来生成与所述多个2D图像对应的深度图。

[0028] 另外，所述控制部可以利用图像镶嵌算法来合成所述多个左眼图像区域的图像，还可以合成所述多个右眼图像区域的图像。

[0029] 如上所述地，根据本发明的多样的实施例，图像生成装置可以基于多个2D图像来生成无失真的3D全景图像。

附图说明

[0030] 图1是根据本发明的一实施例的将多个2D图像生成为3D全景图像的图像生成装置的模块图。

[0031] 图2是根据本发明的一实施例的图像生成装置的详细模块图。

[0032] 图3是在根据本发明的一实施例的图像生成装置中，基于多个2D图像来生成与多个2D图像对应的深度图的示例图。

[0033] 图4是在根据本发明的一实施例的图像生成装置中，基于2D图像的深度图来设定为左眼图像区域的示例图。

[0034] 图5是在根据本发明的一实施例的图像生成装置中，基于2D图像的深度图来设定为右眼图像区域的示例图。

[0035] 图6是根据本发明的一实施例的拍摄装置的模块图。

[0036] 图7是根据本发明的一实施例的图像生成装置中生成3D全景图像的方法的流程图。

具体实施方式

[0037] 图1是根据本发明的一实施例的把多个2D图像生成为3D全景图像的图像生成装置的模块图。

[0038] 如图1所示，图像生成装置100可以是能够拍摄2D形态的全景图像的摄像机。这种图像生成装置100包括：图像输入部110、区域设定部120以及控制部130。

[0039] 图像输入部110接收多个2D图像及与多个2D图像分别对应的多个深度图的输入。在此，优选地，多个2D图像分别与其前后的2D图像的一部分重叠。这种多个2D图像是下述的拍摄装置10所拍摄的图像，与多个2D图像分别对应的多个深度图可以在图像生成装置100内生成或者从外部装置(未图示)接收。但是，本发明并不局限于此，多个2D图像以及与多个
2D图像分别对应的深度图可以从外部装置(未图示)接收。在此，生成与多个2D图像分别对应的深度图的外部装置(未图示)可以是深度图像拍摄装置。这种深度图像拍摄装置可通过图案投影(pattern projection)方式、立体相机(stereo camera)方式、飞行时间(Time of Flight)方式中的至少一种方式来生成与多个2D图像分别对应的深度图。

[0040] 区域设定部120根据多个深度图，对与多个深度图分别对应的多个2D图像分别设定左眼图像区域及右眼图像区域。

[0041] 根据一实施例，区域设定部120对多个深度图分别按区域分析深度值，并在与具有相似的深度值的区域对应的各个2D图像的图像区域中，把属于已设定的第一区域的图像区域设定为左眼图像区域，把属于已设定的第二区域的图像区域可设定为右眼图像区域。

[0042] 根据其他的实施例，区域设定部120可以利用色彩分割算法(color segmentation algorithm)对多个2D图像分别设定图像区域，并在设定的图像区域中，把属于已设定的第一区域的图像区域设定为左眼图像区域，把属于已设定的第二区域的图像区域设定为右眼图像区域。

[0043] 控制部130对图像生成装置100的各构成的动作进行全面的控制。尤其是，控制部130对多个2D图像内所设定的各个左眼图像区域的图像进行合成而生成左眼全景图像。另外，控制部130对多个2D图像内所设定的各个右眼区域的图像进行合成而生成右眼全景图像。

[0044] 具体而言，控制部130从多个2D图像中分别提取特征点。在此，从2D图像提取特征点的技术是公知技术，所以本发明省略详细的说明。如果从这种多个2D图像中分别提取到特征点，则控制部130在由多个2D图像所分别提取到的特征点中，基于多个左眼图像区域的各图像的特征点来生成对应于多个左眼图像区域的左眼全景图像。还有，控制部130基于多个右眼图像区域的各图像的特征点来生成针对右眼图像区域的右眼全景图像。

[0045] 根据实施例，控制部130可利用图像镶嵌(image mosaicking)算法合成多个左眼图像区域的图像而生成左眼全景图像，并合成多个右眼图像区域的图像而生成右眼全景图像。合成这样的图像来合成全景图像的技术是公知技术，因此在本发明省略详细的说明。

[0046] 图2是根据本发明的一实施例的图像生成装置的详细模块图。

[0047] 如图2所示，图像生成装置100除了前述的图像输入部110、区域设定部120、及控制部130等构成以外，还可以额外地包括位置估计部140以及图像变换部150[0048] 位置估计部140估计拍摄多个2D图像的拍摄装置10的拍摄方向及位置，图像变换部150考虑由位置估计部140所估计的估计结果而把多个2D图像及多个深度图校正为拍摄装置10在基准方向及基准位置拍摄时可以获得的基准图像及基准深度图。因此，区域设定部120可针对基于通过图像变换部150校正的基准深度图而得到校正的多个2D图像中的每一个2D图像分别设定左眼及右眼图像区域。

[0049] 另外，估计拍摄装置10的拍摄方向及位置的位置估计部140可基于从多个2D图像提取的特征点的变化信息及通过传感器测量的结果中的至少一个来估计拍摄装置10的拍摄方向及位置。在此，传感器是检测运动的惯性力来提供作为惯性测量对象的拍摄装置10的加速度、速度、方向、距离等多种导航相关信息的惯性测量传感器(IMU)，其可以是加速度传感器、陀螺仪传感器以及地磁传感器中的至少一种。

[0050] 另外，如果没有输入对应于多个2D图像的深度图，控制部130可以通过与被估计的拍摄装置10的方向及位置对应的2D图像之间的图像匹配(Stereo Matching)来生成与多个2D图像对应的深度图，其中拍摄装置10的方向及位置是基于通过位置估计部140测量的结果来估计的。

[0051] 以下，对通过前述的图像生成装置100由2D图像生成3D全景图像的操作进行更为详细的说明。

[0052] 图3是根据本发明的一实施例的在图像生成装置中基于多个2D图像来生成与多个2D图像对应的深度图的示例图。

[0053] 拍摄装置10可以从左侧向右侧方向移动的同时拍摄被摄体，从而在左侧和右侧方向分别进行拍摄。拍摄装置10在左侧方向拍摄被摄体时，如图3的(a)所示，可以生成与在左侧拍摄的被摄体对应的第一2D图像310。此外，拍摄装置10在右侧方向拍摄被摄体时，如图3的(b)所示，可以生成与在右侧拍摄的被摄体对应的第二2D图像320。

[0054] 如此，生成第一及第二2D图像310、320时，控制部130对第一2D图像310所包含的第1-1对象311及第1-2对象313的特征点和第二2D影像320所包含的第2-1对象321及第2-2对象323的特征点进行比较。即，控制部130比较与第一2D图像310所包含的第1-1对象311的特征点对应的像素值和与第二2D图像320所包含的第2-1对象321的特征点对应的像素值。另外，控制部130比较与第一2D图像310所包含的第1-2对象313的特征点对应的像素值和与第二2D图像320所包含的第2-2对象323的特征点对应的像素值。

[0055] 根据比较结果，如果第1-2对象313和第2-2对象323之间的像素值之差大于已设定的临界值，而第1-1对象311和第2-1对象321之间的像素值之差小于已设定的临界值，则控制部130判断为第1-2对象313和第2-2对象323位于与拍摄装置10距离近的位置。即，与拍摄装置10距离较近的对象的位置变化相对大于与拍摄装置10距离较远的对象的位置变化。

[0056] 因此，控制部130把第一2D图像310所包含的第1-2对象313和第二2D图像320所包含的第2-2对象323的深度值设定为比第一2D图像310包含的第1-1对象311和第二2D图像320包含的第2-1对象321的深度值更高，由此生成针对第一及第二2D图像310、320各自的深度图。

[0057] 不仅如此，控制部130可以根据通过拍摄装置10拍摄的第一2D图像310所包含的第1-1对象311及第1-2对象313的特征点和第二2D图像320所包含的第2-1对象321及第2-2对象323的特征点来估计拍摄装置10的拍摄方向及位置。

[0058] 据此，根据本发明的图像生成装置100可在通过多个2D图像被拍摄时的拍摄装置10的拍摄方向及位置而将由拍摄装置10所拍摄到的多个2D图像中，除去逆方向上拍摄的2D图像之外的剩余的2D图像确定为用于生成3D全景图像的图像。

[0059] 如上所述地，当通过第一2D图像310及第二2D图像320估计出拍摄第一2D图像310及第二2D图像320的拍摄装置10的拍摄方向及位置时，图像变换部150可以估计随后拍摄2D图像时的拍摄装置10的拍摄方向及位置，并基于此，可通过拍摄装置10的拍摄方向及位置来判断拍摄装置10的移动轨迹。即，图像变换部150可以确定在三维空间上的拍摄装置10移动轨迹的坐标值，并基于该确定的坐标值来把以往的移动轨迹变形为能够使错误率最小化的移动轨迹。在此，变形的移动轨迹可以是拍摄装置10能够在基准方向及基准位置进行2D图像拍摄的地点。因此，这种以往的移动轨迹变形时，图像变换部150可以根据以往的移动轨迹上的坐标值和变形的移动轨迹上的坐标值的变化程度，把2D图像校正为基准2D图像，并基于校正的基准2D图像而把对应于各个校正前的2D图像的深度图校正为对应于各个基准2D图像的深度图。

[0060] 如上所述地，多个2D图像及与多个2D图像分别对应的深度图得到校正时，区域设定部120可以根据校正后的深度图设定与校正后的各个2D图像对应的左眼及右眼图像区域。

[0061] 图4是由根据本发明的一实施例的图像生成装置基于2D图像的深度图设定为右眼图像区域的示例图，图5是由根据本发明的一实施例的图像生成装置基于2D图像的深度图来设定为左眼图像区域的示例图。

[0062] 如图4所示地，区域设定部120在输入的第一深度图410及第二深度图420各个区域中，分析属于第一区域411、421的深度值而分离具有相似的深度值的区域。即，区域设定部120可在第一深度图410的第一区域411上把a区域411-1、b区域411-2、及c区域411-3分离为具有相似的深度值的区域。因此，区域设定部120可以把具有相似的深度值的a区域411-1、b区域411-2以及c区域411-3设定为第一深度图410的右眼图像区域。另外，区域设定部120可在第二深度图420的第一区域421上把d区域421-1、e区域421-2及f区域421-3分离为具有相似的深度值的区域。因此，区域设定部120可以把具有相似的深度值的d区域421-1、e区域
421-2以及f区域421-3设定为第二深度图420的右眼图像区域。如此，在第一深度图410及第二深度图420各自的第一区域411、421上右眼图像区域被设定时，控制部130在与第一深度图410及第二深度图420分别对应的第一2D图像及第二2D图像中获得对应于右眼图像区域的第一图像430和第二图像440。之后，控制部130基于从与第一深度图410及第二深度图420分别对应的第一2D图像及第二2D图像中获得的第一图像430及第二图像440各自的特征点来合成第一图像430及第二图像440，由此生成右眼全景图像。

[0063] 与此相同，如图5所示，区域设定部120在输入的第一深度图410及第二深度图420各自的区域中分析属于第二区域413、423的深度值而分离具有相似的深度值的区域。即，区域设定部120可在第一深度图410的第二区域413上把a’区域413-1、b’区域413-2以及c’区域413-3分离为具有相似的深度值的区域。据此，区域设定部120可以把具有相似的深度值的a’区域413-1，b’区域413-2以及c’区域413-3设定为第一深度图410的左眼图像区域。另外，区域设定部120可在第二深度图420的第二区域423上把d’区域423-1、e’区域423-2、f’区域423-3分离为具有相似的深度值的区域。据此，区域设定部120可以把具有相似的深度值的d’区域423-1、e’区域423-2、f’区域423-3设定为第二深度图410的左眼图像区域。

[0064] 如上所述地，第一深度图410及第二深度图420各自的第二区域413,423上右眼图像区域被设定时，控制部130可在与第一深度图410及第二深度图410、420分别对应的第一D图像及第二2D图像中获得与左眼图像区域对应的第一图像460及第二图像470。之后，控制部130可基于从与第一深度图410及第二深度图420分别对应的第一D图像及第二2D图像中获得的第一图像460及第二图像470各自的特征点来合成第一图像460及第二图像470，由此生成左眼全景图像。

[0065] 目前为止，对在根据本发明的图像生成装置100中基于与多个2D图像分别对应的多个深度图来生成针对多个2D图像的3D全景图像的操作进行了详细的说明。

[0066] 以下，对包含前述的图像生成装置100的拍摄装置10的各个构成进行详细的说明。

[0067] 图6是根据本发明的一实施例的拍摄装置的模块图。

[0068] 拍摄装置10可包括：通信部610、输入部620、拍摄部630、图像处理部640、全景图像生成部650、显示部660、存储部670以及控制部680。

[0069] 通信部610可以与外部装置(未图示)执行数据通信而接收与由外部装置(未图示)生成的多个2D图像分别对应的深度图。另外，通信部610与智能电视、平板电脑等电子设备执行有线无线通信而传送基于多个2D图像生成的3D全景图像。这种通信部610可以包括无线通信模块以及有线通信模块。在此，有线通信模块可以是向外部装置(未图示)提供接口的USB通信模块，而无线通信模块可包含近距离通信模块及远距离通信模块中的至少一种。近距离通信模块可包含无线直接接入(WiFi Direct)通信模块，蓝牙(Bluetooth)模块、红外线通信(IrDA,infrared data association)模块、近场通讯(NFC，Near Field Communication)、无线传感器网络(ZigBee)模块中的至少一种。而且，远距离通信模块包含蜂窝通信(cellular communication)模块、3G移动通信模块、4G移动通信模块、4G LTE(Long Term Evolution)通信模块中的至少一种。

[0070] 输入部620是用于接收用户命令的构成，其包含至少一个按钮。不仅如此，输入部620可以在显示部660上实现为触摸屏幕形态而接收用户的触摸命令。这种输入部620可通过按钮或触摸屏幕接收针对于图像的单张拍摄命令、全景拍摄命令等，或者可以接收针对根据全景拍摄命令而连接拍摄的多个2D图像的3D全景图像生成命令。

[0071] 摄影部630可以根据通过输入部620输入的拍摄命令来执行单张拍摄或者全景图像拍摄。这种拍摄部630可以包括镜头、快门、光圈、固态摄像器件、模拟前端(AFE，Analog Front End)、定时脉冲发生器(TG、Timing Generator)以及图像传感器。快门可调节被摄体上反射的光照进图像传感器的时间，光圈通过机械地增加或减小用于使光照进来的开口部的大小而调节入射到镜头的光量。固态摄像器件在被摄体上反射的光积累为光电荷时，可以把由光电荷形成的像输出为电信号。TG输出用于导出固态摄像装置的像素数据的时序信号，AFE对从固态摄像装置输出的电信号进行采样并数字化。当全景图像拍摄命令通过输入部620输入时，上述的拍摄部630可以对位于用户拍摄方向的被摄体执行连续拍摄。这种拍摄图像的拍摄部630的构成是公知技术，因此本发明中省略详细的说明。

[0072] 图像处理部640将针对通过拍摄部630连续拍摄的2D图像各自的原始图像数据制造为YCbCr数据，并确定图像黑电平，且调整各颜色的敏感度。除此之外，图像处理部640还可以对连续拍摄的多个2D图像执行白平衡、伽玛校正、色彩差补、色彩校正、分辨率变换等。

[0073] 全景图像生成部650利用前述的图像生成装置100，基于通过图像处理部640处理的多个2D图像及与多个2D图像分别对应的深度图来生成3D全景图像。如前所述，当接收到多个2D图像及与多个2D图像分别对应的深度图时，全景图像生成部650基于多个深度图设定针对多个2D图像各自的左眼图像区域及右眼图像区域。

[0074] 根据一实施例，全景图像生成部650分析多个深度图各自的各区域的深度值，并且在与具有相似深度值的区域对应的各个2D图像的图像区域中，可把属于第一区域的图像区域设定为左眼图像区域，把属于已设定的第二区域的图像区域设定为右眼图像区域。根据另一实施例，全景图像生成部650可利用色彩分割算法设定多个2D图像各自的图像区域，并在所设定的图像区域中，把属于第一区域的图像区域设定为左眼图像区域，并把属于已设定的第二区域的图像区域设定为右眼图像区域。

[0075] 如上所述地，在多个2D图像内左眼及右眼图像区域被设定时，全景图像生成部650合成多个2D图像内所设定的各左眼图像区域的图像而生成左眼全景图像。同样地，全景图像生成部650合成多个2D图像内所设定的各右眼图像区域的图像而生成右眼全景图像。具体而言，全景图像生成部650从多个2D图像中提取特征点，而且在提取的特征点中，基于多个左眼图像区域的各个图像的特征点来合成针对左眼图像区域的图像，由此可以生成左眼全景图像。同样地，全景图像生成部650在从多个2D图像里提取的特征点中，基于多个右眼图像区域的各个图像的特征点来合成针对右眼图像区域的图像，由此可以生成右眼全景图像。

[0076] 显示部660可以显示拍摄到的2D图像或从多个2D图像中生成的3D全景图像。为此，显示部660可以由液晶显示装置(Liquid Crystal Display,LCD)、有机电致发光二极管(Organic Light Emiiting Display,OLED)或者等离子显示板(Plasma Display Panel,PDP)等来实现。

[0077] 存储部670存储拍摄到的2D图像或由多个2D图像生成的3D全景图像。这种存储部670可以由非挥发性存储器(例如，闪速存储器、EEROM(Electrically Erasable ROM))，硬盘等存储介质来实现。

[0078] 控制部680对构成拍摄装置10的各构成的动作进行全面的控制。具体而言，如果接收到针对通过显示部660显示的实时取景(live view)图像的全景拍摄命令，则控制部680可控制为通过拍摄部630来执行连续拍摄，并控制图像处理部640使其对通过拍摄部630连续拍摄到的2D图像进行图像处理。另外，控制部680把通过图像处理部640得到图像处理的多个2D图像以及与通过通信部610所接收到的多个2D图像分别对应的深度图传送到全景图像生成部650，并控制全景图像生成部650使其生成针对多个2D图像的3D全景图像。

[0079] 目前为止，对根据本发明的拍摄装置10的各个构成做出了详细的说明。以下，将对在根据本发明的图像生成装置100中基于多个2D图像来生成3D全景图像的方法做出详细的说明。

[0080] 图7是在根据本发明的一实施例的图像生成装置中生成3D全景图像的方法的流程图。

[0081] 如图7所示地，图像生成装置100接收多个2D图像及与多个2D图像分别对应的多个深度图像(S710)。在此，优选地，多个2D图像分别与其前后的2D图像的一部分重叠。这种多个2D图像是由拍摄装置10拍摄到的图像，而与多个2D图像分别对应的多个深度图可以在图像生成装置100内生成，或者可以从外部装置(未图示)中接收。在此，生成与多个2D图像分别对应的深度图的外部装置(未图示)可以是深度图像拍摄装置。这种深度图像拍摄装置通过图案投影方式、立体相机方式以及Time of Flight方式中的至少一种方式来生成与多个2D图像分别对应的深度图。

[0082] 另外，如果与多个2D图像分别对应的多个深度图没有被输入，则图像生成装置100可以通过与经过后述的步骤估计到的拍摄装置10的拍摄方向及位置对应的2D图像之间的图像匹配来生成与多个2D图像对应的深度图。

[0083] 如果通过这种多样的实施例而接收到多个2D图像及与多个2D图像分别对应的深度图，则图像生成装置100从多个2D图像中分别提取特征点(S720)。之后，图像生成装置100对拍摄多个2D图像的拍摄装置10的拍摄方向及位置进行估计(S730)。根据实施例，图像生成装置100可基于从多个2D图像中提取到的特征点的变化信息及通过传感器测量到的结果中的至少根据一个来估计拍摄装置10的拍摄方向及位置。在此，传感器是惯性测量传感器(IMU)，具有检测运动的惯性力而提供作为惯性测量对象的拍摄装置10的加速度、速度、方向、距离等多种导航相关信息的作用，其可以是加速度传感器、陀螺传感器以及地磁传感器中的至少一种传感器。

[0084] 通过这种实施例估计到拍摄装置10的拍摄方向及位置时，图像生成装置100考虑到所估计的估计结果，把多个2D图像及多个深度图校正为拍摄装置10从基准方向及基准位置拍摄时能够获得的基准图像及基准深度图(S740)。

[0085] 之后，图像生成装置100基于多个深度图对多个2D图像分别设定左眼图像区域及右眼图像区域(S750)。根据一实施例，图像生成部100可对多个深度图各自的各区域的深度值进行分析，并在与具有相似的深度值的区域对应的各个2D图像的图像区域中，把属于已设定的第一区域的图像区域设定为左眼图像区域，把属于已设定的第二区域的图像区域设定为右眼图像区域。根据另一实施例，图像生成装置100可以利用色彩分割算法设定多个2D图像各自的图像区域，并在设定的图像区域中，把属于已设定的第一区域的图像区域设定为左眼图像区域，把属于已设定的第二区域的图像区域设定为右眼图像区域。

[0086] 根据这样的多样的实施例，如果针对多个2D图像各自的左眼及右眼图像区域被设定，则图像生成装置100合成多个2D图像内所设定的各个左眼图像区域的图像而生成左眼全景图像，并合成多个2D图像内所设定的各个右眼图像区域的图像而生成右眼全景图像(S760)。

[0087] 具体而言，图像生成装置100可在从多个2D图像上分别提取到的特征点中，基于多个左眼图像区域的各图像的特征点来生成针对多个左眼图像区域的左眼全景图像，并基于多个右眼图像区域的各图像的特征点来生成针对多个右眼图像区域的右眼全景图像。根据实施例，图像生成装置100可以利用图像镶嵌算法来合成多个左眼图像区域的图像而生成左眼全景图像，并合成多个右眼图像区域的图像来生成右眼全景图像。

[0088] 以上，对本发明以优选的实施例为中心进行了观察。

[0089] 以上对本法明优选的实施例给出了图示和说明，但是本发明并不局限于所述特定的实施例，只要是本发明所属的技术领域中具有普通知识的人员皆可在不脱离权利要求书中请求保护的本发明主旨的情况下实现多样的变形实施，这些变形实施不能脱离本发明的技术思想或前景而得到个别的理解。