本发明提供一种基于多通道图像融合的全景图像拼接方法，其包括如下步骤：(a)通过拼接式全景摄像机获取多路RGB三通道图像；(b)为每一路RGB三通道图像添加一Alpha通道，得到多路RGBA四通道图像；(c)通过计算机图形学方法对多路RGBA四通道图像进行图像融合，实现球体全景拼接。
1.一种基于多通道图像融合的全景图像拼接方法，其包括如下步骤：(a)通过拼接式全景摄像机获取多路RGB三通道图像；
(b)为每一路RGB三通道图像添加一Alpha通道，得到多路RGBA四通道图像；
(c)通过计算机图形学方法对多路RGBA四通道图像进行图像融合，实现球体全景拼接；
(c1)将球体进行拆分，并对拆分后的区域进行三角型网格划分，得到包括多个三角分块的三角型网格模型；
(c2)获取多路四通道RGBA图像与所述三角型网格模型的映射关系；
(c3)利用所述映射关系将多路RGBA四通道图像的纹理坐标与所述三角型网格模型的空间顶点坐标进行实时对应，并通过OpenGL图形处理技术将所述三角型网格模型中的表面纹理替换为所述RGBA四通道图像的动态纹理以实现全景图像的无缝拼接；
首先，根据所述多路RGB三通道图像之间的特征关系获取多路RGB三通道图像之间的邻域关系；
然后，多路RGB三通道图像之间的邻域关系将多路RGB三通道图像合成一平面图，并将该平面图首尾相连形成一柱面图，该柱面图对应一圆柱体；
最后，构造与该圆柱体的柱面相切的球体，将柱面图上的图像点投影到球体的球面上，从而获取多路四通道RGBA图像与球面网格模型之间的映射关系。
2.一种如权利要求1所述的基于多通道图像融合的全景图像拼接方法，其特征在于，步骤(a)为通过拼接式全景摄像机采集不同相机在同一时刻不同方向上拍摄的视频流，并且通过计算机解码技术对该采集的视频流进行解码而获取多路RGB三通道图像。
3.一种如权利要求1所述的基于多通道图像融合的全景图像拼接方法，其特征在于，步骤(b)具体包括以下步骤：(b1)寻找多路RGB三通道图像之间的重叠区域，对应构造多路Alpha通道图像；
(b2)将RGB三通道图像分解成R通道图像、G通道图像以及B通道图像，再将R通道图像、G通道图像以及B通道图像与对应的Alpha通道图像合成，得到多路RGBA四通道图像。
4.一种如权利要求3所述的基于多通道图像融合的全景图像拼接方法，其特征在于，所述步骤(b1)具体为：首先，采用特征匹配法获取多路RGB三通道图像之间的特征关系，采用动态规划法依据相似性准则找出符合最有条件的缝合线，即为多路RGB三通道图像之间的重叠区域；
然后，构造与RGB三通道图像大小相同的Alpha通道图像，并将非重叠区域的Alpha通道图像的数值设为255；
最后，设定所述重叠区域的Alpha通道图像的数值，该重叠区域的Alpha通道的数值采取255-0渐变。
5.一种如权利要求4所述的基于多通道图像融合的全景图像拼接方法，其特征在于，所述步骤(c1)具体为：采用自由网格划分方式对所述球体拆分后的区域进行三角型网格划分。
6.一种如权利要求4所述的基于多通道图像融合的全景图像拼接方法，其特征在于，所述步骤(c3)具体为：根据多路四通道RGBA图像与球面网格模型之间的映射关系，获取三角形网格模型的空间顶点坐标以及对应的多路RGBA四通道图像的纹理坐标，并根据所述三角形网格模型的空间顶点坐标与RGBA四通道图像的纹理坐标进行OpenGL纹理贴图，从而实现绘制全景图像。
7.一种如权利要求1所述的基于多通道图像融合的全景图像拼接方法，其特征在于，在步骤(c)之后还包括一添加手势操作，实现交互式体验的步骤。
8.一种如权利要求7所述的基于多通道图像融合的全景图像拼接方法，其特征在于，所述手势操作具体包括单指模式、双指模式以及单双指共用模式。
一种基于多通道图像融合的全景图像拼接方法
技术领域
[0001] 本发明涉及计算机图形技术和全景图像拼接技术，特别涉及一种基于多通道图像融合的全景图像拼接方法。
背景技术
[0002] 传统的视频监控领域中，一般采用固定角度安装的普通摄像机监控指定范围的小场景，但其视野有限，无法顾及周围360度范围内的所有区域，即使使用带有云台的摄像机，在某时刻也只能观测一个角度的画面，无法避免视频盲区和观测死角的出现。为了替换原来通过几只摄像头覆盖一个区域，或者使用球机快速来回巡航扫描来实现场景覆盖的方案，国内外市场上陆续推出了拼接式的全景摄像机。
[0003] 拼接式全景摄像机的成像过程是指将多个摄像头按照空间位置关系，固定安装在支架上，每个摄像头可以独立、高清地捕捉固定角度的图像。全景图像拼接技术是将不同相机在不同的时间、不同方向拍摄的图像，拼接到同一坐标系下进行全景展示。图像拼接中的过渡区域融合是拼接过程中的一大难题，如果处理不好，拼接效果将会大打折扣，多路图像会因为存在区域的重叠而产生拼缝现象。
发明内容
[0004] 针对上述难题，本发明的目的在于提供一种基于多通道图像融合的全景图像拼接方法，该全景图像拼接方法可以通过多通道图像融合的方式平滑地消除拼缝现象，实现无缝全景拼接。
[0005] 本发明提供一种基于多通道图像融合的全景图像拼接方法，其包括如下步骤：
[0006] (a)通过拼接式全景摄像机获取多路RGB三通道图像；
[0007] (b)为每一路RGB三通道图像添加一Alpha通道，得到多路RGBA四通道图像；
[0008] (c)通过计算机图形学方法对多路RGBA四通道图像进行图像融合，实现球体全景拼接。
[0009] 步骤(a)为通过拼接式全景摄像机采集不同相机在同一时刻不同方向上拍摄的视频流，并且通过计算机解码技术对该采集的视频流进行解码而获取多路RGB三通道图像。
[0010] 步骤(b)具体包括以下步骤：
[0011] (b1)寻找多路RGB三通道图像之间的重叠区域，对应构造多路Alpha通道图像；
[0012] (b2)将RGB三通道图像分解成R通道图像、G通道图像以及B通道图像，再将R通道图像、G通道图像以及B通道图像与对应的Alpha通道图像合成，得到多路RGBA四通道图像。
[0013] 所述步骤(b1)具体为：
[0014] 首先，采用特征匹配法获取多路RGB三通道图像之间的特征关系，采用动态规划法依据相似性准则找出符合最有条件的缝合线，即为多路RGB三通道图像之间的重叠区域；
[0015] 然后，构造与RGB三通道图像大小相同的Alpha通道图像，并将非重叠区域的Alpha通道图像的数值设为255；
[0016] 最后，设定所述重叠区域的Alpha通道图像的数值，该重叠区域的Alpha通道的数值采取255-0渐变。
[0017] 步骤(c)具体包括以下步骤：
[0018] (c1)将球体进行拆分，并对拆分后的区域进行三角型网格划分，得到包括多个三角分块的三角型网格模型；
[0019] (c2)获取多路四通道RGBA图像与所述三角型网格模型的映射关系；
[0020] (c3)利用所述映射关系将多路RGBA四通道图像的纹理坐标与所述三角型网格模型的空间顶点坐标进行实时对应，并通过OpenGL图形处理技术将所述三角型网格模型中的表面纹理替换为所述RGBA四通道图像的动态纹理以实现全景图像的无缝拼接。
[0021] 所述步骤(c1)具体为：采用自由网格划分方式对所述球体拆分后的区域进行三角型网格划分。
[0022] 所述步骤(c2)具体为：
[0023] 首先，根据所述多路RGB三通道图像之间的特征关系获取多路RGB三通道图像之间的邻域关系；
[0024] 然后，多路RGB三通道图像之间的邻域关系将多路RGB三通道图像合成一平面图，并将该平面图首尾相连形成一柱面图，该柱面图对应一圆柱体；
[0025] 最后，构造与该圆柱体的柱面相切的球体，将柱面图上的图像点投影到球体的球面上，从而获取多路四通道RGBA图像与球面网格模型之间的映射关系。
[0026] 所述步骤(c3)具体为：根据多路四通道RGBA图像与球面网格模型之间的映射关系，获取三角形网格模型的空间顶点坐标以及对应的多路RGBA四通道图像的纹理坐标，并根据所述三角形网格模型的空间顶点坐标与RGBA四通道图像的纹理坐标进行OpenGL纹理贴图，从而实现绘制全景图像。
[0027] 在步骤(c)之后还包括一添加手势操作，实现交互式体验的步骤。
[0028] 所述手势操作具体包括单指模式、双指模式以及单双指共用模式。
[0029] 相较于现有技术，本方法具有以下优点：第一，可将不同相机在同一时刻不同方向拍摄的图像，拼接到同一坐标系下，并且通过为每一路RGB三通道图像添加Alpha通道得到多路RGBA四通道图像，再对RGBA四通道图像进行融合，从而消除传统拼接技术造成的拼缝现象。第二，该拼接方法可以与拼接式全景摄像机相结合，实现无缝拼接的全景视频监控，最后通过柱面、球面等图形渲染技术，展示具有高度沉浸感的全景视频图像，且成像清晰。
附图说明
[0030] 图1是本发明所述基于多通道图像融合的全景图像拼接方法的流程图。
[0031] 图2为本发明所述RGB三通道图像转为RGBA四通道图像的示意图。
[0032] 图3为本发明步骤(c2)中所示圆柱面与球面之间的坐标投影示意图。
[0033] 图4为本发明所述实施例得到的全景拼接示意图。
具体实施方式
[0034] 下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
[0035] 请参阅图1，本发明提供了一种基于多通道图像融合的全景图像拼接方法。该方法包括如下步骤：
[0036] (a)通过拼接式全景摄像机获取多路RGB三通道图像；
[0037] (b)为每一路RGB图像添加Alpha通道，合成多路RGBA四通道图像；
[0038] (c)通过计算机图形学方法对多路RGBA图像进行图像融合，完成球体全景拼接。
[0039] 在步骤(a)中，通过拼接式全景摄像机采集不同相机在同一时刻不同方向上拍摄的视频流，并且通过计算机解码技术对该采集的视频流进行解码而获取多路RGB三通道图像。
[0040] 在步骤(b)中，在所述RGB三通道图像的基础上添加了Alpha通道图像，将图像裁剪成球体全景拼接过程中所需的区域形状，裁剪的边缘区通常作为图像拼接的重叠区。所述的Alpha通道(即不透明度参数)使得RGB三通道图像具有丰富的色彩层次，用于合成及融合。请参阅图2，步骤(b)具体包括以下步骤：
[0041] (b1)寻找多路RGB三通道图像之间的重叠区域，对应构造多路Alpha通道图像；
[0042] (b2)将RGB三通道图像分解成R通道图像、G通道图像以及B通道图像，再将R通道图像、G通道图像以及B通道图像与对应的Alpha通道图像合成，得到多路RGBA四通道图像。
[0043] 所述步骤(b1)具体包括：首先，采用特征匹配法获取多路RGB三通道图像之间的特征关系，采用动态规划法依据相似性准则找出符合最有条件的缝合线，即为多路RGB三通道图像之间的重叠区域。然后，构造与RGB三通道图像大小相同的Alpha通道图像。该Alpha通道图图像是单通道图像，数值范围在0-255之间，数值0代表完全透明，数值255代表完全不透明。并将非重叠区域的Alpha通道图像的数值设为255。最后，设定所述重叠区域的Alpha通道图像的数值，该重叠区域的Alpha通道的数值采取255-0渐变。该Alpha通道的数值采用255-0渐变即代表该重叠区域的透明度的渐变过程。
[0044] 在步骤(b2)中，可通过OpenCV图像处理技术将RGB三通道图像进行通道分割，再将分割后得到的R通道图像、G通道图像以及B通道图像与Alpha通道图像结合，而得到具有透明度的RGBA四通道图像。
[0045] 在步骤(c)中，对步骤(b)中合成的多路RGBA四通道图像进行球体拼接，保证所述重叠区域图像的Alpha通道的和值为255，从而实现多通道图像融合技术，并消除融合过程中重叠区域的重影现象。主要包括为：
[0046] (c1)将球体进行拆分，并对拆分后的区域进行三角型网格划分，得到包括多个三角分块的三角型网格模型；
[0047] (c2)获取多路RGBA四通道图像与所述三角型网格模型的映射关系；
[0048] (c3)利用所述映射关系将RGBA四通道动态图像纹理与所述三角型网格模型的空间顶点进行实时对应，并通过OpenGL图形处理技术将所述三角型网格模型中的表面纹理替换为所述RGBA四通道动态图像纹理，以实现全景图像的无缝拼接。
[0049] 所述步骤(c1)具体为：采用自由网格划分方式对所述球体拆分后的区域进行三角型网格划分。
[0050] 请参阅图3，所述步骤(c2)具体包括：首先，根据步骤(b1)中所述多路RGB三通道图像之间的特征关系获取多路RGB三通道图像之间的邻域关系。然后，根据多路RGB三通道图像之间的邻域关系将多路RGB三通道图像合成一张大的平面图，并将该平面图首尾相连形成一柱面图，该柱面图对应一圆柱体。最后，构造与该圆柱体的柱面相切的球体，将柱面图上的图像点投影到球体的球面上，从而获取多路四通道RGBA图像与三角型网格模型之间的映射关系，即为所述多路四通道RGBA图像与球面网格模型之间的映射关系。
[0051] 所述步骤(c3)具体为：根据多路四通道RGBA图像与球面网格模型之间的映射关系，获取三角形网格模型的空间顶点坐标以及对应的多路RGBA四通道图像的纹理坐标，并根据所述三角形网格模型的空间顶点坐标与RGBA四通道图像的纹理坐标进行OpenGL纹理贴图，从而实现绘制全景图像。
[0052] 相较于现有技术，本方法具有以下优点：第一，可将不同相机在同一时刻不同方向拍摄的图像，拼接到同一坐标系下，并且通过为每一路RGB三通道图像添加Alpha通道得到多路RGBA四通道图像，再对RGBA四通道图像进行融合，从而消除传统拼接技术造成的拼缝现象。第二，该拼接方法可以与拼接式全景摄像机相结合，实现无缝拼接的全景视频监控，最后通过柱面、球面等图形渲染技术，展示具有高度沉浸感的全景视频图像，且成像清晰。
[0053] 下面结合具体实施例对本申请提出的一种基于多通道图像融合的全景图像拼接方法进行说明：
[0054] 实施例
[0055] 所述基于多通道图像融合的全景图像拼接方法可与拼接式全景相机相结合，实现全景视频的播放。具体以Android端的全景图像拼接为例。该全景图像拼接方法包括如下步骤：
[0056] (a)通过拼接式全景摄像机获取多路RGB三通道图像；
[0057] (b)Android调用OpenCV为每一路RGB图像添加Alpha通道，合成多路RGBA四通道图像；
[0058] (c)在Android平台上通过OpenGL ES来对多路RGBA图像进行图像融合和纹理贴图，完成球体全景拼接；
[0059] (d)添加手势操作，以实现交互式体验。
[0060] 在步骤(a)中，对全景摄像机采集的同步后的多路H.264视频流，跨平台调用FFmpeg进行解码，并且输出RGB三通道图像。
[0061] 在步骤(b)中，跨平台调用OpenCV图像处理函数实现Android平台上的RGBA四通道图像的合成。
[0062] 在步骤(c)中，通过多路RGBA四通道图像的纹理坐标与三角形网格模型的空间顶点坐标之间的映射关系来实现Android平台上的球体纹理贴图，完成无缝全景拼接。
[0063] 在步骤(d)中，通过添加了手势操作，增强用户与全景图像之间的交互体验感。手势操作具体如下。
[0064] (1)单指模式:通过单指进行水平方向拖动，可以使球体全景视频围绕Z轴方向进行360度旋转，用于观察水平360度全景影像信息；通过单指进行竖直方向拖动，可以使球体全景视频围绕X轴方向进行180度旋转，用于观察垂直180度的全景影像信息。
[0065] (2)双指模式：通过双指在屏幕间的伸张闭合，控制两指间的距离，进而使球体全景视频进行缩小放大，伸缩倍数为8倍左右。
[0066] (3)单双指共用模式：请参阅图4，通过单双指交叉使用，可以实现全景视频任意区域的放大缩小，做到360度无死角特显。
[0067] 以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
