多镜头全景联动装置及方法

摘要

本发明提供了多镜头全景联动装置及方法，包括采用集成电路芯片技术的：前置处理模块对采集的多个原始图像进行处理，得到多个实景图像；全景拼接模块采用多图像几何映射变换的拼接组合对实景图像进行拼接和全局调整，得到全景拼接图像；多维视觉处理模块在多个视觉维度对实景图像进行逻辑计算，得到功能图像；联动组合模块检测全景拼接图像中的目标区域，并在功能图像中采集与目标区域相匹配的局部增强区域，将局部增强区域与全景拼接图像进行联动，得到全景联动图像和联动参数。本发明在一个芯片中集成全部的逻辑模块，以增强整体与局部的联动效果，纵观全局且把握细节，提高全景拼接联动的响应速度，降低开发成本，减轻开发难度和产品体积。

权利要求

1.一种多镜头全景联动装置，其特征在于，包括集成于集成电路芯片之中的：前置处理模块、全景拼接模块、多维视觉处理模块、联动组合模块和编码输出模块；

所述前置处理模块，用于连接多镜头模组采集多个原始图像，并对多个所述原始图像进行处理，得到多个实景图像；

所述全景拼接模块，与所述前置处理模块相连，用于采用多图像几何映射变换的拼接组合对多个所述实景图像进行拼接和全局调整，得到全景拼接图像；

所述多维视觉处理模块，与所述前置处理模块相连，用于在多个视觉维度对所述实景图像进行逻辑计算，得到功能图像；

所述联动组合模块，与所述全景拼接模块和所述多维视觉处理模块分别相连，用于检测所述全景拼接图像中的目标区域，并在所述功能图像中采集与所述目标区域相匹配的局部增强区域，将所述局部增强区域与所述全景拼接图像进行联动，得到全景联动图像和联动参数。

2.根据权利要求1所述的装置，其特征在于，所述前置处理模块包括图像信号处理ISP单元和几何映射变形单元：所述ISP单元，用于对所述多镜头模组采集的所述原始图像进行质量处理，得到处理后的图像信息；

所述几何映射变形单元，用于对所述处理后的图像信息进行畸变矫正与图像旋转变形的处理，得到多个对齐的所述实景图像。

3.根据权利要求1所述的装置，其特征在于，所述装置还包括与所述联动组合模块相连的编码输出模块；

所述编码输出模块，用于对所述全景联动图像进行排列和视频编码，并采用以太网、USB、BT601/BT565/BT1120或MIPI接口将编码后图像和所述联动参数输出。

4.根据权利要求1所述的装置，其特征在于，所述多图像几何映射变换的拼接组合为柱状映射拼接、球状映射拼接和平面映射拼接的组合。

5.根据权利要求1所述的装置，其特征在于，所述联动参数包括：所述全景拼接图像以及所述全景联动图像的坐标参数、帧时间戳信息和功能图像参数。

6.一种多镜头全景联动方法，其特征在于，所述方法包括：

前置处理步骤：通过多镜头模组采集多个原始图像，并对多个所述原始图像进行处理，得到多个实景图像；

全景拼接步骤：采用多图像几何映射变换的拼接组合对多个所述实景图像进行拼接和全局调整，得到全景拼接图像；

多维视觉处理步骤：在多个视觉维度对所述实景图像进行逻辑计算，得到功能图像；

联动组合步骤：检测所述全景拼接图像中的目标区域，并在所述功能图像中采集与所述目标区域相匹配的局部增强区域，将所述局部增强区域与所述全景拼接图像进行联动，得到全景联动图像和联动参数。

7.根据权利要求6所述的方法，其特征在于，所述前置处理步骤具体包括：对所述多镜头模组采集的所述原始图像进行质量处理，得到处理后的图像信息；

对所述处理后的图像信息进行畸变矫正与图像旋转变形的处理，得到多个对齐的所述实景图像。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：对所述全景联动图像进行排列和视频编码，并采用以太网、USB、BT601/BT656/BT1120或MIPI接口将编码后图像和所述联动参数输出。

9.根据权利要求6所述的方法，其特征在于，所述多图像几何映射变换的拼接组合为柱状映射拼接、球状映射拼接和平面映射拼接的组合。

10.根据权利要求6所述的方法，其特征在于，所述联动参数包括：所述全景拼接以及所述全景联动图像的坐标参数、帧时间戳信息和功能图像参数。

说明书

多镜头全景联动装置及方法

技术领域

[0001] 本发明涉及集成电路芯片设计领域，尤其是涉及多镜头全景联动装置及方法。

背景技术

[0002] 多镜头全景拼接与展示的应用已经非常普及了，目前主流的有两种实现方法，一个是将多图像采集后送到后台以软件实现拼接展示；一个是利用GPU(Graphics Processing Unit，图形处理器)、DSP(Digital Signal Processing，数字信号处理)和FPGA(Field－Programmable Gate Array，现场可编程门阵列)技术在前端执行图像的全景拼接后，压缩打包后输出展示。全景与局部联动技术一般采用一个全局的全景拼接图像，外加高清或长焦镜头增加局部清晰度图像的识别、跟踪的联动效果。

[0003] 一般而言，采用以上两种方法的全景摄像机，以单一的全景拼接功能居多，如果与其他镜头整合，多采用外挂摄像机或FPGA方式通过DSP或GPU技术实现联动。但是，当前已存方案具有如下缺点：只能实现单一的全景拼接功能；全景全局与局部摄像机识别与跟踪的联动，会采用后端软件方案或GPU、DSP或FPGA技术实现，以抵抗大数据量的冲击，不会再有能力做诸如局部放大、夜视增强、深度检测、图像识别、特征点匹配等多维视觉的算法应用，从而极大限制了这项技术的普及，不利于一般个人、家庭或小企业的应用；目前与全景摄像机的联动的技术，会导致设备的体积大功耗大、开发难度大、实现成本居高不下。

发明内容

[0004] 有鉴于此，本发明的目的在于提供多镜头全景联动装置及方法，通过采用集成电路技术，在一个芯片中集成全部联动功能的逻辑模块，以强化边缘计算能力，迅速定位和量化目标所处全局位置，增强整体与局部的联动效果，即纵观全局，又把握细节，提高全景拼接联动的响应速度，减轻开发难度，降低开发成本和产品体积。

[0005] 第一方面，本发明实施例提供了一种多镜头全景联动装置，其中，包括集成于集成电路芯片之中的：前置处理模块、全景拼接模块、多维视觉处理模块、联动组合模块和编码输出模块；

[0006] 所述前置处理模块，用于连接多镜头模组采集多个原始图像，并对多个所述原始图像进行处理，得到多个实景图像；

[0007] 所述全景拼接模块，与所述前置处理模块相连，用于采用多图像几何映射变换的拼接组合对多个所述实景图像进行拼接和全局调整，得到全景拼接图像；

[0008] 所述多维视觉处理模块，与所述前置处理模块相连，用于在多个视觉维度对所述实景图像进行逻辑计算，得到功能图像；

[0009] 所述联动组合模块，与所述全景拼接模块和所述多维视觉处理模块分别相连，用于检测所述全景拼接图像中的目标区域，并在所述功能图像中采集与所述目标区域相匹配的局部增强区域，将所述局部增强区域与所述全景拼接图像进行联动，得到全景联动图像和联动参数。

[0010] 结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述前置处理模块包括图像信号处理ISP单元和几何映射变形单元：

[0011] 所述ISP单元，用于对所述多镜头模组采集的所述原始图像进行质量处理，得到处理后的图像信息；

[0012] 所述几何映射变形单元，用于对所述处理后的图像信息进行畸变矫正与图像旋转变形的处理，得到多个对齐的所述实景图像。

[0013] 结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述装置还包括与所述联动组合模块相连的编码输出模块；

[0014] 所述编码输出模块，用于对所述全景联动图像进行排列和视频编码，并采用以太网、USB、BT601/BT656/BT1120或MIPI接口将编码后图像和所述联动参数输出。

[0015] 结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述多图像几何映射变换的拼接组合为柱状映射拼接、球状映射拼接和平面映射拼接的组合。

[0016] 结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述联动参数包括：所述全景拼接图像以及所述全景联动图像的坐标参数、帧时间戳信息和功能图像参数。

[0017] 第二方面，本发明实施例还提供一种多镜头全景联动方法，其中，所述方法包括：

[0018] 前置处理步骤：通过多镜头模组采集多个原始图像，并对多个所述原始图像进行处理，得到多个实景图像；

[0019] 全景拼接步骤：采用多图像几何映射变换的拼接组合对多个所述实景图像进行拼接和全局调整，得到全景拼接图像；

[0020] 多维视觉处理步骤：在多个视觉维度对所述实景图像进行逻辑计算，得到功能图像；

[0021] 联动组合步骤：检测所述全景拼接图像中的目标区域，并在所述功能图像中采集与所述目标区域相匹配的局部增强区域，将所述局部增强区域与所述全景拼接图像进行联动，得到全景联动图像和联动参数。

[0022] 结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述前置处理步骤具体包括：

[0023] 对所述多镜头模组采集的所述原始图像进行质量处理，得到处理后的图像信息；

[0024] 对所述处理后的图像信息进行畸变矫正与图像旋转变形的处理，得到多个对齐的所述实景图像。

[0025] 结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述方法还包括：

[0026] 对所述全景联动图像进行排列和视频编码，并采用以太网、USB、BT601/BT656/BT1120或MIPI接口将编码后图像和所述联动参数输出。

[0027] 结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述几何映射变换的拼接组合为柱状映射拼接、球状映射拼接和平面映射拼接的组合。

[0028] 结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，所述联动参数包括：所述全景拼接图像以及所述全景联动图像的坐标参数、帧时间戳信息和功能图像参数。

[0029] 本发明实施例带来了以下有益效果：

[0030] 本发明提供的多镜头全景联动装置及方法，包括采用集成电路技术的前置处理模块、全景拼接模块、多维视觉处理模块、联动组合模块和编码输出模块；前置处理模块，用于对采集的多个原始图像进行处理，得到多个实景图像；全景拼接模块，用于采用多图像几何映射变换的拼接组合对多个实景图像进行拼接和全局调整，得到全景拼接图像；多维视觉处理模块，用于在多个视觉维度对实景图像进行逻辑计算，得到功能图像；联动组合模块，用于检测全景拼接图像中的目标区域，并在功能图像中采集与目标区域相匹配的局部增强区域，将局部增强区域与全景拼接图像进行联动，得到全景联动图像和联动参数。本发明通过采用集成电路技术在一个芯片中集成全部的逻辑模块，以强化边缘计算能力，增强整体与局部的联动效果，即纵观全局，又把握细节，提高全景拼接联动的响应速度，降低开发成本和产品体积。

[0031] 本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

[0032] 为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

[0033] 为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0034] 图1为本发明实施例一提供的多镜头全景联动装置示意图；

[0035] 图2为本发明实施例一提供的全景联动图像的原理示意图；

[0036] 图3为本发明实施例二提供的多镜头全景联动方法流程图。

[0037] 图标：

[0038] 100-多镜头模组；200-前置处理模块；300-全景拼接模块；400-多维视觉处理模块；500-联动组合模块；600-编码输出模块；800-集成电路芯片。

具体实施方式

[0039] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0040] 多镜头全景拼接与展示的应用已经非常普及了，目前主流的有两种实现方法具有如下缺点：只能实现单一的全景拼接功能，不会再有能力做诸如局部放大、夜视增强、立体视觉、图像识别等多维视觉的算法应用；如果实现全景全局与局部摄像机识别与跟踪的联动，会采用并列的GPU、DSP或FPGA技术实现，以抵抗大数据量的冲击，从而极大限制了这项技术的普及，不利于一般个人、家庭或小企业的应用；目前与全景摄像机的联动的技术，会导致设备的体积大功耗大、开发难度大、实现成本居高不下。

[0041] 基于此，本发明实施例提供的多镜头全景联动装置及方法，可以迅速定位和量化目标所处全局位置，增强全景拼接的联动效果，提高全景拼接联动的响应速度，降低开发成本和产品体积。

[0042] 为便于对本实施例进行理解，首先对本发明实施例所公开的多镜头全景联动装置进行详细介绍。

[0043] 实施例一：

[0044] 图1为本发明实施例一提供的多镜头全景联动装置示意图。

[0045] 参照图1，多镜头全景联动装置包括：采用多镜头多传感器集成电路芯片技术，在集成电路芯片800(可简称为芯片)中集成的前置处理模块200、全景拼接模块300、多维视觉处理模块400、联动组合模块500和编码输出模块600；其中，前置处理模块200的输出端分别与全景拼接模块300和多维视觉处理模块400的输入端相连，全景拼接模块300和多维视觉处理模块400的输出端均与多维视觉处理模块400的输入端相连。

[0046] 通过采用集成电路技术，将上述全部的逻辑模块集成在集成电路芯片800中，可以减少后端开发工作量，降低开发成本、功耗和产品的体积。

[0047] 在前置处理模块200的前端还设置有多镜头模组100；前置处理模块200包括与多镜头模组100依次相连的ISP(Image Signal Processing，图像信号处理)单元和几何映射变形单元。

[0048] 多镜头模组100的图像传感器与前述集成电路芯片800通过串口或并口连接。集成电路芯片800可以是配有Ethernet、USB、SD、HDMI、I2C、I2S、UART、JTAG、BT等接口，具有CPU单元的SoC芯片。

[0049] 前置处理模块200通过多镜头模组100采集多个原始图像，并对多个原始图像进行处理，得到多个实景图像。

[0050] 其中，ISP单元，用于对原始图像进行质量处理，得到处理后的图像信息；ISP单元对前端镜头/传感器输出的原始图像做后期处理，主要功能有线性及非线性矫正、噪声去除、坏点去除、内插、白平衡、自动曝光控制、对比度、饱和度以及锐度等，在不同的光学条件下较好的还原现场细节。

[0051] 几何映射变形单元，用于对处理后的图像信息进行畸变矫正与图像旋转变形的处理，得到多个对齐的实景图像。

[0052] 全景拼接模块300，用于采用多图像几何映射变换的拼接组合对多个实景图像进行拼接和全局调整，得到全景拼接图像。

[0053] 具体的，多图像几何映射变换的拼接组合为柱状映射拼接、球状映射拼接和平面映射拼接的组合，即全景拼接模块300采用映射拼接的组合为柱状映射拼接、球状映射拼接和平面映射拼接的组合对多个实景图像进行拼接，得到全景拼接图像。这里全景拼接图像的全景概念不限于360°或720°场景，还包括根据拍摄场景而定制的大场面、多视角的拍摄景观。

[0054] 多维视觉处理模块400，用于在多个视觉维度对实景图像进行逻辑计算，得到功能图像。

[0055] 具体的，多维视觉处理模块400对实景图像进行多维视觉图像的逻辑计算，得到功能图像和计算参数。这里，功能图像包括：多光谱频段融合图像、多级曝光增强图像、多焦距互补图像、深度检测图像、物体检测与识别、目标跟踪和特征点匹配等可视化、结构化图像和参数。这里，多维视觉处理模块400的几何映射变换以光轴平行变换为主。

[0056] 联动组合模块500，与全景拼接模块300和多维视觉处理模块400分别相连，用于检测全景拼接图像中的目标区域，并在功能图像中采集与目标区域相匹配的局部增强区域，将局部增强区域与全景拼接图像进行联动，得到全景联动图像和联动参数。

[0057] 具体的，联动组合模块500对全景拼接图像进行检测，当发现全景拼接图像中某方位产生状况，需要通过增强的图像进行确认并联动展示的时候，将该方位定为目标区域，并根据目标区域在功能图像中采集对应的局部增强区域，再将局部增强区域与全景拼接图像联动，同步展示效果增强后的局部图像，如图2所示。

[0058] 其中，联动参数包括：全景拼接图像以及全景联动图像的坐标参数、帧时间戳信息以及功能图像参数。这里的功能图像参数指功能逻辑计算得到的物体检测或识别的参数，如CNN(Convolutional Neural Network，卷积神经网络)识别物体得到的物体数量、物体名称、置信度、物体多边形坐标等信息。功能图像情况复杂，一并以功能图像和参数概括。

[0059] 编码输出模块600，与联动组合模块500相连，用于对全景拼接图像和全景联动图像进行排列和视频编码，并采用以太网、USB、BT601/BT565/BT1120或MIPI接口将编码后图像和联动参数输出。即：将执行编码后的全景联动图像和联动参数输出给后端系统，以根据需求做进一步操作。

[0060] 实施例二：

[0061] 图3为本发明实施例二提供的多镜头全景联动方法流程图。

[0062] 基于上述实施例提供的多镜头全景联动装置，本发明实施例提供了多镜头全景联动方法。参照图3，该方法包括：

[0063] 前置处理步骤S110：通过多镜头模组采集多个原始图像，并对多个原始图像进行处理，得到多个实景图像；

[0064] 全景拼接步骤S120：采用多图像几何映射变换的拼接组合对多个实景图像进行拼接和全局调整，得到全景拼接图像；

[0065] 多维视觉处理步骤S130：在多个视觉维度对实景图像进行逻辑计算，得到功能图像；

[0066] 联动组合步骤S140：检测全景拼接图像中的目标区域，并在功能图像中采集与目标区域相匹配的局部增强区域，将局部增强区域与全景拼接图像进行联动，得到全景联动图像和联动参数。

[0067] 输出步骤S150：将执行编码后的全景联动图像编码和联动参数输出给后端系统，以根据需求做进一步操作。

[0068] 进一步的，前置处理步骤S110具体包括：

[0069] 对多镜头模组采集的原始图像进行质量处理，得到处理后的图像信息；

[0070] 对处理后的图像信息进行畸变矫正与图像旋转变形的处理，得到多个对齐的实景图像。

[0071] 进一步的，该方法还包括：

[0072] 对全景联动图像进行排列和视频编码，并采用以太网、USB、BT601/BT565/BT1120或MIPI等接口将编码后图像和联动参数输出。

[0073] 进一步的，几何映射变换的拼接组合为柱状映射拼接、球状映射拼接和平面映射拼接的组合。

[0074] 进一步的，联动参数包括：全景拼接图像以及全景联动图像的坐标参数、帧时间戳信息和功能图像参数。

[0075] 本发明实施例所提供的方法，其实现原理及产生的技术效果和前述装置实施例相同，为简要描述，方法实施例部分未提及之处，可参考前述装置实施例中相应内容。

[0076] 上述实施例所提供的多镜头全景联动装置及方法，可应用于个人、家庭、商铺等多种场合，且无需球机的云台对应，可降低设备的消耗和故障率，进一步的，为IoT(Internet of things，物联网)、人工智能的应用提供了全新的装置和应用场合。

[0077] 本发明实施例带来了以下有益效果：

[0078] 本发明提供的多镜头全景联动装置及方法，包括集成于集成电路芯片中的前置处理模块、全景拼接模块、多维视觉处理模块、联动组合模块和编码输出模块；前置处理模块，用于对采集的多个原始图像进行处理，得到多个实景图像；全景拼接模块，用于采用多图像几何映射变换的拼接组合对多个实景图像进行拼接和全局调整，得到全景拼接图像；多维视觉处理模块，用于在多个视觉维度对实景图像进行逻辑计算，得到功能图像；联动组合模块，用于检测全景拼接图像中的目标区域，并在功能图像中采集与目标区域相匹配的局部增强区域，将局部增强区域与全景拼接图像进行联动，得到全景联动图像和联动参数。本发明通过采用集成电路技术在一个芯片中集成全部的逻辑模块，以强化边缘计算能力，增强整体与局部的联动效果，即纵观全局，又把握细节，提高全景拼接联动的响应速度，降低开发成本和产品体积。

[0079] 本发明实施例为集成电路芯片架构，通过存储器执行数据交换，全部系统均通过芯片中的系统和固件协调调度具体实现上述实施例提供的多镜头全景联动方法的步骤。

[0080] 另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

[0081] 在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

[0082] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0083] 在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

[0084] 作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0085] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

[0086] 最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。