图像重建方法及装置

摘要

本发明实施例提出图像重建方法及装置。方法包括：当满足长焦图像集采集条件时，驱动双目长短焦云台摄像机的云台在整个视场范围内转动，每隔预设水平或/和垂直角度获取一帧长焦图像，将在整个视场范围内获取的所有长焦图像构成第一长焦图像集；接收到变焦请求，对当前采集的第一短焦图像进行插值处理，得到符合变焦请求的第二短焦图像；对第一长焦图像集中的每一帧长焦图像进行降采样，得到第二长焦图像集；对第二短焦图像进行分块，分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块；分别将第二短焦图像中的每个分块与该分块的匹配块进行融合，得到短焦重建图像。本发明实施例既保留了短焦图像的大视场的优点，又提高了清晰度。

权利要求

1.一种图像重建方法，其特征在于，该方法包括：当满足预设长焦图像集采集条件时，驱动双目长短焦云台摄像机的云台在整个视场范围内转动，并每隔预设水平或/和垂直角度获取一帧长焦图像，将在整个视场范围内获取的所有长焦图像构成第一长焦图像集；其中，相邻长焦图像部分重叠；

接收到变焦请求，对所述双目长短焦云台摄像机当前采集的第一短焦图像进行插值处理，得到符合变焦请求的第二短焦图像；

对第一长焦图像集中的每一帧长焦图像进行降采样，得到第二长焦图像集，其中，第二长焦图像集中的每一帧长焦图像满足：与第二短焦图像中的同一目标的大小配准；

对第二短焦图像进行分块，分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块；

分别将第二短焦图像中的每个分块与该分块的匹配块进行融合，得到短焦重建图像；

其中，双目长短焦云台摄像机由短焦相机和长焦相机构成，且短焦相机和长焦相机的相对位置固定且同时随云台旋转。

2.根据权利要求1所述的方法，其特征在于，所述分别将第二短焦图像中的每个分块与该分块的匹配块进行融合包括：

提取每个分块的匹配块的高频分量，分别将每个分块与该分块的匹配块的高频分量进行融合。

3.根据权利要求2所述的方法，其特征在于，所述分别将第二短焦图像中的每个分块与该分块的匹配块的高频分量进行融合包括：根据匹配块与其对应的分块的相似度越高，匹配块的融合权重越大的原则，为每个匹配块分配融合权重；

分别将每个匹配块的高频分量乘以对应的融合权重后再与对应的分块叠加，得到短焦重建图像。

4.根据权利要求3所述的方法，其特征在于，所述根据匹配块与其对应的分块的相似度越高，匹配块的融合权重越大的原则，为每个匹配块分配融合权重包括：计算

其中，Wk为第二短焦图像的第k个分块的匹配块的融合权重， Sk为第二短焦图像的第k个分块与匹配块的相似度， Smax为第二短焦图像的所有分块与匹配块的相似度中的最大值，α为预设值。

5.根据权利要求1所述的方法，其特征在于，所述分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块包括：根据采集第一短焦图像时的云台角度、采集第一长焦图像集中的每一帧长焦图像的云台角度、以及短焦镜头和长焦镜头的视场差，分别为第二短焦图像的每个分块在第二长焦图像集的所有长焦图像中搜索位置匹配的匹配块；

或者，采用预设的模板匹配算法，分别为每个分块在第二长焦图像集的所有长焦图像中搜索图像相似度最高的匹配块。

6.根据权利要求2所述的方法，其特征在于，所述提取第二短焦图像中的每个分块的匹配块的高频分量包括：

对该匹配块在第二长焦图像集中所在的长焦图像进行降采样，使得降采样后的图像分辨率与第一短焦图像的分辨率相同，再对降采样后的图像进行插值，使得插值后的图像分辨率等于第二短焦图像的分辨率，将该匹配块减去该匹配块在插值后的图像中的对应块得到该匹配块的高频分量。

7.根据权利要求1所述的方法，其特征在于，所述满足预设长焦图像集采集条件包括：当双目长短焦云台摄像机开机时，或者，当前采集到的短焦图像的测光值与最近一次采集的长焦图像集中的长焦图像的测光值的差值大于预设第一阈值，或者，当前采集的短焦图像与最近一次采集的长焦图像集中的一长焦图像在同一位置的分块的图像相似度小于预设第二阈值。

8.根据权利要求1所述的方法，其特征在于，所述满足预设长焦图像集采集条件之后、驱动双目长短焦云台摄像机的云台在整个视场范围内转动之前进一步包括：判断是否满足：当前采集的短焦图像中没有报警目标且当前没有图像预览要求，且判定结果为是；

且，当判定结果为否时，等待预设时长后，返回所述判断是否满足：当前采集的短焦图像中没有报警目标且当前没有图像预览要求的动作。

9.一种图像重建装置，其特征在于，该装置包括：存储器以及可访问存储器的处理器，该存储器存储指令，该指令在由处理器执行时使得处理器执行如权利要求1至8任一所述的方法的步骤。

10.一种双目长短焦云台摄像机，其特征在于，包括：短焦相机、长焦相机以及云台，其中，短焦相机和长焦相机的相对位置固定且同时随云台旋转；

且，短焦相机和长焦相机分别具有与图像重建装置通信的接口，并分别通过各自的通信接口将各自采集的原始短焦图像和原始长焦图像发送给图像重建装置；

其中，所述图像重建装置在满足预设长焦图像集采集条件时，驱动所述双目长短焦云台摄像机的云台在整个视场范围内转动，并每隔预设水平或/和垂直角度获取一帧长焦图像，将在整个视场范围内获取的所有长焦图像构成第一长焦图像集；其中，相邻长焦图像部分重叠；

且，所述图像重建装置接收到变焦请求，对所述双目长短焦云台摄像机当前采集的第一短焦图像进行插值处理，得到符合变焦请求的第二短焦图像；

所述图像重建装置对第一长焦图像集中的每一帧长焦图像进行降采样，得到第二长焦图像集，其中，第二长焦图像集中的每一帧长焦图像满足：与第二短焦图像中的同一目标的大小配准；

所述图像重建装置对第二短焦图像进行分块，分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块；

所述图像重建装置分别将第二短焦图像中的每个分块与该分块的匹配块进行融合，得到短焦重建图像。

说明书

图像重建方法及装置

技术领域

[0001] 本发明涉及图像处理技术领域，尤其涉及图像重建方法及装置。

背景技术

[0002] 由于短焦相机视场角大，长焦相机视场角小，当用相同规格的图像传感器采集图像时，长焦图像的清晰度高短焦图像的清晰度低。为了融合两个焦段图像做成变焦的效果，
需要用软件的方法提高图像空间分辨率，即超分辨率算法。

[0003] 超分辨率指的是将低分辨率图像重建出相应的高分辨率图像。现有的超分辨率算法一般有单帧超分辨算法和参考高清图像的超分辨率算法。单帧超分辨算法对图像的提高
效果有限且算法复杂度一般较高。

[0004] 利用高清参考图像的超分辨率方法充分利用参考图像和待处理图像的优势合成高品质图像。现有方案中，是利用长短焦双焦相机，同时采集大视场广角图像和高清长焦图
像，然后利用广角相机和长焦相机视场重叠部分，将长焦图像的高分辨率信息迁移到短焦
图像的可修复区域，并以修复后的短焦图像为基础进行数字变焦。这种方法比较适用于短
焦图像中与长焦图像重叠区域与其他区域画面比较接近的场景，但是，如果图像画面各部
分存在重大差别，局部信息的指导意义并不大，甚至造成错误，导致画面效果更差。

发明内容

[0005] 本发明实施例提出图像重建方法及装置，以在保留双目长短焦云台摄像机采集的短焦图像的大视场的优点的前提下，提高短焦图像的清晰度。

[0006] 本发明实施例的技术方案是这样实现的：

[0007] 一种图像重建方法，该方法包括：

[0008] 当满足预设长焦图像集采集条件时，驱动双目长短焦云台摄像机的云台在整个视场范围内转动，并每隔预设水平或/和垂直角度获取一帧长焦图像，将在整个视场范围内获
取的所有长焦图像构成第一长焦图像集；其中，相邻长焦图像部分重叠；

[0009] 接收到变焦请求，对所述双目长短焦云台摄像机当前采集的第一短焦图像进行插值处理，得到符合变焦请求的第二短焦图像；

[0010] 对第一长焦图像集中的每一帧长焦图像进行降采样，得到第二长焦图像集，其中，第二长焦图像集中的每一帧长焦图像满足：与第二短焦图像中的同一目标的大小配准；

[0011] 对第二短焦图像进行分块，分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块；

[0012] 分别将第二短焦图像中的每个分块与该分块的匹配块进行融合，得到短焦重建图像；

[0013] 其中，双目长短焦云台摄像机由短焦相机和长焦相机构成，且短焦相机和长焦相机的相对位置固定且同时随云台旋转。

[0014] 所述分别将第二短焦图像中的每个分块与该分块的匹配块进行融合包括：

[0015] 提取每个分块的匹配块的高频分量，分别将每个分块与该分块的匹配块的高频分量进行融合。

[0016] 所述分别将第二短焦图像中的每个分块与该分块的匹配块的高频分量进行融合包括：

[0017] 根据匹配块与其对应的分块的相似度越高，匹配块的融合权重越大的原则，为每个匹配块分配融合权重；

[0018] 分别将每个匹配块的高频分量乘以对应的融合权重后再与对应的分块叠加，得到短焦重建图像。

[0019] 所述根据匹配块与其对应的分块的相似度越高，匹配块的融合权重越大的原则，为每个匹配块分配融合权重包括：

[0020] 计算

[0021]

[0022] 其中，Wk为第二短焦图像的第k个分块的匹配块的融合权重， Sk为第二短焦图像的第k个分块与匹配块的相似度， Smax为第二短焦图像的所有分块与
匹配块的相似度中的最大值，α为预设值。

[0023] 所述分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块包括：

[0024] 根据采集第一短焦图像时的云台角度、采集第一长焦图像集中的每一帧长焦图像的云台角度、以及短焦镜头和长焦镜头的视场差，分别为第二短焦图像的每个分块在第二
长焦图像集的所有长焦图像中搜索位置匹配的匹配块；

[0025] 或者，采用预设的模板匹配算法，分别为每个分块在第二长焦图像集的所有长焦图像中搜索图像相似度最高的匹配块。

[0026] 所述提取第二短焦图像中的每个分块的匹配块的高频分量包括：

[0027] 对该匹配块在第二长焦图像集中所在的长焦图像进行降采样，使得降采样后的图像分辨率与第一短焦图像的分辨率相同，再对降采样后的图像进行插值，使得插值后的图
像分辨率等于第二短焦图像的分辨率，将该匹配块减去该匹配块在插值后的图像中的对应
块得到该匹配块的高频分量。

[0028] 所述满足预设长焦图像集采集条件包括：

[0029] 当双目长短焦云台摄像机开机时，或者，当前采集到的短焦图像的测光值与最近一次采集的长焦图像集中的长焦图像的测光值的差值大于预设第一阈值，或者，当前采集
的短焦图像与最近一次采集的长焦图像集中的一长焦图像在同一位置的分块的图像相似
度小于预设第二阈值。

[0030] 所述满足预设长焦图像集采集条件之后、驱动双目长短焦云台摄像机的云台在整个视场范围内转动之前进一步包括：

[0031] 判断是否满足：当前采集的短焦图像中没有报警目标且当前没有图像预览要求，且判定结果为是；

[0032] 且，当判定结果为否时，等待预设时长后，返回所述判断是否满足：当前采集的短焦图像中没有报警目标且当前没有图像预览要求的动作。

[0033] 一种图像重建装置，该装置包括：存储器以及可访问存储器的处理器，该存储器存储指令，该指令在由处理器执行时使得处理器执行如上任一所述的方法的步骤。

[0034] 一种双目长短焦云台摄像机，包括：短焦相机、长焦相机以及云台，其中，短焦相机和长焦相机的相对位置固定且同时随云台旋转；

[0035] 且，短焦相机和长焦相机分别具有与图像重建装置通信的接口，并分别通过各自的通信接口将各自采集的原始短焦图像和原始长焦图像发送给图像重建装置。

[0036] 本发明实施例中，为短焦图像中的每一分块在长焦图像中搜索匹配块，然后将匹配块与短焦图像中的分块融合，来得到短焦重建图像，从而短焦重建图像既保留了短焦图
像的大视场的优点，又提高了清晰度。

附图说明

[0037] 图1为本发明实施例提供的双目长短焦云台摄像机的短焦镜头和长焦镜头的视场关系；

[0038] 图2为本发明一实施例提供的图像重建方法流程图；

[0039] 图3为本发明另一实施例提供的图像重建方法流程图；

[0040] 图4为本发明实施例提供的短焦图像覆盖的视场与云台位置的关系示例图；

[0041] 图5为本发明实施例提供的图像重建装置的结构示意图。

具体实施方式

[0042] 下面结合附图及具体实施例对本发明再作进一步详细的说明。

[0043] 为方便理解，首先给出以下解释：

[0044] 焦距：指从透镜中心到光聚集之焦点的距离，一般6mm(毫米)以上称为长焦，6mm以下称为短焦。

[0045] 无极旋转：没有限位，可以在指定方向一直旋转。

[0046] 图像拼接融合指的是将存在公共部分的两张图像拼为一张起到扩大视场角或提高清晰度的作用。例如：在双目长短焦云台摄像机的监控场景下，根据长焦图像与短焦图像
的公共部分，以长焦图像替换短焦图像中二者的公共部分，以同时利用短焦相机视场大的
优点和长焦相机清晰度高的优点。但是当画面放大时，来自短焦图像部分的清晰度低的问
题会越来越明显。为了解决该问题，本发明给出如下解决方案：

[0047] 本发明实施例首先提出了一种双目长短焦云台摄像机，云台可以水平和垂直旋转，有两颗镜头和两颗传感器，短焦传感器与短焦镜头构成短焦相机，短焦镜头的视野较
大，能够覆盖较大的监控范围，长焦传感器与长焦镜头构成长焦相机，长焦镜头的视野较
小，但是清晰度较高。

[0048] 本发明实施例提出的双目长短焦云台摄像机，短焦镜头和长焦镜头的相对位置固定，光轴平行且尽量接近。该双目长短焦云台摄像机的云台可以水平无极旋转，垂直0到‑90
度旋转，在这种情况下，短焦镜头的水平视场角为120度，垂直视场角为68度，长焦镜头的水
平视场角为30度，垂直视场角为17度。且有陀螺仪检测云台位置。长、短焦传感器的分辨率
可以是相同的，也可以是不同的。不过要保证长焦镜头的画面的分辨率，建议长焦传感器的
分辨率在1080P及以上。

[0049] 短焦镜头和长焦镜头的视场关系如图1保持不变。如图1所示，中心小矩形包含的区域是长焦镜头的视场，外侧大矩形包含的区域是短焦镜头的视场。

[0050] 图2为本发明一实施例提供的图像重建方法流程图，其具体步骤如下：

[0051] 步骤201：当满足预设长焦图像集采集条件时，驱动双目长短焦云台摄像机的云台在整个视场范围内转动，并每隔预设水平或/和垂直角度获取一帧长焦图像，将在整个视场
范围内获取的所有长焦图像构成第一长焦图像集；其中，相邻长焦图像部分重叠。

[0052] 步骤202：接收到变焦请求，对双目长短焦云台摄像机当前采集的第一短焦图像进行插值处理，得到符合变焦请求的第二短焦图像。

[0053] 步骤203：对第一长焦图像集中的每一帧长焦图像进行降采样，得到第二长焦图像集，其中，第二长焦图像集中的每一帧长焦图像满足：与第二短焦图像中的同一目标的大小
配准。

[0054] 由于长焦镜头的视野小于短焦镜头的视野，因此，对于同一目标，其在长焦图像中的大小是大于在短焦图像中的大小的，要将长、短焦图像融合，必须将第一长焦图像集中的
长焦图像缩小，以使得长焦图像中的同一目标的大小与该目标在第二短焦图像中的大小相
同。

[0055] 步骤204：对第二短焦图像进行分块，分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块。

[0056] 步骤205：分别将第二短焦图像中的每个分块与该分块的匹配块进行融合，得到短焦重建图像。

[0057] 其中，双目长短焦云台摄像机由短焦相机和长焦相机构成，且短焦相机和长焦相机的相对位置固定且同时随云台旋转。

[0058] 通过上述实施例，为短焦图像中的每一分块在长焦图像中搜索匹配块，然后将匹配块与短焦图像中的分块融合，来得到短焦重建图像，从而短焦重建图像既保留了短焦图
像的大视场的优点，又提高了清晰度。

[0059] 一可选实施例中，步骤205中，分别将第二短焦图像中的每个分块与该分块的匹配块进行融合包括：提取第二短焦图像中的每个分块的匹配块的高频分量，分别将第二短焦
图像中的每个分块与该分块的匹配块的高频分量进行融合。

[0060] 上述实施例中，通过提取匹配块的高频分量，从而保留了长焦图像中的轮廓或细节部分，将匹配块的高频分量与第二短焦图像中的分块进行融合，从而能够弥补短焦图像
细节不清晰的缺陷，提高了短焦重建图像的清晰度。

[0061] 一可选实施例中，分别将第二短焦图像中的每个分块与该分块的匹配块的高频分量进行融合包括：根据匹配块与其对应的分块的相似度越高，匹配块的融合权重越大的原
则，计算每个匹配块的融合权重；分别将每个匹配块的高频分量乘以对应的融合权重后再
与对应的分块叠加，得到短焦重建图像。

[0062] 上述实施例中，当匹配块与其对应的分块的相似度越高时，为该匹配块分配的权重越大，从而在长焦图像与短焦图像相近时，能够消除差异，而在长焦图像与短焦图像存在
差异如：有物体进入或离开时，能够强化该差异，避免重建错误。

[0063] 一可选实施例中，根据匹配块与其对应的分块的相似度越高，匹配块的融合权重越大的原则，计算每个匹配块的融合权重包括：

[0064] 计算

[0065]

[0066] 其中，Wk为第二短焦图像的第k个分块的匹配块的融合权重， Sk为第二短焦图像的第k个分块与匹配块的相似度， Smax为第二短焦图像的所有分块与
匹配块的相似度中的最大值，α为预设值。

[0067] 上述实施例中，给出了根据分块与匹配块的相似度，确定匹配块的融合权重的计算方式。

[0068] 一可选实施例中，步骤204中，分别为每个分块在第二长焦图像集的所有长焦图像中搜索匹配块包括：根据采集第一短焦图像时的云台角度、采集第一长焦图像集中的每一
帧长焦图像的云台角度、以及短焦镜头和长焦镜头的视场差，分别为第二短焦图像的每个
分块在第二长焦图像集的所有长焦图像中搜索位置匹配的匹配块；或者，采用预设的模板
匹配算法，分别为每个分块在第二长焦图像集的所有长焦图像中搜索图像相似度最高的匹
配块。

[0069] 上述实施例，实现了为第二短焦图像的每个分块在长焦图像中搜索匹配块。

[0070] 一可选实施例中，提取第二短焦图像中的每个分块的匹配块的高频分量包括：对该匹配块在第二长焦图像集中所在的长焦图像进行降采样，使得降采样后的图像分辨率与
第一短焦图像的分辨率相同，再对降采样后的图像进行插值，使得插值后的图像分辨率等
于第二短焦图像的分辨率，将该匹配块减去该匹配块在插值后的图像中的对应块，得到该
匹配块的高频分量。

[0071] 通过该实施例，实现了对匹配块的高频分量的提取。

[0072] 一可选实施例中，步骤201中，满足预设长焦图像集采集条件包括：当双目长短焦云台摄像机开机时，或者，当前采集到的短焦图像的测光值与最近一次采集的长焦图像集
中的长焦图像的测光值的差值大于预设第一阈值，或者，当前采集的短焦图像与最近一次
采集的长焦图像集中的一长焦图像在同一位置的分块的图像相似度小于预设第二阈值。

[0073] 上述实施例中，在双目长短焦云台摄像机开机时，或者环境光照发生变化时，或者当监控场景发生改变时，重新采集长焦图像集，从而保证了短焦图像重建的准确性。

[0074] 一可选实施例中，步骤201中，满足预设长焦图像集采集条件之后、驱动双目长短焦云台摄像机的云台在整个视场范围内转动之前进一步包括：

[0075] 判断是否满足：当前采集的短焦图像中没有报警目标且当前没有图像预览要求，且判定结果为是；

[0076] 且，当判定结果为否时，等待预设时长后，返回所述判断是否满足：当前采集的短焦图像中没有报警目标且当前没有图像预览要求的动作。

[0077] 上述实施例中，在当前采集的短焦图像中没有报警目标且当前没有图像预览要求时，再开始采集长焦图像集，从而避免了跟丢报警目标，并避免了妨碍用户的图像预览要
求。

[0078] 图3为本发明另一实施例提供的图像重建方法流程图，其具体步骤如下：

[0079] 步骤301：双目长短焦云台摄像机启动，云台在其视场范围内进行水平和垂直转动，长焦相机和短焦传感器实时采集短焦图像和长焦图像。

[0080] 步骤302：当满足长焦图像集采集条件时，驱动云台在整个视场范围内转动，并将云台在每个预设采集点采集到的长焦图像放入第一长焦图像集，直至云台遍历完所有采集
点。

[0081] 预先设定长焦图像集采集条件。长焦图像集采集条件如：双目长短焦云台摄像机启动时、环境亮度变化时、和/或场景内容变化(如：双目长短焦云台摄像机位置发生改变)
时。

[0082] 其中，环境亮度发生变化可通过如下方式确定：当前采集到的短焦图像的测光值与最近一次采集的长焦图像集中的长焦图像的测光值的差值大于预设第一阈值。

[0083] 场景内容变化可通过如下方式确定：当前采集的短焦图像与最近一次采集的长焦图像集中的一长焦图像在同一位置的分块的图像相似度小于预设第二阈值。

[0084] 设云台初始位置为零点，此时水平和垂直的方位角都为0，则预设采集点可设为：从0点开始水平每转25度设置一个采集点、垂直每转12度设置一个采集点。

[0085] 步骤303：当接收到外部输入的携带变焦系数的变焦请求时，采用预设的插值算法对当前短焦图像(设为第一短焦图像)进行插值，得到符合变焦请求的第二短焦图像。

[0086] 插值算法属于成熟算法，具体采用哪种算法本实施例不作限定，例如：可采用双线性插值、或者双三次插值、或者最小曲率插值等算法。

[0087] 步骤304：根据长焦镜头和短焦镜头的焦距，以及步骤303采用的变焦系数，计算将步骤302中采集的第一长焦图像集中的长焦图像与第二短焦图像中的同一目标的大小配准
时，长焦图像对应的缩小系数，采用该缩小系数，对最近采集的第一长焦图像集中的每一帧
长焦图像进行降采样处理，得到第二长焦图像集。

[0088] 步骤305：将第二短焦图像划分为预设大小且不重叠的多个分块，对于每个分块，在第二长焦图像集的所有长焦图像中搜索与该分块最匹配的匹配块，并记录每个分块与其
匹配块的相似度。

[0089] 具体地，本步骤中在为每个分块搜索匹配块之前，首先根据采集第一短焦图像时的云台角度、以及采集第一长焦图像集中的每一帧长焦图像时的云台角度，在第二长焦图
像集中选择与第二短焦图像的视场有重合之处的长焦图像，然后，对于每个分块，在所选择
的长焦图像中搜索与该分块最匹配的匹配块。

[0090] 例如：设采集第一短焦图像时的云台位置为(x,y)，x表示水平角度，y表示垂直角度，则第一短焦图像覆盖的视场如图4所示，在第一长焦图像集中选择在该视场范围内的长
焦图像即可。

[0091] 本步骤中在第二长焦图像集的所有长焦图像中搜索与该分块最匹配的匹配块可以采用如下方法之一：

[0092] 方法一、根据采集第一短焦图像时的云台角度、采集第一长焦图像集中的每一帧长焦图像的云台角度、以及短焦镜头和长焦镜头的视场差，分别为第二短焦图像的每个分
块在所选择的长焦图像中搜索与分块的位置匹配的匹配块；

[0093] 位置匹配即，分块与匹配块对应的是监控场景中的同一位置。

[0094] 方法二，采用预设的模板匹配算法，分别为每个分块在所选择的长焦图像中搜索图像相似度最高的匹配块。

[0095] 模板匹配算法可采用：MAD(Mean Absolute Difference，平均绝对差)、SAD(Sum of Absolute Difference，绝对误差和算法)或者SSD(Sum of Squared Difference，误差
平方和)等算法。

[0096] 步骤306：当为第二短焦图像的所有分块都搜索到匹配块时，对每个匹配块所在的长焦图像进行降采样，使得降采样后的图像分辨率等于第一短焦图像的分辨率，再采用预
设的插值算法对降采样后的图像进行插值，使得插值后的图像分辨率等于第二短焦图像的
分辨率，将插值后的图像称为低频长焦图像，对于每个匹配块，将该匹配块减去该匹配块在
低频长焦图像中对应的块，得到该匹配块的高频分量。

[0097] 步骤307：计算每个匹配块的融合权重

[0098]

[0099] 其中，Wk为第二短焦图像的第k个分块的匹配块的融合权重， Sk为第二短焦图像的第k个分块与匹配块的相似度， Smax为第二短焦图像的所有分块与
匹配块的相似度中的最大值，α为预设值，根据经验确定，一般地，α＝0.5。

[0100] 步骤308：对于第二短焦图像中的每个分块，将该分块的匹配块的高频分量乘以对应的融合权重后再与该分块叠加，得到该分块的重建块；所有分块的重建块构成了短焦重
建图像。

[0101] 在步骤205和步骤308中得到短焦重建图像后，就可将该短焦重建图像与当前采集的长焦图像进行融合，得到最终输出给用户的融合图像，融合过程具体如下：

[0102] 设当前采集的长焦图像为第三长焦图像，则：

[0103] 步骤01：则计算将第三长焦图像与该短焦重建图像中的同一目标的大小配准时第三长焦图像对应的缩小系数；

[0104] 步骤02：根据计算出的缩小系数，对第三长焦图像进行缩小处理，得到第四长焦图像；

[0105] 步骤03：根据当前长焦镜头与短焦镜头的相对角度，计算当第四长焦图像和该短焦重建图像中的同一目标的位置配准时第四长焦图像在该短焦重建图像中的位置；

[0106] 步骤04：根据第四长焦图像在该短焦重建图像中的位置，将第四长焦图像覆盖到该短焦重建图像上，得到最终输出给用户的融合图像。

[0107] 可见，由于对原始短焦图像进行了本发明实施例的超分辨率重建处理，从而使得最终输出给用户的融合图像的中间画面和四周画面清晰度差异大大减少。

[0108] 图5为本发明实施例提供的图像重建装置的结构示意图，该装置主要包括：存储器501以及可访问存储器501的处理器502，该存储器501存储指令，该指令在由处理器502执行
时使得处理器502执行如步骤201～205，或者步骤301～308所述的方法的步骤。

[0109] 本发明实施例还提供一种长短焦双目云台摄像机，包括：短焦相机、长焦相机和云台，其中，短焦相机和长焦相机的相对位置固定且同时随云台旋转；且，短焦相机和长焦相
机分别具有与图像重建装置通信的接口，并分别通过各自的通信接口将各自采集的原始短
焦图像和原始长焦图像发送给图像重建装置。

[0110] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。