一种基于亿像素阵列式相机的图像拼接方法及系统

摘要

本申请提供的一种基于亿像素阵列式相机的图像拼接方法及系统，具体应用于图像处理领域，包括亿像素阵列式相机拍摄目标对象，获取第一待拼接图像和第二待拼接图像；分别对第一待拼接图像和第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取亿像素阵列式相机的第一移动速度；获取目标对象的第二移动速度；基于第一移动速度和第二移动速度，计算偏移率；基于偏移率调整第一特征点和第二特征点，获得第一修正特征点和第二修正特征点；匹配第一修正特征点和第二修正特征点，获得多个最优特征点对；筛选多个最优特征点对，拼接第一待拼接图像和第二待拼接图像，获得总图像。通过上述方式，本发明能够提高图像拼接效率和精度。

权利要求

1.一种基于亿像素阵列式相机的图像拼接方法，其特征在于，包括：获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；

分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；

获取所述亿像素阵列式相机的第一移动速度；

获取所述目标对象的第二移动速度；

基于所述第一移动速度和所述第二移动速度，计算偏移率；

所述基于所述第一移动速度和所述第二移动速度，计算偏移率，包括：分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；

若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2‑t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度；

基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；

匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；

筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。

2.根据权利要求1所述的图像拼接方法，其特征在于，所述第一待拼接图像和所述第二待拼接图像是连续的两帧图像。

3.根据权利要求1所述的图像拼接方法，其特征在于，所述分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点，包括：根据所述第一待拼接图像或所述第二待拼接图像上的每个像素点，以该像素点为中心，计算n个邻近像素点的灰度差值；

若所述灰度差值符合预设条件的邻近像素点大于n/2个，则该像素点确定为第一特征点或第二特征点。

4.根据权利要求1所述的图像拼接方法，其特征在于，所述分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2，包括：通过以下公式计算第一偏移量s1和第二偏移量s2：s1＝|vx1‑vx2|*Δt

s2＝|vd1‑vd2|*Δt

其中，vx1表示亿像素阵列式相机在t1时刻的移动速度，vx2表示亿像素阵列式相机在t2时刻的移动速度，vd1表示目标对象在t1时刻的移动速度，vd2表示目标对象在t2时刻的移动速度，Δt表示第一待拼接图像与第二待拼接图像的拍摄时间差。

5.根据权利要求1所述的图像拼接方法，其特征在于，基于所述偏移率调整所述第一特征点，获得第一修正特征点，包括：构建三维坐标系；

获取多个所述第一特征点中任一个特征点的坐标值(x1,y1,z1)；

通过以下公式对该特征点进行坐标变换：

其中， 表示坐标转换值， 表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[QT]表示亿像素阵列式相机的外参矩阵；R表示偏移率，表示该特征点的修正坐标值；

遍历所述第一特征点中的所有特征点，重复以上步骤；

基于所述第一特征点中所有特征点的修正坐标值，映射出第一修正特征点。

6.根据权利要求5所述的图像拼接方法，其特征在于，基于所述偏移率调整所述第二特征点，获得第二修正特征点，包括：获取多个所述第二特征点中任一个特征点的坐标值(x2,y2,z2)；

通过以下公式对该特征点进行坐标变换：

其中， 表示坐标转换值， 表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示相机的光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[QT]表示亿像素阵列式相机的外参矩阵；R表示偏移率， 表示该特征点的修正坐标值；

遍历所述第二特征点中的所有特征点，重复以上步骤；

基于述第二特征点中所有特征点的修正坐标值，映射出第二修正特征点。

7.根据权利要求1所述的图像拼接方法，其特征在于，所述匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对，包括：采用汉明距离匹配所述第一修正特征点和所述第二修正特征点中的每一特征点，获得汉明距离最短的多个最优特征点对。

8.根据权利要求1所述的图像拼接方法，其特征在于，所述拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像，包括：采用加权融合算法，获得拼接后的总图像。

9.一种基于亿像素阵列式相机的图像拼接系统，其特征在于，包括：图像数据获取模块，用于获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；

特征点确定模块，用于分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；

速度确定模块，用于分别获取所述亿像素阵列式相机和所述目标对象的第一移动速度、第二移动速度；

偏移率计算模块，用于基于所述第一移动速度和所述第二移动速度，计算偏移率；

所述偏移率计算模块，进一步用于分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；

若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2‑t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度；

特征点修正模块，用于基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；

最优特征点对获取模块，用于匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；

图像拼接模块，用于筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。

说明书

一种基于亿像素阵列式相机的图像拼接方法及系统

技术领域

[0001] 本申请涉及图像处理领域，更具体地，涉及一种基于亿像素阵列式相机的图像拼接方法及系统。

背景技术

[0002] 阵列式相机通过多个小镜头代替一个大镜头的拍摄效果，其原理是通过同时控制多台相机进行拍摄的技术，相比于传统的相机来说，亿像素阵列式相机的视野更广，拍出的照片也更大，同时其体积更小。

[0003] 图像配准是图像拼接的关键，图像配准旨在找出两张图像中的相同区域，以计算图像间的坐标变化，图像配准的精度直接决定着图像的拼接质量。

[0004] 现有技术中，通常采用对图像本身进行灰度处理、角度变换、边缘处理等方式来实现图像配准，忽略了拍摄目标和拍摄装置的移动所造成的图像偏差，导致图像拼接精度低。

发明内容

[0005] 本发明实施例的目的在于提供一种基于亿像素阵列式相机的图像拼接方法及系统，根据亿像素阵列式相机和目标对象的移动确定偏移率，并通过偏移率修正特征点，避免移动所导致的图像偏差，提高图像拼接效率和精度。具体技术方案如下：

[0006] 在本发明实施例的第一方面，提供一种基于亿像素阵列式相机的图像拼接方法，包括：获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取所述亿像素阵列式相机的第一移动速度；获取所述目标对象的第二移动速度；基于所述第一移动速度和所述第二移动速度，计算偏移率；基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。

[0007] 可选地，所述第一待拼接图像和所述第二待拼接图像是连续的两帧图像。

[0008] 可选地，所述分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点，包括：根据所述第一待拼接图像或所述第二待拼接图像上的每个像素点，以该像素点为中心，计算n个邻近像素点的灰度差值；若所述灰度差值符合预设条件的邻近像素点大于n/2个，则该像素点确定为第一特征点或第二特征点。

[0009] 可选地，所述基于所述第一移动速度和所述第二移动速度，计算偏移率，包括：分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：

[0010]

[0011] 若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：

[0012]

[0013] 其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2‑t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度。

[0014] 可选地，所述分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2，包括：通过以下公式计算第一偏移量s1和第二偏移量s2：

[0015] s1＝|vx1‑vx2|*Δt

[0016] s2＝|vd1‑vd2|*Δt

[0017] 其中，vx1表示亿像素阵列式相机在t1时刻的移动速度，vx2表示亿像素阵列式相机在t2时刻的移动速度，vd1表示目标对象在t1时刻的移动速度，vd2表示目标对象在t2时刻的移动速度，Δt表示第一待拼接图像与第二待拼接图像的拍摄时间差。

[0018] 可选地，基于所述偏移率调整所述第一特征点，获得第一修正特征点，包括：构建三维坐标系；获取多个所述第一特征点中任一个特征点的坐标值(x1,y1,z1)；通过以下公式对该特征点进行坐标变换：

[0019]

[0020]

[0021] 其中， 表示坐标转换值， 表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率， 表示该特征点的修正坐标值；遍历所述第一特征点中的所有特征点，重复以上步骤；基于所述第一特征点中所有特征点的修正坐标值，映射出第一修正特征点。

[0022] 可选地，基于所述偏移率调整所述第二特征点，获得第二修正特征点，包括：获取获取多个所述第二特征点中任一个特征点的坐标值(x2,y2,z2)；通过以下公式对该特征点进行坐标变换：

[0023]

[0024]

[0025] 其中， 表示坐标转换值， 表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示相机的光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率， 表示该特征点的修正坐标值；遍历所述第二特征点中的所有特征点，重复以上步骤；基于述第二特征点中所有特征点的修正坐标值，映射出第二修正特征点。

[0026] 可选地，所述匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对，包括：采用汉明距离匹配所述第一修正特征点和所述第二修正特征点中的每一特征点，获得汉明距离最短的多个最优特征点对。

[0027] 可选地，所述拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像，包括：采用加权融合算法，获得拼接后的总图像。

[0028] 在本发明实施例的又一方面，提供一种基于亿像素阵列式相机的图像拼接系统，包括：图像数据获取模块，用于获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像；特征点确定模块，用于分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；速度确定模块，用于获取所述亿像素阵列式相机、所述目标对象的第一移动速度和第二移动速度；偏移率计算模块，用于基于所述第一移动速度和所述第二移动速度，计算偏移率；特征点修正模块，用于基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点；最优特征点对获取模块，用于匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对；图像拼接模块，用于筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。

[0029] 可选地，所述第一待拼接图像和所述第二待拼接图像是连续的两帧图像。

[0030] 可选地，所述特征点确定模块进一步用于：根据所述第一待拼接图像或所述第二待拼接图像上的每个像素点，以该像素点为中心，计算n个邻近像素点的灰度差值；若所述灰度差值符合预设条件的邻近像素点大于n/2个，则该像素点确定为第一特征点或第二特征点。

[0031] 可选地，所述偏移率计算模块，进一步用于：分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：

[0032]

[0033] 若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：

[0034]

[0035] 其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2‑t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度。

[0036] 可选地，所述分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2，包括：通过以下公式计算第一偏移量s1和第二偏移量s2：

[0037] s1＝|vx1‑vx2|*Δt

[0038] s2＝|vd1‑vd2|*Δt

[0039] 其中，vx1表示亿像素阵列式相机在t1时刻的移动速度，vx2表示亿像素阵列式相机在t2时刻的移动速度，vd1表示目标对象在t1时刻的移动速度，vd2表示目标对象在t2时刻的移动速度，Δt表示第一待拼接图像与第二待拼接图像的拍摄时间差。

[0040] 可选地，所述特征点修正模块进一步用于：构建三维坐标系；获取多个所述第一特征点中任一个特征点的坐标值(x1,y1,z1)；通过以下公式对该特征点进行坐标变换：

[0041]

[0042]

[0043] 其中， 表示坐标转换值， 表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率， 表示该特征点的修正坐标值；遍历所述第一特征点中的所有特征点，重复以上步骤；基于所述第一特征点中所有特征点的修正坐标值，映射出第一修正特征点。

[0044] 可选地，所述特征点修正模块进一步用于：获取获取多个所述第二特征点中任一个特征点的坐标值(x2,y2,z2)；通过以下公式对该特征点进行坐标变换：

[0045]

[0046]

[0047] 其中， 表示坐标转换值， 表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示相机的光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率， 表示该特征点的修正坐标值；遍历所述第二特征点中的所有特征点，重复以上步骤；基于述第二特征点中所有特征点的修正坐标值，映射出第二修正特征点。

[0048] 可选地，所述最优特征点对获取模块进一步用于：采用汉明距离匹配所述第一修正特征点和所述第二修正特征点中的每一特征点，获得汉明距离最短的多个最优特征点对。

[0049] 可选地，所述图像拼接模块进一步用于：采用加权融合算法，获得拼接后的总图像。

[0050] 有益效果：

[0051] 本发明采用亿像素阵列式相机拍摄目标对象，获取第一待拼接图像和第二待拼接图像；分别对第一待拼接图像和第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取亿像素阵列式相机的第一移动速度；获取目标对象的第二移动速度；基于第一移动速度和第二移动速度，计算偏移率；基于偏移率调整第一特征点和第二特征点，获得第一修正特征点和第二修正特征点；匹配第一修正特征点和第二修正特征点，获得多个最优特征点对；筛选多个最优特征点对，拼接第一待拼接图像和第二待拼接图像，获得总图像。其中，偏移率的计算考虑了相机和拍摄对象的移动方向和速度可能对图像拼接造成的误差，同时引入三维坐标系，将相机参数与偏移率结合，修正两张图像的特征点；通过该方式采集的图像数据质量较高，同时能够提高图像拼接效率和精度。

附图说明

[0052] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0053] 图1是本申请实施例提供的一种基于亿像素阵列式相机的图像拼接方法的流程示意图；

[0054] 图2是本申请实施例提供的一种基于亿像素阵列式相机的图像拼接系统的结构示意图。

具体实施方式

[0055] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

[0056] 因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0057] 本申请实施例提供了一种基于亿像素阵列式相机的图像拼接方法及系统，包括亿像素阵列式相机拍摄目标对象，获取第一待拼接图像和第二待拼接图像；分别对第一待拼接图像和第二待拼接图像进行特征点提取，确定第一特征点和第二特征点；获取亿像素阵列式相机的第一移动速度；获取目标对象的第二移动速度；基于第一移动速度和第二移动速度，计算偏移率；基于偏移率调整第一特征点和第二特征点，获得第一修正特征点和第二修正特征点；匹配第一修正特征点和第二修正特征点，获得多个最优特征点对；筛选多个最优特征点对，拼接第一待拼接图像和第二待拼接图像，获得总图像。通过上述方式，本发明能够提高图像拼接效率和精度。

[0058] 该基于亿像素阵列式相机的图像拼接方法及系统，具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为光场摄像机、车载相机、手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer，PC)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。以上举例不应理解为对本申请的限制。

[0059] 图1示出了本申请实施例提供的基于亿像素阵列式相机的图像拼接方法的流程示意图，请参考图1，具体包括如下步骤：

[0060] S110、获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像。

[0061] 其中，亿像素阵列式相机是由一个主镜头和N个微型镜头阵列式结合的跨尺度成像相机，微型镜头根据不同的光路设计，可以形成不同的焦距，多个镜头并行工作时，能够捕捉到远近不同的画面。

[0062] 由此通过亿像素阵列式相机采集图像数据，不仅能够大幅度提升采集数据和成像范围的数量级，同时获得多个焦点，实现大视野和细节的兼顾。

[0063] 在一种实施方式中，所述第一待拼接图像和所述第二待拼接图像可以是连续的两帧图像。

[0064] 在另一种实施方式中，所述第一待拼接图像和所述第二待拼接图像可以在预设时间间隔内获取的两帧图像；例如起始时刻为17点，预设时间间隔为5秒，则将17点拍摄的图像作为第一待拼接图像，将17点0分5秒拍摄的图像作为第二待拼接图像。

[0065] 可选地，计算机装置接收亿像素阵列式相机采集的图像数据，所述图像数据可以通过第五代移动通讯技术进行传输，也可以通过wifi网络进行传输。其中，图像数据可以是人像、大型动物、小型动物、车辆以及植物等。

[0066] S120、分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点。

[0067] 其中，可以根据所述第一待拼接图像或所述第二待拼接图像上的每个像素点，以该像素点为中心，计算半径为d的圆周上的n个邻近像素点的灰度差值；若所述灰度差值符合预设条件的邻近像素点大于n/2个，则该像素点确定为第一特征点或第二特征点。

[0068] S130、获取所述亿像素阵列式相机的第一移动速度。

[0069] S140、获取所述目标对象的第二移动速度。

[0070] S150、基于所述第一移动速度和所述第二移动速度，计算偏移率。

[0071] 在一种实施方式中，步骤S150可以具体包括以下步骤：

[0072] S151、分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2，公式如下：

[0073] s1＝|vx1‑vx2|*Δt

[0074] s2＝|vd1‑vd2|*Δt

[0075] 其中，vx1表示亿像素阵列式相机在t1时刻的移动速度，vx2表示亿像素阵列式相机在t2时刻的移动速度，vd1表示目标对象在t1时刻的移动速度，vd2表示目标对象在t2时刻的移动速度，Δt表示第一待拼接图像与第二待拼接图像的拍摄时间差。

[0076] S152、根据所述亿像素阵列式相机和所述目标对象的移动方向，计算偏移率。

[0077] 具体地，若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：

[0078]

[0079] 若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：

[0080]

[0081] 其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2‑t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度。

[0082] 由此，考虑到相机和拍摄对象的移动方向和速度可能对图像拼接造成的误差，引入偏移率的计算公式，以提高图像拼接的精度。

[0083] S160、基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点。

[0084] 在一种实施方式中，步骤S160可以具体包括以下步骤：

[0085] S161、构建三维坐标系。

[0086] S162、获取多个所述第一特征点中任一个特征点的坐标值(x1,y1,z1)。

[0087] S163、通过以下公式对该特征点进行坐标变换：

[0088]

[0089]

[0090] 其中， 表示坐标转换值， 表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率， 表示该特征点的修正坐标值。

[0091] S164、遍历所述第一特征点中的所有特征点，重复步骤S162‑S163。

[0092] S165、基于所述第一特征点中所有特征点的修正坐标值，映射出第一修正特征点。

[0093] S166、获取获取多个所述第二特征点中任一个特征点的坐标值(x2,y2,z2)。

[0094] S167、通过以下公式对该特征点进行坐标变换：

[0095]

[0096]

[0097] 其中， 表示坐标转换值， 表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示相机的光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[Q T]表示亿像素阵列式相机的外参矩阵；R表示偏移率， 表示该特征点的修正坐标值。

[0098] S168、遍历所述第二特征点中的所有特征点，重复步骤S166‑S167。

[0099] S169、基于述第二特征点中所有特征点的修正坐标值，映射出第二修正特征点。

[0100] 偏移率的计算考虑了相机和拍摄对象的移动方向和速度可能对图像拼接造成的误差，

[0101] 该实施方式通过引入三维坐标系，创新性地将相机内参矩阵、外参矩阵与移动导致的偏移率结合，修正两张图像的特征点，减少拼接错误的情况发生。

[0102] S170、匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对。

[0103] 其中，采用汉明距离匹配所述第一修正特征点和所述第二修正特征点中的每一特征点，获得汉明距离最短的多个最优特征点对。

[0104] 具体地，可以预设所需的最优特征点对数量，也可以预设汉明距离阈值，在此不做具体限定。

[0105] S180、筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。

[0106] 其中，可以采用加权融合算法，获得拼接后的总图像。

[0107] 由此，在兼顾大视野和细节的图像数据基础上，能够避免相机和拍摄对象移动造成的图像偏差，提高图像拼接效率和精度。

[0108] 为实现上述方法类实施例，本实施例还提供一种基于亿像素阵列式相机的图像拼接系统，如图2所示，该系统包括：

[0109] 图像数据获取模块210，用于获取亿像素阵列式相机拍摄的图像数据；所述图像数据是目标对象的第一待拼接图像和第二待拼接图像。

[0110] 特征点确定模块220，用于分别对所述第一待拼接图像和所述第二待拼接图像进行特征点提取，确定第一特征点和第二特征点。

[0111] 速度确定模块230，用于分别获取所述亿像素阵列式相机和所述目标对象的第一移动速度、第二移动速度。

[0112] 偏移率计算模块240，用于基于所述第一移动速度和所述第二移动速度，计算偏移率。

[0113] 特征点修正模块250，用于基于所述偏移率调整所述第一特征点和所述第二特征点，获得第一修正特征点和第二修正特征点。

[0114] 最优特征点对获取模块260，用于匹配所述第一修正特征点和所述第二修正特征点，获得多个最优特征点对。

[0115] 图像拼接模块270，用于筛选所述多个最优特征点对，拼接所述第一待拼接图像和所述第二待拼接图像，获得总图像。

[0116] 可选地，所述第一待拼接图像和所述第二待拼接图像是连续的两帧图像。

[0117] 可选地，所述特征点确定模块220进一步用于：根据所述第一待拼接图像或所述第二待拼接图像上的每个像素点，以该像素点为中心，计算n个邻近像素点的灰度差值；若所述灰度差值符合预设条件的邻近像素点大于n/2个，则该像素点确定为第一特征点或第二特征点。

[0118] 可选地，所述偏移率计算模块240，进一步用于：分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2；若所述亿像素阵列式相机和所述目标对象同向移动，则通过以下公式计算偏移率R：

[0119]

[0120] 若所述亿像素阵列式相机和所述目标对象反向移动，则通过以下公式计算偏移率R：

[0121]

[0122] 其中，t2表示第二待拼接图像的拍摄时刻，t1表示第一待拼接图像的拍摄时刻，则第一待拼接图像与第二待拼接图像的拍摄时间差Δt＝|t2‑t1|，vx1表示亿像素阵列式相机在t1时刻的移动速度，vd1表示目标对象在t1时刻的移动速度。

[0123] 可选地，所述分别基于所述第一移动速度和所述第二移动速度，计算第一偏移量s1和第二偏移量s2，包括：通过以下公式计算第一偏移量s1和第二偏移量s2：

[0124] s1＝|vx1‑vx2|*Δt

[0125] s2＝|vd1‑vd2|*Δt

[0126] 其中，vx1表示亿像素阵列式相机在t1时刻的移动速度，vx2表示亿像素阵列式相机在t2时刻的移动速度，vd1表示目标对象在t1时刻的移动速度，vd2表示目标对象在t2时刻的移动速度，Δt表示第一待拼接图像与第二待拼接图像的拍摄时间差。

[0127] 可选地，所述特征点修正模块250进一步用于：构建三维坐标系；获取多个所述第一特征点中任一个特征点的坐标值(x1,y1,z1)；通过以下公式对该特征点进行坐标变换：

[0128]

[0129]

[0130] 其中， 表示坐标转换值， 表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[QT]表示亿像素阵列式相机的外参矩阵；R表示偏移率， 表示该特征点的修正坐标值；遍历所述第一特征点中的所有特征点，重复以上步骤；基于所述第一特征点中所有特征点的修正坐标值，映射出第一修正特征点。

[0131] 可选地，所述特征点修正模块250进一步用于：获取获取多个所述第二特征点中任一个特征点的坐标值(x2,y2,z2)；通过以下公式对该特征点进行坐标变换：

[0132]

[0133]

[0134] 其中， 表示坐标转换值， 表示亿像素阵列式相机的内参矩阵，fx和fy分别表示x轴、y轴方向焦距的长度，单位是毫米；cx和cy分别表示相机的光学中心，单位是像素；Q表示旋转矩阵，T表示平移矩阵，[QT]表示亿像素阵列式相机的外参矩阵；R表示偏移率， 表示该特征点的修正坐标值；遍历所述第二特征点中的所有特征点，重复以上步骤；基于述第二特征点中所有特征点的修正坐标值，映射出第二修正特征点。

[0135] 可选地，所述最优特征点对获取模块260进一步用于：采用汉明距离匹配所述第一修正特征点和所述第二修正特征点中的每一特征点，获得汉明距离最短的多个最优特征点对。

[0136] 可选地，所述图像拼接模块270进一步用于：采用加权融合算法，获得拼接后的总图像。

[0137] 该系统在计算偏移率时，考虑了相机和拍摄对象的移动方向和速度可能对图像拼接造成的误差，同时引入三维坐标系，将相机参数与偏移率结合，修正两张图像的特征点，能够提高图像拼接效率和精度。

[0138] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置中模块/单元/子单元/组件的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0139] 在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

[0140] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0141] 另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

[0142] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read‑Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

[0143] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

[0144] 最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。