图像对齐方法、电子设备及存储介质

摘要

本申请实施例涉及图像处理领域，公开了一种图像对齐方法、电子设备及存储介质。图像对齐方法包括：针对结构光相机所得到的相同分辨率的彩色图和目标图，将彩色图分块，并对得到的多个彩色图像块以结构光相机的最近工作距离和最远工作距离分别映射到目标图的图像坐标系中，得到目标图中对应最近工作距离的多个第一图像块和对应最远工作距离的多个第二图像块；根据对应同一彩色图像块的第一图像块和第二图像块的角点坐标，计算包含第一图像块和第二图像块的外接矩形，得到目标图的多个第三图像块；根据结构光相机的参数，将多个第三图像块与彩色图对齐。本申请避免了对齐后的目标图出现断裂、锯齿、直线变曲线等情况，有效提高了对齐精度。

权利要求

1.一种图像对齐方法，其特征在于，包括：

针对结构光相机所得到的相同分辨率的彩色图和目标图，将所述彩色图分块，并对得到的多个彩色图像块以所述结构光相机的最近工作距离和最远工作距离分别映射到所述目标图的图像坐标系中，得到所述目标图中对应所述最近工作距离的多个第一图像块和对应所述最远工作距离的多个第二图像块；

根据对应同一彩色图像块的第一图像块和第二图像块的角点坐标，计算包含所述第一图像块和所述第二图像块的外接矩形，得到所述目标图的多个第三图像块；

根据所述结构光相机的参数，将所述多个第三图像块与所述彩色图对齐。

2.根据权利要求1所述的图像对齐方法，其特征在于，所述根据对应同一彩色图像块的第一图像块和第二图像块的角点坐标，计算包含所述第一图像块和所述第二图像块的外接矩形，得到所述目标图的多个第三图像块，包括：从对应同一彩色图像块的第一图像块和第二图像块的角点坐标中，获取横坐标最大值、横坐标最小值、纵坐标最大值和纵坐标最小值；

根据所述横坐标最大值、所述横坐标最小值、所述纵坐标最大值和所述纵坐标最小值，获取包含对应同一彩色图像块的第一图像块和第二图像块的外接矩形，并以外接矩形为边界得到所述目标图的多个第三图像块。

3.根据权利要求1所述的图像对齐方法，其特征在于，所述根据所述结构光相机的参数，将所述多个第三图像块与所述彩色图对齐，包括：当所述目标图为深度图时，根据每个第三图像块中各像素点的坐标、所述各像素点的深度值和所述结构光相机中红外镜头的参数，将所述每个第三图像块的各像素点映射到彩色镜头坐标系，得到各像素点在彩色镜头坐标系下的三维坐标；

根据彩色镜头的参数，将所述各像素点在彩色镜头坐标系下的三维坐标映射到所述彩色图中，得到各像素点对应在所述彩色图中的坐标。

4.根据权利要求3所述的图像对齐方法，其特征在于，所述根据所述结构光相机的参数，将所述多个第三图像块与所述彩色图对齐，包括：当所述目标图为红外图时，根据每个第三图像块的像素点坐标、所述深度图的深度中值和所述红外镜头的参数，将所述每个第三图像块的各像素点映射到彩色镜头坐标系，得到各像素点在彩色镜头坐标系下的三维坐标；

根据彩色镜头的参数，将所述各像素点在彩色镜头坐标系下的三维坐标映射到所述彩色图中，得到各像素点对应在彩色图中的坐标；

其中，所述深度图的拍摄对象与所述红外图的拍摄对象相同，所述深度中值为所述深度图中像素点深度值的中位值，或所述深度图中像素点深度值的平均值。

5.根据权利要求1‑4中任一项所述的图像对齐方法，其特征在于，所述针对结构光相机所得到的相同分辨率的彩色图和目标图，将所述彩色图分块，并对得到的多个彩色图像块以所述结构光相机的最近工作距离和最远工作距离分别映射到所述目标图的图像坐标系中，得到所述目标图中对应所述最近工作距离的多个第一图像块和对应所述最远工作距离的多个第二图像块，包括：基于所述结构光相机中彩色镜头的参数，将所述彩色图像块的角点按照最近工作距离和最远工作距离分别映射到红外镜头坐标系，得到所述角点在红外镜头坐标系下对应最近工作距离的第一空间坐标和对应最远工作距离的第二空间坐标；

基于所述结构光相机中红外镜头的参数，将所述第一空间坐标和所述第二空间坐标分别映射到所述目标图中，得到各角点对应在所述目标图中的第一像素坐标和第二像素坐标；

根据所述第一像素坐标组成的多个图像块得到所述多个第一图像块，根据所述第二像素坐标组成的多个图像块得到所述多个第二图像块。

6.根据权利要求1所述的图像对齐方法，其特征在于，所述相同分辨率的彩色图和目标图通过如下步骤获取，包括：获取所述结构光相机直接拍摄得到的分辨率不同的原始彩色图和所述目标图，根据所述目标图的分辨率对原始彩色图进行采样处理，得到所述彩色图。

7.根据权利要求1‑4中任一项所述的图像对齐方法，其特征在于，所述根据所述结构光相机的参数，将所述多个第三图像块与所述彩色图对齐，包括：采用如下公式将所述多个第三图像块的像素点与所述彩色图的像素点对齐：

其中，（u，v）为所述目标图中第三图像块的像素点坐标， 为所述结构光相机中红外镜头的光心， 为所述结构光相机中红外镜头的焦距，为所述结构光相机中彩色镜头的光心， 为所述结构光

相机中彩色镜头的焦距，R、T为红外镜头到彩色镜头旋转矩阵和平移矩阵，（X，Y，Z）为目标图中第三图像块的像素点在彩色镜头坐标系下的三维坐标，（u’，v’）为所述目标图中第三图像块的像素点对应在所述彩色图中的坐标；当目标图为深度图时，Zuv为所述深度图中各像素点的深度值，当目标图为红外图时，Zuv为所述深度图的深度中值。

8.根据权利要求1所述的图像对齐方法，其特征在于，所述根据对应同一彩色图像块的第一图像块和第二图像块的角点坐标，计算包含所述第一图像块和所述第二图像块的外接矩形，得到所述目标图的多个第三图像块，还包括：根据对应同一彩色图像块的第一图像块和第二图像块的角点坐标，计算包含所述第一图像块和所述第二图像块的外接矩形，去除每个所述外接矩形中位于所述目标图外的区域，得到所述目标图的所述多个第三图像块。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一项所述的图像对齐方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的图像对齐方法。

说明书

图像对齐方法、电子设备及存储介质

技术领域

[0001] 本申请实施例涉及图像处理领域，特别涉及一种图像对齐方法、电子设备及存储介质。

背景技术

[0002] 深度相机可以实时获取环境物体深度信息、三维尺寸以及空间信息，为动作捕捉识别、人脸识别、自动驾驶领域的三维建模、巡航和避障、工业领域的零件扫描检测分拣等应用场景提供了技术支持，具有广泛的消费级、工业级应用需求。在这些复杂场景中，都需要彩色图像、红外图像和深度图像的像素对齐，以获取更多的特征信息，增加单个像素点的特征维度，提升算法效果和精度。

[0003] 然而，当前主流的三图对齐方案是利用摄像头参数对深度信息进行逐像素解算，这种方法由于需要逐像素计算，耗时大，难以应用到对时间极其敏感的图像处理芯片上。

发明内容

[0004] 本申请实施方式的目的在于提供一种图像对齐方法、电子设备及存储介质，通过将彩色图像块进行反向映射和外接矩形计算，获取目标图的多个第三图像块，实现对目标图的多个第三图像块并行处理，有效提高了对齐效率，且避免了对齐后的目标图出现断裂、锯齿、直线变曲线等情况，有效提高了对齐精度。

[0005] 为解决上述技术问题，本申请的实施方式提供了一种图像对齐方法，包括：针对结构光相机所得到的相同分辨率的彩色图和目标图，将所述彩色图分块，并对得到的多个彩色图像块以所述结构光相机的最近工作距离和最远工作距离分别映射到所述目标图的图像坐标系中，得到所述目标图中对应所述最近工作距离的多个第一图像块和对应所述最远工作距离的多个第二图像块；根据对应同一彩色图像块的第一图像块和第二图像块的角点坐标，计算包含所述第一图像块和所述第二图像块的外接矩形，得到所述目标图的多个第三图像块；根据所述结构光相机的参数，将所述多个第三图像块与所述彩色图对齐。

[0006] 本申请的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使所述至少一个处理器能够执行以上实施方式所述的图像对齐方法。

[0007] 本申请的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的图像对齐方法。

[0008] 本申请实施方式提供的图像对齐方法，为了将目标图对齐到彩色图，在处理时先将彩色图分块处理后得到的多个彩色图像块，按照结构光相机的最近工作距离和最远工作距离映射到目标图的图像坐标系中，得到多个第一图像块和多个第二图像块。即按照彩色图像块的位置对目标图进行分块，如此得到的目标图的多个分块中就隐含了彩色图坐标系的信息，相当于对后续对齐过程进行导向或监督，有利于提高对齐准确性。然后计算包含第一图像块和第二图像块的外接矩形，得到目标的多个第三图像块，将多个第三图像块与彩色图对齐。通过计算外接矩形得到第三图像块保证所有第三图像块组成的图像可以覆盖对齐后的目标图，避免对齐后的目标图出现断裂、锯齿、直线变曲线等情况，有效提高对齐精度，且在对齐过程中多个第三图像块可以并行处理，有效提高对齐速度。

[0009] 另外，本申请实施方式提供的图像对齐方法，根据对应同一彩色图像块的第一图像块和第二图像块的角点坐标，计算包含所述第一图像块和所述第二图像块的外接矩形，得到所述目标图的多个第三图像块，包括：从对应同一彩色图像块的第一图像块和第二图像块的角点坐标中，获取横坐标最大值、横坐标最小值、纵坐标最大值和纵坐标最小值；根据所述横坐标最大值、所述横坐标最小值、所述纵坐标最大值和所述纵坐标最小值，获取包含对应同一彩色图像块的第一图像块和第二图像块的外接矩形，并以外接矩形为边界得到所述目标图的多个第三图像块。本申请由于红外镜头和彩色镜头之间有旋转、平移、分辨率差异、FOV差异等，因此通过计算外接矩形得到第三图像块保证所有第三图像块组成的图像可以覆盖对齐后的目标图，避免目标图中个别像素点未被包含在第三图像块中。

[0010] 另外，本申请实施方式提供的图像对齐方法，当目标图为深度图时，根据所述第三图像块中各像素点的坐标、所述各像素点的深度值和所述结构光相机中红外镜头的参数，将所述第三图像块的各像素点映射到彩色镜头坐标系，得到像素点在彩色镜头坐标系下的三维坐标；根据彩色镜头的参数，将所述各像素点在彩色镜头坐标系下的三维坐标映射到所述彩色图中，得到各像素点对应在彩色图中的坐标。本申请在将深度图对齐到彩色图过程中，对深度图的多个第三图像的像素点并行处理，以使深度图的像素点快速映射到彩色图中。

[0011] 另外，本申请实施方式提供的图像对齐方法，当目标图为红外图时，根据所述第三图像块的像素点坐标、所述深度图的深度中值和所述红外镜头的参数，将所述第三图像块的各像素点映射到彩色镜头坐标系，得到像素点在彩色镜头坐标系下的三维坐标；根据彩色镜头的参数，将所述各像素点在彩色镜头坐标系下的三维坐标映射到所述彩色图中，得到各像素点对应在彩色图中的坐标；其中，所述深度图的拍摄对象与所述红外图的拍摄对象相同，所述深度中值为所述深度图中像素点深度值的中位值，或所述深度图中像素点深度值的平均值。本申请在将红外图对齐到彩色图时，对红外图的多个第三图像块并行处理，利用深度中值将红外图进行整理平移缩放，进一步提高对齐效率，也避免对齐后的红外图出现空洞区域。

附图说明

[0012] 一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

[0013] 图1是本申请实施方式提供的图像对齐方法的流程图；

[0014] 图2是本申请实施方式提供的电子设备的结构示意图。

具体实施方式

[0015] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

[0016] 下面对本实施方式的图像对齐方法的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节，并非实施本方案的必须。

[0017] 本申请的实施方式涉及一种图像对齐方法，如图1所示，包括。

[0018] 步骤101，针对结构光相机所得到的相同分辨率的彩色图和目标图，将彩色图分块，并对得到的多个彩色图像块以结构光相机的最近工作距离和最远工作距离分别映射到目标图的图像坐标系中，得到目标图中对应最近工作距离的多个第一图像块和对应最远工作距离的多个第二图像块。

[0019] 本实施例中，常规的结构光相机通常包含两个摄像头：红外摄像头和彩色摄像头。其中，红外摄像头用于获取目标图（即深度图和红外图）。彩色摄像头用于获取彩色图。因此，红外图和深度图的图像坐标系一般是相同的，红外图的像素点和深度图的像素点之间也是对齐的。本申请是将目标图（即深度图和红外图）对齐到彩色图。另外，本领域技术人员可以理解的是，对齐前深度图、红外图和彩色图是由不同摄像头在同一水平线的不同位置处拍摄同一对象得到的，即深度图、红外图和彩色图的图像内容相同、拍摄视角不同。

[0020] 需要说明的是，拍摄彩色图的彩色镜头和拍摄目标图的镜头可以是同一结构光相机的，也可以是不同结构光相机的，只要彩色图和目标图是在同一时刻拍摄同一对象得到的即可，当然若两个结构光相机处于极端位置，如一个结构光相机拍的是物体正面，一个结构光相机拍的是物体背面，得到的彩色图和目标图的图像内容完全没关系，此时本申请的图像对齐方法无法生效。

[0021] 本实施例中，对彩色图按照预设规则进行分块，得到多个彩色图像块。预设规则可以是按照彩色图的尺寸将彩色图平均分为n份，得到n个尺寸相同的彩色图像块。预设规则也可以是按照彩色图的尺寸将彩色图任意分为n份，得到n个彩色图像块。即无论按何种规则分块，只要保证n个彩色图像块构成的图像能覆盖整个彩色图即可。

[0022] 进一步地，将多个彩色图像块按照结构光相机的最近工作距离Zmin和最远工作距离Zmax分别映射到目标图的图像坐标系，得到对应Zmin的多个第一图像块和对应Zmax的多个第二图像块。假设得到4个彩色图像块A、B、C、D，按照Zmin将4个彩色图像块映射到目标图的图像坐标系，得到4个第一图像块A1、B1、C1、D1；然后再按照Zmax将4个图像块映射到目标图的图像坐标系，得到4个第二图像块A2、B2、C2、D2。需要说明的是，由于彩色镜头和拍摄目标图的目标镜头之间有旋转、平移、分辨率差异、视场角差异等等，会导致彩色图像块和第一图像块、彩色图像块和第二图像块之间有偏差。比如，彩色图像块A为正方形，映射后得到的第一图像块A1、第二图像块A2并不一定是正方形，很有可能变形为长方形或不太规则的四边形。比如：彩色图像块A和B之间没有重叠，且组成的区域刚好为彩色图的上半部分区域，映射后得到的第一图像块A1和B1、第二图像块A2和B2之间很有可能出现重叠或间隙，导致A1和B1组成的图像区域、A2和B2组成的图像区域不能完全覆盖目标图上半部分区域。

[0023] 也就是说，虽然目标图中的第一图像块、第二图像块的各像素点与彩色图像块的各像素点之间具有映射关系，但第一图像块、第二图像块和彩色图像块的形状、大小、位置并不一定完全相同。即将彩色图像块映射到目标图中得到第一图像块和第二图像块，与直接对目标图按照彩色图的分块规则进行分块得到的图像块，两者具有一定的偏差，并不完全相同。

[0024] 本申请为了将目标图对齐到彩色图，即将目标图映射到彩色图中（正向映射），先通过彩色图映射到目标图（反向映射）得到目标图的多个分块，使目标图的多个分块中隐含彩色图坐标系的信息，相当于对后续对齐过程进行导向或监督，如此有利于提高对齐准确性。

[0025] 在一实施例中，相同分辨率的彩色图和目标图通过如下方式获取，包括：获取结构光相机拍摄得到的分辨率不同的原始彩色图和目标图，根据目标图的分辨率对原始彩色图进行采样处理，得到彩色图。具体地，原始彩色图和目标图可以由同一结构光相机直接拍摄得到，也可以由不同结构光相机直接拍摄得到。不同结构光相机拍摄的原始彩色图与目标图的分辨率，大多差异较大，即使同一结构光相机直接拍摄得到的原始彩色图与目标图（红外图、深度图），两者分辨率差异也较大，为了避免对齐后的目标图出现断裂、锯齿、直线变曲线等问题，对原始彩色图进行采样处理，得到分辨率相同的彩色图和目标图。

[0026] 在一实施例中，步骤101包括：基于结构光相机中彩色镜头的参数，将彩色图像块的角点按照最近工作距离和最远工作距离分别映射到红外镜头坐标系，得到角点在红外镜头坐标系下对应最近工作距离的第一空间坐标和对应最远工作距离的第二空间坐标；基于结构光相机中红外镜头的参数，将第一空间坐标和第二空间坐标分别映射到目标图中，得到各角点对应在目标图中的第一像素坐标和第二像素坐标；根据第一像素坐标组成的多个图像块得到多个第一图像块，根据第二像素坐标组成的多个图像块得到多个第二图像块。

[0027] 在将彩色图像块反向映射到目标图时，可以只对彩色图像块的角点坐标进行反向映射，以减小计算量，具体计算公式如下：

[0028]

[0029] 其中，（urgb，vrgb）为彩色图中彩色图像块的角点坐标； 为所述结构光相机中彩色镜头的光心， 为所述结构光相机中彩色镜头的焦距；
为所述结构光相机中红外镜头的光心， 为所述结构光相机中
红外镜头的焦距；R、T为红外镜头到彩色镜头旋转矩阵和平移矩阵；Z’为最近工作距离Zmin或最远工作距离Zmax；（Xi，Yi，Zi）为第一空间坐标或第二空间坐标，当Z’=Zmin时，（X1，Y1，Z1）为彩色图像块的角点在红外镜头坐标系下的第一空间坐标，当Z’=Zmax时，（X2，Y2，Z2）为彩色图像块的角点在红外镜头坐标系下的第二空间坐标；（ui，vi）为第一像素坐标或第二像素坐标，当Z’=Zmin时，（u1，v1）为彩色图像块的角点对应在目标图的第一像素坐标，当Z’=Zmax时，（u2，v2）为彩色图像块的角点对应在目标图的第二像素坐标。

[0030] 步骤102，根据对应同一彩色图像块的第一图像块和第二图像块的角点坐标，计算包含第一图像块和第二图像块的外接矩形，得到目标图的多个第三图像块。

[0031] 本实施例中，在反向映射得到第一图像块和第二图像块后，由于所有第一图像块组成的区域并不能完全覆盖目标图、所有第二图像块组成的区域也并不能完全覆盖目标图，因此为了避免对齐过程中目标图的个别像素点出现遗漏，对第一图像块和第二图像块进行外扩，计算包含第一图像块和第二图像块的外接矩形，得到目标图的多个第三图像块。比如：反向映射得到第一图像块A1、B1、C1、D1，第二图像块A2、B2、C2、D2后，计算包含A1、A2的外接矩形，得到第三图像块A3，计算包含B1、B2的外接矩形，得到第三图像块B3，以此类推得到第三图像块C3、D3。而计算得到的所有第三图像块A3、B3、C3、D3组成的区域可以保证完全覆盖对齐后的目标图。

[0032] 在一实施例中，步骤102包括：从对应同一彩色图像块的第一图像块和第二图像块的角点坐标中，获取横坐标最大值、横坐标最小值、纵坐标最大值和纵坐标最小值；根据横坐标最大值、横坐标最小值、纵坐标最大值和纵坐标最小值，获取包含对应同一彩色图像块的第一图像块和第二图像块的外接矩形，并以外接矩形为边界得到目标图的多个第三图像块。

[0033] 本实施例中，从对应同一彩色图像块的第一图像块和第二图像块，如：A1和A2、B1和B2、C1和C2、D1和D2，获取对应A1和A2的Xmax、Xmin、Ymax、Ymin，对应B1和B2的Xmax、Xmin、Ymax、Ymin，对应C1和C2的Xmax、Xmin、Ymax、Ymin，对应D1和D2的Xmax、Xmin、Ymax、Ymin。对于每一对第一图像块和第二图像块，计算包含第一图像块和第二图像块的外接矩形，外接矩形的角点坐标为（Xmax，Ymax）、（Xmax，Ymin）、（Xmin，Ymax）（Xmin，Ymin），根据外接矩形的角点坐标即可得到第三图像块。

[0034] 需要说明的是，各第三图像块之间的交界处，可能存在一小部分图像区域有重叠，重叠区域的像素点由于同时属于两个图像块，因此在对齐过程中会计算两次，如此设计保证对齐后图像块交界处不会出现断裂、空隙、直线变曲线的情况，提高了对齐的准确度。

[0035] 在一实施例中，根据对应同一彩色图像块的第一图像块和第二图像块的角点坐标，计算包含第一图像块和所述第二图像块的外接矩形，得到目标图像的多个第三图像块，还包括：根据对应同一彩色图像块的第一图像块和第二图像块的角点坐标，计算包含第一图像块和第二图像块的外接矩形，去除每个外接矩形中位于目标图外的区域，得到目标图的所述第三图像块。

[0036] 步骤103，根据结构光相机的参数，将多个第三图像块与彩色图对齐。

[0037] 本实施例中，根据结构光相机的内参和外参，对得到的多个第三图像块同时与彩色图进行对齐，即并行对齐多个图像块，如此在前述反向映射和外接矩形提高对齐精度的基础上，有效提高了对齐速度。

[0038] 在一实施例中，步骤103包括：当目标图为深度图时，根据第三图像块中各像素点的坐标、各像素点的深度值和结构光相机中红外镜头的参数，将第三图像块的各像素点映射到彩色镜头坐标系，得到像素点在彩色镜头坐标系下的三维坐标；根据彩色镜头的参数，将各像素点在彩色镜头坐标系下的三维坐标映射到所述彩色图中，得到各像素点对应在彩色图中的坐标。

[0039] 本实施例中，当目标图为深度图时，根据第三图像块中各像素点坐标和深度值，对多个第三图像块进行并行对齐处理，而对每个第三图像块中各像素点又进行逐像素对齐处理。如此，在对齐精度和对齐效率之间达到了平衡。

[0040] 在一实施例中，步骤103包括：当目标图为红外图时，根据第三图像块的像素点坐标、深度图的深度中值和所述红外镜头的参数，将第三图像块的各像素点映射到彩色镜头坐标系，得到像素点在彩色镜头坐标系下的三维坐标；根据彩色镜头的参数，将各像素点在彩色镜头坐标系下的三维坐标映射到所述彩色图中，得到各像素点对应在彩色图中的坐标；其中，深度图的拍摄对象与红外图的拍摄对象相同，深度中值为深度图中像素点深度值的中位值，或深度图中像素点深度值的平均值。

[0041] 本实施例中，当目标图为红外图时，由于红外图和深度图由同一红外镜头拍摄同一对象得到，因此可采用深度图的深度中值将红外图对齐到彩色图。深度中值为深度图中像素点深度值的中位值，或深度图中像素点深度值的平均值。即根据深度中值将红外图的第三图像块在Z轴方向整体映射到彩色图中。

[0042] 具体地，采用如下公式将多个第三图像块的像素点与彩色图的像素点对齐：

[0043]

[0044] 其中，（u，v）为目标图中第三图像块的像素点坐标， 为结构光相机中红外镜头的光心， 为结构光相机中红外镜头的焦距， 为结
构光相机中彩色镜头的光心， 为结构光相机中彩色镜头的焦距，R、T为红
外镜头到彩色镜头旋转矩阵和平移矩阵，（X，Y，Z）为目标图中第三图像块的像素点在彩色镜头坐标系下的三维坐标，（u’，v’）为目标图中第三图像块的像素点对应在所述彩色图中的坐标；当目标图为深度图时，Zuv为所述深度图中各像素点的深度值，当目标图为红外图时，Zuv为所述深度图的深度中值。

[0045] 本申请实施方式提供的图像对齐方法，为了将目标图对齐到彩色图，在处理时先将彩色图分块处理后得到的多个彩色图像块，按照结构光相机的最近工作距离和最远工作距离映射到目标图的图像坐标系中，得到多个第一图像块和多个第二图像块。即按照彩色图像块的位置对目标图进行分块，如此得到的目标图的多个分块中就隐含了彩色图坐标系的信息，相当于对后续对齐过程进行导向或监督，有利于提高对齐准确性。然后计算包含第一图像块和第二图像块的外接矩形，得到目标的多个第三图像块，将多个第三图像块与彩色图对齐。通过计算外接矩形得到第三图像块保证所有第三图像块组成的图像可以覆盖对齐后的目标图，避免对齐后的目标图出现断裂、锯齿、直线变曲线等情况，有效提高对齐精度，且在对齐过程中多个第三图像块可以并行处理，有效提高对齐速度。

[0046] 上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

[0047] 本申请的实施方式涉及一种电子设备，如图2所示，包括：

[0048] 至少一个处理器201；以及，与至少一个处理器201通信连接的存储器202；其中，存储器202存储有可被至少一个处理器201执行的指令，指令被至少一个处理器201执行，以使至少一个处理器201能够执行如上述实施方式提及的图像对齐方法。

[0049] 该电子设备包括：一个或多个处理器201以及存储器202，图2中以一个处理器201为例。处理器201、存储器202可以通过总线或者其他方式连接，图2中以通过总线连接为例。存储器202作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器201通过运行存储在存储器202中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述图像对齐方法。

[0050] 存储器202可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器202可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器202可选包括相对于处理器201远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

[0051] 一个或者多个模块存储在存储器202中，当被一个或者多个处理器201执行时，执行上述任意实施方式中的图像对齐方法。

[0052] 上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的图像对齐方法。

[0053] 本申请的实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述图像对齐方法的实施例。

[0054] 即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read‑Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

[0055] 本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。