一种图像校正方法和装置

摘要

本发明揭示了一种图像校正方法及装置，用于对采集到的畸变图像进行校正，包括如下步骤：定制单幅特征靶图，采用摄像头采集单幅特征靶图的畸变图像；采用畸变参数表对单幅特征靶图的畸变图像进行畸变校正后依次进行透视变换和分区域拟合，分别获取相对应的经典外参矩阵和分区域拟合函数；采用摄像头采集实际现场图像的畸变图像，依次采用光学畸变参数表进行畸变校正、采用经典外参矩阵进行透视变换、采用分区域拟合函数进行分区域拟合校正和拼接融合，生成实际现场图像的最终校正图像。采用了本发明的技术方案，实现了对个体摄像头采集图像的高精度畸变校正，提高了图像与实际摄像头视场内物体分布位置的精准匹配度。

权利要求

1.一种图像校正方法，用于对采集到的畸变图像进行校正，其特征在于，包括如下步骤：步骤S1，摆放单幅特征靶图，采用摄像头进行采集，生成所述单幅特征靶图的畸变图像；

步骤S2，采用光学畸变参数表对所述单幅特征靶图的畸变图像进行畸变校正，生成所述单幅特征靶图的虚拟物平面图像；

步骤S3，对所述单幅特征靶图的虚拟物平面图像进行外参标定得到经典外参矩阵后，采用经典外参矩阵进行透视变换生成所述单幅特征靶图的透视变换图像；

步骤S4，将所述单幅特征靶图的透视变换图像划分为不同区域，对所述单幅特征靶图的透视变换图像上的特征点与单幅特征靶图上的特征点分区域进行一一配对，分区域拟合后得到分区域拟合函数；

步骤S5，采用摄像头采集实际现场图像，生成实际现场图像的畸变图像，依次采用光学畸变参数表进行畸变校正、采用经典外参矩阵进行透视变换、按照划分的不同区域采用分区域拟合函数进行分区域拟合校正后再拼接融合，生成所述实际现场图像的最终校正图像；

所述单幅特征靶图为矩形，其上设置的特征点为第一特征点，第一特征点在水平方向和垂直方向间隔相同；

所述单幅特征靶图的畸变图像、虚拟物平面图像、透视变换图像上存在与所述单幅特征靶图上第一特征点相对应的第二特征点、第三特征点和第四特征点，单幅特征靶图上的第一特征点通过缩放比例映射到透视变换平面上生成第五特征点，所述步骤S3包括如下步骤：

步骤S31，提取所述单幅特征靶图的虚拟物平面图像中第三特征点，与单幅特征靶图中均匀分布的第一特征点进行一一映射，得到映射后第三特征点的坐标；

步骤S32，将所述单幅特征靶图中第一特征点的坐标按缩放比例映射到透视变换平面，得到第五特征点在透视变换平面上的坐标；

步骤S33，解出经典外参矩阵，所述经典外参矩阵用于将第五特征点在透视变换平面上的坐标变换为映射后第三特征点的坐标；

步骤S34，根据经典外参矩阵对所述单幅特征靶图的虚拟物平面图像进行透视变换，得到所述单幅特征靶图的透视变换图像。

2.如权利要求1所述图像校正方法，其特征在于，所述虚拟物平面图像为在虚拟物平面上生成的图像，所述光学畸变参数表中包括视场角与对应的像高，所述视场角为虚拟物平面上的点到摄像头光心的连线与摄像头主光轴的夹角，对应的所述像高为像平面上对应的点到像平面中心点的距离，所述像平面为摄像头采集生成的畸变图像；

所述步骤S2中，通过视场角与对应像高的对应关系，对采集的单幅特征靶图的畸变图像进行畸变校正。

3.如权利要求2所述图像校正方法，其特征在于，所述步骤S2包括如下步骤：步骤S21，对光学畸变参数表中视场角与对应像高的数据进行拟合，得到视场角与对应像高的拟合公式；

步骤S22，计算所述虚拟物平面的中心点与所述像平面的中心点的坐标；

步骤S23，结合视场角与对应像高的拟合公式、所述虚拟物平面的中心点和所述像平面的中心点的坐标，计算得到所述虚拟物平面上点的坐标与所述像平面上对应点的坐标的对应关系；

步骤S24，采用像平面上与对应点相邻近的像素进行插值，生成对应的虚拟物平面上点的像素。

4.如权利要求1所述图像校正方法，其特征在于，所述步骤S31包括如下步骤：步骤S311，对所述单幅特征靶图的虚拟物平面图像中的第三特征点进行编号，并记录第三特征点的坐标；

步骤S312，取水平坐标值最小的一个第三特征点，作为梯度分析顶点；

步骤S313，将余下的第三特征点按照编号分别与梯度分析顶点连线，计算连线与水平方向上半象限的夹角，选择夹角最大的多个第三特征点，选择的第三特征点的数量比单幅特征靶图中分布的第一特征点的行数少1个；

步骤S314，对选择的第三特征点按照垂直方向坐标值进行从小到大的重新排序，并记录第三特征点的坐标；

步骤S315，将已经重新排序的第三特征点从所述单幅特征靶图的虚拟物平面图像中移除；当单幅特征靶图的虚拟物平面图像中的第三特征点未被全部移除，继续执行步骤S311；

当单幅特征靶图的虚拟物平面图像中的第三特征点被全部移除，得到的重新排序的第三特征点及其坐标，即为与原单幅特征靶图中均匀分布的第一特征点一一映射后的第三特征点及其坐标。

5.如权利要求4所述图像校正方法，其特征在于，所述步骤S4包括如下步骤：步骤S41，将单幅特征靶图的透视变换图像上的第四特征点与单幅特征靶图的在透视变换平面上的第五特征点进行一一匹配；

步骤S42，根据相互匹配的第四特征点与第五特征点距离的最大值情况，对透视变换平面进行区域划分，以第五特征点的坐标对第四特征点的坐标进行分区域拟合，得到分区域拟合函数。

6.如权利要求5所述图像校正方法，其特征在于，所述步骤S41包括如下步骤：步骤S411，按编号顺序依次选取第五特征点，计算第五特征点与所有第四特征点的距离；

步骤S412，将计算出的距离的最小值与预设阈值进行比较，当距离的最小值小于预设阈值时，记录距离的最小值及对应的所述第四特征点的编号及坐标，该距离的最小值为相互匹配的第五特征点与第四特征点的距离；否则，记录距离的最小值及所述第四特征点的坐标皆为0；

步骤S413，当所有第五特征点未被全部选完时，继续选取下一个第五特征点，执行步骤S411；否则，停止对第五特征点与第四特征点进行一一匹配。

7.如权利要求6所述图像校正方法，其特征在于，所述步骤S5包括如下步骤：步骤S51，对摄像头采集到的实际现场图像的畸变图像，采用所述光学畸变参数进行畸变校正，得到实际现场图像的虚拟物平面图像；

步骤S52，采用所述经典外参矩阵对实际现场图像的虚拟物平面图像进行透视变换得到实际现场图像的透视变换图像；

步骤S53，采用所述分区域拟合函数分别对划分的不同区域的透视变换图像进行拟合校正，得到各区域的拟合校正图像；

步骤S54，对各区域的拟合校正图像进行拼接得到最终校正图像。

8.一种图像校正装置，用于对采集到的畸变图像进行校正，所述图像校正装置采用如权利要求1-7任意一项所述的图像校正方法，其特征在于，所述图像校正装置包括：摄像头、畸变校正模块、透视变换模块、拟合模块；

所述摄像头，用于采集原始图像，生成畸变图像；

所述畸变校正模块，用于采用光学畸变参数表对畸变图像进行畸变校正，生成虚拟物平面图像；

所述透视变换模块，用于对虚拟物平面图像进行外参标定，并采用外参标定获得的经典外参矩阵对虚拟物平面图像进行透视变换生成透视变换图像；

所述拟合模块，按不同区域对原始图像和透视变换图像上的点一一配对进行拟合，计算出不同区域的分区域拟合函数，采用所述分区域拟合函数对不同区域的透视变换图像进行拟合校正后拼接融合，生成最终校正图像。

9.如权利要求8所述图像校正装置，其特征在于，所述光学畸变参数表中包括视场角与对应的像高，所述视场角为虚拟物平面上的点到摄像头光心的连线与摄像头主光轴的夹角，对应的所述像高为像平面上对应的点到像平面中心点的距离，所述像平面为摄像头采集生成的畸变图像，所述虚拟物平面为生成所述虚拟物平面图像的平面。

10.如权利要求8所述图像校正装置，其特征在于，所述外参标定为根据虚拟物平面图像中点的坐标与原始图像缩放到透视变换平面中对应点的坐标，建立坐标变换的矩阵方程，求解出变换矩阵，所述变换矩阵即为经典外参矩阵。

11.如权利要求8所述图像校正装置，其特征在于，所述拟合模块按照不同区域采用原始图像缩放到透视变换平面中对应点的坐标，对透视变换图像上对应点的坐标进行拟合，得到分区域拟合函数。

说明书

一种图像校正方法和装置

技术领域

[0001] 本发明属于摄像头的视频图像处理领域，尤其是一种图像校正方法和装置。

背景技术

[0002] 随着电子技术的高速发展，使得汽车辅助驾驶领域的进步日新月异，目前最普及的可视化辅助驾驶为车载360度环视，这个技术很方便的解决了驾驶员对车身周围环境几米范围内的死角无法观察的问题。该技术采用在车前、车两侧、车后安装广角摄像头的方式来获取车身四周的完整视场，通过MCU或者DSP配合前期标定好的摄像头参数及广角摄像头光路畸变参数进行各个摄像头的图像校正和图像融合来实现360度的环视影像的生成，并传输到显示屏进行实时显示。

[0003] 目前的车载360度环视系统在极大程度上解决了驾驶员通过肉眼无法观察到车身周围几米的盲区，对基本驾驶如倒车，转弯，通过狭窄道路，观察高度较小的障碍物等得到了极好的解决，但是安装在车身周围的不同的个体广角摄像头由于本身制成工艺的精度差异，导致各个广角摄像头畸变校正后存在不同程度的图像畸变误差，这增加了在360环视图像融合的环节的复杂度及采用简单图像融合方法的图像中线段错位程度和主观观察的图像融合的不匹配程度。

[0004] 目前汽车辅助驾驶还处于发展阶段，无论是360度环视还是前置后置行车记录仪都在尝试着完成某种特定的功能，如360环视的主旨在于解决驾驶员对于车辆周围近距离范围内的视线盲区及物体实际分布位置的主观判断，而若环视拼接图像存在个体摄像头的差异性导致的整体拼接融合存在畸变误差，会极大的影响驾驶员对于周围视场物体实际空间位置的主观判断感受，甚至造成一些主观错觉。

[0005] 目前业内为了减少这种拼接错位的主观错觉，往往采用图像融合技术，使得多个摄像头的图像交叠区域按照一定权重保留个体摄像头的图像信息，通过透明化处理等来减轻驾驶员人眼判断的拼接错位感受。但这样在多个摄像头图像交叠区域仍然存在模糊感和一定程度的错位感；此外业内通常采用内参标定的方法来对个体摄像头进行花费时间较长的内参标定，通过数学优化技巧解内参方程的方式来对个体摄像头进行针对某一内参校正理论方程的内参参数求解，以减小个体摄像头的畸变校正误差，这种方法需要用个体摄像头采集多幅靶图，且多幅靶图的位置需要变化以使得各个靶图的采集图像覆盖尽可能多的视场区域，这种方法对于摄像头标定环境、设备、人工有较高的要求，且本身存在算法精度误差，往往一个摄像头多次进行内参标定得到的内参参数次次都不一样，这使得该摄像头内参标定后再用内参参数进行图像畸变校正也存在一定误差，同时也增加了摄像头的制成时间成本。

发明内容

[0006] 本发明提供了一种图像畸变校正方法，从而实现对个体摄像头采集图像的高精度畸变校正，提高了图像与实际摄像头视场内物体分布位置的精准匹配度。

[0007] 依据上述目的，实施本发明的一种图像校正方法，用于对采集到的畸变图像进行校正，包括如下步骤：

[0008] 步骤S1，摆放单幅特征靶图，采用摄像头进行采集，生成所述单幅特征靶图的畸变图像；

[0009] 步骤S2，采用光学畸变参数表对所述单幅特征靶图的畸变图像进行畸变校正，生成所述单幅特征靶图的虚拟物平面图像；

[0010] 步骤S3，对所述单幅特征靶图的虚拟物平面图像进行外参标定得到经典外参矩阵后，采用经典外参矩阵进行透视变换生成所述单幅特征靶图的透视变换图像；

[0011] 步骤S4，将所述单幅特征靶图的透视变换图像划分为不同区域，对所述单幅特征靶图的透视变换图像上的特征点与单幅特征靶图上的特征点分区域进行一一配对，分区域拟合后得到分区域拟合函数；

[0012] 步骤S5，采用摄像头采集实际现场图像，生成实际现场图像的畸变图像，依次采用光学畸变参数表进行畸变校正、采用经典外参矩阵进行透视变换、按照划分的不同区域采用分区域拟合函数进行分区域拟合校正后再拼接融合，生成所述实际现场图像的最终校正图像。

[0013] 可选的，所述单幅特征靶图为矩形，其上设置的特征点为第一特征点，第一特征点在水平方向和垂直方向间隔相同。

[0014] 可选的，所述虚拟物平面图像为在虚拟物平面上生成的图像，所述光学畸变参数表中包括视场角与对应的像高，所述视场角为虚拟物平面上的点到摄像头光心的连线与摄像头主光轴的夹角，对应的所述像高为像平面上对应的点到像平面中心点的距离，所述像平面为摄像头采集生成的畸变图像；

[0015] 所述步骤S2中，通过视场角与对应像高的对应关系，对采集的单幅特征靶图的畸变图像进行畸变校正。

[0016] 可选的，所述步骤S2包括如下步骤：

[0017] 步骤S21，对光学畸变参数表中视场角与对应像高的数据进行拟合，得到视场角与对应像高的拟合公式；

[0018] 步骤S22，计算所述虚拟物平面的中心点与所述像平面的中心点的坐标；

[0019] 步骤S23，结合视场角与对应像高的拟合公式、所述虚拟物平面的中心点和所述像平面的中心点的坐标，计算得到所述虚拟物平面上点的坐标与所述像平面上对应点的坐标的对应关系；

[0020] 步骤S24，采用像平面上与对应点相邻近的像素进行插值，生成对应的虚拟物平面上点的像素。

[0021] 可选的，所述单幅特征靶图的畸变图像、虚拟物平面图像、透视变换图像上存在与所述单幅特征靶图上第一特征点相对应的第二特征点、第三特征点和第四特征点，单幅特征靶图上的第一特征点通过所述缩放比例映射到透视变换平面上生成第五特征点，[0022] 所述步骤S3包括如下步骤：

[0023] 步骤S31，提取所述单幅特征靶图的虚拟物平面图像中第三特征点，与单幅特征靶图中均匀分布的第一特征点进行一一映射，得到映射后第三特征点的坐标；

[0024] 步骤S32，将所述单幅特征靶图中第一特征点的坐标按缩放比例映射到透视变换平面，得到第五特征点在透视变换平面上的坐标；

[0025] 步骤S33，解出经典外参矩阵，所述经典外参矩阵用于将第五特征点在透视变换平面上的坐标变换为映射后第三特征点的坐标；

[0026] 步骤S34，根据经典外参矩阵对所述单幅特征靶图的虚拟物平面图像进行透视变换，得到所述单幅特征靶图的透视变换图像。

[0027] 可选的，所述步骤S31包括如下步骤：

[0028] 步骤S311，对所述单幅特征靶图的虚拟物平面图像中的第三特征点进行编号，并记录第三特征点的坐标；

[0029] 步骤S312，取水平坐标值最小的一个第三特征点，作为梯度分析顶点；

[0030] 步骤S313，将余下的第三特征点按照编号分别与梯度分析顶点连线，计算连线与水平方向上半象限的夹角，选择夹角最大的多个第三特征点，选择的第三特征点的数量比单幅特征靶图中分布的第一特征点的行数少1个；

[0031] 步骤S314，对选择的第三特征点按照垂直方向坐标值进行从小到大的重新排序，并记录第三特征点的坐标；

[0032] 步骤S315，将已经重新排序的第三特征点从所述单幅特征靶图的虚拟物平面图像中移除；当单幅特征靶图的虚拟物平面图像中的第三特征点未被全部移除，继续执行步骤S311；当单幅特征靶图的虚拟物平面图像中的第三特征点被全部移除，得到的重新排序的第三特征点及其坐标，即为与原单幅特征靶图中均匀分布的第一特征点一一映射后的第三特征点及其坐标。

[0033] 可选的，所述步骤S4包括如下步骤：

[0034] 步骤S41，将单幅特征靶图的透视变换图像上的第四特征点与单幅特征靶图的在透视变换平面上的第五特征点进行一一匹配；

[0035] 步骤S42，根据相互匹配的第四特征点与第五特征点距离的最大值情况，对透视变换平面进行区域划分，以第五特征点的坐标对第四特征点的坐标进行分区域拟合，得到分区域拟合函数。

[0036] 可选的，所述步骤S41包括如下步骤：

[0037] 步骤S411，按编号顺序依次选取第五特征点，计算第五特征点与所有第四特征点的距离；

[0038] 步骤S412，将计算出的距离的最小值与预设阈值进行比较，当距离的最小值小于预设阈值时，记录距离的最小值及对应的所述第四特征点的编号及坐标，该距离的最小值为相互匹配的第五特征点与第四特征点的距离；否则，记录距离的最小值及所述第四特征点的坐标皆为0；

[0039] 步骤S413，当所有第五特征点未被全部选完时，继续选取下一个第五特征点，执行步骤S411；否则，停止对第五特征点与第四特征点进行一一匹配。

[0040] 可选的，所述步骤S5包括如下步骤：

[0041] 步骤S51，对摄像头采集到的实际现场图像的畸变图像，采用所述光学畸变参数进行畸变校正，得到实际现场图像的虚拟物平面图像；

[0042] 步骤S52，采用所述经典外参矩阵对实际现场图像的虚拟物平面图像进行透视变换得到实际现场图像的透视变换图像；

[0043] 步骤S53，采用所述分区域拟合函数分别对划分的不同区域的透视变换图像进行拟合校正，得到各区域的拟合校正图像；

[0044] 步骤S54，对各区域的拟合校正图像进行拼接得到最终校正图像。

[0045] 依据上述目的，实施本发明的一种图像校正装置，用于对采集到的畸变图像进行校正，其特征在于，所述图像校正装置包括：

[0046] 包括摄像头、畸变校正模块、透视变换模块、拟合模块；

[0047] 所述摄像头，用于采集原始图像，生成畸变图像；

[0048] 所述畸变校正模块，用于采用光学畸变参数表对畸变图像进行畸变校正，生成虚拟物平面图像；

[0049] 所述透视变换模块，用于对虚拟物平面图像进行外参标定，并采用外参标定获得的经典外参矩阵对虚拟物平面图像进行透视变换生成透视变换图像；

[0050] 所述拟合模块，按不同区域对原始图像和透视变换图像上的点一一配对进行拟合，计算出不同区域的分区域拟合函数，采用所述分区域拟合函数对不同区域的透视变换图像进行拟合校正后拼接融合，生成最终校正图像。

[0051] 可选的，所述光学畸变参数表中包括视场角与对应的像高，所述视场角为虚拟物平面上的点到摄像头光心的连线与摄像头主光轴的夹角，对应的所述像高为像平面上对应的点到像平面中心点的距离，所述像平面为摄像头采集生成的畸变图像，所述虚拟物平面为生成所述虚拟物平面图像的平面。

[0052] 可选的，所述外参标定为根据虚拟物平面图像中点的坐标与原始图像缩放到透视变换平面中对应点的坐标，建立坐标变换的矩阵方程，求解出变换矩阵，所述变换矩阵即为经典外参矩阵。

[0053] 可选的，所述拟合模块按照不同区域采用原始图像缩放到透视变换平面中对应点的坐标，对透视变换图像上对应点的坐标进行拟合，得到分区域拟合函数。

[0054] 采用了本发明的技术方案，针对现有技术的不足，基于单幅特征靶图进行个体摄像头标定，根据摄像头自动化标定环境模拟出实际安装环境的视场条件，采用特征点均匀覆盖归一化有效校正区域的特征靶图，给实际安装环境视场下有效校正区域进行了均匀的虚拟特征坐标标记，在自动化标定环境后进行的畸变校正和外参校正方法与实际安装环境下进行地畸变校正和采用经典外参矩阵进行校正方法一致。由于摄像头装配精度导致镜头LENS光心与CMOS传感器中心不吻合或者焦平面与镜头CMOS平面有夹角，会导致畸变校正的误差及后继透视变换的误差累积，通过分区域拟合的方式将透视变换后提取的特征点映射到真实的特征点物理分布位置来修复这种个体摄像头装配精度误差。具有该装配精度差异的摄像头在实际安装环境进行标定时，延用该拟合方程，即可以在实际安装环境下修正个体摄像头装配精度误差。

附图说明

[0055] 图1是：图像校正方法的流程示意图；

[0056] 图2是：归一化单幅特征靶图的示意图；

[0057] 图3是：单幅特征靶图中特征点分布的示意图；

[0058] 图4是：畸变图像校正的示意图；

[0059] 图5是：分区域拟合获取分区域拟合函数的示意图；

[0060] 图6是：采用分区域拟合函数进行拟合校正的示意图；

[0061] 图7是：单幅特征靶图的示意图；

[0062] 图8是：分区域拟合函数拟合曲线的示意图；

[0063] 图9是：单幅特征靶图的畸变图像的示意图；

[0064] 图10是：单幅特征靶图的虚拟物平面图像的示意图；

[0065] 图11是：单幅特征靶图的虚拟物平面图像映射的示意图；

[0066] 图12是：虚拟物平面与透视变换平面的透视变换关系的示意图；

[0067] 图13是：单幅特征靶图的透视变换图像的示意图；

[0068] 图14是：现场采集标定靶图的透视变换图像的示意图；

[0069] 图15是：拟合校正图像ADJ1的示意图；

[0070] 图16是：拟合校正图像ADJ2的示意图；

[0071] 图17是：最终校正图像的示意图。

具体实施方式

[0072] 下面结合附图和实施例进一步说明本发明的技术方案。

[0073] 图1为图像校正方法的流程示意图。本发明中图像校正方法的具体实施步骤为：

[0074] 步骤1：根据标定场景归一化有效校正区域特征靶图及摆放位置。

[0075] 根据实际360环视应用摄像头安装位置对应的视场的有效校正区域的实际空间尺度坐标按一定比例S1缩小到小于标定场景允许放置靶图的空间尺度范围内，归一化有效校正区域靶图尺寸及摆放位置根据其比例S1定制。

[0076] 图2是为归一化单幅特征靶图的示意图。摄像头安装位置对应的视场的有效校正区域为矩形，为360环视应用中所需要显示的实际场景地面的矩形区域，其实际物理尺寸为X×Y，其中长为X，宽为Y，摄像头安装距离地面高度为H。标定场景允许放置靶图的立方空间区域为x1×y1×h1，其中长为x1，宽为y1，高度为h1。定制靶图的长宽比Ra为X/r，长为x2，宽为y2，满足关系式y2＝x2/Ra(x2≤x1，y2≤y1)，S1＝x2/X，标定场景靶图固定摆放位置距离摄像头h2，满足关系式h2＝H×S1(h2≤h1)。

[0077] 图3为单幅特征靶图中特征点分布的示意图。定制的单幅特征靶图由水平和垂直方向均匀分布的特征点图案组成，水平方向特征点为M个，垂直方向特征点为N个，相邻特征点在特征靶图上的间隔距离为K。水平第m个，垂直第n个特征点在特征靶图上的坐标满足公式：

[0078] x(m，n)＝K×(m-1)+hspace，y(m，n)＝K×(n-1)+vspace；

[0079]

[0080] j＝(m-1)×N+n。

[0081] 特征点编号按照从上到下，从左到右排序，特征点坐标与特征点编号j一一映射。

[0082] 步骤2：利用LENS供应商提供的光学畸变参数表，包含视场角与对应的像高，通过虚拟物平面坐标对应的视场角与像平面像高的映射关系，来进行摄像头采集的畸变图像的校正。

[0083] 图4为畸变图像校正的示意图。设虚拟物平面U与像平面/为平行关系，其中Rr为虚拟物平面上某点P到虚拟物平面中心点O的距离，Dis为摄像头安装位置离地面的实际高度，POA为摄像头Lens主光轴即O与o的连线与虚拟物平面和像平面垂直，Fcs为Lens到像平面的距离，Pr为虚拟物平面上点P对应到像平面上的点p到像平面中心点o的距离，θ为P到Lens光心连线与POA的夹角，φ为P到虚拟物平面中心点连线与虚拟物平面水平方向的夹角，与p到像平面中心点连线与像平面水平方向夹角一致，在虚拟物平面U上P的坐标为(xP，yP)，O的坐标为(xO，yO)，在像平面/上p的坐标为(up，vp)，o的坐标为(uo，vo)。

[0084] 具体的，像平面等价于摄像头采集的畸变图像，镜头CMOS分辨率对应图像采集区域物理尺寸为长为LI，宽为WI，单位为毫米，摄像头采集的畸变靶图图像像素分辨率为长为L像素，宽为W像素。

[0085] 供应商提供的光学畸变参数表业内规则为θ单位为度，Pr单位为毫米。

[0086] 具体的，虚拟物平面等价于摄像头最大视场采集的垂直于主光轴距离摄像头Dis的平面，虚拟物平面水平方向长度为LP，垂直方向长度为WP，单位为尺度单位。

[0087] 采用LENS供应商提供的光学畸变参数表进行摄像头采集的单幅特征靶图畸变校正，主要步骤如下：

[0088] 步骤2.1：通过LENS供应商提供的光学畸变参数表的各个视场角θ与对应像高Pr的数据进行拟合，得到视场角和像高的拟合公式Pr＝f(θ)；

[0089] 步骤2.2：计算o点的坐标(uo，vo)，计算方式为，

[0090] 步骤2.3：计算O点的坐标(xo，yo)，计算方式为，

[0091] 步骤2.4：根据公式 计算出θ，代入公式Pr＝f(θ)得出Pr，根据公式 计算出φ，代入公式up＝Pr*cos(φ)+uo，，vp＝-Pr*sin(φ)+vo，，得到虚拟物平面P点对应的像平面p点的坐标；

[0092] 步骤25：计算出像平面p点对应的畸变图像像素坐标

[0093] 步骤2.6：虚拟物平面P点的像素值为摄像头采集的畸变图像在像素坐标(pixelx，pixely)处最近邻整数坐标像素的插值。

[0094] 步骤3：采用畸变校正后的单幅特征靶图进行外参标定及透视变换。主要步骤如下：

[0095] 步骤3.1：通过特征提取算法提取出步骤2校正后虚拟物平面的单幅特征靶图像的M×N个特征点坐标。采用最近π向梯度排序法，将提取出的M×N个特征点与单幅特征靶图均匀分布的M×N个特征点进行一一映射。

[0096] 最近π向梯度排序法的步骤如下：

[0097] 步骤一：将提取出的M×N个特征点进行初始编号i，并对应记录其坐标cord(i)。

[0098] 步骤二：提取出特征点中的水平坐标最小的一个特征点，作为梯度分析顶点T并记录其编号i0；

[0099] 步骤三：对余下的M×N-1个特征点按照其编号i分别与T连线，计算连线与水平方向上半象限的夹角angle(i)，选择angle(i)中值最大的N-1个特征点的编号i1～iN-1。

[0100] 步骤四：对编号为i0～iN-1的特征点按照垂直方向坐标值进行从小到大的排序j0～jN-1，将特征点坐标按照排序记录为seq(j)。

[0101] 步骤五：将已经重新排序的N个特征点从特征点序列中移除，将剩余的特征点进行初始编号i，并对应记录其坐标cord(i)，重复步骤二直到所有特征点重新排序完成，每重复一次新排序的N个特征点坐标顺序放置在已有的seq(j)之后。

[0102] 步骤3.2：根据步骤1得到的靶图特征点坐标缩放比例S1将特征点坐标映射到透视变换平面坐标，满足公式 根据特征点编号将靶图在透视变换平面上的特征点EXT(j)与畸变校正后虚拟物平面靶图图像提取的特征点seq(j)的坐标解单应性矩阵，得到经典外参矩阵，即完成外参标定，再根据外参矩阵对畸变校正后的虚拟物平面靶图图像进行透视变换，得到畸变校正及透视变换后的透视变换平面靶图图像PERS，与实际靶图尺寸根据比例S1映射到透视变换平面的图像EXT尺寸相同。

[0103] 步骤4：通过单幅特征靶图分区域的实际特征点物理分布位置和单幅特征靶图透视变换后的分区域对应特征点进行拟合得到分区域拟合函数。

[0104] 图5是为分区域拟合获取分区域拟合函数的示意图。主要步骤如下：

[0105] 步骤4.1：通过特征提取算法提取步骤3透视变换后的单幅特征靶图PERS上的特征点feature(i)，与实际靶图定制的特征点根据比例S1映射到透视变换平面EXT上的靶图特征点EXT(j)，进行一一配对，其方法为最近π向梯度排序法或者最小距离阈值法。

[0106] 最小距离阈值法的步骤如下：

[0107] 步骤一：将编号为j的EXT(j)水平坐标EXTx(j)，与所有feature(i)水平坐标featurex(i)进行差分，得到 将编号为j的EXT(j)垂直坐标EXTy(j)，与所有feature(i)垂直坐标featurey(i)进行差分，得到 计算EXT(j)与所有feature(i)的距离

[0108] 步骤二：得到 中的最小值及编号i，若该值小于根据镜头预设阈值thre_manu，则将feature(i)对应编号i的坐标记录入与grid(j)中，将 中的最小值记录入minr(j)中；若 中的最小值大于等于thre_manu则grid(j)坐标值赋为0，minr(j)赋值为0。其中thre_manu小于

[0109] 步骤三：编号为j自加1，重复步骤一直到所有编号j遍历完成。

[0110] 步骤4.2：根据minr的最大值程度选择透视变换平面的矩形区域划分个数g，对包含在划分区域中的EXT(j)与对应的grid(j)坐标以EXT(j)水平坐标EXTx(j)和垂直坐标EXTy(j)分别对grid(j)的水平坐标gridx(j)和垂直坐标gridy(j)进行拟合，其中grid(j)记录坐标为(0，0)的编号对应的EXT(j)与grid(j)的坐标值不参与拟合，得到该区域g的拟合函数：

[0111] gridx(j)＝fgx(EXTx(j)，EXTy(j))，gridy(j)＝fgy(EXTx(j)，EXTy(j))。

[0112] 步骤5：对实际安装场景摄像头采集图像根据LENS供应商提供的光学畸变参数表进行畸变校正，然后再透视变换的图像通过分区域拟合函数进行分区域精确校正。

[0113] 图6是为采用分区域拟合函数进行拟合校正的示意图。主要步骤如下：步骤5.1：根据步骤2对实际摄像头安装标定场景采集到的图像通过LENS供应商提供的光学畸变参数进行畸变校正，得到虚拟物平面图像P；

[0114] 步骤5.2：根据步骤3对实际摄像头安装标定场景的实际靶图的物理分布特征点位置与畸变校正图像提取的对应特征点位置进行外参标定，根据外参矩阵对畸变校正图像进行透视变换得到透视变换图像PERS。

[0115] 步骤5.3：分别根据划分区域的拟合函数fgx，fgy对透视变换后的图像进行畸变校正。

[0116] 设编号为g的拟合校正图像为ADJg，透视变换图像为PERS，按照区域编号g选择对应的拟合函数fgx，fgy，根据公式ex＝fgx(x×s2，y×s2)，ey＝fgy(x×s2，y×s2)，得到ADJg坐标(x，y)对应到的PERS的坐标(ex，ey)其中s2为比例因子，即PERS与ADJg长宽比一致前提下，PERS与ADJg长宽的比值。ADJg(x，y)的像素值为PERS在(ex，ey)坐标处最邻近的周围像素的插值。

[0117] 步骤5.4：根据步骤4.2划分的区域坐标分布及s2，对拟合校正后的图像ADJg进行区域划分。

[0118] 设区域g的矩形顶点为EXT(x1，y1)，EXT(x2，y2)，EXT(x3，y3)，EXT(x4，y4)，则对应的ADJg在区域g对应的矩形顶点为ADJg(x1/s2，y1/s2)，ADJg(x2/s2，y2/s2)，ADJg(x3/s2，y3/s2)，ADJg(x4/s2，y4/s2)。

[0119] 步骤5.5：拼接融合的最终校正图像FIN的区域g的图像为编号为g的ADJg在区域g的图像。

[0120] 此外，在另一个技术方案中，可以通过特征靶图多次不同位置摆放来进行单个摄像头的内参标定，然后按照内参校正方程来进行单个摄像头的畸变校正，这种方法需要对自动化标定复杂度提出更高的要求，例如机械手平移和旋转和设定多个靶图位置来采集多幅图像，同时自动化标定工位的空间较大以满足不同位置的靶图摆放要求。

[0121] 实施例

[0122] 步骤1：根据标定场景归一化有效校正区域靶图及摆放位置。

[0123] 某一个体摄像头存在装配精度误差，在其量产的360环视应用中，安装位置离地面高度为1米，要求该摄像头提供出其安装位置下水平9.6米，垂直3米的地面区域视场。

[0124] 图7为单幅特征靶图的示意图。具体的，可制定特征靶图尺寸为水平0.96米，垂直0.3米，自动标定场景下摄像头离特征靶图0.1米，这个尺寸满足自动标定机台可放置靶图的空间，缩放比例51为10。具体的，可定制特征靶图为黑白棋盘格，水平16格，垂直5格，单个格子宽度为6厘米，其特征点即为角点，水平15个，垂直4个，特征点编号为从上到下，从左到右。

[0125] 步骤2：采用LENS供应商提供的光学畸变参数表进行摄像头采集的单幅特征靶图畸变校正。

[0126] LENS供应商提供的光学畸变参数表为离散角度θ及其对应的像高Pr。根据步骤2.1，通过LENS供应商提供的光学畸变参数表的各个视场角θ与对应像高Pr的数据进行拟合，得到视场角和像高的拟合公式Pr＝f(θ)，具体的，可采用如下公式进行拟合：

[0127] Pr＝a×θ+b×θ2+c×θ3+d×θ4+e×θ5+f。

[0128] 带入摄像头LENS供应商提供的光学畸变参数表解超定方程组得到拟合参数，图8为分区域拟合函数拟合曲线的示意图，其中*标记点为光学畸变参数表提供的数据，横坐标为θ，单位为度，纵坐标为Pr，单位为毫米。

[0129] 虚拟物平面水平方向长度LP为1000厘米，垂直方向长度WP为300厘米，虚拟物平面距离摄像头Dis如上描述为100厘米。CMOS在720p像素分辨率下的有效采集区域水平宽度LI为5.41毫米，垂直高度WI为3.043毫米。

[0130] 根据步骤2.2，计算像平面中心o坐标为(2.705，1.5215)。

[0131] 根据步骤2.3，计算虚拟物平面中心O坐标为(500，150)。

[0132] 根据步骤2.4，带入公式，虚拟物平面某一点P若坐标为(0，0)，其对应的视场角约 为7 9 .15 度。虚 拟物 平面 水平 方向 夹 角约为159.5度。设带入根据视场角和像高的拟合公式计算出像高为
2.087。P对应的像平面坐标点p为up＝2.087*cos(159.5)+2.705vp＝-Pr*sin(159.5)+
1.5215，约为(0.7502，0.7906)。

[0133] 根据步骤2.5，计算p对应的像平面像素坐标为约为(177.5，187.06)。

[0134] 根据步骤2.6，虚拟物平面p点像素值，采用p点周围最邻近像素插值。具体的可以采用双线性插值，即利用(177，187)，(177，188)，(178，187)，(178，188)对应的像素值gray1，gray2，gray3，gray4，根据p点距离各个点接近程度的权重进行插值。

[0135] 将虚拟物平面上所有点按上述方法带入即得到畸变校正图像。

[0136] 图9为采集到的单幅特征靶图的畸变图像的示意图；图10为按步骤2畸变校正后的单幅特征靶图的虚拟物平面图像的示意图。

[0137] 步骤3：采用畸变校正后的单幅特征靶图进行外参标定及透视变换。

[0138] 图11为单幅特征靶图的虚拟物平面图像映射的示意图。根据步骤3.1，采用特征提取算法提取步骤2校正后虚拟物平面的单幅特征靶图的M×N个特征点坐标，特征提取算法在棋盘格形态下的特征靶图的应用上，特征点即为角点，具体的可以选择角点检测算法，例如SUSAN、Harris等常用的角点检测算法，得到特征点的坐标；采用最近π向梯度排序法，将提取出的M×N个特征点与单幅特征靶图均匀分布的M×N个特征点进行一一映射，具体的，提取到的特征点的编号可根据特征点提取算法遍历图像的顺序，先检测出的特征点编号为1，遍历中每次检测出的特征点编号自加1，直到特征点提取算法遍历完整个虚拟物平面图像，具体实施例中定制的特征点靶图有15x4个特征点，因此M为15，N为4；最近π向梯度排序法，具体的由于检测到的特征位置呈现梯形分布，第一步选择水平坐标最小的特征点，则必为梯形的左边的一个顶点，记录其特征点编号，假设为1；得到该特征点的坐标后分别与其余特征点连线，计算连线与水平方向O度(图像按照象限划分右上为一象限)的夹角，计算方法为按编号进行其余特征点与水平坐标最小特征点坐标差分，纵坐标差分值符号为负，横坐标差分值符号为计算值符号，采用atan函数计算夹角，连线夹角值编号与特征点编号一致；选择N-1个连线夹角值最大的特征点编号，假设为16、31、46，对编号为1、16、31、46的特征点垂直方向坐标进行从小到大排序，假设排序为16、31、46、1，则seq(1)记录编号为16的特征点的坐标，seq(2)记录编号为31的特征点的坐标，seq(3)记录编号为46的特征点的坐标，seq(4)记录编号为1的特征点的坐标；将编号为16、31、46、1的特征点从特征点序列中排除，即去掉了梯形分布特征点的最左边4个特征点，剩余的特征点依然是梯形分布，按照上述方法重复排序，依次记录到seq(5)直至seq(60)，即完成了虚拟物平面提取出的M×N个特征点与单幅特征靶图均匀分布的M×N个特征点进行一一映射。

[0139] 图12为虚拟物平面与透视变换平面的透视变换关系的示意图。根据步骤3.2，将步骤1得到的靶图特征点坐标即缩放比例S1将特征点坐标映射到透视变换平面坐标，满足公式 取j为1，即编号为1的靶图特征点，其坐标如具体实施例stpe1所述(x(1)，y(1))为(0.06，0.06)，对应到透视变换平面坐标为(0.6，0.6)，S1为10，透视变换平面尺寸为水平9.6，垂直3。根据特征点
编号将靶图在透视变换平面上的特征点EXT(j)与畸变校正后虚拟物平面提取的特征点seq(j)的坐标解单应性矩阵，得到经典外参矩阵，即完成外参标定，具体的畸变校正后的虚拟物平面与透视变换平面的关系为透视变换关系，满足单应性矩阵关系：

[0140]

[0141]

[0142] 其中矩阵 为经典外参矩阵。经典外参矩阵的求解过程即为将EXT(j)与seq(j)的水平方向坐标值 和垂直方向坐标值 带入
单应性矩阵解方程，如下：

[0143]

[0144] 解式三，得到经典外参矩阵，带入式二，即可以得到透视变换平面坐标(xEXT，yEXT)对应的虚拟物平面坐标(xP，yP)。透视变换后图像PERS(xEXT，yEXT)的像素值为虚拟物平面坐标(xP，yP)最近邻像素坐标的插值，具体的可以采用双线性插值。图13所示为单幅特征靶图的透视变换图像的示意图，即透视变换后的靶图图像PERS。

[0145] 步骤4：通过单幅特征靶图分区域的实际特征点物理分布位置和单幅特征靶图透视变换后的分区域对应特征点进行拟合得到分区域拟合函数。

[0146] 根据步骤4.1，通过特征提取算法提取透视变换后单幅特征靶图PERS的特征点feature(i)，其方法可以采用角点检测算法。将EXT(j)与feature(i)一一配对采用最近π向梯度排序法或者最小距离阈值法，最小距离阈值法具体的，将编号为1的EXT(j)的特征点坐标与所有feature(i)坐标进行差分，得到水平差分值 和垂直差分值 根据勾股定理计算其与EXT(j)的距离，得到数量为i的 得到值最小的 若其小于设定
阈值thre_manu，这里设定为0.3，则将其对应编号的feature(i)坐标记录为grid(j)编号为1，若不满足阈值限定条件，则将grid(j)记录的坐标置为(0，0)，以此类推直到遍历完所有的feature(i)，则完成了PERS特征点与EXT特征点的一一匹配，不满足阈值限定条件的编号处往往是采用的某种角点检测算法未检测到角点，因此忽略此处特征点信息。

[0147] 根据步骤4.2，可设定若minr的最大值为在0和0.1之间，将透视变换平面矩形区域以水平中心线划分为左右2个，若最大值在0.1和0.2之间，将透视变换平面矩形区域以中心点划分为左上，右上，左下，右下四个。设此时minr最大值为0.06，选择将透视变换平面按照水平中心线划分为左右2个矩形区域，左边的矩形区域编号为1，右边的矩形区域编号为2，则编号为1的矩形区域包含的特征点编号为1～30，编号为2的矩形区域包含的特征点编号为31～60。由于摄像头装配精度，每个摄像头完成装配后其LENS主光轴与CMOS平面并不是完全垂直，同时LENS光心与CMOS有效采图区域的中心也不是完全吻合，因此采用统一畸变校正方法进行畸变校正必然存在装配精度导致的畸变误差，这也导致畸变校正和透视变换后靶图图像提取出的特征点与靶图特征点理论物理分布映射到透视变换平面上的特征点位置存在误差，采用拟合的方法可以大大减小这种误差，由于拟合函数格式多样，不一定完全吻合误差模型，因此根据误差程度将拟合区域划分更细可以极大的提高该区域的拟合精度。采用透视变换后的靶图图像提取的特征点grid(j)与靶图实际特征点物理分布位置映射到透视变换平面的特征点EXT(j)进行拟合，具体的，可以构造拟合函数：

[0148]

[0149]

[0150] 根据拟合函数解超定方程组，得出拟合参数，即求得了该区域的拟合函数fgx，fgy。将编号为1的矩形划分区域中的编号为1～30的EXT(1～30)和grid(1～30)代入拟合函数解超定方程组，得到编号为1区域的拟合参数和拟合函数f1x，f1y；同理将编号为2的矩形划分区域中的编号为31～60的EXT(31～60)和grid(31～60)代入拟合函数解超定方程组，得到编号为2区域的拟合参数和拟合函数f2x，f2y。

[0151] 步骤5：对实际安装场景摄像头采集图像根据LENS供应商提供的光学畸变参数表进行畸变校正，然后再透视变换的图像通过分区域拟合函数进行分区域精确校正。

[0152] 根据步骤5.1，在摄像头实际安装标定场景采集现场标定靶图图像，根据步骤2的实施方式，得到现场采集标定靶图畸变校正后的虚拟物平面图像P。

[0153] 根据步骤5.2，将现场采集标定靶图畸变校正后的虚拟物平面图像P根据步骤3的实施方式，进行外参标定，得到经典外参矩阵，并根据经典外参矩阵对现场采集标定靶图畸变校正后的虚拟物平面图像P进行透视变换得到透视变换图像PERS。如图14所示即为现场采集标定靶图的透视变换图像的示意图。为了展示摄像头个体装配精度导致的误差，此处选用的实际安装标定场景标定靶图采用了覆盖360环视应用有效区域的大棋盘格布，点的位置为棋盘格实际均匀分布的特征点在PERS上的位置，标记出了PERS上检测到的特征点与棋盘格均匀分布特征点在水平、垂直及连线的距离。

[0154] 根据步骤5.3，采用拟合函数f1x，f1y；f2x，f2y分别对透视变换图像PERS进行拟合校正。透视变换图像PERS尺寸为水平9.6米、垂直3米，设定拟合校正后的图像为水平960垂直300个像素，则s2为9.6/960＝0.01。

[0155] 如图15所示为拟合校正图像ADJ1的示意图。将拟合校正图像ADJ1坐标(x，y)和s2带入拟合函数：

[0156]

[0157]

[0158] 计算出拟合校正图像ADJ1该坐标对应的透视变换图像PERS坐标(ex，ey)，ADJ1(x，y)的像素值为透视变换图像PERS坐标(ex，ey)最邻近的周围像素的插值，具体的可以采用双线性插值。

[0159] 如图16所示为拟合校正图像ADJ2的示意图。将拟合校正图像ADJ2坐标(x，y)和s2带入拟合函数：

[0160]

[0161]

[0162] 计算出拟合校正图像ADJ2该坐标对应的透视变换图像PERS坐标(ex，ey)，ADJ2(x，y)的像素值为透视变换图像PERS坐标(ex，ey)最邻近的周围像素的插值，具体的可以采用双线性插值。

[0163] 步骤5.4，采用步骤42划分的区域坐标分布及s2，对拟合校正后的图像ADJg进行区域划分，具体的，上文描述的划分区域以水平中心校划分左右2个矩形区域，则左侧编号为1的矩形区域矩形顶点为EXT(0，0)，EXT(0，3)，EXT(4.8，0)，EXT(4.8，3)，对应的ADJ1在编号为1的矩形区域对应的矩形顶点为ADJ1(0，0)，ADJ1(0，300)，ADJ1(480，0)，ADJ1(480，300)；右侧编号为2的矩形区域矩形顶点为EXT(4.8，0)，EXT(4.8，3)，EXT(9.6，0)，EXT(9.6，3)，对应的ADJ2在编号为2的矩形区域对应的矩形顶点为ADJ2(480，0)，ADJ2(480，300)，ADJ2(960，
0)，ADJ2(960，300)。

[0164] 步骤5.5，如图17所示为生成的最终校正图像的示意图；最终校正图像FIN在编号1的矩形区域的图像为ADJ1在编号1的矩形区域的图像，最终校正图像FIN在编号2的矩形区域的图像为ADJ2在编号2的矩形区域的图像。

[0165] 为了展示本发明的效果，在最终校正图像FIN上进行特征点提取，再标记出了FIN上检测到的特征点与实际标定场景覆盖360环视应用的有效区域的大棋盘格均匀分布特征点在水平、垂直及连线的距离，可以看到最终校正图像特征点与理论均匀分布特征点的差异在亚像素级，相比如图14所示的现场采集标定靶图的透视变换图像而言，极大的改善了个体摄像头由于装配精度导致的畸变误差。

[0166] 本发明所提供的图像校正方法，实现了对个体摄像头采集图像的高精度畸变校正，减少了360环视图像融合环节的复杂度，大大提高了360环视图像与实际摄像头视场内物体分布位置的精准匹配度，减小了个体摄像头内参标定的采集图像次数及时间成本，节省了自动化标定产线上工位装配复杂的机械手等移动靶图的设备、人工的成本。