一种图像特征点的标定方法及装置

摘要

本发明公开了一种图像特征点的标定方法及装置，其包括，使用相机捕获标定图案的图像；定位标定图案中的特征点；使用特征点沿标定图案的周边定位多个边界点；拟合边界使用多个边界点沿着标定图案的周边的线；使用拟合的边界线沿着周边定位特征点；并基于特征点生成透视变换矩阵，标定图案为黑白相间的正方形网格；相机捕获标定图案采用连续捕获先后两张图像对比，当前后两张捕获图像产生位移时，重新捕获标定图案。本发明具有识别效率高、错误少、速度快的优点。

权利要求

1.一种图像特征点的标定方法，使用相机捕获标定图案的图像；定位标定图案中的特征点；使用所述特征点沿标定图案的周边定位多个边界点；拟合边界使用所述多个边界点沿着标定图案的周边的线；使用拟合的边界线沿着周边定位特征点；并基于所述特征点生成透视变换矩阵，其特征是：所述标定图案为黑白相间的正方形网格；相机捕获标定图案采用连续捕获先后两张图像对比，当前后两张捕获图像产生位移时，重新捕获标定图案；

定位所述的标定图案的方法为灰度方式输入标定图案；采用预设的角点模板，角点模板包含四个滤波核 ，角点模板的尺度与所述的标定图案的尺寸对应；计算每个滤波核与灰度图像I的卷积响应图 和均值μ为：算式中， 表示滤波核与灰度图像的卷积运算；

滤波核符合 分布函数，为角点模板的尺度，x为角点模板内各点

与模板中心的向量模；

所述的角点模板的尺度与所述的标定图案的尺寸对应的方法为根据相机的变焦和放大配置文件中存储的数据信息调整相机的实际放大率。

2.如权利要求1所述的图像特征点的标定方法，其特征是:相机获取的标定图案的特征点包括识别沿着与标定图案的每个黑白格周边相交两次的线位于所述的标定图案中的点。

3.如权利要求1所述的图像特征点的标定方法，其特征是:滤波核算式中，取值为1.9至2.1。

4.如权利要求1所述的图像特征点的标定方法，其特征是:在不同焦距情况下标定，需要使用缩放配置文件来估计相机对图像的缩放处理；可以在缩放级别和实际放大率之间实现任意非线性比例；先设置相机的起始缩放级别，捕获第一图像帧，可执行缩放命令，在下一个标定时刻捕获的第二图像帧。

5.如权利要求1所述的图像特征点的标定方法，其特征是：校准能获得一个3x3 变换矩阵，且矩阵有代表x 平移、y 平移、z 旋转的3 个自由度。

说明书

一种图像特征点的标定方法及装置

技术领域

[0001] 本发明涉及机器视觉领域技术领域 ，尤其涉及图像特征点的标定方法及装置。

背景技术

[0002] 相机的标定是对其使用的第一步，也是必须的一步。然而，针对二维尺寸测量任务。现有的线阵相机标定算法都较为繁琐，或者需要制作复杂的标定设备。本发明提出的标定算法没有上述限制，且能达到较高的标定精度，因此具有广阔的应用前景。现有技术如授权公告号为CN109242909A的中国发明专利申请，公开了一种面向高精度二维尺寸测量的线阵相机标定算法。该标定算法包括线阵相机理想模型设计、图像畸变矫正、关键参数提取、模型参数标定、相对误差消除、求解真实尺寸等算法模块，该算法能够为高精度二维尺寸任务中线阵相机的使用提供一个通用、便捷的标定方法，具有广阔的工业应用前景。

发明内容

[0003] 本发明的目的在于针对现有技术提供一种识别效率高、错误少、速度快的图像特征点的标定方法，其包括，

[0004] 使用相机捕获标定图案的图像；定位标定图案中的特征点；使用特征点沿标定图案的周边定位多个边界点；拟合边界使用多个边界点沿着标定图案的周边的线；使用拟合的边界线沿着周边定位特征点；并基于特征点生成透视变换矩阵，标定图案为黑白相间的正方形网格；相机捕获标定图案采用连续捕获先后两张图像对比，当前后两张捕获图像产生位移时，重新捕获标定图案。采用单个镜头连续采集两次标定图案正方形网格（即棋盘格），通过前后比对，排除掉相机非静止情况下的标定，以减少错误捕获的标定图像进而损耗算力。

[0005] 为了进一步优化技术方案，采取的优化措施还包括：

[0006] 定位标定图案的方法为灰度方式输入标定图案；采用预设的角点模板，角点模板包含四个滤波核 ，角点模板的尺度与标定图案的尺寸对应；计算每个滤波核  与灰度图像I的卷积响应图 和均值μ为：

[0007]

[0008]

[0009] 算式中，  表示滤波核与灰度图像的卷积运算；滤波核符合 分布函数，  为角点模板的尺度，x为角点模板内各点与模板中心的向量模。排除掉相机非静止情况下的标定后，有效棋盘格的像素稳定、清晰，因此，继续采用高斯模糊概率进行分布函数的运算效果反而会下降。通过改进分布函数的结合，可以减少对主要分布区域外的像素杂点计算，进一步节省算力。

[0010] 相机获取的标定图案的特征点包括识别沿着与标定图案的每个周边相交两次的线位于标定图案中的点。特征点可以棋盘格上某一个网格的交点、也可以是其边缘的中点，也可以是几何中心或上述组合。由于图像质量、光线、反光材质的差异，机械的采用一种特征点的筛选方式，并不能有效而快速的获得特征点矩阵，为了提高效率，采用综合效率高的特征点或其组合方式获得特征点矩阵，是比较合理的选择。

[0011] 滤波核算式中，  取值为1.9至2.1。通过调整 取值，能有效的调整滤波宽度，甚至在极端情况下，可以以牺牲准确性的方式降低运算耗时。

[0012] 角点模板的尺度与标定图案的尺寸对应的方法为根据相机的变焦和放大配置文件中存储的数据信息调整相机的实际放大率。相机的变焦和放大配置文件是相机在给定变焦级别下的实际放大率的记录，用于每个变焦级别估计相机的焦距。

[0013] 在不同焦距情况下标定，需要使用缩放配置文件来估计相机对图像的缩放处理；可以在缩放级别和实际放大率之间实现任意非线性比例；先设置相机的起始缩放级别，捕获第一图像帧，可执行缩放命令，在下一个标定时刻捕获的第二图像帧。在相机的整个范围重复进行图像帧的捕获；根据标定图案轮廓进行缩放估计。在单镜头不同焦距情况下，光路会造成不同的缩放比例下，径向失真的差异。因此，不同焦距应当配置有与之相应的校准配置参数。

[0014] 本发明还公开了：实现上述一种图像特征点的标定方法的计算机程序和存储有上述计算机程序的存储介质。装载有上述计算机程序的图像特征点的标定装置。

[0015] 由于本发明采用了标定图案为黑白相间的正方形网格；相机捕获标定图案采用连续捕获先后两张图像对比，当前后两张捕获图像产生位移时，重新捕获标定图案。采用单个镜头连续采集两次标定图案正方形网格（即棋盘格），通过前后比对，排除掉相机非静止情况下的标定，以减少错误捕获的标定图像进而损耗算力。排除掉相机非静止情况下的标定后，有效棋盘格的像素稳定、清晰，通过改进分布函数的结合，可以减少对主要分布区域外的像素杂点计算，进一步节省算力。因而本发明具有识别效率高、错误少、速度快的优点。

附图说明

[0016] 图1为本发明实施例1的步骤顺序示意图；

[0017] 图2为本发明实施例1的相机捕获图像及特征点示意图；

[0018] 图3为本发明实施例1的图像校正示意图；

[0019] 图4为本发明实施例2的运动目标识别效果比较示意图；

[0020] 图5为本发明实施例3的工业机器人一种校准场景示意图；

[0021] 图6为本发明实施例3的工业机器人校准场景第二姿态示意图。

具体实施方式

[0022] 以下结合附实施例对本发明作进一步详细描述。

[0023] 实施例1：

[0024] 参照图1至图3，一种识别效率高、错误少、速度快的图像特征点的标定方法，其包括，使用相机捕获标定图案的图像；定位标定图案中的特征点；使用特征点沿标定图案的周边定位多个边界点；拟合边界使用多个边界点沿着标定图案的周边的线；使用拟合的边界线沿着周边定位特征点；并基于特征点生成透视变换矩阵，标定图案为黑白相间的正方形网格；相机捕获标定图案采用连续捕获先后两张图像对比，当前后两张捕获图像产生位移时，重新捕获标定图案。采用单个镜头连续采集两次标定图案正方形网格（即棋盘格），通过前后比对，排除掉相机非静止情况下的标定，以减少错误捕获的标定图像进而损耗算力。

[0025] 为了进一步优化技术方案，采取的优化措施还包括：

[0026] 定位标定图案的方法为灰度方式输入标定图案；采用预设的角点模板，角点模板包含四个滤波核 ，角点模板的尺度与标定图案的尺寸对应；计算每个滤波核 与灰度图像I的卷积响应图 和均值μ为：

[0027]

[0028] 算式中，表示滤波核与灰度图像的卷积运算；滤波核符合 分布函数，为角点模板的尺度，x为角点模板内各点与模板中心的向量模。排除掉相机非静止情况下的标定后，有效棋盘格的像素稳定、清晰，因此，继续采用高斯模糊概率进行分布函数的运算效果反而会下降。通过改进分布函数的结合，可以减少对主要分布区域外的像素杂点计算，进一步节省算力。

[0029] 相机获取的标定图案的特征点包括识别沿着与标定图案的每个周边相交两次的线位于标定图案中的点。特征点可以棋盘格上某一个网格的交点、也可以是其边缘的中点，也可以是几何中心或上述组合。由于图像质量、光线、反光材质的差异，机械的采用一种特征点的筛选方式，并不能有效而快速的获得特征点矩阵，为了提高效率，采用综合效率高的特征点或其组合方式获得特征点矩阵，是比较合理的选择。图3中，左侧为校准前的效果，右侧为校准后的效果，与原始标定图案基本一致。

[0030] 滤波核算式中，  取值为1.9至2.1。通过调整 取值，能有效的调整滤波宽度，甚至在极端情况下，可以以牺牲准确性的方式降低运算耗时。

[0031] 角点模板的尺度与标定图案的尺寸对应的方法为根据相机的变焦和放大配置文件中存储的数据信息调整相机的实际放大率。相机的变焦和放大配置文件是相机在给定变焦级别下的实际放大率的记录，用于每个变焦级别估计相机的焦距。

[0032] 在不同焦距情况下标定，需要使用缩放配置文件来估计相机对图像的缩放处理；可以在缩放级别和实际放大率之间实现任意非线性比例；先设置相机的起始缩放级别，捕获第一图像帧，可执行缩放命令，在下一个标定时刻捕获的第二图像帧。在相机的整个范围重复进行图像帧的捕获；根据标定图案轮廓进行缩放估计。在单镜头不同焦距情况下，光路会造成不同的缩放比例下，径向失真的差异。因此，不同焦距应当配置有与之相应的校准配置参数。

[0033] 实施例2：

[0034] 本实施例在上一实施例的基础上，具有进一步的改进及区别如下：

[0035] 相机进行拍摄时一般包括如下程序步骤，图像特征点的标定方法确定相机的径向失真；确定的基本焦距；确定的缩放和放大配置文件；确定系统的启动延迟；确定相机的移动速度；确定移动速度的分布；确定变焦位置曲线和/或变焦持续时间曲线；确定摄像机系统的查询延迟；或者确定摄像机系统的最小查询间隔。

[0036] 现有技术确定相机的径向失真采用如下步骤，步骤1），选择由棋盘格特征点引擎识别的一组特征点s。由于远离图像中心的径向失真可能更明显，通过从帧序列中选择一组帧来选择一组失真特征点 s，该帧序列包含一组超过某个最小间隔的失真特征点 s在图像平面上。步骤2），确定合理的径向失真系数的范围。步骤3），选择第一径向失真系数。步骤4），根据选择的径向失真系数来扭曲特征点。步骤5）中，为选择的径向畸变系数估计平面单应性Hs。在特征点s上使用传统的最小二乘法来估计平面单应性。步骤6）中，计算重投影误差。步骤7）中，使用来自合理径向失真系数范围的下一个径向失真系数重复步骤4到步骤
6）。在步骤8）中，选择来自合理失真系数范围的下一个径向失真系数。一旦针对合理失真系数范围内的径向失真系数重复了步骤4）到步骤6），继续到步骤9）。在步骤9）中，识别径向失真系数k。如果xs,i和x's,i代表集合 s 中的第i个对应（失真）特征点对，那么径向失真系数 k 在所有集合上估计为：

[0037]

[0038] 现有经典标定方法中，有研究表明（Tsai R. An efficient and accurate camera calibration technique for 3D machine vision/Proceedings of IEEE Conference on Computer Vision and Pattern Recognition  , June22‑26  , 1986  , Miami  ,FL  ,USA. NewYork:IEEE,1986:364‑374），实际求解时，在成像过程中加入更多的畸变参数，可能会导致计算解不稳定，对提高摄像机的标定精度没有太多帮助。在图像的各种畸变中，径向畸变占主导地位，实际相机中几乎不会引入明显的切向畸变。因此，通常情况下，只考虑二阶径向畸变系数k1、k2带来的误差，其畸变模型可简化为物理坐标系下的实际像点p（x，y）与理想像点  之间的关系可表示为：

[0039]

[0040] 建图像序列，得到相关相机的参数；然后利用相机参数中的径向畸变系数k1、k2拟合出两者的函数关系，然后，重复用新估计的相机进行参数进行初始化，直至参数收敛；然后用得到的数据进行多项式拟合。

[0041] 本实施例采用的图像特征点的标定方法，使用相机捕获标定图案的图像；定位标定图案中的特征点；使用所述特征点沿标定图案的周边定位多个边界点；拟合边界使用所述多个边界点沿着标定图案的周边的线；使用拟合的边界线沿着所述周边定位特征点；并基于所述特征点生成透视变换矩阵，其中：标定图案为黑白相间的正方形网格；相机捕获标定图案采用连续捕获先后两张图像对比，当前后两张捕获图像产生位移时，重新捕获标定图案。采用单个镜头连续采集两次标定图案正方形网格（即棋盘格），通过前后比对，排除掉相机非静止情况下的标定。步骤1）中识别标定图案的方法为灰度并归一化输入标定图案。采用预设的角点模板，角点模板包含四个滤波核 ，角点模板的尺度与标定图案的尺寸对应。计算每个滤波核 与灰度图像I的卷积响应图 和均值μ为：

[0042]

[0043] 算式中，  表示滤波核与灰度图像的卷积运算；滤波核符合分布函数，  为角点模板的尺度，x为角点模板内各点与模板中心的向量模。其余步骤，基于现有技术实现。与现有采用 Geiger等Automatic camera and range sensor calibration using a single shot，2012 IEEE International Conference on Robotics and Automation的方式相比，由于本发明技术方案新的滤波核分布函数，结合相机捕获标定图案采用连续捕获先后两张图像对比，当前后两张捕获图像产生位移时，重新捕获标定图案的方式降低识别特征点的误差和获取低质量图像的机会，从而实现通过降低特征点识别错误率的方式，改进径向失真校准效果。后续的图像变换，基于特征点生成透视变换矩阵的构建引擎通过接收相机获得的连续的图像帧。根据其平面坐标来表达每个视频帧。通过将拉普拉斯特征检测算法应用于每个图像帧来识别每个视频图像帧的特征点。使用从每个图像识别的特征点来识别连续图像帧之间的特征点对应。将拉普拉斯特征检测算法在现有技术中已经得到普遍使用，不再赘述。如图4中，即为本文记载的现有常规技术与本发明技术方案实施例2的比较，在标定目标运动的过程中对所有特征点进行识别并多次进行重复后统计，现有技术几乎无法完成标定任务，且毫无效率可言。而本发明采用的方法，具有很高的准确率。

[0044] 在不同焦距情况下标定，需要优选使用缩放配置文件来估计相机对图像的缩放处理。可以在缩放级别和实际放大率之间实现任意非线性比例。配置文件可以更好地使相机镜头能够将标定图案保持在图像平面上的最佳尺寸。具体的，先设置相机的起始缩放级别，捕获第一图像帧，可执行缩放命令，在下一个标定时刻捕获的第二图像帧。在相机的整个范围重复进行图像帧的捕获。根据标定图案（棋盘格）轮廓进行缩放估计。缩放轮廓，可以通过比较上述第一图像帧和第二图像帧。每对帧之间的放大率采用在预设范围内的穷举搜索来计算。在每个比例下，最终放大或缩小第二图像帧使其能与第一图像帧中提取到相应的重叠区域。然后采用图像匹配技术比较这两个图像，并确定估计的放大倍数。例如图像匹配技术可以采用基于边缘直方图的相关性识别相似性测量，在行和列上求和，用于两个图像。估计的放大率优选最大化该相似性度量的尺度。将所有帧对的比例相乘可以产生完整的上述配置文件。

[0045] 实施例3：

[0046] 参照图5、6，在本实施例2的基础上尝试校准相机和机器人，以此来得知机器人与相机的相对位置。本实施例参考3D机器人手眼标定算法，通过机器人带动相机或者校准板运动到若干位置，通过采集2D照片数据，自动完成机器人同世界坐标，相机同TCP之间位置关系的校准。

[0047] 在 2d 校准中，我们忽略 z 值，并考虑 2d xy平面中的所有内容。所有坐标系的z方向都是向下的（在图5、6中，底的z方向是向上的，但本发明的情况不同，本发明的底是向下的）。

[0048] 2d 校准的目标是获得系统之间的 3x3 变换矩阵。每个矩阵都有 3 个自由度（x 平移、y 平移、z 旋转）。对于眼在手，我们需要“ Base ‑> World”和“Camera ‑> Tool”转换。对于肉眼观察，我们需要“Base ‑> Camera”转换。

[0049] 二维机器人校准:

[0050] 要获得 Robot‑Camera‑World 关系，我们需要进行 Robot Calibration。

[0051] 与 3d 校准类似，我们使用AX=ZB 方程来计算未知矩阵X & Z。我们从相机校准中得到A，从机器人姿态中得到B（从机器人中读取）。

[0052] 对于眼在手的情况：

[0053] •A:世界 ‑>相机

[0054] •X：基础 ‑>工具

[0055] •Z：工具 ‑>世界

[0056] •B:底座 ‑>工具

[0057] 对于眼对手的情况：

[0058] •A: 世界 ‑>相机

[0059] •X：工具 ‑>世界

[0060] •Z：底座 ‑>相机

[0061] •B: 工具 ‑>底座

[0062] Error = AX – ZB

[0063] 同3D校准一直，在此我们需要做的是通过优化算法使得Error足够的小，理论情况下Error应该为0。在求解未知信息的过程中，我们使用非线性优化算法来求解。

[0064] 尽管已结合优选的实施例描述了本发明，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围的情况下，能够对在这里列出的主题实施各种改变、同等物的置换和修改，因此本发明的保护范围当视所提出的权利要求限定的范围为准。