本发明视觉测量系统中镜头热影响误差补偿方法属于计算机视觉检测以及图像检测领域，特别涉及用于高温热辐射环境下的双目视觉测量系统中镜头热影响误差补偿方法。该方法在双目视觉测量系统中，双目相机拍摄变温环境下标定板图像，根据特征点图像偏移分析并求解偏移模型结构，分别求解主点偏移误差和镜头热畸变误差系数初值，通过LM优化算法进行所有参数的精确求解，对由镜头热变形引起的像点偏移误差进行修正补偿，获得准确的图像特征点像点坐标。补偿方法通过建立的热影响误差补偿模型对失真图像进行修正补偿，实现了失真图像的准确复原，系统测量精度显著提高，从而保证了高温环境下待物体几何参量的准确测量。
1.一种视觉测量系统中镜头热影响误差补偿方法，其特征在于，该方法在双目视觉测
量系统中，用双目相机拍摄变温环境下标定板图像，根据特征点图像偏移分析求解偏移模型结构，分别求解主点偏移误差和镜头热畸变误差系数初值，通过LM优化算法进行所有参数的精确求解，对由镜头热变形引起的像点偏移误差进行修正补偿，获得准确的图像特征点像点坐标；方法的具体步骤如下：步骤1采用双目相机拍摄变温环境下标定板图像
首先采用双目相机拍摄变温环境下标定板图像，分别提取图像中24个特征点作为分析
对象，绘制24个特征点的温度升高前后特征点偏移对比图，绘制整幅图像整体偏移量图及去除图像整体偏移量后图像偏移量图，根据测量模型中24个特征点坐标偏移图做出了误差曲线；利用两个升降温循环阶段拍摄的百组以上像点偏移图像，提取得到的误差偏移像点坐标进行分析计算，分析镜头温度变化时特征点的偏移规律；为了进一步了解图像特征点偏移量随温度变化的规律，分别提取图像中心处四个特征点(9、10、15、16)，又称为主点，及四周四个特征点(1、6、19、24)为分析对象，分析镜头温度变化时，这8个特征点的偏移规律，绘制8个特征点的温度升高前后特征点偏移对比图及偏移曲线图；
分析镜头表面温度升高后图像中各特征点的偏移情况，在升温阶段随着镜头表面温度
升高特征点坐标整体呈现向v向增大、u向减小的方向偏移，且相对于初始像点坐标绝对偏移量逐渐增大；在降温阶段方向与升温阶段几乎相反，绝对偏移量逐渐减小；然而在降温阶段像点坐标偏移轨迹与温度升高时的轨迹不重合，这表明镜头在升降温阶段热变形导致像点偏移规律并不相同；因此，升温阶段和降温阶段具有不同的像点偏移规律，结合二次升降温阶段特征像点偏移规律分析可知，镜头两个升温阶段和两个降温阶段像点偏移规律具有重复性，而且从像点整体偏移量上分析可知在镜头受热变形后像点偏移量是以主点坐标偏移引起的误差为主；镜头温度变化导致特征像点偏移误差是由主点偏移误差及镜头热畸变误差组成，且这两项误差相互独立，互相之间不存在直接的影响，镜头在升温和降温阶段其误差偏移规律相似而不同；
搭建包含全部目标特征点的实验模型，由所有特征点的坐标偏移误差曲线可知，在同
一温度下24个特征点偏移坐标形成的误差带为镜头畸变引入像点偏移误差，而随温度变化各像点整体性的偏移是由主点坐标产生偏移引起；因此，分别用两个误差量Δu、Δv来表示，最终镜头热变形引起的像点偏移误差模型表示为：其中，u′、v′为像点实际坐标，u、v为像点初始坐标，δu1、δv1为主点偏移引入的偏移误差，δu2、δv2分别为镜头热畸变引入误差；
由于镜头畸变引起的误差量遵循离光心越远误差量越大的规律，因此，图中中心处像
点在温度变化过程中产生的像点偏移量是以主点偏移误差为主，因此，以这四个点不同温度下偏移量的均值近似认为是图像整体偏移量，采用多项式拟合的方式，求解出主点偏移误差随温度变化曲线；将升降温阶段像点偏移曲线进行分段拟合，其中，Δu在升降温阶段变化曲线采用3阶多项式得到理想的拟合结果，而对Δv而言在升降温阶段的变化曲线仅需要二阶多项式既得到理想的拟合结果，基于此主点偏移误差模型为公式(2)所示：其中，a1、b1、c1、d1、a2、b2、c2为主点热影响偏移误差系数，是由大量实验数据回归分析得到的7个补偿系数；
对于镜头热畸变引入的误差，像点偏移形式满足径向畸变与切向畸变相叠加的结果，
故该畸变模型也是由镜头一阶径向畸变与二阶离心畸变组成镜头热畸变误差模型，与常规镜头自身畸变不同在于三个待求畸变系数并不是常数，而是随镜头温度变化而变化的，镜头热畸变误差模型表示为：其中， (u0,v0)为相机的主点坐标；
k1为径向畸变参数，p1、p2为离心畸变参数，k1、p1、p2三个畸变参数是与温度变化量ΔT有关的函数，三个畸变参数随变化函数分别由三个二阶多项式来表征，分别由下式表示：其中，e1、f1、g1、h1、j1、q1、l1、m1、n1分别为三个畸变参数拟合多项式的系数；
步骤3分别求解主点偏移误差和镜头热畸变误差系数初值
针对像点偏移误差模型中两项中共存在15个带求解参数，分别为7个主点偏移误差系
数a1、b1、c1、d1、a2、b2、c2和9个镜头热畸变误差系数e1、f1、g1、h1、j1、q1、l1、m1、n1；针对参数求解问题，首先将公式(2)和公式(3)分别代入公式(1)中，其中，不同温度下的Δu和Δv及主点偏移误差δu1、δv1已知；因此，去除主点偏移影响后的Δu和Δv即为镜头热畸变引起的误差，分别另去除主点影响后的Δu和Δv等于δu2和δv2从而求得不同温度下的三个畸变参数变化规律，最终求出三个畸变参数的9个误差补偿系数初值分别为e1、f1、g1、h1、j1、q1、l1、m1、n1；
利用主点偏移误差系数的7个初值和镜头热畸变误差系数的9个初值分别代入公式
(1)，求出不同温度下特征像点的理论偏移量(ΔuI,ΔvI)和理论偏移像点坐标(uI,vI)，其中，uI＝ΔuI+u，vI＝ΔvI+v；由像点实际偏移坐标(u′,v′)求出各特征点实际偏移后像点求得的世界坐标(XW1,YW1,ZW1)，由补偿模型计算得到的理论偏移坐标(uI,vI)求出各特征点理论计算得出像点偏移坐标后的物点世界坐标(XW2,YW2,ZW2)；
以理论计算得出世界坐标(XW1,YW1,ZW1)和实际得出世界坐标(XW2,YW2,ZW2)两点间距离最小为优化目标，通过Levenberg-Marquardt优化算法进行误差补偿模型各个系数的精确求解；优化目标函数如下：利用两个升降温循环阶段拍摄的像点偏移图像提取的到的误差偏移像点坐标进行计
算，经过LM优化算法计算后得到双目图像的误差补偿模型各个系数；
在完成对像点偏移误差补偿模型各个补偿系数的计算求解后，利用理论误差偏移计算
公式计算得到温度变化时图像中各像点的理论误差偏移量，理论误差偏移计算公式为：
其中，ui、vi为像点补偿后坐标，u′、v′为像点实际偏移坐标，根据温度变化分别求出δu1、δv1、δu2、δv2这个四个误差量，从而得出像点误差补偿后坐标(ui,vi)；
利用实验采集的镜头温度变化数据计算得到不同温度下图像像点的理论偏移误差，进
而对由镜头热变形引起的像点偏移误差进行修正，分别为左、右相机镜头热变形导致像点偏移误差补偿前后的像点坐标；根据补偿前后像点坐标对比，像点补偿模型准确的描述镜头热变形导致像点偏移规律，对不同温度下像点偏移误差进行修正。
视觉测量系统中镜头热影响误差补偿方法
技术领域
[0001] 本发明属于计算机视觉检测以及图像检测领域，特别涉及用于高温热辐射环境下的双目视觉测量系统中镜头热影响误差补偿方法。
背景技术
[0002] 双目视觉测量作为一种实时性强、测量精度高的非接触测量方法，被广泛应用于工业检测、目标识别等诸多领域，尤其在实时测量大型锻件锻压过程中热态几何尺寸方面具有无法比拟的优势。许多学者围绕如何获取高精度的测量结果开展了大量的研究，然而目前主要的研究工作集中于提高摄像系统的标定精度和特征点的匹配精度，而忽略了锻件高温热辐射对测量系统自身精度的影响。现有的视觉测量系统在测量高温锻件时，通常在完成测量系统标定后，即对锻件几何参数进行在线测量，并未对测量系统的精度进行实时校准，可能致使测量过程中，采集图像受到锻件热辐射影响而失真变形，特征点发生偏移，最终导致测量系统测量误差增大，测量可靠性难以保证。目前常见相关研究如吉林大学赵毅等人在论文《热态锻件结构光三维测量技术》中国机械工程,2006(s1):134-137.中提出了一种热态锻件结构光三维测量技术，利用图像传感器采集利用光栅投影装置投射到待测物体表面的白光条纹图像，根据高温锻件辐射光谱主要集中在近红光及红外光这一特性，利用数字滤波法实现红光波段干扰光的滤除，进而获得被测高温锻件的图像。测量系统在实验室内仅需5s即可实现1m×0.8m范围内特征参数测量。但该方案测量范围有限，且未考虑测量时存在热影响理论偏差。
发明内容
[0003] 本发明所要解决的技术问题是克服现有精度补偿技术的不足，针对在锻造现场测量系统受热影响引起图像失真导致测量系统误差增大，发明一种视觉测量系统中镜头热影响误差补偿方法。在双目视觉测量系统中，考虑到采集图像受热影响导致图像失真变形、特征点坐标发生偏移的问题，本发明建立了镜头温度与图像不同位置处像点坐标偏移误差之间的数学关系模型。通过分析镜头不同温度时，图像中不同位置处理理想点坐标与实际像点坐标之间的误差变化规律，建立了误差补偿模型，通过大量实验数据回归分析得到补偿模型中的各补偿系数，最终实现不同温度下图像中像点偏移误差的准确补偿，获得准确的图像特征点像点坐标，降低了测量系统的热影响误差。
[0004] 本发明采取的技术方案是一种视觉测量系统中镜头热影响误差补偿方法，其特征在于，该方法在双目视觉测量系统中，双目相机拍摄变温环境下标定板图像，根据特征点图像偏移分析并求解偏移模型结构，分别求解主点偏移误差和镜头热畸变误差系数初值，通过LM优化算法进行所有参数的精确求解，对由镜头热变形引起的像点偏移误差进行修正补偿，获得准确的图像特征点像点坐标；方法的具体步骤如下：
[0005] 步骤1采用双目相机拍摄变温环境下标定板图像
[0006] 首先采用双目相机拍摄变温环境下标定板图像，分别提取图像中24个特征点作为分析对象，绘制24个特征点的温度升高前后特征点偏移对比图，绘制整幅图像整体偏移量图及去除图像整体偏移量后图像偏移量图，根据测量模型中24个特征点坐标偏移图做出了误差曲线；利用两个升降温循环阶段拍摄的百组以上像点偏移图像，提取得到的误差偏移像点坐标进行分析计算，分析镜头温度变化时特征点的偏移规律；
[0007] 为了进一步了解图像特征点偏移量随温度变化的规律，又分别提取图像中心处四个特征点(9、10、15、16)又称为主点，及四周四个特征点(1、6、19、24)为分析对象，分析镜头温度变化时，这8个特征点的偏移规律，绘制8个特征点的温度升高前后特征点偏移对比图及偏移曲线图；
[0008] 分析镜头表面温度升高后图像中各特征点的偏移情况，在升温阶段随着镜头表面温度升高特征点坐标整体呈现向v向增大、u向减小的方向偏移，且相对于初始像点坐标绝对偏移量逐渐增大；在降温阶段方向与升温阶段几乎相反，绝对偏移量逐渐减小；然而在降温阶段像点坐标偏移轨迹与温度升高时的轨迹不重合，这表明镜头在升降温阶段热变形导致像点偏移规律并不相同；因此，升温阶段和降温阶段具有不同的像点偏移规律，结合二次升降温阶段特征像点偏移规律分析可知，镜头两个升温阶段和两个降温阶段像点偏移规律具有重复性，而且从像点整体偏移量上分析可知在镜头受热变形后像点偏移量是以主点坐标偏移引起的误差为主；镜头温度变化导致特征像点偏移误差是由主点偏移误差及镜头热畸变误差组成，且这两项误差相互独立，互相之间不存在直接的影响，镜头在升温和降温阶段其误差偏移规律相似而不同；
[0009] 步骤2根据拍摄的特征点图像偏移求解偏移模型结构
[0010] 搭建包含全部目标特征点的实验模型，由所有特征点的坐标偏移误差曲线可知，在同一温度下24个特征点偏移坐标形成的误差带为镜头畸变引入像点偏移误差，而随温度变化各像点整体性的偏移是由主点坐标产生偏移引起；因此，分别用两个误差量Δu、Δv来表示，最终镜头热变形引起的像点偏移误差模型表示为：
[0011]
[0012] 其中，u′、v′为像点实际坐标，u、v为像点初始坐标，δu1、δv1为主点偏移引入的偏移误差，δu2、δv2分别为镜头热畸变引入误差；
[0013] 由于镜头畸变引起的误差量遵循离光心越远误差量越大的规律，因此，图中中心处像点在温度变化过程中产生的像点偏移量是以主点偏移误差为主，因此，以这四个点不同温度下偏移量的均值近似认为是图像整体偏移量；采用多项式拟合的方式，求解出主点偏移误差随温度变化曲线；将升降温阶段像点偏移曲线进行分段拟合，其中，Δu在升降温阶段变化曲线采用3阶多项式可以得到理想的拟合结果，而对Δv而言在升降温阶段的变化曲线仅需要二阶多项式既可以得到理想的拟合结果，基于此主点偏移误差模型为公式(2)所示：
[0014]
[0015] 其中，a1、b1、c1、d1、a2、b2、c2为主点热影响偏移误差系数，是由大量实验数据回归分析得到的7个补偿系数；
[0016] 对于镜头热畸变引入的误差，像点偏移形式满足径向畸变与切向畸变相叠加的结果，故该畸变模型也是由镜头一阶径向畸变与二阶离心畸变组成镜头热畸变误差模型，与常规镜头自身畸变不同在于三个待求畸变系数并不是常数，而是随镜头温度变化而变化的，镜头热畸变误差模型表示为：
[0017]
[0018] 其中， (u0,v0)为相机的主点坐标；k1为径向畸变参数，p1、p2为离心畸变参数，k1、p1、p2三个畸变参数是与温度变化量ΔT有关的函数，三个畸变参数随变化函数分别由三个二阶多项式来表征，分别由下式表示：
[0019]
[0020] 其中，e1、f1、g1、h1、j1、q1、l1、m1、n1分别为三个畸变参数拟合多项式的系数；
[0021] 步骤3分别求解主点偏移误差和镜头热畸变误差系数初值
[0022] 针对像点偏移误差模型中两项中共存在15个带求解参数，分别为7个主点偏移误差系数a1、b1、c1、d1、a2、b2、c2和9个镜头热畸变误差系数e1、f1、g1、h1、j1、q1、l1、m1、n1；针对参数求解问题，首先将公式(2)和公式(3)分别代入公式(1)中，其中，不同温度下的Δu和Δv及主点偏移误差δu1、δv1已知；因此，去除主点偏移影响后的Δu和Δv即为镜头热畸变引起的误差，分别另去除主点影响后的Δu和Δv等于δu2和δv2从而求得不同温度下的三个畸变参数变化规律，最终求出三个畸变参数的9个误差补偿系数初值分别为e1、f1、g1、h1、j1、q1、l1、m1、n1；
[0023] 利用主点偏移误差系数的7个初值和镜头热畸变误差系数的9个初值分别代入公式(1)，求出不同温度下特征像点的理论偏移量(ΔuI,ΔvI)和理论偏移像点坐标(uI,vI)，其中，uI＝ΔuI+u，vI＝ΔvI+v；由像点实际偏移坐标(u′,v′)求出各特征点实际偏移后像点求得的世界坐标(XW1,YW1,ZW1)，由补偿模型计算得到的理论偏移坐标(uI,vI)求出各特征点理论计算得出像点偏移坐标后的物点世界坐标(XW2,YW2,ZW2)；
[0024] 步骤4通过LM优化算法进行所有参数的精确求解
[0025] 以理论计算得出世界坐标(XW1,YW1,ZW1)和实际得出世界坐标(XW2,YW2,ZW2)两点间距离最小为优化目标，通过Levenberg-Marquardt(LM)优化算法进行误差补偿模型各个系数的精确求解。优化目标函数如下：
[0026]
[0027] 利用两个升降温循环阶段拍摄的像点偏移图像提取的到的误差偏移像点坐标进行计算，经过Levenberg-Marquardt(LM)优化算法计算后得到双目图像的误差补偿模型各个系数；
[0028] 步骤5对有镜头热变形引起的像点偏移误差进行修正
[0029] 在完成对像点偏移误差补偿模型各个补偿系数的计算求解后，利用理论误差偏移计算公式即可计算得到温度变化时图像中各像点的理论误差偏移量，理论误差偏移计算公式如下所示：
[0030]
[0031] 其中，ui、vi为像点补偿后坐标，u′、v′为像点实际偏移坐标，根据温度变化可分别求出δu1、δv1、δu2、δv2这个四个误差量，从而得出像点误差补偿后坐标(ui,vi)；
[0032] 利用实验采集的镜头温度变化数据计算得到不同温度下图像像点的理论偏移误差，进而对由镜头热变形引起的像点偏移误差进行修正，分别为左、右相机镜头热变形导致像点偏移误差补偿前后的像点坐标；根据补偿前后像点坐标对比，像点补偿模型准确的描述镜头热变形导致像点偏移规律，对不同温度下像点偏移误差进行修正。
[0033] 本发明的有益效果是在视觉测量高温物体时，针对环境热影响导致图像畸变失真引起测量精度降低的问题，通过建立的热影响误差补偿模型对失真图像进行修正补偿，降低了测量系统的热影响误差，实现了失真图像的准确复原，从而保证了高温环境下待测物体几何参量的准确测量。
附图说明
[0034] 图1为标定图像中24个特征点位置及对应编号。其中，1-24分别为第1-第24特征点。
[0035] 图2为镜头表面温度升高前后特征点偏移对比图，图3为温升前后图像特征点整体偏移量图，图4为去除图像整体偏移量后图像特征点偏移量图，其中，三个图中表示出24个特征点偏移量放大50倍后的结果，1-方形表示温度升高前各特征点的位置，2-三角形表示温度升高20℃时各特征点的偏移量。
[0036] 图5为实验重建误差补偿前后对比图。其中，横坐标-图片序号，纵坐标-重建误差(mm)。
[0037] 图6为镜头热变形误差补偿流程图。
具体实施方式
[0038] 下面结合技术方案和附图详细说明本发明的具体实施。
[0039] 图1为标定图像中24个特征点位置及对应编号，1-24分别为第1-第24特征点。图6为镜头热变形误差补偿流程图，方法的具体步骤如下：
[0040] 首先，为了解图像特征点偏移量随温度变化的规律，分别以图像中的24个特征点为分析对象，分析镜头温度变化时，特征点的偏移规律，如图2、3、4所示，三个图中表示出24个像点偏移量放大50倍后的结果。根据测量模型中24个特征点坐标偏移做出误差曲线可知，在相同温度下特征点偏移坐标形成的误差带为镜头畸变引入像点偏移误差，而随温度变化各像点整体性的偏移是由主点坐标偏移引起。结合误差原理分析可知，镜头畸变引起像点偏移和图像整体像点偏移这两个类型的像点偏移量之间是相互独立的，因此分别用两个误差量来表示，得到镜头热变形引起的像点偏移误差模型如公式(1)所示。
[0041] 另一方面，鉴于升降温阶段像点偏移量变化曲线有较大差异性，针对升降温阶段像点偏移曲线进行分段拟合。其中，对Δu在升降温阶段变化曲线采用3阶多项式得到理想的拟合结果，对Δv在升降温阶段的变化曲线采用二阶多项式得到理想的拟合结果，因此得到主点偏移误差模型如公式(2)所示。其中，a1、b1、c1、d1、a2、b2、c2为主点热影响偏移误差系数，是由大量实验数据回归分析得到的7个补偿系数。
[0042] 由于镜头热畸变引入误差也是由径向畸变与切向畸变相叠加的结果，故热畸变模型也是由镜头一阶径向畸变与二阶离心畸变组成的，且相关参数是是随镜头温度变化而变化的，得到镜头热畸变的误差模型，如公式(3)所示。
[0043] 将公式(2)和公式(3)分别代入公式(1)中，其中不同温度下的Δu在升降温阶段变化曲线采用3阶多项式可以得到理想的拟合结果，而对Δv在升降温阶段的变化曲线仅需要二阶多项式既可以得到理想的拟合结果，基于此主点偏移误差模型如公式(2)所示：
[0044] 将升降温阶段像点偏移曲线进行分段拟合，两个锻造循环周期升降温阶段曲线拟合结果如表1所示。
[0045] 表1像点偏移曲线拟合结果
[0046]
[0047] 去除主点偏移影响后的Δu和Δv即为镜头热畸变引起的误差，分别另去除主点影响后的Δu和Δv等于δu2和δv2。通过大量实验数据回归分析得到补偿模型中的7个补偿系数，再基于公式(4)的特征约束对三个畸变参数拟合多项式的系数e1、f1、g1、h1、j1、q1、l1、m1、n1分别求解。求得不同温度下的三个畸变参数变化规律，最终求出三个畸变参数的9个误差补偿系数初值分别为e1＝1.23-8、f1＝5.34-10、g1＝2.07-13、h1＝1.69-7、j1＝1.43-9、q1＝8.65-13、l1＝5.27-8、m1＝1.98-9、n1＝3.73-13。
[0048] 利用主点偏移误差系数的7个初值和镜头热畸变误差系数的9个初值分别代入公式(1)，从而可以求出不同温度下特征像点的理论偏移量和理论偏移像点坐标vI＝ΔvI+v。
此时可由像点实际偏移坐标求出各特征点实际偏移后像点求得的世界坐标(XW1,YW1,ZW1)，同时由补偿模型计算得到的理论偏移坐标(uI,vI)求出各特征点理论计算得出像点偏移坐标后的物点世界坐标(XW2,YW2,ZW2)。并以理论计算得出世界坐标(XW1,YW1,ZW1)和实际得出世界坐标(XW2,YW2,ZW2)两点间距离最小为优化目标，通过Levenberg-Marquardt(LM)优化算法进行误差补偿模型参数的精确求解。优化目标函数如公式(6)所示。
[0049] 利用两个升降温循环阶段拍摄的148组像点偏移图像提取的到的误差偏移像点坐标进行计算，经过LM优化算法计算后得到右图像的误差补偿模型各个系数。同理左图像各个误差系数也可以优化，图5为实验重建误差补偿前后对比图。计算求得，最终优化后求得的左右图像各个补偿系数如表2所示。
[0050] 利用在实验室建立的模拟锻造现场热辐射环境，实时测量镜头温度变化，当镜头温度每变化0.5℃时，采集一组特征图像；实验采集两个锻造循环周期，实验共采集到148组特征图像，采用本发明提出补偿方法以后，两组实验中8个特征点(1、6、9、10、15、16、19、24)根据公式(6)进行偏移误差经误差补偿模型修正后，镜头热变形像点偏移误差显著减小，如表3所示。
[0051] 表2误差补偿模型各系数求解结果
[0052]
[0053] 表3实验像点误差补偿前后分布范围比较
[0054]
[0055] 根据实验像点误差补偿前后像点分布范围可知，实施镜头热变形像点偏移误差补偿后，镜头温度变化导致的像点偏移量得到了有效的遏制，无论是偏移量最大的图像四周处的特征点，或者是图像中心处的四个特征点，其偏移误差量补偿后除个别特征点以外，基本都能减小到0.5像素×0.5像素以内，见附图5。根据补偿前后重建误差对比可知，图像中特征点三维重建误差从最大1mm减小到0.1mm，补偿后测量误差降低了90％，从而为温度变化环境下高精度的摄像测量提供了基础。
[0056] 利用实验计算得到的热变形误差模型，对由热变形引起的左、右相机镜头热变形导致像点偏移误差补偿前后的像点坐标，最终得到高精度补偿后的像点坐标。
