本发明一种基于序列图像合成的特征点提取方法属于图像处理和计算机视觉检测领域，涉及一种基于序列图像合成的特征点提取方法。该方法首先在被测场景内放置一块高精度角点的棋盘格标定板，利用一台摄像机对被测场景进行图像采集，并将第一帧图像作为基准图像。然后在保证被测物不出视场的前提下随机轻微移动摄像机同时继续对被测场景进行图像采集，以此获取N幅彼此之间存在相对微小位移的图像序列。再利用Harris角点提取法对各图像中标定板的所有角点进行提取。该方法采用同一场景图像序列合成高分辨率图像之后再进行特征点提取，和单幅图像直接提取相比具有更高的精度和稳定性，从而为视觉测量中标定、测量的精度提供更好的基础。
1.一种基于序列图像合成的特征点提取方法，其特征是，该方法首先在被测场景内放置一块高精度角点的棋盘格标定板，利用一台摄像机对被测场景进行图像采集，并将第一帧图像作为基准图像，然后在保证被测物不出视场的前提下随机轻微移动摄像机同时继续对被测场景进行图像采集，以此获取N幅彼此之间存在相对微小位移的图像序列；再利用Harris角点提取法对各图像中标定板的所有角点进行提取，按照仿射变换的原则，利用标定板角点对图像序列进行配准，求取各图像相对于基准图像的亚像素级精度的位移；再对各图像相对基准图像位移的整数像素部分按照反方向平移，只保留相对于基准图像的亚像素位移偏差；将基准图像通过双线性插值放大为原分辨率的4倍作为初始高分辨率图像，然后根据序列图像相对于基准图像的亚像素位移偏差的大小来修正逐帧初始高分辨率图像；
最后，利用合成的高分辨率图像进行特征点的提取；具体步骤如下：
首先在被测场景内摆放一块棋盘格标定板(3)、第一特征点图像(1)和第二特征点图像(2)，调整摄像机参数，拍摄第一幅图像作为基准图像；在保证被测场景完全位于摄像机视场内的情况下轻微移动摄像机，待摄像机稳定后拍摄第二帧图像，以此类推，摄像机经过多次移动和拍摄，获得N张同一场景但又不完全相同的图像；
由于棋盘格标定板的角点具有很高的提取精度，因此可以基于各帧图像之间对应标定板的角点位置进行配准；首先使用Harris角点提取法获得各帧图像中的标定板角点坐标，记为：其中，Vk为第k帧图像中n个标定板角点的坐标值矩阵，N为图像序列数目，xi yi为第i个角点的坐标值；
由于摄像机只有轻微移动，近似认为各图像之间只存在平移和旋转，按照仿射变换的原则，利用各图像中标定板角点坐标矩阵Vk,(k＝1,…,N)求解各帧图像相对于基准图像的转换关系，并利用最小二乘法进行优化，得到各帧图像相对于基准图像的转换矩阵为：其中， 和(uk vk)分别表征了各待配准图像相对于基准图像的旋转分量和平移分量；
根据步骤2中求得的转换矩阵，第k幅图像相对于基准图像的平移分量记为：
其中，uk指图像在水平方向上的平移量，vk指图像在竖直方向上的平移量，λ为整像素单位，m1k,n1k为整数，-1＜m2k＜1，-1＜n2k＜1；
将各帧图像相对于基准图像平移分量中的小数部分保存至另一矩阵中，再将各转换矩阵中平移分量的小数部分去除，只保留整数像素部分，得到新的转换矩阵，依次求解所得新转换矩阵的逆矩阵，利用逆矩阵对除基准图像外的各帧图像进行变换，则新得到的图像序列相对于基准图像只存在亚像素的位移m2kλ和n2kλ；
对基准图像进行双线性插值，使其分辨率分别在横纵方向上扩充为原图的2倍，该图为合成图像的初始估计f(1)，然后利用第二帧图像对初始估计进行修正，其相对于基准图像在x和y方向上的亚像素位移为分别为p2和q2，则根据p2和q2与半像素的大小关系依次对f(1)中每个像素的灰度值进行修正，得到f(2)；同样地，利用图像序列依次对当前获得的最新合成图像进行修正；对于第k幅图像为fk，根据其与基准图像之间的相对亚像素位移的大小分为七种情况，图像均用矩阵来表示，分别对合成图像每行和每列像素值进行修正，具体计算公式如下：其中，f(k)为合成图像的第k次修正值，fk为待处理的第k帧图像，i,j分别用来表示图像的第i行和第j列，p,q分别为待处理的图像相对于基准图像在水平和竖直方向上的亚像素平移分量；
若图像序列共有N幅图像，则所有图像处理完成后得到合成图像f ,最后再将f 中每个像素值都除以N，即得到最终的合成图像；
基于图像序列合成的图像的分辨率为原图像序列分辨率的4倍，打开合成图像，使用传统Harris角点提取法对第一特征点图像(1)和第二特征点图像(2)进行提取，得到像素坐标后除以2，即是特征点最终的坐标位置。
一种基于序列图像合成的特征点提取方法
技术领域
[0001] 本发明属于图像处理和计算机视觉检测领域，特别涉及一种基于序列图像合成的特征点提取方法，
背景技术
[0002] 随着科学技术的不断进步，对于高端装备的需求日益广泛，它们通常在较特殊的生产环境下进行加工，而且对于精度具有很高的要求。为了保证加工精度和效率，对工件进行高效高精度的测量至关重要，视觉测量具有非接触、高效、高精度的优点，同时对特殊工况的适应性较好，近些年获得了长足的发展。由于视觉测量过程中特征点的提取精度直接影响着最终的测量精度，因此国内外学者针对图像中特征点的提取技术进行了广泛的研究。2013年5月王小超等在期刊《计算机辅助设计与图像学学报》(刊号：CN 11-2925/TP；页码：659-665)上发表“基于局部重建的点云特征点提取”一文，文中提出了一种基于局部重建的改善特征点提取效果的方法，该方法首先利用局部邻域协方差分析数据点的特征度量，设定阈值筛选初始特征点集合，再构造反映局部区域特征的三角形集合，利用法向聚类算法对构造的局部三角形集合法向进行聚类，并对特征点局部区域数据点进行分类，最后对每一类点拟合平面，通过判断当前点是否同时落在多个平面来准确提取特征点。该方法可以较好的区分噪声点和特征点，但是特征点的提取精度不够高，且提取方法较复杂。2011年5月苑玮琦等人在期刊《仪器仪表学报》(刊号：CN 11-2179/TH；页码：1069-1076)上发表“基于序列图像提取稳定特征点的虹膜识别方法”一文，文中提出了一种基于序列图像提取稳定特征点的虹膜识别方法，该方法先用二维Gabor滤波器对序列虹膜图像提取特征编码，然后对该序列特征编码求交集以提取稳定特征点，并利用这些稳定特征点建立虹膜的特征模板库，最后通过计算相似度，获得识别结果。该方法具有较好的分类精度，有效改善了虹膜的识别性能，但是该方法需要采集大量图像建立特征模板库，处理周期很长，且仅适用于被提取特征相似度较高的情况。针对这些问题，本发明考虑在同一目标场景下采集具有微小偏差的序列图像，对序列图像进行配准后合成一幅高分辨率图像，再基于该合成高分辨率图像进行特征点提取，以提高特征点提取的精度。
发明内容
[0003] 本发明所要解决的技术问题是克服现有技术的缺陷，发明一种利用具有微小偏差的序列图像来合成更高分辨率图像，再基于该合成图像对特征点进行高精度提取的方法，该方法可以避免通过提高图像采集设备分辨率以及改进现有特征点提取算法的极大困难，而仅在现有硬件设备和软件提取方法的基础上实现特征点提取精度的进一步提高。
[0004] 本发明采取的技术方案是首先在被测场景内放置一块可以实现高精度角点提取的棋盘格标定板，利用一台摄像机对被测场景进行图像采集，并将第一帧图像作为基准图像，然后在保证被测物不出视场的前提下随机轻微移动摄像机同时继续对被测场景进行图像采集，以此获取N幅彼此之间存在相对微小位移的图像序列。再利用Harris角点提取法对各图像中标定板的所有角点进行提取，按照仿射变换的原则，利用标定板角点对图像序列进行配准，求取各图像相对于基准图像的亚像素级精度的位移。再对各图像相对基准图像位移的整数像素部分按照反方向平移，只保留相对于基准图像的亚像素位移偏差。将基准图像通过双线性插值放大为原分辨率的4倍作为初始高分辨率图像，然后根据序列图像相对于基准图像的亚像素位移偏差的大小来修正逐帧初始高分辨率图像。最后，利用合成的高分辨率图像进行特征点的提取。具体步骤如下：
[0005] 步骤1：序列图像获取
[0006] 首先在被测场景内摆放一块棋盘格标定板3、第一特征点图像1和第二特征点图像2，调整摄像机参数，拍摄第一幅图像作为基准图像。在保证被测场景完全位于摄像机视场内的情况下轻微移动摄像机，待摄像机稳定后拍摄第二帧图像，以此类推，摄像机经过多次移动和拍摄，可以获得N张同一场景但又不完全相同的图像。
[0007] 步骤2：序列图像配准
[0008] 由于棋盘格标定板的角点具有很高的提取精度，因此本发明基于各帧图像之间对应标定板的角点位置进行配准。首先使用Harris角点提取法获得各帧图像中的标定板角点坐标，记为：
[0009]
[0010] 其中，Vk为第k帧图像中n个标定板角点的坐标值矩阵，N为图像序列数目，xi yi为第i个角点的坐标值。
[0011] 由于摄像机只有轻微移动，可以近似认为各图像之间只存在平移和旋转，因此本发明按照仿射变换的原则，利用各图像中标定板角点坐标矩阵Vk,(k＝1,…,N)求解各帧图像相对于基准图像的转换关系，并利用最小二乘法进行优化，得到各帧图像相对于基准图像的转换矩阵为：
[0012]
[0013] 其中， 和(uk vk)分别表征了各待配准图像相对于基准图像的旋转分量和平移分量。
[0014] 步骤3：高分辨率图像合成
[0015] 根据步骤2中求得的转换矩阵，第k幅图像相对于基准图像的平移分量可以记为：
[0016]
[0017] 其中，uk指图像在水平方向上的平移量，vk指图像在竖直方向上的平移量，λ为整像素单位，m1k,n1k为整数，-1＜m2k＜1，-1＜n2k＜1。
[0018] 将各帧图像相对于基准图像平移分量中的小数部分保存至另一矩阵中，再将各转换矩阵中平移分量的小数部分去除，只保留整数像素部分，得到新的转换矩阵，依次求解所得新转换矩阵的逆矩阵，利用逆矩阵对除基准图像外的各帧图像进行变换，则新得到的图像序列相对于基准图像只存在亚像素的位移m2kλ和n2kλ。
[0019] 对基准图像进行双线性插值，使其分辨率分别在横纵方向上扩充为原图的2倍，该图为合成图像的初始估计f(1)，然后利用第二帧图像对初始估计进行修正，其相对于基准图像在x和y方向上的亚像素位移为分别为p2和q2，则根据p2和q2与半像素的大小关系依次对f(1) (2)中每个像素的灰度值进行修正，得到f 。同样地，利用图像序列依次对当前获得的最新合成图像进行修正。对于第k幅图像为fk，根据其与基准图像之间的相对亚像素位移的大小分为七种情况，图像均用矩阵来表示，分别对合成图像每行和每列像素值进行修正，具体计算公式如下：
[0020]
[0021] 其中，f(k)为合成图像的第k次修正值，fk为待处理的第k帧图像，i,j分别用来表示图像的第i行和第j列，p,q分别为待处理的图像相对于基准图像在水平和数值方向上的亚像素平移分量。
[0022] 若图像序列共有N幅图像，则所有图像处理完成后得到合成图像f(N),最后再将f(N)中每个像素值都除以N，即得到最终的合成图像。
[0023] 步骤4：特征点精确提取
[0024] 基于图像序列合成的图像的分辨率为原图像序列分辨率的4倍，打开合成图像，使用传统Harris角点提取法对对第一特征点图像1和第二特征点图像2进行提取，得到像素坐标后除以2，即是特征点最终的坐标位置。
[0025] 本发明的有益效果是采用同一场景图像序列合成高分辨率图像之后再进行特征点提取，和单幅图像直接提取相比具有更高的精度和稳定性，从而为视觉测量中标定、测量的精度提供更好的基础。
附图说明
[0026] 图1为序列图像及合成图像的示意图，其中，1-第一特征点图像，2-第二特征点图像，3-标定板。
[0027] 图2为图像序列合成时相对于基准图像的亚像素位移示意图。为方便表示，单幅图像用4个像素表示，A为基准图像，4个像素分别标记为A1,A2,A3,A4。标有虚线的A图像指其经过双线性插值后的高分辨率图像初始估计，B为图像序列中某一幅待处理图像，同样用4个像素表示，分别标记为B1,B2,B3,B4。pk,qk分别为第k幅图像B经过整像素平移后相对于图像A在x和y轴方向上的相对微位移。
具体实施方式
[0028] 下面结合技术方案和附图详细说明本发明的具体实施方式。
[0029] 附图1为序列图像及合成图像的示意图，在被测场景内放置一块可以实现高精度角点提取的棋盘格标定板3，第一特征点图像1和第二特征点图像2。实施例是利用一台摄像机对被测场景进行图像采集，并将第一帧图像作为基准图像，然后在保证被测物不出视场的前提下随机轻微移动摄像机同时继续对被测场景进行图像采集，以此获取N幅彼此之间存在相对微小位移的图像序列。再利用Harris角点提取法对各图像中标定板的所有角点进行提取，按照仿射变换的原则，利用标定板角点对图像序列进行配准，求取各图像相对于基准图像的亚像素级精度的位移。然后根据序列图像相对于基准图像的亚像素位移偏差的大小来修正逐帧初始高分辨率图像。最后，利用合成的高分辨率图像进行特征点的提取。方法的具体步骤如下：
[0030] 步骤1：序列图像获取
[0031] 首先在被测场景内摆放一块棋盘格标定板3，本实施例使用角点数n＝24的标定板，如图1中所示。
[0032] 调整摄像机参数，拍摄第一幅图像作为基准图像。在保证被测场景完全位于摄像机视场内的情况下轻微移动摄像机，待摄像机稳定后拍摄第二帧图像，以此类推，摄像机经过多次移动和拍摄，获得N张同一场景但又不完全相同的图像。
[0033] 在光学成像领域中，低分辨率图像可以看作是摄像机对真实影像进行采样的过程，由于摄像机自身分辨率的限制以及外界因素的干扰，导致获得的图像分辨率较低。因此，为了方便对比提取效果，采用常用的仿真方式来获取序列图像，拍摄一张高分辨率图像作为标准图像，然后对该图像进行随机平移和旋转，最后通过降采样来获得一系列同一场景且具有微小偏差的低分辨率图像序列。降采样参数设为2，利用该方法获得N＝16帧低分辨率图像，第一幅图像作为基准图像。
[0034] 步骤2：序列图像配准
[0035] 由于棋盘格标定板的角点具有很高的提取精度，因此本发明基于各帧图像之间对应标定板的角点位置进行配准。首先使用Harris角点提取法，按公式(1)获得各帧图像中的标定板角点坐标。
[0036] 由于摄像机只有轻微移动，可以近似认为各图像之间只存在平移和旋转，因此按照仿射变换的原则，利用各图像中标定板角点坐标矩阵Vk,(k＝1,…,N)求解各帧图像相对于基准图像的转换关系，并利用最小二乘法进行优化，通过公式(2)得到各帧图像相对于基准图像的
[0037] 转换矩阵如，以第2幅图像为例，求得其转换矩阵为
[0038]
[0039] 步骤3：高分辨率图像合成
[0040] 根据步骤2中求得的转换矩阵，第k幅图像相对于基准图像的平
[0041] 移分量如公式(3)所示，以第2幅图像为例，其平移分量为
[0042]
[0043] 将各帧图像相对于基准图像平移分量中的小数部分保存至另一矩阵中，再将各转换矩阵中平移分量的小数部分去除，只保留整数像素部分，得到新的转换矩阵，依次求解所得新转换矩阵的逆矩阵，利用逆矩阵对除基准图像外的各帧图像进行变换，则新得到的图像序列相对于基准图像只存在亚像素的位移m2kλ和n2kλ。
[0044] 对基准图像进行双线性插值，使其分辨率分别在横纵方向上扩充为原图的2倍，该图为合成图像的初始估计f(1)，然后利用第二帧图像对初始估计进行修正，其相对于基准图像在x和y方向上的亚像素位移为分别为p2和q2，如图2所示，则根据p2和q2与半像素的大小关系依次对f(1)中每个像素的灰度值进行修正，得到f(2)。同样地，利用图像序列依次对当前获得的最新合成图像进行修正。对于第k幅图像为fk，根据其与基准图像之间的相对亚像素位移的大小分为七种情况，图像均用矩阵来表示，分别对合成图像每行和每列像素值进行修正，具体计算按公式(4)进行。仿真图像序列共有16幅图像，所有图像处理完成后得到合成图像f(16),最后再将图像矩阵f(16)中每个像素值都除以16，即得到最终的合成图像。
[0045] 步骤4：特征点精确提取
[0046] 基于图像序列合成的图像的分辨率为原图像序列分辨率的4倍，打开合成图像，使用传统Harris角点提取法对如图1所示第一特征点图像1和第二特征点图像2进行提取，得到像素坐标后除以2，即是特征点最终的坐标位置。
[0047] 本实施例中利用标准图像提取的靶标点坐标距离为(270.3726,460.8624)，利用图像序列基准图像即第一幅图像直接提取结果为(271.6960,460.1145)，绝对误差为(1.3234，-0.7479)，对序列图像合成后进行提取的结果为(270.5980,461.0054)，绝对误差为(0.2254,0.143)，特征点提取精度具有明显的改善。
[0048] 本发明提出了一种基于序列图像合成的特征点提取方法，通过不断移动摄像机拍摄放有标定板的同一场景序列图像，然后对序列图像进行配准，根据配准参数对序列图像进行逆变换，利用序列图像相对于基准图像的微位移关系合成高分辨率图像，再对高分辨率图像特征点进行提取，在不改变硬件设备和特征点提取算法的前提下实现了特征点更高精度的提取。
