基于多空间相似度的卷积双胞胎点网络叶片轮廓拼接系统

摘要

本发明公开了基于多空间相似度的卷积双胞胎点网络叶片轮廓拼接系统，包括数据采集模块、卷积双胞胎点网络和数据拼接模块，卷积双胞胎点网络包括迭代数次的网络模块，网络模块包括特征提取模块、匹配矩阵模块、注意力机制模块和奇异值分解模块；特征提取模块采用边缘卷积网络结构提取源点云和目标点云中的高维空间特征，再利用高维空间特征和坐标空间分别计算出特征空间匹配矩阵和坐标空间匹配矩阵，然后通过注意力机制处理特征空间匹配矩阵和坐标空间匹配矩阵之间的冲突得到最终的匹配矩阵，通过最终的匹配矩阵计算出源点云和目标点云中点的对应关系，最后通过奇异值分解求出刚体转化，根据多次迭代求解出最优的刚体转化。

权利要求

1.基于多空间相似度的卷积双胞胎点网络叶片轮廓拼接系统，其特征在于包括：数据采集模块，用于采集不同视场下的叶片轮廓点云数据，叶片轮廓点云数据包括视场1的源点云数据X，X＝{x1,x2,…,xi,…,xn}和视场2的目标点云数据Y，Y＝{y1,y2,…,yj,…,ym}，其中，n为源点云数据X中的数据个数，m为源点云数据Y中的数据个数，视场2为视场1刚体转换前后的视场；

卷积双胞胎点网络，用于求解出最优的刚体转化，所述卷积双胞胎点网络包括迭代数次的网络模块，所述网络模块包括特征提取模块、匹配矩阵模块、注意力机制模块和奇异值分解模块；所述特征提取模块内设置有孪生结构的边缘卷积网络，用于分别提取刚体转换后的源点云数据X及目标点云数据Y中的高维空间特征FX和FY，FX＝{Fx1,Fx2,…,Fxi,…,Fxn}，FY＝{Fy1,Fy2,…,Fyj,…,Fym}，刚体转换后的源点云数据X是指源点云数据X与上一次迭代输出的刚体转换相乘后获取的数据；

所述匹配矩阵模块用于匹配出源点云数据X和目标点云数据Y中对应坐标数据，并通过以下计算模型计算出源点云数据X和目标点云数据Y中对应坐标数据的关系，式中，MF(i，j)为高维空间特征FX中第i个点的高维特征数据与高维空间特征FY中第j个点的高维特征数据的匹配相似度，MC(i，j)为源点云数据X中第i个点的二维空间坐标数据与目标点云数据Y中第j个点的二维空间坐标数据的匹配相似度，βF、βC为退火参数，αF、αC为抑制外点的对应，Fxi为高维空间特征FX中第i个点的高维特征数据，Fyj为高维空间特征FY中第j个点的高维特征数据，xi为源点云数据X中第i个点的二维空间坐标数据，yj为目标点云数据Y中第j个点的二维空间坐标数据；

所述注意力机制模块用于处理特征空间匹配矩阵MF(i，j)和坐标空间匹配矩阵MC(i，j)冲突，通过提取MF(i，j)和MC(i，j)中行最大值，并将两个最大值列向量进行特征堆叠，经过softmax函数后分别与MF(i，j)和MC(i，j)相乘，相乘后MF(i，j)和MC(i，j)再相加获得最终匹配矩阵M(i，j)；

所述奇异值分解模块是对源点云X和加权目标点云M(i，j)*Y进行奇异值分解，获得优化后的刚体转换，其中M(i，j)为最终匹配矩阵；

数据拼接模块，用于根据求解的刚体转换拼接出叶片轮廓。

2.根据权利要求1所述的基于多空间相似度的卷积双胞胎点网络叶片轮廓拼接系统，其特征在于：所述数据采集模块采用搭载四轴测量系统上的线激光轮廓仪。

说明书

基于多空间相似度的卷积双胞胎点网络叶片轮廓拼接系统

技术领域

[0001] 本发明涉及叶片截面轮廓检测领域，具体涉及一种基于多空间相似度的卷积双胞胎点网络叶片轮廓拼接系统。

背景技术

[0002] 叶片被誉为现代工业皇冠上的明珠，广泛应用在航空发动机、蒸汽涡轮机和风力涡轮机。为保证在高速作业下完美和稳定的空气动力性能，叶片需要极高的尺寸精度和表
面完整性。精准测量叶片的轮廓是指导叶片生产的重要手段。然而薄壁、扭曲和镜面般的空
间自由型面增加了叶片表面测量的难度。目前，叶片轮廓的采集是由三坐标测量完成的，它
是一种高精度且易于实现的方法。但是三坐标测量的效率较低，阻碍了叶片的生产效率。随
着对叶片整个制造周期的质量控制关注度提高，使得它在粗加工、半精加工和自适应磨削
等各个阶段都难以实现。

[0003] 非接触式光学测量技术在叶片轮廓测量上表现出突出的能力，在现有的测量标准中，可以通过测量特定截面来保证叶片型面的几何尺寸精度，如图1所示，所开发的叶片轮
廓测量光学系统一般由一个多轴运动平台和一个或多个激光扫描传感器组成。该系统以数
据采集和点云拼接交替的方式逐步获取完整的叶片轮廓。点云拼接是将从不同视场获得的
点云数据转换到统一的坐标系。因为四轴检测系统必然存在机械误差，导致系统直接给出
的刚体转换和真实的刚体转换之间存在一定误差，进而造成叶片轮廓拼接后与实际叶片存
在误差。现有的点云配准算法包括有传统的拼接算法(ICP)和基于深度学习的拼接算法
(DCP)等，但是依然存在如下问题：叶片的薄壁、扭曲的空间自由型面和两视场下点云重叠
部分较小增加了提取具有旋转和平移不变性特征的难度；以及不同视场下，在重叠部分的
点云密度不一致，很难寻找点对应。

发明内容

[0004] 为克服上述问题，本发明的目的在于提供一种基于多空间相似度的卷积双胞胎点网络叶片轮廓拼接系统，该系统采用卷积双胞胎点网络求解出误差最小化的刚体转化，解
决四轴测量系统在测量过程因转动或移动带来的误差，进而提高叶片轮廓拼接的精度。

[0005] 为实现上述目的，本发明采用如下技术方案：

[0006] 基于多空间相似度的卷积双胞胎点网络叶片轮廓拼接系统，包括：

[0007] 数据采集模块，用于采集不同视场下的叶片轮廓点云数据，叶片轮廓点云数据包括视场1的源点云数据X，X＝{x1,x2,…,xi,…,xn}和视场2的目标点云数据Y，Y＝{y1,y2,…,
yj,…,ym}，其中，n为源点云数据X中的数据个数，m为源点云数据Y中的数据个数，视场2为视
场1刚体转换后的视场；

[0008] 卷积双胞胎点网络，用于求解出最优的刚体转化，所述卷积双胞胎点网络包括迭代数次的网络模块，所述网络模块包括特征提取模块、匹配矩阵模块、注意力机制模块和奇
异值分解模块；所述特征提取模块内设置有孪生结构的边缘卷积网络，用于分别提取刚体
转换后的源点云数据X及目标点云数据Y中的高维空间特征FX和FY，FX＝{Fx1,Fx2,…,Fxi,…,
Fxn}，FY＝{Fy1,Fy2,…,Fyj,…,Fym}，刚体转换后的源点云数据X是指源点云数据X与上一次迭
代输出的刚体转换相乘后获取的数据；

[0009] 所述匹配矩阵模块用于匹配出源点云数据X和目标点云数据Y中对应坐标数据，并通过以下计算模型计算出源点云数据X和目标点云数据Y中对应坐标数据的关系，

[0010]

[0011] 式中，MF(i，j)为高维空间特征FX中第i个点的高维特征数据与高维空间特征FY中第j个点的高维特征数据的匹配相似度，MC(i，j)为源点云数据X中第i个点的二维空间坐标
数据与目标点云数据Y中第j个点的二维空间坐标数据匹配相似度，βF、βC为退火参数，αF、αC
为抑制外点的对应，Fxi为高维空间特征FX中第i个点的高维特征数据，Fyj为高维空间特征FY
中第j个点的高维特征数据，xi为源点云数据X中第i个点的二维坐标数据，yj为目标点云数
据Y中第j个点的二维坐标数据；

[0012] 所述注意力机制模块用于处理特征空间匹配矩阵MF(i，j)和坐标空间匹配矩阵MC(i，j)冲突，通过提取MF(i，j)和MC(i，j)中行最大值，并将该两个行最大值列向量进行特征
堆叠，经过softmax函数后分别与MF(i，j)和MC(i，j)相乘，相乘后MF(i，j)和MC(i，j)再相加
获得最终匹配矩阵M(i，j)；

[0013] 所述奇异值分解模块是对源点云X和加权目标点云M(i，j)*Y进行奇异值分解，获得优化后的刚体转换，其中M(i，j)为最终匹配矩阵；

[0014] 数据拼接模块，用于根据求解的刚体转换拼接出叶片轮廓。

[0015] 进一步地，所述数据采集模块采用搭载四轴测量系统上的线激光轮廓仪。

[0016] 与现有技术相比，本发明通过设计的卷积双胞胎点网络进行部分到部分的点云拼接，卷积双胞胎点网络是一个端到端的可微分的深度网络，能够从点云中提取鲁棒的特征，
包括特征提取、匹配矩阵计算、注意力机制和奇异值分解，所述特征提取采用边缘卷积网络
结构提取源点云和目标点云中的高维空间特征，再利用高维空间特征和点云坐标空间分别
计算出特征空间匹配矩阵和坐标空间匹配矩阵，，然后通过注意力机制处理由特征空间和
坐标空间分别计算的两个匹配矩阵之间的冲突得到最终的匹配矩阵，利用该最终的匹配矩
阵计算出两点云数据(源点云和目标点云)中点的对应关系，最后通过奇异值分解求出刚体
转化，根据多次迭代求解出最优的刚体转化，实验结果展示了该方法的可行性和良好的实
际应用前景。

附图说明

[0017] 图1为四轴测量系统的结构示意图。

[0018] 图2为本发明的卷积双胞胎点网络中网络模块结构示意图。

[0019] 图3为本发明注意力机制模块结构示意图。

[0020] 图4为本发明CSPN测量结果与CMM测量结果之间的偏差图，其中，(1)～(3)为叶片1三个不同截面的偏差图；(4)～(6)为叶片2三个不同截面的偏差图。

[0021] 图5为叶片1在实际应用中本发明与其他算法的拼接结果对比图，其中，a是叶片的一个截面在不同视场下的测量数据，b是高精度CMM测量结果，c是ICP测量结果，d是PointLK
测量结果；e是本发明测量结果。

[0022] 图6为叶片2在实际应用中本发明与其他算法的拼接结果对比图，其中，a是叶片的一个截面在不同视场下的测量数据，b是高精度CMM测量结果，c是ICP测量结果，d是PointLK
测量结果；e是本发明测量结果。

[0023] 图中标记：A、线激光轮廓仪；B、叶片。

具体实施方式

[0024] 本实施例提供的基于多空间相似度的卷积双胞胎点网络叶片轮廓拼接系统，包括数据采集模块、卷积双胞胎点网络和数据拼接模块。

[0025] 所述数据采集模块用于采集不同视角下的叶片B轮廓点云数据，具体采用搭载四轴测量系统上的线激光轮廓仪A，如图1所示，四轴测量系统包括三个平移轴(Sx、Sy和Sz)和
一个旋转轴，线激光轮廓仪A安装在平移轴上，由平移轴带着移动，叶片B安装在旋转轴上，
这种由于旋转和平移发生的改变成为刚体转换。所述叶片B轮廓数据包括视场1的源点云数
据X，X＝{x1,x2,…,xi,…,xn}和视场2目标点云数据Y，Y＝{y1,y2,…,yj,…,ym}，其中，n为源
点云数据X中的数据个数，m为源点云数据Y中的数据个数，视场1通过旋转或/和平移后获得
视场2，即视场1为视场2刚体转换前的视场。

[0026] 所述卷积双胞胎点网络用于求解出最优的刚体转化[R,T]，最优的刚体转换[R,T]也可以理解为最接近实际的刚体转换。所述卷积双胞胎点网络包括迭代数次的网络模块，
如图2所示，所述网络模块包括特征提取模块、匹配矩阵模块(坐标空间匹配模块和特征空
间匹配模块)、注意力机制模块和奇异值分解模块。

[0027] 所述特征提取模块内设置有孪生结构的边缘卷积网络，用于分别提取刚体转换后的源点云数据X及目标点云数据Y中的高维空间特征FX和FY，FX＝{Fx1,Fx2,…,Fxi,…,Fxn}，FY
＝{Fy1,Fy2,…,Fyj,…,Fym}，刚体转换后的源点云数据X是指源点云数据X与上一次迭代输出
的刚体转换相乘后获取的点云数据，第一迭代采用初始刚体转换[R0,T0]，其中R0为二阶单
位矩阵，T0为二维零向量。

[0028] 所述匹配矩阵模块用于匹配出源点云数据X和目标点云数据Y中对应坐标数据，并通过以下计算模型计算出源点云数据X和目标点云数据Y中对应坐标数据的关系，

[0029]

[0030] 式中，MF(i，j)为高维空间特征FX中第i个点的高维特征数据与高维空间特征FY中第j个点的高维特征数据的匹配相似度，MC(i，j)为源点云数据X中第i个点的二维空间坐标
数据与目标点云数据Y中第j个点的二维空间坐标数据匹配相似度，βF、βC为退火参数，αF、αC
为抑制外点的对应，将任意点对(xi,yj)的距离 或 小于αF或αC作为
内点，Fxi为高维空间特征FX中第i个点的高维特征数据，Fyj为高维空间特征FY中第j个点的
高维特征数据，xi为源点云数据X中第i个点的二维坐标数据，yj为目标点云数据Y中第j个点
的二维坐标数据；

[0031] MF(i，j)和MC(i，j)的值越大，说明源点云X中第i个点与目标点云Y中第j个点匹配更佳。

[0032] 所述注意力机制模块用于处理由特征空间和坐标空间分别计算的两个匹配矩阵之间的冲突，如图3所示，通过提取MF(i，j)和MC(i，j)中行最大值，并将该两个行最大值列向
量进行特征堆叠，经过softmax函数后分别与MF(i，j)和MC(i，j)相乘，相乘后MF(i，j)和MC
(i，j)再相加获得最终匹配矩阵M(i，j)。

[0033] 所述奇异值分解模块是对源点云X和加权目标点云M(i，j)*Y进行奇异值分解，获得优化后的刚体转换[Rk,Tk]；经过数次迭代后的刚体转换[R,T]为求解的最优刚体转换[R,
T]。

[0034] 所述数据拼接模块用于根据求解的刚体转换将线激光传感器采集的叶片B点云数据转换至同一坐标下拼接出叶片B轮廓。

[0035] 下面通过实验验证，本实施例提供的系统的有效性。现有技术算法包括传统的拼接算法ICP、基于深度学习的拼接算法DCP；本实施例的卷积双胞胎点网络简称为CSPN。其
中，CMM是叶片高精度测量的工业标准方法，用于验证本实施例的CSPN有效性和精度。

[0036] 以一个叶片轮廓为例展示如何标记点云数据，第一，使用四轴测量系统以点间距0.01mm扫描叶片轮廓；第二，将不同视场下的测量数据手动拼接成一个完整的叶片B轮廓，
并且删除重叠数据；第三，将CMM测量数据与测量数据进行比较；第四，重复第一到三步，直
到手动拼接的数据相对CMM测量数据满足误差范围。由于叶片轮廓数据过于密集，为减少网
络训练的负担，因此以满足误差范围的整个轮廓数据为模板下采样点间距到0.1mm。第五，
随机选取64个连续点作为源点云；考虑到从源点云和目标点云中寻找部分到部分对应是困
难的，因此随机选取了70个连续点作为目标点云，该70个点包含了源点云中的所有点，对目
标点云进行绕任意轴旋转[0°,90°]，平移[‑5mm，5mm]的随机刚体变换；考虑下采样误差，从
N(0,0.05)、范围[‑0.01,0.01]单独采样噪声，将其添加到点云数据。

[0037] 划分标记数据为训练数据和测试数据。训练数据用于训练CSPN和DCP，ICP在测试数据上被测试。为了公平比较，采用均方误差(MSE)，均方根误差(RMSE)和平均绝对误差
(MAE)来测量预测刚体变换和真实刚体变换间的不同。实验结果如表1所示，CSPN实现了非
常精准的拼接，在几乎所有的误差度量里位列第一。同时，在一个Intel I7‑6700K CPU,
Nvidia GTX 1080GPU,32G内存的笔记本电脑上进行了不同方法的推理时间测试。测试集中
每个样本的平均推理时间；如表1所示，CSPN只比DCP慢，这是由于CSPN对每个样例迭代5次，
而DCP是非迭代的算法。

[0038] 表1：ICP、DCP和CSPN在标记数据上比较表

[0039]

[0040] CMM是叶片高精度测量的工业标准方法，CSPN的精度由与CMM测量结果之间的测量结果偏差评估，偏差结果如图4所示，其中，(1)～(3)为叶片1三个不同截面的偏差图；(4)～
(6)为叶片2三个不同截面的偏差图。为了很好的表示偏差结果，使用三个度量来评估它们，
即偏差范围、标准偏差、RMS。如表2所示，最大偏差范围‑0.078mm～0mm；最大标准偏差和RMS
分别为0.053mm和0.089mm。这些度量展示CSPN与CMM测量结果非常相近；因此，CSPN拥有非
常高的测量精度。

[0041] 表2：CSPN精度定量分析表

[0042]

[0043] 在实际应用中，考虑测量效率，对不同的叶片有不同的视场规划。但对不同类叶片的视场规划原则是相同的，即保证点云拼接有足够的重叠情况下，使用尽量少的视场完成
叶片测量。基于视场规划算法，叶片1扫描获取3个视场的叶片轮廓数据，叶片2扫描获取4个
视场轮廓数据，使用不同算法的拼接结果如图5和图6所示。图5和图6中a是叶片的一个截面
在不同视场下的测量数据，图5和图6中b是高精度CMM测量结果，图5和图6中c是ICP测量结
果，图5和图6中d是PointLK测量结果；图5和图6中e是本实施例CSPN测量结果，图5和6中c和
d圆圈圈出部分显示了不同算法(图5和图6中c为ICP算法和图5和图6中d为PointLK算法)的
拼接结果和CMM测量结果的定性差异。根据结果，只有CSPN提出的算法获得了满意的拼接结
果。

[0044] 以上所述仅是本发明优选的实施方式，但本发明的保护范围并不局限于此，任何基于本发明所提供的技术方案和发明构思进行的改造和替换都应涵盖在本发明的保护范
围内。