一种基于多相机组合成像的冰形在线测量方法及装置

摘要

本发明适用于冰形测量技术领域，尤其是涉及一种基于多相机组合成像的冰形在线测量方法及装置，线激光发生器扫描待测物面，在待测物面上形成一个激光光条，采用N台相机采集多张不同波段光谱响应的调制激光图案，得到结冰物面反射的不同波段激光下的图像，对多张图像进行处理和融合，得到该激光光条的有效三维轮廓；如此，线激光发生器扫描完待测物面，即可获得整个物面的结冰信息。本发明采用多相机结合具有不同中心波长的窄带滤光片拍摄结冰图像，经过图像处理和融合得到对比度高、测量精度高的冰形图像，从而解决了明冰和混合冰对可见光反射率极低，摄像机难以得到清晰的光条图案，导致测量精度偏低的技术问题。

权利要求

1.一种基于多相机组合成像的冰形在线测量方法，其特征在于，包括以下步骤：S10. 将N台相机面对待测物面布置，并且在各相机前设置不同中心波长的窄带滤光片；其中，N≥2；

S20. 线激光发生器从待测物面的初始位置i开始扫描，线激光发生器投射出光平面至待测物面，并与待测物面相交产生光条Gi；其中，i可以是待测物面的任意位置；

S30. N台相机同步拍摄光条Gi，形成针对光条Gi的N张不同波段反射光的图像；

S40. 对N张图像进行融合解算，得到光条Gi的有效三维轮廓，即为冰形曲线Li；

S50. 令i=i+b，线激光发生器扫描位置i+b，重复步骤S30‑S40，得到冰形曲线Li+b；其中，b为步长；

S60. 重复步骤S50，直至获得待测物面上完整的冰形曲线；

步骤S40中，包括以下步骤：

S41. 对各相机得到的图像分别进行掩膜处理，将过曝和较暗的图像位置以及图像中的噪声、毛刺位置的掩膜值设为零，得到各相机的有效激光图像；

S42. 提取各相机得到的图像的有效激光图像中的激光光条中心线，解算得到各相机坐标系下的中心线三维坐标，得到冰形截面三维轮廓；

S43. 利用标定的外参进行各相机的坐标转换，将各个相机解算得到的冰形截面三维轮廓统一到同一全局坐标系中，实现多视角三维点云的拼接融合，得到完整的冰形截面三维轮廓。

2.根据权利要求1所述的一种基于多相机组合成像的冰形在线测量方法，其特征在于，在步骤S10之前，在待测物面上设置多个标记点；

步骤S40中还包括如下步骤：

S45.分别获取N张图像中标记点的坐标，根据这些坐标对N张图像进行精确配准；

S46. 对N张配准图像进行融合处理，形成融合后的光条Gi的图像；

S47. 提取融合后的光条Gi的中心线，解算获得中心线的三维坐标，作为位置i处的冰形曲线Li。

3.根据权利要求2所述的一种基于多相机组合成像的冰形在线测量方法，其特征在于，步骤S46包括：S461.选取像素点（x，y）在第1到N张图像中的最大不饱和像素值作为该像素点（x，y）融*合后的像素值Kin（x,y）；其中，n为第n张图像，1≤n≤N，N≥2；

S462. 遍历每一个像素点，执行步骤S461；

S463. 将所有像素点以融合后的像素值进行像素点的组合，形成融合后的光条Gi的图像。

4.根据权利要求3所述的一种基于多相机组合成像的冰形在线测量方法，其特征在于，步骤S461中，选取像素点（x，y）在第1到N张图像中的最大不饱和像素值作为该像素点（x，y）*融合后的像素值Kin（x,y）的具体步骤为：

S4611. 提取像素点（x，y）在第1到N张图中的像素值Ki（n x,y），n为第n张图像；

S4612. 与设定阈值thresh比较，当Ki（n x,y）≥thresh时，令Ki（n x,y）=0；

*

S4613. 比较各Ki（n x,y）的大小，选择其中最大的值作为像素点融合后的像素值Kin（x,y）：*

Kin（x,y）=Max（Ki（n x,y），1≤n≤N）。

5.一种用于如权利要求1‑4任一所述的一种基于多相机组合成像的冰形在线测量方法的测量装置，其特征在于，包括图像采集系统和数据处理系统；

所述图像采集系统包括N台相机，N个窄带滤光片，旋转台和线激光发生器；其中，N≥2；

所述N个窄带滤光片的中心波长不同，并且N个窄带滤光片设置在N台相机的前端；

所述线激光发生器设置于旋转台上；使用时，所述N台相机和所述线激光发生器均面对待测物面设置；

所述数据处理系统接收N台相机拍摄的图像，并根据步骤S30‑S40进行数据处理获得待测物面上完整的冰形曲线。

6.如权利要求5所述的测量装置，其特征在于，还包括控制系统，所述控制系统控制旋转台转动，并且在旋转台转动到位后，控制N台相机拍摄图像。

7.如权利要求6所述的测量装置，其特征在于，还包括显示系统，用于显示经过所述数据处理系统处理后得到的冰形曲线。

说明书

一种基于多相机组合成像的冰形在线测量方法及装置

技术领域

[0001] 本发明涉及冰形测量技术领域，尤其是涉及一种基于多相机组合成像的冰形在线测量方法及装置。

背景技术

[0002] 研究发现，飞行过程中的结冰现象是造成飞机飞行安全的主要诱因之一。飞机不同部位的结冰会造成不同程度的影响，如机翼、机尾的结冰会导致扰流流场的改变，从而严重影响飞机的气动性能、操纵性和稳定性；发动机进气道的结冰可能导致发动机停车，危害飞行安全。因此探索结冰机理、进行结冰气象条件下飞行器空气动力性能评估、安全评估，进行防除冰等研究工作具有重要意义。为探索结冰机理、进行结冰气象条件下飞行器空气动力性能评估等研究，研究人员需要对飞行部件在不同气象环境下的结冰外形进行测量研究。获取结冰外形的途径主要有3种：软件仿真计算；飞行试验；地面模拟试验。地面模拟试验由于成本低、能够获得定量结果，是主要的获取结冰外形手段。地面模拟试验通常在结冰风洞中进行。精细化的冰块三维形状信息对提升结冰条件下飞机气动力CFD计算精度具有重要价值。因此，迫切需要可用于结冰生长过程冰形在线三维测量的方法。

[0003] 国内外学者尝试了采用基于面结构光的三维扫描仪非接触测量方法进行冰横截面轮廓和三维形状半在线测量，但是，由于冰块表面反射系数低、透射系数高，需向冰块表面喷洒深色涂料，才能得到高对比度编码图案图像，极大地限制了该测量方法应用范围，也无法用于在线测量。

[0004] 与投影仪投射的编码条纹相比，激光器投射的线激光具有亮度集中、图像对比度高等优点，已被广泛应用于工业三维测量领域，无需向冰块喷洒深色涂料也可得到较好的观测图像。一系列研究工作以及后期学者们进行的一系列探索性实验，证实了激光三角测量法在结冰模型表面轮廓测量的可行性以及相对传统冰形测量方法的优势。

[0005] 然而，明冰的反射率在整个有记录的光谱范围内都极低，在可见光范围内，仅有不到2%的入射光在物面被反射。由于明冰的透明度高且表面光滑，线激光投射在冰体表面，多数光线投射冰体，只有小部分光线通过冰体表面进行反射，造成采集图像激光带区域严重扩散，表现在图像上则是一个亮斑区域，摄像机难以得到清晰的光条图案，导致测量精度偏低，无法准确获得冰形结构。

发明内容

[0006] 本发明的目的是提供一种能够准确获取冰形结构的在线冰形测量方法和装置，采用多个相机结合具有不同中心波长的窄带滤光片拍摄结冰图像，对多张图像进行处理和融合，拼接成有效的冰形曲线图。

[0007] 一种基于多相机组合成像的冰形在线测量方法，包括以下步骤：

[0008] S10. 将N台相机面对待测物面布置，并且在各相机前设置不同中心波长的窄带滤光片；其中，N≥2；

[0009] S20. 线激光发生器从待测物面的初始位置i开始扫描，线激光发生器投射出光平面至待测物面，并与待测物面相交产生光条Gi；其中，i可以是待测物面的任意位置；

[0010] S30. N台相机同步拍摄光条Gi，形成针对光条Gi的N张不同波段反射光的图像；

[0011] S40. 对N张图像进行融合解算，得到光条Gi的有效三维轮廓，即为冰形曲线Li；

[0012] S50. 令i=i+b，线激光发生器扫描位置i+b，重复步骤S30‑S40，得到冰形曲线Li+b；其中，b为步长；

[0013] S60. 重复步骤S50，直至获得待测物面上完整的冰形曲线。

[0014] 一方面，步骤S40中，包括以下步骤：

[0015] S41. 对各相机得到的图像分别进行掩膜处理，将过曝和较暗的图像位置以及图像中的噪声、毛刺位置的掩膜值设为零，得到各相机的有效激光图像；

[0016] S42. 提取各相机得到的图像的有效激光图像中的激光光条中心线，解算得到各相机坐标系下的中心线三维坐标，得到冰形截面三维轮廓；

[0017] S43. 利用标定的外参进行各相机的坐标转换，将各个相机解算得到的冰形截面三维轮廓统一到同一全局坐标系中，实现多视角三维点云的拼接融合，得到完整的冰形截面三维轮廓。

[0018] 另一方面，在步骤S10之前，在待测物面上设置多个标记点；

[0019] 步骤S40中还包括如下步骤：

[0020] S45.分别获取N张图像中标记点的坐标，根据这些坐标对N张图像进行精确配准；

[0021] S46. 对N张配准图像进行融合处理，形成融合后的光条Gi的图像；

[0022] S47. 提取融合后的光条Gi的中心线，解算获得中心线的三维坐标，作为位置i处的冰形曲线Li。

[0023] 进一步地，步骤S46包括：

[0024] S461.选取像素点（x，y）在第1到N张图像中的最大不饱和像素值作为该像素点（x，*y）融合后的像素值Kin（x,y）；其中，n为第n张图像，1≤n≤N，N≥2；

[0025] S462. 遍历每一个像素点，执行步骤S461；

[0026] S463. 将所有像素点以融合后的像素值进行像素点的组合，形成融合后的光条Gi的图像。

[0027] 进一步地，步骤S461中，选取像素点（x，y）在第1到N张图像中的最大不饱和像素值*作为该像素点（x，y）融合后的像素值Kin（x,y）的具体步骤为：

[0028] S4611. 提取像素点（x，y）在第1到N张图中的像素值Ki（n x,y），n为第n张图像；

[0029] S4612. 与设定阈值thresh比较，当Ki（n x,y）≥thresh时，令Ki（n x,y）=0；

[0030] S4613. 比较各Ki（n x,y）的大小，选择其中最大的值作为像素点融合后的像素值*Kin（x,y）：

[0031] Kin*（x,y）=Max（Ki（n x,y），1≤n≤N）。

[0032] 进一步地，步骤S50中，将线激光发生器设置在旋转台上，令b=θ，θ为旋转台旋转的角度值。

[0033] 本发明还提供一种用于如前所述的一种基于多相机组合成像的冰形在线测量方法的测量装置，其特征在于，包括图像采集系统和数据处理系统；

[0034] 所述图像采集系统包括N台相机，N个窄带滤光片，旋转台和线激光发生器；其中，N≥2；

[0035] 所述N个窄带滤光片的中心波长不同，并且N个窄带滤光片设置在N台相机的前端；

[0036] 所述线激光发生器设置于旋转台上；使用时，所述N台相机和所述线激光发生器均面对待测物面设置；

[0037] 所述数据处理系统接收N台相机拍摄的图像，并根据步骤S30‑S40进行数据处理获得待测物面上完整的冰形曲线。

[0038] 进一步地，还包括控制系统，所述控制系统控制旋转台转动，并且在旋转台转动到位后，控制多光谱相机拍摄图像。

[0039] 进一步地，还包括显示系统，用于显示经过所述数据处理系统处理后得到的冰形曲线。

[0040] 采用本发明的基于多相机组合成像的冰形在线测量方法及装置，相对于现有技术，至少具有以下有益效果：

[0041] 1.本发明采用线激光发生器向结冰表面发射激光光条，并采用多个相机结合多个具有不同中心波长的窄带滤光片拍摄多张图像，通过对图像进行融合解算，拼接形成完整的冰形曲线，解决了明冰和混合冰对可见光反射率极低，摄像机难以得到清晰的光条图案，导致测量精度偏低的技术问题；

[0042] 2.本发明在对多张图像进行融合时，选择了多张图中的最大不饱和像素值作为该像素点融合后的像素值，使得融合后的图像更清晰；

[0043] 3.本发明采用多个相机结合滤光片的设置，相对于直接采用多光谱相机，成像分辨率更高，测量精度更高，结果更清晰准确；

[0044] 4.采用本发明的测量方法和装置，可以实现结冰的在线原位测量，可用于对冰形生成过程的研究。

附图说明

[0045] 为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0046] 图1是本发明实施例1的一种基于多相机组合成像的冰形在线测量方法的流程图；

[0047] 图2是本发明实施例1中步骤S40的具体实施方法；

[0048] 图3是本发明实施例2的标记点标记示意图；

[0049] 图4为本发明实施例2中对N张配准图像进行融合处理的流程图；

[0050] 图5为本发明实施例3的测量装置的示意图。

[0051] 图中，11‑待测物面，12‑线激光发生器，13‑旋转台，14‑相机，15‑窄带滤光片，16‑非结冰区域，17‑结冰区域。

具体实施方式

[0052] 以下的说明提供了许多不同的实施例、或是例子，用来实施本发明的不同特征。以下特定例子所描述的元件和排列方式，仅用来精简的表达本发明，其仅作为例子，而并非用以限制本发明。

[0053] 实施例1

[0054] 一种基于多相机组合成像的冰形在线测量方法，如图1所示，包括以下步骤：

[0055] S10. 将N台相机面对待测物面布置，并且在各相机前设置不同中心波长的窄带滤光片；其中，N≥2；

[0056] S20. 线激光发生器从待测物面的初始位置i开始扫描，线激光发生器投射出光平面至待测物面，并与待测物面相交产生光条Gi；其中，i可以是待测物面的任意位置；

[0057] S30. N台相机同步拍摄光条Gi，形成针对光条Gi的N张不同波段反射光的图像；

[0058] S40. 对N张图像进行处理和融合，得到光条Gi的有效三维轮廓，即为冰形曲线Li；

[0059] S50. 令i=i+b，线激光发生器扫描位置i+b，重复步骤S30‑S40，得到冰形曲线Li+b；其中，b为步长；

[0060] S60. 重复步骤S50，直至获得待测物面上完整的冰形曲线。也就是说，当线激光发生器扫描完整个待测物面，物面上的所有位置均已完成图像拍摄，并完成图像处理，得到的所有的冰形曲线组合起来即为当前待测物面的完整的三维冰形曲线。

[0061] 其中，步骤S40包括以下步骤，如图2所示：

[0062] S41. 对各相机得到的图像分别进行掩膜处理，将过曝和较暗的图像位置以及图像中的噪声、毛刺位置的掩膜值设为零，得到各相机的有效激光图像；

[0063] 设定最大最小阈值，过曝位置上的像素值大于最大阈值，将该位置的掩膜值设为零，较暗位置上的像素值小于最小阈值，将该位置的掩膜值设为零，其余位置的掩膜值设为1；

[0064] 对于图像中的噪声、毛刺等，设定距离阈值、面积阈值，或使用图像处理方法，如腐蚀膨胀等，将其找到，并将这些位置的掩膜值设为0；

[0065] S42. 提取各相机得到的图像的有效激光图像中的激光光条中心线，解算得到各相机坐标系下的中心线三维坐标，得到冰形截面三维轮廓；

[0066] 提取激光光条中心线的方法已经是比较成熟的技术，例如可采用专利CN113256706A中的Steger算法进行激光强度中心线的提取，在此不再赘述；

[0067] S43. 利用标定的外参进行各相机的坐标转换，将各个相机解算得到的冰形截面三维轮廓统一到同一全局坐标系中，实现多视角三维点云的拼接融合，得到完整的冰形截面三维轮廓。

[0068] 本实施例中，对于多个相机拍摄的图像，先对多张图像分别处理，得到每张图片中的激光光条中心线，解算各相机坐标系下的中心线三维坐标，再利用标定的外参进行坐标变换，变换到同一个全局坐标系下，将多张图像进行拼接融合，从而得到完整的冰形截面三维轮廓。

[0069] 实施例2

[0070] 本实施例也涉及一种基于多相机组合成像的冰形在线测量方法，与实施例1不同的是，本实施例是在待测物面上标记多个标记点，通过标记点来精确配准多相机拍摄的多张图片，将配准后的图片先融合后再提取融合后的光条作为中心线，通过解算获得中心线的三维坐标，从而得到冰形截面的三维轮廓图。

[0071] 在步骤S10之前，在待测物面上的非结冰区域16设置多个标记点18，如图3所示。为了能够在结冰过程中拍摄的所有的图像中都有这些标记点，所以需要在非结冰区域设置标记点，并且为多个，至少为三个才能正确对多张图像进行精确配准。

[0072] 本实施例中，待测物面为机翼，那么首先需要将机翼划分为结冰区域17和非结冰区域16，对于机翼而言，机翼的前缘为结冰区域，后缘为非结冰区域，因而在机翼的后缘上设置多个标记点，作为由多相机拍摄的多张图像进行配准的参考点；

[0073] 步骤S40包括以下步骤，如图4所示：

[0074] S45.分别获取N张图像中标记点的坐标，根据这些坐标对N张图像进行精确配准，具体的配准方法参见专利202010087043.3。

[0075] S46. 对N张配准图像进行融合处理，形成融合后的光条Gi的图像；

[0076] S461.选取像素点（x，y）在第1到N张图像中的最大不饱和像素值作为该像素点（x，*y）融合后的像素值Kin（x,y）；其中，n为第n张图像，1≤n≤N；

[0077] S462. 遍历每一个像素点，执行步骤S461；

[0078] S463. 将所有像素点以融合后的像素值进行像素点的组合，形成融合后的光条Gi的图像；

[0079] S47. 提取融合后的光条Gi的中心线，解算获得中心线的三维坐标，作为位置i处的冰形曲线Li。

[0080] 进一步地，步骤S461中，选取像素点（x，y）在第1到N张图像中的最大不饱和像素值*作为该像素点（x，y）融合后的像素值Kin（x,y）的具体步骤为：

[0081] S4611. 提取像素点（x，y）在第1到N张图中的像素值Ki（n x,y），n为第n张图像；

[0082] S4612. 与设定阈值thresh比较，当Ki（n x,y）≥thresh时，令Ki（n x,y）=0；

[0083] S4613. 比较各Ki（n x,y）的大小，选择其中最大的值作为像素点融合后的像素值*Kin（x,y）：

[0084] Kin*（x,y）=Max（Ki（n x,y），1≤n≤N）。

[0085] 本发明将特定波长的线激光投射到结冰物面上，增设滤光片的多个相机捕获得到结冰物面反射的不同波段激光下的图像，经过对多张图像进行处理和融合，得到待测物面的结冰冰形曲线。本发明利用多光谱图像的融合，能够测量得到更清晰的结冰冰形图像。

[0086] 本领域技术人员可以理解，本发明的实施例1和实施例2虽然只记载了采集一个面的冰形图像，但实际上，本发明的冰形测量方法可以用于原位记录冰形的生长过程，即不断重复S20‑S50即可，测量出冰形生长过程中不同时刻的冰形，就能得出冰形生长过程。

[0087] 实施例3

[0088] 本实施例提供一种用于如实施例1和实施例2的基于多相机组合成像的冰形在线测量方法的测量装置，如图5所示，包括图像采集系统和数据处理系统；

[0089] 所述图像采集系统包括N台相机14，N个窄带滤光片15，旋转台13和线激光发生器12；其中，N≥2；所述N个窄带滤光片的中心波长不同，并且N个窄带滤光片设置在N台相机的前端；所述线激光发生器12设置于旋转台13上；使用时，所述N台相机和所述线激光发生器均面对待测物面11设置；所述数据处理系统接收N台相机拍摄的图像，并根据步骤S30‑S40进行数据处理获得待测物面上完整的冰形曲线。

[0090] 本实施例中，N台相机14并排设置在待测物面的前端，但是本发明的方法并不是需要N台相机必须要按照特定的排列方式进行排列，只要各相机与线激光发生器互不干涉即可，至于相机拍摄位置对拍摄图片位置的影响，可通过后续对图像进行处理的过程来进行修正。

[0091] 进一步地，本发明的测量装置还包括控制系统，所述控制系统控制旋转台转动，并且在旋转台转动到位后，控制多个相机拍摄图像。本领域技术人员可以理解，实际控制过程中，可以控制旋转台按照一定的速度匀速转动，当转动设定步长时，控制第一个相机同时拍摄图像，只要保证多台相机在同一时刻拍摄即可，当然，为了保证拍摄效果，控制旋转台每转动设定步长就停止转动，此时控制多台相机同时拍摄图像是更优的选择，具体如何控制本发明不做进一步限定。

[0092] 本发明的测量装置还包括显示系统，用于显示经过所述数据处理系统处理后得到的冰形曲线。

[0093] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。