基于自监督深度学习的几何约束相位展开方法

摘要

本发明涉及一种基于自监督深度学习的几何约束相位展开方法，属于图像处理技术领域。包括如下步骤：S1：通过三维测量系统采集原始的待测物体的条纹图片并计算得到包裹相位图以及背景光强图像，并通过标定得到系统中投影仪与相机的标定参数；S2：将S1中的包裹相位图和背景光强图通过卷积神经网络转换成展开相位所需的条纹级次的图像；S3：将S2中的条纹级次图像经过相位深度映射与相应的系统标定参数计算得到精确的三维信息。本发明可以解决基于监督学习进行相位展开存在的泛化能力低、强数据依赖的问题。

权利要求

1.一种基于自监督深度学习的几何约束相位展开方法，其特征在于，包括如下步骤：S1：通过三维测量系统采集原始的待测物体的条纹图片并计算得到包裹相位图以及背景光强图像，并通过标定得到系统中投影仪与相机的标定参数；

S2：将S1中的包裹相位图和背景光强图通过卷积神经网络转换成展开相位所需的条纹级次的图像；

S2具体包括如下步骤：

S2.1：对输入的包裹相位图像进行相位展开，构造卷积神经网络模型；S2.1中所述的卷积神经网络模型包括Batch‑norm层、ReLu层、drop‑out层和多个卷积层，所述卷积层的尺寸包括3x3,3x1,1x3；

S2.2：通过在卷积神经网络模型中添加一维非瓶颈残差模块对输入的包裹相位图像进行增强；

S2.3：对输入的包裹相位图像进行预测并回归，输出条纹级次图像；

S2中构建卷积神经网络的迭代优化过程中所需的损失函数分别基于三维一致性、结构一致性以及相位一致性得到；

设通过相机成像模型变换得到的坐标 在相机 上所对应的坐标为 ；设在相同的世界坐标系下，采用基于相位匹配的三维测量方法获取得到的坐标 在相机 上所对应的坐标为 ，

计算三维一致性的函数如下：

式中：  表示像素数目，下标 表示第 个像素；

计算结构一致性的损失函数如下：式中，为原始输入背景光强图像， 为基于解算的三维坐标重构的图像；

计算相位一致性的损失函数如下：式中，为原始输入包裹相位图像，为基于解算的三维坐标重构的包裹相位图像，表示像素数目，下标 表示第 个像素；

S3：将S2中的条纹级次图像经过相位深度映射与相应的系统标定参数计算得到精确的三维信息。

2.根据权利要求1所述的基于自监督深度学习的几何约束相位展开方法，其特征在于，S2中所述的卷积神经网络包括Encoder模块和Decoder模块，所述Encoder模块对输入图像信息进行特征提取，所述Decoder模块对提取的特征进行处理，恢复出条纹级次信息。

3.根据权利要求1所述的基于自监督深度学习的几何约束相位展开方法，其特征在于，S3中相位深度映射的运算过程如下：式中，其中， 为展开相位图像， 为包裹相位图像， 为条纹级次图像，f为条纹的频率。

4.根据权利要求1所述的基于自监督深度学习的几何约束相位展开方法，其特征在于，S3中所述的标定参数运算过程如下：， 为相机像素坐标， 为对应点在投影仪上的坐标；m为相机与投影仪的标定参数，Xw、Yw和Zw为物体在世界坐标系下的坐标。

说明书

基于自监督深度学习的几何约束相位展开方法

技术领域

[0001] 本发明涉及一种基于自监督深度学习的几何约束相位展开方法，属于图像分析技术领域。

背景技术

[0002] 在条纹投影轮廓术中，相机拍摄的条纹图像通过相位恢复，可获得相位值呈周期性变化的包裹相位。为了实现投影仪坐标与相机坐标无歧义的一一对应，相机需要拍摄额
外的条纹图像，以实现相位展开，即将包裹相位展开为连续的绝对相位。目前，在相位展开
这一步骤，研究人员关注的重点在于如何在保证相位展开正确性的前提下，无需拍摄额外
条纹图像便可计算出正确的条纹级次。

[0003] 针对上述问题，为了实现高精度且具有较高鲁棒性的相位展开，典型的一类解决方案为增加额外的硬件设备，即在传统的单相机和单投影仪的三维测量系统中，额外增加
一台相机，此类方法可称之为几何约束相位展开法。

[0004] 最近，深度学习被引入条纹投影轮廓术中，而在相位展开这一步骤中，因采用基于深度学习的方法，诸多技术瓶颈已被突破。然而，目前在条纹投影轮廓术中，所有基于深度
学习的方法均为监督学习，此类方法一般包含训练和测试两个步骤。在训练过程中，需要提
前拍摄大量有标记的数据，这是极为耗时的，且在一些特殊场景如动物心脏、运动的机器翅
膀等，获取大量的有标记数据是不现实的。不仅如此，这些大量的有标记数据需保证独立且
均匀分布，否则的话，训练后所获得的模型在测试过程中会出现严重的网络泛化问题。换句
话说，当训练集数据量有限以及测试集中的数据分布与训练集差异较大时，采用训练后的
模型无法获得理想的结果，而这对于基于监督学习的条纹投影轮廓术的实际应用带来了巨
大的限制，也因此频频受到普适性低、数据依赖性强的质疑。

发明内容

[0005] 本发明的目的在于，克服现有技术中存在的问题，提供一种基于自监督深度学习的几何约束相位展开方法，可以解决基于监督学习进行相位展开存在的泛化能力低、强数
据依赖的问题。

[0006] 为了解决上述问题，本发明的基于自监督深度学习的几何约束相位展开方法包括如下步骤：

[0007] S1：通过三维测量系统采集原始的待测物体的条纹图片并计算得到包裹相位图以及背景光强图像，并通过标定得到系统中投影仪与相机的标定参数；

[0008] S2：将S1中的包裹相位图和背景光强图通过卷积神经网络转换成展开相位所需的条纹级次的图像；

[0009] S3：将S2中的条纹级次图像经过相位深度映射与相应的系统标定参数计算得到精确的三维信息。

[0010] 进一步的，S2中所述的卷积神经网络包括Encoder模块和Decoder模块，所述Encoder模块对输入图像信息进行特征提取，所述Decoder模块对提取的特征进行处理，恢
复出条纹级次信息。

[0011] 进一步的，S2具体包括如下步骤：

[0012] S2.1：对输入的包裹相位图像进行相位展开，构造卷积神经网络模型；

[0013] S2.2：通过在卷积神经网络模型中添加一维非瓶颈残差模块对输入的包裹相位图像进行增强；

[0014] S2.3：对输入的包裹相位图像进行预测并回归，输出条纹级次图像。

[0015] 进一步的，S3中相位映射的运算过程如下：

[0016]

[0017] 式中，其中， 为展开相位图像， 为包裹相位图像， 为条纹级次图像，f为条纹的频率。

[0018] 进一步的，S3中所述的标定参数运算过程如下：

[0019]

[0020] ，为相机像素坐标， 为对应点在投影仪上的坐标，m为相机与投影仪的标定参数，Xw、Yw和Zw为物体在世界坐标系下的坐标。

[0021] 进一步的，S2中构建卷积神经网络的迭代优化过程中所需的损失函数分别基于三维一致性、结构一致性以及相位一致性得到。

[0022] 进一步的，设通过相机成像模型变换得到的坐标 在相机 上所对应的坐标为；设在相同的世界坐标系下，采用基于相位匹配的三维测量方法获取得到的坐标 在
相机 上所对应的坐标为 ，

[0023] 计算三维一致性的函数如下：

[0024]

[0025] 式中：  表示像素数目，下标 表示第 个像素。

[0026] 进一步的，计算结构一致性的损失函数如下：

[0027]

[0028] 式中， 为原始输入背景光强图像， 为基于解算的三维坐标重构的图像。

[0029] 进一步的，计算相位一致性的损失函数如下：

[0030]

[0031] 式中， 为原始输入包裹相位图像， 为基于解算的三维坐标重构的包裹相位图像， 表示像素数目，下标 表示第 个像素。

[0032] 进一步的，S2.1中所述的卷积神经网络模型包括多个卷积层、Batch‑norm层、ReLu层和drop‑out层，所述卷积层的尺寸包括3x3,3x1,1x3。

[0033] 本发明的有益效果是：1）能够仅需要输入包裹相位图像以及背景光强图像即可获得正确的展开相位图像，无需投影其他结构光图案，可高速高精度地进行相位展开。

[0034] 2）可以解决监督学习存在的泛化能力弱，强数据依赖性等问题。

附图说明

[0035] 图1为本发明基于自监督深度学习的几何约束相位展开方法的流程图；

[0036] 图2为本发明中卷积神经网络GCPUNet的基本结构图；

[0037] 图3为本发明三维测试系统的结构示意图。

具体实施方式

[0038] 现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

[0039] 如图1所示，本发明的基于自监督深度学习的几何约束相位展开方法包括如下步骤：

[0040] S1：通过三维测量系统采集原始的待测物体的条纹图片并计算得到包裹相位图以及背景光强图像，并通过标定得到系统中投影仪与相机的标定参数。

[0041] 包裹相位以及背景光强图像如图1中 、 、 所示，并通过标定得到系统中投影仪与相机的标定参数。

[0042] S2：将S1中的包裹相位图和背景光强图通过卷积神经网络转换成展开相位所需的条纹级次的图像；S2中构建卷积神经网络的迭代优化过程中所需的损失函数分别基于三维
一致性、结构一致性以及相位一致性得到。S2中的卷积神经网络包括Encoder模块和
Decoder模块，Encoder模块对输入图像信息进行特征提取，Decoder模块对提取的特征进行
处理，恢复出条纹级次信息。

[0043] 三维一致性定义为一个相机和一个投影仪重建得到的三维数据，应与两个相机重建得到的三维数据一致。基于结构一致性的损失函数要求原始输入图像与基于解算的三维
坐标重构的图像具有结构相似性。基于相位一致性的损失函数要求原始输入包裹相位与基
于解算的三维坐标重构的包裹相位值一致。

[0044] 如图3所示，利用 和输出的条纹级次 即可计算出坐标 所对应的投影仪坐标 ，从而获得坐标 处的三维数据。在每次的迭代优化过程中，该三维数据被不断更新，
同时通过相机成像模型变换即可得到 在相机 上所对应的坐标 。在相同的世界坐标
系下，采用基于相位匹配的三维测量方法，即在两个相机对应的极线上搜寻绝对相位一致
的坐标,同样可以获取 在相机 上所对应的坐标，该坐标设为 ，其同样在每次的迭代
优化过程中被更新。此时同样可以获得一组三维数据，当上述两组三维数据一致时，坐标
和 应保持一致。基于三维一致性的损失函数为：

[0045]

[0046] 其中 表示像素数目，下标 表示第 个像素。

[0047] 计算结构一致性的损失函数如下：

[0048]

[0049] 式中， 为原始输入背景光强图像， 为基于解算的三维坐标重构的图像。

[0050] 结构相似性SSIM（Structural Similarity Index）可以分别从亮度、对比度、结构三方面度量两幅图像的相似性，如下式所示：

[0051]

[0052] 其中， 、 分别表示图像X和Y的均值， 、 分别表示图像X和Y的方差， 表示图像X和Y的协方差。

[0053] 计算相位一致性的损失函数如下：

[0054]

[0055] 式中，为原始输入包裹相位图像， 为基于解算的三维坐标重构的包裹相位图像。

[0056] S2.1：对输入的包裹相位图像进行相位展开，构造卷积神经网络模型；S2.1中的卷积神经网络模型包括多个卷积层、Batch‑norm层、ReLu层和drop‑out层，卷积层的尺寸包括
3x3,3x1,1x3。

[0057] S2.2：如图2所示，通过在卷积神经网络模型中添加一维非瓶颈残差模块对输入的图像进行增强；非瓶颈残差模块中的残差连接建立在输入和输出之间，能够有效提高网络
的学习能力，解决了深层网络的退化问题。

[0058] S2.3：预测并回归输出条纹级次图像。

[0059] S3：将S2中的条纹级次图像经过相位深度映射与相应的系统标定参数得到精确的三维信息。

[0060] 物体的三维信息如图1中的3D所示。

[0061] 如图3所示，S3中相位映射的运算过程如下：

[0062]

[0063] 式中，其中， 为展开相位图像， 为包裹相位图像， 为条纹级次图像，f为条纹的频率。

[0064] S3中的标定参数运算过程如下：

[0065]

[0066] ， 为相机像素坐标， 为对应点在投影仪上的坐标；m为相机与投影仪的标定参数，Xw、Yw和Zw为物体在世界坐标系下的坐标。

[0067] 本发明针对条纹投影轮廓术即FPP技术，引入了深度学习设计了相位展开的卷积神经网络即GCPUNet，用来将包裹相位图像以及背景光强图像转换为用于计算展开相位的
条纹级次图像，结合标定参数即可得到准确的三维信息。

[0068] 本发明解决了FPP技术在特殊测量场景中，如动物心脏、运动的机器翅膀难以高速、高效率的获得待测物体的高精度展开相位的问题，有效提高了三维测量的精度与速度。
同时使用自监督学习方案解决了基于监督学习的深度学习模型无法具有较强的泛化性能
的问题，有效提高了神经网络的泛化效果。

[0069] 以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术
性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。