本发明公开了一种基于长短期记忆深度网络的波前相位差探测方法，包括：输入某实际光学系统的特征参数并生成训练数据集；根据傅里叶光学原理将训练数据集生成一对焦面PSF图像i1(x,y)和离焦PSF图像i2(x,y)；提取上述一对焦面PSF图像i1(x,y)和离焦PSF图像i2(x,y)的特征向量作为输入数据；提取从实际光学系统收集的PSF图像序列的特征向量；将PSF图像序列按照时序t输入至完成训练的卷积神经网络模型中确定波面畸变相位从而得到一系列的用于训练的畸变相位参数；生成用于LSTM深度网络训练的输入数据和输出数据，初始化网络参数并反复对LSTM深度网络进行训练直至其损失函数收敛。
1.一种基于长短期记忆深度网络的波前相位差探测方法，其特征在于包括：输入某实际光学系统的波长、光圈大小、焦距、探测器像素大小、离焦长度、瞳孔形状参数信息，输入或随机生成该光学系统的畸变相位参数信息，将该系统参数信息与畸变相位参数信息融合得到一组原始数据；
根据傅里叶光学原理从一组原始数据计算得到一对焦面PSF图像i1(x,y)和离焦PSF图像i2(x,y)，重复直至生成训练数据集；
提取上述一对焦面PSF图像i1(x,y)和离焦PSF图像i2(x,y)的特征向量作为输入数据，相对应的畸变相位参数信息作为输出数据，反复对卷积神经网络模型进行训练直至其损失函数收敛；
设图像平面i的强度分布为i＝o*s，为了建立波前相位像差s与焦平面图像之间i的精确非线性映射，将此公式转成频域为：I＝O·S，其中I，O和S分别是i，o和s的傅立叶变换F，按如下公式计算焦内和离焦成对图像的特征图像f0；
P2(ψ)＝pexp{j(ψ+Δψ)}其中下标1和2分别表示相关变量对应于焦内和离焦两个不同焦平面上的图像，p代表‑1
的是光瞳分布向量，F(F )代表的是傅里叶(逆)变换，Ψ为某一时刻的畸变相位向量，ΔΨ表示引入的已知大小的离焦相差向量；
提取从实际光学系统收集的PSF图像序列的特征向量；
将提取的特征图像分解为图像patch序列，此序列作为输入矩阵一列，相应地将卷积神经网络模型预测得到的畸变相位参数作为输出矩阵一列，生成用于LSTM神经网络训练的输入数据和输出数据；
将PSF图像序列按照时序t输入至完成训练的卷积神经网络模型中确定波面畸变相位从而得到一系列的用于训练LSTM的畸变相位参数；初始化网络参数并反复对LSTM深度网络进行训练直至其损失函数收敛；
将从实际光学系统收集的PSF图像序列输入至LSTM训练模型中进行特征向量的提取；
将实际的光学系统参数和获得的特征向量输入至LSTM训练模型获取畸变相位参数的预测结果；
根据实际光学系统的焦面图像it1(x,y)、离焦图像it2(x,y)以及预测的畸变相位参数φt按照如下公式重建目标物o(x,y)：itk(x,y)＝o(x,y)*htk(x,y)其中PSF函数为：
其中，p代表的是光瞳分布，F 代表的是傅里叶逆变换，φt为某一时刻的畸变相位，θk表示引入的已知大小的离焦相差。
2.根据权利要求1所述的方法，其特征在于：对卷积神经网络模型进行训练时：S31：对离焦PSF图像i2(x,y)进行平滑去噪、强度正则化和子像素转换预处理获得新离焦PSF图像i′2(x,y)；
S32：离焦PSF图像的离散正交切比雪夫矩{tn(x)}满足按如下递推公式分别计算配对图像i1(x,y)的离散正交切比雪夫矩 和新离焦PSF图像i′2(x,y)的 将其作为特征向量；
S33：将一对焦面PSF图像i1(x,y)和离焦PSF图像i2(x,y)的特征向量作为卷积神经网络模型的输入数据，相对应的畸变相位参数信息作为输出数据对卷积神经网络模型进行训练；
S34：初始化卷积神经网络的网络层数n、输入输出样本个数m以及各层的权重w、偏置b；
S35：针对当前输入输出样本进行卷积神经网络的正向传播：将输入的特征向量经过卷积层处理再到池化层进行降维，再到全连接层进行整合，最后得到畸变相位参数序列预测值
S36：进行卷积神经网络的反向传播：将表征真实值与预测值之间的误差的函数称为损l l‑1
失函数loss，通过如下定义的loss计算最后一层l的误差δ，从l层倒推l‑1层的权重w 和l‑1
偏置b ，以此类推直到第二层的权重和偏置得到更新；
S37：选择下一个输入输出样本，转到S35重复执行不断缩小损失值，直到样本用完、则完成卷积神经网络的训练过程。
3.根据权利要求1所述的方法，其特征在于：当生成用于LSTM神经网络训练的输入数据和输出数据后；
再初始化LSTM网络层数n、输入输出样本个数m以及各层的权重w、偏置b；
针对当前输入输出样本进行LSTM的正向传播：LSTM中有三个门限分别为遗忘门限ft＝σ(wf·[ht‑1,xt]+bf)、输入门限it＝σ(wi·[ht‑1,xt]+bi)和输出门限ot＝σ(wo·[ht‑1,xt]+bo)，此外还有候选态at＝tanh(wa[ht‑1,xt]+ba)，内部状态Ct＝ft·Ct‑1+it·at，其中ht＝ot·tanh(Ct)，ht为畸变相位参数序列预测值进行LSTM的反向传播：将表征真实值与预测值之间的误差的函数称为损失函数l
通过loss计算最后一层l的误差δ，从l层倒推l‑1层的ot、at、it、ft的权重l‑1 l‑1
w 和偏置b ，以此类推直到第二层的权重和偏置得到更新loss；
选择下一个输入输出样本，转到S65重复执行不断缩小损失值，直到样本用完，LSTM深度网络训练过程结束。
一种基于长短期记忆深度网络的波前相位差探测方法
技术领域
[0001] 本发明涉及网络模型训练领域，尤其涉及一种基于长短期记忆深度网络的波前相位差探测方法。
背景技术
[0002] 自适应光学技术的出现，使大口径望远镜能够大大克服大气对波前的随机扰动，而波前相差探测技术是其关键技术之一。相位差法(Phase diversity,PD) 利用光学系统
焦面和离焦面上的两台相机采集波前畸变的图像，并利用数字图像处理的方法，在随机扩
展目标的作用下实时解算波前相位差，以重建出高清晰度的目标图像。
[0003] 从参考物的角度来看，具有波前相位检测能力的探测器分有三种：(1)测量设备内部的主动照明设施做参考，如激光测量法；(2)需要点光源作为参考，如哈特曼探测器、剪切
干涉仪；(3)不依赖于点光源，对扩展目标同样可以进行波前探测，如相关哈特曼探测器和
基于PD技术的波前探测器。
[0004] PD技术光学结构简单、成本低廉、实用性强，但迭代计算量大的缺点制约着PD应用发展。直到近三年出现了使用先进的卷积神经网络(CNN)的PD技术，它证明了深度网络可以
绕过分析模型并扩展波前探测器的设计空间。然而基于 CNN的PD技术也存在着精度和计算
量的矛盾，只是特别条件下对波前相位畸变产生的图像偏差恢复。没有考虑视宁度、大气环
境参数的时变性对结果动态波前估计的影响，导致其结果与望远镜观测范围内的大气瞬时
扰动情况不符。
发明内容
[0005] 根据现有技术存在的问题，本发明公开了一种基于长短期记忆深度网络的波前相位差探测方法，具体包括如下步骤：
[0006] 输入某实际光学系统的波长、光圈大小、焦距、探测器像素大小、离焦长度、瞳孔形状参数信息，输入或随机生成该光学系统的畸变相位参数信息，将该系统参数信息与畸变
相位参数信息融合得到一组组原始数据；
[0007] 根据傅里叶光学原理从一组原始数据计算得到一对焦面PSF图像i1(x,y)和离焦PSF图像i2(x,y)，重复直至生成训练数据集；
[0008] 提取上述一对焦面PSF图像i1(x,y)和离焦PSF图像i2(x,y)的特征向量作为输入数据，相对应的畸变相位参数信息作为输出数据，反复对卷积神经网络模型进行训练直至其
损失函数收敛；
[0009] 提取从实际光学系统收集的PSF图像序列的特征向量；
[0010] 将PSF图像序列按照时序t输入至完成训练的卷积神经网络模型中确定波面畸变相位从而得到一系列的用于训练的畸变相位参数；
[0011] 生成用于LSTM深度网络训练的输入数据和输出数据，初始化网络参数并反复对LSTM深度网络进行训练直至其损失函数收敛；
[0012] 将从实际光学系统收集的PSF图像序列输入至LSTM训练模型中进行特征向量的提取；
[0013] 将实际的光学系统参数和获得的特征向量输入至LSTM训练模型获取畸变相位参数的预测结果；
[0014] 根据实际光学系统的焦面图像it1(x,y)、离焦图像it2(x,y)以及预测的畸变相位参数φt按照如下公式重建目标物o(x,y)：
[0015] itk(x,y)＝o(x,y)*htk(x,y)
[0016] 其中PSF函数为：
[0017]
[0018] 其中，p代表的是光瞳分布，F‑1代表的是傅里叶逆变换，φt为某一时刻的畸变相位，θk表示引入的已知大小的离焦相差。
[0019] 进一步的，对卷积神经网络模型进行训练时：
[0020] S31：对离焦PSF图像i2(x,y)进行平滑去噪、强度正则化和子像素转换预处理获得新离焦PSF图像i2′(x,y)；
[0021] S32：离焦PSF图像的离散正交切比雪夫矩{tn(x)}满足
[0022]
[0023] 按如下递推公式分别计算配对图像i1(x,y)的离散正交切比雪夫矩 和新离焦PSF图像i2′(x,y)的 将其作为特征向量；
[0024]
[0025]
[0026]
[0027] 其中p＝1或者p＝2；
[0028] S33：将提取的特征向量作为输入矩阵一列，将真实的畸变相位参数y作为输出矩阵一列，生成用于卷积神经网络训练的输入数据和输出数据；
[0029] S34：初始化卷积神经网络的网络层数n、输入输出样本个数m以及各层的权重w、偏置b；
[0030] S35：针对当前输入输出样本进行卷积神经网络的正向传播：将输入的特征向量经过卷积层处理再到池化层进行降维，再到全连接层进行整合，最后得到畸变相位参数序列
预测值
[0031] S36：进行卷积神经网络的反向传播：将表征真实值与预测值之间的误差的函数称l l
为损失函数loss，通过如下定义的loss计算最后一层l的误差δ，从l层倒推l‑1层的权重w
‑1 l‑1
和偏置b ，以此类推直到第二层的权重和偏置得到更新；
[0032]
[0033] S37：选择下一个输入输出样本，转到S35重复执行不断缩小损失值，直到样本用完、则完成卷积神经网络的训练过程。
[0034] 进一步的，对LSTM深度网络进行训练时：
[0035] S61：设图像平面i的强度分布为i＝o*s，为了建立波前相位像差s与焦平面图像之间i的精确非线性映射，将此公式转成频域为：I＝O·S，其中I，O和S 分别是i，o和s的傅立
叶变换F，按如下公式计算焦内和离焦成对图像的特征图像f0；
[0036]
[0037] P1(ψ)＝pexp{jψ}
[0038] P2(ψ)＝pexp{j(ψ+Δψ)}
[0039]
[0040] 其中下标1和2分别表示相关变量对应于焦内和离焦两个不同焦平面上的图像，p‑1
代表的是光瞳分布向量，F(F )代表的是傅里叶(逆)变换，Ψ为某一时刻的畸变相位向量，
ΔΨ表示引入的已知大小的离焦相差向量；
[0041] S62：将提取的特征图像分解为图像patch序列，此序列作为输入矩阵一列，相应地将真实的畸变相位参数y作为输出矩阵一列，生成用于LSTM神经网络训练的输入数据和输
出数据；
[0042] S63：初始化LSTM网络层数n、输入输出样本个数m以及各层的权重w、偏置b；
[0043] S64：针对当前输入输出样本进行LSTM的正向传播：LSTM中有三个门限分别为遗忘门限ft＝σ(wf·[ht‑1,xt]+bf)、输入门限it＝σ(wi·[ht‑1,xt]+bi)和输出门限 ot＝σ(wo·
[ht‑1,xt]+bo)，此外还有候选态at＝tanh(wa[ht‑1,xt]+ba)，内部状态 Ct＝ft·Ct‑1+it·at，
其中ht＝ot·tanh(Ct)，ht为畸变相位参数序列预测值
[0044] S65:进行LSTM的反向传播：将表征真实值与预测值之间的误差的函数称为损失函l
数 通过loss计算最后一层l的误差δ，从l层倒推l‑1 层的ot、at、it、ft的
l‑1 l‑1
权重w 和偏置b ，以此类推直到第二层的权重和偏置得到更新loss；
[0045] S66：选择下一个输入输出样本，转到S65重复执行不断缩小损失值，直到样本用完，LSTM深度网络训练过程结束。
[0046] 由于采用了上述技术方案，本发明提供的一种基于长短期记忆深度网络的波前相位差探测方法，该方法基于光学系统可以在随机扩展目标的作用下，建立波前畸变的数学
模型，对光学系统模拟产生不同强度的大气扰动，实时估计图像相位的相位差，分离出大气
扰动影响。本发明提出的算法简单且高效，运行速度快，全自动化，在具有已知目标的情况
下，能够满足光学系统的波前畸变校正等实际需求。
附图说明
[0047] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，
还可以根据这些附图获得其他的附图。
[0048] 图1为本发明方法的流程图；
[0049] 图2为本发明中卷积神经网络模型设计图；
[0050] 图3为本发明中的LSTM网络模型设计图；
[0051] 图4为本发明中对LSTM网络模型进行训练时ht计算过程示意图。
具体实施方式
[0052] 为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
[0053] 如图1所示的一种基于长短期记忆深度网络的波前相位差探测方法，在实施过程中，光学系统是采用干涉仪的焦点作为点光源，光束在分光镜的作用下，可以在镜面和探测
器上分别得到PSF图像。干涉仪通过稍微倾斜或平移透镜来引入该光学系统的相差，可以直
接测量光学系统的畸变相差。本发明公开的方法具体步骤如下：
[0054] S1:输入该光学系统参数信息：波长0.6328μm、光圈大小8.5mm、焦距 180mm、探测器像素大小5.5μm、离焦长度2mm、瞳孔直径8.5mm，输入干涉仪测得的畸变相位参数信息
1000组；在一定范围内，C4∈[‑0.5,0.5]、 C5∈[‑0.7,0.7]、C6∈[‑0.7,0.7]、C7∈[‑0.3,
0.3]、C8∈[‑0.3,0.3]和C9∈[‑0.1,0.1]，随机重复生成50000组畸变相位参数C4～C9。将
系统参数信息与畸变相位参数信息融合得到51000组原始数据；
[0055] S2:根据傅里叶光学原理，在上述系统参数下从一组原始数据生成一对焦面 PSF图像i1(x,y)和离焦PSF图像i2(x,y)，如此计算得到51000对PSF图像组成的训练数据集；
[0056] S3:如图2所示，提取上述一对焦面PSF图像i1(x,y)和离焦PSF图像i2(x,y)的特征向量作为输入数据，相对应的畸变相位参数信息作为输出数据，反复对卷积神经网络模型
进行训练直至其损失函数收敛；
[0057] S4:提取从该光学系统收集的PSF图像序列的特征向量；
[0058] S5:将PSF图像序列按照时序t输入至完成训练的卷积神经网络模型中确定波面畸变相位，得到一系列的用于训练的畸变相位参数；
[0059] S6:生成用于LSTM深度网络训练的输入数据和输出数据，初始化网络参数并反复对LSTM深度网络进行训练直至其损失函数收敛；
[0060] S7:将从该光学系统收集的PSF图像序列输入至LSTM训练模型中进行特征向量的提取；
[0061] S8:将该光学系统参数和获得的特征向量输入至LSTM训练模型获取畸变相位参数的预测结果；
[0062] S9:根据该光学系统的焦面图像it1(x,y)、离焦图像it2(x,y)以及预测的畸变相位参数φt按照如下公式重建目标物o(x,y)：
[0063] itk(x,y)＝o(x,y)*htk(x,y)
[0064] 其中PSF函为：
[0065]
[0066] 其中，p代表的是光瞳分布，F‑1代表的是傅里叶逆变换，φt为某一时刻的畸变相位，θk表示引入的已知大小的离焦相差。
[0067] 进一步的，如图3和图4所示，S3中的特征提取、卷积网络设计及其训练，具体采用如下方式：
[0068] S31：对离焦PSF图像i2(x,y)进行平滑去噪、强度正则化和子像素转换预处理获得新离焦PSF图像i2′(x,y)；
[0069] S 3 2 ：离 焦 P S F图 像的 离 散 正 交 切 比 雪 夫 矩 { t n ( x) } 满足
[0070] 按如下递推公式分别计算配对图像i1(x,y)的离散正交切比雪夫矩 和新离焦PSF图像i2′(x,y)的 将其作为特征向量；
[0071]
[0072]
[0073]
[0074] 其中p＝1或者p＝2。
[0075] S33：将提取的特征向量作为输入矩阵一列，相应地将真实的畸变相位参数 y作为输出矩阵一列，生成用于卷积神经网络(CNN)训练的输入数据和输出数据；
[0076] S34：初始化CNN的网络层数n、输入输出样本个数m以及各层的权重w、偏置b；
[0077] S35：针对当前输入输出样本，进行CNN的正向传播：将输入的特征向量经过卷积层处理，再到池化层进行降维，再到全连接层进行整合，最后得到畸变相位参数序列预测值
[0078] S36：进行CNN的反向传播：将表征真实值与预测值之间的误差的函数称为损失函l l‑1
数loss，通过如下定义的loss计算最后一层l的误差δ，从l层倒推l‑1 层的权重w 和偏置
l‑1
b ，以此类推直到第二层的权重和偏置得到更新；
[0079]
[0080] S37：选择下一个输入输出样本，转到S35重复执行不断缩小损失值，直到样本用完，CNN训练过程结束。
[0081] 进一步的，S6中，对于一定的相差参数范围，C4∈[‑0.5,0.5]、C5∈[‑0.7,0.7]、 C6∈[‑0.7,0.7]、C7∈[‑0.3,0.3]、C8∈[‑0.3,0.3]和C9∈[‑0.1,0.1]，随机生成50000相
差参数集，我们可以计算出在焦内和离焦平面上对应的50000组PSF图像。对于每组PSF图
像，我们可以提取特征图像，然后将其分解为图像patch序列。所生成的相差参数和图像
patch序列分别构成输出数据集和输入数据集，然后可以使用这些数据集来训练LSTM深度
网络，即将每个光学系统参数和提取的特征向量作为输入矩阵的一列，相应的一系列的畸
变相位参数作为输出矩阵的一列，按照PSF图像序列的时序重复该过程，生成用于LSTM深度
网络训练的输入数据和输出数据，具体LSTM网络设计及其训练过程包括如下步骤：
[0082] S61：设图像平面i的强度分布为i＝o*s，为了建立波前相位相差s与焦平面图像之间i的精确非线性映射，将此公式转成频域为：I＝O·S，其中I，O和S分别是i，o和s的傅立叶
变换F，按如下公式计算焦内和离焦成对图像的特征图像 f0；
[0083]
[0084] P1(ψ)＝pexp{jψ}
[0085] P2(ψ)＝pexp{j(ψ+Δψ)}
[0086]
[0087] 其中下标1和2分别表示相关变量对应于焦内和离焦两个不同焦平面上的图像，p‑1
代表的是光瞳分布向量，F(F )代表的是傅里叶(逆)变换，Ψ为某一时刻的畸变相位向量，
ΔΨ表示引入的已知大小的离焦相差向量；
[0088] S62：将提取的特征图像分解为图像patch序列，此序列作为输入矩阵一列，相应地将真实的畸变相位参数y作为输出矩阵一列，生成用于LSTM神经网络训练的输入数据和输
出数据；
[0089] S63：初始化LSTM网络层数n、输入输出样本个数m以及各层的权重w、偏置b；
[0090] S64：针对当前输入输出样本进行LSTM的正向传播：LSTM中有三个门限分别为遗忘门限ft＝σ(wf·[ht‑1,xt]+bf)、输入门限it＝σ(wi·[ht‑1,xt]+bi)和输出门限 ot＝σ(wo·
[ht‑1,xt]+bo)，此外还有候选态at＝tanh(wa[ht‑1,xt]+ba)，内部状态 Ct＝ft·Ct‑1+it·at，
其中ht＝ot·tanh(Ct)，ht为畸变相位参数序列预测值
[0091] S65:进行LSTM的反向传播：将表征真实值与预测值之间的误差的函数称为损失函l
数 通过loss计算最后一层l的误差δ，从l层倒推l‑1 层的ot、at、it、ft的
l‑1 l‑1
权重w 和偏置b ，以此类推直到第二层的权重和偏置得到更新loss；
[0092] S66：选择下一个输入输出样本，转到S65重复执行不断缩小损失值，直到样本用完，LSTM训练过程结束。
[0093] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其
发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
