一种双层优化驱动的动态系统方程发现方法

摘要

本发明公开了一种双层优化驱动的动态系统方程发现方法，重新定义方程发现范式，将方程的形式和系数的优化解耦至两个单独的、相互嵌套的子优化问题，形成一个双层优化框架，再通过强化学习相关方法结合传统最小二乘回归对双层优化框架的原始目标函数直接进行求解，避免抹去小系数项，并使两个优化问题形成交叉验证显著提高面对非完美数据的鲁棒性，降低对超参数的敏感性，提高动态系统方程发现过程的鲁棒性，从而解决各科学、工程领域中的动态系统数学建模问题。

权利要求

1.一种双层优化驱动的动态系统方程发现方法，应用于液体火箭发动机燃料特性分析过程的二维燃料流场系统，其特征在于，包括以下步骤：步骤1：对二维燃料流场的速度场和压力场进行观测，得到速度场和压力场的时空观测数据集，获取动态系统观测数据样本；

步骤2：速度场数据(u(x，t)，v(x，t))或压力场数据p(x,t)的对观测数据样本进行局部多项式拟合，通过数值微分得到动态系统的时间和空间导数；u和v分别对应x方向和y方向的速度分量，t指时间；

对速度场观测数据在时间维度上拟合一个局部的单变量多项式函数，并对单变量多项式函数取一阶导数，得到左手项时间导数ut的近似值；各阶空间导数通过在空间维度上拟合一个多变量多项式并进行解析求导得到；

步骤3：根据时间和空间导数获得库矩阵，从库矩阵中选取方程项选择矩阵，根据微分方程形式构建待发现方程，将待发现方程刻画为方程项选择矩阵和方程项系数向量的线性乘积，优化方程项选择矩阵和方程项系数向量得到双层优化范式；

待发现方程表示为：

为

其中， 观测数据的左手项组成的列向量，ut为左手项时间导

数，从一组含有N个时空观测数据的数据集 得到N组成对的回归数据集

q为库向量， 是一个含有M个方程项的过完备集合，将库向

量叠加起来形成矩阵形式 称为库矩阵； 表示矩阵形式；Γ

表示方程项选择矩阵；θ表示方程项系数向量；

步骤4：通过强化学习方法结合最小二乘回归方法求解双层优化范式，获得动态系统的方程。

2.根据权利要求1所述的一种双层优化驱动的动态系统方程发现方法，其特征在于，待发现方程的左手项为观测数据样本的一阶时间导数，右手项为方程项选择矩阵和方程项系数向量的线性乘积；库矩阵包含待发现方程的所有可能方程项，将动态系统的待发现方程的右手项转化为库矩阵中若干方程项的线性组合，表示为方程项选择矩阵和方程项系数向量的线性乘积。

3.根据权利要求1所述的一种双层优化驱动的动态系统方程发现方法，其特征在于，将所述观测数据样本沿方程项选择矩阵的列方向进行划分，划分为两组没有交集的正交数据集，利用两组正交数据集分别优化方程项选择矩阵和方程项系数向量，构建出双层优化范式。

4.根据权利要求3所述的一种双层优化驱动的动态系统方程发现方法，其特征在于，求解双层优化范式包括内层优化和外层优化；内层优化目标函数为最小二乘回归模型，用于回归出动态系统方程的系数；外层优化目标函数为添加稀疏性正则项的回归方程，用于优化方程形式，并将方程项选择矩阵作为循环神经网络的动作输出，将外层优化目标函数值作为循环神经网络的奖励值，使用策略梯度算法更新循环神经网络参数。

5.根据权利要求4所述的一种双层优化驱动的动态系统方程发现方法，其特征在于，步骤4的具体过程为：步骤41：构建循环神经网络，并利用循环神经网络获得动态系统每个时刻输出概率分布，并通过采样选取方程项，获得形式确定系数未知方程；

步骤42：通过双层优化范式的内层优化求解方程系数，结合形式确定系数未知方程，获得发现方程；

步骤43：通过双层优化范式的外层优化，利用强化学习方法更新循环神经网络参数，并返回步骤41，直至循环神经网络参数收敛，对步骤42获得的所有发现方程进行排序，选取最优发现方程为动态系统的方程。

6.根据权利要求5所述的一种双层优化驱动的动态系统方程发现方法，其特征在于，对一组正交数据集上的内层优化进行求解，根据形式确定系数未知方程中确定的方程项选择矩阵下，采用标准最小二乘回归优化方程系数，获得确定形式确定系数的发现方程。

7.根据权利要求5所述的一种双层优化驱动的动态系统方程发现方法，其特征在于，步骤43中通过对另一组正交数据集上的外层优化进行求解，利用强化学习方法对循环神经网络参数进行更新，优化发现方程中确定的方程项选择矩阵的概率分布，令外层优化目标函数极小化；利用强化学习方法更新循环神经网络参数具体过程为：步骤431：计算外层优化目标函数关于循环神经网络参数的梯度，并将外层优化目标函数的相反数作为奖励函数；

步骤432：根据步骤41中采样选取方程项获得多个方程项选择矩阵，结合奖励函数，采用蒙特卡洛方法计算梯度的蒙特卡洛无偏估计；

步骤433：根据蒙特卡洛无偏估计优化外层优化目标函数获得优化式；

步骤443：采用随机梯度下降算法更新优化式，从而更新循环神经网络参数。

说明书

一种双层优化驱动的动态系统方程发现方法

技术领域

[0001] 本发明涉及机器学习技术领域，更具体的说是涉及一种双层优化驱动的动态系统方程发现方法。

背景技术

[0002] 微分方程（如常微分方程、偏微分方程）是生物学、天体物理学、流体力学、金融学等众多科学领域中对动态系统进行数学建模的核心工具。传统地，微分方程多由科学家根据领域内现有的科学知识和结论手动推导建立。该过程高度依赖于科学家的经验直觉，以及长期的猜想假设与实验验证。甚至，在多种新兴的多学科交叉领域，如计算神经学，很多动态过程对人类科学家来说仍然处于黑箱状态，能够启发方程建立的领域知识甚少。在上述问题的驱动下，计算科学领域诞生了一批动态系统方程发现方法（下简称方程发现方法），即一类从动态系统的时空测量数据中自动地、定量地逆向构建出该系统服从的微分方程的方法。在方程发现领域，一个重要共识和假设是：真实世界方程往往不存在很多项，即方程具有简明性。

[0003] 现阶段，方程发现方法主要分为两类，稀疏回归类和遗传算法类。近些年，随着机器学习、深度学习相关理论、工具的广泛应用，一些研究将深度神经网络与稀疏回归或遗传算法进行结合，使用神经网络对动态系统的原始观测数据进行拟合，并利用神经网络的连续可微性直接计算时间导数和库矩阵中的方程项。但是该种方法面临着神经网络的过拟合或者欠拟合问题，需要根据具体问题进行严密地调参，实际应用价值较低。

[0004] 同时，稀疏回归和遗传算法都具有的一严重缺陷是该两类方法对于存在较大噪声的观测数据或稀疏的观测数据鲁棒性交叉。对于噪声数据和稀疏数据，建立方程左手项时间导数以及右手侧候选方程项时进行的数值计算时会引入更大的误差，导致出现错误方程过拟合该数据集的可能性显著增加。使用深度神经网络预先拟合数据集的做法能够缓解稀疏数据的挑战，但是仍面临该神经网络的过拟合与欠拟合问题。稀疏回归和遗传算法都具有的另一缺陷是对超参数敏感。稀疏回归的主要超参数是抹去小系数项时的阈值；遗传算法的主要的超参数是适应度函数中零范数稀疏性正则项的权重。上述两种超参数均会严重影响方程发现的结果。

[0005] 因此，如何应对方程发现作为逆问题面临的解的不定性问题，缓解动态系统方程发现过程中的过拟合现象，提高动态系统方程发现过程的鲁棒性，从而解决各科学、工程领域中的动态系统数学建模问题是本领域技术人员亟需解决的问题。

发明内容

[0006] 有鉴于此，本发明提供了一种双层优化驱动的动态系统方程发现方法，通过使两个优化问题形成交叉验证显著提高面对非完美数据的鲁棒性，降低对超参数的敏感性，解决对于一组确定的非完美观测数据集和超参数，很可能存在错误的方程能够过拟合该组数据，使该超参数下的目标函数值达到最优的问题，从而显著提高方程发现技术在真实世界中的应用性，帮助各科学、工程领域技术人员进行数学建模。

[0007] 为了实现上述目的，本发明采用如下技术方案：

[0008] 一种双层优化驱动的动态系统方程发现方法，包括以下步骤：

[0009] 步骤1：获取动态系统观测数据样本；

[0010] 步骤2：对观测数据样本进行局部多项式拟合，通过数值微分得到偏微分方程，获得动态系统的时间和空间导数；多项式拟合得到多项式函数，对多项式函数再取导数得到时间和空间导数，这个过程称为数值微分；

[0011] 步骤3：根据时间和空间导数获得库矩阵，从库矩阵中选取方程项选择矩阵，根据微分方程的一般形式构建待发现方程，待发现方程刻画为方程项选择矩阵和方程项系数向量的线性乘积，优化方程项选择矩阵和方程项系数向量得到双层优化范式；

[0012] 步骤4：通过强化学习相关方法结合传统最小二乘回归求解双层优化范式，获得动态系统的方程。

[0013] 优选的，待发现方程左手项为观测数据样本的一阶时间导数，右手项为方程项选择矩阵和方程项系数向量的线性乘积；库矩阵包含待发现方程的所有可能方程项，将动态系统的待发现方程的右手项转化为库矩阵中若干方程项的线性组合，表示为方程项选择矩阵和方程项系数向量的线性乘积形式。

[0014] 优选的，将所述观测数据样本沿方程项选择矩阵的列方向进行划分，划分为两组没有交集的正交数据集，利用两组正交数据集分别优化方程项选择矩阵和方程项系数向量，构建出双层优化范式。

[0015] 优选的，求解双层优化范式包括内层优化和外层优化；内层优化目标函数为最小二乘回归模型，用于回归出动态系统的形式确定系数未知方程对应的系数；外层优化目标函数为添加稀疏性正则项的回归方程，用于优化方程形式，并将方程项选择矩阵作为循环神经网络的动作输出，将外层优化目标函数值作为循环神经网络的奖励值，使用策略梯度算法更新循环神经网络参数，鼓励智能体挑选目标函数值低的方程项，通过强化学习实现对方程项选择向量的优化。

[0016] 优选的，所述步骤4的具体过程为：

[0017] 步骤41：构建循环神经网络，并利用循环神经网络获得动态系统每个时刻输出概率分布，并通过采样选取方程项，获得形式确定系数未知方程；

[0018] 步骤42：通过双层优化范式的内层优化求解方程系数，结合形式确定系数未知方程，获得发现方程；

[0019] 步骤43：通过双层优化范式的外层优化，利用强化学习方法更新循环神经网络参数，并返回步骤41，直至循环神经网络参数收敛，对步骤42获得的所有发现方程进行排序，选取最优发现方程为动态系统的方程。

[0020] 优选的，对一组正交数据集上的内层优化进行求解，根据形式确定系数未知方程中确定的方程项选择矩阵下，采用标准最小二乘回归优化方程系数，获得确定形式确定系数的发现方程。

[0021] 优选的，步骤43中通过对另一组正交数据集上的外层优化进行求解，利用强化学习方法对循环神经网络参数进行更新，优化发现方程中确定的方程项选择矩阵的概率分布，令外层优化目标函数极小化；利用强化学习方法更新循环神经网络参数具体过程为：

[0022] 步骤431：计算外层优化目标函数关于循环神经网络参数的梯度，并将外层优化目标函数的相反数作为奖励函数；

[0023] 步骤432：根据步骤41中采样选取方程项获得多个方程项选择矩阵，结合奖励函数，采用蒙特卡洛方法计算梯度的蒙特卡洛无偏估计；

[0024] 步骤433：根据蒙特卡洛无偏估计优化外层优化目标函数获得优化式；

[0025] 步骤443：采用随机梯度下降算法更新优化式，从而更新循环神经网络参数。

[0026] 经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种双层优化驱动的动态系统方程发现方法，是一种用于从动态系统的观测数据中逆向提取该系统服从的微分方程的方法。本发明联系方程发现作为逆问题的本质以及现有方程发现方法中存在的问题，重新定义方程发现范式，将方程的形式和系数解耦至两个单独的、相互嵌套的子优化问题，形成一个双层优化框架。该框架的外层优化负责优化方程的形式（即包含哪些方程项），内层优化负责优化确定形式下方程的系数，通过双层优化框架将发现方程的选项和系数回归分解至两个使用正交数据集的相互嵌套的子优化问题中，再通过强化学习相关方法结合传统最小二乘回归对原始目标函数直接进行求解，避免抹去小系数项，并使两个优化问题形成交叉验证显著提高面对非完美数据的鲁棒性，降低对超参数的敏感性，使得该双层优化问题得以求解。相较于已有算法，本发明显著提升了针对噪声数据、稀疏数据、含有小系数项的方程、算法超参数的鲁棒性。

附图说明

[0027] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

[0028] 图1附图为本发明提供的实施例中问题刻画阶段流程图；

[0029] 图2附图为本发明提供的实施例中求解阶段流程图。

具体实施方式

[0030] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0031] 本发明实施例公开了一种双层优化驱动的动态系统方程发现方法，从动态系统的观测数据出发，发现该系统服从的微分方程。该过程总共分为1个问题刻画阶段和3个求解阶段，具体过程为：

[0032] S1：问题刻画阶段，从动态系统的观测数据出发，利用数值微分手段，将待发现的未知方程写为偏微分方程的标准形式，即：左手项为观测数据的一阶时间导数（列向量）；右手侧建立一个与稀疏回归方法类似的包含所有可能方程项的库矩阵，并将未知方程转化为库矩阵中若干方程项的线性组合；然而，不同于稀疏回归使用一个系数向量对库矩阵中的方程项同时完成选择和回归，将上述两个步骤分开至两个待优化变量：方程项选择矩阵和已选方程项的系数向量，相应地，将上述一组观测数据集沿矩阵列方向分为两组正交数据集（即交集为空），分别用于优化上述两个待优化变量；最终，针对上述两个待优化变量，设计一个双层嵌套的优化框架，具体地，内层优化使用第一组数据集，负责优化已知方程项的系数，目标函数即最小二乘回归；外层优化使用第二组数据集，负责优化方程的形式，本发明采取在最小二乘回归目标函数中添加零范数稀疏性正则项鼓励发现方程的简明性；

[0033] S2：针对问题刻画阶段中构建的双层优化框架，使用深度强化学习技术进行求解，针对外层优化中方程项选择矩阵的离散型以及目标函数中零范数稀疏性正则项的不可微性，将方程项选择转化为一个智能体神经网络的动作，而目标函数值则转化为智能体的奖励值（的相反数），对方程项选择矩阵的直接优化也转换为对智能体神经网络的优化；具体地，该双层优化框架地求解过程分为三阶段：

[0034] 第一阶段中，建立一个智能体神经网络，并使该神经网络在没有任何先验输入的情况下，输出一串库矩阵方程项对应的列号，从而完成了方程项选择，得到一个确定方程形式而未知相应系数的方程；

[0035] 第二阶段中，本发明进行内层优化，将上述选中的方程项从库矩阵中挑出，并利用第一组数据集向左手项回归，得到确定形式和系数的完全确定的方程；

[0036] 第三阶段中，本发明进行外层优化，在第二组数据上计算上述得到的确定方程的目标函数值，并在强化学习方法驱动下，将该目标函数值作为奖励值（的相反数）返回给智能体，鼓励其输出高奖励值的动作，从而实现对第一阶段中方程挑选过程的优化；

[0037] 求解阶段的第一、二、三阶段完成了待发现方程的一轮优化。在实际应用过程中，上述三阶段往复进行，直至智能体神经网络收敛，随后，可通过前两阶段得到最终算法发现的方程。

[0038] 其中，稀疏回归类方法为现阶段最主流的方程发现手段，得到了大量关注和研究。以一数值仿真的洛伦兹系统为例，该洛伦兹系统用于描述三维空间中某一个物体的混沌运动，该物体在空间中的三维位置坐标（x,y,z）分别服从一个标量常微分方程。现假设上述三个常微分方程是未知的，稀疏回归算法从该系统一段时间t内的原始观测数据X=[x1:t,y1:t,z1:t]出发，通过数值计算将未知的方程表示为常微分方程的标准形式，即 ，其中左手项 中的每一列为一个原始观测数据的分量对时间进行数值微分得
到的一阶导数，右手侧 即未知的、待发现的方程。稀疏回归算法将该未知方程表示为一个库矩阵 和系数向量 的乘积，即 ，其中库矩阵 为一人为
建立的包含所有可能的方程项的库矩阵。库矩阵中的每一列均对应一个方程项的数值，即：
未知方程为库矩阵中某些项的线性组合。另一方面，系数向量 中的每一列将库矩阵向对应的左手项分量进行回归。可见系数向量同时完成了方程项的挑选和方程项系数的定量，即方程形式的确定和对应系数的确定。如果能够求解出系数向量，待发现的方程也就唯一确定了。

[0039] 根据前述“真实方程应不存在很多方程项”的假设，系数向量 应为一稀疏向量，即其中大部分元素均为零。利用这一假设，稀疏回归算法的核心回归过程是对常见的最小二乘回归的目标函数中添加系数向量的零范数稀疏性正则项，以鼓励系数向量的稀疏性，保证发现方程的简明性。

[0040] 实施例

[0041] 在一个实例中，本发明对液体火箭发动机燃料特性分析过程中的一个二维燃料流场系统实施动态系统方程发现，从观测数据还原该流场系统的速度场服从的物理方程，该过程分为一个问题刻画阶段和三个求解阶段。

[0042] 在问题刻画阶段，从该流场系统的时空测量数据出发，构建双层优化框架，如图1所示。

[0043] 本发明首先对上述二维燃料流场的速度场和压力场进行观测，得到速度场和压力场的时空观测数据集，如图1中S1所示，其中：流场的空间坐标记为二维向量x=(x,y)；流场的速度场为二维向量，记为 （简写记为(u,v)），u和v分别对应x和y方向的速度分量，t指时间；流场的压力场为一维标量，记为p(x,t)。

[0044] 根据现有领域知识，上述二维流场服从二维纳维尔‑斯托克斯方程（Navier‑Stokes equation）；因此，该流场的第一个速度场分量真实服从的偏微分方程可写为[0045]        （1）

[0046] 其中左手项 表示 在时间维度上的导数；右手侧 为该方程中的方程项，其中下标指对应维度上的导数（如 指 在x维度的二阶导数）；
为相应的系数；Re指雷诺数；指流体密度；在本实例中
的真实应用场景下，上述二维流场服从的动态方程式（1）是未知的，方程发现的目的是为了从上述速度场和压力场的观测数据中逆向揭示该流场的速度场服从的偏微分方程，构建出式（1）。

[0047] 不失一般性地，本发明将上述待发现的未知方程建模为一个一般形式的、非线性的参数化标量偏微分方程；

[0048]         （2）

[0049] 其中 指上述速度场的第一个速度分量于位置 、时间 得到的一个时空观测数据； 是一个含有 个可能存在于真实方程中的方程项的过完备集合（即其包含所有真实方程中的方程项，构成过完备库），称为库向量；函数 从 中的 个方程项中挑选出 个（ ）并线性地回归至右手项 。

[0050] 为了在没有任何先验知识的情况下，从原始观测数据中发现上述方程，式（2）中应包含大量潜在的导数项和非线性项，如 。

[0051] 为了得到库向量q中的各阶时间导数和空间导数，采取数值微分手段，对每个流场时空观测数据（速度场数据或压力场数据）进行局部多项式拟合，并从拟合得到的多项式函数解析地得到该点的近似导数。具体地，对速度场观测数据u在时间维度上拟合一个局部的单变量多项式函数，并对该函数取一阶导数，得到左手项时间导数 的近似值，如图1中S2所示。类似地，各阶空间导数可通过在空间维度上拟合一个多变量多项式（与空间维度看齐，本实例中为二维）并进行解析求导得到。

[0052] 综上，从一组含有N个时空观测数据的数据集 可以得到N组成对的 ，称为回归数据集。至此，方程发现问题转化为从上述成对的左手
项和库向量q中还原函数 。将 进一步表示为矩阵形式，如图1中S3所示，待发现方程表示为式（1）：

[0053]         （3）

[0054] 其中 为观测数据的左手项（即一阶时间导数）组成的列向量；将库向量叠加起来形成矩阵形式 称为库矩阵，其中每一
列对应一个候选的方程项。在式（3）中，不同于稀疏回归类算法使用一个稀疏的系数向量同时完成函数 的方程项挑选和回归两个功能的做法，将函数 的两个功能（即上述方程项挑选和回归）分别赋予至两个变量方程项选择矩阵 和方程项系数向量 。其中方程项选择矩阵 由K个独热列向量构成，用于将库矩阵中某些列挑选出来；而方程项系数向量 负责将挑选出来的方程项向左手项 回归。可见，在上述范式下， 确定方程的形式，而 确定方程的系数。

[0055] 为了对 和 进行求解，简单的直觉做法是对式（3）两端进行最小二乘回归，表达式为：

[0056]            （4）

[0057] 然而，由于方程发现问题的逆问题本质，解 和 具有不定性，即可能存在多个和 解的组合均可使最小二乘回归的误差极小化。换而言之，对于一组确定的观测数据，可能存在多种错误的方程均能过拟合该组数据，实现很低的回归误差。

[0058] 针对上述问题，本发明将含有N个数据点的回归数据集 等分为两个正交的（即交集为空）子回归数据集 和 ，同时将 和 的求解解耦至两个相互嵌套的子优化问题，并分别利用一组上述子数据集进行优化，得到一个双层优化范式：

[0059]       （5）

[0060]            （6）

[0061] 该双层优化框架的内层优化式（6）是在某确定的方程项选择矩阵 （即确定的方程形式）下利用子回归数据集 和式（4）中的最小二乘损失函数优化方程项系数向量 ；外层优化式（5）则将 刻画为一个随机变量，以对解的不定性进行刻画，并在子回归数据集 上优化方程项选择矩阵 的期望，同时在损失函数中引入零范数稀疏性正则项以鼓励方程形式的简明性。

[0062] 为了对方程项选择矩阵Γ的概率分布进行刻画，利用深度神经网络（Deep Neural Network）对其建模，从而将对Γ的概率分布的直接优化转换为对神经网络参数 的优化。上述双层优化框架相较于使用单独一组数据同时完成方程形式和稀疏的优化的稀疏回归方法和遗传算法有着显然的优势，将方程形式和系数分别使用正交子数据集进行优化，能够降低错误方程过拟合数据集的可能性，显著提高发现方程的鲁棒性。最终，本发明使用强化学习相关优化方法，结合传统最小二乘回归，对上述双层优化框架进行求解，优化方程项选择矩阵 和方程项系数向量 ，发现动态系统的方程，如图1中S4所示。

[0063] 在上述双层优化的具体求解中，内层优化为一个简单的连续变量的最小二乘回归问题，该问题存在简单的闭式解。该双层优化的主要求解难点来源于如何利用深度神经网络（Deep Neural Network）对外层优化中方程项选择矩阵 的离散性和维度不定性进行刻画，以及包含零范数稀疏性正则项的不可微的目标函数如何求解。针对上述难点，利用循环神经网络（Recurrent Neural Network）对 的概率分布建模，并使用强化学习方法，将目标函数转换为神经网络智能体的奖励值（的相反数）鼓励智能体输出高奖励的 的概率。具体地，该求解过程可分为三个阶段。

[0064] 第一阶段为方程项挑选阶段，即利用一神经网络智能体生成方程挑选矩阵 ，确定待发现方程的形式。具体地，把 的方程项挑选过程视为一个智能体的顺序决策过程，并使用一个循环神经网络（Recurrent Neural Network）对式（5）中的 进行建模，该神经网络的参数记为 。在实施过程中，将该循环神经网络建立为一个单层长短期记忆网络（Long Short‑Term Memory，LSTM），并定义输入维度和隐变量维度均为1024。在该智能体的工作过程中，首先给智能体输入一个全零向量，示意智能体开始方程项挑选。智能体随即输出一个关于库矩阵中所有M个方程项的多项分布 ，其中 代表第一个挑选的方程项的随机变量。从 中，通过采样得到智能体挑选的第一个方程项。相应地， 的第一列即对应 的独热向量。随后，将 作为输入送入智能体网络，如图2中S1所示，智能体随即再次输出一个关于所有方程项的多项概率分布 ，则从该分布中采样得到智能体挑选的第二个方程项。综上，智能体神经网络采取自回归的工作模式，如图2中S2所示，在每个时刻t输出概率分布 ，随即采样得到该时刻选取的方程项 ，并将 作为输入送回智能体。当智能体选取到重复的方程项时，智能体停止工作，得到确定的方程项选择矩阵 。综上，式（5）中的 可写为

[0065]        （7）

[0066] 上述过程得到一个确定形式不确定系数的方程。至此，第一阶段方程项挑选结束。

[0067] 第二阶段为内层优化阶段。经过第一阶段，待发现方程的形式已经确定，随即在第二阶段中对数据集 上的内层优化进行求解，得到方程项系数向量θ。该过程即在确定的方程项挑选矩阵Γ下，利用标准最小二乘回归，优化该系数向量θ。该优化问题存在闭式解，可写为

[0068]

[0069]

[0070]        （8）

[0071] 上述过程得到一个确定形式确定系数的方程，即算法发现的方程，如图2中S2所示。至此，第二阶段内层优化结束。

[0072] 第三阶段为外层优化阶段，在该阶段利用强化学习方法对智能体参数α进行更新，优化其生成方程项选择矩阵Γ的概率分布，从而优化前两个阶段中发现的方程，使式（5）中的目标函数值极小化，如图2中S3所示。为了优化式（5），自然地，求取式（5）关于智能体参数α的梯度，得到

[0073]

[0074]

[0075]

[0076]

[0077]

[0078]   （9）

[0079] 式（9）符合强化学习理论中策略梯度算法（Policy Gradient）的更新式。相应地，智能体的奖励函数自然定义为目标函数的相反数

[0080]    （10）

[0081] 针对式（9）中期望的估计，采用蒙特卡洛（Monte Carlo）方法，在阶段一中一同采样多个方程项选择矩阵 （其中 指采样方程项选择矩阵的个数），并计算式（9）的蒙特卡洛（Monte Carlo）无偏估计，即

[0082]     （11）

[0083] 综上，双层优化范式的外层优化目标函数式（5）可写为

[0084]

[0085]

[0086]     （12）

[0087] 式（11）给出的优化式关于智能体参数α可导，采用随机梯度下降算法（Stochastic Gradient Descent，SGD）对该式进行更新，从而达到更新智能体参数，提高其在阶段一种选择高奖励值的方程形式的概率。至此，阶段三外层优化结束。

[0088] 上述求解过程中描述的三个阶段仅完成一轮智能体训练，因此该三阶段应反复进行，直至智能体神经网络参数达到收敛。作为总结，在第一阶段中，本发明令智能体神经网络进行方程项挑选，得到确定形式、不确定系数的方程；在第二阶段中，本发明对智能体挑选的方程项进行最小二乘回归，完成式（6）中的内层优化，得到确定形式、确定系数的完全确定的方程；在第三个阶段中，本发明利用强化学习方法更新智能体参数，鼓励智能体在下一轮第一阶段挑选能够使外层优化目标函数降低的方程项，也就完成了式（5）中的外层优化。在上述求解过程中，本发明记录每一轮训练中算法发现的方程（即阶段一和阶段二得到的方程），并按照其奖励值进行排序。算法收敛后，将奖励值最高的方程作为最终发现的方程。至此，该实例中对于二位流场的方程发现过程运行完毕。

[0089] 本发明的有益效果包括：

[0090] （1）相较于现有稀疏回归方法和遗传算法，双层优化驱动的方程发现方法在方程发现的问题刻画和求解方面均具有显著的优越性。

[0091] （2）将方程的形式解耦至两个单独的子优化问题，并分别采用相互正交的子数据集进行优化求解，两个子优化形成正交的相互验证，显著降低了出现错误的、过拟合数据的方程的可能性，进而显著提升方程发现算法对于观测数据误差、观测数据稀疏性、数值微分计算误差、算法超参数的鲁棒性。

[0092] （3）在问题求解过程中，针对零范数不可微问题，采用强化学习方法，将目标函数转化为智能体神经网络的奖励值，从而实现对目标函数进行直接优化，没有采用可微的近似目标函数。而稀疏回归方法采用二范数稀疏性正则项的近似目标函数，并通过重复求解和抹去小系数项近似求解原始目标函数，避免了使用近似目标函数，从而避免了在求解中抹去小系数项，从而提高方程发现对于小系数方程项的鲁棒性。

[0093] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

[0094] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。