烟雾训练数据生成方法、装置和计算机设备

摘要

本申请涉及一种烟雾训练数据生成方法、装置和计算机设备。所述方法包括：获取无烟雾数据；将无烟雾数据输入至训练完备的目标数据生成模型中，利用目标数据生成模型中的流结构可逆网络，基于预设的噪声矩阵对无烟雾数据进行计算，得到目标烟雾图像；流结构可逆网络携带有噪声矩阵；根据目标烟雾图像生成目标体内烟雾训练数据。采用本方法能够提升对于带烟雾数据获取的效率以及带烟雾数据的质量。

权利要求

1.一种烟雾训练数据生成方法，其特征在于，所述方法包括：

获取无烟雾数据；其中，所述无烟雾数据为对预设的概率分布进行采样得到的；

将所述无烟雾数据输入至训练完备的目标数据生成模型中，利用所述目标数据生成模型中的流结构可逆网络，基于预设的噪声矩阵对所述无烟雾数据进行计算，得到目标烟雾图像；所述流结构可逆网络携带有所述噪声矩阵，所述流结构可逆网络包括第一通道和第二通道；其中，对目标数据生成模型的训练包括：将预设的烟雾图像训练集输入至预设的初始烟雾生成模型中进行训练，得到对应于所述烟雾图像训练集的预测烟雾分布概率，具体地，所述烟雾图像训练集包括训练数据信息，对所述训练数据信息进行切分处理，得到第一训练特征以及第二训练特征，将所述第一训练特征输入至所述第一通道进行特征加强处理，得到加强特征信息，并将所述第二训练特征输入至所述第二通道，利用所述第二通道将所述第二训练特征、所述加强特征信息和所述噪声矩阵进行融合处理，得到初始训练矩阵，并根据所述初始训练矩阵得到所述预测烟雾分布概率，其中，所述初始训练矩阵服从于所述预测烟雾分布概率的分布特征；基于所述预测烟雾分布概率得到损失函数结果；将所述损失函数结果的梯度反向传输至所述初始烟雾生成模型中进行迭代训练，调整迭代的收敛方向直至所述模型收敛，生成所述目标数据生成模型；

根据所述目标烟雾图像生成目标体内烟雾训练数据。

2.根据权利要求1所述的方法，其特征在于，所述目标烟雾图像为多维度烟雾数据，所述根据所述目标烟雾图像生成目标体内烟雾训练数据包括：对所述多维度烟雾数据进行降维处理，得到所述目标烟雾图像；或者，

所述目标数据生成模型还包括特征重建网络；将所述多维度烟雾数据输入至所述特征重建网络进行类别映射处理，得到所述目标烟雾图像。

3.根据权利要求1所述的方法，其特征在于，所述将所述第二训练特征输入至所述第二通道，将所述第二训练特征、所述加强特征信息和所述噪声矩阵进行融合处理，得到初始训练矩阵，包括：将所述加强特征信息、所述噪声矩阵以及所述第二训练特征输入至所述第二通道进行融合处理，得到第二训练矩阵结果，将所述第二训练矩阵结果与输入至所述第一通道的所述第一训练特征进行拼接处理，得到所述初始训练矩阵。

4.根据权利要求1至权利要求3任一项所述的方法，其特征在于，所述目标数据生成模型还包括特征升维网络，所述将所述无烟雾数据输入至训练完备的目标数据生成模型中，利用所述目标数据生成模型中的流结构可逆网络，基于预设的噪声矩阵对所述无烟雾数据进行计算，得到目标烟雾图像；所述流结构可逆网络携带有所述噪声矩阵，包括：获取预设的初始概率分布矩阵，对所述初始概率分布矩阵进行采样处理，得到所述无烟雾数据；

将所述无烟雾数据输入至所述特征升维网络中进行升维处理，得到对应于所述无烟雾数据的待加载烟雾特征；

将所述待加载烟雾特征输入至所述流结构可逆网络中，利用所述目标数据生成模型中的所述流结构可逆网络，基于预设的噪声矩阵对所述待加载烟雾特征进行计算，得到所述目标烟雾图像。

5.根据权利要求1所述的方法，其特征在于，所述目标数据生成模型包括至少一个所述流结构可逆网络；其中，所有所述流结构可逆网络依照首尾相连的方式连接。

6.一种体内烟雾识别方法，其特征在于，对应于权利要求1至权利要求5任一项所述的烟雾训练数据生成方法中的目标体内烟雾训练数据，所述方法包括：获取待识别体内图像；

将所述待识别体内图像输入至预设的目标烟雾识别模型中，并输出目标烟雾识别结果；其中，所述目标烟雾识别模型是基于所述目标体内烟雾训练数据生成的。

7.一种烟雾训练数据生成装置，其特征在于，所述装置包括：

获取模块，用于获取无烟雾数据；其中，所述无烟雾数据为对预设的概率分布进行采样得到的；

计算模块，用于将所述无烟雾数据输入至训练完备的目标数据生成模型中，利用所述目标数据生成模型中的流结构可逆网络，基于预设的噪声矩阵对所述无烟雾数据进行计算，得到目标烟雾图像；所述流结构可逆网络携带有所述噪声矩阵，所述流结构可逆网络包括第一通道和第二通道；其中，对目标数据生成模型的训练包括：将预设的烟雾图像训练集输入至预设的初始烟雾生成模型中进行训练，得到对应于所述烟雾图像训练集的预测烟雾分布概率，具体地，所述烟雾图像训练集包括训练数据信息，对所述训练数据信息进行切分处理，得到第一训练特征以及第二训练特征，将所述第一训练特征输入至所述第一通道进行特征加强处理，得到加强特征信息，并将所述第二训练特征输入至所述第二通道，利用所述第二通道将所述第二训练特征、所述加强特征信息和所述噪声矩阵进行融合处理，得到初始训练矩阵，并根据所述初始训练矩阵得到所述预测烟雾分布概率，其中，所述初始训练矩阵服从于所述预测烟雾分布概率的分布特征；基于所述预测烟雾分布概率得到损失函数结果；将所述损失函数结果的梯度反向传输至所述初始烟雾生成模型中进行迭代训练，调整迭代的收敛方向直至所述模型收敛，生成所述目标数据生成模型；

生成模块，用于根据所述目标烟雾图像生成目标体内烟雾训练数据。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至权利要求5中任一项所述的烟雾训练数据生成方法的步骤，或者如权利要求6所述的体内烟雾识别方法的步骤。

说明书

烟雾训练数据生成方法、装置和计算机设备

技术领域

[0001] 本申请涉及图像处理技术领域，特别是涉及一种烟雾训练数据生成方法、装置和计算机设备。

背景技术

[0002] 随着“智慧医疗”与“互联网医疗”建设在全国各地大规模的开展，如何高效地利用人工智能技术协助医生进行科学的医学诊断，已成为又一个研究的热点，同时也是一个亟待解决的问题。电子内窥镜作为一款常规的医疗设备，在各种类型的手术中均发挥着重要作用，其提供的高质量的体内图像信息为医生顺利完成手术提供了极大的保证。

[0003] 然而，在绝大部分需要进行人体组织切割的内窥镜手术中，都不可避免的会产生大量的油雾、烟雾等，干扰医生做手术时的视线，因此可以设计一种人工智能算法来自动识别产生的烟雾，并与后端的排气设备联动，将烟雾排出体外，也可以设计一种人工智能算法用以自主去除图像中的烟雾，来提高成像质量，但是算法的设计极其依赖高质量的训练数据，现有技术中通过实际的实验操作来获取带烟雾的训练数据的方法，存在获取到的数据质量参差不齐，且获取到的数据往往存在很大的局限性的问题，从而会导致对于烟雾自动识别的效果较差。

[0004] 目前对于获取烟雾数据的效率较低的问题，尚未提出有效的解决方案。

发明内容

[0005] 基于此，有必要针对上述技术问题，提供一种烟雾训练数据生成方法、装置和计算机设备。

[0006] 第一方面，本申请提供了一种烟雾训练数据生成方法。所述方法包括：

[0007] 获取无烟雾数据；

[0008] 将无烟雾数据输入至训练完备的目标数据生成模型中，利用目标数据生成模型中的流结构可逆网络，基于预设的噪声矩阵对无烟雾数据进行计算，得到目标烟雾图像；流结构可逆网络携带有噪声矩阵；根据目标烟雾图像生成目标体内烟雾训练数据。

[0009] 在其中一个实施例中，目标烟雾图像为多维度烟雾数据，根据目标烟雾图像生成目标体内烟雾训练数据包括：

[0010] 对多维度烟雾数据进行降维处理，得到目标烟雾图像；或者，

[0011] 目标数据生成模型还包括特征重建网络；将多维度烟雾图像输入至特征重建网络进行类别映射处理，得到目标烟雾图像。

[0012] 在其中一个实施例中，上述方法还包括：

[0013] 获取预设的烟雾图像训练集；

[0014] 将烟雾图像训练集输入至预设的初始烟雾生成模型中进行训练，得到对应于烟雾图像训练集的预测烟雾分布概率，基于预测烟雾分布概率得到损失函数结果；

[0015] 将损失函数结果的梯度反向传输至初始烟雾生成模型中进行迭代训练，调整迭代的收敛方向直至模型收敛，生成目标数据生成模型。

[0016] 在其中一个实施例中，上述流结构可逆网络包括第一通道和第二通道，烟雾图像训练集包括训练数据信息，将烟雾图像训练集输入至预设的初始烟雾生成模型中进行训练，得到对应于烟雾图像训练集的预测烟雾分布概率，包括：

[0017] 对训练数据信息进行切分处理，得到第一训练特征以及第二训练特征；

[0018] 将第一训练特征输入至第一通道进行特征加强处理，得到加强特征信息；

[0019] 将第二训练特征输入至第二通道，利用所述第二通道将第二训练特征、加强特征信息和噪声矩阵进行融合处理，得到初始训练矩阵；其中，初始训练矩阵服从于预测烟雾分布概率的分布特征；

[0020] 根据初始训练矩阵得到预测烟雾分布概率。

[0021] 在其中一个实施例中，将第二训练特征输入至第二通道，将第二训练特征、加强特征信息和噪声矩阵进行融合处理，得到初始训练矩阵，包括：

[0022] 将加强特征信息、噪声矩阵以及第二训练特征输入至第二通道进行融合处理，得到第二训练矩阵结果，将第二训练矩阵结果与输入至第一通道的第一训练特征进行拼接处理，得到初始训练矩阵。

[0023] 在其中一个实施例中，目标数据生成模型还包括特征升维网络，将无烟雾数据输入至训练完备的目标数据生成模型中，利用目标数据生成模型中的流结构可逆网络，基于预设的噪声矩阵对无烟雾数据进行计算，得到目标烟雾图像；该流结构可逆网络携带有噪声矩阵，包括：

[0024] 获取预设的初始概率分布矩阵，对初始概率分布矩阵进行采样处理，得到无烟雾数据；

[0025] 将无烟雾数据输入至特征升维网络中进行升维处理，得到对应于待加载烟雾图像的待加载烟雾特征；

[0026] 将待加载烟雾特征输入至流结构可逆网络中，利用目标数据生成模型中的流结构可逆网络，基于预设的噪声矩阵对待加载图内烟雾图像进行计算，得到目标烟雾图像。

[0027] 在其中一个实施例中，目标数据生成模型包括至少一个流结构可逆网络；其中，所有流结构可逆网络依照首尾相连的方式连接。

[0028] 第二方面，本申请还提供了一种体内烟雾识别方法，该方法包括：

[0029] 获取待识别体内图像；

[0030] 将待识别体内图像输入至预设的目标烟雾识别模型中，并输出目标烟雾识别结果；其中，目标烟雾识别模型是基于目标体内烟雾训练数据生成的。

[0031] 第三方面，本申请还提供了一种烟雾训练数据生成装置。所述装置包括：

[0032] 获取模块，用于获取无烟雾数据；

[0033] 计算模块，用于将无烟雾数据输入至训练完备的目标数据生成模型中，利用目标数据生成模型中的流结构可逆网络，基于预设的噪声矩阵对无烟雾数据进行计算，得到目标烟雾图像；流结构可逆网络携带有噪声矩阵；

[0034] 生成模块，用于根据目标烟雾图像生成目标体内烟雾训练数据。

[0035] 第四方面，本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

[0036] 获取无烟雾数据；

[0037] 将无烟雾数据输入至训练完备的目标数据生成模型中，利用目标数据生成模型中的流结构可逆网络，基于预设的噪声矩阵对无烟雾数据进行计算，得到目标烟雾图像；流结构可逆网络携带有噪声矩阵；

[0038] 根据目标烟雾图像生成目标体内烟雾训练数据；

[0039] 或者，上述处理器执行计算机程序时实现以下步骤：

[0040] 获取待识别体内图像；

[0041] 将待识别体内图像输入至预设的目标烟雾识别模型中，并输出目标烟雾识别结果；其中，目标烟雾识别模型是基于目标体内烟雾训练数据生成的。

[0042] 上述烟雾训练数据生成方法、装置和计算机设备，对目标数据生成模型输入无烟雾数据后，利用该目标数据生成模型中的流结构可逆网络以及预设的噪声矩阵对该无烟雾数据进行相对于目标数据生成模型的训练过程的可逆计算，得到目标烟雾图像，根据该目标烟雾图像生成目标体内烟雾训练数据。通过上述方法可以生成大批量高质量的人体内带烟雾的训练数据，该带烟雾的训练数据有利于训练出更为准确的自动识别烟雾的模型。进一步地，上述预设的噪声矩阵可以很好的解决该目标数据生成模型训练过程中出现的不稳定的情况。

附图说明

[0043] 图1为一个实施例中烟雾训练数据生成方法的应用环境图；

[0044] 图2为一个实施例中烟雾训练数据生成方法的流程示意图；

[0045] 图3为一个实施例中流结构可逆网络示意图；

[0046] 图4为一个优选实施例中烟雾训练数据生成方法的流程示意图；

[0047] 图5为一个实施例中烟雾训练数据生成装置的结构框图；

[0048] 图6为一个实施例中计算机设备的内部结构图。

具体实施方式

[0049] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

[0050] 本申请实施例提供的烟雾训练数据生成方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。将获取到的无烟雾数据输入至目标数据生成模型中，并基于目标数据生成模型中的流结构可逆网络以及预设的噪声矩阵对该无烟雾数据进行相对于目标数据生成模型的训练过程的可逆计算，得到目标烟雾图像，根据该目标烟雾图像生成目标体内烟雾训练数据。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

[0051] 在一个实施例中，如图2所示，提供了一种烟雾训练数据生成方法，以该方法应用于图1中的烟雾训练数据生成方法为例进行说明，包括以下步骤：

[0052] 步骤S202，获取无烟雾数据。

[0053] 其中，该无烟雾数据可以为一张图像，也可以为一个矩阵，其中，在选择无烟雾数据为图像时，可以选择一张不带烟雾的人体内组织图像，也可以选择任一张清晰的不带烟雾的图像；在选择无烟雾数据为矩阵时，可以对用户设定的某一概率分布，如高斯分布，进行采样，得到该矩阵，该矩阵上的每一个元素均服从该概率分布。

[0054] 步骤S204，将无烟雾数据输入至训练完备的目标数据生成模型中，利用目标数据生成模型中的流结构可逆网络，基于预设的噪声矩阵对无烟雾数据进行计算，得到目标烟雾图像；流结构可逆网络携带有噪声矩阵。

[0055] 其中，上述目标数据生成模型可以用于对于本申请中的烟雾特征分布概率进行计算，对于该烟雾特征分布概率的计算可以基于目标数据生成模型中的携带有噪声矩阵的流结构实现，具体地，该流结构可以为Real‑NVP（real‑valued non‑volume preserving transformations）、IAF（Inverse Autoregressive Flow）或标准化流（Normalization Flow）或者其他在现有流结构基础上进行了改进的网络结构，其中，本申请中使用的标准化流结构可以对用户预设的某个简单的概率分布施加任意次双射变换便可以解析式的得到人体内烟雾的概率分布，该标准化流结构的计算过程可逆，即该输入和输出可以相互调换，标准化流应用时的计算过程即为训练时计算过程的逆过程，在训练时，将带有烟雾的人体内图像训练集输入预设的初始数据生成模型中进行迭代训练，从而得到上述目标数据生成模型，且对应于带有烟雾的人体内图像训练集，训练输出的结果矩阵趋向于高斯白噪声。在对于目标数据生成模型训练完毕后，利用目标数据生成模型中的流结构可逆网络的可逆特性，完成对于无烟雾数据的可逆计算，得到上述已加载烟雾图像，其中，可逆计算也包括对于噪声矩阵在训练时进行的融合处理的可逆计算。该已加载烟雾图像为已经添加烟雾信息的数据，该已加载烟雾图像的形式不限于图像，也可以为矩阵、特征图等，其中，若对于已加载烟雾图像的形式选择为图像形式，则需要对流结构可逆网络输出的结果进行对应的降维处理，其具体的形式可以根据实际情况由用户灵活选择。

[0056] 步骤S206，根据目标烟雾图像生成目标体内烟雾训练数据。

[0057] 其中，该目标体内烟雾训练数据为基于大批量无烟雾数据生成的训练数据集，该训练数据集用于训练对于人体内烟雾的目标识别的网络。

[0058] 通过步骤S202至步骤S206，上述目标数据生成模型中包括多个流结构可逆网络以及至少一个噪声矩阵，对网络结构中增加噪声矩阵进行微扰可以很好的解决训练过程中出现的不稳定的情况；进一步地，通过将流结构可逆网络引入该目标数据生成模型，不仅可以提高图像的重建质量，同时极大的增强了模型的灵活性，对于本申请中的烟雾这类具有穿透现象的场景具有良好的效果。通过流结构可逆网络与噪声矩阵的结合，不仅可以高效的完成对于烟雾图像的重建，也可以通过噪声矩阵弥补传统的流结构可逆网络表现出来的表达能力不足的缺点，并极大的增强了模型的复杂性和训练过程的稳定性。

[0059] 在一个实施例中，目标烟雾图像为多维度烟雾数据，根据目标烟雾图像生成目标体内烟雾训练数据包括：

[0060] 对多维度烟雾数据进行降维处理，得到目标烟雾图像；或者，目标数据生成模型还包括特征重建网络；将多维度烟雾图像输入至特征重建网络进行类别映射处理，得到目标烟雾图像。

[0061] 具体地，考虑到生成过程的稳定性和对高分辨率生成图像的适配性，上述特征重建网络可以为unet网络，或类似于unet的其他神经网络，用于将目标数据生成模型输出的高维特征进行重建，以便在较高的分辨率下利用高维样本点重建烟雾数据。进一步地，本申请的方法中既可以包括特征重建网络，也可以无需使用特征重建网络。在不使用特征重建网络时，通过预设的神经网络结构对目标数据生成模型输出的高维特征进行降维，直接输出上述目标烟雾图像；在使用特征重建网络时，将目标数据生成模型输出的高维特征直接输入至特征重建网络中，该特征重建网络对编码后的抽闲特征进行类别映射，利用高维样本点重建烟雾数据，最后得出目标烟雾图像，该目标烟雾图像大小和输入的无烟雾数据大小相等。不使用特征重建网络得到的目标已加载烟雾网络的分辨率相较于使用特征重建网络得到的目标已加载烟雾网络的分辨率较低。通过上述方法，可以由用户根据实际情况进行选择是否需要应用特征重建网络，以使得本申请提供的烟雾训练数据生成方法更灵活的应用于不同的情况，进一步地，引入unet网络作为高维样本点到生成烟雾数据的媒介，极大地提升了生成样本的质量，同时两阶段的训练方式，使得训练过程相对容易，并且不会面临模式坍塌的问题。

[0062] 在一个实施例中，上述方法还包括：

[0063] 获取预设的烟雾图像训练集；

[0064] 将烟雾图像训练集输入至预设的初始烟雾生成模型中进行训练，得到对应于烟雾图像训练集的预测烟雾分布概率，基于预测烟雾分布概率得到损失函数结果；

[0065] 将损失函数结果的梯度反向传输至初始烟雾生成模型中进行迭代训练，调整迭代的收敛方向直至模型收敛，生成目标数据生成模型。

[0066] 具体地，该烟雾图像训练集为带有烟雾的人体内组织图像，对于初始烟雾生成模型的训练可以采用类似于极大似然估计的无监督训练方法，以便优化流结构中的参数，多层流结构可逆网络可以对训练时输入的大批量的烟雾训练数据进行学习，在高维流形中学习烟雾数据的分布概率。进一步地，若上述烟雾训练数据生成方法中包括对于特征重建网络的应用，则需对特征重建网络也进行训练，该特征重建网络可以为经典的unet网络，对于本申请中unet网络的训练可以由L1‑loss或者余弦相似度实现，来优化unet网络中的参数，以使得特征重建网络在应用中可以在较高的分辨率下利用高维样本点重建烟雾数据。对于初始烟雾生成模型以及对于特征重建网络的训练可以单独进行也可以统一进行。由此可知，用户可以根据实际需要对网络结构以及对应的训练方法进行灵活调整，对于类似于烟雾的图像特征可以利用无监督的训练方法来学习到更准确的特征分布，进一步地，本申请中既可以选择对于初始烟雾生成模型以及特征重建网络进行分别单独的训练，也可以统一进行训练，根据用户的实际需求进行灵活选择，提高了模型的训练效率。

[0067] 在一个实施例中，流结构可逆网络包括第一通道和第二通道，烟雾图像训练集包括训练数据信息，将烟雾图像训练集输入至预设的初始烟雾生成模型中进行训练，得到对应于烟雾图像训练集的预测烟雾分布概率，包括：

[0068] 对训练数据信息进行切分处理，得到第一训练特征以及第二训练特征；

[0069] 将第一训练特征输入至第一通道进行特征加强处理，得到加强特征信息；

[0070] 将第二训练特征输入至第二通道，利用所述第二通道将第二训练特征、加强特征信息和噪声矩阵进行融合处理，得到初始训练矩阵；其中，初始训练矩阵服从于预测烟雾分布概率的分布特征；

[0071] 根据初始训练矩阵得到预测烟雾分布概率。

[0072] 具体地，训练集一般包括大批量的带烟雾的上述烟雾图像训练集，在基于烟雾图像训练集对初始烟雾生成模型进行训练时，首先需要对输入的烟雾训练图像进行升维操作，该升维操作可以基于一组或多组1×1的卷积实现将烟雾训练图像映射到高维空间，得到上述训练数据信息。在初始烟雾生成模型中一般包括多个以首尾相连的方式叠加的流结构可逆网络，将训练数据信息输入至流结构可逆网络进行切分处理，该切分处理为均匀切分，得到的第一训练特征以及第二训练特征的通道数相同，例如，若训练数据信息有二维，则切分处理将二维的训练数据信息切分为一维的第一训练特征以及一维的第二训练特征，以此类推对于更高维的训练数据信息进行均匀切分。在切分得到第一训练特征以及第二训练特征之后，将第一训练特征输入第一通道，将第二训练特征输入至第二通道，输入至第一通道的第一训练特征通过预设的神经网络进行特征加强处理，得到加强特征信息，将该加强特征信息传输至第二通道中，第二通道则对第二训练特征、该加强特征信息以及上述噪声矩阵进行融合处理，得到上述初始训练矩阵。由此可知，通过上述方法中的多组1×1卷积层进行升维操作，而不是类似于大部分模型在头部利用成熟的预训练网络进行特征提取，可以避免过于依赖训练模型的问题，进一步地，通过多个流结构可逆网络堆叠来进行分布建模，将标准化流技术引入烟雾图像生成领域，可以表达出更为复杂的概率分布特征。

[0073] 在一个实施例中，将第二训练特征输入至第二通道，将第二训练特征、加强特征信息和噪声矩阵进行融合处理，得到初始训练矩阵，包括：

[0074] 将加强特征信息、噪声矩阵以及第二训练特征输入至第二通道进行融合处理，得到第二训练矩阵结果，将第二训练矩阵结果与输入至第一通道的第一训练特征进行拼接处理，得到初始训练矩阵。

[0075] 具体地，如图3所示，提供了一种流结构可逆网络的示意图。该流结构可以为标准化流（Normalization Flow），可以对用于选择的简单基础的概率分布施加任意次双射变换，以得到任意复杂的概率分布，本申请中可以用得到的任意复杂的概率分布去建模烟雾生成的过程。需要说明的是，如图3所示，为了克服现有的流结构可逆网络在训练过程中稳定性较差，表达能力受限的问题，本申请中设计了一种带噪声的流结构可逆网络用于搭建烟雾生成模型，在实际应用中可以增强网络的表达能力和训练过程的稳定性，假设存在一个D维的输入x，经过流结构可逆网络后的输出为y，则x和y之间存在如下关系：

[0076]

[0077]

[0078] 其中， 为多维高斯噪声矩阵，也可以根据实际情况选择对应的噪声矩阵，以实现增加噪声进行微扰来解决训练过程中出现的不稳定的情况，对于图3中流结构可逆网络的理解可以参考上述数学公式。上述公式的可逆过程可以较为容易的得到，并且不依赖于net1和net2的可逆性，用于构造损失函数的雅可比矩阵通过下三角矩阵的性质可以方便的得到，其中，net1和net2可以使用两个基础的网络，选择的灵活度较高，例如可以选择低层数的Resnet或者mobile‑Net等经典的网络结构，即上述加强特征信息可以通过基于第一或多个预设的神经网络进行特征加强处理得到，如图所示，在存在两个神经网络net1和net2时，将第一训练特征分别输入至net1以及net2中，将第一训练特征输入至net1时，将net1的输出进行指数计算，以点乘的方式与第二训练特征相乘，将第一训练特征输入至net2时，将net2的输出与上述点乘之后的结果相加，完成对于第一训练特征的特征加强处理，得到上述加强特征信息，图3中，黑点为矩阵的乘法运算，十字为矩阵的加法计算，cat拼接为特征图按照通道聚合运算，噪声矩阵即为上述 ，进一步地，对于上述y1:d和yd+1:D两个公式中的 可以只保留其中一个，也可以两个都保留，若保留y1:d公式中的 时，对应于图3可以将其添加在与cat节点相连接的最上方的分支处，可以基于add或cat等方式相融合，进一步地，该与cat节点连接的最上方的分支，即将第二训练矩阵结果与第一训练特征进行拼接处理，用于保证本申请中的该流结构可逆网络的输入输出的形式相同。由此可知，传统的流结构可逆网络，由于其具有可逆的特性，会给它的结构设计带来较大的局限性，本申请中提出携带有噪声矩阵的流结构可逆网络的构造方式，在保留了传统结构便于计算雅可比矩阵的特性的基础上，极大地增强了模型的表达能力，可以编码任意复杂的概率分布，并具备良好的稳定性。

[0079] 在一个实施例中，目标数据生成模型还包括特征升维网络，将无烟雾数据输入至训练完备的目标数据生成模型中，利用目标数据生成模型中的流结构可逆网络，基于预设的噪声矩阵对待加载图内烟雾图像进行针对于目标数据生成模型的训练过程的可逆计算，得到目标烟雾图像；流结构可逆网络携带有噪声矩阵，包括：

[0080] 获取预设的初始概率分布矩阵，对初始概率分布矩阵进行采样处理，得到无烟雾数据；

[0081] 将无烟雾数据输入至特征升维网络中进行升维处理，得到对应于无烟雾数据的待加载烟雾特征；

[0082] 将待加载烟雾特征输入至流结构可逆网络中，利用目标数据生成模型中的流结构可逆网络，基于预设的噪声矩阵对待加载烟雾特征进行计算，得到目标烟雾图像。

[0083] 具体地，上述初始概率分布矩阵可以为基础的高斯分布矩阵，也可以为类似于高斯分布矩阵的其他基础分布概率矩阵，对于该初始概率分布矩阵进行采样处理，得到无烟雾数据，该无烟雾数据中的元素均服从上述初始概率分布矩阵。需要说明的是，对于无烟雾数据的获取并不局限于只能从初始概率分布矩阵中进行采样获得，该无烟雾数据也可以为用户输入的其他矩阵或图像，其中，对于矩阵的选择可以为服从某一概率分布的矩阵，如高斯分布等，对于图像的选择可以为任一张清晰的无烟雾图像。

[0084] 进一步地，在按照如上方法获取到无烟雾数据后，针对将无烟雾数据输入至流结构可逆网络中进行的可逆计算，还包括如下步骤：通过该流结构可逆网络，基于该流结构可逆网络中包括的可逆映射关系和流结构可逆网络中的噪声矩阵对所述无烟雾数据进行相对于训练过程的可逆计算，得到目标烟雾图像；其中，可逆映射关系用于指示所述无烟雾数据和目标烟雾图像之间的映射关系。

[0085] 具体地，也可以选择在获取到无烟雾图像后可以利用上述特征升维网络，对无烟雾图像进行升维处理，得到待加载烟雾特征，该特征升维网络可以为一组或多组1×1的卷积层，而无需使用现有的成熟预训练网络，进而用户可以根据实际情况选择是否需要进行升维处理，从而将无烟雾图像或待加载烟雾特征输入目标数据生成模型。在上述目标数据生成模型的应用过程中，对于待加载烟雾特征或无烟雾图像的处理为对于目标数据生成模型训练过程的逆过程，示例性地，上述可逆映射关系可以包括上文所示的公式：

[0086]

[0087]

[0088] 该逆过程可以理解为，例如x=y‑b为y=x+b的逆过程，在本申请中则为，将待加载烟雾特征输入进训练完备的目标数据生成模型中进行通道分离处理，原训练时的exp运算保持不变，原训练时的相乘节点变为相除节点，原训练时的相加节点变为相减节点，而后再将两个通道拼接起来。由此可知，通过上述方法，利用了流结构可逆网络的可逆特性，实现在应用过程中对于烟雾特征的添加，本申请中的无烟雾数据的获取较为便捷，用户可以根据需要自由选择，增强了模型实际应用时的灵活性，进一步地，特征升维网络选择一组或多组1×1的卷积，而不是成熟的现有预训练网络，可以很好的规避过于依赖预训练网络，通过特征提取的方法高效的实现对输入的无烟雾数据的升维处理。

[0089] 在一个实施例中，目标数据生成模型包括至少一个流结构可逆网络；其中，所有流结构可逆网络依照首尾相连的方式连接。

[0090] 具体地，通过多个流结构可逆网络以首尾相连的方式堆叠，可以编码任意复杂的概率分布，并具备良好的稳定性，进一步地，每一个流结构可逆网络中都包含有上述噪声矩阵，在保留了传统流结构可逆网络的便于计算雅可比矩阵的特性的基础上，极大地增强了模型的表达能力，进一步地，在每一个流结构可逆网络中引入额外的高斯扰动，极大地增强了模型的复杂性和训练过程的稳定性。

[0091] 本实施例还提供了一种体内烟雾识别方法，应用于任一项上文阐述的烟雾训练数据生成方法中的目标体内烟雾训练数据，该方法包括：

[0092] 获取待识别体内图像；

[0093] 将待识别体内图像输入至预设的目标烟雾识别模型中，并输出目标烟雾识别结果；其中，目标烟雾识别模型是基于目标体内烟雾训练数据生成的。

[0094] 具体地，在对于通过上述目标数据生成模型通常可以得到大批量的目标烟雾图像，通过该目标烟雾图像可以得到目标体内烟雾训练数据，该目标体内烟雾训练数据可以为图像的形式，也可以为矩阵的形式，通过该目标体内烟雾训练数据来训练初始的烟雾识别模型，从而得到上述目标烟雾识别模型，从而可以实现输入一张带有烟雾的人体内图像，通过该模型可以快速和而精准的识别带有烟雾的区域，并与后方排烟雾装置联动，快速排出烟雾。通过本申请中生成的目标体内烟雾训练数据，可以对预设的烟雾识别模型进行彻底的训练，在实际应用中可以准确判断灼烧人体不同组织产生的烟雾存在形态，浓度，颜色等多种差异，进一步地，通过本申请中的方法生成的目标体内烟雾训练数据可解释性较强，灵活性较强。

[0095] 本实施例还提供了一种烟雾训练数据生成方法的具体实施例，如图4所示，图4是一个优选实施例中烟雾训练数据生成方法的流程示意图。

[0096] 首先，获取无烟雾数据，该无烟雾数据可以为图像，也可以为对于预设的初始概率分布矩阵进行采样获取的矩阵。

[0097] 其次，将该无烟雾数据输入至多组或一组1×1的卷积层中进行特征升维操作，得到高维特征图，即待加载烟雾特征，将待加载烟雾特征输入至多个以首尾相连的方式连接的流结构可逆网络中，通过相对于该流结构可逆网络训练过程的逆计算，得到目标烟雾图像，该烟雾图像为多维度的烟雾数据，在不连接后续特征重建网络的情况下，对多维度烟雾数据进行降维处理，得到目标烟雾图像；在连接后续特征重建网络的情况下，将目标烟雾图像输入至特征重建网络中，特征重建网络在较高的分辨率下利用高维样本点重建网络数据，对编码后的抽象特征进行类别映射，最后得到和输入图像大小一致的带烟雾的图像，并根据该目标烟雾图像生成目标体内烟雾训练数据。

[0098] 最后需要说明的是，每一个流结构可逆网络都可以包括一个或多个噪声矩阵，该噪声矩阵可以为高斯噪声矩阵或类似于高斯噪声矩阵的其他矩阵，用于增强网络的表达能力和训练过程的稳定性。

[0099] 应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

[0100] 基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的烟雾训练数据生成方法的烟雾训练数据生成装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个烟雾训练数据生成装置实施例中的具体限定可以参见上文中对于烟雾训练数据生成方法的限定，在此不再赘述。

[0101] 在一个实施例中，如图5所示，提供了一种烟雾训练数据生成装置，包括：获取模块51、计算模块52和生成模块53，其中：

[0102] 获取模块51，用于获取无烟雾数据。

[0103] 计算模块52，用于将无烟雾数据输入至训练完备的目标数据生成模型中，利用目标数据生成模型中的流结构可逆网络，基于预设的噪声矩阵对无烟雾数据进行计算，得到目标烟雾图像；流结构可逆网络携带有噪声矩阵。

[0104] 生成模块53，用于根据目标烟雾图像生成目标体内烟雾训练数据。

[0105] 具体地，获取模块51获取到无烟雾数据，该无烟雾数据可以为矩阵的形式也可以为图像的形式，为矩阵形式时，该矩阵服从预设的初始概率分布矩阵的概率分布；获取模块51将该无烟雾数据送入计算模块52中，计算模块52将该无烟雾数据输入至训练完备的目标数据生成模型中，基于目标数据生成模型中的流结构可逆网络以及预设的噪声矩阵，对该待加载体内烟雾图像进行相对于该模型的训练过程的可逆计算，得到目标烟雾图像，其中，该目标数据生成模型是基于大批量的带有烟雾的人体内图像训练得到的；在计算模块52得到上述目标烟雾图像后，将该目标烟雾图像输入至生成模块53中，生成模块53根据该目标烟雾图像生成目标体内烟雾训练数据，该目标体内烟雾训练数据可以为图像的形式，也可以为矩阵的形式，同理，该目标烟雾图像可以为图像的形式也可以为矩阵或高维特征图的形式。

[0106] 通过上述烟雾训练数据生成装置，不仅将标准化流技术引入烟雾图像的生成领域，直面烟雾数据概率分布的求解问题，对烟雾这类具有穿透现象的场景具有良好的效果，也提高了图像的重建质量，极大地增强了模型的灵活性；进一步的，针对传统的标准化流实现方案表现出来的表达能力不足的问题，本装置中在每一个流结构中引入额外的高斯扰动，极大地增强了模型的复杂性和训练过程的稳定性。

[0107] 上述烟雾训练数据生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

[0108] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储烟雾训练数据生成的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种烟雾训练数据生成方法。

[0109] 本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0110] 以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

[0111] 以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。